CN110427954A - 基于肿瘤影像的多区域的影像组学特征提取方法 - Google Patents
基于肿瘤影像的多区域的影像组学特征提取方法 Download PDFInfo
- Publication number
- CN110427954A CN110427954A CN201910683196.1A CN201910683196A CN110427954A CN 110427954 A CN110427954 A CN 110427954A CN 201910683196 A CN201910683196 A CN 201910683196A CN 110427954 A CN110427954 A CN 110427954A
- Authority
- CN
- China
- Prior art keywords
- target area
- tumor imaging
- feature
- dimension
- tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 179
- 238000003384 imaging method Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 12
- 239000010410 layer Substances 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 5
- 239000002356 single layer Substances 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 230000001173 tumoral effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Abstract
本发明属于影像分析领域，具体涉及一种基于肿瘤影像的多区域的影像组学特征提取方法，包括基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征。与现有技术中直接采用CT卷中依据CT数据的强度值进行特征提取的方法相比，采用本发明所述基于肿瘤影像的多区域的影像组学特征提取方法提取的肿瘤特征能够更全面的量化肿瘤，为肿瘤的诊疗提供更全面的数据支持。
Description
技术领域
本发明属于影像分析领域，具体涉及一种基于肿瘤影像的多区域的影像组学特征提取方法。
背景技术
在肿瘤的诊疗的过程中，相比临床的一些分析方式，医学影像技术可通过在肿瘤影像中提取海量特征来量化肿瘤异质性，从而无创地实现肿瘤影像资料的定量分析。随着临床影像数据量的不断增长，开发以数据驱动的分割模型对于肿瘤的诊疗意义重大。计算机断层扫描(CT)、核磁(MR)和正电子发射计算机断层扫描(PET)等一系列的肿瘤影像的治疗监测和肿瘤分析是肿瘤诊疗过程中的重要策略。其中，准确的病灶分割至关重要，由于视觉误差的存在，肿瘤与周围环境之间的相似性是分割技术主要突破的难点。现有技术中，直接应用肿瘤影像数据的原始强度值进行分割的方法存在缺陷。以肺癌为例，如胸膜旁结节强度与肺壁相似，仅使用强度值很难区分；由于不同部位的结节强度不同，内部有黑洞的空泡结节和钙化结节是极具挑战性的病例；对于非固体结节，因为肿瘤影像数据的强度对比度较低，不适合进行简单的形态学操作。
因此，需要新的解决方案从肿瘤影像中提取能够更全面的量化肿瘤的特征。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术中不能从肿瘤影像中提取全面的量化肿瘤的肿瘤影像特征的问题。
本发明的第一方面，提出一种基于肿瘤影像的多区域的影像组学特征提取方法，包括：
基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；
对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征；
其中，所述高维定量特征是指量化肿瘤结构及特异性的高维特征，所述肿瘤影像包括二维肿瘤影像和三维肿瘤影像。
作为优选的实施方案，所述目标区域为肿瘤的内部区域、或肿瘤的边界区域、或肿瘤的外部区域。
作为优选的实施方案，所述神经网络模型包括与肿瘤影像的维度对应的多个神经网络分支，每个神经网络分支用于提取对应维度的肿瘤影像的肿瘤影像特征。
作为优选的实施方案，“分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征”步骤中，其对每一个目标区域进行高维定量特征提取的方法为：
其对每一个目标区域进行肿瘤影像特征提取的方法为：
将目标区域分割成预设尺寸的要素图集合；
依据所述要素图集合，基于所述神经网络模型中的卷积层分别获取对应目标区域对应维度的特征图谱；
对对应目标区域各维度的所述特征图谱，通过所述神经网络模型的池化层获取特征子集，将所述特征子集作为肿瘤影像的高维定量特征。
作为优选的实施方案，所述多个神经网络分支共享相同的网络结构。
作为优选的实施方案，所述高维特征包括基于二维和三维的形状大小特征、语义特征、一阶统计学特征、二阶统计学特征以及小波特征。
作为优选的实施方案，“对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征”步骤中，其对各个目标区域的高维定量特征进行融合是指：
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过单层的全连接网络对各个目标区域的高维定量特征进行线性组合；或
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过多层的全连接网络并将全连接输出节点的激活函数设置为非线性函数对各个目标区域的高维定量特征进行非线性组合。
本发明第二方面，提出一种基于肿瘤影像的多区域影像组学特征提取系统，所述系统包括：
目标区域获取模块，用于基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
特征获取模块，用于分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；其中，所述高维定量特征是指可量化肿瘤结构及特异性的高维特征；
特征融合模块，用于对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征。
本发明第三方面，提出一种存储设备，其中包括存储器，所述存储器适用于存储程序，所述程序适用于处理加载并执行，以实现上面所述的基于肿瘤影像的多区域影像组学特征提取方法。
本发明第四方面，提出一种处理设备，包括：
处理器，适于加载程序；
存储器，适于存储所述程序；
所述程序适于由所述处理器加载并执行，以实现上面所述的基于肿瘤影像的多区域影像组学特征提取方法。
本发明的有益效果：
本发明所述基于肿瘤影像的多区域的影像组学特征提取方法通过肿瘤影像的区域划分，将肿瘤影像划分成多个目标区域，同时，建立适用于各目标区域的肿瘤影像特征提取的神经网络模型，通过卷积神经网络提取各目标区域的肿瘤图像特征，并通过神经网络将各目标区域的肿瘤图像特征融合成用于分类的融合特征。与现有技术中直接采用肿瘤影像中依据肿瘤影像数据的强度进行特征提取的方法相比，采用本发明所述基于肿瘤影像的多区域的影像组学特征提取方法提取的肿瘤特征能够更全面的量化肿瘤，为肿瘤的诊疗提供更全面的数据支持。
本发明所述基于肿瘤影像的多区域的影像组学特征提取方法，通过将神经网络模型设置成与肿瘤影像的维度对应的多分支神经网络结构，其中每个神经网络分支用于提取对应维度的肿瘤影像的肿瘤影像特征，通过以上设置实现了对肿瘤影像的二维肿瘤特征和三维肿瘤特征的同时捕获。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例基于肿瘤影像的多区域的影像组学特征提取方法的流程示意图；
图2是本发明一种实施例基于肿瘤影像的多区域的影像组学特征提取方法的网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明一种基于肿瘤影像的多区域的影像组学特征提取方法，包括：
基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；
对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征；
其中，所述高维定量特征是指可量化肿瘤结构及特异性的高维特征。
本发明所述基于肿瘤影像的多区域的影像组学特征提取方法旨在通过肿瘤影像的区域划分，将肿瘤图像划分成多个目标区域，同时，建立适用于各目标区域的肿瘤影像特征提取的神经网络模型，通过卷积神经网络提取各目标区域的肿瘤图像特征，并通过神经网络将各目标区域的肿瘤图像特征融合成用于分类的融合特征。通过上述方法提取更全面的量化肿瘤的肿瘤影像特征，为肿瘤的诊疗提供更全面的数据支持。
为了更清晰地对本发明基于肿瘤影像的多区域的影像组学特征提取方法进行说明，下面结合图1、图2对本方发明所述基于肿瘤影像的多区域的影像组学特征提取方法的一种实施例中各步骤进行展开详述。
在肿瘤与周围环境相似度高的区域，由于肿瘤影像数据的强度对比度较低，采用现有技术中直接采用肿瘤影像数据的强度值提取的用于量化肿瘤的图像特征非常有限，并不适合进行简单的形态学操作。
为了提取全方位量化肿瘤的影像特征，在本实施例中，首先，将肿瘤微环境划分的目标区域包括肿瘤的内部区域、肿瘤的边界区域和肿瘤的外部区域；其中，肿瘤的内部区域为重点区域，肿瘤的边界区域为高侵袭性区域，肿瘤的外部区域为肿瘤外部的生长环境。然后，采用与目标区域对应的神经网络模型分别提取上述目标区域的肿瘤影响特征。最后，将上述不同区域的肿瘤影像特征融合成用于分类的融合特征。
图1是本发明实施例一种基于肿瘤影像的多区域的影像组学特征提取方法的流程示意图；如图1所示，本发明一种实施例基于肿瘤影像的多区域的影像组学特征提取方法，包括：
S100、基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
现有技术中，通常采用人工标定方法或自动标定方法进行肿瘤影像的区域划分。人工标定方法是指通过有丰富经验的影像科医生手动标定。自动标定法是指通过现有技术中的自动分割算法自动标定。
在对二维肿瘤影像进行手动标定时，首先要找到肿瘤勾画的最大层面，然后找到最大层面的边界，针对正常体积的肿瘤，从边界处内外各区2毫米为肿瘤的边界区域；肿瘤的边界区域的内部即为肿瘤的内部区域；肿瘤的外部区域是通过与肿瘤体积成比例的框框取出的不同的最大层面。图2为实施例一种基于肿瘤影像的多区域的影像组学特征提取方法的网络结构示意图，图2中a为分割后的肿瘤图像；其中，瘤内对应肿瘤的内部区域，瘤周对应肿瘤的边界区域，瘤外对应肿瘤的外部区域。
有些肿瘤二维特征并不能直观的反应肿瘤图像的情况，以胃癌为例，其二维影像是在不同状况下的，二维影像无法直观地反映其形状。对于此，要对三维肿瘤影像进行三维勾画，即勾画所有包含肿瘤的二维影像。
S200、分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；
由于肿瘤微环境的特异性，使用单一神经网络模型提取到的肿瘤图像特征并不能全面充分量化肿瘤，因此，各目标区域的肿瘤影像特征需要与其对应的神经网络模型进行特征提取。
其中，为了能够同时获取多维度的肿瘤影像特征，所述神经网络模型包括与肿瘤影像的维度对应的多个神经网络分支，每个神经网络分支用于提取对应维度的肿瘤影像的肿瘤影像特征；本实施例中的神经网络模型包括2个分支，分别对应提取二维肿瘤影像的肿瘤影像特征和三维肿瘤影像的肿瘤影像特征。每个神经网络分支分别采用与其对应的图像卷积块进行特征提取。由此，形成了一种基于多维、多分支和多池化核的卷积神经网络模型结构，如图2中b所示。上述架构的每个神经网络分支由多个卷积层，多个池化层和多个全连接层组成。
其对每一个目标区域进行肿瘤影像特征提取的方法为：
将目标区域分割成预设尺寸的要素图集合；
依据所述要素图集合，基于所述神经网络模型中的卷积层分别获取对应目标区域对应维度的特征图谱；
对对应目标区域各维度的所述特征图谱，通过所述神经网络模型的池化层获取特征子集，将所述特征子集作为肿瘤影像的高维定量特征。
卷积核f对输入图像x进行卷积特征提取的操作可形式化为：
f(x)＝ReLU(W*x+b)
其中，W为可学习的卷积核，*表示卷积操作，b为偏置，ReLU(·)为分段线性激活函数，可对卷积特征进行非线性变换，增强特征的表达能力，同时起到特征稀疏的作用，ReLU(·)定义为：
上述结构对所有输入要素图执行卷积运算以获得不同层的输入和输出特征图谱。其中隐含层用到的是带参数的线性整流函数(Parametric Rectified Linear Unit，PReLU)。在每个卷积层之后，可使用PReLU函数作为层节点的非线性激活函数，PReLU函数包含由可训练参数控制的非零斜率，用于负输入，并且已被证明在ImageNet分类任务中比传统ReLU(Krizhevsky等，2012)更有效。在每个卷积块之间，可采用但不限于圆周池化、中心池化、最大值池化和均值池化，从卷积层中选择特征子集，进而得到肿瘤影像的高维定量特征。高维定量特征是能够量化肿瘤结构及特异性的高维特征，包括基于二维和三维的形状大小特征、语义特征、一阶统计学特征、二阶统计学特征以及小波特征。
作为优选的实施方案，为了减少神经网络模型的参数和设计复杂度，多个神经网络分支共享相同的结构。其中，每个神经网络分支采用与之对应的图像卷积块进行特征提取。
S300、对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征。
特征融合是特征降维的方式，其对各个目标区域的高维定量特征进行融合是指：
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过单层的全连接网络对各个目标区域的高维定量特征进行线性组合；或
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过多层的全连接网络并将全连接输出节点的激活函数设置为非线性函数对各个目标区域的高维定量特征进行非线性组合。
通过设置全连接层的层数和各层激活函数可以实现这个功能。
作为具体实施方式，在最后一个卷积层之后，应用全连接层，其中卷积层的每个输出单元连接到全连接层的所有输入。全连接层可以捕获卷积层产生的不同特征之间的相关性。为了实现非线性，PReLU函数用作完全连接层之后的激活函数。最后，通过全连接层来连接组合多个卷积神经网络分支。同时，应用另一个全连接层来捕获来自多个卷积神经网络分支的特征之间的相关性，采用方法包括线性组合和非线性组合。
多分支网络结构是为了同时捕捉多维影像信息而设计的。上述多维影像信息包括三维的肿瘤体积信息和二维的瘤周和瘤外的信息。多尺度卷积块分支需要三维体积作为输入。具体地说，给定一个体素，提取一个以该体素为中心的长方体，该长方体散布当前、之前和之后的切片。由于CT图像强度的方差较大，使用z-score对三通道小框进行归一化，z-score定义为f(x)＝(x-xmean)/xstd。其中，xmean和xstd分别表示卷积块中体素强度的平均值和林分偏差。同时，由于二维图像在所有CT扫描中具有较高的图像分辨率，因此，引入了一个二维分支，从轴向视图图像中学习特征。图2中b以双分支为例来展示，通过卷积层共同建模两个尺度小框之间的关系。首先，提取两个卷积块的指定大小的目标体素。然后，重新调节成预定义大小，使用三阶样条插值形成双通道补丁，然后将其提供给卷积神经网络双分支。定义的多尺度卷积块策略使模型能够在一个网络中学习多尺度特征，而不是训练多个独立的网络。最终将不同分支的预测结果融合后得到对应的分类概率值。
基于与上述计算方法实施例相同的技术构思，本发明还提出了计算系统，下面进行具体说明。
本实施例的基于肿瘤影像的多区域影像组学特征提取系统，包括：目标区域获取模块、特征获取模块和特征融合模块。
目标区域获取模块，用于基于同一肿瘤的不同维度的肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
特征获取模块，用于分别基于与各目标区域对应的神经网络模型，提取各目标区域的不同维度的肿瘤影像的肿瘤影像特征，对个目标区域分别将其不同维度的肿瘤影像特征进行融合得到对应的高维定量特征；
特征融合模块，用于对各个目标区域的肿瘤影像的高维定量特征进行融合，得到用于分类预测的融合特征。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于肿瘤影像的多区域影像组学特征提取系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
基于上述方法，本发明还提出了一种存储设备的实施例，其中包括存储器，所述存储器适用于存储程序，所述程序适用于处理加载并执行，以实现上述基于肿瘤影像的多区域影像组学特征提取方法。
基于上述方法，本发明还提出一种处理设备，包括：
处理器，适于加载程序；
存储器，适于存储所述程序；
所述程序适于由所述处理器加载并执行，以实上述基于肿瘤影像的多区域影像组学特征提取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于肿瘤影像的多区域的影像组学特征提取方法，其特征在于，包括：
基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；
对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征；
其中，所述高维定量特征是指量化肿瘤结构及特异性的高维特征，所述肿瘤影像包括二维肿瘤影像和三维肿瘤影像。
2.根据权利要求1所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，所述目标区域为肿瘤的内部区域、或肿瘤的边界区域、或肿瘤的外部区域。
3.根据权利要求1所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，所述神经网络模型包括与肿瘤影像的维度对应的多个神经网络分支，每个神经网络分支用于提取对应维度的肿瘤影像的肿瘤影像特征。
4.根据权利要求3所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，所述多个神经网络分支共享相同的网络结构。
5.根据权利要求1所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，“分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征”步骤中，其对每一个目标区域进行高维定量特征提取的方法为：
将目标区域分割成预设尺寸的要素图集合；
依据所述要素图集合，基于所述神经网络模型中的卷积层分别获取对应目标区域对应维度的特征图谱；
对对应目标区域各维度的所述特征图谱，通过所述神经网络模型的池化层获取特征子集，将所述特征子集作为肿瘤影像的高维定量特征。
6.根据权利要求1所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，所述高维特征包括基于二维和三维的形状大小特征、语义特征、一阶统计学特征、二阶统计学特征以及小波特征。
7.根据权利要求1所述的基于肿瘤影像的多区域影像组学特征提取方法，其特征在于，“对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征”步骤中，其对各个目标区域的高维定量特征进行融合是指：
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过单层的全连接网络对各个目标区域的高维定量特征进行线性组合；或
将各个目标区域的高维定量特征作为输入值输入到全连接网络层，通过多层的全连接网络并将全连接输出节点的激活函数设置为非线性函数对各个目标区域的高维定量特征进行非线性组合。
8.一种基于肿瘤影像的多区域影像组学特征提取系统，其特征在于，所述系统包括：
目标区域获取模块，用于基于肿瘤影像中肿瘤微环境的区域划分，将所述肿瘤影像分割成对应的目标区域；
特征获取模块，用于分别基于与各目标区域对应的神经网络模型，提取各目标区域的高维定量特征；其中，所述高维定量特征是指可量化肿瘤结构及特异性的高维特征；
特征融合模块，用于对各个目标区域的高维定量特征进行融合，得到用于分类预测的融合特征。
9.一种存储设备，其中包括存储器，所述存储器适用于存储程序，其特征在于，所述程序适用于处理加载并执行，以实现权利要求1-7中任一项所述的基于肿瘤影像的多区域影像组学特征提取方法。
10.一种处理设备，包括：
处理器，适于加载程序；
存储器，适于存储所述程序；
其特征在于，所述程序适于由所述处理器加载并执行，以实现权利要求1-7中任一项所述的基于肿瘤影像的多区域影像组学特征提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910683196.1A CN110427954A (zh) | 2019-07-26 | 2019-07-26 | 基于肿瘤影像的多区域的影像组学特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910683196.1A CN110427954A (zh) | 2019-07-26 | 2019-07-26 | 基于肿瘤影像的多区域的影像组学特征提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427954A true CN110427954A (zh) | 2019-11-08 |
Family
ID=68412737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910683196.1A Pending CN110427954A (zh) | 2019-07-26 | 2019-07-26 | 基于肿瘤影像的多区域的影像组学特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427954A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415741A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 基于隐式表观学习的乳腺x射线影像分类模型训练方法 |
| CN112530580A (zh) * | 2020-12-03 | 2021-03-19 | 上海联影智能医疗科技有限公司 | 医疗影像图片的处理方法和计算机可读存储介质 |
| CN112837324A (zh) * | 2021-01-21 | 2021-05-25 | 山东中医药大学附属医院 | 基于改进的水平集的自动肿瘤影像区域分割系统及方法 |
| CN112949772A (zh) * | 2021-04-12 | 2021-06-11 | 中国科学院自动化研究所 | 基于影像组学的胃癌多维特征提取与分析系统 |
| CN113838071A (zh) * | 2021-09-29 | 2021-12-24 | 杭州海心智医信息科技有限公司 | 一种肿瘤特征提取装置 |
| WO2022221991A1 (zh) * | 2021-04-19 | 2022-10-27 | 深圳市深光粟科技有限公司 | 一种影像数据处理方法、装置、计算机及存储介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7774143B2 (en) * | 2002-04-25 | 2010-08-10 | The United States Of America As Represented By The Secretary, Department Of Health And Human Services | Methods for analyzing high dimensional data for classifying, diagnosing, prognosticating, and/or predicting diseases and other biological states |
| CN102385751A (zh) * | 2011-07-19 | 2012-03-21 | 中国科学院自动化研究所 | 基于分水岭变换及支持向量机分类的肝脏肿瘤区域分割方法 |
| CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
| CN106600571A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN107437092A (zh) * | 2017-06-28 | 2017-12-05 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
| CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
| CN107748900A (zh) * | 2017-11-08 | 2018-03-02 | 山东财经大学 | 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置 |
| CN107958271A (zh) * | 2017-12-06 | 2018-04-24 | 电子科技大学 | 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 |
| CN108171249A (zh) * | 2018-01-29 | 2018-06-15 | 北京工业大学 | 一种基于rgbd数据的局部描述子学习方法 |
| CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
| WO2018183548A1 (en) * | 2017-03-30 | 2018-10-04 | Hologic, Inc. | System and method for hierarchical multi-level feature image synthesis and representation |
| CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置 |
| US20180330194A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Training an rgb-d classifier with only depth data and privileged information |
| CN109035197A (zh) * | 2018-05-31 | 2018-12-18 | 东南大学 | 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 |
| CN109087703A (zh) * | 2018-08-24 | 2018-12-25 | 南京大学 | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 |
| CN109410242A (zh) * | 2018-09-05 | 2019-03-01 | 华南理工大学 | 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质 |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109859184A (zh) * | 2019-01-29 | 2019-06-07 | 牛旗 | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 |
| CN109906470A (zh) * | 2016-08-26 | 2019-06-18 | 医科达有限公司 | 使用神经网络方法的图像分割 |
| CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
-
2019
- 2019-07-26 CN CN201910683196.1A patent/CN110427954A/zh active Pending
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7774143B2 (en) * | 2002-04-25 | 2010-08-10 | The United States Of America As Represented By The Secretary, Department Of Health And Human Services | Methods for analyzing high dimensional data for classifying, diagnosing, prognosticating, and/or predicting diseases and other biological states |
| CN102385751A (zh) * | 2011-07-19 | 2012-03-21 | 中国科学院自动化研究所 | 基于分水岭变换及支持向量机分类的肝脏肿瘤区域分割方法 |
| CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
| CN109906470A (zh) * | 2016-08-26 | 2019-06-18 | 医科达有限公司 | 使用神经网络方法的图像分割 |
| CN106600571A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| WO2018183548A1 (en) * | 2017-03-30 | 2018-10-04 | Hologic, Inc. | System and method for hierarchical multi-level feature image synthesis and representation |
| US20180330194A1 (en) * | 2017-05-15 | 2018-11-15 | Siemens Aktiengesellschaft | Training an rgb-d classifier with only depth data and privileged information |
| CN107437092A (zh) * | 2017-06-28 | 2017-12-05 | 苏州比格威医疗科技有限公司 | 基于三维卷积神经网络的视网膜oct图像的分类算法 |
| CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
| CN107748900A (zh) * | 2017-11-08 | 2018-03-02 | 山东财经大学 | 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置 |
| CN107958271A (zh) * | 2017-12-06 | 2018-04-24 | 电子科技大学 | 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 |
| CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
| CN108171249A (zh) * | 2018-01-29 | 2018-06-15 | 北京工业大学 | 一种基于rgbd数据的局部描述子学习方法 |
| CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置 |
| CN109035197A (zh) * | 2018-05-31 | 2018-12-18 | 东南大学 | 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 |
| CN109087703A (zh) * | 2018-08-24 | 2018-12-25 | 南京大学 | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 |
| CN109410242A (zh) * | 2018-09-05 | 2019-03-01 | 华南理工大学 | 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质 |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109859184A (zh) * | 2019-01-29 | 2019-06-07 | 牛旗 | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 |
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| PAWEL MLYNARSKI ET AL.: "3D convolutional neural networks for tumor segmentation using long-range 2D context", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 * |
| WEI SHEN ET AL.: "Multi-crop Convolutional Neural Networks for lung nodule malignancy suspiciousness classification", 《PATTERN RECOGNITION》 * |
| 吴保荣 等: "融合多维度卷积神经网络的肺结节分类方法", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20181217.1735.016.HTML》 * |
| 张利文 等: "基于定量影像组学的肺肿瘤良恶性预测方法", 《自动化学报》 * |
| 杨露菁 等: "《智能图像处理及应用》", 31 March 2019 * |
| 郭磊 等: "基于并行卷积神经网络的X线图像成像部位识别", 《中国医疗器械杂志》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415741A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 基于隐式表观学习的乳腺x射线影像分类模型训练方法 |
| CN111415741B (zh) * | 2020-03-05 | 2023-09-26 | 北京深睿博联科技有限责任公司 | 基于隐式表观学习的乳腺x射线影像分类模型训练方法 |
| CN112530580A (zh) * | 2020-12-03 | 2021-03-19 | 上海联影智能医疗科技有限公司 | 医疗影像图片的处理方法和计算机可读存储介质 |
| CN112837324A (zh) * | 2021-01-21 | 2021-05-25 | 山东中医药大学附属医院 | 基于改进的水平集的自动肿瘤影像区域分割系统及方法 |
| CN112949772A (zh) * | 2021-04-12 | 2021-06-11 | 中国科学院自动化研究所 | 基于影像组学的胃癌多维特征提取与分析系统 |
| WO2022221991A1 (zh) * | 2021-04-19 | 2022-10-27 | 深圳市深光粟科技有限公司 | 一种影像数据处理方法、装置、计算机及存储介质 |
| CN113838071A (zh) * | 2021-09-29 | 2021-12-24 | 杭州海心智医信息科技有限公司 | 一种肿瘤特征提取装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427954A (zh) | 基于肿瘤影像的多区域的影像组学特征提取方法 | |
| van Ginneken | Fifty years of computer analysis in chest imaging: rule-based, machine learning, deep learning | |
| Zhang et al. | Classification of lung nodules based on CT images using squeeze-and-excitation network and aggregated residual transformations | |
| Jin et al. | 3D PBV-Net: an automated prostate MRI data segmentation method | |
| Dutande et al. | LNCDS: A 2D-3D cascaded CNN approach for lung nodule classification, detection and segmentation | |
| Kumar et al. | Automatic segmentation of liver and tumor for CAD of liver | |
| US8989468B2 (en) | Generating an anatomical model using a rule-based segmentation and classification process | |
| CN103337074B (zh) | 一种基于主动轮廓模型分割乳腺dce-mri病灶的方法 | |
| CN107123095A (zh) | 一种pet图像重建方法、成像系统 | |
| Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
| Hu et al. | Detection and segmentation of lymphomas in 3D PET images via clustering with entropy-based optimization strategy | |
| Kallel et al. | An iterative possibilistic knowledge diffusion approach for blind medical image segmentation | |
| Buyssens et al. | Eikonal based region growing for superpixels generation: Application to semi-supervised real time organ segmentation in CT images | |
| Kronman et al. | A geometric method for the detection and correction of segmentation leaks of anatomical structures in volumetric medical images | |
| Kaur et al. | Optimized multi threshold brain tumor image segmentation using two dimensional minimum cross entropy based on co-occurrence matrix | |
| Wu et al. | A top-down region dividing approach for image segmentation | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Luo et al. | An optimized two-stage cascaded deep neural network for adrenal segmentation on CT images | |
| Grossiord et al. | Shaping for PET image analysis | |
| Tiwari et al. | Lung Cancer Detection Using Deep Convolutional Neural Networks | |
| Dong et al. | An improved supervoxel 3D region growing method based on PET/CT multimodal data for segmentation and reconstruction of GGNs | |
| Aksenov et al. | An ensemble of convolutional neural networks for the use in video endoscopy | |
| Cheng et al. | Automatic centerline detection of small three-dimensional vessel structures | |
| Wang et al. | Decoding intra-tumoral spatial heterogeneity on radiological images using the Hilbert curve | |
| Joseph et al. | An affinity propagated clustering aided computerized Inherent Seeded Region Growing and Deep learned Marching Cubes Algorithm (ISRG‐DMCA) based three dimensional image reconstruction approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |