CN112488996A - 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 - Google Patents
非齐次三维食管癌能谱ct弱监督自动标注方法与系统 Download PDFInfo
- Publication number
- CN112488996A CN112488996A CN202011295020.8A CN202011295020A CN112488996A CN 112488996 A CN112488996 A CN 112488996A CN 202011295020 A CN202011295020 A CN 202011295020A CN 112488996 A CN112488996 A CN 112488996A
- Authority
- CN
- China
- Prior art keywords
- energy spectrum
- inhomogeneous
- esophageal cancer
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000000461 Esophageal Neoplasms Diseases 0.000 title claims abstract description 104
- 201000004101 esophageal cancer Diseases 0.000 title claims abstract description 104
- 238000001228 spectrum Methods 0.000 title claims abstract description 95
- 238000002372 labelling Methods 0.000 title claims abstract description 91
- 206010030155 Oesophageal carcinoma Diseases 0.000 title claims abstract description 90
- 238000002591 computed tomography Methods 0.000 title abstract description 111
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 23
- 230000008859 change Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000001575 pathological effect Effects 0.000 abstract description 2
- 210000003238 esophagus Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了一种非齐次三维食管癌能谱CT弱监督自动标注方法与系统，非齐次三维食管癌能谱CT弱监督自动标注方法包括使用多结构三维响应滤波器增强非齐次能谱CT图像中的其他区域，使用基于信息权重的特征提取算法提取多个关键断层，使用基于通道注意力和跨层融合的U‑Net网络获取轮廓顶点，以及使用Poly‑RNN算法确定标注信息，使用区域中心点生长映射，获取自动标注等步骤。本发明可以有效地反映病灶的病理和形态结构的变化情况，与手动标注相比具有更高的速度和更低的出错率，与现有的自动标注技术相比，能够更加有效地对食管癌能谱CT数据样本进行自动标注，具有更高的标注准确度和标注效率。本发明广泛应用于医学图像处理技术领域。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其是一种非齐次三维食管癌能谱CT弱监督自动标注方法与系统。
背景技术
随着信息化的不断深入以及广大医院信息平台的建设，在临床医学诊断中，计算机断层摄影能谱CT被广泛用于食管癌的临床诊断和疾病筛选。在普通CT中，评价物质的方式只有密度，对密度相同而性质不同的物质完全会判别成同一物质，这将可能出现误诊。而非齐次能谱CT会在普通CT的基础上提供更加丰富的特征信息，比如器官的多个横切面、器官的密度、病灶的大小和病灶的位置等信息，还能去除硬化和金属伪影带来的影响，弥补X射线的不足。针对特定的食管癌病变，非齐次能谱CT能观察出更佳的结果，发现一些常规检查无法发现的病变。但人为地对食管癌能谱CT数据进行手动标注是极其耗时耗力的，而现如今又不能找到一种合适的方法能对食管癌能谱CT数据样本进行精准且有效的自动标注方法，因此，发明一种非齐次三维非齐次能谱CT图像中食管癌病灶的弱监督自动标注方法是非常有必要的。这能有效地帮助医生对食管癌进行诊断，对医疗诊疗的发展具有十分重要的意义。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种非齐次三维食管癌能谱CT弱监督自动标注方法与系统。
一方面，本发明实施例包括一种非齐次三维食管癌能谱CT弱监督自动标注方法，包括：
使用基于Hessian矩阵的多结构三维响应滤波器，增强所述非齐次能谱CT图像中除食管癌区域外的其他区域；
使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层；
使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点；
使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息；
使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注。
进一步地，所述使用基于Hessian矩阵的多结构三维响应滤波器，增强所述非齐次能谱CT图像中除食管癌区域外的其他区域，包括：
将连续的所述非齐次能谱CT图像合并成非齐次三维体积数据；所述三维体积数据包括多个体素，每个所述体素的Hessian矩阵包括不同方向上的二阶导数；
使用线性标度空间理论，将所述非齐次能谱CT图像在σ标度上的Hessian矩阵中的元素确定为
其中，i,j＝1,2,3表示元素的位置，*表示卷积运算，γ为参数，G(x，σ)为高斯函数，
将所述非齐次能谱CT图像分解成连续的二维影像；
将所述非齐次能谱CT图像分解成的二维影像输入至所述多结构三维响应滤波器，获取所述多结构三维响应滤波器的输出结果；所述多结构三维响应滤波器的输出结果为除食管癌区域外的其他区域获得增强的非齐次能谱CT图像。
进一步地，所述使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层，包括：
对所述非齐次能谱CT图像进行整形；
将所述非齐次能谱CT图像输入至关键断层提取网络；所述关键断层提取网络包括卷积层、第一完全连接层和第二完全连接层；
获取所述关键断层提取网络输出的每个所述关键断层的关键点分数；
将所述关键点分数乘以所述断层特征映射，获得相应的关键断层。
进一步地，所述使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点，包括：
将所述关键断层输入至所述基于通道注意力和跨层融合的U-Net网络；所述基于通道注意力和跨层融合的U-Net网络包括基础U-Net网络和多个跨层特征融合模块，各所述跨层特征融合模块嵌入在所述基础U-Net网络中；
获取所述基于通道注意力和跨层融合的U-Net网络的输出结果；所述基于通道注意力和跨层融合的U-Net网络的输出结果为食管癌区域和其他区域被所述至少一组轮廓顶点分割开的关键断层。
进一步地，所述使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息，包括：
将带有至少一组轮廓顶点的所述关键断层输入至卷积神经网络；
使用门控图神经网络对所述卷积神经网络输出的图像特征进行影像采样，获得所述关键断层的标注信息。
进一步地，所述使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注，包括：
在各所述关键断层中，确定食管癌的起始断层和结束断层；
根据所述标注信息，在所述起始断层上确定起始中心；
按照各所述关键断层的排序，将所述起始中心依次经过各所述关键断层映射到所述结束断层。
进一步地，所述根据所述标注信息，在所述起始断层上确定起始中心，包括：
根据所述标注信息，在所述起始断层上确定一个矩形区域作为所述起始中心；所述矩形区域的中心与所述起始断层的中心重合。
另一方面，本发明实施例还包括一种非齐次三维食管癌能谱CT弱监督自动标注系统，包括：
第一模块，用于使用基于Hessian矩阵的多结构三维响应滤波器，增强所述非齐次能谱CT图像中除食管癌区域外的其他区域；
第二模块，用于使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层；
第三模块，用于使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点；
第四模块，用于使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息；
第五模块，用于使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注。
本发明的有益效果是：实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法通过提取整个能谱CT食管癌图像数据集中的关键断层，并使用通道注意力分割网络对关键断层进行前背景的图像分割后获得增强的顶点表示，为后续使用Polygon-RNN自动标注算法提供先验知识，从而实现对整个非齐次食管癌CT序列数据集的自动标注，可以有效地反映病灶的病理和形态结构的变化情况，与手动标注相比具有更高的速度和更低的出错率，与现有的自动标注技术相比，由于实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法更能充分地利用能谱CT的多参数、定量分析成像参数的特性，能够更加有效地对食管癌能谱CT数据样本进行自动标注，具有更高的标注准确度和标注效率。
附图说明
图1为实施例中非齐次三维食管癌能谱CT弱监督自动标注方法的流程图；
图2为实施例中非齐次三维食管癌能谱CT弱监督自动标注方法的总体原理图；
图3为实施例中基于信息权重特征选择算法关键断层提取的原理图；
图4为实施例中基于通道注意力的U-Net的分割网络的原理图；
图5为实施例中Polygon-RNN关键断层自动标注算法的原理图；
图6为实施例中卷积神经网络编码器的原理图；
图7为实施例中Polygon-RNN+评估网络算法的原理图；
图8为实施例中区域中心点映射方法的自动标注算法的原理图。
具体实施方式
现有技术中存在大量能谱CT食管癌序列标注高成本的问题，此问题制约了现有的深度学习算法在食管癌CT影像领域中的运用，人工标注食管癌序列数据集难度大，步骤繁杂，所需投入的时间与精力成本过高。本实施例中通过对非齐次三维食管癌能谱CT弱监督自动标注方法的说明，论述如何有效地提升非齐次能谱CT食管癌序列数据集标注的效率，使该领域的研究人员拥有足够多的已标注数据集用于食管癌检测算法的研发。
本实施例中，参照图1，非齐次三维食管癌能谱CT弱监督自动标注方法包括以下步骤：
S1.使用基于Hessian矩阵的多结构三维响应滤波器，增强非齐次能谱CT图像中除食管癌区域外的其他区域；
S2.使用基于信息权重的特征提取算法，从非齐次能谱CT图像提取多个关键断层；
S3.使用基于通道注意力和跨层融合的U-Net网络，进行对非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取食管癌区域的至少一组轮廓顶点；
S4.使用Poly-RNN算法，根据至少一组轮廓顶点确定关键断层的标注信息；
S5.使用区域中心点生长映射，根据标注信息获取非齐次能谱CT图像的全序列的自动标注。
本实施例中，步骤S1-S5的总体原理如图2所示，以下对步骤S1-S5的各步骤的原理进行具体说明。
本实施例中，步骤S1，也就是使用基于Hessian矩阵的多结构三维响应滤波器，增强非齐次能谱CT图像中除食管癌区域外的其他区域这一步骤，具体包括以下步骤：
S101.将连续的非齐次能谱CT图像合并成三维体积数据；其中，三维体积数据包括多个体素，每个体素的Hessian矩阵包括不同方向上的二阶导数；
S102.使用线性标度空间理论，将非齐次能谱CT图像在σ标度上的Hessian矩阵中的元素确定为
其中，i,j＝1,2,3表示元素的位置，*表示卷积运算，γ为参数，G(x，σ)为高斯函数，
S103.将非齐次能谱CT图像分解成连续的二维影像；
S104.将非齐次能谱CT图像分解成的二维影像输入至多结构三维响应滤波器，获取多结构三维响应滤波器的输出结果；多结构三维响应滤波器的输出结果为除食管癌区域外的其他区域获得增强的非齐次能谱CT图像。
步骤S101-S104的原理在于：由于Hessian矩阵与局部几何结构有关，因此可以通过使用Hessian矩阵的特征值来检测特定的结构。首先，将连续的CT图像合并成一个三维体积数据。三维体积数据中每个体素的Hessian矩阵包括不同方向上的二阶导数。设I(x)表示非齐次能谱CT图像上的坐标x＝[x1，x2，x3]T处的三维体积数据的强度。为了分析多尺度的结构，在高斯尺度空间上执行微分。因此，使用线性标度空间理论，x在σ标度的Hessian矩阵中的元素被定义为:
其中i，j＝1，2，3表示元素的位置，而*表示卷积运算。引入参数γ是为了在多个标度下重新调整差分运算的响应，并将其设置为2。高斯函数G(x，σ)定义为:
尺度为x的高斯核的二阶导数可以被认为是探测核，它可以在导数的方向上捕捉范围(-x，x)内和范围外的区域之间的差异。此外，内核的半宽度设置为最接近3σ的整数。当执行图像卷积时。三维体积数据中的每个体素对应于3×3的Hessian矩阵。增强的能谱CT三维体积数据被分解成连续的二维影像，能谱CT序列被裁剪作为分割网络的输入。此滤波器可以增强周围组织和器官从解剖结构中提取先验知识，这可以辅助Polygon-RNN算法进行检测，增强网络的鲁棒性。
步骤S1利用连续的CT影像合并成一个三维体积数据后，采用高斯尺度空间的微分和线性标度空间理论重新调整差分运算的响应，可以利用三维结构信息增强后的CT影像可以指导分割网络将食管癌与CT影像中的类似组织和器官区分开来。
本实施例中，步骤S2，也就是使用基于信息权重的特征提取算法，从非齐次能谱CT图像提取多个关键断层这一步骤，具体包括以下步骤：
S201.对非齐次能谱CT图像进行整形；
S202.将非齐次能谱CT图像输入至关键断层提取网络；关键断层提取网络包括卷积层、第一完全连接层和第二完全连接层；
S203.获取关键断层提取网络输出的每个关键断层的关键点分数；
S204.将关键点分数乘以断层特征映射，获得相应的关键断层。
步骤S201-S204的原理在于：针对非齐次能谱CT影像数据集，首先通过一种基于信息权重特征提取算法对关键断层进行提取，其提取过程如图3所示。首先对食管癌能谱CT数据集进行整形，然后输入关键断层提取模块。整形是为了减少卷积层的维数，并在maxpooling层之后输出F*。扩展后，将每个断层的特征映射输入到同一个全连接层，计算临界得分:
F*＝maxpool(Wk_cF)
si＝Wk_fc2(Wk_fc1F1 *+bk_fc1)+bk_fc2
其中，Wk_c、Wk_fc1和Wk_fc2分别是卷积层、第一完全连接层和第二完全连接层的参数。bk_fc1和bk_fc2是两个完全连接层的偏置参数。si是每个断层的关键分数，i∈{1,2,3，…，framenum}，si被执行为概率操作，得到S＝[s1，s2，…，sframenum]。为了使S中的每个关键点得分乘以F中的每个断层特征映射，需要展开张量并改变S的形状，计算后得到关键断层集合：
Fkey＝reshap(S)F
得到的关键断层集合Fkey有助于Polygon-RNN算法增强顶点结构表示，帮助提升标注性能。
步骤S2对非齐次食管癌能谱CT影像进行整形扩展后，将每个断层的特征映射到同一个全连接层去计算临界得分，最后根据每个关键点得分和断层特征的映射得到关键断层集合，可以利用权重加权食管癌突出区域的特征可以指导分割网络将食管癌与CT影像中的其他组织和器官区分开来。
本实施例中，步骤S3，也就是使用基于通道注意力和跨层融合的U-Net网络，进行对非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取食管癌区域的至少一组轮廓顶点这一步骤，具体包括以下步骤：
S301.将关键断层输入至基于通道注意力和跨层融合的U-Net网络；基于通道注意力和跨层融合的U-Net网络包括基础U-Net网络和多个跨层特征融合模块，各跨层特征融合模块嵌入在基础U-Net网络中；
S302.获取基于通道注意力和跨层融合的U-Net网络的输出结果；基于通道注意力和跨层融合的U-Net网络的输出结果为食管癌区域和其他区域被至少一组轮廓顶点分割开的关键断层。
步骤S301-S302的原理在于：通过一种新的U-Net—通道注意力和跨层融合的U-Net，用于从滤波器中增强了的背景影像和从特征提取算法中突出了的前景影像，分割出周围其他类似组织器官和食管部分。该网络结合了通道注意模块和跨层特征融合模块，前者通过高层级特征和低层及特征间的互补信息彼此增强，后者使用高级特征来增强或抑制低级特征来增强网络的泛化能力。因为高级特征代表特定的组织信息，而低级特征代表诸如边缘和轮廓的详细信息的特征，所以网络可以学习特定组织的特定详细特征。其中，通道注意力U-Net的网络结构图如图4所示。图4所示的网络是基于U-Net构建的一个编码器-解码器结构的分割网络。通过在基础U-Net网络嵌入一个跨层次的特征融合模块，形成了本实施例中的通道注意力U-Net。通道注意力U-Net是一种端到端的网络体系结构，由两个主要部分组成。第一个组件是跨层特征融合模块，它由几个通道注意模块组成。跨层特征融合可以将顶层特征图的特征逐层融合到底层特征图中，并达到指导底层特征图特征提取特征融合的目的。第二个组件是U-Net，它是一种编码器-解码器结构，前半部分用于特征提取，后半部分用于将特征图上采样道原始大小，从而得到特征图。特别地，在编码器和解码器之间存在跳跃连接。跳跃连接结合了相应的下采样和上采样特征图。该过程可以解决下采样导致的信息丢失问题，并提高对卷积特征提取的关注度。该技术最后得到边界清晰的增强了的顶点结构表示。
步骤S3在U-Net基础上结合了通道注意模块去指导低层和高层特征图之间的高分辨率影像信息和高层级语义信息的选择，利用了跨层特征融合模块根据高层特征去强调或抑制低层特征，可以将通道注意模块融入编码器和解码器的跨层融合中，充分保留影像的高层级语义信息与视觉特征信息，并标记出相应轮廓的顶点。
本实施例中，步骤S4，也就是使用Poly-RNN算法，根据至少一组轮廓顶点确定关键断层的标注信息这一步骤，具体包括以下步骤：
S401.将带有至少一组轮廓顶点的关键断层输入至卷积神经网络；
S402.使用门控图神经网络对卷积神经网络输出的图像特征进行影像采样，获得关键断层的标注信息。
步骤S401-S402的原理在于：基于得到的增强影像顶点表示后，使用卷积神经网络提取图像特征，引入注意力机制和评估网络从循环神经网络的候选多边形中选择最佳多边形。最后使用门控图神经网络进行影像采样。其中，Polygon-RNN算法的整体架构如图5所示。对于卷积神经网络部分，参照图6，借鉴了ResNet-50的做法，减少步长，引入空洞卷积，从而在不降低单个神经元感受野的前提下，放大输入特征映射。此外还引入了跳跃连接以便同时捕捉边角等低层细节和高层语义信息。而使用的卷积核、组归一化、ReLU、最大池化等可以使用常规手段，例如卷积核的尺寸可以是常用的3×3。对于循环神经网络部分，使用了双层ConvLTSM，以保留空间信息、降低参数数量。网络的输出为(D×D)+1元素的独热编码。前D×D维表示可能的顶点位置，而最后一个维度标志多边形的终点。为了提升RNN部分的表现，加入了注意力机制。具体来说，在时步t，计算加权特征映射：
αt＝softmax(fatt(x,f1(h1,t-1)，f2(h2,t-1)))
上式中，x为跳跃特征张量，h为隐藏状态张量，f1、f2使用一个全连接层将h1,t、h2,t映射至D×D×128。fatt累加输入之和，通过一个全连接层将其映射至D×D。
为哈达玛积。直观地说，注意力机制使用之前的循环神经网络隐藏状态控制图像特征映射中的特定位置，使循环神经网络在下一时步仅仅关注相关信息。本实施例中，增加了一个包含两个D×D维网络层的分支，让第一层预测边，第二层预测顶点。测试时，第一个顶点取样自该分支的最后一层。本实施例中，Polygon-RNN++使用了一个由两个3×3卷积层加上一个全连接层组成的评估网络，其结构可以参照图7。循环神经网络输出的D×D维的多边形，D取28.之所以不取更大的D，是为了避免超出内存的限制。为了增加最终的输出分辨率，Polygon-RNN+使用了门控图神经网络进行上采样，将顶点视作图的节点，并在相邻节点中间增加节点。门控图神经网络定义了一个传播模型，将循环神经网络推广至任意图，可以在每个节点上生成输出前有效地传播信息。
上式中，V为图的节点集，xv为节点v的初始状态，
为节点v在时步t的隐藏状态。矩阵A决定节点如何互相传递信息，其中N表示边的类型数。在试验中使用了256维GRU，传播步数T＝5。节点v的输出定义为：
outv＝f2(hv)
f1和f2为MLP(多层感知器)。卷积神经网络部分112×112×256的特征映射传给GGNN。在图中的每个节点v周围(拉伸后)，提取一个S×S块，得到向量xv，提供给GGNN。在传播过程之后，预测节点v的输出，即D'×D'空间网格上的位置。该网格以原位置(vx,vy)为参照，因此该预测任务其实是一个相对放置问题，并且可以视作分类问题，并基于交叉熵损失训练。训练的标准答案为RNN部分的输出。通过执行步骤S401-S402，最后得到已经自动标注完成的食管癌能谱CT序列数据集的关键断层集合。
步骤S4使用卷积神经网络提取图像特征后，引入注意力机制和评估网络到循环神经网络中选择最佳候选多边形，最后利用门控图神经网络进行关键断层的标注采样，可以根据分割后的CT影像得到关键断层的自动标注。
本实施例中，步骤S5，也就是使用区域中心点生长映射，根据标注信息获取非齐次能谱CT图像的全序列的自动标注这一步骤，具体包括以下步骤：
S501.在各关键断层中，确定食管癌的起始断层和结束断层；
S502.根据标注信息，在起始断层上确定起始中心；
S503.按照各关键断层的排序，将起始中心依次经过各关键断层映射到结束断层。
其中，步骤S502，也就是根据标注信息，在起始断层上确定起始中心这一步骤，具体可以为：根据标注信息，在起始断层上确定一个矩形区域作为起始中心；矩形区域的中心与起始断层的中心重合。
步骤S501-S503的原理在于：利用所述Polygon-RNN算法得到的已经标注完成的食管癌能谱CT序列数据集的关键断层集合对整个能谱CT数据集进行区域映射。本实施例中，通过一种半自动的食管或食管癌CT图像标注方法来实现上述功能，该方法用于食管和食管癌的三维CT序列半自动检测。在半自动检测方法开始时，有五个参数需要手动设置。它们是食管和食管癌的起始和结束断层，是第一次食管CT断层中食管区域的中心点。其中，起始中心点代表的是食管CT断层数据集中第一张断层中食管区域的中心点。以它为中心，确定一个80×80的矩形区域作为提取检测区域的中心点，从这个中心点映射到下一个断层上形成下一个断层的中心点并以该中心点继续产生一个80×80的矩形区域作为输入。步骤S501-S503中所使用的半自动的食管或食管癌CT图像标注方法的原理如图8所示，这个方法的前提是食管和食管癌断层的厚度足够小，所以上部食管的中心点可以与下部食管的中心点在能谱CT数据集中对应。这种情形满足实际诊断中的大多数情况。算法结束后，我们可以得到完整的已自动标注完成的食管癌能谱CT序列数据集。
步骤S5设置食管和食管癌的起始和结束断层并以它为中心，一步步根据这个中心点进行下一个中心点的区域生长映射，可以根据关键断层的标注信息的映射，获得整个序列食管癌能谱CT影像的自动标注。
综上，本实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法的技术效果包括：
本实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法采用基于多尺度3D增强滤波器和Polygon-RNN的食管癌能谱CT序列弱监督自动标注方法，首先利用基于Hessian矩阵的多结构响应滤波器增强除食管以外的其他组织和器官，再使用基于信息权重的特征提取算法对关键断层进行提取，随后将关键断层输入到通道注意力模块中实现对关键断层中的食管癌进行高精度的分割后获得增强的顶点表示，然后对已增强的顶点结构的影像使用Polygon-RNN自动标注算法对食管癌数据的关键断层进行弱监督下的自动标注，最后对已经完成自动标注的关键断层使用区域生长算法实现对整个食管癌能谱CT序列样本的自动标注。通过提取整个能谱CT食管癌图像数据集中的关键断层，并使用通道注意力分割网络对关键断层进行前背景的图像分割后获得增强的顶点表示，为后续使用Polygon-RNN自动标注算法提供先验知识，从而实现对整个食管癌CT序列数据集的自动标注，可以有效地反映病灶的病理和形态结构的变化情况，医护人员可以根据本实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法的处理结果进行诊断，达到早期发现病灶和诊断疾病的目的，另一方面，可以实现医学图像成像技术的优势互补,对弥补医学图像呈现技术缺陷和图像信息缺失具有重要意义。
本实施例中，非齐次三维食管癌能谱CT弱监督自动标注系统，包括：
第一模块，用于使用基于Hessian矩阵的多结构三维响应滤波器，增强非齐次能谱CT图像中除食管癌区域外的其他区域；
第二模块，用于使用基于信息权重的特征提取算法，从非齐次能谱CT图像提取多个关键断层；
第三模块，用于使用基于通道注意力和跨层融合的U-Net网络，进行对非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取食管癌区域的至少一组轮廓顶点；
第四模块，用于使用Poly-RNN算法，根据至少一组轮廓顶点确定关键断层的标注信息；
第五模块，用于使用区域中心点生长映射，根据标注信息获取非齐次能谱CT图像的全序列的自动标注。
本实施例中，第一模块、第二模块、第三模块、第四模块和第五模块可以是具有相应功能的硬件模块、软件模块或者硬件模块和软件模块的结合。通过各模块运行相应功能，非齐次三维食管癌能谱CT弱监督自动标注系统可以实现与非齐次三维食管癌能谱CT弱监督自动标注方法实施例所述的相同的技术效果。
本实施例中，一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法，实现与实施例所述的相同的技术效果。
本实施例中，一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的非齐次三维食管癌能谱CT弱监督自动标注方法，实现与实施例所述的相同的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (8)
1.一种非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，包括：
使用基于Hessian矩阵的多结构三维响应滤波器，增强非齐次能谱CT图像中除食管癌区域外的其他区域；
使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层；
使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点；
使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息；
使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注。
2.根据权利要求1所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述使用基于Hessian矩阵的多结构三维响应滤波器，增强所述非齐次能谱CT图像中除食管癌区域外的其他区域，包括：
将连续的所述非齐次能谱CT图像合并成非齐次三维体积数据；所述三维体积数据包括多个体素，每个所述体素的Hessian矩阵包括不同方向上的二阶导数；
使用线性标度空间理论，将所述非齐次能谱CT图像在σ标度上的Hessian矩阵中的元素确定为
其中，i,j＝1,2,3表示元素的位置，*表示卷积运算，γ为参数，G(x，σ)为高斯函数，
将所述非齐次能谱CT图像分解成连续的二维影像；
将所述非齐次能谱CT图像分解成的二维影像输入至所述多结构三维响应滤波器，获取所述多结构三维响应滤波器的输出结果；所述多结构三维响应滤波器的输出结果为除食管癌区域外的其他区域获得增强的非齐次能谱CT图像。
3.根据权利要求1所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层，包括：
对所述非齐次能谱CT图像进行整形；
将所述非齐次能谱CT图像输入至关键断层提取网络；所述关键断层提取网络包括卷积层、第一完全连接层和第二完全连接层；
获取所述关键断层提取网络输出的每个所述关键断层的关键点分数；
将所述关键点分数乘以所述断层特征映射，获得相应的关键断层。
4.根据权利要求1所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点，包括：
将所述关键断层输入至所述基于通道注意力和跨层融合的U-Net网络；所述基于通道注意力和跨层融合的U-Net网络包括基础U-Net网络和多个跨层特征融合模块，各所述跨层特征融合模块嵌入在所述基础U-Net网络中；
获取所述基于通道注意力和跨层融合的U-Net网络的输出结果；所述基于通道注意力和跨层融合的U-Net网络的输出结果为食管癌区域和其他区域被所述至少一组轮廓顶点分割开的关键断层。
5.根据权利要求1所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息，包括：
将带有至少一组轮廓顶点的所述关键断层输入至卷积神经网络；
使用门控图神经网络对所述卷积神经网络输出的图像特征进行影像采样，获得所述关键断层的标注信息。
6.根据权利要求1所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注，包括：
在各所述关键断层中，确定食管癌的起始断层和结束断层；
根据所述标注信息，在所述起始断层上确定起始中心；
按照各所述关键断层的排序，将所述起始中心依次经过各所述关键断层映射到所述结束断层。
7.根据权利要求6所述的非齐次三维食管癌能谱CT弱监督自动标注方法，其特征在于，所述根据所述标注信息，在所述起始断层上确定起始中心，包括：
根据所述标注信息，在所述起始断层上确定一个矩形区域作为所述起始中心；所述矩形区域的中心与所述起始断层的中心重合。
8.一种非齐次三维食管癌能谱CT弱监督自动标注系统，其特征在于，包括：
第一模块，用于使用基于Hessian矩阵的多结构三维响应滤波器，增强所述非齐次能谱CT图像中除食管癌区域外的其他区域；
第二模块，用于使用基于信息权重的特征提取算法，从所述非齐次能谱CT图像提取多个关键断层；
第三模块，用于使用基于通道注意力和跨层融合的U-Net网络，进行对所述非齐次能谱CT图像中的食管癌区域和其他区域的分割，获取所述食管癌区域的至少一组轮廓顶点；
第四模块，用于使用Poly-RNN算法，根据所述至少一组轮廓顶点确定所述关键断层的标注信息；
第五模块，用于使用区域中心点生长映射，根据所述标注信息获取所述非齐次能谱CT图像的全序列的自动标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011295020.8A CN112488996A (zh) | 2020-11-18 | 2020-11-18 | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011295020.8A CN112488996A (zh) | 2020-11-18 | 2020-11-18 | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488996A true CN112488996A (zh) | 2021-03-12 |
Family
ID=74931386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011295020.8A Pending CN112488996A (zh) | 2020-11-18 | 2020-11-18 | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488996A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及系统 |
| JP7464800B2 (ja) | 2021-10-26 | 2024-04-09 | 之江実験室 | 小サンプル弱ラベル付け条件での医療イベント認識方法及びシステム |
-
2020
- 2020-11-18 CN CN202011295020.8A patent/CN112488996A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7464800B2 (ja) | 2021-10-26 | 2024-04-09 | 之江実験室 | 小サンプル弱ラベル付け条件での医療イベント認識方法及びシステム |
| CN114299072A (zh) * | 2022-03-11 | 2022-04-08 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| Shukla et al. | AI-DRIVEN novel approach for liver cancer screening and prediction using cascaded fully convolutional neural network | |
| Ypsilantis et al. | Recurrent convolutional networks for pulmonary nodule detection in CT imaging | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| He et al. | MetricUNet: Synergistic image-and voxel-level learning for precise prostate segmentation via online sampling | |
| CN111444844A (zh) | 一种基于变分自编码器的液基细胞人工智能检测方法 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| Rele et al. | Machine Learning based Brain Tumor Detection using Transfer Learning | |
| Nie et al. | Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning | |
| CN113096080A (zh) | 图像分析方法及系统 | |
| Sri et al. | Detection Of MRI Brain Tumor Using Customized Deep Learning Method Via Web App | |
| Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
| Park et al. | Classification of cervical cancer using deep learning and machine learning approach | |
| Tyagi et al. | An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation | |
| Singh et al. | SkiNet: a deep learning solution for skin lesion diagnosis with uncertainty estimation and Explainability | |
| WO2022170203A1 (en) | System and method for automatic diagnosis of idiopathic pulmonary fibrosis (ipf) using neural networks | |
| Yancey | Deep Feature Fusion for Mitosis Counting | |
| Chandra et al. | A Novel Framework For Brain Disease Classification Using Quantum Convolutional Neural Network | |
| Khanh Phung et al. | A research for segmentation of brain tumors based on GAN model | |
| Manu et al. | Tautomated Colorectal Lymphoma Volume Calculation Using 3d Mri Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |