CN115018809B - Ct图像的靶区分割识别方法及系统 - Google Patents
Ct图像的靶区分割识别方法及系统 Download PDFInfo
- Publication number
- CN115018809B CN115018809B CN202210745666.4A CN202210745666A CN115018809B CN 115018809 B CN115018809 B CN 115018809B CN 202210745666 A CN202210745666 A CN 202210745666A CN 115018809 B CN115018809 B CN 115018809B
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- image
- encoder
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 210000000920 organ at risk Anatomy 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000001575 pathological effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000001915 proofreading effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000001959 radiotherapy Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 210000001072 colon Anatomy 0.000 description 4
- 201000007270 liver cancer Diseases 0.000 description 4
- 208000014018 liver neoplasm Diseases 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000000664 rectum Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000011404 fractionated radiotherapy Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000003932 urinary bladder Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种CT图像的靶区分割识别方法及系统，属于生物医学图像分割领域，方法包括：获取CT图像，利用Transformer编码器对CT图像进行特征提取以得到第一特征图，利用多尺度编码器对CT图像进行特征提取以得到第二特征图；利用特征自适应注意力模块对第一特征图和第二特征图进行特征融合，得到融合特征图；利用解码器对融合特征图进行逐层特征解码，以实现对CT图像端到端的靶区分割。该系统可以自动对CT图像进行勾画操作，大幅缩短了人工勾画过程耗费的时间和精力，提高了勾画效率和精度，自动勾画的结果可以被直观地展示出来并保存至本地，方便后续查看和校对。
Description
技术领域
本发明属于生物医学图像分割领域，更具体地，涉及一种CT图像的靶区分割识别方法及系统。
背景技术
放射治疗是治疗恶性肿瘤的主要手段之一，其基本原则是实现放射治疗增益比最大化，即最大限度地保证射线剂量全部集中在放疗靶区内，并且使危及器官少受辐射剂量。因此，危及器官与病变组织的精准勾画是放疗成功的重要一环。虽然近年来放疗技术日新月异，但勾画方面仍存在不少问题。例如在勾画危及器官时，医生需要对图像的切片进行逐层勾画，过程耗时费力、效率低，并且勾画极度依赖医生的主观知识和个人经验。值得注意的是，在分次放疗过程中，存在着摆位误差、患者组织结构上的改变(如肿瘤的消融、体型改变等)，使实际靶区的受照剂量与计划标准产生偏差，甚至可能导致正常组织受照剂量超量。重新采集图像、勾画靶区、制定放疗计划，能有效避免这些因素带来的误差，但分次放疗过程中需要医生多次勾画，这极大地增加了医生的工作量。因此，急切需一种辅助临床医生对肿瘤与危及器官自动勾画的人工智能勾画系统。
目前，临床上主要应用的是基于Atlas的自动勾画，常用软件有瓦里安的基于图谱库的自动勾画软件(Atlas-based auto-segmentation software，ABAS)、Velocity、MIMvista等。此类自动勾画程序是利用医学图像配准技术，将参考图像与待勾画图像的解剖特征利用形变场进行最优化匹配，再进行空间映射和转换来完成自动勾画。但是，这些方法对于不同体型的患者需要分别建立模型，缺乏普适性，并且需要对患者图形进行弹性配准，这个过程也需要耗费一些时间，并不能很好地适用于临床。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种CT图像的靶区分割识别方法及系统，其目的在于提供一种精准的、普适性高、分割速度快的CT图像的靶区分割识别模型。
为实现上述目的，按照本发明的一个方面，提供了一种CT图像的靶区分割识别方法，包括：S1，获取CT图像，利用Transformer编码器对所述CT图像进行特征提取以得到第一特征图，利用多尺度编码器对所述CT图像进行特征提取以得到第二特征图；其中，所述多尺度编码器包括两个不同尺度的子编码器，用于将所述CT图像转换为尺度与所述子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对所述子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各所述子编码器对应的特征图Hα和特征图Hβ，所述第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ；S2，利用特征自适应注意力模块对所述第一特征图和第二特征图进行特征融合，得到融合特征图；S3，利用解码器对所述融合特征图进行逐层特征解码，以对所述CT图像进行端到端的靶区分割，以确定危及器官与病变组织的位置。
更进一步地，所述Transformer编码器包括多头注意力模块和多层感知机模块，所述利用Transformer编码器对所述CT图像进行特征提取包括：将所述CT图像转换为与所述Transformer编码器输入相匹配的序列；利用所述多头注意力模块将所述序列分别投影到原始高维空间的不同子空间中进行自注意计算，得到各子空间中的自注意分数，将各子空间中的自注意分数级联得到级联分数；利用所述多层感知机模块对所述级联分数进行特征空间转换，得到输出向量，并将所述输出向量转换为三维矩阵形式以作为所述第一特征图。
更进一步地，所述自注意计算包括：计算所述序列在任一子空间中的查询向量、关键向量和值向量，对所述查询向量和所述关键向量进行点积运算，得到注意力得分；通过softmax激活函数对所述注意力得分进行归一化处理，得到归一化分数，将所述归一化分数与所述值向量相乘，得到所述子空间的自注意分数。
更进一步地，所述级联分数为：
MHA(Xl)＝Xl+Concat[HA(Xl)1HA(Xl)2…HA(Xl)h]×Wo
其中，MHA(Xl)为所述级联分数，Xl为所述序列，Concat[·]为特征通道融合算子，HA(Xl)i为子空间i的自注意分数，i＝1,2,…,h，h为所述多头注意力模块中独立自注意层的个数，Wo为可学习矩阵。
更进一步地，所述输出向量为：
Xl+1＝MLP(MHA(Xl))+MHA(Xl)
其中，Xl+1为所述输出向量，MLP(·)为由两个带有GeLu激活函数的线性层组成的MLP网络，MHA(Xl)为所述级联分数，Xl为所述序列。
更进一步地，所述特征自适应注意力模块包括通道注意力模块和空间注意力模块，所述S2包括：将所述第一特征图和所述第二特征图结合，生成增强特征图；利用所述通道注意力模块对所述增强特征图的空间维度信息进行聚合，并推导出更细通道上的注意力，生成通道注意力图；利用所述空间注意力模块对所述通道注意力图依次进行最大池化和平均池化之后，对每个像素点在不同通道上的像素进行线性组合，得到所述融合特征图。
更进一步地，所述S1之前还包括：以Dice损失函数达到全局最优解为目标，训练所述Transformer编码器、多尺度编码器、特征自适应注意力模块和解码器。
按照本发明的另一个方面，提供了一种CT图像的靶区分割识别系统，包括：编码模块，用于利用Transformer编码器对CT图像进行特征提取以得到第一特征图，利用多尺度编码器对所述CT图像进行特征提取以得到第二特征图；其中，所述多尺度编码器包括两个不同尺度的子编码器，用于将所述CT图像转换为尺度与所述子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对所述子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各所述子编码器对应的特征图Hα和特征图Hβ，所述第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ；特征融合模块，用于利用特征自适应注意力模块对所述第一特征图和第二特征图进行特征融合，得到融合特征图；解码识别模块，用于利用解码器对所述融合特征图进行逐层特征解码，以对所述CT图像进行端到端的靶区分割，以确定危及器官与病变组织的位置。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：提供了一种CT图像的靶区分割识别方法，迁移了transformer算法，利用自注意架构拟合更多特征之间的互相关信息，并利用局部信息到全局信息的扩散机制去寻求高效语义表达，提升分割识别模型的普适性与泛化能力；考虑到transformer不具备平移不变性，可能会在某些关键点检测上出现诊断误差，因此，设计并行编码结构，利用多尺度编码器中卷积神经网络的尺度不变性与transformer的空间远距离特征融合性，对原始医学影像特征进行编码，提高分割识别模型的分割精准度。
附图说明
图1为本发明实施例提供的CT图像的靶区分割识别方法的流程图；
图2为本发明实施例提供的整体网络架构的示意图；
图3为本发明实施例提供的特征自适应注意力模块中双注意力机制的示意图；
图4为图3所示双注意力机制中通道注意力机制的示意图；
图5为图3所示双注意力机制中空间注意力机制的示意图；
图6为本发明实施例提供的软件操作界面示意图；
图7为本发明实施例提供的分割结果示意图；
图8为本发明实施例提供的CT图像的靶区分割识别系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的CT图像的靶区分割识别方法的流程图。参阅图1，结合图2-图7，对本实施例中CT图像的靶区分割识别方法进行详细说明，方法包括操作S1-操作S3。
本实施例中，用于自动勾画病变靶区的网络架构如图2所示。该网络架构包括三部分，分别为：编码模块(包括Transformer编码器和多尺度编码器)、用于促进相邻特征融合的特征自适应注意力模块、以及可有效执行逐层特征解码的解码器。从整体来看，本实施例中使用具有跳跃连接的对称编码-解码体系结构作为网络主干，通过集成Transformer编码器和多尺度编码器，不仅可以提取丰富的局部特征，还可以捕获全局上下文信息；设计特征自适应注意力模块，并将其嵌入到编码器与解码器之间，以自适应地匹配编-解码器之间的特征分布；最后，使用一个高效的解码器来生成密集的预测映射。
根据本发明的实施例，在执行操作S1之前，还需要训练图2所示网络架构，即以Dice损失函数达到全局最优解为目标，训练Transformer编码器、多尺度编码器、特征自适应注意力模块和解码器。
在基于深度学习的医学图像分割任务中，损失函数作为一个重要的组成部分，用来评价预测的分割结果与实际情况之间的匹配程度。本实施例中，考虑到头颈部器官包含视神经、视交叉等小对象器官，而小对象分割是语义分割的挑战，从数据整体性的角度来看，该挑战主要是由于数据分布不平衡所导致。因为医学图像分割需要像素标记，但小对象的标记占整体图像比例极小，很难让网络学习到准确且有用的信息，因此，本发明实施例中，采用基于小对象器官分割问题提出的Dice损失函数，并在中心数据集上测试它的性能。
优选地，基于Keras实现该网络，并在NVIDIA P100上进行训练，采用基于梯度的Adam优化器进行优化，Adam优化器的超参数设置为：β1＝0.9、β2＝0.999，采用余弦退火学习率变化方案，初始学习率设置为0.01，最小学习率设置为0.00001，学习率变化迭代周期设置为4。
操作S1，获取CT图像，利用Transformer编码器对CT图像进行特征提取以得到第一特征图，利用多尺度编码器对CT图像进行特征提取以得到第二特征图，其中，多尺度编码器包括两个不同尺度的子编码器，用于将CT图像转换为尺度与子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各子编码器对应的特征图Hα和特征图Hβ，第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ。
根据本发明的实施例，利用Transformer编码器对CT图像进行特征提取包括子操作S11′-子操作S15′。
在子操作S11′中，将CT图像转换为与Transformer编码器输入相匹配的序列。
为了匹配Transformer编码器的输入，需要通过线性投影函数将CT图像对应的三维矩阵X∈Rn×H×w转换为一维嵌入序列然后，将一维嵌入序列与自学习空间参数相加，得到序列该序列Xl可以被直接输入Transformer编码器。
在子操作S12′中，利用多头注意力模块将序列分别投影到原始高维空间的不同子空间中进行自注意计算，得到各子空间中的自注意分数。
Transformer编码器包括多头注意力模块和多层感知机模块，如图2所示。作为Transformer编码器的核心组成部分，多头注意力机制将相同的查询向量、关键向量和值向量投影到原始高维空间的不同子空间中进行自注意计算，其中参数总数保持不变，可以在输入特征序列上并行地更新每个待输入信息。
根据本发明的实施例，自注意计算包括：首先，计算序列在任一子空间中的查询向量、关键向量和值向量：
Qi＝XlWi Q
Ki＝XlWi K
Vi＝XlWi V
其中，Qi、Ki、Vi分别为序列Xl在第i个子空间中的查询向量、关键向量和值向量，i＝1,2,…,h；Wi Q、Wi K、Wi V分别为第i个子空间的查询矩阵、关键矩阵和值矩阵，均为可学习矩阵。dki＝dvi＝cmi/h，dvi为第i个子空间中值向量的输入维度，dki为第i个子空间中查询向量和关键向量的输入维度，cmi为第i个子空间中输入特征向量线性投影的维度，h为多头注意力模块中独立的自注意层的个数。
其次，对查询向量和关键向量进行点积运算，得到注意力得分，通过softmax激活函数对注意力得分进行归一化处理，得到归一化分数，将归一化分数与值向量相乘，得到子空间的自注意分数：
其中，HA(Xl)i为第i个子空间的自注意分数，softmax(·)为softmax激活函数，Qi(Ki)T为第i个子空间的注意力得分。
在子操作S13′中，将各子空间中的自注意分数级联得到级联分数。
本发明实施例中，一方面，在计算每个头部的自注意力得分时降低了向量维数，防止过拟合；另一方面，由于每个向量在不同的子空间中具有区域性分布，因此多头注意力模块还可以捕获序列在不同子空间的相关性，将用于计算不同子空间中的自注意分数的多个头串联在一起，得到级联分数MHA(Xl)：
MHA(Xl)＝Xl+Concat[HA(Xl)1HA(Xl)2…HA(Xl)h]×Wo
其中，Concat[·]为特征通道融合算子，Wo为可学习矩阵。
在子操作S14′中，利用多层感知机模块对级联分数进行特征空间转换，得到输出向量Xl+1：
Xl+1＝MLP(MHA(Xl))+MHA(Xl)
其中，MLP(·)为由两个带有GeLu激活函数的线性层组成的MLP网络，用于转换MHA的特征空间，使得transformer结构具有更好的建模能力。此外，还引入一个残差连接简化网络学习。
在子操作S15′中，将输出向量转换为三维矩阵形式以作为第一特征图。具体地，采用线性投影反变化函数，将transformer层输出的一维向量恢复为三维矩阵形式，并用512维的卷积层对其做卷积运算，输出第一特征图Tout。
在医学影像分割任务中，某些小靶区的预测适配于较低的推理分辨率，而大靶区的分割适配于较高的推理分辨率。具体而言，放大后的图像包含更多细节信息，如精细结构或轮廓的边缘；而缩小后的图像包含更多全局特征，通常对大型结构有更强的鲁棒性。受到多尺度网络的启发，本实施例中，利用多尺度模型来提取医学影像中的特征信息如图2所示。
根据本发明的实施例，多尺度编码器包括两个不同尺度的子编码器，分别为大尺度的子编码器Eα和小尺度的子编码器Eβ，分别被用来处理不同尺度的输入张量Iα和Iβ。利用多尺度编码器对CT图像进行特征提取以得到第二特征图包括子操作S11″-子操作S12″。
在子操作S11″中，将CT图像转换为尺度与子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ。
优选地，多尺度编码器的每个模块均采用了类残差的结构，包括：一个批量归一化，用于加速模型收敛，防止梯度爆炸与梯度消失；一个非线性(ReLU)激活层和一个n通道(n＝32，64，128，256和512)的二维卷积层，卷积核尺寸为3×3，步长为1。最终，子编码器Eα和子编码器Eβ的输出在尺度归一化后，生成两组尺度相同的特征图Fα和特征图Fβ。
在子操作S12″中，对子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各子编码器对应的特征图Hα和特征图Hβ，第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ。
由于浅层神经网络中的特征包含较多底层细节信息，而深层神经网络中的特征包括较多的全局信息，通过深层、浅层特征的信息融合可大幅提升语义分割的准确性。因此，本实施例中，从大尺度的子编码器Eα和小尺度的子编码器Eβ的每一级取下隐藏的特征映射和然后进行下采样和拼接，生成特征图Fα和特征图Fβ。最终，特征图Fα、特征图Fβ、特征图Hα、特征图Hβ和第一特征图Tout将被特征自适应注意力模块所利用。
操作S2，利用特征自适应注意力模块对第一特征图和第二特征图进行特征融合，得到融合特征图。
根据本发明的实施例，特征自适应注意力模块包括通道注意力模块和空间注意力模块，如图3所示，操作S2包括子操作S21-子操作S23。
在子操作S21中，将第一特征图和第二特征图结合，生成增强特征图。
具体地，将多尺度编码器输出的特征图Fα和特征图Fβ、级联的隐藏特征图Hα、特征图Hβ和transformer编码器输出的第一特征图Tout相结合，生成增强特征图。
在子操作S22中，利用通道注意力模块对增强特征图的空间维度信息进行聚合，并推导出更细通道上的注意力，生成通道注意力图。
通道注意力模块的机制如图4所示，通道注意模块采用线性结构，首先输入特征会经过两个独立的池化层(最大池化、均值池化)，其作用是对输入特征空间维度信息聚合的同时推断出更细通道上的注意力，其次两个描述符经过由多层感知机组成的共享网络以生成通道注意力图，将共享网络应用到每个描述符后，输出的特征向量使用逐元素求和进行合并。
在子操作S23中，利用空间注意力模块对通道注意力图依次进行最大池化和平均池化之后，对每个像素点在不同通道上的像素进行线性组合，得到融合特征图。
空间注意力模块的机制如图5所示，它是对通道注意力的补充，主要聚焦于空间中最具信息量的部分，输入特征首先会沿着通道轴应用平均池化和最大池化操作，将Ii∈Rn ×H×W压缩为Ii∈R1×H×W，然后利用1x1的卷积层对每个像素点在不同通道上进行线性组合，且保留特征图的原有平面结构，最后通过softmax函数获取Ii上每个像素点的重要程度。
操作S3，利用解码器对融合特征图进行逐层特征解码，以对CT图像进行端到端的靶区分割，以确定危及器官与病变组织的位置。
经过特征自适应注意力模块处理后，生成的特征图Z将通过解码器。解码器主要由上采样模块、批量归一化层、dropout层和卷积层组成。该二维卷积层的卷积核尺寸为3×3，其通道数分别为32、64、128、256和512，步长为1。在二维卷积层之后连接一个批量归一化层和一个上采样层。通过解码器，可以将被编码的CT图像中的特征信息解压缩，自适应生成对应的靶区分割。
本实施例中，利用评价指标Dice score、Jaccard、Precision和Recall来评价算法的分割精度：
其中，P表示所本文所提网络的预测，T表示真值标签。P1和P0表示区域预测为阳性和阴性的体素，T1和T0表示真值中标记为阳性和阴性的体素，d(·)表示距离函数。
为了方便用户识别不同部位，以及直观地显示自动勾画的结果，采用PyQt5设计了一款端到端的用户操作界面。PyQt5是一套Python绑定Digia Qt5应用的框架。与其他GUI开发框架比，Qt具有以下优势：具有良好的平台兼容性，Windows、Linux等主流操作系统都支持相应的开发；封装集成度高，可以进行相对简便的模块化设计；应用程序编程接口函数多，设计人员可以直接调用，减少了开发时间，提高了设计效率。该软件的操作界面如图6所示。
参阅图6，该操作界面由三部分组成，左侧为菜单栏，可以选择不同的器官及肿瘤，包括：膀胱、眼球、头颈部、肝癌、结肠、直肠；右侧上半部分为测试文件导入区，操作人员可以通过import file选择要导入的CT图像，本实施例提供了不同器官及肿瘤的CT图像供操作人员进行测试；右侧下半部分为结果展示区，自动勾画的结果将在这个区域内进行展示，且该软件可以将自动勾画的结果保存至本地指定的路径，供后续查看与校对。
本实施例中，首先采用了AI software、U-Net、Multi-Net等网络架构，利用Dicescore评估指标来定量评估各网络架构的分割性能，通过评估这些网络架构与本发明实施例所提方法在膀胱、眼球、头颈部、肝癌、结肠、直肠的分割效果可以得出：本发明实施例对上述7个危及器官的分割有着不错的性能，相较于四家人工智能公司勾画结果有明显提升，整体结果如表1所示。
表1
| AI software | U-Net | Multi-Net | Our Net | Our Net vs AI | |
| 膀胱 | 0.82 | 0.87 | 0.87 | 0.87 | P＝0.004 |
| 眼球 | 0.70 | 0.82 | 0.80 | 0.83 | P＜0.001 |
| 头颈部 | 0.81 | 0.90 | 0.87 | 0.91 | P＜0.001 |
| 肝癌 | 0.71 | 0.85 | 0.83 | 0.85 | P＜0.001 |
| 结肠 | 0.40 | 0.56 | 0.56 | 0.57 | P＜0.001 |
| 直肠 | 0.49 | 0.73 | 0.72 | 0.74 | P＜0.001 |
| 平均 | 0.65 | 0.83 | 0.77 | 0.79 | P＜0.001 |
为了进一步验证本算法的可行性，分别采用Dice score、Jaccard、Precision、Recall和Hausdorff distance这五个评价指标，对本发明实施例中算法的分割能力进行测试。如表2所示。
表2
| Dice | Jaccard | Precision t | Recall | HD | |
| 膀胱 | 0.87 | 0.78 | 0.99 | 0.87 | 2.2 |
| 眼球 | 0.83 | 0.75 | 0.88 | 0.84 | 1.1 |
| 头颈部 | 0.91 | 0.86 | 0.94 | 0.91 | 1.4 |
| 肝癌 | 0.85 | 0.75 | 0.94 | 0.82 | 1.5 |
| 结肠 | 0.57 | 0.45 | 0.69 | 0.54 | 4.7 |
| 直肠 | 0.74 | 0.66 | 0.82 | 0.78 | 2.1 |
为了直观地展示本发明实施例方法的有效性，通过图7系统地展示了本网络架构的分割结果。图7中每一列代表不同患者的医学影像，每一行代表针对头颈部部位不同的靶区，从上到下依次为脑干、食管、下颌骨、腮腺、视交叉、左视神经。参阅图7，可以直观地观察到，本发明实施例能很好地捕获危及器官的靶区临域，勾画出较为准确的轮廓，且N-Net本实施例中算法对于危及器官核心区域的分割结果接近于金标准，可相对有效地检测出小对象器官。综上所述，本发明实施例中CT图像的靶区分割识别方法能够准确且有效地分割出细节清晰的区域，最大性能地分割出轮廓模糊的区域，以避免在某些特定区域产生误判。
图8为本发明实施例提供的CT图像的靶区分割识别系统的框图。参阅图8，该CT图像的靶区分割识别系统800包括编码模块810、特征融合模块820以及解码识别模块830。
编码模块810例如执行操作S1，用于利用Transformer编码器对CT图像进行特征提取以得到第一特征图，利用多尺度编码器对CT图像进行特征提取以得到第二特征图，其中，多尺度编码器包括两个不同尺度的子编码器，用于将CT图像转换为尺度与子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各子编码器对应的特征图Hα和特征图Hβ，第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ。
特征融合模块820例如执行操作S2，用于利用特征自适应注意力模块对第一特征图和第二特征图进行特征融合，得到融合特征图。
解码识别模块830例如执行操作S3，用于利用解码器对融合特征图进行逐层特征解码，以对CT图像进行靶区分割，识别并形成分割得到的靶区。
CT图像的靶区分割识别系统800用于执行上述图1-图7所示实施例中的CT图像的靶区分割识别方法。本实施例未尽之细节，请参阅前述图1-图7所示实施例中的CT图像的靶区分割识别方法，此处不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种CT图像的靶区分割识别方法，其特征在于，包括：
S1，获取CT图像，利用Transformer编码器对所述CT图像进行特征提取以得到第一特征图，利用多尺度编码器对所述CT图像进行特征提取以得到第二特征图；
其中，所述多尺度编码器包括两个不同尺度的子编码器，用于将所述CT图像转换为尺度与所述子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对所述子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各所述子编码器对应的特征图Hα和特征图Hβ，所述第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ；S2，利用特征自适应注意力模块对所述第一特征图和第二特征图进行特征融合，得到融合特征图；
S3，利用解码器对所述融合特征图进行逐层特征解码，以对所述CT图像进行端到端的靶区分割，以确定危及器官与病变组织的位置。
2.如权利要求1所述的CT图像的靶区分割识别方法，其特征在于，所述Transformer编码器包括多头注意力模块和多层感知机模块，所述利用Transformer编码器对所述CT图像进行特征提取包括：
将所述CT图像转换为与所述Transformer编码器输入相匹配的序列；
利用所述多头注意力模块将所述序列分别投影到原始高维空间的不同子空间中进行自注意计算，得到各子空间中的自注意分数，将各子空间中的自注意分数级联得到级联分数；
利用所述多层感知机模块对所述级联分数进行特征空间转换，得到输出向量，并将所述输出向量转换为三维矩阵形式以作为所述第一特征图。
3.如权利要求2所述的CT图像的靶区分割识别方法，其特征在于，所述自注意计算包括：
计算所述序列在任一子空间中的查询向量、关键向量和值向量，对所述查询向量和所述关键向量进行点积运算，得到注意力得分；
通过softmax激活函数对所述注意力得分进行归一化处理，得到归一化分数，将所述归一化分数与所述值向量相乘，得到所述子空间的自注意分数。
4.如权利要求2所述的CT图像的靶区分割识别方法，其特征在于，所述级联分数为：
MHA(Xl)＝Xl+Concat[HA(Xl)1HA(Xl)2…HA(Xl)h]×Wo
其中，MHA(Xl)为所述级联分数，Xl为所述序列，Concat[·]为特征通道融合算子，HA(Xl)i为子空间i的自注意分数，i＝1,2,…,h，h为所述多头注意力模块中独立自注意层的个数，Wo为可学习矩阵。
5.如权利要求2-4任一项所述的CT图像的靶区分割识别方法，其特征在于，所述输出向量为：
Xl+1＝MLP(MHA(Xl))+MHA(Xl)
其中，Xl+1为所述输出向量，MLP(·)为由两个带有GeLu激活函数的线性层组成的MLP网络，MHA(Xl)为所述级联分数，Xl为所述序列。
6.如权利要求1所述的CT图像的靶区分割识别方法，其特征在于，所述特征自适应注意力模块包括通道注意力模块和空间注意力模块，所述S2包括：
将所述第一特征图和所述第二特征图结合，生成增强特征图；
利用所述通道注意力模块对所述增强特征图的空间维度信息进行聚合，并推导出更细通道上的注意力，生成通道注意力图；
利用所述空间注意力模块对所述通道注意力图依次进行最大池化和平均池化之后，对每个像素点在不同通道上的像素进行线性组合，得到所述融合特征图。
7.如权利要求1所述的CT图像的靶区分割识别方法，其特征在于，所述S1之前还包括：
以Dice损失函数达到全局最优解为目标，训练所述Transformer编码器、多尺度编码器、特征自适应注意力模块和解码器。
8.一种CT图像的靶区分割识别系统，其特征在于，包括：
编码模块，用于利用Transformer编码器对CT图像进行特征提取以得到第一特征图，利用多尺度编码器对所述CT图像进行特征提取以得到第二特征图；
其中，所述多尺度编码器包括两个不同尺度的子编码器，用于将所述CT图像转换为尺度与所述子编码器尺度一致的影像并输入相应的子编码器中，进行特征提取后分别输出两组尺度相同的特征图Fα和特征图Fβ；对所述子编码器每一级隐藏的特征映射依次进行特征提取、下采样和级间特征拼接，生成与各所述子编码器对应的特征图Hα和特征图Hβ，所述第二特征图包括特征图Fα、特征图Fβ、特征图Hα和特征图Hβ；
特征融合模块，用于利用特征自适应注意力模块对所述第一特征图和第二特征图进行特征融合，得到融合特征图；
解码识别模块，用于利用解码器对所述融合特征图进行逐层特征解码，以对所述CT图像进行端到端的靶区分割，以确定危及器官与病变组织的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745666.4A CN115018809B (zh) | 2022-06-28 | 2022-06-28 | Ct图像的靶区分割识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745666.4A CN115018809B (zh) | 2022-06-28 | 2022-06-28 | Ct图像的靶区分割识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018809A CN115018809A (zh) | 2022-09-06 |
| CN115018809B true CN115018809B (zh) | 2024-09-10 |
Family
ID=83076083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210745666.4A Active CN115018809B (zh) | 2022-06-28 | 2022-06-28 | Ct图像的靶区分割识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018809B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024065536A1 (en) * | 2022-09-29 | 2024-04-04 | Intel Corporation | Methods and apparatus for image segmentation on small datasets |
| CN116188392B (zh) * | 2022-12-30 | 2024-06-25 | 阿里巴巴（中国）有限公司 | 图像处理方法、计算机可读存储介质以及计算机终端 |
| CN116012586A (zh) * | 2023-01-06 | 2023-04-25 | 阿里巴巴（中国）有限公司 | 图像处理方法、存储介质及计算机终端 |
| CN116363143B (zh) * | 2023-03-10 | 2024-08-16 | 北京长木谷医疗科技股份有限公司 | 基于多尺度自注意力机制的髋关节分割方法、装置及设备 |
| CN116344001B (zh) * | 2023-03-10 | 2023-10-24 | 中南大学湘雅三医院 | 一种基于人工智能的医疗信息可视化管理系统及方法 |
| CN116012374A (zh) * | 2023-03-15 | 2023-04-25 | 译企科技(成都)有限公司 | 一种三维pet-ct头颈部肿瘤分割系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
| CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469180A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 医学图像的处理方法和系统、数据处理方法 |
| CN113288193B (zh) * | 2021-07-08 | 2022-04-01 | 广州柏视医疗科技有限公司 | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统 |
-
2022
- 2022-06-28 CN CN202210745666.4A patent/CN115018809B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
| CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018809A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018809B (zh) | Ct图像的靶区分割识别方法及系统 | |
| Li et al. | Lvit: language meets vision transformer in medical image segmentation | |
| Wang et al. | Ssd-kd: A self-supervised diverse knowledge distillation method for lightweight skin lesion classification using dermoscopic images | |
| Zhuang et al. | An Effective WSSENet-Based Similarity Retrieval Method of Large Lung CT Image Databases. | |
| CN110992338B (zh) | 一种原发灶转移辅助诊断系统 | |
| Zhang et al. | Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| Vania et al. | Intervertebral disc instance segmentation using a multistage optimization mask-RCNN (MOM-RCNN) | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| Skeika et al. | Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging | |
| CN113313199A (zh) | 一种于基于弱监督注意力的脑ct医学报告自动生成方法 | |
| Jiao et al. | TransDose: Transformer-based radiotherapy dose prediction from CT images guided by super-pixel-level GCN classification | |
| Ji et al. | Lung nodule detection in medical images based on improved YOLOv5s | |
| Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
| Yang et al. | A neural ordinary differential equation model for visualizing deep neural network behaviors in multi‐parametric MRI‐based glioma segmentation | |
| Ruan et al. | An efficient tongue segmentation model based on u-net framework | |
| Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
| Tyagi et al. | An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation | |
| Wang et al. | Explainable multitask Shapley explanation networks for real-time polyp diagnosis in videos | |
| Barhoumi et al. | Efficient scopeformer: Towards scalable and rich feature extraction for intracranial hemorrhage detection | |
| Wang et al. | Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision | |
| Yu et al. | 3D Medical Image Segmentation based on multi-scale MPU-Net | |
| Haghighi et al. | Self-supervised learning for medical image analysis: Discriminative, restorative, or adversarial? | |
| Liu et al. | LGI Net: Enhancing local-global information interaction for medical image segmentation | |
| Qian et al. | MSCA-UNet: Multi-scale convolutional attention UNet for automatic cell counting using density regression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |