CN116486090B - 肺癌脊柱转移图像处理方法、装置、设备、存储介质 - Google Patents
肺癌脊柱转移图像处理方法、装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116486090B CN116486090B CN202310747388.0A CN202310747388A CN116486090B CN 116486090 B CN116486090 B CN 116486090B CN 202310747388 A CN202310747388 A CN 202310747388A CN 116486090 B CN116486090 B CN 116486090B
- Authority
- CN
- China
- Prior art keywords
- lung cancer
- spine
- feature
- features
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010058467 Lung neoplasm malignant Diseases 0.000 title claims abstract description 287
- 201000005202 lung cancer Diseases 0.000 title claims abstract description 287
- 208000020816 lung neoplasm Diseases 0.000 title claims abstract description 287
- 206010027476 Metastases Diseases 0.000 title claims abstract description 120
- 230000009401 metastasis Effects 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000011176 pooling Methods 0.000 claims abstract description 209
- 238000012546 transfer Methods 0.000 claims abstract description 163
- 238000003709 image segmentation Methods 0.000 claims abstract description 96
- 230000011218 segmentation Effects 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims description 76
- 238000013145 classification model Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 21
- 206010028980 Neoplasm Diseases 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 210000000278 spinal cord Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000003902 lesion Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011477 surgical intervention Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000037147 Hypercalcaemia Diseases 0.000 description 1
- 206010027468 Metastases to spine Diseases 0.000 description 1
- 206010029174 Nerve compression Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010034156 Pathological fracture Diseases 0.000 description 1
- 206010041549 Spinal cord compression Diseases 0.000 description 1
- 208000005250 Spontaneous Fractures Diseases 0.000 description 1
- 206010068268 Tumour compression Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000000148 hypercalcaemia Effects 0.000 description 1
- 208000030915 hypercalcemia disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种肺癌脊柱转移图像处理方法、装置、计算机设备、存储介质。方法包括：获取肺癌脊柱转移图像；将肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；获取肺癌脊柱转移图像分割模型输出的肺癌脊柱转移图像中目标对象的分割结果。采用本方法能够在具有病灶形态复杂、病变区域周围存在较多的噪声和其他组织等问题的肺癌脊柱转移图像中更精确地分割出目标对象。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种肺癌脊柱转移图像处理方法、装置、计算机设备、存储介质。
背景技术
肺癌是常见的恶性肿瘤，其除了具有较高的发病率和死亡率外，还具有较高的骨转移发生率，其中脊柱转移是最常见的肺癌骨转移情况。约46%的肺癌骨转移患者并发骨相关事件，具体表现为病理性骨折，恶性疼痛，高钙血症和脊髓压迫等，严重影响患者生活质量和生存期，需要通过手术干预的方式降低肺癌脊柱转移对患者的影响。其中，肺癌肿瘤对神经压迫以及导致脊柱不稳定是重要的手术指征。在实践中，临床医生通常根据肺癌脊柱转移患者的MRI图像以及其他指标判断患者的肿瘤压迫程度，并进一步为患者和家属提供手术干预决策的参考信息。
随着人工智能和图像处理技术的发展，人们开始将其应用至医学图像处理中，处理例如病灶区域分割、肿瘤分类等任务。但是，由于肺癌脊柱转移病灶的形态复杂，病变区域周围存在较多的噪声和其他组织，而且其病灶常常在骨骼系统中，存在伪影、骨骼边界不清晰等问题，因此目前直接将已有的图像处理方法应用到肺癌脊柱转移图像中难以获得较好的分割精度。
发明内容
基于此，有必要针对上述技术问题，提供一种肺癌脊柱转移图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种肺癌脊柱转移图像处理方法。所述方法包括：
获取肺癌脊柱转移图像；
将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力特征和编码注意力特征，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征。
在其中一个实施例中，所述将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型，包括：对所述肺癌脊柱转移图像进行滤波和增强处理，得到处理后的肺癌脊柱转移图像；将所述处理后的肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型。
在其中一个实施例中，所述方法还包括：根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；将所述各目标对象各自对应的注意力特征图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由所述肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；所述双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算所述第一特征的注意力权重；对所述输入特征进行卷积处理得到第二特征，根据所述第一特征的注意力权重对所述第二特征进行加权处理，得到双池化注意力特征；获取所述肺癌脊柱转移图像分类模型输出的所述肺癌脊柱转移图像中各目标对象的位置关系分类信息。
在其中一个实施例中，所述根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图，包括：根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的类激活图；对所述各目标对象对应的类激活图进行JET颜色映射处理，得到各目标对象各自对应的注意力特征图。
在其中一个实施例中，所述方法还包括：根据所述肺癌脊柱转移图像中目标对象的分割结果，在所述肺癌脊柱转移图像标记所述目标对象，得到目标分割图像。
在其中一个实施例中，所述目标对象包括肿瘤、脊髓和/或脊柱。
第二方面，本申请还提供了一种肺癌脊柱转移图像处理装置。所述装置包括：
图像获取模块，用于获取肺癌脊柱转移图像；
分割处理模块，用于将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
结果获取模块，用于获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力特征和编码注意力特征，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征。
在其中一个实施例中，所述装置还包括：
结果处理模块，用于根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；
分类模块，用于将所述各目标对象各自对应的注意力特征图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由所述肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；所述双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算所述第一特征的注意力权重；对所述输入特征进行卷积处理得到第二特征，根据所述第一特征的注意力权重对所述第二特征进行加权处理，得到双池化注意力特征；
分类信息获取模块，用于获取所述肺癌脊柱转移图像分类模型输出的所述肺癌脊柱转移图像中各目标对象的位置关系分类信息。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取肺癌脊柱转移图像；
将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力权重和编码注意力权重，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取肺癌脊柱转移图像；
将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力权重和编码注意力权重，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征。
上述肺癌脊柱转移图像处理方法、装置、计算机设备、存储介质，通过将肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型，由肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；以金字塔池化模块作为肺癌脊柱转移图像分割模型的瓶颈层，并获取肺癌脊柱转移图像分割模型输出的目标对象的分割结果。其中肺癌脊柱转移图像分割模型的双池化模块可在下采样处理过程中有效整合平均池化和最大池化对特征的过滤和压缩能力；交叉注意力模块可以对解码特征和编码特征进行交叉增强和深度融合，加快网络训练的收敛速度以及目标分割的准确性；以金字塔池化模块作为分割模型的瓶颈层，可以结合不同层次的感受野，得到整合上下文的特征信息。应用该模型对肺癌脊柱转移图像进行处理，可以在具有病灶的形态复杂，病变区域周围存在较多的噪声和其他组织等问题的肺癌脊柱转移图像中更精确地分割出目标对象。
附图说明
图1为一个实施例中肺癌脊柱转移图像处理方法的应用环境图；
图2为一个实施例中肺癌脊柱转移图像处理方法的流程示意图；
图3为一个实施例中肺癌脊柱转移图像分割模型的结构示意图；
图4为一个实施例中肺癌脊柱转移图像分割模型的双池化模块的结构示意图；
图5为一个实施例中肺癌脊柱转移图像分割模型的金字塔池化模块的结构示意图；
图6为一个实施例中肺癌脊柱转移图像分割模型的交叉注意力模块的结构示意图；
图7为一个实施例中滤波和增强处理前后的肺癌脊柱转移图像对比图；
图8为一个实施例中肺癌脊柱转移图像处理方法的其他步骤的流程示意图；
图9为一个实施例中肺癌脊柱转移图像分类模型的结构示意图；
图10为一个实施例中肺癌脊柱转移图像处理方法输出的注意力特征图；
图11为一个实施例中肺癌脊柱转移图像处理方法输出的目标分割图像；
图12为一个实施例中肺癌脊柱转移图像处理方法的流程示意图；
图13为一个实施例中肺癌脊柱转移图像处理方法的处理过程示意图；
图14为一个实施例中使用肺癌脊柱转移图像处理方法得到的目标分割图与真实结果以及使用其他图像分割模型获得的目标分割图的对比图；
图15为一个实施例中肺癌脊柱转移图像处理装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的肺癌脊柱转移图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。肺癌脊柱转移图像可以通过终端102上传至服务器104，然后服务器104可以按照本申请实施例提供的肺癌脊柱转移图像处理方法对肺癌脊柱转移图像进行处理，并输出目标对象的分割结果，终端102可对分割结果进行展示。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种肺癌脊柱转移图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S201，获取肺癌脊柱转移图像；
具体地，肺癌脊柱转移图像为经患者授权提供的肺癌脊柱转移患者的脊柱横断面MRI图像，其中包括肺癌肿瘤、脊髓、脊椎等组织的横断面。
步骤S202，将肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；该肺癌脊柱转移图像分割模型中，双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接平均池化特征和最大池化特征得到下采样特征；交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力特征和编码注意力特征，根据解码注意力特征对编码特征进行加权得到编码加权特征，根据编码注意力特征对第一解码特征进行加权得到解码加权特征，将解码加权特征和编码加权特征分别与解码特征和编码特征加和后进行拼接，输出第二解码特征。
具体地，如图3所示，本实施例中的肺癌脊柱转移图像分割模型的结构与unet类似，包括编码器、解码器和瓶颈层，并且通过跳跃连接将编码器和解码器中同一层的编码特征和解码特征进行融合，得到新的解码特征。
本实施例中，肺癌脊柱转移图像被输入肺癌脊柱转移图像分割模型的编码器，通过两层卷积层提取其编码特征，然后先后经过多次双池化模块的下采样处理以及两层卷积层的卷积处理，得到对应于编码器每一层的编码特征。
其中，上述两层卷积层中的每个卷积层均使用大小为3x3的卷积核对输入的特征进行处理，再依次使用Batch Norm算法和relu函数对卷积核的输出进行处理。而且每个两层卷积层中，每层使用的卷积核数量从编码器的顶层至底层逐步增加，如图3所示，对于深度为D，宽度为W，高度为H的编码特征，第一个两层卷积层得到的编码特征具有32个通道，第二个两层卷积层得到的编码特征具有64个通道，第三个两层卷积层得到的编码特征具有128个通道，第四个两层卷积层得到的编码特征具有256个通道，因此，四个两层卷积层中，其每层卷积层使用的卷积核数量分别为32、64、128、256。
而在每两个两层卷积层之间，双池化模块对上一个两层卷积层输出的编码特征进行下采样处理，并将其得到的下采样特征输入至下一个两层卷积层。具体地，如图4所示，本实施例中的双池化模块对输入的特征先进行平均池化操作，再通过卷积核大小为1x1的卷积处理对平均池化操作的结果进行通道数调整，得到平均池化特征。然后对平均池化特征进行最大池化操作和卷积核大小为1x1的卷积处理，并通过2倍上采样调整结果的通道数，得到最大池化特征。最后将平均池化特征和最大池化特征在通道维度进行拼接，得到下采样特征。上述过程可用下式表示：
其中，x为输入的特征，F(x)为下采样特征，A(x)为平均池化特征，Conv为卷积核大小为1x1的卷积处理，up为2倍上采样，Avgpool为平均池化处理，Maxpool为最大池化处理，⊕为拼接操作。
按照上述方法，肺癌脊柱转移图像分割模型可以得到对应于多个两层卷积层的编码特征。
本实施例中的肺癌脊柱转移图像分割模型使用如图5所示的金字塔池化模块作为瓶颈层。该金字塔池化模块获取编码器的最后一个两层卷积层输出的编码特征，并对该编码特征进行不同尺度的自适应平均池化操作。具体地，本实施例中使用了1x1、2x2、3x3、6x6的4个不同尺度。进一步地，金字塔池化模块对每个尺度的池化结果进行卷积核大小为1x1的卷积处理，对各池化结果进行通道调整，使其通道压缩为原来的四分之一。然后通过双线性插值的上采样操作，将经处理的不同尺度的池化结果恢复到与输入的编码特征相同的大小，再将各池化结果以及输入的编码特征进行拼接，得到整合上下文的瓶颈特征。
如图3所示，本实施例的肺癌脊柱转移图像分割模型的瓶颈层按照上述方法获得瓶颈特征后，即将其输入模型的解码器。
本实施例中，解码器的每一层包括上采样层、交叉注意力模块和两层卷积层。其中，上采样层对输入的解码特征进行反卷积的上采样处理，得到第一解码特征。交叉注意力模块根据该第一解码特征以及由跳转连接传送的同一层编码器的编码特征，获取第二解码特征。两层卷积层对第二解码特征进行卷积处理，得到该层解码器对应的目标解码特征。其中，第一层解码器（对应于最后一层编码器）以瓶颈层输出的瓶颈特征作为输入的解码特征；其余每层解码器都以上一层解码器输出的目标解码特征作为输入的解码特征。
具体地，解码器中的每个两层卷积层与编码器中类似，每层均依次使用卷积核大小为3x3的卷积、Batch Norm算法和relu函数对特征进行处理，但每层使用的卷积核数量从解码器的底层至顶层逐步减少，如图3所示，四个两层卷积层中，其每层使用的卷积核数量分别为256、128、64、32。
如图6所示，本申请中的交叉注意力模块根据接收到的第一解码特征和编码特征，对两个特征分别依次进行平均池化操作和最大池化操作，并通过卷积核大小为1x1的卷积处理对每个像素在通道上进行信息整合，再通过sigmoid函数作为激活函数对卷积处理后的特征进行注意力权重计算，将其特征数据映射到[0,1]之间，并得到两个特征各自对应的解码注意力特征和编码注意力特征。然后，通过逐元素相乘（element-wisemultiplication），使用解码注意力特征对编码特征进行加权，得到编码加权特征；使用编码注意力特征对第一解码特征进行加权，得到解码加权特征。再将第一解码特征和编码特征作为残差块与编码加权特征和解码加权特征进行求和，以避免过拟合。最后将求和后得到的两个特征进行拼接，输出第二解码特征。具体地，上述过程可用下式表示：
其中，F为注意力函数，x1,x2为第一解码特征和编码特征，avg为平均池化处理，max为最大池化处理，ω代表sigmoid函数，N3×3表示滤波器大小为3×3的卷积运算, ⊗表示逐元素相乘，⊕表示逐元素相加，f1(x1)表示使用注意力函数F得到的对应于x1的注意力特征，f2(x2)表示使用注意力函数F得到的对应于x2的注意力特征，Y(x1,x2)表示拼接后的第二解码特征。
按照上述方法，可以在每一层解码器中得到融合了编码特征和第一解码特征的第二解码特征，将第二解码特征输入两层卷积层后，即可输出该层解码器对应的目标解码特征。
进一步地，本实施例的肺癌脊柱转移图像分割模型中，最后一层解码器还包括全连接层，其对两层卷积层输出的目标解码特征进行卷积核大小为1x1的卷积处理，得到具有与目标对象对应通道数量的分割结果。其中，分割结果的每个通道各自对应于一个目标对象。
步骤S203，获取肺癌脊柱转移图像分割模型输出的肺癌脊柱转移图像中目标对象的分割结果。
具体地，本步骤中可获取步骤S202中由肺癌脊柱转移图像分割模型输出的肺癌脊柱转移图像中目标对象的分割结果，并可进一步地将其传输至终端102中进行展示。
本实施例通过将肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型，由肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；以金字塔池化模块作为肺癌脊柱转移图像分割模型的瓶颈层，并获取肺癌脊柱转移图像分割模型输出的目标对象的分割结果。其中肺癌脊柱转移图像分割模型的双池化模块可在下采样处理过程中有效整合平均池化和最大池化对特征的过滤和压缩能力；交叉注意力模块可以对解码特征和编码特征进行交叉增强和深度融合，加快网络训练的收敛速度以及目标分割的准确性；以金字塔池化模块作为分割模型的瓶颈层，可以结合不同层次的感受野，得到整合上下文的特征信息。应用该模型对肺癌脊柱转移图像进行处理，可以在具有病灶的形态复杂，病变区域周围存在较多的噪声和其他组织等问题的肺癌脊柱转移图像中更精确地分割出目标对象。
在一个实施例中，将肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型，包括：对肺癌脊柱转移图像进行滤波和增强处理，得到处理后的肺癌脊柱转移图像；将处理后的肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型。
具体地，在本实施例中，可以对肺癌脊柱转移图像进行高斯滤波处理，然后采用限制对比度自适应直方图均衡化CLAHE增强处理，得到处理后的肺癌脊柱转移图像，然后再将其作为肺癌脊柱转移图像分割模型的输入。
请参考图7，其为本实施例中进行滤波和增强处理前后的肺癌脊柱转移图像对比图，其中经滤波和增强处理后的肺癌脊柱转移图像明显具有更高的清晰度。
本实施例通过滤波和增强处理，获得更清晰的肺癌脊柱转移图像，以该图像作为肺癌脊柱转移图像分割模型的输入，可以使模型更容易对图像中的不同组织进行分割，提高分割精度。
在一个实施例中，如图8所示，该方法还包括以下步骤：
步骤S801，根据肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；
具体地，根据上述实施例中步骤S201至S203中的方法，可获得肺癌脊柱转移图像中目标对象的分割结果，该分割结果中每个通道分别对应于一个目标对象。其中，根据分割结果中各通道的注意力权重分布分别对原始的肺癌脊柱转移图像进行着色，即可获得各目标对象各自对应的注意力特征图。
步骤S802，将各目标对象各自对应的类激活图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算第一特征的注意力权重；对输入特征进行卷积处理得到第二特征，根据第一特征的注意力权重对第二特征进行加权处理，得到双池化注意力特征。
具体地，如图9所示，本实施例中使用的肺癌脊柱转移图像分类模型具有与VGG16类似的结构，其包括交替堆叠的多个卷积模块和双池化注意力模块、三个全连接层以及分类函数。
将各目标对象各自对应的类激活图输入本实施例的肺癌脊柱转移图像分类模型后，先由卷积模块进行卷积处理，再由双池化注意力模块进行池化处理，重复该过程多次后，使用三个全连接层对最后一次池化处理得到的双池化注意力特征进行处理，得到目标特征，并最终由分类函数根据目标特征输出肺癌脊柱转移图像中目标对象的位置关系的分类结果。例如，该肺癌脊柱转移图像中，指定的两种不同的目标对象之间的距离小于预设值，则输出分类结果为1，否则输出分类结果为0。
其中，本实施例具体使用的卷积模块、全连接层和分类函数可采用VGG16原有的内容，此处不再赘述。
而对于双池化注意力模块，如图9所示，其对输入的特征分别进行平均池化处理和最大池化处理，然后对两者的结果分别进行全连接处理并拼接，得到第一特征。然后，使用sigmoid函数作为激活函数计算得到第一特征的注意力权重。另一方面，双池化注意力模块还对输入的特征进行卷积核大小为3x3，步长为2的卷积处理，得到第二特征。根据第一特征的注意力权重对第二特征进行加权处理，得到双池化注意力特征。具体地，上述过程可采用下式表示：
其中，DPA表示双池化注意力特征，x为第二特征，AP为平均池化处理的结果，MP为最大池化处理的结果，conv表示全连接处理，⊗表示加权处理，⊕表示拼接处理。
优选地，该肺癌脊柱转移图像分类模型可以先采用imagenet 数据集进行预训练，然后再通过迁移方法对肺癌脊柱转移图像的类激活图进行二次迁移学习。其可提高模型对肺癌脊柱转移图像中的目标对象位置关系的分类准确度，也更适应于小样本的训练场景。
步骤S803，获取肺癌脊柱转移图像分类模型输出的肺癌脊柱转移图像中各目标对象的位置关系分类信息。
具体地，本步骤中可获取步骤S802中由肺癌脊柱转移图像分类模型输出的肺癌脊柱转移图像中各目标对象的位置关系分类信息，并可进一步地将其传输至终端102中进行展示。
本实施例根据肺癌脊柱转移图像分割模型输出的目标对象的分割结果获取各目标对应的类激活图，然后将类激活图输入基于VGG16的肺癌脊柱转移图像分类模型，得到肺癌脊柱转移图像中各目标对象的位置关系分类信息。该过程中分割模型使用的双池化注意力模块可以对特征的平均池化结果和最大池化结果进行融合来获取权重信息，并利用该权重信息对卷积处理后的特征进行加权，可以对特征进行目标注意力增强，有利于提高模型整体对肺癌脊柱转移图像中的目标对象位置关系的分类准确度。
在一个实施例中，根据肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图，包括：根据肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的类激活图；对各目标对象对应的类激活图进行颜色映射处理，得到各目标对象各自对应的注意力特征图。
具体地，根据所述分割结果中各通道的特征图与原始的肺癌脊柱转移图像进行叠加，即可获得各目标对象各自对应的类激活图，其可反映各目标在肺癌脊柱转移图像中对应的注意力权重分布。对于各目标对象对应的类激活图，通过JET颜色映射算法，根据类激活图中特征图的权重信息对原始的肺癌脊柱转移图像进行着色，输出注意力特征图。请参考图10，其为本实施例中输出的注意力特征图。
本实施例对各目标对象对应的类激活图进行可视化处理，将其转换为注意力特征图，其可直观地呈现肺癌脊柱转移图像分割模型针对不同目标对象进行分割时的关注重点，有利于对模型进行更优化的调试。JET颜色映射算法具有较高对比度，可以更有效地突出图像中的细节。
在一个实施例中，该方法还包括步骤：根据肺癌脊柱转移图像中目标对象的分割结果，在肺癌脊柱转移图像标记目标对象，得到目标分割图像。
具体地，根据肺癌脊柱转移图像中目标对象的分割结果，可以得到肺癌脊柱转移图像中每个目标对象各自对应的图像区域，根据该结果对肺癌脊柱转移图像中不同目标对象对应的图像区域进行标记，例如使用不同的颜色进行着色，又或者添加文字标记，得到目标分割图像。其可更直观地呈现各目标对象在肺癌脊柱转移图像中的位置关系。请参考图11，其为本实施例中输出的目标分割图像，其中针对不同的对象使用了不同颜色进行标记。
本实施例根据肺癌脊柱转移图像中目标对象的分割结果对肺癌脊柱转移图像进行标记，得到目标分割图像。该图像可直观地呈现目标对象在肺癌脊柱转移图像中的分布位置、大小以及各目标对象之间的相互关系等信息，其可以为临床医生对骨转移的肿瘤状况进行评估，也可以为肿瘤是否压迫脊柱的判断提供有用的参考信息。
在一个实施例中，该方法的目标对象包括肿瘤以及脊髓和/或脊柱。
具体地，以肿瘤、脊髓和/或脊柱作为肺癌脊柱转移图像处理的目标对象，可以在图像中分割出肺癌脊柱转移中的病灶以及可能受到压迫的组织，根据该目标对象的分割结果进行后续的分类，可以通过肺癌脊柱转移图像分类模型输出肺癌脊柱转移中肺癌肿瘤是否对脊髓或脊柱造成压迫的分类结果，提供更具有参考价值的手术干预决策参考信息。
本实施例根据肺癌脊柱转移中容易出现的肺癌肿瘤压迫脊柱的情形，使用肿瘤、脊髓和脊柱作为图像处理的目标对象，可以在分割结果中呈现的肿瘤、脊髓和脊柱的位置和大小，并进一步可使用肺癌脊柱转移图像分类模型对目标对象之间的位置关系进行分类，从而获得可用于判断是否存在肿瘤压迫脊柱的风险的参考信息。
在一个实施例中，如图12所示，提供了一种肺癌脊柱转移图像处理方法。另请参考图13，其为该方法的处理过程示意图。以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S1201，获取肺癌脊柱转移图像。
步骤S1202，对肺癌脊柱转移图像进行滤波和增强处理，得到处理后的肺癌脊柱转移图像；将处理后的肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型。
步骤S1203，获取肺癌脊柱转移图像分割模型输出的肺癌脊柱转移图像中目标对象的分割结果。
步骤S1204，根据肺癌脊柱转移图像中目标对象的分割结果，在肺癌脊柱转移图像标记目标对象，得到目标分割图像。
步骤S1205，根据肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的类激活图；
步骤S1206，对各目标对象对应的类激活图进行颜色映射处理，得到各目标对象各自对应的注意力特征图；
步骤S1207，将各目标对象各自对应的类激活图输入基于VGG16的肺癌脊柱转移图像分类模型；
步骤S1208，获取肺癌脊柱转移图像分类模型输出的肺癌脊柱转移图像中各目标对象的位置关系分类信息。
本实施例中以肿瘤、脊髓和脊柱、背景作为目标对象，通过肺癌脊柱转移图像分割模型进行图像分割处理，并通过肺癌脊柱转移图像分类模型进行分类。其中，针对肺癌脊柱转移中肿瘤可能对脊髓或脊柱形成压迫的情况，分类模型根据肿瘤和脊髓或脊柱的相对位置对压迫情况进行评估，并根据压迫风险的高低输出1或0。
其中，本实施例的各步骤的具体实施方式可参考上述实施例中的具体实现形式，此处不再赘述。
请参考图14，其为按照本实施例的方法得到的目标分割图与真实结果以及进行相同预处理后使用其他图像分割模型输出的目标分割图的结果对比图。其中，发明人分别使用了Unet分割模型、ResUnet分割模型、PSPUnet分割模型（使用金字塔模块作为瓶颈层的unet）、ResAgUnet分割模型（引入注意力门控机制的ResUnet）、PSPnet分割模型对同一图像进行了处理，并得到各分割模型对应的目标分割图。再根据临床医生的专业判断，在原始图像的基础上进行颜色标记，得到真实结果。其中，红色为肺癌肿瘤、蓝色为脊髓、绿色为脊柱。
将上述各分割模型的目标分割图以及本申请中使用的肺癌脊柱转移图像分割模型的目标分割图与真实结果进行对比，可知本申请的分割模型获得的目标分割图明显更接近真实结果。因此，本申请的分割模型相对于现有的其他分割模型具有更好的图像分割效果。
另一方面，使用测试集按照本申请的方法进行测试，本申请的肺癌脊柱转移图像分类模型的分类准确率及分类精度分别为95%及89%。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的肺癌脊柱转移图像处理方法的肺癌脊柱转移图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个肺癌脊柱转移图像处理装置实施例中的具体限定可以参见上文中对于肺癌脊柱转移图像处理方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种肺癌脊柱转移图像处理装置1500，包括：
图像获取模块1501，用于获取肺癌脊柱转移图像；
分割处理模块1502，用于将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
结果获取模块1503，用于获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力权重和编码注意力权重，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征。
在一个实施例中，分割处理模块1502还用于：对所述肺癌脊柱转移图像进行滤波和增强处理，得到处理后的肺癌脊柱转移图像；将所述处理后的肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型。
在一个实施例中，所述装置还包括：
结果处理模块，用于根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；
分类模块，用于将所述各目标对象各自对应的注意力特征图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由所述肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；所述双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算所述第一特征的注意力权重；对所述输入特征进行卷积处理得到第二特征，根据所述第一特征的注意力权重对所述第二特征进行加权处理，得到双池化注意力特征；
分类信息获取模块，用于获取所述肺癌脊柱转移图像分类模型输出的所述肺癌脊柱转移图像中各目标对象的位置关系分类信息。
在一个实施例中，结果处理模块还用于：根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的类激活图；对所述各目标对象对应的类激活图进行JET颜色映射处理，得到各目标对象各自对应的注意力特征图。
在一个实施例中，结果处理模块还用于：根据所述肺癌脊柱转移图像中目标对象的分割结果，在所述肺癌脊柱转移图像标记所述目标对象，得到目标分割图像。
在一个实施例中，所述目标对象包括肿瘤、脊髓和脊柱中的一个或多个。
上述肺癌脊柱转移图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种肺癌脊柱转移图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种肺癌脊柱转移图像处理方法，其特征在于，包括以下步骤：
获取肺癌脊柱转移图像；
将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力特征和编码注意力特征，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征；
根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；
将所述各目标对象各自对应的注意力特征图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由所述肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；所述双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算所述第一特征的注意力权重；对所述输入特征进行卷积处理得到第二特征，根据所述第一特征的注意力权重对所述第二特征进行加权处理，得到双池化注意力特征；
获取所述肺癌脊柱转移图像分类模型输出的所述肺癌脊柱转移图像中各目标对象的位置关系分类信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型，包括：
对所述肺癌脊柱转移图像进行滤波和增强处理，得到处理后的肺癌脊柱转移图像；
将所述处理后的肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图，包括：
根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的类激活图；
对所述各目标对象对应的类激活图进行JET颜色映射处理，得到各目标对象各自对应的注意力特征图。
4.根据权利要求1~3任一项所述的方法，其特征在于，所述方法还包括：
根据所述肺癌脊柱转移图像中目标对象的分割结果，在所述肺癌脊柱转移图像标记所述目标对象，得到目标分割图像。
5.根据权利要求4所述的方法，其特征在于，所述目标对象包括肿瘤、脊髓和/或脊柱。
6.一种肺癌脊柱转移图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取肺癌脊柱转移图像；
分割处理模块，用于将所述肺癌脊柱转移图像输入基于unet为网络骨架的肺癌脊柱转移图像分割模型；其中，由所述肺癌脊柱转移图像分割模型的双池化模块进行下采样处理，由交叉注意力模块对编码特征及解码特征进行融合；所述肺癌脊柱转移图像分割模型的瓶颈层为金字塔池化模块；
结果获取模块，用于获取所述肺癌脊柱转移图像分割模型输出的所述肺癌脊柱转移图像中目标对象的分割结果；
所述肺癌脊柱转移图像分割模型中，
所述双池化模块，用于对输入特征进行平均池化操作和卷积处理得到平均池化特征，对所述平均池化特征依次进行最大池化操作、卷积处理和上采样处理得到最大池化特征，拼接所述平均池化特征和最大池化特征得到下采样特征；
所述交叉注意力模块，用于分别对第一解码特征和编码特征依次进行平均池化操作、最大池化操作、卷积处理和注意力权重计算得到解码注意力特征和编码注意力特征，根据所述解码注意力特征对所述编码特征进行加权得到编码加权特征，根据所述编码注意力特征对所述第一解码特征进行加权得到解码加权特征，将所述编码加权特征和解码加权特征分别与所述第一解码特征和编码特征加和后进行拼接，输出第二解码特征；
结果处理模块，用于根据所述肺癌脊柱转移图像中目标对象的分割结果，获取各目标对象各自对应的注意力特征图；
分类模块，用于将所述各目标对象各自对应的注意力特征图输入基于VGG16的肺癌脊柱转移图像分类模型；其中，由所述肺癌脊柱转移图像分类模型的双池化注意力模块进行池化处理；所述双池化注意力模块，用于对输入特征分别进行平均池化处理、最大池化处理，对平均池化处理和最大池化处理获得的结果分别进行全连接处理并拼接，得到第一特征；计算所述第一特征的注意力权重；对所述输入特征进行卷积处理得到第二特征，根据所述第一特征的注意力权重对所述第二特征进行加权处理，得到双池化注意力特征；
分类信息获取模块，用于获取所述肺癌脊柱转移图像分类模型输出的所述肺癌脊柱转移图像中各目标对象的位置关系分类信息。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310747388.0A CN116486090B (zh) | 2023-06-25 | 2023-06-25 | 肺癌脊柱转移图像处理方法、装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310747388.0A CN116486090B (zh) | 2023-06-25 | 2023-06-25 | 肺癌脊柱转移图像处理方法、装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486090A CN116486090A (zh) | 2023-07-25 |
| CN116486090B true CN116486090B (zh) | 2023-09-05 |
Family
ID=87219961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310747388.0A Active CN116486090B (zh) | 2023-06-25 | 2023-06-25 | 肺癌脊柱转移图像处理方法、装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486090B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165692A (zh) * | 2018-09-06 | 2019-01-08 | 中国矿业大学 | 一种基于弱监督学习的用户性格预测装置及方法 |
| CN110648317A (zh) * | 2019-09-18 | 2020-01-03 | 上海交通大学 | 适用于脊柱转移肿瘤骨质的质量分类方法及系统 |
| CN114648541A (zh) * | 2022-03-28 | 2022-06-21 | 中国人民解放军总医院第七医学中心 | 非小细胞肺癌大体肿瘤靶区自动分割方法 |
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
| CN115393741A (zh) * | 2022-07-28 | 2022-11-25 | 泰瑞数创科技(北京)股份有限公司 | 基于无人机低空采样的地物分类人工智能识别方法及其系统 |
| CN116342600A (zh) * | 2023-05-29 | 2023-06-27 | 中日友好医院(中日友好临床医学研究所) | 胸腺瘤组织病理学图像中细胞核的分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI709147B (zh) * | 2019-10-16 | 2020-11-01 | 中國醫藥大學附設醫院 | 基於全身骨掃描影像之深度學習攝護腺癌骨轉移辨識系統 |
-
2023
- 2023-06-25 CN CN202310747388.0A patent/CN116486090B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165692A (zh) * | 2018-09-06 | 2019-01-08 | 中国矿业大学 | 一种基于弱监督学习的用户性格预测装置及方法 |
| CN110648317A (zh) * | 2019-09-18 | 2020-01-03 | 上海交通大学 | 适用于脊柱转移肿瘤骨质的质量分类方法及系统 |
| CN114648541A (zh) * | 2022-03-28 | 2022-06-21 | 中国人民解放军总医院第七医学中心 | 非小细胞肺癌大体肿瘤靶区自动分割方法 |
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
| CN115393741A (zh) * | 2022-07-28 | 2022-11-25 | 泰瑞数创科技(北京)股份有限公司 | 基于无人机低空采样的地物分类人工智能识别方法及其系统 |
| CN116342600A (zh) * | 2023-05-29 | 2023-06-27 | 中日友好医院(中日友好临床医学研究所) | 胸腺瘤组织病理学图像中细胞核的分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| U-Net Transformer: Self and Cross Attention for Medical Image Segmentation;Olivier Petit;arXiv;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486090A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111683269B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| US10650283B2 (en) | Electronic apparatus and control method thereof | |
| Liu et al. | Medical image fusion method by using Laplacian pyramid and convolutional sparse representation | |
| Qin et al. | Multi-scale attention network for image inpainting | |
| US20200364829A1 (en) | Electronic device and method for controlling thereof | |
| US9549128B2 (en) | Method and system for processing an image featuring multiple scales | |
| CN113256529B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| US11074671B2 (en) | Electronic apparatus and control method thereof | |
| US20230274400A1 (en) | Automatically removing moving objects from video streams | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN115147606B (zh) | 医学图像的分割方法、装置、计算机设备和存储介质 | |
| CN114399510A (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| Fu et al. | Multimodal biomedical image fusion method via rolling guidance filter and deep convolutional neural networks | |
| CN111612792A (zh) | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 | |
| CN116580028A (zh) | 一种物体表面缺陷检测方法、装置、设备及存储介质 | |
| Cai et al. | Lightweight spatial-channel adaptive coordination of multilevel refinement enhancement network for image reconstruction | |
| CN116486090B (zh) | 肺癌脊柱转移图像处理方法、装置、设备、存储介质 | |
| Liu et al. | CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity | |
| CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 | |
| CN113628148A (zh) | 红外图像降噪方法和装置 | |
| CN115731240A (zh) | 一种分割方法、装置、电子设备及存储介质 | |
| CN113032622A (zh) | 一种新型医学视频图像采集和数据管理系统 | |
| Li et al. | Medical Image Enhancement Using Deep Learning | |
| CN117974992A (zh) | 抠图处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |