CN115375897A - 图像处理方法、装置、设备及介质 - Google Patents

图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN115375897A
CN115375897A CN202210905193.XA CN202210905193A CN115375897A CN 115375897 A CN115375897 A CN 115375897A CN 202210905193 A CN202210905193 A CN 202210905193A CN 115375897 A CN115375897 A CN 115375897A
Authority
CN
China
Prior art keywords
feature
bone marrow
image processing
image
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210905193.XA
Other languages
English (en)
Inventor
秦传波
李婉莹
郑斌
曾军英
朱思齐
刘志
翁奇萍
谢梓源
骆伟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202210905193.XA priority Critical patent/CN115375897A/zh
Publication of CN115375897A publication Critical patent/CN115375897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了图像处理方法、装置、设备及介质，通过根据骨髓区图像学习局部信息得到第一特征，并根据骨髓区图像进行基于三维体素的多头自注意力计算处理得到第二特征，融合第一特征和第二特征；根据融合特征提取不同尺度的多个骨髓信息，将多个骨髓信息得到全局特征；根据融合特征和全局特征进行解码，得到解码特征；根据解码特征计算图像处理模型的损失函数值，根据损失函数值调整图像处理模型的参数；能够有效地解决功能性了骨髓最强区和次强区的形态变化大、类别分布不平衡、部分骨髓体积尺寸过小、功能性骨髓边界模糊等问题，实现准确有效地从CT图像中分割出功能性骨髓区。

Description

图像处理方法、装置、设备及介质
技术领域
本申请实施例涉及但不限于图像处理领域，尤其涉及图像处理方法、装置、设备及介质。
背景技术
从CT图像中准确分割出具有造血活性的功能性骨髓分布区域，可以有效指导精准IMRT的设计，进而指导放疗计划优化、充分保护功能性骨髓区，尤其是保护造血功能活跃的功能性骨髓。盆腔功能性骨髓图像骨髓的占比体积和区域面积相差较大，分割中属于类别极度不平衡且医学图像边界模糊、梯度复杂。目前的图像处理方法对功能性骨髓的分割效果差。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了图像处理方法、装置、设备及介质，能够准确有效地从CT图像中分割出功能性骨髓区。
本申请的第一方面，一种图像处理方法，包括：
获取骨髓区图像，将所述骨髓区图像输入至图像处理模型；
根据所述骨髓区图像学习局部信息，得到第一特征，并根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据所述第一特征和所述第二特征得到融合特征；
根据所述融合特征提取不同尺度的多个骨髓信息，将所述多个骨髓信息进行编码，得到全局特征；
根据所述融合特征和所述全局特征进行解码，得到解码特征；
根据所述解码特征计算所述图像处理模型的损失函数值，根据所述损失函数值调整所述图像处理模型的参数，得到训练好的图像处理模型；
获取待分割图像，将所述待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
根据本申请的第一方面，所述根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，包括：
根据三维体素对所述骨髓区图像进行重塑，得到重塑图像；
基于自注意力机制的查询、键、值和相对位置编码，根据所述重塑图像得到每个三维体素的注意力值；
根据每个三维体素的注意力值，得到所述第二特征。
根据本申请的第一方面，所述根据所述第一特征和所述第二特征得到融合特征，包括：
将所述骨髓区图像经过卷积处理、归一化处理和激活处理得到卷积特征；
拼接所述第一特征和所述第二特征，得到注意力块特征；
融合所述卷积特征和所述注意力块特征，得到融合特征。
根据本申请的第一方面，所述根据所述融合特征提取不同尺度的多个骨髓信息，包括：
对所述融合特征进行对应第一池化核的池化操作得到第一池化特征；
对所述融合特征进行对应第二池化核的池化操作得到第二池化特征，所述第二池化核的大小小于所述第一池化核；
对所述第一池化特征通过三线性插值进行上采样，得到第一上采样特征；
将所述第一上采样特征和所述第二池化特征作为多个骨髓信息。
根据本申请的第一方面，所述将所述多个骨髓信息进行编码，得到全局特征，包括：
对所述多个骨髓信息进行线性投影，得到包括降维特征和全局映射投影矩阵的空间编码信息；
将所述降维特征和所述全局映射投影矩阵重塑，对重塑后的所述降维特征和所述全局映射投影矩阵执行矩阵乘法得到节点特征映射，将所述节点特征映射输入由MSA层和MLP层组成的Transformer块，得到第一子全局特征；
根据所述多个骨髓信息创建逆投影矩阵，将所述第一子全局特征和所述逆投影矩阵相乘得到变换至原始空间的第二子全局特征；
根据所述第二子全局特征与所述多个骨髓信息，得到所述全局特征。
根据本申请的第一方面，所述根据所述融合特征和所述全局特征进行解码，得到解码特征，包括：
将所述融合特征依次经过多个上采样模块进行上采样，得到多个第二上采样特征；
将多个所述全局特征和多个所述第二上采样特征一一对应地进行跳跃连接；
从所述全局特征的关键采样位置提取关键采样特征，将所述关键采样特征和所述第二上采样特征进行矩阵相乘，得到所述解码特征。
根据本申请的第一方面，所述损失函数值包括Dice系数损失函数值和交叉熵损失函数值。
本申请的第二方面，一种图像处理装置，包括：
输入模块，用于获取骨髓区图像，将所述骨髓区图像输入至图像处理模型；
编码模块，用于根据所述骨髓区图像学习局部信息，得到第一特征，并根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据所述第一特征和所述第二特征得到融合特征；
全局特征获取模块，用于根据所述融合特征提取不同尺度的多个骨髓信息，将所述多个骨髓信息进行编码，得到全局特征；
解码模块，用于根据所述融合特征和所述全局特征进行解码，得到解码特征；
调参模块，用于根据所述解码特征计算所述图像处理模型的损失函数值，根据所述损失函数值调整所述图像处理模型的参数，得到训练好的图像处理模型；
分割模块，用于获取待分割图像，将所述待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
本申请的第三方面，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像处理方法。
本申请的第四方面，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的图像处理方法。
本申请实施例包括：获取骨髓区图像，将骨髓区图像输入至图像处理模型；根据骨髓区图像学习局部信息，得到第一特征，并根据骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据第一特征和第二特征得到融合特征；根据融合特征提取不同尺度的多个骨髓信息，将多个骨髓信息进行编码，得到全局特征；根据融合特征和全局特征进行解码，得到解码特征；根据解码特征计算图像处理模型的损失函数值，根据损失函数值调整图像处理模型的参数，得到训练好的图像处理模型；获取待分割图像，将待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像；能够有效地解决功能性了骨髓最强区和次强区的形态变化大、类别分布不平衡、部分骨髓体积尺寸过小、功能性骨髓边界模糊等问题，实现准确有效地从CT图像中分割出功能性骨髓区。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请实施例所提供的图像处理方法的步骤图；
图2是步骤根据骨髓区图像进行基于三维体素的多头自注意力计算处理得到第二特征的子步骤图；
图3是步骤根据融合特征提取不同尺度的多个骨髓信息的子步骤图；
图4是步骤将多个骨髓信息进行编码，得到全局特征的子步骤图；
图5是步骤根据融合特征和全局特征进行解码得到解码特征的子步骤图；
图6是图像处理模型的原理图；
图7是编码器的原理图；
图8是多尺度Transformer模块的原理图；
图9是骨髓信息编码模块的原理图；
图10是可变形注意力门模块的原理图；
图11是本申请实施例所提供的图像处理装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
盆腔容易发生各种恶性癌症和肿瘤，如直肠癌、宫颈癌、子宫内膜癌。放射治疗是癌症重要治疗手段。成年人中盆腔骨髓约占全身骨髓的40％。盆腔骨髓受照射体积及剂量越大，则放化疗期间发生血液学毒性的风险也越高。盆腔不同骨骼其造血具有明显的异质性。造血功能活跃区主要局限于盆腔中央区的骨骼，即功能性骨髓。依据CT图像的骨性标志主要将骨性盆腔分为17个亚区，而功能性骨髓分布于其中7个区，即股骨头至平坐骨结节水平的股骨部分、骶髂关节下缘至尾骨下缘的尾骨区等区域。
适形调强放射治疗(intensity-modulated radiation therapy,IMRT)技术可最大程度保证治疗靶区覆盖的同时很好地保护邻近器官，如骨髓、膀胱等。IMRT技术可充分保护功能性骨髓而不影响靶区质量及其他危及器官的保护。因此，从CT图像中准确分割出具有造血活性的功能性骨髓分布区域，可以有效指导精准IMRT的设计，进而指导放疗计划优化、充分保护功能性骨髓区，尤其是保护造血功能活跃的功能性骨髓。
盆腔功能性骨髓图像骨髓的占比体积和区域面积相差较大，分割中属于类别极度不平衡且医学图像边界模糊、梯度复杂。
本申请提供了图像处理方法、装置、设备及介质，通过获取骨髓区图像，将骨髓区图像输入至图像处理模型；根据骨髓区图像学习局部信息，得到第一特征，并根据骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据第一特征和第二特征得到融合特征；根据融合特征提取不同尺度的多个骨髓信息，将多个骨髓信息进行编码，得到全局特征；根据融合特征和全局特征进行解码，得到解码特征；根据解码特征计算图像处理模型的损失函数值，根据损失函数值调整图像处理模型的参数，得到训练好的图像处理模型；获取待分割图像，将待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像；能够有效地解决功能性了骨髓最强区和次强区的形态变化大、类别分布不平衡、部分骨髓体积尺寸过小、功能性骨髓边界模糊等问题，实现准确有效地从CT图像中分割出功能性骨髓区。
下面结合附图，对本申请实施例作进一步阐述。
本申请实施例提供了一种图像处理方法。
参照图1，图1是图像处理方法的步骤图。一种图像处理方法包括：
步骤S100，获取骨髓区图像，将骨髓区图像输入至图像处理模型；
步骤S200，根据骨髓区图像学习局部信息，得到第一特征，并根据骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据第一特征和第二特征得到融合特征；
步骤S300，根据融合特征提取不同尺度的多个骨髓信息，将多个骨髓信息进行编码，得到全局特征；
步骤S400，根据融合特征和全局特征进行解码，得到解码特征；
步骤S500，根据解码特征计算图像处理模型的损失函数值，根据损失函数值调整图像处理模型的参数，得到训练好的图像处理模型；
步骤S600，获取待分割图像，将待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
对于步骤S100，获取骨髓区图像，骨髓区图像为针对盆腔的CT图像，包含有功能性骨髓区。该骨髓区图像为训练样本，部分图像由专业人员对功能性骨髓区进行标签标注，勾画第一组及第二组功能骨髓区，在CT值为2000-800时所勾画出的骨髓腔作为其功能性骨髓的替代。
对骨髓区图像进行图像预处理，图像预处理包括但不限于重采样、数据增强、加窗处理和特征缩放。数据增强包括但不限于缩放、水平偏移、垂直偏移、旋转等操作。为了减少计算量，对所有图像进行重采样操作，重采样后的图像的大小为96*128*128(D*H*W)。
参照图6，将骨髓区图像输入至图像处理模型，图像处理模型为U-net结构，包括网络编码路径、多尺度Transformer模块120和网络解码路径。
由图像处理模型的输入101经过图像处理模型处理得到图像处理模型的输出102。
对于步骤S200，步骤S200由网络编码路径执行。网络编码路径的编码层130包括第一层的两个卷积块和依次连接的三层编码器112组成。
第一层的两个卷积块为跨步卷积块111，将骨髓区图像经过卷积处理、归一化处理和激活处理得到卷积特征。
对于依次连接的三层编码器112，第一个编码器112的输入为卷积特征，第二个编码器112的输入为第一个编码器112的输出，第三个编码器112的输入为第二个编码器112的输出。
参照图7，对于每个编码器112，有两个分支，将卷积特征X∈RD×H×w×C作为两个分支的输入，第一个分支的输入为Xl，并且xl＝X。第一个分支通过一个3×3×3的卷积核对图像xl学习局部信息，并采用InstanceNorm细致处理每一张图像，使用激活函数LeakyReLU以减少信息的丢失，得到第一特征。
对于第二个分支，第二个分支的输入为Xg，并且Xg＝X。第二个分支根据骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征。
编码器的输入201经编码器112处理得到编码器的输出202。
参照图2，该步骤包括但不限于以下步骤：
步骤S221，根据三维体素对骨髓区图像进行重塑，得到重塑图像；
步骤S222，基于自注意力机制的查询、键、值和相对位置编码，根据重塑图像得到每个三维体素的注意力值；
步骤S223，根据每个三维体素的注意力值，得到第二特征。
对于步骤S221，为了满足注意力机制的输入序列的需求，将骨髓区图像Xg重塑到
Figure BDA0003772060970000051
再重塑到
Figure BDA0003772060970000052
NV是三维体素的数量，NT＝SH×Sw×SD表示每个三维体素的Patch tokens，{SH，Sw，sD}表示每个三维体素的尺寸。具体地，将{SH，Sw，SD}设为{4，4，4}
对于步骤S222，基于自注意力机制的查询、键、值和相对位置编码，根据重塑图像得到每个三维体素的注意力值。三维体素的注意力值可以通过以下式子表示：
Figure BDA0003772060970000053
Figure BDA0003772060970000054
其中，Q，K，
Figure BDA00037720609700000511
表示维度为dk的矩阵的查询、键、值。
Figure BDA0003772060970000055
是相对位置编码。
对于步骤S223，根据每个三维体素的注意力值，得到第二特征。其中第二特征可以通过以下式子表示：MultiHead(Q，K，V)＝Concat(head1，…，headh)Wo，
Figure BDA0003772060970000056
Figure BDA0003772060970000057
MultiHead(Q，K，V)表示第二特征，映射参数矩阵
Figure BDA0003772060970000058
Figure BDA0003772060970000059
h＝8，并且dk＝dv＝dmodel/h。当然在其他实施例中，h可以根据实际需求取其他数值。
则对于编码器112，一个h×w×d块大小的基于三维体素的多头自注意力的计算复杂度为：Ω(V-MSA)＝4hwdC2+2SHSwSDhwdC。通过上述的注意力计算方式，能允许模型以更宽大的视野学习上下文从而关注到重要的区域，并且降低计算代价。
另外，根据第一特征和第二特征得到融合特征，包括但不限于以下步骤：
将骨髓区图像经过卷积处理、归一化处理和激活处理得到卷积特征；
拼接第一特征和第二特征，得到注意力块特征；
融合卷积特征和注意力块特征，得到融合特征。
其中，注意力块特征表示为：
Figure BDA00037720609700000510
融合特征表示为：y＝F(concat(Zi，LeakyReLU(IN(Xi))))。其中F表示通过1×1×1的卷积核的Conv3d卷积块的卷积操作。
给定一个高度为H、宽度为W、深度为D的输入图像X，逐渐编码为低分辨率的特征表示
Figure BDA0003772060970000061
通过上述编码能使输出图像的尺寸变为输入图像的1/8(整体步幅overall stride＝8)。通过这种方式，丰富的3D局部上下文特征和全局图像的交错融合特征被有效地嵌入到融合特征中。
参照图8，对于步骤S300，步骤S300由多尺度Transformer模块120执行。多尺度Transformer模块的输入301经多尺度Transformer模块120处理得到多尺度Transformer模块的输出302。
参照图3，其中，根据融合特征提取不同尺度的多个骨髓信息，包括但不限于以下步骤：
步骤S311，对融合特征进行对应第一池化核的池化操作得到第一池化特征；
步骤S312，对融合特征进行对应第二池化核的池化操作得到第二池化特征，第二池化核的大小小于第一池化核；
步骤S313，对第一池化特征通过三线性插值进行上采样，得到第一上采样特征；
步骤S314，将第一上采样特征和第二池化特征作为多个骨髓信息。
具体地，将融合特征输入至三条路径。对于第一条路径，对融合特征进行核大小3×3×3的三维卷积操作，然后进行核大小为3×3×3的池化操作，得到一个第一池化特征。对于第二条路径，对融合特征进行核大小3×3×3的三维卷积操作，然后进行核大小为5×5×5的池化操作，得到另一个第一池化特征。对于第三条路径，对融合特征进行核大小3×3×3的三维卷积操作，然后进行核大小为2×2×2的池化操作，得到第二池化特征。
对两个第一池化特征通过三线性插值进行上采样，分别得到两个第一上采样特征。
参照图9，骨髓信息编码模块将多个骨髓信息进行编码，得到全局特征。骨髓信息编码模块的输入401为多个骨髓信息，骨髓信息编码模块的输出402为全局特征。
参照图4，另外，将多个骨髓信息进行编码，得到全局特征，包括：
步骤S321，对多个骨髓信息进行线性投影，得到包括降维特征和全局映射投影矩阵的空间编码信息：
步骤S322，将降维特征和全局映射投影矩阵重塑，对重塑后的降维特征和全局映射投影矩阵执行矩阵乘法得到节点特征映射，将节点特征映射输入由MSA层和MLP层组成的Transformer块，得到第一子全局特征；
步骤S323，根据多个骨髓信息创建逆投影矩阵，将第一子全局特征和逆投影矩阵相乘得到变换至原始空间的第二子全局特征；
步骤S324，根据第二子全局特征与多个骨髓信息，得到全局特征。
对于步骤S321，对多个骨髓信息进行线性投影得到空间编码信息可以通过以下式子进行表示：
Figure BDA0003772060970000062
这样特定的位置信息被添加到具有D维潜在空间的N个块Xp中，其中
Figure BDA0003772060970000063
是块嵌入映射，
Figure BDA0003772060970000064
表示位置编码，实际生成两个映射，分别为降维特征和全局映射投影矩阵。
对于步骤S322，将降维特征重塑为
Figure BDA0003772060970000065
将全局映射投影矩阵重塑和转置为
Figure BDA0003772060970000066
对重塑后的降维特征和全局映射投影矩阵执行矩阵乘法得到节点特征映射。
将节点特征映射经过L层Transformer块，Transformer块由MSA层和MLP层组成。其中第I层Transformer块的输出可以表示为：Z′l＝MSA(LN(Zl-1))+Zl-1)，Zl＝MLP(LN(Z′l))+Z′l)，I属于L。LN表示层归一化运算符，Zl表示Transformer块的输出，即得到第一子全局特征。
对于步骤S323，根据多个骨髓信息创建逆投影矩阵
Figure BDA0003772060970000071
将第一子全局特征和逆投影矩阵Xd相乘得到变换至原始空间的第二子全局特征。
将两个第一上采样特征连接，再和第二池化特征进行拼接，然后与第二子全局特征逐元素相加，最后通过一个跨步卷积块111得到全局特征
Figure BDA0003772060970000072
则最后得到的全局特征既包含全局特征信息，也包含原始特征的信息，这使得模型具有充分处理长程的上下文信息的能力。
因盆腔功能性骨髓大小不定、形态变化大、边界模糊但在人体分布存在规律性与功能性骨髓区域呈对称性的特点，在编码路径末端加入了多尺度Transformer模块120。多尺度Transformer模块120可以对于不同感受野的图像进行处理，提高模糊边缘和小体积骨髓的分割精度，然后将不同尺度的信息融合传递至解码器，在提升精度的同时灵活地平衡计算量和模型的鲁棒性。多尺度Transformer模块120具有捕获长距离上下文关系的优势，在基于算力和模型性能的权衡下，其能有效地对图像的长期依赖关系进行建模，识别不同位置的同类骨髓信息，通过多个感受野对不同类别的骨髓的位置关系进行有效建模，从而提升小体积骨髓的分割精度。
对于步骤S400，步骤S400由解码路径执行。
参照图5，根据融合特征和全局特征进行解码，得到解码特征，包括：
步骤S410，将融合特征依次经过多个上采样模块进行上采样，得到多个第二上采样特征；
步骤S420，将多个全局特征和多个第二上采样特征一一对应地进行跳跃连接；
步骤S430，从全局特征的关键采样位置提取关键采样特征，将关键采样特征和第二上采样特征进行矩阵相乘，得到解码特征。
对于步骤S410，通过一个步长为2×2×2，卷积核为3×3×3的转置卷积和1×1×1卷积进行上采样。
对于步骤S420，在将全局特征与第二上采样特征拼接之前，执行注意引导模块以细化全局特征。注意引导模块生成选通信号，以控制不同空间位置特征的重要性。将多个全局特征和多个第二上采样特征一一对应地进行跳跃连接，结合全局特征和第二上采样特征，使得解码特征包含更多信息。
对于步骤S430，构建了可变形注意力门模块130，旨在提取编码层特征图的关键信息，逐步抑制无关背景区域的特征响应，能够提升较小体积的功能性骨髓分割精度，缩小盆腔功能性骨髓图像类别不平衡分割的差异。
可以理解的是，在编码路径上有三个编码器112，则解码路径上有三个可变形注意力门模块130作为解码器。
参照图10，图10是可变形注意力门模块130的原理图。对于可变形注意力门模块130，从全局特征的关键采样位置提取关键采样特征，将关键采样特征和第二上采样特征进行矩阵相乘，得到解码特征。
其中，
Figure BDA0003772060970000073
是可变形注意力门模块130的查询矩阵q的特征表示，
Figure BDA0003772060970000074
是参考点的标准化三维坐标，
Figure BDA0003772060970000075
为全局特征，K是关键采样位置的数目，∧(zq)iqk∈[0，1]是可变形注意力门模块130的注意力权重，
Figure BDA0003772060970000076
是第k个关键采样位置的采样偏移量，则第i个注意力头的特征表示的计算式子为：
Figure BDA0003772060970000077
∧(zq)iqk和Δpiqk都是在查询特征表示zq通过一个线性投影层获得的。
则可变形注意力门模块130输出的解码特征为：
Figure BDA0003772060970000081
其中，H为注意力头的数量，Φ是一个对所有注意力头进行加权和聚合的线性投影层的计算，
Figure BDA0003772060970000082
为编码器112的特征图，
Figure BDA0003772060970000083
为上一个解码器的特征图。
对于步骤S500，损失函数值包括Dice系数损失函数值和交叉熵损失函数值。
则损失函数值通过以下式子表示：
Figure BDA0003772060970000088
Figure BDA0003772060970000084
gi表示地面真值，pi表示像素x属于类别i预测概率,M为图像处理模型的类别数。
将地面真值分割图下采样到典型阶段的预测图尺寸，从而匹配预测图的分辨率。
对不同分辨率，采用三个分辨率下的损失函数之和作为最终损失函数，有
Figure BDA0003772060970000085
Figure BDA0003772060970000086
其中，α{1,2,3}表示在不同分辨率下的损失系数。α{1,2,3}在分辨率下降一半后也随之减一半，因此
Figure BDA0003772060970000087
最后，所有的权重因子归一化为1。
通过步骤S600的对待分割图像的图像处理，可以得出：利用卷积-Attention融合编码捕获局部与全局信息，对同类的骨髓进行定位，再通过多尺度Transformer模块120进行精细化分割，上采样的过程中抑制冗余信息的提取以减少错分割多分割的情况，编码层中的特征与解码层的特征信息巧妙地融合，生成新的上采样特征图，从而生成最终良好的分割效果。因此，对于极小体积以及形状形态变化大的功能性骨髓，该图像处理模型能够识别且准确分割结果,这有利于细化前景区域边缘的分割，提升分割精度。
本申请的实施例提供了一种图像处理装置。
参照图11，图11是图像处理装置的结构图。图像处理装置包括：输入模块10、编码模块20、全局特征获取模块30、解码模块40、调参模块50和分割模块60。
其中，输入模块10用于获取骨髓区图像，将骨髓区图像输入至图像处理模型；编码模块20用于根据骨髓区图像学习局部信息，得到第一特征，并根据骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据第一特征和第二特征得到融合特征；全局特征获取模块30用于根据融合特征提取不同尺度的多个骨髓信息，将多个骨髓信息进行编码，得到全局特征；解码模块40用于根据融合特征和全局特征进行解码，得到解码特征；调参模块50用于根据解码特征计算图像处理模型的损失函数值，根据损失函数值调整图像处理模型的参数，得到训练好的图像处理模型；分割模块60用于获取待分割图像，将待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
可以理解的是，图像处理方法实施例中的内容均适用于本图像处理装置实施例中，本图像处理装置实施例所具体实现的功能与图像处理方法实施例相同，并且达到的有益效果与图像处理方法实施例所达到的有益效果也相同。
本申请的实施例，提供了一种电子设备。电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像处理方法。
本申请的实施例，提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的图像处理方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的图像处理。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的图像处理。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的图像处理所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取骨髓区图像，将所述骨髓区图像输入至图像处理模型；
根据所述骨髓区图像学习局部信息，得到第一特征，并根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据所述第一特征和所述第二特征得到融合特征；
根据所述融合特征提取不同尺度的多个骨髓信息，将所述多个骨髓信息进行编码，得到全局特征；
根据所述融合特征和所述全局特征进行解码，得到解码特征；
根据所述解码特征计算所述图像处理模型的损失函数值，根据所述损失函数值调整所述图像处理模型的参数，得到训练好的图像处理模型；
获取待分割图像，将所述待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，包括：
根据三维体素对所述骨髓区图像进行重塑，得到重塑图像；
基于自注意力机制的查询、键、值和相对位置编码，根据所述重塑图像得到每个三维体素的注意力值；
根据每个三维体素的注意力值，得到所述第二特征。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一特征和所述第二特征得到融合特征，包括：
将所述骨髓区图像经过卷积处理、归一化处理和激活处理得到卷积特征；
拼接所述第一特征和所述第二特征，得到注意力块特征；
融合所述卷积特征和所述注意力块特征，得到融合特征。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述融合特征提取不同尺度的多个骨髓信息，包括：
对所述融合特征进行对应第一池化核的池化操作得到第一池化特征；
对所述融合特征进行对应第二池化核的池化操作得到第二池化特征，所述第二池化核的大小小于所述第一池化核；
对所述第一池化特征通过三线性插值进行上采样，得到第一上采样特征；
将所述第一上采样特征和所述第二池化特征作为多个骨髓信息。
5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述多个骨髓信息进行编码，得到全局特征，包括：
对所述多个骨髓信息进行线性投影，得到包括降维特征和全局映射投影矩阵的空间编码信息；
将所述降维特征和所述全局映射投影矩阵重塑，对重塑后的所述降维特征和所述全局映射投影矩阵执行矩阵乘法得到节点特征映射，将所述节点特征映射输入由MSA层和MLP层组成的Transformer块，得到第一子全局特征；
根据所述多个骨髓信息创建逆投影矩阵，将所述第一子全局特征和所述逆投影矩阵相乘得到变换至原始空间的第二子全局特征；
根据所述第二子全局特征与所述多个骨髓信息，得到所述全局特征。
6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述融合特征和所述全局特征进行解码，得到解码特征，包括：
将所述融合特征依次经过多个上采样模块进行上采样，得到多个第二上采样特征；
将多个所述全局特征和多个所述第二上采样特征一一对应地进行跳跃连接；
从所述全局特征的关键采样位置提取关键采样特征，将所述关键采样特征和所述第二上采样特征进行矩阵相乘，得到所述解码特征。
7.根据权利要求1所述的图像处理方法，其特征在于，所述损失函数值包括Dice系数损失函数值和交叉熵损失函数值。
8.一种图像处理装置，其特征在于，包括：
输入模块，用于获取骨髓区图像，将所述骨髓区图像输入至图像处理模型；
编码模块，用于根据所述骨髓区图像学习局部信息，得到第一特征，并根据所述骨髓区图像进行基于三维体素的多头自注意力计算处理，得到第二特征，根据所述第一特征和所述第二特征得到融合特征；
全局特征获取模块，用于根据所述融合特征提取不同尺度的多个骨髓信息，将所述多个骨髓信息进行编码，得到全局特征；
解码模块，用于根据所述融合特征和所述全局特征进行解码，得到解码特征；
调参模块，用于根据所述解码特征计算所述图像处理模型的损失函数值，根据所述损失函数值调整所述图像处理模型的参数，得到训练好的图像处理模型；
分割模块，用于获取待分割图像，将所述待分割图像输入至训练好的图像处理模型，得到骨髓区分割图像。
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任一项所述的图像处理方法。
CN202210905193.XA 2022-07-29 2022-07-29 图像处理方法、装置、设备及介质 Pending CN115375897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905193.XA CN115375897A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905193.XA CN115375897A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115375897A true CN115375897A (zh) 2022-11-22

Family

ID=84064254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905193.XA Pending CN115375897A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115375897A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116703928A (zh) * 2023-08-08 2023-09-05 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116433607B (zh) * 2023-03-17 2024-03-15 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116703928A (zh) * 2023-08-08 2023-09-05 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统
CN116703928B (zh) * 2023-08-08 2023-10-27 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统

Similar Documents

Publication Publication Date Title
RU2720440C1 (ru) Способ сегментации изображения с использованием нейронной сети
RU2720070C1 (ru) Системы и способы сегментации изображения с использованием свёрточной нейронной сети
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN111640100B (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN115375897A (zh) 图像处理方法、装置、设备及介质
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN114972363A (zh) 图像分割方法、装置、电子设备及计算机存储介质
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
CN114022602A (zh) 一种基于渲染的三维物体检测器训练方法
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN116206159A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN113744284A (zh) 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN116433734A (zh) 一种多模态影像引导放射治疗的配准方法
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN107590808B (zh) 医学图像中的前列腺分割方法
CN115100306A (zh) 针对胰腺区域的四维锥束ct成像方法和装置
CN114764880A (zh) 多成分gan重建的遥感图像场景分类方法
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质
CN118691631A (zh) 基于深度神经网络的图像分割方法、装置、介质及设备
Bai et al. Progressive medical image annotation with convolutional neural network-based interactive segmentation method
CN118351211B (zh) 一种肺癌ct到pet的医学图像生成的方法、系统和设备
CN118366130B (zh) 行人眩光防护与智能阴影区域生成方法及系统
CN118470047A (zh) 前列腺mri图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination