CN117237365A - 一种腰椎ct盘黄间隙检测方法 - Google Patents
一种腰椎ct盘黄间隙检测方法 Download PDFInfo
- Publication number
- CN117237365A CN117237365A CN202311523518.9A CN202311523518A CN117237365A CN 117237365 A CN117237365 A CN 117237365A CN 202311523518 A CN202311523518 A CN 202311523518A CN 117237365 A CN117237365 A CN 117237365A
- Authority
- CN
- China
- Prior art keywords
- processing
- image
- result
- fused
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000010606 normalization Methods 0.000 claims description 75
- 230000007246 mechanism Effects 0.000 claims description 53
- 210000004872 soft tissue Anatomy 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 10
- 238000007634 remodeling Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 claims 2
- 239000000284 extract Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000004749 ligamentum flavum Anatomy 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 101100028500 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) par-1 gene Proteins 0.000 description 2
- 101150064233 Pan2 gene Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100406366 Caenorhabditis elegans pad-2 gene Proteins 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种腰椎CT盘黄间隙检测方法，属于图像数据处理领域，包括：获取输入图像数据；提取输入图像数据的特征信息tf1、tf2、tf3、tf4，以及ts1、ts2、ts3、ts4和ts5；对ts5循环四次解码，四次解码结果分别与ts4、ts3、ts2和ts1融合，再分别与tf4、tf3、tf2和tf1融合，输出融合特征图像；将融合特征图像进行解码、降维，设置特征图通道数为num_classes，生成重建图；根据重建图对椎间盘区域进行选择和旋转重建；基于旋转重建的椎间盘区域进行盘黄间隙检测。本申请通过不同维度特征处理和融合，包含更多信息，因此不需要医生进行手动调节以及额外的扫描，即可获取腰椎CT盘黄间隙的相关信息。
Description
技术领域
本申请涉及图像数据处理领域，尤其涉及一种腰椎CT盘黄间隙检测方法。
背景技术
在进行椎间盘平扫时，只能关注椎间盘等软组织，无法观察到椎间盘上下的其他结构，也无法观察到骨组织的特征。因此，在进行腰椎间盘平扫CT后，医生需要手动调整扫描位置，以区分椎间盘、黄韧带等组织，并进行额外的扫描来获取相关组织的信息。
发明内容
针对上述现有技术中存在的缺陷，本申请提出了一种腰椎CT盘黄间隙检测方法。
本申请提供一种腰椎CT盘黄间隙检测方法，包括：
S1获取经标注、归一化处理和差分计算得到的输入图像数据；
S2将所述输入图像数据循环进行四次特征处理，每一次处理依次包括：卷积，分别采用加权残差注意力机制、激励和抑制通道注意力机制和坐标注意机制处理，将处理结果加权融合后进行归一化和最大池化处理，四次处理分别获得tf1、tf2、tf3、tf4；
S3将所述输入图像数据循环进行三次特征处理，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，三次处理分别获得ts1、ts2、ts3；
S4根据第一预设参数将所述ts3转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第四层特征信息ts4；
S5根据第二预设参数将所述ts4转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第五层特征信息ts5；
S6对所述ts5循环四次解码，每一次解码依次包括反卷积、归一化处理、上采样和非线性变换，每一次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，四次解码完成后输出融合特征图像；
S7将所述融合特征图像进行反卷积、归一化处理、上采样、非线性变换、空间降维，设置降维后的特征图通道数为num_classes，生成重建图；
S8根据所述重建图，对椎间盘区域进行选择和旋转重建；
S9基于旋转重建的椎间盘区域进行盘黄间隙检测。
可选地，所述获取经标注、归一化处理和差分计算得到的输入图像数据之前，包括：
S11读取医学影像数据；
S12对所述医学影像数据进行归一化处理，包括将像素值映射到0-1之间；
S13读取所述医学影像数据中当前软组织窗数据和当前软组织窗数据的前一张软组织窗和后一张软组织窗的数据；
S13将各个所述软组织窗的数据中的像素值映射到1024范围内：
S14使用差分计算获取前一张软组织窗和当前软组织窗的差分图像1，使用差分计算获取当前软组织窗和后一张软组织窗的差分图像2；
S15将差分图像1作为第一个通道的数据，当前软组织窗作为第二个通道的数据，将差分图像2作为第三个通道的数据，获得三通道的输入图像数据。
可选地，采用特征增益注意力机制处理，包括：
将卷积后的图像作为输入，分别进行：
加权残差注意力机制：使用加权残差注意力机制计算出权重向量，用于对输入图像进行加权处理；
激励和抑制通道注意力机制：使用激励和抑制通道注意力机制对输入图像进行处理，增强对重要特征的关注程度，并抑制噪声和不重要的特征；
坐标注意机制：使用坐标注意机制对输入图像进行处理，根据输入图像的通道数、缩减比例、分组数和卷积核大小进行初始化；
将分别经过加权残差注意力机制、激励和抑制通道注意力机制和坐标注意机制处理的预先加权融合，得到输出特征。
可选地，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，包括：
所述卷积包括使用3x3的卷积层对输入进行卷积处理；
所述归一化处理包括进行批归一化处理；
所述最大池化处理包括池化为2x2下采样。
可选地，所述第一预设参数，包括：
将所述ts3转换为图像补丁时，所述ts3的缩小倍数为原来的四分之一；
所述图像补丁嵌入到固定维度的特征空间中时，输入维度是128；
所述归一化处理的输入维度是160；
所述第二预设参数，包括：
将所述ts4转换为图像补丁时，所述ts4的缩小倍数为原来的八分之一；
所述图像补丁嵌入到固定维度的特征空间中时，输入维度160；
所述归一化处理的输入维度是256。
可选地，所述对所述ts5循环四次解码，包括反卷积、归一化处理、上采样和非线性变换，四次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，输出融合特征图像，包括：
S61将所述ts5输入到反卷积层1中，使用3x3的卷积核进行卷积操作；
S62对所述反卷积层1的输出进行批归一化操作；
S63对所述批归一化结果进行插值上采样操作；
S64应用ReLU激活函数对插值后的特征图进行非线性变换；
S65将所述非线性变换的结果与所述ts4融合，将与所述ts4融合的结果与所述tf4融合；将与所述tf4融合的结果循环S61到S64，将所述非线性变换的结果与所述ts3融合，将与所述ts3融合的结果与所述tf3融合；将与所述tf3融合的结果循环S61到S64，将所述非线性变换的结果与所述ts2融合，将与所述ts2融合的结果与所述tf2融合；将与所述tf2融合的结果循环S61到S64，将所述非线性变换的结果与所述ts1融合，将与所述ts1融合的结果与所述tf1融合；
S66将所述与所述tf1融合的结果作为输出的融合特征图像。
可选地，所述将与所述ts4融合的结果与所述tf4融合和将与所述ts3融合的结果与所述tf3融合之后，还包括：
将与所述tf4融合或者与所述tf3融合的结果进行转置处理；
将所述转置处理结果进行高级别特征提取；
将所述进行高级别特征提取结果进行归一化处理；
将所述归一化处理结果进行重排，获得下一步解码的输入。
本申请的优点和有益效果：
本申请提供一种腰椎CT盘黄间隙检测方法，包括：获取经标注、归一化处理和差分计算得到的输入图像数据；将所述输入图像数据循环进行四次特征处理，每一次处理依次包括：卷积，特征增益注意力机制处理，归一化和最大池化处理，四次处理分别获得tf1、tf2、tf3、tf4；将所述输入图像数据循环进行三次特征处理，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，三次处理分别获得ts1、ts2、ts3；根据第一预设参数将所述ts3转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第四层特征信息ts4；根据第二预设参数将所述ts4转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第五层特征信息ts5；对所述ts5循环四次解码，每一次解码依次包括反卷积、归一化处理、上采样和非线性变换，每一次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，四次解码完成后输出融合特征图像；将所述融合特征图像进行反卷积、归一化处理、上采样、非线性变换、空间降维，设置降维后的特征图通道数为num_classes，生成重建图；根据所述重建图，对椎间盘区域进行选择和旋转重建；基于旋转重建的椎间盘区域进行盘黄间隙检测。本申请通过不同的方式提取特征，并进行不同维度特征处理和融合，包含更多信息，因此不需要医生进行手动调节以及额外的扫描，即可获取腰椎CT盘黄间隙的相关信息。
附图说明
图1是本申请中腰椎CT盘黄间隙检测流程图。
图2是本申请中腰椎CT预处理流程图。
图3是本申请中腰椎CT的Unet1编码流程图。
图4是本申请中腰椎CT的Unet2编码流程图。
图5是本申请中特征解码融合流程图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步说明，以使本领域的技术人员更好地理解本申请并能予以实施。
以下内容均是为了详细说明本申请要保护的技术方案所提供的具体实施过程的示例，但是本申请还采用不同于此的描述的其他方式实施，本领域技术人员在本申请构思的指引下，采用不同的技术手段实现本申请，因此本申请不受下面具体实施例的限制。
图1是本申请中腰椎CT盘黄间隙检测流程图。
请参照图1所示，所述腰椎CT盘黄间隙检测的步骤包括：
S1、获取经标注、归一化处理和差分计算得到的输入图像数据。
获取患者的腰椎CT平扫数据，这些数据包括骨窗和软组织窗的图像。在这次分析中，主要关注软组织窗的图像。
从软组织窗中提取DICOM数据，这些数据将作为分析的初始输入。为了使分析更为准确，经验丰富的医生会在三维数据上对椎间盘进行标注。
在进行进一步的分析之前，对图像进行预处理，以减少图像中的噪声，并增强软组织结构的特征，更准确地识别和分析。
读取当前软组织窗以及前后各一张软组织窗的数据，以获得三通道的输入图像数据。这样可以提供更多的信息，以便更准确地进行后续的分析和诊断。
图2是本申请中腰椎CT预处理流程图。
请参照图2所示，所述腰椎CT预处理的步骤包括：
S11、读取医学影像数据；
S12、对所述医学影像数据进行归一化处理，包括将像素值映射到0-1之间；
S13、读取所述医学影像数据中当前软组织窗数据和当前软组织窗数据的前一张软组织窗和后一张软组织窗的数据；
S14、将各个所述软组织窗的数据中的像素值映射到1024范围内：
S15、使用差分计算获取前一张软组织窗和当前软组织窗的差分图像1，使用差分计算获取当前软组织窗和后一张软组织窗的差分图像2；
S16、将差分图像1作为第一个通道的数据，当前软组织窗作为第二个通道的数据，将差分图像2作为第三个通道的数据，获得三通道的输入图像数据。
上述步骤中，差分计算公式：
Cdiff：差分图像，表示通过计算两个图像之间的差异而得到的图像。
C1：第一个通道的数据，表示输入图像的第一个通道。
C2：第二个通道的数据，表示输入图像的第二个通道。
x,y：表示图像中的像素位置。
上述差分计算无法提取开始的1张软组织窗和最后的1张软组织窗的特征，但是对于CT没有影响，这是因为这2张图像实际上是没有软组织信息。
经过预处理的图像将进行进一步的特征处理，本申请采用双Unet元模型进行进一步的处理。
S2、将所述输入图像数据循环进行四次特征处理，每一次处理依次包括：卷积，特征增益注意力机制处理，进行归一化和最大池化处理，四次处理分别获得tf1、tf2、tf3、tf4。
双Unet元模型是一种用于图像处理和分割任务的架构，它利用了两个Unet模型的优点。该架构中的第一个Unet模型仅包含编码阶段，用于提取输入图像的特征。
编码阶段旨在捕捉输入图像的低级特征和高级语义信息，并将其编码为一组较低空间分辨率的特征图。
本申请中，第一个Unet模型的编码输出将传递给第二个Unet模型。在解码阶段，第二个Unet模型通过反卷积和上采样操作逐渐恢复特征图的空间分辨率。
同时，第二个模型利用跳跃连接机制将来自第一个模型编码阶段不同层级的特征进行融合。通过跳跃连接将低级别和高级别的特征进行合并，在解码阶段保留更多的细节信息。这种特征融合方式有助于提高模型对细节和语义信息的捕捉能力，从而产生更准确的预测结果。
最后，第二个Unet模型通过一系列卷积操作对特征进行进一步处理，并生成最终的预测结果。
双Unet元模型的优势在于它能够充分利用两个Unet模型各自的优点。第一个模型专注于提取图像的语义信息，而第二个Unet模型则利用编码阶段的特征进行解码和特征融合，从而提高预测的准确性和细节保留能力。
图3是本申请中腰椎CT的Unet1编码流程图。
请参照图3所示，Unet1编码的步骤包括：
S21、使用stride=1、padding=1的3x3卷积层对输入进行卷积处理。
具体的，使用3x3,stride=1,padding=1的卷积层对输入进行卷积操作，包括将输入图像的每个像素与周围的邻近像素进行加权求和。卷积操作捕捉局部特征，并保持空间结构的一致性。
S22将卷积后的图像作为输入进行特征增益注意力机制处理，所述特征增益注意力机制将坐标注意力机制、加权残差注意力机制和激励和抑制通道注意力机制组合在一起，其处理过程如下：
坐标注意机制：对输入图像进行处理。该模块会根据输入图像的通道数、缩减比例、分组数和卷积核大小进行初始化。
加权残差注意力机制（WR Attention）：针对输入图像，使用WR Attention注意力机制计算出一个权重向量，用于对输入图像进行加权处理。这将增强模型对不同位置的特征的关注程度。
激励和抑制通道注意力机制（EIP Attention）：使用EIP Attention注意力机制对输入图像进行处理。该注意力机制将增强对重要特征的关注程度，并抑制噪声和不重要的特征。
将分别经过加权残差注意力机制、激励和抑制通道注意力机制和坐标注意机制处理的预先加权融合，得到输出特征。这将产生一个经过改进的图像，其中模型更关注重要的特征，并抑制噪声和不重要的特征。
S23、将特征增益注意力机制处理结果进行过归一化和最大池化处理，再通过非线性变换得到特征tf1。
经过最大池化和归一化（GroupNormalization（ebn1））后，再通过GELU激活函数后得到特征tf1。
S24、基于获取的tf1，循环三次S21、S22和S23的步骤，获得特征tf2，tf3，tf4。
S3、将所述输入图像数据循环进行三次特征处理，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，三次处理分别获得ts1、ts2、ts3。
本步骤中，除基于所述Unet2·，还采用Convolutional、MLP、自适应特征融合和重叠补丁嵌入等多种结构的组合，使得模型更好地捕捉图像中的细节信息和全局上下文关系。通过使用不同深度的卷积层和注意力机制，模型能够自适应地处理不同尺度和复杂度的输入图像。
图4是本申请中腰椎CT的Unet2编码流程图。
请参照图4所示，所述Unet2的第一阶段编码步骤包括：
S31、使用3x3的卷积层对输入进行卷积处理。
对卷积后的结果添加一个全局动态注意力机制。具体步骤如下：
通过自适应平均池化层(nn.AdaptiveAvgPool2d)将第二输入图像的空间维度(h,w)压缩为1，并将结果的形状改变为(b,c)的张量。
接着，通过一个卷积层(nn.Conv1d)和Sigmoid激活函数(nn.Sigmoid)获取权重调整系数wr_y，以调整输入特征的重要性。
接下来，对输入特征进行两次卷积操作以进行改进，包括：
首先，对输入x进行1×1的卷积操作(nn.Conv2d)，然后经过批归一化(nn.BatchNorm2d)和ReLU激活函数(nn.ReLU)。
接着，对结果进行3×3的空间卷积操作(nn.Conv2d)，再次进行批归一化(nn.BatchNorm2d)和ReLU激活函数(nn.ReLU)。
最后，再次进行1×1的卷积操作(nn.Conv2d)，然后进行批归一化(nn.BatchNorm2d)和ReLU激活函数(nn.ReLU)。
改进后的特征会经过自适应平均池化层(nn.AdaptiveAvgPool2d)压缩为形状为(b,c)的张量。然后，通过一个全连接层(nn.Linear)和Sigmoid激活函数(nn.Sigmoid)获得特征改进系数eip_y。将这个特征改进系数与原始输入特征相乘，就得到改进后的特征eip_y。
最后，将权重调整后的特征wr_y与改进后的特征eip_y相加，作为最终的输出特征。
S32对所述输出特征进行归一化处理，使用ReLU激活函数对特征进行非线性变换。
对全局动态注意力机制处理输出进行BatchNormalization（批归一化）操作。
BatchNormalization通过对每个批次的数据进行归一化，使得输入具有零均值和单位方差，从而加速训练过程，并稳定模型的表现。这一步骤有助于提高模型的收敛速度和泛化能力。
S33对线性变换结果使用2x2的最大池化进行下采样，获得特征ts1。
S34再循环两次所述S31、S32、S33步骤，获得ts2，ts3。
S4、根据第一预设参数将所述ts3转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第四层特征信息ts4。
Unet2编码的第二阶段，使用MLP进行图像特征提取、特征位移、归一化处理和重塑转置等操作，该部分有助于提高模型对图像特征的建模能力和表达能力。
将ts3通过补丁嵌入模块将图像转换为补丁嵌入，拆分成多个重叠的patch，并通过卷积和层归一化操作将每个图像块嵌入到一个固定维度的特征空间中，使得每个图像块都用一个固定长度的向量表示。这样在保留图像空间信息的同时，减小输入图像的尺寸，提高计算效率。
具体的，将ts3通过卷积层获得相应的嵌入表示减少输入图像的尺寸，所述ts3的缩小倍数为原来的四分之一。每个补丁都会被转换为一个具有（期望嵌入维度）的特征向量，从而提取了补丁的特征信息。
然后，获取嵌入表示的维度信息，包括批次大小B，通道数C、高度H和宽度W。
接下来，使用展平操作将嵌入表示展平为一维，将其从形状展平为形状的一维张量。这将会将每个补丁的嵌入表示按顺序排列。
并使用重排操作将维度从转换为/>。等于原始图像的尺寸除以补丁的大小，/>表示嵌入的维度。所述图像补丁嵌入到固定维度的特征空间中时，输入维度是128。
对嵌入表示进行LayerNorm归一化处理，以增强模型的表示能力。
首先，计算嵌入表示张量的平均值和方差。对于形状为的张量，在/>维度上计算平均值和方差。这将产生形状为/>的平均值和方差张量。
接下来，使用计算得到的平均值和方差对嵌入表示张量进行归一化。通过以下公式对每个嵌入表示进行归一化处理：其中，x是嵌入表示张量，/>是平均值张量，/>是方差张量，/>是一个极小值，用于防止除以零。
最后，将归一化后的张量乘以一个可学习的缩放参数，并加上一个可学习的偏置参数/>。这样提供模型更大的灵活性，允许它对不同的数据分布进行适应。公式如下：这里，/>是归一化后的嵌入表示张量。
进一步的，所述MLP模块具有平移操作的能力，以增强对输入图像的建模能力。而GELU激活函数则提供了稳定性和非线性特性。这些设计选择帮助模型更好地理解输入数据，并学习到更具判别性的特征表示，从而提高模型在各种任务上的性能。
使用LayerNorm对输入特征x进行归一化，其中所述输入特征的维度是所述ts3的第二通道维。增强模型的表达能力，并提高模型在复杂任务上的性能。
将经过LayerNorm归一化后的x，从形状转换为形状/>的张量xn，其中H和W分别表示输入图像的高度和宽度。
为了支持平移操作，对张量x进行填充，以保证能够进行平移操作。填充的大小由shift_size决定，是shift_size的一半。填充后的张量大小变为(B,C,H+pad2,W+pad2)，其中pad=shift_size//2。
然后，将填充后的张量x进行平移操作，将其切割成shift_size个切片。每个切片的大小为(B,C,H+pad*2,W+pad*2)，即切片的个数等于shift_size。
对每个切片进行平移操作，对切片在第2维（通道维）上进行平移，即所述图像补丁嵌入到固定维度的特征空间中时，输入维度C是128。平移的距离从-pad到+pad。这样就得到了shift_size个平移后的特征图切片。
将这些平移后的特征图切片拼接起来，得到一个大小为(B,C*shift_size,H+pad2,W+pad*2)的张量。
由于拼接时引入了额外的填充部分，需要通过对张量进行裁剪，从第3维和第4维上分别裁剪出大小为(B,C*shift_size,H,W)的张量。
将裁剪后的张量重塑为大小为(B,C,H*W)的张量。
将重塑后的张量进行线性变换，即经过全连接层fc1的操作。线性变换会对特征向量进行加权求和和非线性映射。
经过全连接层之后，再进行深度可分离卷积操作，该操作提取特征的空间信息和通道信息，并通过减少参数量来增强模型的轻量化特性。
对卷积结果进行激活操作，使用激活函数（GELU）对结果进行非线性映射，以增强模型的表达能力。
将经过深度可分离卷积层的结果输入激活函数act_layer进行非线性变换。
为了防止过拟合，对结果进行dropout操作。
将dropout后的特征图重塑为(B,C*shift_size,H*W)的形状，并进行第二次平移操作以及线性变换。这样做进一步增强特征的多样性和模型的表达能力。最后输出结果。
将上面的结果再进行一次LayerNorm归一化处理，输入维度是160，然后对结果进行形状重塑操作，将其重新排列为(B,C,H,W)的格式，得到特征ts4。
S5、根据第二预设参数将所述ts4转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第五层特征信息ts5。
进行上述S4的循环操作，区别是输入图像ts4的尺寸会被缩小为原来的八分之一而不是四分之一。区别是输入维度（dim参数）设置160。区别是LayerNorm归一化处理中的输入维度设置256。
经过重复操作最后输出ts5。
S6、对所述ts5循环四次解码，依次包括反卷积、归一化处理、上采样和非线性变换，四次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，输出融合特征图像。
所述四次解码的顺序分别是，由ts5解码到第一次解码结果；由第一次解码结果解码到第二次解码结果；由第二次解码结果解码到第三次解码结果、由由第三次解码结果解码到第四次解码结果。
图5是本申请中特征解码融合流程图。
请参照图5所示的解码步骤包括：
S61将所述ts5输入到反卷积层1中，使用3x3的卷积核进行卷积操作；
S62对所述反卷积层1的输出进行批归一化操作；
S63对所述批归一化结果进行插值上采样操作；
S64应用ReLU激活函数对插值后的特征图进行非线性变换；
S65将所述非线性变换的结果与所述ts4融合，将与所述ts4融合的结果与所述tf4融合；将与所述tf4融合的结果循环S61到S64，将所述非线性变换的结果与所述ts3融合，将与所述ts3融合的结果与所述tf3融合；将与所述tf3融合的结果循环S61到S64，将所述非线性变换的结果与所述ts2融合，将与所述ts2融合的结果与所述tf2融合；将与所述tf2融合的结果循环S61到S64，将所述非线性变换的结果与所述ts1融合，将与所述ts1融合的结果与所述tf1融合；
S66将所述与所述tf1融合的结果作为输出的融合特征图像。
根据上述步骤，第一次解码：
反卷积层1使用3x3的卷积层对输入进行卷积操作。解码器的反卷积层逐渐将特征图的尺寸恢复到原始图像的尺寸，同时帮助重建图像的细节信息。由于此处的步长为1，填充为1，输出特征图的尺寸与输入特征图相同。同时，通过使用适当的卷积核数量和尺寸，反卷积层提取和恢复原始图像中的特征和结构。
第一步得到的特征图进行批归一化操作（BatchNorm2d）。批归一化操作会根据每个批次中的数据分布对其进行规范化，以加速训练并提高模型的泛化能力。
对经过批归一化的特征图进行插值上采样操作。这里使用了双线性插值方法(mode='bilinear')，将特征图的高度和宽度都放大两倍(scale_factor=(2,2))。插值上采样的目的是逐渐恢复原始图像的细节和空间结构。
应用ReLU激活函数对插值后的特征图进行非线性变换。ReLU激活函数将所有负值置为零，保持正值不变。这有助于引入非线性特征，并在保留重要信息的同时抑制噪声和不必要的信息。
将经过ReLU激活函数激活后的特征与ts4进行特征融合，帮助网络更好地利用多层特征信息。
将经过融合后的特征与tf4进行特征融合，帮助网络更好地利用多层特征信息。
获取融合后特征的高度H和宽度W。
将融合后特征进行扁平化操作，将其转换为形状为(B,C,H*W)的张量，其中B是批次大小，C是特征图通道数，H*W是特征图的像素总数。这样做的目的是将特征图的空间维度（高度和宽度）压缩到一个维度上，以便后续处理。
将以上结果进行转置操作，交换第一个维度和第二个维度的位置，得到形状为(B,H*W,C)的张量。这样做的目的是将特征图通道数放在第三个维度，以满足后续模块对输入的要求。
把结果送入MLP模块，以提取更高级别的特征表示。(输入维度（dim参数）设置为第二层补丁嵌入后的维度)。
对更高级的特征表示进行LayerNorm。
对特征张量进行形状变换和维度重排操作调整为(B,H,W,C)，以便进一步处理和使用该张量。
根据上述步骤，第二次解码：
然后反卷积层2使用3x3的卷积层对输入进行卷积操作。解码器的反卷积层逐渐将特征图的尺寸恢复到原始图像的尺寸，同时帮助重建图像的细节信息。由于此处的步长为1，填充为1，输出特征图的尺寸与输入特征图相同。同时，通过使用适当的卷积核数量和尺寸，反卷积层提取和恢复原始图像中的特征和结构。
得到的特征图进行批归一化操作（BatchNorm2d）。批归一化操作会根据每个批次中的数据分布对其进行规范化，以加速训练并提高模型的泛化能力。
对经过批归一化的特征图进行插值上采样操作。这里使用了双线性插值方法(mode='bilinear')，将特征图的高度和宽度都放大两倍(scale_factor=(2,2))。插值上采样的目的是逐渐恢复原始图像的细节和空间结构。
应用ReLU激活函数对插值后的特征图进行非线性变换。ReLU激活函数将所有负值置为零，保持正值不变。这有助于引入非线性特征，并在保留重要信息的同时抑制噪声和不必要的信息。
将经过ReLU激活函数激活后的特征与ts3进行特征融合，帮助网络更好地利用多层特征信息。
将经过融合后的特征与tf3进行特征融合，帮助网络更好地利用多层特征信息。
获取融合后特征的高度H和宽度W。
将融合后特征进行扁平化操作，将其转换为形状为(B,C,H*W)的张量，其中B是批次大小，C是特征图通道数，H*W是特征图的像素总数。这样做的目的是将特征图的空间维度（高度和宽度）压缩到一个维度上，以便后续处理。
将以上结果进行转置操作，交换第一个维度和第二个维度的位置，得到形状为(B,H*W,C)的张量。这样做的目的是将特征图通道数放在第三个维度，以满足后续模块对输入的要求。
把结果送入MLP模块，以提取更高级别的特征表示。（(输入维度（dim参数）设置为第一层补丁嵌入后的维度)。
对更高级的特征表示进行LayerNorm。
对特征张量进行形状变换和维度重排操作调整为(B,H,W,C)，以便进一步处理和使用该张量。
根据上述步骤，第三次解码：
反卷积层3使用3x3的卷积层对输入进行卷积操作。解码器的反卷积层逐渐将特征图的尺寸恢复到原始图像的尺寸，同时帮助重建图像的细节信息。由于此处的步长为1，填充为1，输出特征图的尺寸与输入特征图相同。同时，通过使用适当的卷积核数量和尺寸，反卷积层提取和恢复原始图像中的特征和结构。
得到的特征图进行批归一化操作（BatchNorm2d）。批归一化操作会根据每个批次中的数据分布对其进行规范化，以加速训练并提高模型的泛化能力。
对经过批归一化的特征图进行插值上采样操作。这里使用了双线性插值方法(mode='bilinear')，将特征图的高度和宽度都放大两倍(scale_factor=(2,2))。插值上采样的目的是逐渐恢复原始图像的细节和空间结构。
应用ReLU激活函数对插值后的特征图进行非线性变换。ReLU激活函数将所有负值置为零，保持正值不变。这有助于引入非线性特征，并在保留重要信息的同时抑制噪声和不必要的信息。
将经过ReLU激活函数激活后的特征与ts2进行特征融合，帮助网络更好地利用多层特征信息。
将经过融合后的特征与tf2进行特征融合，帮助网络更好地利用多层特征信息。
根据上述步骤，第四次解码：
反卷积层4使用3x3的卷积层对输入进行卷积操作。解码器的反卷积层逐渐将特征图的尺寸恢复到原始图像的尺寸，同时帮助重建图像的细节信息。由于此处的步长为1，填充为1，输出特征图的尺寸与输入特征图相同。同时，通过使用适当的卷积核数量和尺寸，反卷积层提取和恢复原始图像中的特征和结构。
得到的特征图进行批归一化操作（BatchNorm2d）。批归一化操作会根据每个批次中的数据分布对其进行规范化，以加速训练并提高模型的泛化能力。
对经过批归一化的特征图进行插值上采样操作。这里使用了双线性插值方法(mode='bilinear')，将特征图的高度和宽度都放大两倍(scale_factor=(2,2))。插值上采样的目的是逐渐恢复原始图像的细节和空间结构。
应用ReLU激活函数对插值后的特征图进行非线性变换。ReLU激活函数将所有负值置为零，保持正值不变。这有助于引入非线性特征，并在保留重要信息的同时抑制噪声和不必要的信息。
将经过ReLU激活函数激活后的特征与ts1进行特征融合，帮助网络更好地利用多层特征信息。
将经过融合后的特征与tf1进行特征融合，帮助网络更好地利用多层特征信息。
S7、将所述融合特征图像进行反卷积、归一化处理、上采样、非线性变换、空间降维，设置降维后的特征图通道数为num_classes，生成重建图。
具体的，反卷积层4使用3x3的卷积层对输入进行卷积操作。解码器的反卷积层逐渐将特征图的尺寸恢复到原始图像的尺寸，同时帮助重建图像的细节信息。由于此处的步长为1，填充为1，输出特征图的尺寸与输入特征图相同。同时，通过使用适当的卷积核数量和尺寸，反卷积层提取和恢复原始图像中的特征和结构。
对得到的特征图进行插值上采样操作。这里使用了双线性插值方法(mode='bilinear')，将特征图的高度和宽度都放大两倍(scale_factor=(2,2))。插值上采样的目的是逐渐恢复原始图像的细节和空间结构。
应用ReLU激活函数对插值后的特征图进行非线性变换。ReLU激活函数将所有负值置为零，保持正值不变。这有助于引入非线性特征，并在保留重要信息的同时抑制噪声和不必要的信息。
将经过ReLU激活函数激活后的特征图行空间降维，并将通道数调整为num_classes，以便进行分类或预测。
S8、根据所述重建图，对椎间盘区域进行选择和旋转重建。
再用训练好的数据，进行一个椎间盘区域的摘取旋转，将椎间盘出现的层，进行数据的重建，此时，椎间盘、黄韧带间隙，通过旋转图像，不在会受到残差的骨组织的影响。
S9基于旋转重建的椎间盘区域进行盘黄间隙检测。
利用数据旋转重建的方法，即可替代传统的椎间盘平扫检测，将过去需要单独完成的检测，通过CT平扫的数据中，软组织窗的重建，实现椎间盘和黄韧带的提取，进而实现盘黄间隙的清楚位置。
再对椎间盘进行分割标注，对黄韧带进行关键点检测，也对关节突等位置进行关键点标注，再利用优化的yolov8进行训练。
所述优化yolov8是，在yolov8的第二个cf2和第三个C2f后增加了一个全局注意力机制，所述全局注意力机制已在上面内容中有详细描述，在此不在赘述。
最终，对这些分割区域、关键点的坐标关系，获得盘黄间隙中，各个组织之间的距离关系。
全部流程结束后，将过去需要单独完成的检测，也可通过常规的平扫来完成，这样的方法，不仅为患者带来经济上的节省，也能对椎间盘平扫检测中无法观察椎间盘之外的组织的弊端进行弥补，这样减少漏诊！不至于像传统方法，为了不漏诊，还得专门做普通平扫。
Claims (7)
1.一种腰椎CT盘黄间隙检测方法，其特征在于，包括：
S1获取经标注、归一化处理和差分计算得到的输入图像数据；
S2将所述输入图像数据循环进行四次特征处理，每一次处理依次包括：卷积，特征增益注意力机制处理，归一化和最大池化处理，四次处理分别获得tf1、tf2、tf3、tf4；
S3将所述输入图像数据循环进行三次特征处理，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，三次处理分别获得ts1、ts2、ts3；
S4根据第一预设参数将所述ts3转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第四层特征信息ts4；
S5根据第二预设参数将所述ts4转换为图像补丁嵌入到固定维度的特征空间中、进行归一化处理和形状重塑得到第五层特征信息ts5；
S6对所述ts5循环四次解码，每一次解码依次包括反卷积、归一化处理、上采样和非线性变换，每一次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，四次解码完成后输出融合特征图像；
S7将所述融合特征图像进行反卷积、归一化处理、上采样、非线性变换、空间降维，设置降维后的特征图通道数为num_classes，生成重建图；
S8根据所述重建图，对椎间盘区域进行选择和旋转重建；
S9基于旋转重建的椎间盘区域进行盘黄间隙检测。
2.根据权利要求1所述腰椎CT盘黄间隙检测方法，其特征在于，所述获取经标注、归一化处理和差分计算得到的输入图像数据之前，包括：
S11读取医学影像数据；
S12对所述医学影像数据进行归一化处理，包括将像素值映射到0-1之间；
S13读取所述医学影像数据中当前软组织窗数据和当前软组织窗数据的前一张软组织窗和后一张软组织窗的数据；
S13将各个所述软组织窗的数据中的像素值映射到1024范围内：
S14使用差分计算获取前一张软组织窗和当前软组织窗的差分图像1，使用差分计算获取当前软组织窗和后一张软组织窗的差分图像2；
S15将差分图像1作为第一个通道的数据，当前软组织窗作为第二个通道的数据，将差分图像2作为第三个通道的数据，获得三通道的输入图像数据。
3.根据权利要求1所述腰椎CT盘黄间隙检测方法，其特征在于，所述特征增益注意力机制处理，包括：
将卷积后的图像作为输入，分别进行：
加权残差注意力机制：使用加权残差注意力机制计算出权重向量，用于对输入图像进行加权处理；
激励和抑制通道注意力机制：使用激励和抑制通道注意力机制对输入图像进行处理，增强对重要特征的关注程度，并抑制噪声和不重要的特征；
坐标注意机制：使用坐标注意机制对输入图像进行处理，根据输入图像的通道数、缩减比例、分组数和卷积核大小进行初始化；
将分别经过加权残差注意力机制、激励和抑制通道注意力机制和坐标注意机制处理的预先加权融合，得到输出特征。
4.根据权利要求1所述腰椎CT盘黄间隙检测方法，其特征在于，每一次处理依次包括：卷积，采用全局动态注意力机制处理，归一化和最大池化处理，包括：
所述卷积包括使用3x3的卷积层对输入进行卷积处理；
所述归一化处理包括进行批归一化处理；
所述最大池化处理包括池化为2x2下采样。
5.根据权利要求1所述腰椎CT盘黄间隙检测方法，其特征在于，所述第一预设参数，包括：
将所述ts3转换为图像补丁时，所述ts3的缩小倍数为原来的四分之一；
所述图像补丁嵌入到固定维度的特征空间中时，输入维度是128；
所述归一化处理的输入维度是160；
所述第二预设参数，包括：
将所述ts4转换为图像补丁时，所述ts4的缩小倍数为原来的八分之一；
所述图像补丁嵌入到固定维度的特征空间中时，输入维度160；
所述归一化处理的输入维度是256。
6.根据权利要求1所述腰椎CT盘黄间隙检测方法，其特征在于，所述对所述ts5循环四次解码，包括反卷积、归一化处理、上采样和非线性变换，四次解码结果分别与所述ts4、ts3、ts2和ts1融合，再分别与所述tf4、tf3、tf2和tf1融合，输出融合特征图像，包括：
S61将所述ts5输入到反卷积层1中，使用3x3的卷积核进行卷积操作；
S62对所述反卷积层1的输出进行批归一化操作；
S63对所述批归一化结果进行插值上采样操作；
S64应用ReLU激活函数对插值后的特征图进行非线性变换；
S65将所述非线性变换的结果与所述ts4融合，将与所述ts4融合的结果与所述tf4融合；将与所述tf4融合的结果循环S61到S64，将所述非线性变换的结果与所述ts3融合，将与所述ts3融合的结果与所述tf3融合；将与所述tf3融合的结果循环S61到S64，将所述非线性变换的结果与所述ts2融合，将与所述ts2融合的结果与所述tf2融合；将与所述tf2融合的结果循环S61到S64，将所述非线性变换的结果与所述ts1融合，将与所述ts1融合的结果与所述tf1融合；
S66将所述与所述tf1融合的结果作为输出的融合特征图像。
7.根据权利要求6所述腰椎CT盘黄间隙检测方法，其特征在于，所述将与所述ts4融合的结果与所述tf4融合和将与所述ts3融合的结果与所述tf3融合之后，还包括：
将与所述tf4融合或者与所述tf3融合的结果进行转置处理；
将所述转置处理结果进行高级别特征提取；
将所述进行高级别特征提取结果进行归一化处理；
将所述归一化处理结果进行重排，获得下一步解码的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311523518.9A CN117237365B (zh) | 2023-11-16 | 2023-11-16 | 一种腰椎ct盘黄间隙检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311523518.9A CN117237365B (zh) | 2023-11-16 | 2023-11-16 | 一种腰椎ct盘黄间隙检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237365A true CN117237365A (zh) | 2023-12-15 |
| CN117237365B CN117237365B (zh) | 2024-01-26 |
Family
ID=89086607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311523518.9A Active CN117237365B (zh) | 2023-11-16 | 2023-11-16 | 一种腰椎ct盘黄间隙检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237365B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470577A (zh) * | 2024-07-09 | 2024-08-09 | 陕西陕煤黄陵矿业有限公司 | 一种基于大数据的巡检场景识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147589A1 (en) * | 2017-11-10 | 2019-05-16 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image reconstruction |
| CN114663310A (zh) * | 2022-03-24 | 2022-06-24 | 重庆邮电大学 | 一种基于多注意力融合的超声图像去噪方法 |
| CN116758087A (zh) * | 2023-08-22 | 2023-09-15 | 邦世科技(南京)有限公司 | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 |
-
2023
- 2023-11-16 CN CN202311523518.9A patent/CN117237365B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147589A1 (en) * | 2017-11-10 | 2019-05-16 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image reconstruction |
| CN114663310A (zh) * | 2022-03-24 | 2022-06-24 | 重庆邮电大学 | 一种基于多注意力融合的超声图像去噪方法 |
| CN116758087A (zh) * | 2023-08-22 | 2023-09-15 | 邦世科技(南京)有限公司 | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470577A (zh) * | 2024-07-09 | 2024-08-09 | 陕西陕煤黄陵矿业有限公司 | 一种基于大数据的巡检场景识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237365B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN117237365B (zh) | 一种腰椎ct盘黄间隙检测方法 | |
| Lu et al. | Color filter array demosaicking: new method and performance measures | |
| CN115953494B (zh) | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 | |
| CN113344773B (zh) | 基于多级对偶反馈的单张图片重构hdr方法 | |
| CN102428478A (zh) | 多尺度图像归一化和增强 | |
| CN105678697B (zh) | 一种基于dct域本征变换的人脸图像超分辨率重建方法 | |
| CN111798377B (zh) | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| US11631160B2 (en) | Image processing apparatus, image processing method, and X-ray CT apparatus | |
| CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| KR102505908B1 (ko) | 의료 영상 융합 시스템 | |
| CN116596949A (zh) | 一种基于条件扩散模型的医学图像分割方法 | |
| CN117710216B (zh) | 一种基于变分自编码器的图像超分辨率重建方法 | |
| CN116258933A (zh) | 基于全局信息感知的医学图像分割装置 | |
| CN117576483B (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| CN112950478B (zh) | 基于双重身份属性约束的人脸超分辨率方法及系统 | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| US20240070810A1 (en) | Image processing apparatus, operation method of image processing apparatus, and endoscope system | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| US10298928B2 (en) | Image processing system and image processing method | |
| CN112102251B (zh) | 一种分割影像的方法及装置、电子设备和存储介质 | |
| Kanna et al. | Modern 3d Compression Application in Medical Imaging Approach | |
| Ngocho et al. | Single image super resolution with guided back-projection and LoG sharpening | |
| CN114519770A (zh) | 一种腰骶丛神经分割及三维可视化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |