CN117372306B - 一种基于双编码器的肺部医学影像增强方法 - Google Patents
一种基于双编码器的肺部医学影像增强方法 Download PDFInfo
- Publication number
- CN117372306B CN117372306B CN202311567496.6A CN202311567496A CN117372306B CN 117372306 B CN117372306 B CN 117372306B CN 202311567496 A CN202311567496 A CN 202311567496A CN 117372306 B CN117372306 B CN 117372306B
- Authority
- CN
- China
- Prior art keywords
- medical image
- matrix
- encoder
- image enhancement
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002685 pulmonary effect Effects 0.000 title claims description 15
- 210000004072 lung Anatomy 0.000 claims abstract description 92
- 239000011159 matrix material Substances 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 57
- 238000013145 classification model Methods 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000012633 leachable Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 7
- 238000012549 training Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种基于双编码器的肺部医学影像增强方法，涉及图像处理技术领域，将强化编码结果和置信度增强结果输入到重建解码器中，得到图像增强结果、重建解码结果、置信度增强结果。通过交叉熵损失函数进行微调，得到最终的图像增强模型。有效的提高了图像增强的质量，充分利用预训练和微调的训练方式挖掘肺部医学影像的潜在语义信息，提高了肺部医学影像增强的质量和鲁棒性，适用于各种类型的肺部医学影像增强，解决了肺部医学影像增强的需求。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于双编码器的肺部医学影像增强方法。
背景技术
随着人工智能的快速发展，近几年医学影像图像增强技术迅速兴起，特别是在肺部疾病的治疗中，这一技术展现出了巨大的潜力。传统的肺部医学影像图像增强模型对数据集具有较大的依赖性。当在不同的数据集上测试性能时，它们的诊断效果往往会受到影响，这主要是因为当前的迁移学习方法通常无法充分关注与特定疾病或病变相关的特征。
发明内容
本发明为了克服以上技术的不足，提供了一种提高肺部医学影像清晰度的基于双编码器的肺部医学影像增强方法。
本发明克服其技术问题所采用的技术方案是：
一种基于双编码器的肺部医学影像增强方法，包括如下步骤：
(a)从数据集中获取肺部医学影像；
(b)对肺部医学影像进行预处理，得到预处理后的肺部医学图像/>；
(c)构建图像增强模型，图像增强模型由初始编码器、强化编码器构成；
(d)将预处理后的肺部医学图像输入到图像增强模型的初始编码器中，输出得到初始编码特征/>；
(e)将初始编码特征输入到图像增强模型的强化编码器中，输出得到强化编码结果/>；
(f)对图像增强模型进行迭代，得到预训练后的图像增强模型；
(g)从数据集中获取新的肺部医学影像；
(h)对新的肺部医学影像进行预处理，得到预处理后的肺部医学图像/>；
(i)将预处理后的肺部医学图像输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型中输出得到强化编码结果/>；
(j)建立置信分类模型，将初始编码特征及强化编码结果/>输入到置信分类模型中，输出得到重建解码结果/>、图像增强结果/>、置信度增强结果/>；
(k)对置信分类模型进行迭代，得到预训练后的置信分类模型；
(l)将待增强的肺部医学图像进行预处理，得到预处理后的肺部医学图像/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型中输出得到强化编码结果/>，将初始编码特征/>及强化编码结果/>输入到预训练后的置信分类模型中，输出得到重建解码结果/>、图像增强结果/>、置信度增强结果/>。
进一步的，步骤(a)中从LIDC-IDRI数据集中获取肺部医学影像。
进一步的，步骤(b)包括如下步骤：
(b-1)利用NLM去噪算法对肺部医学影像去噪，得到去噪后的肺部医学影像/>；
(b-2)使用Python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像/>。
进一步的，步骤(d)包括如下步骤：
(d-1)图像增强模型的初始编码器由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块构成，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均依次由第一卷积层、Batch Normalization层、ReLU激活函数层构成；
(d-2)将预处理后的肺部医学图像输入到初始编码器的第一卷积模块中，输出得到第一编码特征/>；
(d-3)将第一编码特征输入到初始编码器的第二卷积模块中，输出得到第二编码特征/>；
(d-4)将第二编码特征输入到初始编码器的第三卷积模块中，输出得到第三编码特征/>；
(d-5)将第三编码特征输入到初始编码器的第四卷积模块中，输出得到第四编码特征/>；
(d-6)将第一编码特征、第二编码特征/>、第三编码特征/>、第四编码特征/>依次相加得到初始编码特征/>。
进一步的，步骤(e)包括如下步骤：
(e-1)图像增强模型的强化编码器由自注意力机制、第一BatchNorm层、前馈神经网络、第二BatchNorm层、输出模块构成；
(e-2)强化编码器的自注意力机制由矩阵生成层、缩放点积注意力单元、Softmax函数、加权和计算单元构成，矩阵生成层由维度为8×8的查询矩阵、维度为8×8的键矩阵/>、维度为8×8的值矩阵/>，将初始编码特征/>乘以查询矩阵/>得到可学习的权重矩阵/>，将初始编码特征/>乘以键矩阵/>得到可学习的权重矩阵/>，将初始编码特征/>乘以值矩阵/>得到可学习的权重矩阵/>，将可学习的权重矩阵/>及可学习的权重矩阵/>输入到缩放点积注意力单元中进行矩阵转置操作，将转置后的可学习的权重矩阵/>输入Softmax函数中，输出得到权重矩阵/>，将转置后的可学习的权重矩阵/>输入Softmax函数中，输出得到权重矩阵/>，将可学习的权重矩阵/>取平方根后输入到自注意力机制的Softmax函数中，输出得到权重矩阵/>，将权重矩阵/>、权重矩阵/>、权重矩阵/>输入到加权和计算单元中，通过公式/>计算得到加权和矩阵/>；
(e-3)将加权和矩阵输入到强化编码器的第一BatchNorm层中，输出得到归一化后的加权和矩阵/>；
(e-4)强化编码器的前馈神经网络由隐藏单元、ReLU激活函数、线性层构成，前馈神经网络的隐藏单元依次由第一线性层、第一sigmoid激活函数、第二线性层、第二sigmoid激活函数构成，将归一化后的加权和矩阵输入到隐藏单元中，输出得到特征/>，将特征/>依次输入到前馈神经网络的ReLU激活函数、线性层中，输出得到特征/>；
(e-5)将特征输入到强化编码器的第二BatchNorm层中，输出得到前馈特征/>；
(e-6)强化编码器的输出模块由Softmax函数构成，将前馈特征输入到输出模块中，输出得到强化编码结果/>。
进一步的，步骤(f)中通过KL散度利用Adam优化器迭代图像增强模型，得到预训练后的图像增强模型。
进一步的，步骤(g)中从JSRT数据集中获取新的肺部医学影像。
进一步的，步骤(h)包括如下步骤：
(h-1)利用NLM去噪算法对新的肺部医学影像去噪，得到去噪后的肺部医学影像；
(h-2)使用Python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像/>。
进一步的，步骤(j)包括如下步骤：
(j-1)置信分类模型由置信度解码器、重建解码器构成；
(j-2)置信分类模型的置信度解码器由输入嵌入单元、卷积模块构成，输入嵌入单元由维度为8×8的嵌入矩阵、索引查找模块、位置编码模块构成，将初始编码特征/>与嵌入矩阵/>相乘操作，得到嵌入矩阵/>，将嵌入矩阵/>与8×8的嵌入矩阵/>按行相加操作得到嵌入向量/>，将嵌入向量/>输入到位置编码模块中利用余弦函数计算得到向量，将向量/>与嵌入向量/>相加操作，得到包含位置信息的嵌入向量/>，置信度解码器的卷积模块依次由第一卷积层、第一Batch Normalization层、第一ReLU激活函数层、第二卷积层、第二Batch Normalization层、第二ReLU激活函数层、平均池化层构成，将包含位置信息的嵌入向量/>输入到置信度解码器的卷积模块中，输出得到置信度增强结果/>；
(j-3)置信分类模型的重建解码器由第一分支、第二分支、第三分支构成，重建解码器的第一分支依次由卷积层、Batch Normalization层、ReLU激活函数层、Python中PIL库中的save函数构成，重建解码器的第二分支依次由Python中的Flatten函数、线性层、Python中的max函数构成，重建解码器的第三分支依次由Python中的Flatten函数、线性层构成，将强化编码结果与置信度增强结果/>相加操作得到特征/>，将特征/>输入到重建解码器的第一分支中，输出得到特征/>，将特征/>与强化编码结果/>进行相加操作，得到图像增强结果/>，将特征/>输入到重建解码器的第二分支中，输出得到重建解码结果/>，将特征/>输入到重建解码器的第三分支中，输出得到特征/>，将特征/>与置信度增强结果/>进行相加操作，得到置信度增强结果/>。
进一步的，步骤(k)中通过交叉熵损失函数利用Adam优化器迭代置信分类模型，得到预训练后的置信分类模型。
进一步的，步骤(l)中利用NLM去噪算法对待增强的肺部医学图像去噪，得到去噪后的肺部医学影像/>，用Python中的dataset类将去噪后的肺部医学影像/>按照类别封装，得到预处理后的肺部医学图像/>。
本发明的有益效果是：对LIDC-IDRI数据集中的视频进行处理，提取出图像并通过初始编码器和强化编码器得到强化编码结果。然后，将JSRT数据集中的图像经过同样的预处理，输入到模型中得到强化编码结果，再通过置信度解码器得到置信度增强结果。最后，将强化编码结果和置信度增强结果输入到重建解码器中，得到图像增强结果、重建解码结果、置信度增强结果。通过交叉熵损失函数进行微调，得到最终的图像增强模型。有效的提高了图像增强的质量，充分利用预训练和微调的训练方式挖掘肺部医学影像的潜在语义信息，提高了肺部医学影像增强的质量和鲁棒性，适用于各种类型的肺部医学影像增强，解决了肺部医学影像增强的需求。
附图说明
图1为本发明的图像增强模型的结构图
图2为本发明的置信分类模型的结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种基于双编码器的肺部医学影像增强方法，包括如下步骤：
(a)从数据集中获取肺部医学影像；
(b)对肺部医学影像进行预处理，得到预处理后的肺部医学图像/>；
(c)构建图像增强模型，图像增强模型由初始编码器、强化编码器构成；
(d)将预处理后的肺部医学图像输入到图像增强模型的初始编码器中，输出得到初始编码特征/>；
(e)将初始编码特征输入到图像增强模型的强化编码器中，输出得到强化编码结果/>；
(f)对图像增强模型进行迭代，得到预训练后的图像增强模型；
(g)从数据集中获取新的肺部医学影像；
(h)对新的肺部医学影像进行预处理，得到预处理后的肺部医学图像/>；
(i)将预处理后的肺部医学图像输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型中输出得到强化编码结果/>；
(j)建立置信分类模型，将初始编码特征及强化编码结果/>输入到置信分类模型中，输出得到重建解码结果/>、图像增强结果/>、置信度增强结果/>；
(k)对置信分类模型进行迭代，得到预训练后的置信分类模型；
(l)将待增强的肺部医学图像进行预处理，得到预处理后的肺部医学图像/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征/>，将预处理后的肺部医学图像/>输入到训练后的图像增强模型中输出得到强化编码结果/>，将初始编码特征/>及强化编码结果/>输入到预训练后的置信分类模型中，输出得到重建解码结果/>、图像增强结果/>、置信度增强结果/>。
由初始编码器、强化编码器构成双编码器，通过双编码器重新聚焦模型注意力以进行迁移学习，当解读肺部医学影像时，能够针对特定的疾病或病变定向精准地学习特征，使得模型的可解释性得到显著增强。
在本发明的一个实施例中，步骤(a)中从LIDC-IDRI数据集中获取肺部医学影像。
在本发明的一个实施例中，步骤(b)包括如下步骤：
(b-1)利用NLM去噪算法对肺部医学影像去噪，得到去噪后的肺部医学影像/>；
(b-2)使用Python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像/>。
在本发明的一个实施例中，步骤(d)包括如下步骤：
(d-1)图像增强模型的初始编码器由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块构成，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均依次由卷积核大小为3*3*3，步长为1的第一卷积层、Batch Normalization层、ReLU激活函数层构成；
(d-2)将预处理后的肺部医学图像输入到初始编码器的第一卷积模块中，输出得到第一编码特征/>；
(d-3)将第一编码特征输入到初始编码器的第二卷积模块中，输出得到第二编码特征/>；
(d-4)将第二编码特征输入到初始编码器的第三卷积模块中，输出得到第三编码特征/>；
(d-5)将第三编码特征输入到初始编码器的第四卷积模块中，输出得到第四编码特征/>；
(d-6)将第一编码特征、第二编码特征/>、第三编码特征/>、第四编码特征/>依次相加得到初始编码特征/>。
在本发明的一个实施例中，步骤(e)包括如下步骤：
(e-1)图像增强模型的强化编码器由自注意力机制、第一BatchNorm层、前馈神经网络、第二BatchNorm层、输出模块构成；
(e-2)强化编码器的自注意力机制由矩阵生成层、缩放点积注意力单元、Softmax函数、加权和计算单元构成，矩阵生成层由维度为8×8的查询矩阵、维度为8×8的键矩阵、维度为8×8的值矩阵/>，将初始编码特征/>乘以查询矩阵/>得到可学习的权重矩阵/>，将初始编码特征/>乘以键矩阵/>得到可学习的权重矩阵/>，将初始编码特征/>乘以值矩阵/>得到可学习的权重矩阵/>，将可学习的权重矩阵/>及可学习的权重矩阵/>输入到缩放点积注意力单元中进行矩阵转置操作，将转置后的可学习的权重矩阵/>输入Softmax函数中，输出得到权重矩阵/>，将转置后的可学习的权重矩阵/>输入Softmax函数中，输出得到权重矩阵/>，将可学习的权重矩阵/>取平方根后输入到自注意力机制的Softmax函数中，输出得到权重矩阵/>，将权重矩阵/>、权重矩阵/>、权重矩阵/>输入到加权和计算单元中，通过公式/>计算得到加权和矩阵/>；
(e-3)将加权和矩阵输入到强化编码器的第一BatchNorm层中，输出得到归一化后的加权和矩阵/>；
(e-4)强化编码器的前馈神经网络由隐藏单元、ReLU激活函数、线性层构成，前馈神经网络的隐藏单元依次由第一线性层、第一sigmoid激活函数、第二线性层、第二sigmoid激活函数构成，将归一化后的加权和矩阵输入到隐藏单元中，输出得到特征/>，将特征/>依次输入到前馈神经网络的ReLU激活函数、线性层中，输出得到特征/>；
(e-5)将特征输入到强化编码器的第二BatchNorm层中，输出得到前馈特征/>；
(e-6)强化编码器的输出模块由Softmax函数构成，将前馈特征输入到输出模块中，输出得到强化编码结果/>。
在本发明的一个实施例中，步骤(f)中通过KL散度利用Adam优化器迭代图像增强模型，得到预训练后的图像增强模型。
在本发明的一个实施例中，步骤(g)中从JSRT数据集中获取新的肺部医学影像。
在本发明的一个实施例中，步骤(h)包括如下步骤：
(h-1)利用NLM去噪算法对新的肺部医学影像去噪，得到去噪后的肺部医学影像；
(h-2)使用Python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像/>。
在本发明的一个实施例中，步骤(j)包括如下步骤：
(j-1)置信分类模型由置信度解码器、重建解码器构成；
(j-2)置信分类模型的置信度解码器由输入嵌入单元、卷积模块构成，输入嵌入单元由维度为8×8的嵌入矩阵、索引查找模块、位置编码模块构成，将初始编码特征/>与嵌入矩阵/>相乘操作，得到嵌入矩阵/>，将嵌入矩阵/>与8×8的嵌入矩阵/>按行相加操作得到嵌入向量/>，将嵌入向量/>输入到位置编码模块中利用余弦函数计算得到向量，将向量/>与嵌入向量/>相加操作，得到包含位置信息的嵌入向量/>，置信度解码器的卷积模块依次由卷积核大小为3*3*3，步长为2的第一卷积层、第一BatchNormalization层、第一ReLU激活函数层、卷积核大小为3*3*3，步长为1第二卷积层、第二Batch Normalization层、第二ReLU激活函数层、平均池化层构成，将包含位置信息的嵌入向量/>输入到置信度解码器的卷积模块中，输出得到置信度增强结果/>；
(j-3)置信分类模型的重建解码器由第一分支、第二分支、第三分支构成，重建解码器的第一分支依次由卷积核大小为3*3*3，步长为1的卷积层、Batch Normalization层、ReLU激活函数层、Python中PIL库中的save函数构成，重建解码器的第二分支依次由Python中的Flatten函数、线性层、Python中的max函数构成，重建解码器的第三分支依次由Python中的Flatten函数、线性层构成，将强化编码结果与置信度增强结果/>相加操作得到特征/>，将特征/>输入到重建解码器的第一分支中，输出得到特征/>，将特征/>与强化编码结果/>进行相加操作，得到图像增强结果/>，将特征/>输入到重建解码器的第二分支中，输出得到重建解码结果/>，将特征/>输入到重建解码器的第三分支中，输出得到特征/>，将特征/>与置信度增强结果/>进行相加操作，得到置信度增强结果/>。图像增强结果/>可以提高原始图像的分辨率及对比度，重建解码结果/>取值为0或1，取值为0时表示模型未进行医学影像增强，取值为1时表示模型进行了医学影像增强，可以用于辅助诊疗。置信度增强结果/>取值为0-1之间，取值越大表示模型输出的图像的增强结果越清晰。
在本发明的一个实施例中，步骤(k)中通过交叉熵损失函数利用Adam优化器迭代置信分类模型，得到预训练后的置信分类模型。
在本发明的一个实施例中，步骤(l)中利用NLM去噪算法对待增强的肺部医学图像去噪，得到去噪后的肺部医学影像/>，用Python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像/>。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于双编码器的肺部医学影像增强方法，其特征在于，包括如下步骤：
(a)从数据集中获取肺部医学影像V；
(b)对肺部医学影像V进行预处理，得到预处理后的肺部医学图像VIMGNet；
(c)构建图像增强模型，图像增强模型由初始编码器、强化编码器构成；
(d)将预处理后的肺部医学图像VIMGNet输入到图像增强模型的初始编码器中，输出得到初始编码特征FDFER；
(e)将初始编码特征FDFER输入到图像增强模型的强化编码器中，输出得到强化编码结果ODFER；
(f)对图像增强模型进行迭代，得到预训练后的图像增强模型；
(g)从数据集中获取新的肺部医学影像V′；
(h)对新的肺部医学影像V′进行预处理，得到预处理后的肺部医学图像V′IMGNet；
(i)将预处理后的肺部医学图像V′IMGNet输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征F′DFER，将预处理后的肺部医学图像V′IMGNet输入到训练后的图像增强模型中输出得到强化编码结果O′DFER；
(j)建立置信分类模型，将初始编码特征F′DFER及强化编码结果O′DFER输入到置信分类模型中，输出得到重建解码结果R、图像增强结果VD、置信度增强结果VC；
(k)对置信分类模型进行迭代，得到预训练后的置信分类模型；
(l)将待增强的肺部医学图像V″进行预处理，得到预处理后的肺部医学图像V″IMGNet，将预处理后的肺部医学图像V″IMGNet输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征FD″FER，将预处理后的肺部医学图像V″IMGNet输入到训练后的图像增强模型中输出得到强化编码结果O″DFER，将初始编码特征F″DFER及强化编码结果O″DFER输入到预训练后的置信分类模型中，输出得到重建解码结果R′、图像增强结果V′D、置信度增强结果V′C；步骤(d)包括如下步骤：
(d-1)图像增强模型的初始编码器由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块构成，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均依次由第一卷积层、Batch Normalization层、ReLU激活函数层构成；
(d-2)将预处理后的肺部医学图像VIMGNet输入到初始编码器的第一卷积模块中，输出得到第一编码特征
(d-3)将第一编码特征输入到初始编码器的第二卷积模块中，输出得到第二编码特征/>
(d-4)将第二编码特征输入到初始编码器的第三卷积模块中，输出得到第三编码特征/>
(d-5)将第三编码特征输入到初始编码器的第四卷积模块中，输出得到第四编码特征/>
(d-6)将第一编码特征第二编码特征/>第三编码特征/>第四编码特征/>依次相加得到初始编码特征FDFER；
步骤(e)包括如下步骤：
(e-1)图像增强模型的强化编码器由自注意力机制、第一BatchNorm层、前馈神经网络、第二BatchNorm层、输出模块构成；
(e-2)强化编码器的自注意力机制由矩阵生成层、缩放点积注意力单元、Softmax函数、加权和计算单元构成，矩阵生成层由维度为8×8的查询矩阵Q、维度为8×8的键矩阵K、维度为8×8的值矩阵V，将初始编码特征FDFER乘以查询矩阵Q得到可学习的权重矩阵WQ，将初始编码特征FDFER乘以键矩阵K得到可学习的权重矩阵WK，将初始编码特征FDFER乘以值矩阵V得到可学习的权重矩阵WV，将可学习的权重矩阵WQ及可学习的权重矩阵WK输入到缩放点积注意力单元中进行矩阵转置操作，将转置后的可学习的权重矩阵WQ输入Softmax函数中，输出得到权重矩阵W′Q，将转置后的可学习的权重矩阵WK输入Softmax函数中，输出得到权重矩阵W′K，将可学习的权重矩阵WV取平方根后输入到自注意力机制的Softmax函数中，输出得到权重矩阵W′V，将权重矩阵W′Q、权重矩阵W′K、权重矩阵W′V输入到加权和计算单元中，通过公式W＝W′Q×FDFER+W′K×FDFER+W′V×FDFER计算得到加权和矩阵W；
(e-3)将加权和矩阵W输入到强化编码器的第一BatchNorm层中，输出得到归一化后的加权和矩阵W′；
(e-4)强化编码器的前馈神经网络由隐藏单元、ReLU激活函数、线性层构成，前馈神经网络的隐藏单元依次由第一线性层、第一sigmoid激活函数、第二线性层、第二sigmoid激活函数构成，将归一化后的加权和矩阵W′输入到隐藏单元中，输出得到特征F，将特征F依次输入到前馈神经网络的ReLU激活函数、线性层中，输出得到特征F′；
(e-5)将特征F′输入到强化编码器的第二BatchNorm层中，输出得到前馈特征Fback；
(e-6)强化编码器的输出模块由Softmax函数构成，将前馈特征Fback输入到输出模块中，输出得到强化编码结果ODFER。
2.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于：步骤(a)中从LIDC-IDRI数据集中获取肺部医学影像V。
3.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于，步骤(b)包括如下步骤：
(b-1)利用NLM去噪算法对肺部医学影像V去噪，得到去噪后的肺部医学影像V′；
(b-2)使用Python中的dataset类将去噪后的肺部医学影像V′按照类别封装，得到预处理后的肺部医学图像VIMGNet。
4.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于：步骤(f)中通过KL散度利用Adam优化器迭代图像增强模型，得到预训练后的图像增强模型。
5.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于：步骤(g)中从JSRT数据集中获取新的肺部医学影像V′。
6.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于，步骤(h)包括如下步骤：
(h-1)利用NLM去噪算法对新的肺部医学影像V′去噪，得到去噪后的肺部医学影像V″；
(h-2)使用Python中的dataset类将去噪后的肺部医学影像V″按照类别封装，得到预处理后的肺部医学图像V′IMGNet。
7.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于，步骤(j)包括如下步骤：
(j-1)置信分类模型由置信度解码器、重建解码器构成；
(j-2)置信分类模型的置信度解码器由输入嵌入单元、卷积模块构成，输入嵌入单元由维度为8×8的嵌入矩阵A、索引查找模块、位置编码模块构成，将初始编码特征F′DFER与嵌入矩阵A相乘操作，得到嵌入矩阵将嵌入矩阵/>与8×8的嵌入矩阵A按行相加操作得到嵌入向量/>将嵌入向量/>输入到位置编码模块中利用余弦函数计算得到向量/>将向量/>与嵌入向量/>相加操作，得到包含位置信息的嵌入向量/>置信度解码器的卷积模块依次由第一卷积层、第一Batch Normalization层、第一ReLU激活函数层、第二卷积层、第二Batch Normalization层、第二ReLU激活函数层、平均池化层构成，将包含位置信息的嵌入向量/>输入到置信度解码器的卷积模块中，输出得到置信度增强结果Ocon；
(j-3)置信分类模型的重建解码器由第一分支、第二分支、第三分支构成，重建解码器的第一分支依次由卷积层、Batch Normalization层、ReLU激活函数层、Python中PIL库中的save函数构成，重建解码器的第二分支依次由Python中的Flatten函数、线性层、Python中的max函数构成，重建解码器的第三分支依次由Python中的Flatten函数、线性层构成，将强化编码结果O′DFER与置信度增强结果Ocon相加操作得到特征O′，将特征O′输入到重建解码器的第一分支中，输出得到特征O″，将特征O″与强化编码结果O′DFER进行相加操作，得到图像增强结果VD，将特征O′输入到重建解码器的第二分支中，输出得到重建解码结果R，将特征O′输入到重建解码器的第三分支中，输出得到特征O″′，将特征O″′与置信度增强结果Ocon进行相加操作，得到置信度增强结果VC。
8.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于：步骤(k)中通过交叉熵损失函数利用Adam优化器迭代置信分类模型，得到预训练后的置信分类模型。
9.根据权利要求1所述的基于双编码器的肺部医学影像增强方法，其特征在于：步骤(l)中利用NLM去噪算法对待增强的肺部医学图像V″去噪，得到去噪后的肺部医学影像V″′，用Python中的dataset类将去噪后的肺部医学影像V″′按照类别封装，得到预处理后的肺部医学图像V″IMGNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567496.6A CN117372306B (zh) | 2023-11-23 | 2023-11-23 | 一种基于双编码器的肺部医学影像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567496.6A CN117372306B (zh) | 2023-11-23 | 2023-11-23 | 一种基于双编码器的肺部医学影像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372306A CN117372306A (zh) | 2024-01-09 |
| CN117372306B true CN117372306B (zh) | 2024-03-01 |
Family
ID=89396787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311567496.6A Active CN117372306B (zh) | 2023-11-23 | 2023-11-23 | 一种基于双编码器的肺部医学影像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372306B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN114972291A (zh) * | 2022-06-14 | 2022-08-30 | 中山大学 | 基于混合增强智能的医学影像结构化自动标注方法与系统 |
| CN115861164A (zh) * | 2022-09-16 | 2023-03-28 | 重庆邮电大学 | 一种基于多领域半监督的医学图像分割方法 |
| CN116364227A (zh) * | 2023-03-31 | 2023-06-30 | 江苏大学 | 基于记忆能力学习的医学影像报告自动生成方法 |
| CN117058149A (zh) * | 2023-10-12 | 2023-11-14 | 中南大学 | 一种用于训练识别骨关节炎的医学影像测量模型的方法 |
| CN117058382A (zh) * | 2023-08-16 | 2023-11-14 | 长沙理工大学 | 复杂环境下基于双编码器的裂缝图像分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220375576A1 (en) * | 2021-05-07 | 2022-11-24 | Empallo, Inc. | Apparatus and method for diagnosing a medical condition from a medical image |
-
2023
- 2023-11-23 CN CN202311567496.6A patent/CN117372306B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429464A (zh) * | 2020-03-11 | 2020-07-17 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN114972291A (zh) * | 2022-06-14 | 2022-08-30 | 中山大学 | 基于混合增强智能的医学影像结构化自动标注方法与系统 |
| CN115861164A (zh) * | 2022-09-16 | 2023-03-28 | 重庆邮电大学 | 一种基于多领域半监督的医学图像分割方法 |
| CN116364227A (zh) * | 2023-03-31 | 2023-06-30 | 江苏大学 | 基于记忆能力学习的医学影像报告自动生成方法 |
| CN117058382A (zh) * | 2023-08-16 | 2023-11-14 | 长沙理工大学 | 复杂环境下基于双编码器的裂缝图像分割方法 |
| CN117058149A (zh) * | 2023-10-12 | 2023-11-14 | 中南大学 | 一种用于训练识别骨关节炎的医学影像测量模型的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Denoising auto-encoder based image enhancement for high resolution sonar image;Juhwan Kim et al;《2017 IEEE Underwater Technology (UT)》;1-5 * |
| 基于深度学习的乳腺肿瘤图像识别研究;丁旭甫;《中国优秀硕士学位论文全文数据库（电子期刊）》;第2021卷(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372306A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200294309A1 (en) | 3D Reconstruction Method Based on Deep Learning | |
| CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| Chubachi | An ensemble model using CNNs on different domains for ALASKA2 image steganalysis | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN114170088A (zh) | 一种基于图结构数据的关系型强化学习系统及方法 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
| Peng et al. | Progressive training of multi-level wavelet residual networks for image denoising | |
| CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN112270650B (zh) | 基于稀疏自编码器的图像处理方法、系统、介质、设备 | |
| CN117372306B (zh) | 一种基于双编码器的肺部医学影像增强方法 | |
| CN117333497A (zh) | 一种基于掩码监督策略的高效建模的三维医学影像分割方法 | |
| CN116912268A (zh) | 一种皮肤病变图像分割方法、装置、设备及存储介质 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN115619681A (zh) | 基于多粒度Vit自动编码器的图像重建方法 | |
| CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
| CN112818978B (zh) | 基于多分辨自动编码器的光学符号识别方法 | |
| Tack et al. | Efficient meta-learning via error-based context pruning for implicit neural representations | |
| Wei et al. | Towards Extreme Image Rescaling with Generative Prior and Invertible Prior | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN117894058B (zh) | 基于注意力增强的智慧城市摄像头人脸识别方法 | |
| Lin et al. | A genetic grey-based neural networks with wavelet transform for search of optimal codebook | |
| Lan et al. | GOLLIC: Learning Global Context beyond Patches for Lossless High-Resolution Image Compression | |
| Uludağ | Deep image compression with a unified spatial and channel context auto-regressive model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |