CN117765041A - 一种基于配准增强和最优传输gan的dsa图像生成方法 - Google Patents
一种基于配准增强和最优传输gan的dsa图像生成方法 Download PDFInfo
- Publication number
- CN117765041A CN117765041A CN202311793094.8A CN202311793094A CN117765041A CN 117765041 A CN117765041 A CN 117765041A CN 202311793094 A CN202311793094 A CN 202311793094A CN 117765041 A CN117765041 A CN 117765041A
- Authority
- CN
- China
- Prior art keywords
- image
- optimal transmission
- representation
- attention
- dsa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005540 biological transmission Effects 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 abstract description 7
- 230000010354 integration Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 23
- 210000004204 blood vessel Anatomy 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OUADMZZEIRSDSG-NKFUZKMXSA-N C1N2C(C(C(C)=C(N)C3=O)=O)=C3[C@@H](CO)[C@@]2(OC)[C@@H]2[C@H]1N2 Chemical compound C1N2C(C(C(C)=C(N)C3=O)=O)=C3[C@@H](CO)[C@@]2(OC)[C@@H]2[C@H]1N2 OUADMZZEIRSDSG-NKFUZKMXSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于配准增强和最优传输GAN的DSA图像生成方法，包括：(1)收集DSA图像数据集；(2)构建生成器；输入图像进入生成器后依次经过尺度分解、特征提取线性变换、自适应注意力机制、共享空间表示、整合多尺度表示后通过前馈神经网络输出生成图像；(3)构建判别器；计算生成图像与真实图像之间的光流图，将生成图像根据光流图进行空间扭曲，将扭曲后生成的图像和真实图像分别输入到深度卷积网络进行特征提取；采用深度相关矩阵比较的方法来度量两个提取特征之间的相似性；(4)构建损失函数，对生成器和判别器进行训练；(5)将待剪影的DSA图像输入训练好的生成器，生成剪影后的图像。利用本发明，可以生成更高质量的图像。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于配准增强和最优传输GAN的DSA图像生成方法。
背景技术
数字减影血管造影(DSA)图像是一种在血管造影中常用的技术。其通过对剪影前的DSA图像进行处理，生成剪影后的图像，只包含血管部分，以便于医生对病变进行观察和诊断。
公开号为CN109087306A的中国专利文献公开了动脉血管图像模型训练方法、分割方法，包括：S1、对获取到的DSA图像进行预处理，以构建动脉血管图像库；S2、对动脉血管图像库中的部分样本图像进行标注，以构建标注样本图像集；S3、构建卷积深度网络，并设置深度网络参数，生成初始动脉血管分割模型；S4、使用标注样本图像集训练初始动脉血管分割模型，生成动脉血管图像分割模型；S5、对于使用动脉血管图像分割模型分割动脉血管图像库中除部分样本图像之外的其他图像得到的血管目标图像，进一步进行标注，以对动脉血管图像分割模型进行迭代训练。
公开号为CN115439651A的中国专利文献公开了一种基于空间多尺度注意网络的DSA脑血管分割系统及方法；获取原始的DSA图像数据；对每一帧图像标注类别，标注出血管结构和非血管结构，制作DSA脑血管数据集；对图像进行预处理，分为测试集、训练集和验证集；将训练集的数据送入空间多尺度注意力网络模型中进行训练，调整模型训练过程的参数，通过验证集中的AUC值选择出最好的模型；将测试集的图像分成局部图像块，通过筛选出的最好模型，测试测试集数据，并将预测结果重建，验证分割效果。
然而，采用现有的方法生成的图像可能存在模糊、失真、细节损失等问题，这些问题在生成剪影后的DSA图像时更加突出。
此外，现有技术也有采用生成对抗网络(GAN)对剪影前的DSA图像进行处理，但是，传统的GAN神经网络通常只关注像素级别的图像质量，忽视了图像的特征级别，导致生成的图像与真实图像的差距较大。
发明内容
本发明提供了一种基于配准增强和最优传输GAN的DSA图像生成方法，使得网络能够生成质量更高的图像。
一种基于配准增强和最优传输GAN的DSA图像生成方法，包括：
(1)收集剪影前、后的DSA图像数据集；
(2)构建生成器
输入图像进入生成器后经过不同大小的卷积核进行卷积操作，得到一系列包含全局信息的特征图；将特征图切割成一系列的小块并通过线性变换得到一系列特征向量vi；
将特征向量vi输入自适应注意力机制后得到每个小块i对应的注意力结果Zi，将这些结果Zi投影到一个共享表示空间后进行加权求和，得到整合所有尺度信息的表示Z，最后再通过前馈神经网络得到生成器的输出生成的图像G；
(3)构建判别器
计算生成图像G与真实图像R之间的光流图FGR，将生成图像G根据光流图FGR进行空间扭曲，将扭曲后生成的图像Gwarp和真实图像分别输入到一个深度卷积网络进行特征提取；采用最优传输度量函数来度量两个提取特征之间的相似性；
(4)构建损失函数，利用DSA图像数据集对生成器和判别器进行训练；
(5)将待剪影的DSA图像输入训练好的生成器，生成剪影后的图像。
步骤(2)中，每个小块patch通过一个线性变换被投影到一个高维空间，得到一系列的特征向量vi，公式如下：
vi＝LinerTransform(patchi(X))
式中，X表示生成器输出的包含全局信息的特征图，LinerTransform表示线性变换函数。
步骤(2)中，得到每个小块i对应的注意力结果Zi的具体过程为：
首先利用Transformer模块计算原始的注意力矩阵M，然后将其作为一个线性变换的输入，进行特征值分解得到特征值λ和特征向量U，λ和U描述了这个线性变换在不同方向上的拉伸和旋转；
使用sigmoid函数将特征值λ转换为0-1之间的数，得到自适应权重A；用这些自适应权重线性组合原始的特征向量，得到新的注意力矩阵M′；利用新的注意力矩阵M′进一步计算得到每个小块i对应的注意力结果Zi。
’具体公式为：
Qi＝Wq*vi,Ki＝Wk*vi,Vi＝Wv*vi
λ,U＝Eigendecomposition(M)
A＝sigmoid(FC(λ))
M′＝U*A*UT
Zi＝Attention(Qi,Ki,Vi)＝softmax(M′)Vi
式中，vi是第i个小块对应的向量，Wq,WK,Wv是权重矩阵，Qi,Ki,Vi分别代表Query、Key、Value向量,dk是key的维度，Eigendecomposition代表特征值分解，M是原始的注意力矩阵，λ和U代表特征值和特征向量，A是自适应权重，FC代表全连接层，M′代表新的注意力矩阵，Attention(Qi,Ki,Vi)代表新的自适应注意力机制。
得到整合所有尺度信息的表示Z的过程为：
将所有注意力结果Zi通过一个可学习的线性变换投影到一个共享的表示空间，该表示空间具有固定的维度，不受输入尺度的影响；并进行加权求和后得到一个整合所有尺度信息的表示，该过程可用以下公式表示
Z′＝Wz*Concat(Z1,Z2,…,Zn)
Z＝∑αi*Z′
其中，Z′是投影后的表示，Z是最终的整合表示。
步骤(3)中，采用最优传输度量函数来度量两个提取特征之间的相似性具体为：
首先计算每个特征表示的相关矩阵，公式如下：
CM(Gwarp)＝h(Gwarp)*h(Gwarp)T
CM(R)＝h(R)*h(R)T
式中，将深度卷积网络记作h，对齐后的生成图像的特征表示h(Gwarp)和真实图像的特征表示h(R)；
将相关矩阵CM(Gwarp)和CM(R)视为概率分布，采用最优传输度量函数OT来度量这两个分布之间的差异，计算公式如下：
OT(CM(Gwarp),CM(R))＝minTr＜Tr,Mc>
式中，<.,.>代表矩阵的内积，Tr是一个运输矩阵，满足所有元素非负且每行和每列都为1，Mc是成本矩阵，代表了将对齐后的生成图像Gwarp的特征转移到真实图像R的特征所需要的成本。
步骤(3)中，采用最优传输度量函数OT作为损失函数，以此来评估生成图像的得分SG，计算公式如下：
SG＝OT(CM(Gwarp),CM(R))
最优传输度量函数OT中，通过Sinkhorn迭代算法迭代地规范化Tr的行和列来求解Tr，直到达到一个稳定状态。
还可以采用均方误差损失、感知损失以及结构相似性损失的组合作为损失函数。
与现有技术相比，本发明具有以下有益效果：
1、本发明在判别器中引入像素级别配准的概念，使得判别器能够精确地对齐生成图像和目标图像的特征。这种精确的特征对齐能够捕获微小的像素级差异，从而实现对生成图像质量的高精度评估。
2、本发明引入最优传输的方法，使得GAN能够在复杂的特征空间上进行深度比较，而非仅限于原始图像空间。这种深度比较使得模型能够更好地理解和捕捉生成图像与真实图像之间的微妙差异，从而显著提升生成图像的质量和判别器的判别能力。
附图说明
图1为本发明一种基于配准增强和最优传输GAN的DSA图像生成方法流程图；
图2为本发明中生成器的工作流程图；
图3为本发明中判别器的工作流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，一种基于配准增强和最优传输GAN的DSA图像生成方法，包括以下步骤：
步骤1，收集剪影前、后的DSA图像数据集。
步骤2，构建生成器。
首先将输入图像在不同的尺度下进行分解，这是通过应用一系列的不同大小的滤波器实现的，每个滤波器都会在特定的空间尺度下分析图像。，我们首先设计了一系列不同大小的卷积核。然后，这些卷积核分别在原始DSA图像上滑动并进行卷积操作，得到一系列的feature map。每个feature map对应了原始图像在某个尺度下的特征表示。在这个过程中，小尺度的卷积核可以捕获到图像中的局部信息，比如边缘、纹理等；大尺度的卷积核则可以捕获更大范围的上下文信息，这样可以提取出图像中的全局信息。这些feature map被切割成一系列的patch，每个patch都被线性变换到一个高维空间，得到了一系列的特征向量vi。这些特征向量包含了原始图像在多个尺度下的丰富特征
每个patch通过一个线性变换被投影到一个高维空间，得到一系列的向量vi。这些向量将作为Transformer的输入。
vi＝LinerTransform(patchi(X))
对于每个尺度i，定义一个Transformer模块Ti。每个Transformer模块接收一系列的向量vi作为输入，在传统的Transformer中，注意力机制是通过Query和Key的乘积得到，均等地考虑所有的输入，这在处理图像这种具有强烈局部相关性的数据时可能不是最优的。因此，可以考虑引入一种自适应的注意力机制，使模型能够更好地挖掘元素之间相关性。
具体的，首先计算原始的注意力矩阵M，然后将其作为一个线性变换的输入，然后进行特征值分解得到λ(特征值)和U(特征向量)，由于原始矩阵可以看作是对空间进行线性变换的一个操作，而λ和U则描述了这个变换在不同方向上的拉伸和旋转。其中，λi代表了在方向Ui上进行的拉伸程度，即在这个方向上的重要性。
然后使用sigmoid函数将这些特征值转换为0-1之间的数，得到自适应权重A。这个过程可以理解为，用sigmoid函数将原始的重要性度量(λ)映射到了0-1之间，使得大的特征值对应的重要性更高(接近1)，而小的特征值对应的重要性更低(接近0)。通过这种方式，能够在数学上衡量不同输入元素的重要性，
用这些自适应权重线性组合原始的特征向量，得到新的注意力矩阵M′。这个过程可以理解为，按照新的重要性度量，对原始的空间变换进行了调整。这样就得到了一个新的注意力矩阵，它不仅能够描述输入元素之间的关系，还考虑了不同输入元素的重要性。
具体公式如下：
Qi＝Wq*vi,Ki＝Wk*vi,Vi＝Wv*vi
λ,U＝Eigendecomposition(M)
A＝sigmoid(FC(λ))
M′＝U*A*UT
Zi＝Attention(Qi,Ki,Vi)＝softmax(M′)Vi
其中，vi是第i个patch对应的向量，Wq,WK,Wv是权重矩阵，Qi,Ki,Vi分别代表Query、Key、Value向量,dk是key的维度，Eigendecomposition代表特征值分解，M是原始的注意力矩阵，λ和U代表特征值和特征向量。A是自适应权重，FC代表全连接层。M′代表新的注意力矩阵，Attention(Qi,Ki,Vi)代表新的注意力机制，Zi是第i个尺度下的注意力结果，将这些结果通过一个可学习的线性变换投影到一个共享的表示空间。该表示空间具有固定的维度，不受输入尺度的影响。并进行加权求和，得到一个整合所有尺度信息的表示。该过程可以用以下公式表示
Z′＝Wz*Concat(Z1,Z2,…,Zn)
Z＝∑αi*Z′
其中Z′是投影后的表示，Z是最终的整合表示。
最后再通过前馈神经网络得到生成器输出G。
步骤3，构建判别器。
在传统的判别器中，判别器的任务通常是，判别器的任务通常是评估生成图像与真实图像之间的区别，以引导生成器产生更接近真实图像的结果。然而，在DSA剪影图像回归任务中，这种区别可能体现在像素级别的微小差异中，比如细微的图像结构或图像强度变化。这就需要判别器具有高精度的对齐能力，能够准确地捕捉到这些微小差异。
然而，传统的GAN判别器往往侧重于捕捉图像的全局特征，可能会忽视这些微小差异。此外，由于图像生成过程中的非线性和复杂性，生成图像和目标图像可能存在一些微小的对齐误差，这些误差可能会影响判别器的评估效果。
基于以上原因，本发明设计了这种基于像素级别配准的判别器。这种判别器可以准确地对齐生成图像和目标图像的特征，捕捉到细微的差异，从而更准确地评估生成图像的质量。
具体的，首先使用FlowNet计算生成图像G与真实图像R之间的光流，FlowNet是一种用于计算两个图像之间光流的深度神经网络，设F为光流计算函数，可以得到光流图FGR,即FGR＝FlowNet(G,R)。
利用前一步得到的光流图FGR进行图像扭曲操作，即将生成图像G根据光流图进行空间的扭曲，使得其特征布局与真实图像R更好地对齐。将扭曲操作函数记作Warp,所以扭曲后的生成图像记作Gwarp。
Gwarp＝Warp(G,FGR)
图像扭曲后将扭曲后生成的图像Gwarp和真实图像输入到一个深度卷积网络(DeepConvNet)进行特征提取，这个网络由多个深度卷积层组成，每一层都会提取图像不同级别的特征，并将这些特征进一步进行抽象化。我们将这个深度卷积网络记作h，所以对齐后的生成图像的特征表示(记作h(Gwarp))和真实图像的特征表示(记作h(R))的计算公式可以表示为：h(Gwarp)＝DeepConv(Gwarp)，h(R)＝DeepConvNet(R)
接下来，采用一种"深度相关矩阵比较"(Deep Correlation Matrix Comparison,DCMMC)的方法来度量两个特征之间的相似性。这种方法首先会计算每个特征表示的相关矩阵(Correlation Matrix,CM)。这个矩阵体现了特征内部的交互信息，从而为比较过程提供了更丰富的上下文信息。具体来说，可以用以下公式计算相关矩阵：
CM(Gwarp)＝h(Gwarp)*h(Gwarp)T
CM(R)＝h(R)*h(R)T
接下来将相关矩阵视为概率分布，并使用最优传输的方法来度量这两个分布之间的差异，具体地，我们定义一个度量函数，记作OT，计算公式如下：
OT(CM(Gwarp),CM(R))＝minTr＜Tr,Mc＞
其中，＜.,.>代表矩阵的内积，Tr是一个“运输矩阵”，满足所有元素非负且每行和每列都为1，Mc是"成本矩阵"，代表了将Gwarp的特征转移到R的特征所需要的成本。我们的目标是找到这样一个Tr，使得总成本最小。使用Sinkhorn迭代(Sinkhorn iterations)算法迭代地规范化Tr的行和列来求解T，直到达到一个稳定状态。
步骤4，构建损失函数，对生成器和判别器进行训练。
用上述的最优传输度量函数OT作为损失函数R，以此来评估生成图像的得分SG，计算公式如下：
SG＝OT(CM(Gwarp),CM(R))
这种基于最优传输的判别器设计使得本发明的GAN能够在复杂的特征空间上进行详尽的比较，而不仅仅是在原始的图像空间上，这样就能更好地捕捉到生成图像和真实图像之间的微妙差异。
除了最优传输度量函数之外，在实际训练过程中的，本发明还采用了一个组合损失函数，包括均方误差(MSE)损失，感知损失，以及结构相似性(SSIM)损失。
1.均方误差(MSE)损失：这是一种基本的像素级损失函数，它直接衡量了网络输出和目标图像在像素级别的差异。具体公式如下：
L_MSE＝(1/N)∑i(yi-ti)2
其中，yi是网络的输出，ti是目标图像，N是像素数量。
2.感知损失：这种损失函数考虑了图像的高级语义信息。它通过预训练的深度神经网络来提取图像的特征，然后计算特征之间的MSE损失。这样可以使网络生成的图像在视觉效果上更接近目标图像。
3.结构相似性(SSIM)损失：SSIM是一种评价图像质量的指标，它考虑了图像的亮度、对比度和结构信息。通过将SSIM损失加入到总损失中，可以让网络生成的图像在结构上更接近目标图像。
通过这四种损失函数的组合，可以从不同的角度度量网络输出和目标图像之间的差异，使网络能够生成质量更高的图像。在训练过程中，采用了AdamW优化器，即在Adam优化器基础上引入权重衰减(相当于L2正则化)的优化器。同时，使用了余弦退火的学习率调度策略，使得模型在初期快速收敛，在后期能够稳定提升。
步骤5，在实际应用过程中，将待剪影的DSA图像输入训练好的生成器，可以生成更高质量的剪影后图像。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，包括：
(1)收集剪影前、后的DSA图像数据集；
(2)构建生成器；
输入图像进入生成器后经过不同大小的卷积核进行卷积操作，得到一系列包含全局信息的特征图；将特征图切割成一系列的小块并通过线性变换得到一系列特征向量vi；
将特征向量vi输入自适应注意力机制后得到每个小块i对应的注意力结果Zi，将这些结果Zi投影到一个共享表示空间后进行加权求和，得到整合所有尺度信息的表示Z，最后再通过前馈神经网络得到生成器的输出生成的图像G；
(3)构建判别器；
计算生成图像G与真实图像R之间的光流图FGR，将生成图像G根据光流图FGR进行空间扭曲，将扭曲后生成的图像Gwarp和真实图像分别输入到一个深度卷积网络进行特征提取；采用最优传输度量函数来度量两个提取特征之间的相似性；
(4)构建损失函数，利用DSA图像数据集对生成器和判别器进行训练；
(5)将待剪影的DSA图像输入训练好的生成器，生成剪影后的图像。
2.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(2)中，每个小块patch通过一个线性变换被投影到一个高维空间，得到一系列的特征向量vi，公式如下：
vi＝LinerTransform(patchi(X))
式中，X表示生成器输出的包含全局信息的特征图，LinerTransform表示线性变换函数。
3.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(2)中，得到每个小块i对应的注意力结果Zi’的具体过程为：
首先利用Transformer模块计算原始的注意力矩阵M，然后将其作为一个线性变换的输入，进行特征值分解得到特征值λ和特征向量U，λ和U描述了这个线性变换在不同方向上的拉伸和旋转；
使用sigmoid函数将特征值λ转换为0-1之间的数，得到自适应权重A；用这些自适应权重线性组合原始的特征向量，得到新的注意力矩阵M′；利用新的注意力矩阵M′进一步计算得到每个小块i对应的注意力结果Zi。
4.根据权利要求3所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，得到每个小块i对应的注意力结果Zi的公式为：
Qi＝Wq*vi,Ki＝Wk*vi,Vi＝Wv*vi
λ,U＝Eigendecomposition(M)
A＝sigmoid(FC(λ))
M′＝U*A*UT
Zi＝Attention(Qi,Ki,Vi)＝softmax(M′)Vi
式中，vi是第i个小块对应的向量，Wq,WK,Wv是权重矩阵，Qi,Ki,Vi分别代表Query、Key、Value向量,dk是key的维度，Eigendecomposition代表特征值分解，M是原始的注意力矩阵，λ和U代表特征值和特征向量，A是自适应权重，FC代表全连接层，M′代表新的注意力矩阵，Attention(Qi,Ki,Vi)代表新的自适应注意力机制。
5.根据权利要求4所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，得到整合所有尺度信息的表示Z的过程为：
将所有注意力结果Zi通过一个可学习的线性变换投影到一个共享的表示空间，该表示空间具有固定的维度，不受输入尺度的影响；并进行加权求和后得到一个整合所有尺度信息的表示，该过程可用以下公式表示
Z′＝Wz*Concat(Z1,Z2,…,Zn)
Z＝∑αi*Z′
其中，Z′是投影后的表示，Z是最终的整合表示。
6.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(3)中，采用最优传输度量函数来度量两个提取特征之间的相似性具体为：
首先计算每个特征表示的相关矩阵，公式如下：
CM(Gwarp)＝h(Gwarp)*h(Gwarp)T
CM(R)＝h(R)*h(R)T
式中，将深度卷积网络记作h，对齐后的生成图像的特征表示h(Gwarp)和真实图像的特征表示h(R)；
将相关矩阵CM(Gwarp)和CM(R)视为概率分布，采用最优传输度量函数OT来度量这两个分布之间的差异，计算公式如下：
OT(CM(Gwarp),CM(R))＝minTr<Tr,Mc＞
式中，<.,.＞代表矩阵的内积，Tr是一个运输矩阵，满足所有元素非负且每行和每列都为1，Mc是成本矩阵，代表了将对齐后的生成图像Gwarp的特征转移到真实图像R的特征所需要的成本。
7.根据权利要求6所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(4)中，采用最优传输度量函数OT作为损失函数，以此来评估生成图像的得分SG，计算公式如下：
SG＝OT(CM(Gwarp),CM(R))
最优传输度量函数OT中，通过Sinkhorn迭代算法迭代地规范化Tr的行和列来求解Tr，直到达到一个稳定状态。
8.根据权利要求7所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(4)中，还采用均方误差损失、感知损失以及结构相似性损失的组合作为损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311793094.8A CN117765041B (zh) | 2023-12-25 | 2023-12-25 | 一种基于配准增强和最优传输gan的dsa图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311793094.8A CN117765041B (zh) | 2023-12-25 | 2023-12-25 | 一种基于配准增强和最优传输gan的dsa图像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765041A true CN117765041A (zh) | 2024-03-26 |
| CN117765041B CN117765041B (zh) | 2024-09-27 |
Family
ID=90323596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311793094.8A Active CN117765041B (zh) | 2023-12-25 | 2023-12-25 | 一种基于配准增强和最优传输gan的dsa图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765041B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763442A (zh) * | 2021-09-07 | 2021-12-07 | 南昌航空大学 | 一种可变形医学图像配准方法及系统 |
| US20220208355A1 (en) * | 2020-12-30 | 2022-06-30 | London Health Sciences Centre Research Inc. | Contrast-agent-free medical diagnostic imaging |
| CN114693744A (zh) * | 2022-02-18 | 2022-07-01 | 东南大学 | 一种基于改进循环生成对抗网络的光流无监督估计方法 |
| CN116012344A (zh) * | 2023-01-29 | 2023-04-25 | 东北林业大学 | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 |
| CN116051872A (zh) * | 2023-01-19 | 2023-05-02 | 同济大学 | 一种跨光谱图像的特征点匹配方法 |
| CN116993585A (zh) * | 2023-07-14 | 2023-11-03 | 华中科技大学 | 基于多注意力的视频超分辨率重建网络构建方法及其应用 |
-
2023
- 2023-12-25 CN CN202311793094.8A patent/CN117765041B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220208355A1 (en) * | 2020-12-30 | 2022-06-30 | London Health Sciences Centre Research Inc. | Contrast-agent-free medical diagnostic imaging |
| CN113763442A (zh) * | 2021-09-07 | 2021-12-07 | 南昌航空大学 | 一种可变形医学图像配准方法及系统 |
| CN114693744A (zh) * | 2022-02-18 | 2022-07-01 | 东南大学 | 一种基于改进循环生成对抗网络的光流无监督估计方法 |
| CN116051872A (zh) * | 2023-01-19 | 2023-05-02 | 同济大学 | 一种跨光谱图像的特征点匹配方法 |
| CN116012344A (zh) * | 2023-01-29 | 2023-04-25 | 东北林业大学 | 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法 |
| CN116993585A (zh) * | 2023-07-14 | 2023-11-03 | 华中科技大学 | 基于多注意力的视频超分辨率重建网络构建方法及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765041B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hosu et al. | KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment | |
| Bargshady et al. | Enhanced deep learning algorithm development to detect pain intensity from facial expression images | |
| CN105138973B (zh) | 人脸认证的方法和装置 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN113887661B (zh) | 一种基于表示学习重构残差分析的图像集分类方法及系统 | |
| CN113076927A (zh) | 基于多源域迁移的指静脉识别方法及系统 | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| Wei et al. | Non-homogeneous haze removal via artificial scene prior and bidimensional graph reasoning | |
| CN114821328A (zh) | 一种基于完全学习的电力图像处理方法及装置 | |
| Trevino-Sanchez et al. | Hybrid pooling with wavelets for convolutional neural networks | |
| CN112489012A (zh) | 一种用于ct图像识别的神经网络架构方法 | |
| CN117522891A (zh) | 一种3d医学图像分割系统及方法 | |
| CN117079017A (zh) | 可信的小样本图像识别分类方法 | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN116704208A (zh) | 基于特征关系的局部可解释方法 | |
| CN117115180A (zh) | 基于域自适应的半监督医学图像分割方法 | |
| CN117765041B (zh) | 一种基于配准增强和最优传输gan的dsa图像生成方法 | |
| CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
| CN115239943A (zh) | 图像矫正模型的训练方法及切片图像的色彩矫正方法 | |
| Xu et al. | A deep image prior-based three-stage denoising method using generative and fusion strategies | |
| Li et al. | No‐reference image quality assessment based on multiscale feature representation | |
| Javanbakhat et al. | A probabilistic approach to self-supervised learning using cyclical stochastic gradient mcmc | |
| CN118608792B (zh) | 一种基于Mamba的超轻量图像分割方法及计算机装置 | |
| Li et al. | Infrared image interest point detector for few samples Based on Superpoint | |
| CN118334420A (zh) | 多层级的跨场景高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |