CN109859106A - 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 - Google Patents
一种基于自注意力的高阶融合网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109859106A CN109859106A CN201910079727.6A CN201910079727A CN109859106A CN 109859106 A CN109859106 A CN 109859106A CN 201910079727 A CN201910079727 A CN 201910079727A CN 109859106 A CN109859106 A CN 109859106A
- Authority
- CN
- China
- Prior art keywords
- attention
- feature
- order
- resolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012512 characterization method Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000003475 lamination Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005267 amalgamation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，包括如下步骤：1）建立重建模型；2）CNN网络特征提取；3）自注意力模块中的自注意力支路特征提取；4）自注意力模块中的主干支路特征提取；5）特征的高阶融合；6）图像重建。这种方法能有效的解决因预处理带来的额外计算量，且能恢复出更多的纹理细节来重建出高质量的图像。
Description
技术领域
本发明涉及智能图像处理技术领域，具体涉及一种基于自注意力的高阶融合网络的图像超分辨率重建方法。
背景技术
近来，深度学习在计算机视觉方面的重大进展已经影响到超分辨率领域中。单幅图超分辨率是一个不适定的逆问题，旨在从低分辨率(Low-Resolution，简称LR)图像中恢复出一个高分辨率(High-Resolution，简称HR)图像。目前典型的方法是通过学习LR-to-HR的非线性映射来构造高分辨率图像。Dong等人首先引入了一个三层的卷积神经网络(Convolutional Neural Network，简称CNN)用于图像的超分辨率,提出了基于卷积神经网络的超分辨率重建方法,以端对端的方法学习LR到HR之间的非线性映射关系。得益于残差网路的出现解决了训练深度网络的梯度爆炸/梯度消失等关键问题，应用于超分辨率的网络也往更深更宽的趋势发展。Kim等人受VGG网络启发提出一种非常深的卷积网络重建精准的超分辨率，该网络达到20层，为了加速收敛速度，使用非常高的学习率，运用残差学习与梯度裁剪来解决梯度爆炸问题；Ren等人提出了融合多个单个网络, 由于各个网络的输出特征映射具有不同的上下文特征，将其融合来提升整体网络的精度。此外，Lai等人利用金字塔的结构提出了深度拉普拉斯网络用来实现快速准确的超分辨率，将LR图像作为输入来减少计算量，以粗到细的方式逐步预测子带的残差图，该工作在超分辨率中利用基于从粗到细的逐步优化方法，更好的去尖锐和模糊。
将深度学习应用于超分辨率领域中，随着网络的加深,其感受区域变得越来越大，使得网络不仅具备局部特征，且能捕捉到更加全局的特征，全局特征的加入更有利于超分辨率纹理细节的恢复。但一味地增加深度会带来巨大的计算量，甚至导致网络难以训练等问题，而且在层层卷积的网络中只能根据低分辨率特征图的空间局部点生成高分辨率细节，没能充分利用特征之间的全局依赖关系进行建模。另一方面，自注意力机制在建模全局依赖关系以及计算效率上表现出良好的性能，特别是，Zhang等人对自注意机制捕捉模型内部的全局依赖关系进行了研究,可以使用来自所有特征位置的关联生成细节信息。自注意力机制的出现为超分辨率重建获取全局特征来恢复纹理细节提供了新思路。
目前，在超分辨率重建中融合不同网络分支，大部分的方法都是采用相加或级联来获取融合特征，但不能完全捕捉特征之间的复杂联系。最近的工作表明，高阶统计表示比一阶统计可以捕获更多的判别信息，并将高阶统计集成到深度卷积神经网络中可以实现令人印象深刻的改进。
发明内容
本发明的目的是针对现有技术的不足，而提出一种基于自注意力的高阶融合网络的图像超分辨率重建方法。这种方法能有效的解决因预处理带来的额外计算量，且能恢复出更多的纹理细节来重建出高质量的图像。
实现本发明目的的技术方案是：
一种基于自注意力的高阶融合网络的图像超分辨率重建方法，与现有技术不同的是，包括如下步骤：
1)建立重建模型：所述重建模型包括串联的卷积神经网络和自注意力模块，其中卷积神经网络设有残差单元和反卷积层、自注意力模块包括并联的注意力支路和主干支路，注意力支路与主干支路的输出相融合为特征的高阶融合，通过重建模型将低分辨率图像生成高分辨率图像；
2)CNN网络特征提取：直接以原始低分辨率图像作为步骤1)建立的CNN 网络的输入，CNN网络的输出为粗精度的高分辨率特征；
3)自注意力模块中的自注意力支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的自注意力支路，自注意力支路的输出为自注意力特征H(x)；
4)自注意力模块中的主干支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的主干支路，通过主干支路的输出为高层特征 T(x)；
5)特征的高阶融合：将步骤3)和步骤4)所提取的自注意力特征H(x)与高层特征T(x)进行高阶融合,得到高阶融合特征F(x)；
6)图像重建：将步骤5)所提取的高阶融合特征F(x)进行卷积操作，输出最终的细精度高分辨率图像。
步骤1)中所述的CNN网络设有十个残差单元和一个反卷积层，每个残差单元包括两个卷积核大小为3×3的卷积层，每个卷积层产生64个特征图，然后紧接着激活函数ReLU，采用反卷积层来实现上采样操作，反卷积层的核大小为 5×5，通过设置不同的步长来实现不同尺度大小的上采样。
步骤3)中所述的自注意力支路特征提取的过程为：
自注意力分支首先将粗精度的高分辨率特征图像送入伴随着激活函数ReLU 的1×1卷积层，分别生成三个新的特征图A(x)、B(x)和C(x)，然后将通过一个转置矩阵的A(x)与B(x)进行矩阵乘法操作，并且采用一个softmax层依据公式 (1)计算注意力特征：
其中，Sj,i表示第i个位置对第j个位置的影响，两个位置的像素点越相似，其响应值越大，它们之间的关联性就越大，再将特征C(x)与转置后的注意力S(x)执行一个矩阵乘法操作，得到最终自注意力分支的输出如公式(4) 所示：
从等式(4)中可以知道，自注意力特征H(x)表示着所有位置像素点，因此，它具有全局上下文信息，当与主干分支输出的高层特征融合时，可以根据自注意力特征选择性地聚集上下文信息，总的来说，自注意力模块通过学习所有位置像素点的特征之间的联系使得相似的特征相互关联，可以轻松捕捉到更加全局的特征，全局特征的加入帮助恢复更多的纹理细节。
步骤5)中所述的高阶融合依据公式(2)由高阶统计表示来实现：
其中是由来自主干支路的特征T(x)和自注意力支路的H(x)级联而成的,W是线性预测器，为高阶统计量的描述，可以依据公式(3)通过一个齐次多项式内核表示为一个多项式预测器：
其中，R表示阶数，Wr是包含着r阶预测器权重的张量，表示x的第ci个像素，对于每个r阶张量Wr可以用Dr秩-1张量逼近,那么张量Wr相当于可以将公式(3)重新进行表示，依据公式(5)：
其中为r阶的特征映射，是所有Dr秩-1 张量的关联权重向量，由公式(5)可知，可以通过学习w，ar，zr来计算任意阶的表示，对于给定的输入特征X，计算第r阶表示的特征映射需要r次 Dr×1×1的卷积，然后r阶的将所有特征执行矩阵乘法操作，得到最后，将所有阶的特征执行矩阵乘法操作，得到最终的高阶融合输出，依据公式(6)：
其中表示矩阵乘法操作，通过高阶统计表示来探索两者特征的多样性，获取丰富语义信息的特征来恢复更多的高频细节。
上述技术方案，有效地解决了高频信息少，重建效果平滑和细节不逼真，以及计算量过大等问题：
(1)利用从粗到细来逐步优化图像精度的思想，第一阶段直接以原始低分辨率图像作为输入减少计算量，恢复出一个粗精度的高分辨率图像，然后第二阶段将粗精度图像作为输入并产生更加精细的高分辨率图像；
(2)使用自注意力模块来探索任意两点特征之间的全局依赖关系，增强特征的表达能力，有助于恢复图像的纹理细节；
(3)使用高阶统计表示对两个支路的特征进行高阶融合，该融合方式捕捉特征之间更为复杂和高阶的关系，增加了特征的多样性，构建更丰富的图像表示。
这种方法基于从粗到细的思想逐步地对图像精度进行优化，利用自注意力来探索特征之间的联系性来获取更加全局的特征，通过高阶融合来捕捉特征之间的复杂关系，有助于恢复更多的高频信息来丰富图像细节。
这种方法有效的解决了因预处理带来的额外计算量，且恢复出更多的纹理细节来重建出高质量的图像。
附图说明
图1为实施例的方法流程示意图；
图2为实施例中的模型结构示意图；
图3为实施例中自注意力机制和高阶融合对网络性能的影响示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。
实施例：
参照图1，一种基于自注意力的高阶融合网络的图像超分辨率重建方法，包括如下步骤：
1)建立重建模型：所述重建模型包括串联的卷积神经网络和自注意力模块，如图2所示，其中卷积神经网络设有残差单元和反卷积层、自注意力模块包括并联的注意力支路和主干支路，注意力支路与主干支路的输出相融合为特征的高阶融合，通过重建模型将低分辨率图像生成高分辨率图像；
2)CNN网络特征提取：直接以原始低分辨率图像作为步骤1)建立的CNN 网络的输入，CNN网络的输出为粗精度的高分辨率特征；
3)自注意力模块中的自注意力支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的自注意力支路，自注意力支路的输出为自注意力特征H(x)；
4)自注意力模块中的主干支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的主干支路，通过主干支路的输出为高层特征 T(x)；
5)特征的高阶融合：将步骤3)和步骤4)所提取的自注意力特征H(x)与高层特征T(x)进行高阶融合,得到高阶融合特征F(x)；
6)图像重建：将步骤5)所提取的高阶融合特征F(x)进行卷积操作，输出最终的细精度高分辨率图像。
步骤1)中所述的CNN网络设有十个残差单元和一个反卷积层，每个残差单元包括两个卷积核大小为3×3的卷积层，每个卷积层产生64个特征图，然后紧接着激活函数ReLU，采用反卷积层来实现上采样操作，反卷积层的核大小为 5×5，通过设置不同的步长来实现不同尺度大小的上采样。
步骤3)中所述的自注意力支路特征提取的过程为：
自注意力分支首先将粗精度的高分辨率特征图像送入伴随着激活函数ReLU 的1×1卷积层，分别生成三个新的特征图A(x)、B(x)和C(x)，然后将通过一个转置矩阵的A(x)与B(x)进行矩阵乘法操作，并且采用一个softmax层依据公式 (1)计算注意力特征：
其中，Sj,i表示第i个位置对第j个位置的影响，两个位置的像素点越相似，其响应值越大，它们之间的关联性就越大，再将特征C(x)与转置后的注意力S(x)执行一个矩阵乘法操作，得到最终自注意力分支的输出如公式(4) 所示：
从等式(4)中可以知道，自注意力特征H(x)表示着所有位置像素点，因此，它具有全局上下文信息，当与主干分支输出的高层特征融合时，可以根据自注意力特征选择性地聚集上下文信息，总的来说，自注意力模块通过学习所有位置像素点的特征之间的联系使得相似的特征相互关联，可以轻松捕捉到更加全局的特征，全局特征的加入帮助恢复更多的纹理细节。
步骤5)中所述的高阶融合依据公式(2)由高阶统计表示来实现：
其中是由来自主干支路的特征T(x)和自注意力支路的H(x)级联而成的,W是线性预测器，为高阶统计量的描述，可以依据公式(3)通过一个齐次多项式内核表示为一个多项式预测器：
其中，R表示阶数，Wr是包含着r阶预测器权重的张量，表示x的第ci个像素，对于每个r阶张量Wr可以用Dr秩-1张量逼近,那么张量Wr相当于可以将公式(3)重新进行表示，依据公式(5)：
其中为r阶的特征映射，是所有Dr秩-1 张量的关联权重向量，由公式(5)可知，可以通过学习w，ar，zr来计算任意阶的表示，对于给定的输入特征X，计算第r阶表示的特征映射需要r次 Dr×1×1的卷积，然后r阶的将所有特征执行矩阵乘法操作，得到最后，将所有阶的特征执行矩阵乘法操作，得到最终的高阶融合输出，依据公式(6)：
其中表示矩阵乘法操作，通过高阶统计表示来探索两者特征的多样性，获取丰富语义信息的特征来恢复更多的高频细节。
如图3所示，将本例的方法—图中用“SAHF-Net”表示与仅移除自注意力支路的网络-简称HF-Net,以及仅移除了高阶融合的网络-简称SA-Net这三个网络做比较，在Set5数据集上的性能曲线比较，可以看出这三个网络都较快收敛，但本例方法的收敛速度依然是最快的，而且峰值信噪比(PSNR)也比其他两个网络要高出0.1dB，也就说明了自注意力和高阶统计表示可以增强特征的语义信息，恢复出更多的高频细节信息。
Claims (4)
1.一种基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，包括如下步骤：
1)建立重建模型：所述重建模型包括串联的卷积神经网络和自注意力模块，其中卷积神经网络设有残差单元和反卷积层、自注意力模块包括并联的注意力支路和主干支路，注意力支路与主干支路的输出相融合为特征的高阶融合；
2)CNN网络特征提取：直接以原始低分辨率图像作为步骤1)建立的CNN网络的输入，CNN网络的输出为粗精度的高分辨率特征；
3)自注意力模块中的自注意力支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的自注意力支路，自注意力支路的输出为自注意力特征H(x)；
4)自注意力模块中的主干支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的主干支路，通过主干支路的输出为高层特征T(x)；
5)特征的高阶融合：将步骤3)和步骤4)所提取的自注意力特征H(x)与高层特征T(x)进行高阶融合,得到高阶融合特征F(x)；
6)图像重建：将步骤5)所提取的高阶融合特征F(x)进行卷积操作，输出最终的细精度高分辨率图像。
2.根据权利要求1所述的基于自注意力的高阶融合网路的图像超分辨率重建方法，其特征在于，步骤1)中所述的CNN网络设有十个残差单元和一个反卷积层，每个残差单元包括两个卷积核大小为3×3的卷积层，每个卷积层产生64个特征图，然后紧接着激活函数ReLU，采用反卷积层来实现上采样操作，反卷积层的核大小为5×5，通过设置不同的步长来实现不同尺度大小的上采样。
3.根据权利要求1所述的基于自注意力的高阶融合网路的图像超分辨率重建方法，其特征在于，步骤3)中所述的自注意力支路特征提取的过程为：
自注意力分支首先将粗精度的高分辨率特征图像送入伴随着激活函数ReLU的1×1卷积层，分别生成三个新的特征图A(x)、B(x)和C(x)，然后将通过一个转置矩阵的A(x)与B(x)进行矩阵乘法操作，并且采用一个softmax层依据公式(1)计算注意力特征：
其中，Sj,i表示第i个位置对第j个位置的影响，两个位置的像素点越相似，其响应值越大，它们之间的关联性就越大，再将特征C(x)与转置后的注意力S(x)执行一个矩阵乘法操作，得到最终自注意力分支的输出如公式(4)所示：
从等式(4)中可以知道，自注意力特征H(x)表示着所有位置的像素点。
4.根据权利要求1所述的基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，步骤5)中所述的高阶融合依据公式(2)由高阶统计表示来实现：
其中是由来自主干支路的特征T(x)和自注意力支路的H(x)级联而成的,W是线性预测器，为高阶统计量的描述，可以依据公式(3)通过一个齐次多项式内核表示为一个多项式预测器：
其中，R表示阶数，Wr是包含着r阶预测器权重的张量，表示x的第ci个像素，对于每个r阶张量Wr可以用Dr秩-1张量逼近,那么张量Wr相当于可以将公式(3)重新进行表示，依据公式(5)：
其中为r阶的特征映射，是所有Dr秩-1张量的关联权重向量，由公式(5)可知，可以通过学习w，ar，zr来计算任意阶的表示，对于给定的输入特征X，计算第r阶表示的特征映射需要r次Dr×1×1的卷积，然后r阶的将所有特征执行矩阵乘法操作，得到最后，将所有阶的特征执行矩阵乘法操作，得到最终的高阶融合输出，依据公式(6)：
其中表示矩阵乘法操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079727.6A CN109859106B (zh) | 2019-01-28 | 2019-01-28 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079727.6A CN109859106B (zh) | 2019-01-28 | 2019-01-28 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109859106A true CN109859106A (zh) | 2019-06-07 |
| CN109859106B CN109859106B (zh) | 2022-07-05 |
Family
ID=66896350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910079727.6A Expired - Fee Related CN109859106B (zh) | 2019-01-28 | 2019-01-28 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109859106B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598714A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN110608884A (zh) * | 2019-08-08 | 2019-12-24 | 桂林电子科技大学 | 一种基于自注意力神经网络的滚动轴承状态诊断方法 |
| CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111222562A (zh) * | 2020-01-02 | 2020-06-02 | 南京邮电大学 | 空间自注意力机制及目标检测方法 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN111507918A (zh) * | 2020-04-16 | 2020-08-07 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和系统 |
| CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
| CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN112990053A (zh) * | 2021-03-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
| CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113256494A (zh) * | 2021-06-02 | 2021-08-13 | 同济大学 | 一种文本图像超分辨率方法 |
| CN113393382A (zh) * | 2021-08-16 | 2021-09-14 | 四川省人工智能研究院(宜宾) | 一种基于多维度视差先验的双目图片超分辨率重建方法 |
| CN114092339A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 |
| US20220108423A1 (en) * | 2020-10-02 | 2022-04-07 | Google Llc | Conditional Axial Transformer Layers for High-Fidelity Image Transformation |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN117590260A (zh) * | 2024-01-18 | 2024-02-23 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 船用锂离子动力电池荷电状态估计方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108492273A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市唯特视科技有限公司 | 一种基于自注意力模型的图像生成方法 |
| CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的系统和方法 |
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN108845993A (zh) * | 2018-06-06 | 2018-11-20 | 中国科学技术信息研究所 | 文本信息的翻译方法、装置及终端设备 |
| WO2018212599A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
| CN109034198A (zh) * | 2018-06-25 | 2018-12-18 | 中国科学院计算技术研究所 | 基于特征图恢复的场景分割方法和系统 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
-
2019
- 2019-01-28 CN CN201910079727.6A patent/CN109859106B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的系统和方法 |
| WO2018212599A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108492273A (zh) * | 2018-03-28 | 2018-09-04 | 深圳市唯特视科技有限公司 | 一种基于自注意力模型的图像生成方法 |
| CN108845993A (zh) * | 2018-06-06 | 2018-11-20 | 中国科学技术信息研究所 | 文本信息的翻译方法、装置及终端设备 |
| CN108765296A (zh) * | 2018-06-12 | 2018-11-06 | 桂林电子科技大学 | 一种基于递归残差注意力网络的图像超分辨率重建方法 |
| CN109034198A (zh) * | 2018-06-25 | 2018-12-18 | 中国科学院计算技术研究所 | 基于特征图恢复的场景分割方法和系统 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 薛洋 等: "基于卷积神经网络超分辨率重建的遥感图像融合", 《广西师范大学学报（自然科学版）》 * |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110608884A (zh) * | 2019-08-08 | 2019-12-24 | 桂林电子科技大学 | 一种基于自注意力神经网络的滚动轴承状态诊断方法 |
| CN110598714A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN111179167A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111179167B (zh) * | 2019-12-12 | 2023-05-16 | 天津大学 | 一种基于多阶段注意力增强网络的图像超分辨方法 |
| CN111222562B (zh) * | 2020-01-02 | 2022-04-08 | 南京邮电大学 | 基于空间自注意力机制的目标检测方法 |
| CN111222562A (zh) * | 2020-01-02 | 2020-06-02 | 南京邮电大学 | 空间自注意力机制及目标检测方法 |
| CN113256503B (zh) * | 2020-02-13 | 2024-03-08 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN113256503A (zh) * | 2020-02-13 | 2021-08-13 | 北京小米移动软件有限公司 | 图像优化方法及装置、移动终端及存储介质 |
| CN111369451B (zh) * | 2020-02-24 | 2023-08-01 | 黑蜂智造(深圳)科技有限公司 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和系统 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN111476717B (zh) * | 2020-04-07 | 2023-03-24 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
| CN111507918B (zh) * | 2020-04-16 | 2020-12-08 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111507918A (zh) * | 2020-04-16 | 2020-08-07 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111612695B (zh) * | 2020-05-19 | 2023-08-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
| CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111833246B (zh) * | 2020-06-02 | 2022-07-08 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111861880B (zh) * | 2020-06-05 | 2022-08-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
| CN111768342A (zh) * | 2020-09-03 | 2020-10-13 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
| US20220108423A1 (en) * | 2020-10-02 | 2022-04-07 | Google Llc | Conditional Axial Transformer Layers for High-Fidelity Image Transformation |
| CN112712488B (zh) * | 2020-12-25 | 2022-11-15 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN112712488A (zh) * | 2020-12-25 | 2021-04-27 | 北京航空航天大学 | 基于自注意力融合的遥感图像超分辨率重建方法 |
| CN112633482B (zh) * | 2020-12-30 | 2023-11-28 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型系统及训练方法 |
| CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
| CN113065844A (zh) * | 2021-03-15 | 2021-07-02 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
| CN113065844B (zh) * | 2021-03-15 | 2022-07-29 | 武汉大学 | 一种专利数据管理系统、方法及电子设备 |
| CN112990053B (zh) * | 2021-03-29 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112990053A (zh) * | 2021-03-29 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113205005B (zh) * | 2021-04-12 | 2022-07-19 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113256494A (zh) * | 2021-06-02 | 2021-08-13 | 同济大学 | 一种文本图像超分辨率方法 |
| CN113393382B (zh) * | 2021-08-16 | 2021-11-09 | 四川省人工智能研究院(宜宾) | 一种基于多维度视差先验的双目图片超分辨率重建方法 |
| CN113393382A (zh) * | 2021-08-16 | 2021-09-14 | 四川省人工智能研究院(宜宾) | 一种基于多维度视差先验的双目图片超分辨率重建方法 |
| CN114092339A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN117590260A (zh) * | 2024-01-18 | 2024-02-23 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 船用锂离子动力电池荷电状态估计方法、装置及电子设备 |
| CN117590260B (zh) * | 2024-01-18 | 2024-04-16 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 船用锂离子动力电池荷电状态估计方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109859106B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859106A (zh) | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN113888744A (zh) | 一种基于Transformer视觉上采样模块的图像语义分割方法 | |
| CN110033410A (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN108765296A (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN109255755A (zh) | 基于多列卷积神经网络的图像超分辨率重建方法 | |
| CN111161146B (zh) | 一种由粗糙到精细的单张图像超分辨率重建方法 | |
| CN109509149A (zh) | 一种基于双通道卷积网络特征融合的超分辨率重建方法 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| Xin et al. | Residual attribute attention network for face image super-resolution | |
| CN109544448A (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN110136062A (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110111256A (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN109949222A (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN112686817A (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN113506224A (zh) | 基于多尺度生成对抗网络的图像修复方法 | |
| Kang et al. | Multilayer degradation representation-guided blind super-resolution for remote sensing images | |
| CN113469906A (zh) | 一种用于图像修复的跨层全局和局部感知网络的方法 | |
| CN109949217A (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| Chen et al. | Single image super-resolution based on deep learning and gradient transformation | |
| Yang et al. | Multilevel and multiscale network for single-image super-resolution | |
| Wu et al. | Lightweight asymmetric convolutional distillation network for single image super-resolution | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220705 |