CN111476353B - 一种引入显著性的gan图像超分辨率方法 - Google Patents

一种引入显著性的gan图像超分辨率方法 Download PDF

Info

Publication number
CN111476353B
CN111476353B CN202010266299.0A CN202010266299A CN111476353B CN 111476353 B CN111476353 B CN 111476353B CN 202010266299 A CN202010266299 A CN 202010266299A CN 111476353 B CN111476353 B CN 111476353B
Authority
CN
China
Prior art keywords
image
quality image
network
generator
gan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010266299.0A
Other languages
English (en)
Other versions
CN111476353A (zh
Inventor
杨飞
石宇
周祥东
罗代建
邓平聆
张丽君
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN202010266299.0A priority Critical patent/CN111476353B/zh
Publication of CN111476353A publication Critical patent/CN111476353A/zh
Application granted granted Critical
Publication of CN111476353B publication Critical patent/CN111476353B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种引入显著性的GAN图像超分辨率方法，属于图像处理技术领域。该方法包括：S1：将低质量图像输入GAN网络，利用生成器生成伪高质量图像，其中，生成器包括图像特征提取网络和显著性预测网络；S2：利用判别器区分出伪高质量图像和真正的高质量图像。本发明方法能适用于一切需要将低质量图像转换成高质量图像的实际应用场景中，并且模型参数少，准确率高，生成高质量图像与原始高清图像差距很小。

Description

一种引入显著性的GAN图像超分辨率方法
技术领域
本发明属于图像处理技术领域，涉及一种引入显著性的GAN图像超分辨率方法。
背景技术
随着多媒体的不断发展，视频图像等介质越来越多的出现在人们的生活中。在多种场景中，例如视频监控、汽车驾驶、门禁识别等，视频图像都发挥着一个重要作用。但是，很多时候图像可能并不全是高质量清晰可见的图像，存在一些低质量模糊有噪声等情况，这些低质量的图像会对一些场景的应用产生阻碍。例如，在人脸识别系统中，若采集到的图像有轻微的抖动存在时都会使得人脸图像模糊，这种图像与身份证上的清晰图像做比对，很容易产生识别错误等情况；在汽车驾驶过程中，有些雨雪雾等恶劣天气情况下，驾驶人员观测后视镜后方场景时看到的图像受噪声因素影响可能存在一些干扰。由此可见，一张高质量的图像在各种应用场景中都是至关重要的。但是，由于一些其他因素的影响，高质量图像并不是随时可以获得的。
发明内容
有鉴于此，本发明的目的在于提供一种引入显著性的GAN图像超分辨率方法，用于解决将低质量图像转换成高质量图像问题，引入显著性机制进一步地探测图像的内容信息与GAN共同生成高质量图像。
为达到上述目的，本发明提供如下技术方案：
一种引入显著性的GAN图像超分辨率方法，包括以下步骤：
S1：将低质量图像输入GAN网络(GAN网络主要由生成器和判别器构成)，利用生成器生成伪高质量图像，其中，生成器主要包括图像特征提取网络和显著性预测网络；
S2：利用判别器区分出伪高质量图像和真正的高质量图像。
进一步，步骤S1中，所述图像特征提取网络主要包括38个卷积层，其中，有36个卷积层采取的是残差结构；所述残差结构是将输入特征x与输出特征H(x)相加作为最后的输出结果，再进行下一个残差块结构。
进一步，步骤S1中，所述显著性预测网络选取DeepFixNet，含有8个卷积层，通过卷积层层层抽取图像的特征，最终得到图像的显著图。
进一步，步骤S1中，利用生成器生成伪高质量图像过程中，首先，调整图像特征提取网络和显著性预测网络的卷积层中stride参数与pooling层中采样的参数，使得图像特征图与显著特征图在通道数、图像尺寸大小保持一致；然后，在残差结构的最后一层输出与DeepFixNet的卷积层的最后一层输出，图像特征图与显著特征图采用点乘的方式进行融合，具体表达式为：
Figure BDA0002441365840000021
其中，Fusion表示融合特征图，Ifeat(i,j)表示图像特征图、Isal(i,j)表示显著特征图，(i,j)表示图像像素点位置，M、N表示图像的长宽；
最后，融合后的图像经过一层卷积层与一层反卷积层得到伪高质量图像。
进一步，步骤S1中，生成器利用MSE loss约束方式来缩小生成的伪高质量图像与原始高质量图像之间的差距，根据loss的数值不断调整参数的变化方向，使得生成的伪高质量图像越来越清楚；其中MSE loss约束的表达式为：
Figure BDA0002441365840000022
其中，M、N表示图像的长宽；MSE表示均方误差，gnd(i,j)表示原始高清图像，out(i,j)表示伪高质量图像。
进一步，步骤S2中，判别器选择ResNet10网络来进行判别，样本标签为0、1，相当于一个二分类器；输入样本分别为生成器生成的伪高质量图像和原始高质量图像，判别器的作用是区分出伪高质量图像与原始高质量图像；ResNet10的采取SoftMaxloss约束，表达式为：
Figure BDA0002441365840000023
其中，T表示图像类别数，y是一个T维向量，表示第j幅图像属于的类别，也就是第j个向量值为1，其他都为0；sj表示第j个向量属于第j个类别的概率值。
进一步，GAN网络采用交替训练的方式对模型进行训练；首先，训练整个GAN网络，其次固定判别器，训练生成器，因为判别器收敛的速度要快一些，所以可以选择固定判别器训练多次生成器，再训练判别器；整个GAN网络是一个最小最大优化问题，表达式为：
Figure BDA0002441365840000024
其中，G表示生成器，D表示判别器，E[·]表示交叉熵损失均值；最小最大优化目标即分别优化D与G；对于D而言，V(D,G)为分类中常见的交叉熵损失；对于G而言，优化过程中与x无关，所以G的最根本目标是使得D(G(z))最大化，也就是最小化1-D(G(z))即生成器生成的伪高质量图像使得判别器D无法区分出它的真伪。
本发明的有益效果在于：本发明通过在GAN网络结构中引入残差模块和显著性，对低质量图像进行自动学习，充分学习更多关注的高频细节信息，以恢复高质量图像。利用交替训练的方式训练GAN模型，得到最优网络参数，最终输出高质量图像。本发明由于残差结构的设计，减少了加法器和乘法器的个数与运算量，保证了精度的同时又提升了速度，具有高度产业利用价值。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明方法的整体结构框图；
图2为残差结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图2，为一种引入显著性的GAN图像超分辨率方法，主要包括伪高质量图像生成器和图像判别器。如图1所示，本发明采用的GAN网络主要由生成器和判别器构成。生成器的作用是生成一张伪高质量图像，就是由生成网络生成的高质量图像。判别器的作用是区分出伪高质量图像和真正的高质量图像。生成器与判别器采用交替训练的方式，相辅相成共同达到最优解。判别器选择比较常见的ResNet10网络结构。生成器的特点是引入了显著性检测网络DeepFixNet，其由两条支路构成，一条用于提取图像内容特征，一条用于提取图像的显著性。引入显著性的目的在于增加网络对于图像内容特征中的一些高频信息的关注，从而进一步地恢复出高分辨率的图像信息。
生成器主要包括图像特征提取网络和显著性预测网络。
其中，图像特征提取网络主要包括38个卷积层，其中，有36个卷积层采取的是残差结构，这种结构可以极快地加速神经网络的训练，提高模型的准确率。残差网络结构图如图2所示，输入特征x，经过残差结构H，输出特征为H(x)，将输入特征x与输出特征H(x)相加作为最后的输出结果，再进行下一个残差块结构。这种结构并不会给网络增加额外的参数和计算量，同时可以提高训练的速度提高训练的结果，并能够有效地防止退化出现。传统的网络结构在信息传递的过程中，或多或少会存在一些信息丢失情况，采用残差块的网络结构方式可以有效地避免这种情况发生，保证了信息的完整性。另外，选择这种残差块的结构相比传统的CNN网络在硬件实现的过程中，减少了加法器和乘法器的个数，减少了计算步骤和参数，但同样能达到跟更深层网络同样的精度，加速了整体系统的实现。
显著性预测网络选取DeepFixNet，它的网络结构含有8个卷积层，通过卷积层层层抽取图像的特征，最终得到图像的显著图。显著性信息指的是人观察一幅图像所关注的信息。人的视觉系统在观察一幅图像时，首先会从图像的底层信息开始，包括图像的形状、纹理、颜色等，通过视觉信息的层层分析最终得到图像的语义信息。人在看一幅图像时，更多时候更加关注的是图像的高频信息，这恰好是图像超分辨所重点研究的点，为了更加完整地恢复低质量图像的高频信息。所以，本发明引入了视觉显著性这一信息至GAN网络中，帮助CNN网络在一层一层的学习中引入显著性信息更加精准全面地学习到图像的高频信息以恢复高质量图像。
如图1所示，在残差结构的最后一层输出与DeepFixNet的卷积层的最后一层输出，图像特征图与显著特征图采用点乘的方式进行融合，如公式(1)所示：
Figure BDA0002441365840000041
其中，Fusion表示融合特征图，Ifeat(i,j)表示图像特征图、Isal(i,j)表示显著特征图，(i,j)表示图像像素点位置，M、N表示图像的长宽。
调整两条支路网络的卷积层中stride参数与pooling层中采样的参数，使得图像特征图与显著特征图在通道数、图像尺寸大小保持一致，利用公式(1)中的点乘方式进行融合。采取点乘的方式进行融合将显著性作为一种权重矩阵融合到图像特征图中，使得图像特征图更清楚地学习到图像的高频信息，有助于恢复高质量图像。
融合后的图像经过一层卷积层与一层反卷积层得到伪高质量图像。反卷积层的作用是将图像的尺寸上采样与输入低质量图像保持一致。伪高质量图像与groundtruth图像(原始高清图像)利用MSEloss进行约束，如公式(2)所示：
Figure BDA0002441365840000051
其中，M，N表示图像的长宽。gnd(i,j)表示原始高清图像，out(i,j)表示伪高质量图像。利用公式(2)约束方式可以不断缩小生成的伪高质量图像与原始高清图像之间的差距，模型也根据loss的数值不断调整参数的变化方向，使得生成的伪高质量图像越来越清楚。
判别器选择ResNet10网络来进行判别，样本标签为0、1，相当于一个二分类器。输入样本分别为生成器生成伪高质量图像和原始高质量图像，判别器的作用是区分出伪高质量图像与原始高质量图像。ResNet10的约束采取SoftMaxloss约束，如公式(3)所示：
Figure BDA0002441365840000052
其中，T表示图像类别数，y是一个T维向量，表示第j幅图像属于的类别，也就是第j个向量值为1，其他都为0。S表示第j个向量属于第j个类别的概率值。
GAN采用交替训练的方式对模型进行训练。首先，训练整个GAN网络，其次固定判别器，训练生成器，因为判别器收敛的速度要快一些，所以可以选择固定判别器训练多次生成器，再训练判别器。整个GAN网络是一个最小最大优化问题，如公式4所示：
Figure BDA0002441365840000053
其中，G表示生成器，D表示判别器。最小最大优化目标即分别优化D与G。对于D而言，V(D,G)为分类中常见的交叉熵损失。对于G而言，优化过程中与x无关，所以G的最根本目标是使得D(G(z))最大化，也就是最小化1-D(G(z))即生成器生成的伪高质量图像使得判别器D无法区分出它的真伪。
实施例：
将本发明提出的引入显著性的GAN网络应用在Pytorch平台上进行训练。可针对特定场景或普通自然环境中的各种场景进行模型特定化训练。首先，采集所需场景的数据集，尽量选择高清或清晰可见的图像。其次，利用采样将图像进行分辨率降低作为输入图像DeepFixNet网络利用预训练好的模型参数进行预测输入图像的显著图，而学习率设置极低，使得其基本采取预训练好的参数进行显著性预测，在一定细微的基础上调节网络参数。整个GAN的网络结构参数量少，残差结构层数也不深，但却能达到很好的准确率。引入显著性信息更加关注了图像的高频细节信息，在低质量图像生成高质量图像的过程中，网络主要学习的是图像的高频信息继而恢复原始的高清图像。引入显著性的GAN网络的图像超分辨率方法采取残差网络结构方式，减少网络的参数，融合显著性信息关注更多的高频内容信息，利用交替训练的方式训练最优的生成器与判别器，最终得到足以和原始高清图像匹配的高质量图像。
本实施例可采用FPGA+DSP+GAN架构。FPGA外接摄像头采集到低质量图像，利用内嵌的DSP处理器处理低质量图像，可以选择加入一些图像预处理模块，再利用GAN模型中的生成网络将低质量图像转换成高质量图像。DSP处理器主要进行卷积运算，而卷积运算主要包括加法和乘法。在计算过程中，由于残差结构的原因，在保证准确率的情况下，减少了加法器和乘法器的个数和计算步骤，将输入与输出进行加法，进一步地增加图像的内容信息，引入显著性信息关注更多的高频信息，恢复了高质量的图像。将得到的高质量图像通知FPGA的数据接口可以传输到显示设备进行实时显示或可以连接后续模块进行检测识别等操作均可。
本发明的应用范围并不仅局限于上述实施例中的硬件架构，还可以选择AI专用芯片等来具体实现。引入显著性的GAN图像超分辨方法可以应用到多种场景中，例如人脸识别系统、目标检测系统、目标跟踪系统、监控系统、汽车智能后视镜、汽车行车记录仪等等，均可应用。在实际生活场景中，清晰可见的图像并不一定能够获得，由于天气原因所导致的图像产生模糊、噪声等情况也比较常见，所以本发明所提出的方法适用于一切需要将低质量图像转换成高质量图像的实际应用场景中，并且模型参数少，准确率高，生成高质量图像与原始高清图像差距很小。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种引入显著性的GAN图像超分辨率方法，其特征在于，该方法包括以下步骤：
S1：将低质量图像输入GAN网络，利用生成器生成伪高质量图像，其中，生成器包括图像特征提取网络和显著性预测网络；
所述图像特征提取网络包括38个卷积层，其中，有36个卷积层采取的是残差结构；所述残差结构是将输入特征x与输出特征H(x)相加作为最后的输出结果，再进行下一个残差块结构；
所述显著性预测网络选取DeepFixNet，含有8个卷积层，通过卷积层层层抽取图像的特征，最终得到图像的显著图；
利用生成器生成伪高质量图像过程中，首先，调整图像特征提取网络和显著性预测网络的卷积层中stride参数与pooling层中采样的参数，使得图像特征图与显著特征图在通道数、图像尺寸大小保持一致；然后，在残差结构的最后一层输出与DeepFixNet的卷积层的最后一层输出，图像特征图与显著特征图采用点乘的方式进行融合，具体表达式为：
Figure FDA0003669143360000011
其中，Fusion表示融合特征图，Ifeat(i,j)表示图像特征图，Isal(i,j)表示显著特征图，(i,j)表示图像像素点位置，M、N表示图像的长宽；
最后，融合后的图像经过一层卷积层与一层反卷积层得到伪高质量图像；
GAN网络采用交替训练的方式对模型进行训练；首先，训练整个GAN网络，其次固定判别器，训练生成器；整个GAN网络是一个最小最大优化问题，表达式为：
Figure FDA0003669143360000012
其中，G表示生成器，D表示判别器，E[·]表示交叉熵损失均值；最小最大优化目标即分别优化D与G；对于D而言，V(D,G)为分类中常见的交叉熵损失；对于G而言，最小化1-D(G(z))即生成器生成的伪高质量图像使得判别器D无法区分出它的真伪；
S2：利用判别器区分出伪高质量图像和真正的高质量图像。
2.根据权利要求1所述的一种引入显著性的GAN图像超分辨率方法，其特征在于，步骤S1中，生成器利用MSE loss约束方式来缩小生成的伪高质量图像与原始高质量图像之间的差距，根据loss的数值不断调整参数的变化方向，使得生成的伪高质量图像越来越清楚；其中MSEloss约束的表达式为：
Figure FDA0003669143360000021
其中，M、N表示图像的长宽；MSE表示均方误差，gnd(i,j)表示原始高清图像，out(i,j)表示伪高质量图像。
3.根据权利要求1所述的一种引入显著性的GAN图像超分辨率方法，其特征在于，步骤S2中，判别器选择ResNet10网络来进行判别；输入样本分别为生成器生成的伪高质量图像和原始高质量图像；ResNet10的采取SoftMaxloss约束，表达式为：
Figure FDA0003669143360000022
其中，T表示图像类别数，y是一个T维向量，表示第j幅图像属于的类别；sj表示第j个向量属于第j个类别的概率值。
CN202010266299.0A 2020-04-07 2020-04-07 一种引入显著性的gan图像超分辨率方法 Expired - Fee Related CN111476353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266299.0A CN111476353B (zh) 2020-04-07 2020-04-07 一种引入显著性的gan图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266299.0A CN111476353B (zh) 2020-04-07 2020-04-07 一种引入显著性的gan图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111476353A CN111476353A (zh) 2020-07-31
CN111476353B true CN111476353B (zh) 2022-07-15

Family

ID=71750742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266299.0A Expired - Fee Related CN111476353B (zh) 2020-04-07 2020-04-07 一种引入显著性的gan图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111476353B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108669A (zh) * 2017-12-01 2018-06-01 中国科学院重庆绿色智能技术研究院 一种基于显著子区域的面部特征解析方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN111414988A (zh) * 2020-02-13 2020-07-14 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108669A (zh) * 2017-12-01 2018-06-01 中国科学院重庆绿色智能技术研究院 一种基于显著子区域的面部特征解析方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110610464A (zh) * 2019-08-15 2019-12-24 天津中科智能识别产业技术研究院有限公司 一种基于稠密残差神经网络的人脸图像超分辨率方法
CN111414988A (zh) * 2020-02-13 2020-07-14 湖北工业大学 基于多尺度特征自适应融合网络的遥感影像超分辨率方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ESRGAN：基于GAN的增强超分辨率方法（附代码解析）;PaperWeekly;《https://www.jiqizhixin.com/articles/2019-01-18-16》;20190118;第1页 *
Joint Demosaicing and Super-Resolution (JDSR): Network Design and Perceptual Optimization;Xuan Xu等;《IEEE Transactions on Computational Imaging》;20200605;第6卷;第968-980页 *
SRGAN-超分辨率重建GAN;baiyang白杨;《https://www.jianshu.com/p/918a98814184》;20190517;第1页 *
双判别生成对抗网络的红外图像超分辨重建;邢志勇等;《小型微型计算机系统》;20200315;第41卷(第3期);第662-667页 *
基于深度残差生成对抗网络的医学影像超分辨率算法;高媛等;《计算机应用》;20180521;第38卷(第9期);第2689-2695页 *
融合双特征图信息的图像显著性检测方法及应用;崔玲玲等;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第1期);第I138-4261页 *
阵列信号处理中信号参数估计的研究;石宇;《中国博士学位论文全文数据库 信息科技辑》;20081115(第11期);第I136-3页 *

Also Published As

Publication number Publication date
CN111476353A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
Pang et al. Visual haze removal by a unified generative adversarial network
CN110689482B (zh) 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109948721B (zh) 一种基于视频描述的视频场景分类方法
CN112446342B (zh) 关键帧识别模型训练方法、识别方法及装置
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN113065645B (zh) 孪生注意力网络、图像处理方法和装置
CN114445430B (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
CN115601723A (zh) 基于改进ResNet的夜间热红外图像语义分割增强方法
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115115973A (zh) 一种基于多感受野与深度特征的弱小目标检测方法
CN109871790B (zh) 一种基于混合神经网络模型的视频去色方法
CN114119694A (zh) 一种基于改进U-Net的自监督单目深度估计算法
CN113901931A (zh) 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN116863384A (zh) 一种基于CNN-Transfomer的自监督视频分割方法和系统
CN111476353B (zh) 一种引入显著性的gan图像超分辨率方法
CN111861949A (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN115619827A (zh) 基于Transformer和时空记忆的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220715

CF01 Termination of patent right due to non-payment of annual fee