CN113139907A - 视觉分辨率增强的生成方法、系统、装置及存储介质 - Google Patents

视觉分辨率增强的生成方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN113139907A
CN113139907A CN202110541939.9A CN202110541939A CN113139907A CN 113139907 A CN113139907 A CN 113139907A CN 202110541939 A CN202110541939 A CN 202110541939A CN 113139907 A CN113139907 A CN 113139907A
Authority
CN
China
Prior art keywords
image
resolution
single image
sample
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110541939.9A
Other languages
English (en)
Other versions
CN113139907B (zh
Inventor
金龙存
卢盛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong OPT Machine Vision Co Ltd
Original Assignee
Guangdong OPT Machine Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong OPT Machine Vision Co Ltd filed Critical Guangdong OPT Machine Vision Co Ltd
Priority to CN202110541939.9A priority Critical patent/CN113139907B/zh
Publication of CN113139907A publication Critical patent/CN113139907A/zh
Priority to PCT/CN2021/126019 priority patent/WO2022242029A1/zh
Application granted granted Critical
Publication of CN113139907B publication Critical patent/CN113139907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种视觉分辨率增强的生成方法、系统、装置及存储介质，采用包含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本的训练样本、预设损失函数建立的单幅图像训练模型对获取的待处理的低分辨率单幅图像进行分辨率处理能够准确和高效的实现对由低分辨率单幅图像恢复为高分辨率单幅图像的效果，能够基于特定的图像描述信息先验获取清晰度更高的单幅图像，并恢复单幅图像的高频信息，以使输出的高分辨率单幅图像包含更多的纹理结构细节，提高单幅图像的清晰度，本发明可广泛的应用于图像处理技术领域。

Description

视觉分辨率增强的生成方法、系统、装置及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及视觉分辨率增强的生成方法、系统、装置及存储介质。
背景技术
近些年来，由于数字图像采集设备体积、重量以及成本的限制，采集到的图像分辨率较低，这极大地降低了图像的清晰度。同时，人们对于高清晰度图像的需求日益增加，如何提升图像和视频质量成为了日益重要的问题。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，提高图像的清晰度。这项技术有着重要的实用意义，例如在安全监控领域，监控视频采集设备由于成本限制，获取到的是缺乏有效信息的视频帧，而安全监控极大依赖于信息明确的高分辨率图像。采用图像超分辨率技术，能够增加视频帧的细节。这些信息的补充能够为打击犯罪提供有效证据。目前，将图像超分辨率作为前期预处理技术，能够有效地提升安全领域中的目标检测、人脸识别及异常预警等任务的精度。
以前图像超分辨率使用的的方法是基于插值或者基于重建的方法。基于插值方式的图像超分辨率是超分辨率领域中最先应用的算法，这类算法基于固定的多项式计算模式，由已有的像素值推算出插值位置的像素值，例如双线性插值、双立方插值和Lanczos缩放。基于重建的方法采用严格的先验知识作为约束，在约束空间内找到合适的重建函数，从而重建出具有细节信息的高分辨率图像。这些算法通常会陷入图像过于平滑的问题，不能很好地恢复图像的纹理细节。
近年来，随着深度学习以及卷积神经网络的发展，图像超分辨率技术取得了巨大的突破。卷积神经网络利用外部数据集学习出低分辨率图像与高分辨率图像之间的映射模型，并利用学习到的映射模型从低分辨率图像中重建出高分辨率图像。当输入的低分辨率图像缺乏有效信息时，神经网络难以全面地学习到该映射关系。使用这种学习不全面的映射模型，会导致重建图像的模糊现象严重，并难以获取图像中的内容信息。
发明内容
为了解决图像超分辨率任务中，低分辨率图像缺乏有效信息的问题，本发明提供了一种更加精确和高效的视觉分辨率增强的生成方法、系统、装置及存储介质，可以结合图像描述信息，构建更深层次的网络，使其能够基于特定的图像描述信息先验获取清晰度高的单幅图像。
本发明采用以下技术方案：
第一方面，提供了一种视觉分辨率增强的生成方法，包括：
获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；
所述单幅图像超分辨率模型的训练方法，包括：
采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
可选地，所述采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本，包括：
采用公开的大规模CUB鸟类图像数据集，得到高分辨率单幅图像样本并备份；可选地，还可以采用其他目标(例如，非鸟类)的图像数据集，以得到高分辨率单幅图像样本并备份；
采用Matlab内置的双立方下采样函数，将所述高分辨率单幅图像样本退化为缩放系数的低分辨率单幅图像样本；可选地，还可以采用其他软件的函数或者其他函数，退化所述高分辨率单幅图像样本为缩放系数的低分辨率单幅图像样本；
采用所述大规模CUB鸟类图像数据集中的用于描述图像中的鸟的羽毛颜色、体态特征、运动姿态和环境表现中的至少一种的英文语句信息，得到对应的图像描述信息样本。因此，对于采用其他目标的图像数据集，还可以采用图像数据集中的用于描述图像中的目标的颜色、体态特征、运动姿态和环境表现中的至少一种的英文语句信息，得到对应的图像描述信息样本。
可选地，所述根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型，包括：
获取低分辨率单幅图像样本和对应的图像描述信息；
基于单层卷积对所述低分辨率单幅图像提取浅层特征，将输入的低分辨率单幅图像从RGB颜色空间转换到特征空间；
采用自适应调节块对所述图像描述信息编码处理，得到与图像特征的维度相同的描述变量；
将描述变量和图像特征串联起来，采用一层卷积对串联起来的特征进行通道压缩；
采用多尺度子网络对浅层特征进行深层特征提取；
采用上采样模块对深层的特征进行尺度放大；
采用两层卷积，重建并输出RGB通道的高分辨率单幅图像；
基于预设损失函数对重建后高分辨率单幅图像与备份的高分辨率单幅图像样本、结合匹配描述信息的正样本与结合不匹配描述信息的负样本反向收敛，建立单幅图像超分辨率模型。
可选地，所述采用自适应调节块对所述图像描述信息编码处理，得到与图像特征的维度相同的描述变量，包括：
所述自适应调节块由两分支组成，其中一分支由一层全连接层组成，输出描述编码向量，另一分支由一层全连接层和sigmoid激活函数组成，输出权重向量；
两分支输出的向量对应位置元素值相乘，并变换成与图像特征的维度相同的描述变量；通过权重向量对描述信息做调整，自适应地对描述编码特征进行缩放，从而将图像描述里的冗余信息进行消去，并得到了对图像重建有效的信息。
可选地，所述采用多尺度子网络对浅层特征进行深层特征提取，包括：
通过双线性插值将浅层特征降采样为小尺度的特征图，其尺度缩小为原来的一半；
以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络；
将上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后，并融合成为大尺度子网络的输入；其中，子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3；
采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合。
可选地，所述采用上采样模块对深层的特征进行尺度放大，包括：
使用最近邻插值算法对特征尺度进行放大。
可选地，所述注意力残差密集连接块由三个空间注意力残差密集连接单元和一个将注意力残差密集连接块的输入和最后一个空间注意力残差密集连接单元输出相连的局部跳跃连接组成。
可选地，所述空间注意力残差密集连接单元包含五个卷积层的密集连接组、一个空间注意力卷积组以及将空间注意力残差密集连接单元的输入和空间注意力卷积组的输出相连的跳跃连接。
可选地，所述采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合，包括：
对小尺度特征映射进行插值，生成与大尺度特征映射大小相同的特征映射；
插值后的特征映射分别传递给全局平均池化层、通道压缩卷积层和通道扩大卷积层；
将获得的三个尺度的向量串联起来，并在同一通道上使用softmax层进行处理，生成对应的权重矩阵；
将权重矩阵分成三个权重分量对应于三个子网络，将各尺度插值后的特征映射分别与相应的权重分量相乘；
将得到的三个特征图进行加权求和操作从而得到融合后的输出。
可选地，所述通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像，包括：
将低分辨率单幅图像输入浅层特征提取模块，得到浅层图像特征；
将对应的图像描述信息输入自适应调节块获得与图像特征的维度相同的描述变量，将描述变量和图像特征串联起来，输入后续单幅图像超分辨率模型，输出高分辨率单幅图像。
第二方面，提供了一种视觉分辨率增强的生成系统，包括：
获取模块，用于获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
输出模块，用于通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；
训练模块，用于训练所述单幅图像超分辨率模型，所述训练模块包括：
采样子模块，用于采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
模型建立子模块，用于根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
可选地，所述采样子模块包括：
第一采样单元，用于采用公开的大规模CUB鸟类图像数据集，得到高分辨率单幅图像样本并备份；
第二采样单元，用于采用Matlab内置的双立方下采样函数，将所述高分辨率单幅图像样本退化为缩放系数的低分辨率单幅图像样本；
第三采样单元，用于采用所述大规模CUB鸟类图像数据集中的用于描述图像中的鸟的羽毛颜色、体态特征、运动姿态和环境表现的英文语句信息，得到对应的图像描述信息样本。
可选地，所述模型建立子模块包括：
获取单元，用于获取低分辨率单幅图像和对应的图像描述信息；
提取单元，用于基于单层卷积对所述低分辨率单幅图像提取浅层特征，将输入的低分辨率单幅图像从RGB颜色空间转换到特征空间；
编码处理单元，用于采用自适应调节块对所述图像描述信息编码处理，得到与图像特征的维度相同的描述变量；
压缩单元，用于将描述变量和图像特征串联起来，采用一层卷积对串联起来的特征进行通道压缩；
深层特征提取单元，用于采用多尺度子网络对浅层特征进行深层特征提取；
上采样单元，用于采用上采样模块对深层的特征进行尺度放大；
重建单元，用于采用两层卷积，重建并输出RGB通道的高分辨率单幅图像；
模型建立单元，用于基于预设损失函数对重建后高分辨率单幅图像与备份的高分辨率单幅图像样本、结合匹配描述信息的正样本与结合不匹配描述信息的负样本反向收敛，建立单幅图像超分辨率模型。
可选地，所述编码处理单元包括：
编码子单元，由一层全连接层组成，用于输出描述编码向量；
第一权重子单元，由一层全连接层和sigmoid激活函数组成，用于输出权重向量；
变换子单元，用于将所述编码子单元和所述权重子单元输出的向量对应位置元素值相乘，并变换成与与图像特征的维度相同的描述变量。
可选地，所述多尺度子网络包括：
缩放单元，用于通过双线性插值将浅层特征降采样为小尺度的特征图，其尺度缩小为原来的一半；
增加单元，用于以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络；
输入单元，用于将上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后，并融合成为大尺度子网络的输入；其中，子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3；
融合单元，用于采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合。
可选地，所述上采样单元包括：
放大子单元，用于使用最近邻插值算法对特征尺度进行放大。
可选地，所述注意力残差密集连接块包括：
第一组成单元，用于将三个空间注意力残差密集连接单元和一个将注意力残差密集连接块的输入和最后一个空间注意力残差密集连接单元输出相连的局部跳跃连接组成。
可选地，所述融合单元包括：
映射子单元，用于对小尺度特征映射进行插值，生成与大尺度特征映射大小相同的特征映射；
传递子单元，用于插值后的特征映射分别传递给全局平均池化层、通道压缩卷积层和通道扩大卷积层；
第二权重子单元，用于将获得的三个尺度的向量串联起来，并在同一通道上使用softmax层进行处理，生成对应的权重矩阵；
相乘子单元。用于将权重矩阵分成三个权重分量对应于三个子网络，将各尺度插值后的特征映射分别与相应的权重分量相乘；
输出子单元，将得到的三个特征图进行加权求和操作从而得到融合后的输出。
可选地，所述空间注意力残差密集连接单元包括：
第二组成单元，用于将五个卷积层的密集连接组、一个空间注意力卷积组以及将空间注意力残差密集连接单元的输入和空间注意力卷积组的输出相连的跳跃链接组成。
可选地，所述输出模块包括：
提取子模块，用于将低分辨率单幅图像输入浅层特征提取模块，得到浅层图像特征；
输出子模块，将对应的图像描述信息输入自适应调节块获得与图像特征的维度相同的描述变量，将描述变量和图像特征串联起来，输入后续单幅图像超分辨率模型，输出高分辨率单幅图像。
第三方面，提供了一种装置，包括：
存储器，用于存储至少一个程序；
处理器，用于执行所述至少一个程序，以实现如上所述方法。
第四方面，提供了一种存储介质，存储有可执行的程序，所述可执行的程序被处理器执行时实现如上所述方法。
与现有技术相比，本发明实施例具有以下有益效果：
采用包含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本的训练样本、预设损失函数建立的单幅图像训练模型对获取的待处理的低分辨率单幅图像进行分辨率处理能够准确和高效的实现对由低分辨率单幅图像恢复为高分辨率单幅图像的效果，能够基于特定的图像描述信息先验获取清晰度更高的单幅图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。
图1是本发明实施例提供的视觉分辨率增强的生成方法步骤流程示意图；
图2是本发明实施例提供的视觉分辨率增强的生成系统结构框图；
图3是本发明实施例中单幅图像超分辨率模型的流程示意图；
图4是本发明实施例中多尺度子网络的结构示意图；
图5是本发明实施例中注意力残差密集连接块的结构示意图；
图6是本发明实施例中自适应融合模块的操作细节示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种视觉分辨率增强的生成方法，包括以下步骤：
S1、获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
S2、通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；
所述单幅图像超分辨率模型的训练过程包括以下步骤：
S3、采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
S4、根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
可选地，所述步骤S3包括：
S31、采集高分辨率单幅图像样本，采用公开的大规模CUB鸟类图像数据集得到高分辨率单幅图像样本并备份；
S32、采用Matlab内置的双立方下采样函数将所述高分辨率单幅图像样本退化为×4缩放系数的低分辨率单幅图像样本；
S33、采用上述数据集中的用于描述图像中的鸟的羽毛颜色、体态特征、运动姿态和环境表现的英文语句信息；
因此，通过步骤S31～S33，可以获取高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本，从而建立训练样本。
可选地，所述步骤S4包括：
S41、获取低分辨率单幅图像和对应的图像描述信息；
S42、基于单层卷积对所述低分辨率单幅图像提取浅层特征，将输入的低分辨率单幅图像从RGB颜色空间转换到特征空间；
S43、采用自适应调节块将图像的描述信息编码处理，得到与图像特征的维度相同的描述变量；
S44、将描述变量和图像特征串联起来，采用一层卷积对串联起来的特征进行通道压缩；
S45、采用多尺度子网络对浅层特征进行深层特征提取；
S46、采用上采样模块对深层的特征进行尺度放大；
S47、采用两层卷积，重建并输出RGB通道的高分辨率单幅图像；
S48、基于预设损失函数对重建后高分辨率单幅图像与备份的高分辨率单幅图像样本、结合匹配描述信息的正样本与结合不匹配描述信息的负样本反向收敛，建立单幅图像超分辨率模型。
可选地，所述步骤S43包括：
S431、自适应调节块由两分支组成，其中一分支由一层全连接层组成，输出描述编码向量，另一分支由一层全连接层和sigmoid激活函数组成，输出权重向量；
S432、两分支输出的向量对应位置元素值相乘，并变换成与图像特征的维度相同的描述变量；具体地，通过权重向量对描述信息做调整，自适应地对描述编码特征进行缩放，从而将图像描述里的冗余信息进行消去，并得到了对图像重建有效的信息。
可选地，所述步骤S45包括：
S451、通过双线性插值将浅层特征降采样为小尺度的特征图，其尺度缩小为原来的一半；
S452、以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络；
S453、大尺度子网络的输入是由上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后融合而成的；也即是说，将上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后，并融合成为大尺度子网络的输入；其中，子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3；
S454、采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合。
可选地，所述步骤S454包括：
S4541、对小尺度特征映射进行插值，生成与大尺度特征映射大小相同的特征映射；
S4542、插值后的特征映射分别传递给全局平均池化层、通道压缩卷积层和通道扩大卷积层；
S4543、将获得的三个尺度的向量串联起来，并在同一通道上使用softmax层进行处理，生成对应的权重矩阵；
S4544、将权重矩阵分成三个权重分量对应于三个子网络，将各尺度插值后的特征映射分别与相应的权重分量相乘；
S4545、将得到的三个特征图进行加权求和操作从而得到融合后的输出。
实施例2
如图2所示，本实施例提供一种视觉分辨率增强的生成系统，该系统包括：
获取模块，用于获取待处理的低分辨率单幅图像和图像描述信息；
输出模块，用于通过单幅图像超分辨率模型对所述低分辨率单幅图像和图像描述信息变量进行处理，输出重建后的高分辨率单幅图像，其中，所述单幅图像超分辨率模型基于高分辨率单幅图像样本和低分辨率单幅图像样本。
训练模块包括：
采样子模块，用于采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和对应的图像描述信息样本；
模型建立子模块，用于根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
可选地，采样子模块包括：
第一采样单元，用于采集高分辨率单幅图像样本，采用公开的大规模CUB鸟类图像数据集得到高分辨率单幅图像样本并备份；
第二采样单元，用于采用Matlab内置的双立方下采样函数将所述高分辨率单幅图像样本退化为缩放系数的低分辨率单幅图像样本；
第三采样单元，用于采用上述数据集中的用于描述图像中的鸟的羽毛颜色、体态特征、运动姿态和环境表现的英文语句信息。
因此，上述采样单元，可以获取高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本，从而建立训练样本。
可选地，模型建立子模块包括：
获取单元，用于获取低分辨率单幅图像样本和对应的图像描述信息；
提取单元，用于基于单层卷积对所述低分辨率单幅图像提取浅层特征，将输入的低分辨率单幅图像从RGB颜色空间转换到特征空间；
编码处理单元，用于采用自适应调节块将图像的描述信息编码处理，得到与图像特征的维度相同的描述变量；
压缩单元，用于将描述变量和图像特征串联起来，采用一层卷积对串联起来的特征进行通道压缩；
深层特征提取单元，用于采用多尺度子网络对浅层特征进行深层特征提取；
上采样单元，用于采用上采样模块对深层的特征进行尺度放大；
重建单元，用于采用两层卷积，重建并输出RGB通道的高分辨率单幅图像；
模型建立单元，用于基于预设损失函数对重建后高分辨率单幅图像与备份的高分辨率单幅图像样本、结合匹配描述信息的正样本与结合不匹配描述信息的负样本反向收敛，建立单幅图像超分辨率模型。
可选地，所述编码处理单元包括：
编码子单元，由一层全连接层组成，输出描述编码向量；
第一权重子单元，由一层全连接层和sigmoid激活函数组成，输出权重向量；
变换子单元，将所述编码子单元和权重子单元输出的向量对应位置元素值相乘，并变换成与与图像特征的维度相同的描述变量。
可选地，所述多尺度子网络包括：
缩放单元，用于通过双线性插值将浅层特征降采样为小尺度的特征图，其尺度缩小为原来的一半；
增加单元，用于以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络；
输入单元，用于将上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后，并融合成为大尺度子网络的输入；也即是说，大尺度子网络的输入是由上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后融合而成的；其中，子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3；
融合单元，用于采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合。
可选地，所述上采样单元包括：
放大子单元，用于使用最近邻插值算法对特征尺度进行放大。
可选地，所述注意力残差密集连接块包括：
第一组成单元，用于将三个空间注意力残差密集连接单元和一个将注意力残差密集连接块的输入和最后一个空间注意力残差密集连接单元输出相连的局部跳跃连接组成。
可选地，所述融合单元包括：
映射子单元，用于对小尺度特征映射进行插值，生成与大尺度特征映射大小相同的特征映射；
传递子单元，用于插值后的特征映射分别传递给全局平均池化层、通道压缩卷积层和通道扩大卷积层；
第二权重子单元，用于将获得的三个尺度的向量串联起来，并在同一通道上使用softmax层进行处理，生成对应的权重矩阵；
相乘子单元。用于将权重矩阵分成三个权重分量对应于三个子网络，将各尺度插值后的特征映射分别与相应的权重分量相乘；
输出子单元，将得到的三个特征图进行加权求和操作从而得到融合后的输出。
可选地，所述空间注意力残差密集连接单元包括：
第二组成单元，用于将五个卷积层的密集连接组、一个空间注意力卷积组以及将空间注意力残差密集连接单元的输入和空间注意力卷积组的输出相连的跳跃链接组成。
可选地，所述输出模块包括：
提取子模块，用于将低分辨率单幅图像输入浅层特征提取模块，得到浅层图像特征；
输出子模块，将对应的图像描述信息输入自适应调节块获得与图像特征的维度相同的描述变量，将描述变量和图像特征串联起来，输入后续单幅图像超分辨率模型，输出高分辨率单幅图像。
实施例3
本实施例提供一种装置，该装置包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如上述实施例1的一种视觉分辨率增强的生成方法的步骤。
实施例4
本实施例提供了一种存储介质，其中存储有处理器可执行的程序，可执行的程序在由处理器执行时用于执行如实施例1所述的一种视觉分辨率增强的生成方法的步骤。
实施例5
参照图3至图6，本实施例提供了一种视觉分辨率增强的生成方法流程图，可以作为实施例一的一种具体实施方式，实施例二也可以实施本实施例的方法，其具体包括以下步骤：
A、采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
B、根据采集的训练样本，建立单幅图像超分辨率模型；
C、获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
D、通过单幅图像超分辨率模型对待处理的低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像。
其中，步骤A的具体实施方案是：
A1、获取公开的大规模CUB鸟类数据集作为训练数据集。数据集可分为200个类别，总计11788张图片，每张图像分别有十句英文语句用于描述图像中的鸟的羽毛颜色、体态特征、运动姿态和环境表现。依据8855:2913的比例划分出训练集和测试集，训练数据集和测试数据集在每个类别内的比例都是均衡的，不会出现训练集和测试集样本分布失衡的问题。对应的图像描述信息采用CNN-RNN编码方式对描述先验信息进行编码。
A2、使用MATLAB的“imresize”函数对高分辨率单幅图像进行4倍的双立方下采样，得到对应的低分辨率单幅图像，构成{IHR,ILR,c}的三元匹配的数据集。正负样本匹配损失中使用的负样本描述信息，则是通过随机数从其余图像描述中随机选取一个作为不匹配描述，获得{ILR,IHR,neg_c}三元负样本描述的数据集；采用水平或竖直翻转，90°旋转以及随机切取图像块作为数据增强的方式。
步骤B的具体实施方案是：
B1、将低分辨率单幅图像随机切取30×30大小的低分辨率图像块作为输入，记为ILR。
B2、在浅层特征提取模块当中，单层卷积层将输入的低分辨率图像从RGB颜色空间转换到特征空间，所得到的特征包含64个通道，大小与输入的图片大小相同。该卷积层由一个3×3卷积层，以及一个激活函数组成。同时，自适应调节块将图像的描述编码处理得到与图像特征的维度相同的描述变量。自适应调节块由两分支组成，其中一分支由一层全连接层组成，输出描述编码向量，另一分支由一层全连接层和sigmoid激活函数组成，输出权重向量，两分支输出的向量对应位置元素值相乘得到描述变量。接着将描述变量和图像特征串联起来，经过一层3×3卷积层进行通道压缩，从而获得浅层特征FS。该过程可表示为：
Figure BDA0003071920280000212
B3、在获取浅层特征FS之后，将其输入由多尺度子网络构成的深层特征提取模块中，通过并行的多个子网络生成有效的深层特征Fd。最终获得的深层特征Fd∈R2W×2H×C，可以发现深层特征在浅层特征的尺度上扩大了一倍，在多尺度子网络当中主要通过上、下采样的方式来获取不同尺度的特征信息。为了构建不同尺度的特征图，首先通过双线性插值将浅层特征采样为小尺度的特征图，其尺度缩小为原来的一半
Figure BDA0003071920280000211
深层特征提取模块以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络。大尺度子网络的输入是由上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后融合而成的。子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成。而不同尺度的子网络，其串联的注意力残差密集连接块数目也不相同，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3。后续基于通道注意力机制的自适应融合模块，有效地将不同尺度下的子网络提取的不同频率的信息进行融合。该模块可表示为：
Fd＝MARDN(Fs)
B4、在取得深层特征Fd之后，将其输入上采样模块，上采样模块是使用最近邻插值算法对特征尺度进行放大。该模块可表示为：
Fup＝Inter(Fd,s)↑
其中Fup是上采样后的特征，Inter(·)代表最近邻插值函数，s表示放大系数。
B5、最后通过两层3×3卷积层重建并输入RGB通道的超分辨率图像ISR。该过程可表示为：
ISR＝Conv(Conv(Fup))
B6、判别器采用带步长的卷积构成的VGG网络，输入的图像为生成图像和真实图像，经过几个带步长的卷积层将输入的图像特征进行维度变化，缩小特征图，最终输出的特征图与图像描述编码向量c进行串联，经过二分类器得到判定的真假逻辑值。该过程可表示为：
Var＝NetD({ISR,IHR},c)
B7、采用损失函数对重建后的高分辨率单幅图像ISR与备份的高分辨率单幅图像样本反向收敛，建立单幅图像超分辨率模型。在训练过程中，生成器的损失函数由重建损失Lrec、感知损失LVGG以及对抗损失Ladv三个部分构成：
LG＝λ1*Lrec+λ2*LVGG+λ3*Ladv
λ1、λ2和λ3分别对应这三个损失的权重。为了保证重建图像与真实图像在图像内容上尽量相似，通过重建损失在图像空间进行逐像素的约束，这里重建损失使用的是L1损失函数：
Figure BDA0003071920280000221
其中，N＝H×W×C表示图像的总像素，W、H、C分别表示高分辨率单幅图像的宽度、高度以及通道数目。
同时，为了增加图像的纹理信息，重建图像通过固定的分类网络VGG提取的特征信息应保证与真实图像的相似，使用感知损失来对其进行约束，感知损失定义如下：
Figure BDA0003071920280000231
这里，M＝H×W×C表示指定特征图的大小。
此外，为了保证生成器与判别器的相互博弈，需要使用对抗损失函数来训练生成器和判别器。生成器的对抗损失目的是让重建图像和真实图像在分布上尽可能地趋近，其定义如下：
Ladv＝log(1-NetD(NetG(ILR,c)))
其中，var表示单幅的属性信息。
与生成器的对抗损失不同，判别器对抗损失的目标是将重建图像与真实图像在图像分布上尽可能地区分开来。相比于SRGAN和ESRGAN只计算图像之间的对抗损失，本实施例加入了正负样本对抗损失约束。其中，正样本指的是结合匹配的描述信息c，而负样本指的是结合不匹配的描述信息判别器损失neg_c。判别器的对抗损失定义如下：
Figure BDA0003071920280000232
Figure BDA0003071920280000233
表示生成图像与真实图像的对抗损失；
Figure BDA0003071920280000234
是加入匹配描述编码的联合判断，目的是使判别器判定生成图像逼真程度的同时还能辨别出与描述是否对应；
Figure BDA0003071920280000235
表示的不匹配描述编码的联合判断，值得注意的是无论是真实图像还是生成的图像，与不匹配描述信息联合输入判别器中，得到的结果都是“假”的判定。这三个损失的定义如下：
Figure BDA0003071920280000241
Figure BDA0003071920280000242
Figure BDA0003071920280000243
设置好学习率，通过最小化损失函数误差来反向传播梯度，更新网络参数，不断迭代直至将网络训练到收敛。
反向收敛训练时将batch size设为16，初始学习率设为10-4，描述编码为1024的隐变量，为了构造批处理数据，在低分辨率图像上随机切取30×30大小的低分辨率图像块，与之配对的是120×120高分辨图像块，在迭代训练的过程中，根据网络的收敛情况，当训练的迭代总数达到{5×104,1×105,2×105,3×105}时就对学习率进行折半衰减。先利用重建损失Lrec对生成器进行训练，避免判别器轻易就能判别生成图像和真实图像带来的梯度消失的问题。本实施例使用ADAM优化器来对模型进行反向梯度传播，其中ADAM的参数设置为β1＝0.9，β2＝0.999以及∈＝10-8。使用L1损失函数保证重建图像与真实图像在图像内容上尽量相似，使用感知损失保证图像纹理信息与真实图像尽量相似，使用对抗损失让重建图像和真实图像在分布上尽可能地趋近，能够辨别出与描述是否对应，设置这些损失函数的系数，通过最小化这些误差和来反向传播更新网络参数，不断迭代直至将网络训练至收敛。
步骤C的方案具体为：
获取预先划分的CUB测试数据集，数据集中包含多样的低分辨率单幅图像以及其对应的图像描述信息变量。
步骤D的方案具体为：
将待恢复的CUB测试数据集的低分辨率单幅图像输入训练好的单幅图像超分辨率模型中，通过单幅图像超分辨率模型对输入的CUB测试数据集单幅图像进行步骤B的实施方案，自适应调节块将图像对应的描述编码处理得到与图像特征的维度相同的描述变量，然后将描述变量和通过单层卷积层将输入的低分辨率图像从RGB颜色空间转换到特征空间的图像特征串联起来，最后经过一层卷积进行通道压缩，得到浅层特征，再经过后续网络的处理，即可输出高分辨率的单幅图像。
综上所述，采用包含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本的训练样本、预设损失函数建立的单幅图像训练模型对获取的待处理的低分辨率单幅图像进行分辨率处理能够准确和高效的实现对由低分辨率单幅图像恢复为高分辨率单幅图像的效果，能够基于特定的图像描述信息先验获取清晰度更高的单幅图像。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种视觉分辨率增强的生成方法，其特征在于，包括：
获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；
所述单幅图像超分辨率模型的训练方法，包括：
采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
2.根据权利要求1所述的视觉分辨率增强的生成方法，其特征在于，所述采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本，包括：
采用预设目标的图像数据集，得到高分辨率单幅图像样本并备份；
将所述高分辨率单幅图像样本退化为缩放系数的低分辨率单幅图像样本；
采用所述图像数据集中的用于描述图像中的预设目标的颜色、体态特征、运动姿态和环境表现中的至少一种的英文语句信息，得到对应的图像描述信息样本。
3.根据权利要求1所述的视觉分辨率增强的生成方法，其特征在于，所述根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型，包括：
获取低分辨率单幅图像样本和对应的图像描述信息；
基于单层卷积对所述低分辨率单幅图像提取浅层特征，将输入的低分辨率单幅图像从RGB颜色空间转换到特征空间；
采用自适应调节块对所述图像描述信息编码处理，得到与图像特征的维度相同的描述变量；
将描述变量和图像特征串联起来，采用一层卷积对串联起来的特征进行通道压缩；
采用多尺度子网络对浅层特征进行深层特征提取；
采用上采样模块对深层的特征进行尺度放大；
采用两层卷积，重建并输出RGB通道的高分辨率单幅图像；
基于预设损失函数对重建后高分辨率单幅图像与备份的高分辨率单幅图像样本、结合匹配描述信息的正样本与结合不匹配描述信息的负样本反向收敛，建立单幅图像超分辨率模型。
4.根据权利要求3所述的视觉分辨率增强的生成方法，其特征在于，所述采用自适应调节块对所述图像描述信息编码处理，得到与图像特征的维度相同的描述变量，包括：
所述自适应调节块由两分支组成，其中一分支由一层全连接层组成，输出描述编码向量，另一分支由一层全连接层和sigmoid激活函数组成，输出权重向量；
两分支输出的向量对应位置元素值相乘，并变换成与图像特征的维度相同的描述变量。
5.根据权利要求3所述的视觉分辨率增强的生成方法，其特征在于，所述采用多尺度子网络对浅层特征进行深层特征提取，包括：
通过双线性插值将浅层特征降采样为小尺度的特征图，其尺度缩小为原来的一半；
以该尺度作为第一层子网络的输入，分阶段逐步增加大尺度子网络；
将上一阶段的不同子网络的输出经过最近邻插值进行尺度放大后，并融合成为大尺度子网络的输入；其中，子网络在每个阶段都由一定数目的注意力残差密集连接块串联组成，由上至下的不同尺度的子网络所使用的注意力残差密集连接块数量分别为5、7、3；
采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合。
6.根据权利要求3所述的视觉分辨率增强的生成方法，其特征在于，所述采用上采样模块对深层的特征进行尺度放大，包括：
使用最近邻插值算法对特征尺度进行放大。
7.根据权利要求5所述的视觉分辨率增强的生成方法，其特征在于，所述注意力残差密集连接块由三个空间注意力残差密集连接单元和一个将注意力残差密集连接块的输入和最后一个空间注意力残差密集连接单元输出相连的局部跳跃连接组成。
8.根据权利要求5所述的视觉分辨率增强的生成方法，其特征在于，所述采用基于通道注意力机制的自适应融合模块将不同尺度下的子网络提取的不同频率的信息进行融合，包括：
对小尺度特征映射进行插值，生成与大尺度特征映射大小相同的特征映射；
插值后的特征映射分别传递给全局平均池化层、通道压缩卷积层和通道扩大卷积层；
将获得的三个尺度的向量串联起来，并在同一通道上使用softmax层进行处理，生成对应的权重矩阵；
将权重矩阵分成三个权重分量对应于三个子网络，将各尺度插值后的特征映射分别与相应的权重分量相乘；
将得到的三个特征图进行加权求和操作从而得到融合后的输出。
9.根据权利要求7所述的视觉分辨率增强的生成方法，其特征在于，所述空间注意力残差密集连接单元包含五个卷积层的密集连接组、一个空间注意力卷积组以及将空间注意力残差密集连接单元的输入和空间注意力卷积组的输出相连的跳跃连接。
10.根据权利要求1至9中任一所述的视觉分辨率增强的生成方法，其特征在于，所述通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像，包括：
将低分辨率单幅图像输入浅层特征提取模块，得到浅层图像特征；
将对应的图像描述信息输入自适应调节块获得与图像特征的维度相同的描述变量，将描述变量和图像特征串联起来，输入后续单幅图像超分辨率模型，输出高分辨率单幅图像。
11.一种视觉分辨率增强的生成系统，其特征在于，包括：
获取模块，用于获取待处理的低分辨率单幅图像以及其对应的图像描述信息；
输出模块，用于通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；
训练模块，用于训练所述单幅图像超分辨率模型，所述训练模块包括：
采样子模块，用于采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；
模型建立子模块，用于根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。
12.一种装置，其特征在于，包括：
存储器，用于存储至少一个程序；
处理器，用于执行所述至少一个程序，以实现权利要求1至10中任一项所述方法。
13.一种存储介质，其特征在于，存储有可执行的程序，所述可执行的程序被处理器执行时实现如权利要求1至10中任一项所述方法。
CN202110541939.9A 2021-05-18 2021-05-18 视觉分辨率增强的生成方法、系统、装置及存储介质 Active CN113139907B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110541939.9A CN113139907B (zh) 2021-05-18 2021-05-18 视觉分辨率增强的生成方法、系统、装置及存储介质
PCT/CN2021/126019 WO2022242029A1 (zh) 2021-05-18 2021-10-25 视觉分辨率增强的生成方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541939.9A CN113139907B (zh) 2021-05-18 2021-05-18 视觉分辨率增强的生成方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113139907A true CN113139907A (zh) 2021-07-20
CN113139907B CN113139907B (zh) 2023-02-14

Family

ID=76817554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541939.9A Active CN113139907B (zh) 2021-05-18 2021-05-18 视觉分辨率增强的生成方法、系统、装置及存储介质

Country Status (2)

Country Link
CN (1) CN113139907B (zh)
WO (1) WO2022242029A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170089A (zh) * 2021-09-30 2022-03-11 成都大学附属医院 一种用于糖尿病视网膜病变分类的方法及电子设备
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
WO2023122927A1 (en) * 2021-12-28 2023-07-06 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
CN116681627A (zh) * 2023-08-03 2023-09-01 佛山科学技术学院 一种跨尺度融合的自适应水下图像生成对抗增强方法
CN118521497A (zh) * 2024-07-22 2024-08-20 山东黄海智能装备有限公司 一种荧光标记细胞成像图像增强处理方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546274B (zh) * 2022-11-29 2023-02-17 城云科技（中国）有限公司 一种画面深度判断模型及其构建方法、装置及应用
CN115936990B (zh) * 2022-12-07 2023-11-17 中国科学技术大学 地震资料多尺度超分辨率与去噪同步处理方法及系统
CN116128727B (zh) * 2023-02-02 2023-06-20 中国人民解放军国防科技大学 极化雷达图像超分辨方法、系统、设备及介质
CN116029907B (zh) * 2023-02-14 2023-08-08 江汉大学 一种图像降分辨率模型的处理方法、装置以及处理设备
CN116523740B (zh) * 2023-03-13 2023-09-15 武汉大学 一种基于光场的红外图像超分辨率方法
CN116071243B (zh) * 2023-03-27 2023-06-16 江西师范大学 一种基于边缘增强的红外图像超分辨率重建方法
CN116156144B (zh) * 2023-04-18 2023-08-01 北京邮电大学 一种面向高光谱信息采集传输的一体化系统和方法
CN116168352B (zh) * 2023-04-26 2023-06-27 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116823602B (zh) * 2023-05-26 2023-12-15 天津大学 一种视差引导的光场图像的空间超分辨率重建方法
CN116402692B (zh) * 2023-06-07 2023-08-18 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统
CN116503260B (zh) * 2023-06-29 2023-09-19 北京建筑大学 一种图像超分辨率重建方法、装置和设备
CN116523759B (zh) * 2023-07-04 2023-09-05 江西财经大学 基于频率分解与重启机制的图像超分辨率重建方法与系统
CN116934618B (zh) * 2023-07-13 2024-06-11 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质
CN116594061B (zh) * 2023-07-18 2023-09-22 吉林大学 一种基于多尺度u形注意网络的地震数据去噪方法
CN116681980B (zh) * 2023-07-31 2023-10-20 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质
CN117495679B (zh) * 2023-11-03 2024-09-03 北京科技大学 基于非局部稀疏注意力的图像超分辨率方法和装置
CN117437131B (zh) * 2023-12-21 2024-03-26 珠海视新医用科技有限公司 内窥镜图像电子染色方法及装置、设备、存储介质
CN118097770B (zh) * 2023-12-25 2024-08-13 浙江金融职业学院 一种应用于银行内的人员行为状态检测及分析方法
CN117495681B (zh) * 2024-01-03 2024-05-24 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法
CN117952830B (zh) * 2024-01-24 2024-07-26 天津大学 一种基于迭代交互指导的立体图像超分辨率重建方法
CN117809310B (zh) * 2024-03-03 2024-04-30 宁波港信息通信有限公司 基于机器学习的港口集装箱号识别方法及系统
CN118169752A (zh) * 2024-03-13 2024-06-11 北京石油化工学院 一种基于多特征融合的地震相位拾取方法及系统
CN118096534B (zh) * 2024-04-26 2024-06-25 江西师范大学 一种基于互补参考的红外图像超分辨率重建方法
CN118262258B (zh) * 2024-05-31 2024-08-06 西南科技大学 一种地面环境图像差异性检测方法和系统
CN118333860B (zh) * 2024-06-12 2024-08-20 济南大学 残差增强的频率空间相互学习的人脸超分辨率方法
CN118411291B (zh) * 2024-07-04 2024-09-06 临沂大学 基于Transformer的煤岩图像超分辨率重建方法及装置
CN118469820A (zh) * 2024-07-10 2024-08-09 江苏金寓信息科技有限公司 一种超分辨率图像重建方法、装置、介质及设备
CN118521482B (zh) * 2024-07-23 2024-09-24 华东交通大学 一种深度图像引导式超分辨率重建网络模型
CN118628605A (zh) * 2024-08-14 2024-09-10 南昌睿度医疗科技有限公司 一种基于ct图像层厚重建的高精度图像生成方法及系统
CN118644395A (zh) * 2024-08-14 2024-09-13 山东黄海智能装备有限公司 一种电子显微镜成像图像增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123140B1 (en) * 2013-09-25 2015-09-01 Pixelworks, Inc. Recovering details in single frame super resolution images
US20160078600A1 (en) * 2013-04-25 2016-03-17 Thomson Licensing Method and device for performing super-resolution on an input image
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN111182254A (zh) * 2020-01-03 2020-05-19 北京百度网讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN112699844A (zh) * 2020-04-23 2021-04-23 华南理工大学 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540749B2 (en) * 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution
CN111340708B (zh) * 2020-03-02 2022-04-15 北京理工大学 一种根据先验信息快速生成高分辨率完整人脸图像的方法
CN113139907B (zh) * 2021-05-18 2023-02-14 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078600A1 (en) * 2013-04-25 2016-03-17 Thomson Licensing Method and device for performing super-resolution on an input image
US9123140B1 (en) * 2013-09-25 2015-09-01 Pixelworks, Inc. Recovering details in single frame super resolution images
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN111182254A (zh) * 2020-01-03 2020-05-19 北京百度网讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN112699844A (zh) * 2020-04-23 2021-04-23 华南理工大学 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、系统、装置和存储介质
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LONGCUN JIN ET AL.: "Guided Dual Networks for Single Image Super-Resolution", 《IEEE》 *
LONGCUN JIN ET AL.: "Multi-Resolution Space-Attended Residual Dense Network for Single Image Super-Resolution", 《IEEE》 *
LONGCUN JIN ET AL.: "Multi-Scale Residual Hierarchical Dense Networks for Single Image Super-Resolution", 《IEEE》 *
龙超: "图像超分辨率重建算法综述", 《科技视界》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN114170089A (zh) * 2021-09-30 2022-03-11 成都大学附属医院 一种用于糖尿病视网膜病变分类的方法及电子设备
CN114170089B (zh) * 2021-09-30 2023-07-07 成都市第二人民医院 一种用于糖尿病视网膜病变分类的方法及电子设备
WO2023122927A1 (en) * 2021-12-28 2023-07-06 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
CN116681627A (zh) * 2023-08-03 2023-09-01 佛山科学技术学院 一种跨尺度融合的自适应水下图像生成对抗增强方法
CN116681627B (zh) * 2023-08-03 2023-11-24 佛山科学技术学院 一种跨尺度融合的自适应水下图像生成对抗增强方法
CN118521497A (zh) * 2024-07-22 2024-08-20 山东黄海智能装备有限公司 一种荧光标记细胞成像图像增强处理方法

Also Published As

Publication number Publication date
WO2022242029A1 (zh) 2022-11-24
CN113139907B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN113139907B (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
CN109905624B (zh) 一种视频帧插值方法、装置及设备
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110136063A (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN111787187B (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN115641391A (zh) 一种基于密集残差和双流注意力的红外图像彩色化方法
CN117651965A (zh) 使用神经网络的高清图像操作方法和系统
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
Hui et al. Two-stage convolutional network for image super-resolution
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN113674154A (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN113421188A (zh) 一种图像均衡增强的方法、系统、装置及存储介质
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant