CN109191411A - 一种多任务图像重建方法、装置、设备和介质 - Google Patents
一种多任务图像重建方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN109191411A CN109191411A CN201810935360.9A CN201810935360A CN109191411A CN 109191411 A CN109191411 A CN 109191411A CN 201810935360 A CN201810935360 A CN 201810935360A CN 109191411 A CN109191411 A CN 109191411A
- Authority
- CN
- China
- Prior art keywords
- residual error
- image
- data
- image data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 94
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 35
- 238000013480 data collection Methods 0.000 claims description 22
- 238000007906 compression Methods 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000000654 additive Substances 0.000 claims description 16
- 230000000996 additive effect Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 239000012141 concentrate Substances 0.000 claims description 7
- 241001269238 Data Species 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种多任务图像重建方法、装置、设备和介质。该方法包括:获取图像训练样本集;将所述图像训练样本集输入多任务图像重建模型,进行模型训练。在模型中设立残差学习网络分支,同时对分支输出的结果全部纳入到网络的损失函数进行约束,改善了现有技术通过同一残差信号对不同的退化模型进行表达的缺陷,通过网络结构适应退化模型的方式,提升复合场景图像重建的效果,并进一步通过低层参数共享的方式减小网络大小,提升网络性能。
Description
技术领域
本发明实施例涉及神经网络技术,尤其涉及一种多任务图像重建方法、装置、设备和介 质。
背景技术
图像处理包括多个方面,典型的如图像去噪、超分辨率处理、和压缩去块处理等。图像 去噪,是计算机视觉和图像处理的一个经典且根本的问题,是解决很多相关问题的预处理必 备过程。超分辨率是图像处理领域中重要的研究之一,它指利用一副或者多幅低分辨率图像, 通过相应的算法来获得一幅清晰的高分辨率图像。高分辨率意味着图像具有高像素密度,可 以提供更多的细节。随着对图像处理领域研究的深入,对图像处理提出了越来越高的要求。
现有技术中,典型的多任务图像重建方案是在图像处理的过程中同时实施多种图像处理 手段,例如可同时对输入图像进行去噪处理、去块处理、以及超分辨率处理。通常可采用神 经网络模型来实现图像的多任务处理。典型的可参考DnCNN(Denoise Convolutional Neural Network,去噪卷积神经网络)模型,DnCNN网络由三个大部分组成:第一部分:Conv(卷积层) +ReLu(激活函数),第二部分:BN(batch normalization,归一化)+ReLu(激活函数), 第三部分:Conv(卷积层)+ReLu(激活函数)。
多任务图像重建方式,例如可以是确定多个低分辨率图像,在低分辨率图像中人为加入 像素块(block)、噪声(noise),低分辨率图像通过与目标高质量标签图像进行端到端的映 射,对多任务图像重建模型进行训练。
多任务图像重建模型通常是通过同一个网络模型来学习残差信号的,但是由于多任务处 理残差信号的方式不同,所以训练出来的模型处理图像的效果有待提高。
发明内容
本发明实施例提供一种多任务图像重建方法、装置、设备和介质,以对多任务图像重建 模型进行优化,能适应不同任务处理残差信号的需求,改良模型的图像处理能力。
第一方面,本发明实施例提供了一种多任务图像重建方法,包括:
获取图像训练样本集,其中,每个图像训练样本的源图像包括至少两种训练元素,且至 少两种训练元素的残差数据与源图像数据的叠加方式不相同;
将所述图像训练样本集输入多任务图像重建模型,以进行模型训练,其中,所述重建模 型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输出的残差数据与源图像 数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包括分别与各残差学习网 络输出结果对应的子函数。
第二方面,本发明实施例还提供了一种多任务图像重建装置,包括:
图像样本训练集构造模块,用于获取图像训练样本集,其中,每个图像训练样本的源图 像包括至少两种训练元素,且至少两种训练元素的残差数据与源图像数据的叠加方式不相同;
模型训练模块,用于将所述图像训练样本集输入多任务图像重建模型,以进行模型训练, 其中,所述重建模型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输出的 残差数据与源图像数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包括分 别与各残差学习网络输出结果对应的子函数。
第三方面,本发明实施例还提供了一种设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现 如本发明第一方面实施例所述的一种多任务图像重建方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序, 该程序被处理器执行时实现如本发明第一发明实施例任一所述的一种多任务图像重建方法。
本发明实施例通过构造多任务图像重建模型,在模型中设立残差学习网络分支,同时对 分支输出的结果全部纳入到网络的损失函数进行约束,改善了现有技术通过同一残差信号对 不同的退化模型进行表达的缺陷,通过网络结构适应退化模型的方式,提升复合场景图像重 建的效果,并进一步通过低层参数共享的方式减小网络大小,提升网络性能。
附图说明
图1A为本发明实施例一提供的一种多任务图像重建方法的流程图;
图1B为本发明实施例一提供的部分训练样本示意图;
图2A为本发明实施例二提供的一种重建模型的结构示意图;
图2B为本发明实施例二提供的一种残差块残差学习结构的结构示意图;
图2C为本发明实施例二提供的残差学习块(ResnetBlock)的结构示意图;
图2D为本发明实施例二提供的一种卷积层残差学习结构的结构示意图;
图2E为本发明实施例二提供的重建模型的源图像数据与三种输出数据的效果图;
图3A为本发明实施例三提供的一种获取图像训练样本集方法的流程图;
图3B为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值为70%,80%, 90%和100%时的效果图;
图4为本发明实施例四提供的一种多任务图像重建装置的结构图;
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具 体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述, 附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种多任务图像重建方法的流程图。该方法可适用于对 多任务图像重建模型进行训练,其中的多任务可以是各种图像处理任务,如图像优化、和图 像识别等,可选的是图像去噪、图像去块以及图像超分辨率技术的任意组合。该方法主要通 过软件和/或硬件方式实现的多任务图像重建装置来执行,该装置可集成在能够进行模型训 练的电子设备中,例如服务器。
其中,图像识别技术是以图像的主要特征为基础的。每个图像都有它的特征,如字母A 有个尖,P有个圈,Y的中心有个锐角等。对图像识别时眼动的研究表明,视线总是集中在 图像的主要特征上,也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方,这些地方 的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见, 在图像识别过程中,知觉机制必须排除输入的多余信息,抽出关键的信息。图像去噪是指减 少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部 环境噪声干扰等影响,受到干扰形成的图像称为含噪图像或噪声图像。噪声是图像干扰的重 要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可 能在量化等处理中产生。超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有 图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重 建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨 率,实现时间分辨率向空间分辨率的转换。
结合图1A,本实施例具体包括如下步骤:
S110、获取图像训练样本集。
其中,每个图像训练样本的源图像包括至少两种训练元素,且至少两种训练元素的残差 数据与源图像数据的叠加方式不相同。其中:
图像训练样本指一组图像,包括源图像和与源图像对应的目标图像。图1B为本发明实 施例一提供的部分训练样本示意图。参考图1B,一个图像训练样本10包括源图像101和源 图像对应的目标图像102,多个源图像11与其对应的多个目标图像12组合构成图像训练样 本集。训练元素是指从源图像到目标图像中需要学习的元素,如源图像101到其对应的目标 图像102,需要经过去噪处理、去块处理和超分辨率处理,其中去噪处理和去块处理需要学 习的数据就是训练元素。至少两种训练元素是指在构造图像训练样本集的时候,源图像要具 有噪声、像素块和低分辨率三个特性中至少两个特性。残差在数理统计中是指实际观察值与 估计值(拟合值)之间的差。残差蕴含了有关模型基本假设的重要信息。如果回归模型正确 的话,我们可以将残差看作误差的观测值。它应符合模型的假设条件,且具有误差的一些 性质。利用残差所提供的信息,来考察模型假设的合理性及数据的可靠性称为残差分析。残 差数据是对源图像进行计算处理后得到的特征值。可选的,至少两种训练元素的残差数据与 源图像数据的叠加方式包括两种,一种叠加方式为线性相减,另一种叠加方式为线性相加, 两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。残差数据与 源图像数据的叠加方式可以包括线性相加和线性相减:线性相加针对于像素块和需要超分辨 率的情况,在这两种情况下,网络学习到的残差数据恰好是低分辨率图像缺失的图像细节, 需要加到源图像中;线性相减针对于存在噪声的情况,网络学习到的残差数据可以直接作为 噪声信号从源图像中减去。可见:采用线性相减叠加方式的训练元素包括去除噪声,采用线 性相加叠加方式的训练元素包括去除块和超分辨率处理。
具体的,获取图像的训练样本集,该样本集中包含大量训练样本,每个训练样本包含源 图像和对应的目标图像,每个源图像包括噪声、像素块和低分辨率三个特性中至少两个特性。 经过处理获得源图像的残差数据,通过残差数据与源图像的线性相加或线性相减获得目标图 像。
S120、将所述图像训练样本集输入多任务图像重建模型,以进行模型训练。
其中,所述重建模型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输 出的残差数据与源图像数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包 括分别与各残差学习网络输出结果对应的子函数。其中:
残差学习网络是指可以获得残差数据的学习网络。并行的至少两个残差学习网络分支表 示两个以上的残差学习网络分支独立对各自输入的数据进行处理,独立获得残差数据,一个 残差学习网络获得一个残差数据,多个残差学习网络获得多个残差数据。每个残差学习网络 输出的残差数据与源图像数据的叠加方式与对应的训练元素相同是指残差学习网络分支自 行分辨采用线性相加还是线性相减的叠加方式。损失函数是衡量重建模型效果的函数,损失 函数越小表示重建模型的效果越好。损失函数包括分别与各残差学习网络输出结果对应的子 函数表示损失函数不仅考虑了目标图像的误差,还考虑了求和残差学习图像数据与求差残差 学习图像数据的误差,是一种多节点约束的方式。
具体的,将所述图像训练样本集输入多任务图像重建模型,图像训练样本中得源图像经 过两个并行的残差学习网络会获得两个残差数据,两个残差学习网络会根据目标图像,对残 差数据进行线性相加或者线性相减进行选择。同时设置最小化损失函数的机制来规范重建模 型,损失函数包括:目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数 据的误差,通过三种误差约束损失函数,实现了对损失函数的多节点约束。
本发明实施例通过构造多任务图像重建模型,在模型中设立不同的残差学习网络分支, 对源图像诸如需要去噪、压缩去块或者需要超分辨率的不同训练元素进行分别学习,采用不 同的残差处理方式;同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和 求差残差学习图像数据的误差进行多节点约束,使得最后输出的目标图像具有更好的呈现效 果。
实施例二
图2A为本发明实施例二提供的一种重建模型的结构示意图。本实施例是在实施例一的 基础上进行的细化,主要描述了重建模型的构造以及如何使用损失函数修正重建模型。具体 的:
所述重建模型包括:
第一卷积层,用于对源图像数据进行卷积处理并输出第一卷积数据;
共享网络,所述共享网络的输入端与所述第一卷积层的输出端相连,以输出第一共享卷 积数据和第二共享卷积数据;
求和残差学习网络分支,包括相连的残差学习网络与求和计算元件,所述残差学习网络 的输入端与共享网络的一个输出端相连,用于对第一共享卷积数据进行残差学习处理,输出 第一残差数据;所述求和计算元件还与第一卷积层相连,用于将第一卷积数据和第一残差数 据进行求和处理,以输出求和处理数据;
求差残差学习网络分支,包括相连的残差学习网络与求差计算元件,所述残差学习网络 的输入端与共享网络的另一个输出端相连,用于对第二共享卷积数据进行残差学习处理,输 出第二残差数据;所述求差计算元件还与第一卷积层相连,用于将第一卷积数据和第二残差 数据进行求差处理,以输出求差处理数据;
连接网络,所述连接网络的两个输入端分别与求和残差学习网络分支以及求差残差学习 网络分支的输出端相连,用于拼接所述求和处理数据与求差处理数据,输出和差数据;
三个第二卷积层,分别与求和计算元件、求差计算元件以及连接网络的输出端相连,对 输入数据进行卷积计算,分别输出求和残差学习图像数据、求差残差学习图像数据以及拼接 学习图像数据。
所述残差学习网络包括:
串联的多个残差学习层或串联的多个卷积层,其中,所述残差学习层包括串联的卷积层、 激活函数层和卷积层。
所述重建模型的损失函数如下:
其中,m,n分别表示图像像素的行数和列数;YHR表示目标图像;表示求和残差学习 图像数据;表示求差残差学习图像数据;表示拼接学习图像数据;λ1表示第一正则化参数;λ2表示第二正则化参数。
以下通过举例进行说明,参考图2A,本实施例的重建模型包括:
第一卷积层(Conv)21,第一卷积层21用于对源图像数据X,进行卷积处理并输出第一 卷积数据x1。
其中,第一卷积层可以为3×3卷积。
具体的,源图像数据X通过第一卷积层21进行3×3的卷积计算,计算后输出第一卷积数 据x1作为计算结果,第一卷积数据x1会在复制后形成三个第一卷积数据x1,为后续计算做准 备。
共享网络(ShareNet)22,所述共享网络22的输入端与所述第一卷积层21的输出端相 连,以输出第一共享卷积数据和第二共享卷积数据;
其中,共享网络22对其接收到的第一卷积数据x1进行卷积计算,这次卷积计算主要是 为了实现低维度的特征共享(浅层特征共享)。第一共享卷积数据与第二共享卷积数据的数 据内容是一致的,由于后续输入网络不同,故分别命名。
具体的,共享网络接收第一卷积层21输出的第一卷积数据x1,并对它进行卷积计算, 卷积计算的结果复制后形成数据一样的第一共享卷积数据和第二共享卷积数据,并分别将第 一共享卷积数据和第二共享卷积数据输入到不同的残差学习网络分支。
求和残差学习网络分支23,包括相连的残差学习网络(Net1)231与求和计算元件232, 所述残差学习网络的输入端与共享网络22的一个输出端相连,用于对第一共享卷积数据进 行残差学习处理,输出第一残差数据所述求和计算元件还与第一卷积层21相连,用于 将第一卷积数据x1和第一残差数据进行求和处理,以输出求和处理数据
其中,所述残差学习网络包括:串联的多个残差学习层或串联的多个卷积层,其中,所 述残差学习层包括串联的卷积层、激活函数层和卷积层。其中:
图2B为本发明实施例二提供的一种残差块残差学习结构的结构示意图,图2C为本发明 实施例二提供的残差学习块(ResnetBlock)的结构示意图。参考图2B。输入数据与经过多 个(1-m个)残差学习块(ResnetBlock)计算的数据进行线性相加处理,获得输出数据。图 2B中的残差学习块(ResnetBlock)如图2C所示,依次包括卷积层(conv)、激活函数(relu) 和卷积层(conv)。图2D为本发明实施例二提供的一种卷积层残差学习结构的结构示意图, 参考图2D,输入数据与经过多个(1-m个)卷积层(conv)计算的数据进行线性相加处理, 获得输出数据。残差学习网络231可任意选择残差块残差学习结构或者卷积层残差学习结构。
具体的,经过共享网络22卷积计算后输出的第一共享卷积数据被求和残差学习网络分 支23中的残差学习网络231接收,进行残差学习处理,输出第一残差数据所述第一残 差数据与第一卷积层21输出的第一卷积数据x1共同输入到计算元件232中进行线性求和 处理,并输出求和处理数据
求差残差学习网络分支24,包括相连的残差学习网络(Net2)241与求差计算元件242, 所述残差学习网络的输入端与共享网络22的另一个输出端相连,用于对第二共享卷积数据 进行残差学习处理,输出第二残差数据所述求差计算元件242还与第一卷积层21相连, 用于将第一卷积数据x1和第二残差数据进行求差处理,以输出求差处理数据
其中,残差学习网络241可任意选择残差块残差学习结构或者卷积层残差学习结构,输 出的第二残差数据与第一残差数据相互独立。
具体的,经过共享网络22卷积计算后输出的第一共享卷积数据被求差残差学习网络分 支24的残差学习网络241接收,进行残差学习处理,输出第二残差数据所述第二残差 数据与第一卷积层21输出的第一卷积数据x1共同输入到求差计算元件242中进行线性求 差处理,并输出求和处理数据
连接网络(Concat)25,所述连接网络25的两个输入端分别与求和残差学习网络分支 23以及求差残差学习网络分支24的输出端相连,用于拼接所述求和处理数据与求差 处理数据输出和差数据;
其中,连接网络用于实现特征图像的串联操作,对于求和处理数据与求差处理数 据的串联没有固定要求,只要保证每次串联方式一样即可。
具体的,连接网络25的两个输入端分别用于接收求和处理数据与求差处理数据 接收完毕后按照相同的串联方式将求和处理数据与求差处理数据进 行串联拼接。
三个第二卷积层(Conv)26,分别与求和计算元件232、求差计算元件242以及连接网 络25的输出端相连,对输入数据进行卷积计算,分别输出求和残差学习图像数据求差 残差学习图像数据以及拼接学习图像数据
其中,卷积层261与求和计算元件232相连,接收求和处理数据并对其进行卷及 计算,输出求和残差学习图像数据卷积层263与求差计算元件242相连,接收求差处理 数据通过卷积计算输出求差残差学习图像数据卷积层262与连接网络25相连, 接收串联拼接后的求和处理数据与求差处理数据通过卷积计算输出拼接学 习图像数据
图2E为本发明实施例二提供的重建模型的源图像数据与三种输出数据的效果图。参考 图2E,对本实施例做具体说明:
源图像数据X 271输入到重建模型272,源图像数据X通过第一卷积层进行3×3的卷积计 算,计算后输出第一卷积数据x1作为计算结果。该结果被复制形成三份一样的第一卷积数据 x1。一份第一卷积数据x1进入共享网络进行卷积计算,卷积计算的结果复制后形成数据一样 的第一共享卷积数据和第二共享卷积数据。第一共享卷积数据经过求和残差学习网络分支与 第一卷积数据x1进行线性相加处理,线性相加处理的结果经过第二卷积层,输出消除像素块 超分辨率图像的求和残差学习图像数据第二共享卷积数据经求差残差学习网络 分支与第一卷积数据x1进行线性相减处理,线性相减处理的结果经过第二卷积层,输出去噪 后的求差残差学习图像数据线性相加处理的结果与线性相减处理的结果共同输 入连接网络,将连接网络输出的数据通过第二卷积层输出拼接图像数据其中拼接 图像数据是模型的输出结果,求和残差学习图像数据与求差残差学习 图像数据用于规范和修正模型数据,一般不作为输出结果进行展示。
所述重建模型的损失函数如下:
其中,m,n分别表示图像像素的行数和列数;YHR表示目标图像;表示求和残差学习 图像数据;表示求差残差学习图像数据;表示拼接学习图像数据;λ1表示第一正则化参数;λ2表示第二正则化参数。训练所述损失函数采用L1范数正则化的方式。L1范数正则化(L1regularization)是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。
具体的:表示拼接学习图像数据中每个像素点与目标图像数据中 对应像素点的差距;表述求和残差学习图像数据中每个像素点与目 标图像数据中对应像素点的差距,由于求和残差学习图像数据不作为输出展示的数据,因此 通过第一正则化参数(0.1-1,优选0.5)λ1来设置权重;
表述求 差残差学习图像数据中每个像素点与目标图像数据中对应像素点的差距,由于求差残差学习 图像数据不作为输出展示的数据,因此通过第二正则化参数(0.1-1,优选0.5)λ2来设置权 重;损失函数中的λ1和λ2可以设定也可以不断修正,但是要求λ1和λ2在同一个数量级上。
通过图像训练样本集结合BP(Back propagation,反向传播)算法,更新所述模型中的 参数,进而最小化所述损失函数。其中,BP是一种与最优化方法(如梯度下降法)结合使用 的,用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这 个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。
本发明实施例通过构造多任务图像重建模型,在模型中设立残差学习网络分支,对源图 像需要去噪、压缩去块或者需要超分辨率进行分别学习;同时设置损失函数对目标图像的误 差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束,使得最 后输出的目标图像具有更好的呈现效果。
实施例三
图3A为本发明实施例三提供的一种获取图像训练样本集方法的流程图。本实施例是在 上述实施例的基础上进行的细化,主要描述了如何为重建模型制造样本集,使得对重建模型 进行有针对性的训练。具体的,获取图像训练样本集包括:
获得高分辨率图像数据集;
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理,以获得第一低分 辨率图像数据集;
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理,以获得第二压 缩图像数据集;
从第二压缩图像数据集中挑选部分图像进行添加噪声处理,以形成第三噪声图像数据集;
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行 裁剪,得到一一对应的基于图像块的图像训练样本集,其中,第三噪声图像数据的图像块作 为源图像,高分辨率图像数据的图像块作为目标图像。
参考图3A,本实施例获取图像训练样本集方法包括:
S310、获得高分辨率图像数据集。
其中,图像分辨率则是单位英寸中所包含的像素点数。高分辨率是指是指垂直分辨率大 于等于720的图像或视频,也称为高清图像或高清视频,尺寸一般是1280×720和1920×1080。 本实施例中对“高分辨”的具体尺寸不做限制,只要符合预设标准即可。由于高分辨率图像 用于作为重建模型的训练目标,所以也叫“目标图像”。高分辨率图像数据集是指将符合预 设标准的分辨率图像的集合。
具体的,获取符合预设标准的图像,将这些图像构成图像数据集。
S320、将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理,以获得第 一低分辨率图像数据集。
其中,对于一个样值序列间隔几个样值取样一次,这样得到新序列就是原序列的下采样。 通常采样指的是下采样,也就是对信号的抽取。其实,上采样和下采样都是对数字信号进行 重采,重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较,大 于原信号的称为上采样,小于的则称为下采样。上采样就是采集模拟信号的样本。采样是 将时间上、幅值上都连续的信号,在采样脉冲的作用下,转换成时间、幅值上离散的信号。 所以采样又称为波形的离散化过程。普通的奈奎斯特采样定理的前提是频率受限于(0,f) 的带限信号。上采样的实质也就是内插或插值。上采样是下采样的逆过程,也称增取样 (Upsampling)或内插(Interpolating)。增取样在频分多路复用中的应用是一个很好的例 子。如果这些序列原先是以奈奎斯特频率对连续时间信号取样得到的,那么在进行频分多路 利用之前必须对它们进行上采样。
具体的,将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理,这样的 处理方式保证了图像分辨率的一致。将经过下采样又经过上采样的高分辨率图像数据集中图 片,命名为第一低分辨率图像数据集。
S330、对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理,以获得 第二压缩图像数据集。
其中,图像压缩可以是有损数据压缩也可以是无损数据压缩。对于如绘制的技术图、图 表或者漫画优先使用无损压缩,这是因为有损压缩方法,尤其是在低的位速条件下将会带来 压缩失真。可以使用MATLAB软件中的imwrite函数对图像进行压缩处理。imwrite(image,filesavepath,'Quality',m),其中,m取值7,8,9,10分别表示压缩比为70%, 80%,90%,100%。图3B为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值 为70%,80%,90%和100%时的效果图。参考图3B,原图像300经过imwrite函数100%压缩 后的效果图为301;经过imwrite函数90%压缩后的效果图为302;经过imwrite函数80%压 缩后的效果图为303;经过imwrite函数70%压缩后的效果图为304。
具体的,为了保证重建模型学习元素的多样性,在第一低分辨率图像数据集中随机挑80% 的图像构成第一低分辨率图像数据集的数据子集,将这个子集平均分成五份,将其中的四份 分别通过imwrite函数执行70%、80%、90%、100%压缩。将压缩过后的数据子集与未被挑选 的20%图像混合,构成以获得第二压缩图像数据。
S340、从第二压缩图像数据集中挑选部分图像进行添加噪声处理,以形成第三噪声图像 数据集。
其中,图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。噪声的存在严重 影响了遥感图像的质量,因此在图像增强处理和分类处理之前,必须予以纠正。图像中各种 妨碍人们对其信息接受的因素即可称为图像噪声。噪声在理论上可以定义为“不可预测, 只能用概率统计方法来认识的随机误差”。因此将图像噪声看成是多维随机过程是合适的, 因而描述噪声的方法完全可以借用随机过程的描述,即用其概率分布函数和概率密度分布函 数。高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。常见的高斯 噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。除常用抑制噪声的方法外,对高斯 噪声的抑制方法常常采用数理统计方法。
具体的,为了保证重建模型学习元素的多样性,从第二压缩图像数据集中随机抽取80% 的图像添加方差取值1-50的高斯噪声,将20%未添加噪声的图像与添加噪声的图像混合,构 成第三噪声图像数据集。
S350、将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小 进行裁剪,得到一一对应的基于图像块的图像训练样本集。
其中,在实际工作中,经常需要根据研究工作范围对图像进行分幅裁剪(SubsetImage), 按照ERDAS实际图像分幅裁剪的过程,可以将图像分幅裁剪分为两种类型:规则分幅裁剪 (Rectangle Subset),不规则分幅裁剪(Pdygon Subset)。第三噪声图像数据的图像块作 为源图像,高分辨率图像数据的图像块作为目标图像。
具体的,经过采样、压缩和添加噪声构成的第三噪声图像数据集中的图像个数和高分辨 率图像数据集一一对应(像素层面),分别对这些一一对应的图像进行裁剪处理,裁剪后的 图像块依旧一一对应。即源图像的图像块有与其一一对应的目标图形的图像块。所有的源图 像均要进行与高分辨率图像一样的图像块裁剪,即裁剪后的第三噪声图像数据集包含:部分 只有低分辨率退化的元素;部分有低分辨率退化和压缩退化的元素;部分包含低分辨率退化、 压缩退化和噪声退化的元素。
本发明实施例通过构造多任务图像重建模型的图像训练样本集,在构造训练集的过程中, 先后对图像进行下采样、上采样、压缩、加噪和裁剪处理,使得每个图像训练样本的源图像 包括至少两种训练元素,提高重建模型训练样本的多样性。同时设置损失函数对目标图像的 误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束,使得 最后输出的目标图像具有更好的呈现效果。
实施例四
图4为本发明实施例四提供的一种多任务图像重建装置的结构图。该装置包括:图像样 本训练集构造模块41和模型训练模块42。其中:
图像样本训练集构造模块41,用于获取图像训练样本集,其中,每个图像训练样本的源 图像包括至少两种训练元素,且至少两种训练元素的残差数据与源图像数据的叠加方式不相 同;
模型训练模块42,用于将所述图像训练样本集输入多任务图像重建模型,以进行模型训 练,其中,所述重建模型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输 出的残差数据与源图像数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包 括分别与各残差学习网络输出结果对应的子函数。
本发明通过构造多任务图像重建模型,在模型中设立残差学习网络分支,对源图像需要 去噪、压缩去块或者需要超分辨率进行分别学习;同时设置损失函数对目标图像的误差、求 和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束,使得最后输出 的目标图像具有更好的呈现效果。
在上述实施例的基础上,模型训练模块42还包括:
叠加单元,所述叠加单元包括两种方式,一种叠加方式为线性相减,另一种叠加方式为 线性相加,两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。
在上述实施例的基础上,叠加单元采用线性相减叠加方式的训练元素包括去除噪声,采 用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
在上述实施例的基础上,模型训练模块42还包括重建模型单元,所述重建模型单元包 括:
第一卷积层,用于对源图像数据进行卷积处理并输出第一卷积数据;
共享网络,所述共享网络的输入端与所述第一卷积层的输出端相连,以输出第一共享卷 积数据和第二共享卷积数据;
求和残差学习网络分支,包括相连的残差学习网络与求和计算元件,所述残差学习网络 的输入端与共享网络的一个输出端相连,用于对第一共享卷积数据进行残差学习处理,输出 第一残差数据;所述求和计算元件还与第一卷积层相连,用于将第一卷积数据和第一残差数 据进行求和处理,以输出求和处理数据;
求差残差学习网络分支,包括相连的残差学习网络与求差计算元件,所述残差学习网络 的输入端与共享网络的另一个输出端相连,用于对第二共享卷积数据进行残差学习处理,输 出第二残差数据;所述求差计算元件还与第一卷积层相连,用于将第一卷积数据和第二残差 数据进行求差处理,以输出求差处理数据;
连接网络,所述连接网络的两个输入端分别与求和残差学习网络分支以及求差残差学习 网络分支的输出端相连,用于拼接所述求和处理数据与求差处理数据,输出和差数据;
三个第二卷积层,分别与求和计算元件、求差计算元件以及连接网络的输出端相连,对 输入数据进行卷积计算,分别输出求和残差学习图像数据、求差残差学习图像数据以及拼接 学习图像数据。
在上述实施例的基础上,还包括损失函数模块,所述损失函数模块构造如下:
其中,m,n分别表示图像像素的行数和列数;YHR表示目标图像;表示求和残差学习 图像数据;表示求差残差学习图像数据;表示拼接学习图像数据;λ1表示第一正则化参数;λ2表示第二正则化参数。
在上述实施例的基础上,重建模型单元还包括样本集获取子单元,所述子单元包括:
获得高分辨率图像数据集;
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理,以获得第一低分 辨率图像数据集;
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理,以获得第二压 缩图像数据集;
从第二压缩图像数据集中挑选部分图像进行添加噪声处理,以形成第三噪声图像数据集;
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行 裁剪,得到一一对应的基于图像块的图像训练样本集,其中,第三噪声图像数据的图像块作 为源图像,高分辨率图像数据的图像块作为目标图像。
在上述实施例的基础上,重建模型单元还包括残差学习网络子单元,所述子单元包括:
串联的多个残差学习层或串联的多个卷积层,其中,所述残差学习层包括串联的卷积层、 激活函数层和卷积层。
本实施例提供的一种多任务图像重建装置可用于执行上述任一实施例提供的一种多任 务图像重建方法,具有相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。如图5所示,该设备包括处理器 50、存储器51、通信模块52、输入装置53和输出装置54;设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;设备中的处理器50、存储器51、通信模块52、 输入装置53和输出装置54可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以 及模块,如本实施例中的一种多任务图像重建方法对应的模块(例如,一种多任务图像重建 装置中的图像样本训练集构造模块41和模型训练模块42)。处理器50通过运行存储在存储 器51中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现 上述的一种多任务图像重建方法。
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、 至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外, 存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘 存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步 包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述 网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块52,用于与显示屏建立连接,并实现与显示屏的数据交互。输入装置53可用 于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种设备,可执行本发明任一实施例提供的一种多任务图像重建方法, 具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令 在由计算机处理器执行时用于执行一种多任务图像重建方法,该方法包括:
获取图像训练样本集,其中,每个图像训练样本的源图像包括至少两种训练元素,且至 少两种训练元素的残差数据与源图像数据的叠加方式不相同;
将所述图像训练样本集输入多任务图像重建模型,以进行模型训练,其中,所述重建模 型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输出的残差数据与源图像 数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包括分别与各残差学习网 络输出结果对应的子函数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行 指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的一种多任务图像重 建方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助 软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施 方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以 软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机 的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人 计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述一种多任务图像重建装置的实施例中,所包括的各个单元和模块只 是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另 外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发 明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调 整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详 细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括 更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种多任务图像重建方法,其特征在于,包括:
获取图像训练样本集,其中,每个图像训练样本的源图像包括至少两种训练元素,且至少两种训练元素的残差数据与源图像数据的叠加方式不相同;
将所述图像训练样本集输入多任务图像重建模型,以进行模型训练,其中,所述重建模型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
2.根据权利要求1所述的方法,其特征在于,至少两种训练元素的残差数据与源图像数据的叠加方式包括两种,一种叠加方式为线性相减,另一种叠加方式为线性相加,两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。
3.根据权利要求2所述的方法,其特征在于,采用线性相减叠加方式的训练元素包括去除噪声,采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
4.根据权利要求2或3所述的方法,其特征在于,所述重建模型包括:
第一卷积层,用于对源图像数据进行卷积处理并输出第一卷积数据;
共享网络,所述共享网络的输入端与所述第一卷积层的输出端相连,以输出第一共享卷积数据和第二共享卷积数据;
求和残差学习网络分支,包括相连的残差学习网络与求和计算元件,所述残差学习网络的输入端与共享网络的一个输出端相连,用于对第一共享卷积数据进行残差学习处理,输出第一残差数据;所述求和计算元件还与第一卷积层相连,用于将第一卷积数据和第一残差数据进行求和处理,以输出求和处理数据;
求差残差学习网络分支,包括相连的残差学习网络与求差计算元件,所述残差学习网络的输入端与共享网络的另一个输出端相连,用于对第二共享卷积数据进行残差学习处理,输出第二残差数据;所述求差计算元件还与第一卷积层相连,用于将第一卷积数据和第二残差数据进行求差处理,以输出求差处理数据;
连接网络,所述连接网络的两个输入端分别与求和残差学习网络分支以及求差残差学习网络分支的输出端相连,用于拼接所述求和处理数据与求差处理数据,输出和差数据;
三个第二卷积层,分别与求和计算元件、求差计算元件以及连接网络的输出端相连,对输入数据进行卷积计算,分别输出求和残差学习图像数据、求差残差学习图像数据以及拼接学习图像数据。
5.根据权利要求4所述的方法,其特征在于,所述损失函数如下:
其中,m,n分别表示图像像素的行数和列数;YHR表示目标图像;表示求和残差学习图像数据;表示求差残差学习图像数据;表示拼接学习图像数据;λ1表示第一正则化参数;λ2表示第二正则化参数。
6.根据权利要求4所述的方法,其特征在于,获取图像训练样本集包括:
获得高分辨率图像数据集;
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理,以获得第一低分辨率图像数据集;
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理,以获得第二压缩图像数据集;
从第二压缩图像数据集中挑选部分图像进行添加噪声处理,以形成第三噪声图像数据集;
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪,得到一一对应的基于图像块的图像训练样本集,其中,第三噪声图像数据的图像块作为源图像,高分辨率图像数据的图像块作为目标图像。
7.根据权利要求4所述的方法,其特征在于,所述残差学习网络包括:
串联的多个残差学习层或串联的多个卷积层,其中,所述残差学习层包括串联的卷积层、激活函数层和卷积层。
8.一种多任务图像重建装置,其特征在于,包括:
图像样本训练集构造模块,用于获取图像训练样本集,其中,每个图像训练样本的源图像包括至少两种训练元素,且至少两种训练元素的残差数据与源图像数据的叠加方式不相同;
模型训练模块,用于将所述图像训练样本集输入多任务图像重建模型,以进行模型训练,其中,所述重建模型至少包括并行的至少两个残差学习网络分支,每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同;所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
9.一种设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的一种多任务图像重建方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的一种多任务图像重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810935360.9A CN109191411B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810935360.9A CN109191411B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109191411A true CN109191411A (zh) | 2019-01-11 |
CN109191411B CN109191411B (zh) | 2021-05-18 |
Family
ID=64918412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810935360.9A Active CN109191411B (zh) | 2018-08-16 | 2018-08-16 | 一种多任务图像重建方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109191411B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909885A (zh) * | 2019-11-19 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 一种平衡多个任务的方法及系统 |
CN111028174A (zh) * | 2019-12-10 | 2020-04-17 | 深圳先进技术研究院 | 一种基于残差连接的多维图像复原方法和设备 |
CN111062434A (zh) * | 2019-12-13 | 2020-04-24 | 国网重庆市电力公司永川供电分公司 | 一种无人机巡检多尺度融合检测方法 |
US11514314B2 (en) * | 2019-11-25 | 2022-11-29 | International Business Machines Corporation | Modeling environment noise for training neural networks |
WO2023216720A1 (zh) * | 2022-05-10 | 2023-11-16 | 腾讯科技(深圳)有限公司 | 图像重建模型的训练方法、装置、设备、介质及程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101682752A (zh) * | 2007-04-06 | 2010-03-24 | 三星电子株式会社 | 使用残差块的修改对图像编码和解码的方法和设备 |
CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
CN104778660A (zh) * | 2015-04-23 | 2015-07-15 | 江苏大学 | 一种结合支撑集和残差补偿的图像序列递归重建方法 |
CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓(北京)科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
-
2018
- 2018-08-16 CN CN201810935360.9A patent/CN109191411B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101682752A (zh) * | 2007-04-06 | 2010-03-24 | 三星电子株式会社 | 使用残差块的修改对图像编码和解码的方法和设备 |
CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
CN104778660A (zh) * | 2015-04-23 | 2015-07-15 | 江苏大学 | 一种结合支撑集和残差补偿的图像序列递归重建方法 |
US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓(北京)科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110909885A (zh) * | 2019-11-19 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 一种平衡多个任务的方法及系统 |
US11514314B2 (en) * | 2019-11-25 | 2022-11-29 | International Business Machines Corporation | Modeling environment noise for training neural networks |
CN111028174A (zh) * | 2019-12-10 | 2020-04-17 | 深圳先进技术研究院 | 一种基于残差连接的多维图像复原方法和设备 |
WO2021115053A1 (zh) * | 2019-12-10 | 2021-06-17 | 深圳先进技术研究院 | 一种基于残差连接的多维图像复原方法和设备 |
CN111028174B (zh) * | 2019-12-10 | 2023-08-04 | 深圳先进技术研究院 | 一种基于残差连接的多维图像复原方法和设备 |
CN111062434A (zh) * | 2019-12-13 | 2020-04-24 | 国网重庆市电力公司永川供电分公司 | 一种无人机巡检多尺度融合检测方法 |
WO2023216720A1 (zh) * | 2022-05-10 | 2023-11-16 | 腾讯科技(深圳)有限公司 | 图像重建模型的训练方法、装置、设备、介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN109191411B (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146813A (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
CN109191411A (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
CN111105352B (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
Chen et al. | Fsrnet: End-to-end learning face super-resolution with facial priors | |
Yuan et al. | Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks | |
Yang et al. | Laffnet: A lightweight adaptive feature fusion network for underwater image enhancement | |
CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
CN113222825B (zh) | 基于可见光图像训练的红外图像超分辨率重构方法及应用 | |
CN114549308A (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
CN113723174B (zh) | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 | |
CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
CN110188667A (zh) | 一种基于三方对抗生成网络的人脸摆正方法 | |
CN113592715A (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
CN111563843A (zh) | 一种图像超分辨重构方法、系统及相关装置 | |
CN116563110A (zh) | 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 | |
CN111681195A (zh) | 红外图像和可见光图像的融合方法、装置及可读存储介质 | |
CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
WO2023241298A1 (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
CN113079136A (zh) | 动作捕捉方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |