CN108564611A - 一种基于条件生成对抗网络的单目图像深度估计方法 - Google Patents

一种基于条件生成对抗网络的单目图像深度估计方法 Download PDF

Info

Publication number
CN108564611A
CN108564611A CN201810193746.7A CN201810193746A CN108564611A CN 108564611 A CN108564611 A CN 108564611A CN 201810193746 A CN201810193746 A CN 201810193746A CN 108564611 A CN108564611 A CN 108564611A
Authority
CN
China
Prior art keywords
network
image
layer
depth
arbiter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810193746.7A
Other languages
English (en)
Inventor
侯春萍
管岱
杨阳
郎玥
章衡光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810193746.7A priority Critical patent/CN108564611A/zh
Publication of CN108564611A publication Critical patent/CN108564611A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于条件生成对抗网络的单目图像深度估计方法,包括:(1)对数据集进行预处理;(2)构建生成式对抗网络中的生成器:利用编码器‑解码器结构,构建由卷积层‑反卷积层组合的生成器网络结构,并在此基础上构建跳跃连接结构,将编码器每层的输出特征图映射到对称解码器的输入中,通过通道维度连接起来,以增加解码器的细节信息;在输入层和输出层之间共享低层的信息,使得高层输出图像带有低级的细节特征,提升生成深度图像的质量;(3)构建生成式对抗网络中的判别器;(4)构建生成对抗网络的损失函数;(5)对构建完成的生成对抗网络进行训练和测试。

Description

一种基于条件生成对抗网络的单目图像深度估计方法
技术领域
本发明涉及单目图像深度估计技术领域,尤其涉及一种基于生成式对抗网络的深度估计方法。
背景技术
深度信息能够反映2D图像所不具有的几何信息,对于三维场景重建、手势识别、人体姿态估计等有着重要意义[1]。当前深度信息的获取主要有以下两个途径:一是采用硬件设备如激光雷达、Kinect等直接获取距离信息;二是采用多视点、如双目图像的方法,利用视差来估计深度信息。由于深度传感器造价昂贵,多视点方法需要配置多个图像采集设备,因此从单幅单目图像估计自然场景的深度估计在场景理解,三维建模,机器人等领域有着极为重要的意义,是计算机视觉中的一个基本问题。利用单目图像进行深度估计是一个不适定问题,因为一副图像可能对应于无数现实世界的实际场景[2]。对于人类来说,从单个图像推断潜在的三维结构并不困难,对于计算机视觉算法来说,由于没有具体可靠的特征如几何信息等可以直接利用,因此仍然是一个极具挑战的任务。
当前基于单目图像的深度估计研究主要分为三类:一是在带有几何限制的场景下进行深度估计的研究,此类方法直接将图像强度或颜色信息映射到深度值,在自然场景下不具有通用性;二是将其他信息加入到深度估计的输入特征中,如用户注释、语义标注,但是此类方法依赖于图像的人工标记,较为耗时;三是利用深度学习的方法,训练一个卷积神经网络 (Convolutional Neural Network,CNN),使之直接学习单目图像和深度图之间的映射关系,从而能够从彩色平面图像直接拟合出深度图像,当下深度估计领域的最优方法大多都采用此类方法。
生成对抗网络(Generative Adversarial Networks,GAN)是深度学习算法中的一种新型的网络,通过由卷积神经网络构建的生成网络和判别网络进行对抗式的训练,利用二元零和博弈的原理完成生成模型的建模,被广泛地应用到图像转换、图像处理等领域。生成模型可以帮助生成相关数据,提高数据数量,从而利用半监督学习提升学习效率。而判别模型可以判断样本的真实度,通过不断迭代,使生成样本越来越接近真实样本。在通常的GAN中,输入生成器的是固定维度长度的噪声,而在条件生成对抗网络中,输入生成模型的的是噪声 p(z)与条件信息y组成的联合隐层表征,相当于对GAN的随机分布中加了一个潜在的约束范围。
参考文献:
[1]田虎.单目图像的深度估计[D].北京邮电大学,2015.
[2]D.Eigen,C.Puhrsch,and R.Fergus,“Depth map prediction from a singleimage using a multi-scale deep network,”in Proc.Adv.Neural Inf.Process.Syst.,2014.
发明内容
本发明要解决的问题在于,针对上述现有技术的缺陷,设计一种单目图像深度估计的方法,使之能够仅需要单幅单目图像即能够得到较高质量的深度图。本发明采用一种条件生成对抗网络的模型,完成对单幅单目图像的深度图的估计,在两种公开数据集上进行评估,在准确度和泛化性上均有较好的表现。
一种基于条件生成对抗网络的单目图像深度估计方法,包括步骤如下:
(1)对数据集进行预处理:将数据集中保存的深度信息的矩阵统一转化为深度图像格式,用于网络的训练、生成深度图的可视化及估计结果的评估,并且将彩色图像与对应的深度图像组成图像对,用于网络的训练;
(2)构建生成式对抗网络中的生成器:利用编码器-解码器结构,构建由卷积层-反卷积层组合的生成器网络结构,并在此基础上构建跳跃连接结构,将编码器每层的输出特征图映射到对称解码器的输入中,通过通道维度连接起来,以增加解码器的细节信息;在输入层和输出层之间共享低层的信息,使得高层输出图像带有低级的细节特征,提升生成深度图像的质量;
(3)构建生成式对抗网络中的判别器:采用卷积层-激活函数层-批量归一化层BatchNorm作为判别器网络的组成单元,多层堆叠成最终的判别网络,采用分块判别器的结构,分别判别生成器生成图像各块的图像是否为真实图像或虚假图像,再将各块的响应取平均值作为判别器的最终输出;
(4)构建生成对抗网络的损失函数:在条件生成对抗网络损失函数的基础上,加入一范数损失函数,使得生成器的任务不仅要求其混淆判别器,还在一范数空间中最小化生成图像与真实标签之间的损失,提升生成图像在低频信息段的质量,并且使用dropout代替条件生成网络通常使用的高斯噪声;
(5)对构建完成的生成对抗网络进行训练和测试:将第一步得到的数据集,每次随机选择一副图像对,首先进行随机裁剪的数据增强,输入到网络中进行训练调整训练参数,选择优化器,对判别器和生成器交替式训练,前向传递计算损失值,反向传递更新网络权重,经过一定的迭代次数之后保存最终生成器网络的权重,将测试集的彩色图像输入进训练好的生成器网络中,得到网络预测出的深度图像。
优选地,步骤(5)中交替式训练的方法为:每次随机从训练数据集中选择一对图像作为训练数据,先把真实彩色图像与真实深度图像组成成多通道图像输入到判别器中,作为正样本,将网络输出与正样本标签进行交叉熵损失值计算,采用反向传播算法回传梯度值,更新判别器网络权重;然后将彩色图像输入到生成网络中,得到生成深度图像,再与原彩色图像组合成多通道图像输入到判别网络中,作为负样本,计算交叉熵损失值以及生成深度图像与真实深度图像的一范数损失,统一回传生成网络并更新网络权重。
本发明的技术特点及效果:本发明利用条件生成式对抗网络提供了一种能够从2D彩色图像生成其场景所对应的深度图像的方法,主要是利用生成器生成深度图像,然后通过判别器判别生成深度图像与彩色图像是否对应于同一场景,并在两个公开深度估计数据集上评估本发明的效果以及泛化性能。本发明具有以下特点:
1、利用生成式对抗网络生成器的优势,生成高质量的深度图像。
2、利用生成式对抗网络判别器的特点,判断生成深度图像是否和彩色图像为同一对应的场景。
3、相比传统深度估计的方法以及基于深度学习深度估计的方法,本发明的方法具有更好的泛化性能。
附图说明
图1是本发明方法中生成器的网络结构图
图2是本发明方法中判别器的网络结构图
图3是Make3D的深度估计结果
图4是NYU v2的深度估计结果
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面结合实施例和附图对本发明的具体实施方式做进一步地描述。
单目图像深度估计作为不适定问题,从单幅彩色图像可以得到无数深度图像。近年来常用做法是采用深度卷积神经网络直接在某一距离空间内与真实深度图像进行回归,但此方法得到的最终结果是所有可能深度信息的平均值,因此通常图像较为模糊。本发明利用生成对抗网络,利用判别器来判别生成深度图是否与原彩色图像为对应的场景图像,能够较好的解决现有方法的不足。
具体技术细化如下:
(1)对数据集进行预处理
本发明在两个公开数据集上NYU v2和Make3D进行评估。本方法从NYU v2数据集中等间隔采样作为训练数据,最终训练集数目为6595张成对图像,而在采用深度学习进行单目图像深度估计的其他算法中,往往需要12000张以上的训练数据。原始训练集图像大小为640×480,训练时首先使用最邻近差值的方法下采样到286×286,然后进行随机裁剪的数据增强方法,每次训练沿图像中心随机裁剪256×256的图像,送入网络进行训练。Make3D数据集只含有400张训练数据,并且深度图像与彩色图像尺寸不一致,本方法将所有图像大小统一调整为345×460。并且采用和NYU v2一样的训练方法。注意两个数据集由于分别为室内场景和室外场景,因此深度距离范围不相同,NYU v2数据集最远为10米左右,Make3D数据集最远为80米,即使天空这样的距离也只能映射为80米。本方法在训练时将深度信息都归一化到0-255的数值范围之间,保存为uint8的成对图像,用于网络的训练。在仅仅 400张训练数据的Make3D上的实验效果表明本发明不需要大量训练数据即可生成较高质量的深度图像。
(2)构建生成式对抗网络中的生成器
利用编码器-解码器结构的思想,构建由卷积层-反卷积层组合的生成器网络结构,并在此基础上构建跳跃连接结构,在输入层和输出层之间共享低层的信息,使得高层输出图像带有低级的细节特征,提升生成深度图像的质量。生成器网络分为编码层(共八层),解码层 (共八层)两部分,每编码一层,特征图尺寸减半,特征图数量数增加一倍;每解码一层,特征图尺寸放大一倍,特征图数量增加一倍。
增加跳跃连接结构,将编码器每层的输出特征图映射到对称解码器的输入中,通过通道维度连接起来,以增加解码器的细节信息,再进行解码的反卷积操作。卷积层的数量设计在 16层,4次下采样进行编码,4次上采样进行解码。具体地通过卷积层和反卷积层来实现。所有卷积层的卷积核尺寸都设置为4,步长为2,补充边长为1。因此编码层和解码层的结构实际上我的对称的。整个网络最后一层接Tanh激活函数单元,编码层的各卷积层后接LeakyReLu激活层,并且激活函数的系数设置为0.2。解码层的各卷积层后接非线性运算单元(Rectified Linear Units,ReLu)激活单元。每层卷积层后接批量归一化层(BatchNormalization),便于梯度的流动和误差的回传,利用训练的快速收敛。生成器最后一层网络输出通道数量为1,以生成1通道的深度图。利用dropout层为生成网络输入随机噪声,并且参数设置为0.5。
我们在每一个第i层和第n-i层之间添加跳跃连接,把对称两层中的所有通道相连接。因此解码器的输出通道数量比原本扩大一倍。实现证明跳跃连接的结构能够大大提升生成深度图像的质量。本发明采用的生成器结构图如图1所示。
通过下采样过程,能够提取图像的语义信息,有助于根据图像物理类别的不同进行深度估计;通过跳跃连接的方式能够为解码层引入细节特征,并且实现特征的重复利用。
(3)构建生成式对抗网络中的判别器。
采用卷积层-激活函数层-批量归一化层(BatchNorm)作为判别器网络的组成单元,多层堆叠成最终的判别网络。不同于传统的GAN判别网络,本发明采用分块判别器的结构,分别判别生成器生成图像各块的图像是否为真实图像或虚假图像,再将各块儿的响应取平均值作为判别器的最终输出。生成对抗网络的判别器有多种网络结构,一是基于整图的判别网络,直接判断全图的质量,实验采用7层的全卷积网络结构,以获得256以上的感受野范围,实验证明此种判别器含有更多的参数和更深的网络结构,不易训练;二是基于像素的判别网络,判断每个像素点的生成质量,实验采用卷积核尺寸全部为1×1的2层的判别网络,实验证明此判别器容易产生更丰富的色彩特性,但是对于图像的空间锐化特性没有影响。本发明采用分块判别网络的结构,能够显著提升生成图像高频部分的质量。具体结构如下所示。
判别器采用5层卷积层,前三层的卷积核尺寸为4,步长为2,补充边长为1,第四层的步长参数变为1,并且都后跟LeakyReLu激活函数层,系数设置为0.2,输出通道数量逐层增加一倍,从输入的4通道数量依次逐层增加为64、128、256、512通道数量,并最终通过尺寸为4,2,1的卷积层将特征图从512维度映射为1维的输出向量,进过Sigmoid激活函数归一化为[0,1]之前的概率值,用于计算损失函数值。除了第一层和最后一层,其他各层后设置批量归一化层(BatchNorm),便于梯度的流动和网络的训练。判别器的网络结构图如图2所示。
(4)构建生成对抗网络的损失函数。
生成式对抗网络源于零和博弈理论,由一个生成器和一个判别器组成,生成器负责捕捉样本数据的分布,用服从某一分布的随机变量生成一个类似真实训练数据的样本,旨在生成逼真的合成样本;判别器是一个二分类器,用于估计一个输入样本来自于真实的训练数据集 (而非生成数据集)的概率。上述过程可以表述为如下公式:
LGAN(G,D)=Ey[logD(y)]+Ex,z[log(1-D(x,G(x,z)))]
条件生成对抗网络损失函数的基础上,使得判别器不只判断生成的y的真实度,而判断输入x和y是否为成对儿图像。如下所示:
LcGAN(G,D)=Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))]
判别器网络可以较好的判别生成图像在高频信息段的质量,而低频段的质量可以由图像级别的损失去控制。本发明加入传统损失函数一范数损失,使得生成器的任务不仅要求其混淆判别器,还需要在一范数空间中最小化生成图像与真实标签之间的损失,提升生成图像在低频信息段的质量。最终本发明使用的条件生成网络的目标函数如下:
式中,G表示生成器,D表示判别器,x表示输入彩色图像,y表示输出深度图像,z表示输入的随机噪声,在本发明中采用dropout代替。λ控制两种损失值的权重,由于深度估计更侧重于图像本身的距离,在本发明中λ设置为1000。
(5)对生成式对抗网络进行训练
将第一步得到的数据集,每次随机选择一副图像对,分为原彩色图像和真实深度图像两幅图像,输入到网络中进行训练。具体训练步骤如下所示:
a.先把真实彩色图像与真实深度图像组成多通道图像输入到判别器中,作为正样本,将网络输出与正样本标签进行二元交叉熵(Binary Cross Entropy,BCE)的损失值值计算,采用反向传播算法回传梯度值,更新判别器网络权重;
b.将彩色图像输入到生成网络中,得到生成深度图像,再与原彩色图像组合成多通道图像输入到判别网络中,作为负样本,计算交叉熵损失值以及生成深度图像与真实深度图像的一范数损失,统一回传生成网络并更新网络权重。
c.重复进行a、b步骤,将对判别器、生成器进行交替式训练,前向传递计算损失值,反向传递更新网络权重。当遍历完整个训练集200遍之后保存最终生成器网络的权重。将测试集的彩色图像输入进训练好的生成器网络中,得到网络预测出的深度图像。
整个网络的训练批输入数量设置为1,训练过程采用Adam(Adaptive MomentEstimation)优化器,动量(momentum)设置为0.5,初始学习率设置为0.0002,学习率衰减的间隔设置为50。整个实验在Pytorch的深度学习框架下进行,实验环境为Ubuntu14.04 操作系统,利用NVIDIA公司11GB显存的GTX 1080Ti GPU进行网络的训练并利用Cuda进行训练的加速。训练完Make3D数据集需要大约3小时时间,训练完NYU v2数据集需要48小时时间。
(5)生成深度图像质量的评估。
为了评估在两个公开数据集上生成效果,依据之前算法的评估方法,采用平均相对误差 (rel)、均方误差(rms)、平均对数误差(log10)三种指标来计算生成深度图像与真实深度图像之间的误差,并与其他算法进行比较。为了评估本发明提出方法的泛化性能,再将不出现在两个数据集中的自然图像输入进生成器中,得到自然图像的深度图。其中三种评估指标具体如下所示:
a.平均相对误差(rel):
b.均方误差(rms):
c.平均对数误差(log10):
最终结果如下表1和表2所示:
表1 Make3D结果
表2 NYU Depth v2结果

Claims (2)

1.一种基于条件生成对抗网络的单目图像深度估计方法,包括步骤如下:
(1)对数据集进行预处理:将数据集中保存的深度信息的矩阵统一转化为深度图像格式,用于网络的训练、生成深度图的可视化及估计结果的评估,并且将彩色图像与对应的深度图像组成图像对,用于网络的训练;
(2)构建生成式对抗网络中的生成器:利用编码器-解码器结构,构建由卷积层-反卷积层组合的生成器网络结构,并在此基础上构建跳跃连接结构,将编码器每层的输出特征图映射到对称解码器的输入中,通过通道维度连接起来,以增加解码器的细节信息;在输入层和输出层之间共享低层的信息,使得高层输出图像带有低级的细节特征,提升生成深度图像的质量;
(3)构建生成式对抗网络中的判别器:采用卷积层-激活函数层-批量归一化层BatchNorm作为判别器网络的组成单元,多层堆叠成最终的判别网络,采用分块判别器的结构,分别判别生成器生成图像各块的图像是否为真实图像或虚假图像,再将各块的响应取平均值作为判别器的最终输出;
(4)构建生成对抗网络的损失函数:在条件生成对抗网络损失函数的基础上,加入一范数损失函数,使得生成器的任务不仅要求其混淆判别器,还在一范数空间中最小化生成图像与真实标签之间的损失,提升生成图像在低频信息段的质量,并且使用dropout代替条件生成网络通常使用的高斯噪声;
(5)对构建完成的生成对抗网络进行训练和测试:将第一步得到的数据集,每次随机选择一副图像对,首先进行随机裁剪的数据增强,输入到网络中进行训练调整训练参数,选择优化器,对判别器和生成器交替式训练,前向传递计算损失值,反向传递更新网络权重,经过一定的迭代次数之后保存最终生成器网络的权重,将测试集的彩色图像输入进训练好的生成器网络中,得到网络预测出的深度图像。
2.根据权利要求1所述的方法,其特征在于,步骤(5)中交替式训练的方法为:每次随机从训练数据集中选择一对图像作为训练数据,先把真实彩色图像与真实深度图像组成成多通道图像输入到判别器中,作为正样本,将网络输出与正样本标签进行交叉熵损失值计算,采用反向传播算法回传梯度值,更新判别器网络权重;然后将彩色图像输入到生成网络中,得到生成深度图像,再与原彩色图像组合成多通道图像输入到判别网络中,作为负样本,计算交叉熵损失值以及生成深度图像与真实深度图像的一范数损失,统一回传生成网络并更新网络权重。
CN201810193746.7A 2018-03-09 2018-03-09 一种基于条件生成对抗网络的单目图像深度估计方法 Pending CN108564611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810193746.7A CN108564611A (zh) 2018-03-09 2018-03-09 一种基于条件生成对抗网络的单目图像深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810193746.7A CN108564611A (zh) 2018-03-09 2018-03-09 一种基于条件生成对抗网络的单目图像深度估计方法

Publications (1)

Publication Number Publication Date
CN108564611A true CN108564611A (zh) 2018-09-21

Family

ID=63531640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193746.7A Pending CN108564611A (zh) 2018-03-09 2018-03-09 一种基于条件生成对抗网络的单目图像深度估计方法

Country Status (1)

Country Link
CN (1) CN108564611A (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345448A (zh) * 2018-09-25 2019-02-15 广东工业大学 一种轮廓图上色方法及装置
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN109583497A (zh) * 2018-11-29 2019-04-05 中电科嘉兴新型智慧城市科技发展有限公司 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统
CN109656878A (zh) * 2018-12-12 2019-04-19 中电健康云科技有限公司 健康档案数据生成方法及装置
CN109840924A (zh) * 2018-12-28 2019-06-04 浙江工业大学 一种基于串联对抗网络的产品图像快速生成方法
CN109859310A (zh) * 2019-01-22 2019-06-07 武汉纺织大学 一种可用于生成mr图像的模型及其建立方法
CN109920054A (zh) * 2019-03-29 2019-06-21 电子科技大学 一种基于三维边界框生成对抗网络的大小可调3d对象生成方法
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN109948776A (zh) * 2019-02-26 2019-06-28 华南农业大学 一种基于lbp的对抗网络模型图片标签生成方法
CN109993678A (zh) * 2019-03-26 2019-07-09 南京联创北斗技术应用研究院有限公司 一种基于深度对抗生成网络的鲁棒信息隐藏方法
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110033033A (zh) * 2019-04-01 2019-07-19 南京谱数光电科技有限公司 一种基于CGANs的生成器模型训练方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法
CN110136185A (zh) * 2019-05-23 2019-08-16 中国科学技术大学 一种单目深度估计方法及系统
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN110246171A (zh) * 2019-06-10 2019-09-17 西北工业大学 一种实时单目视频深度估计方法
CN110335299A (zh) * 2019-04-28 2019-10-15 厦门大学 一种基于对抗网络的单目深度估计系统实现方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学(武汉) 基于生成对抗网络的人手深度图像数据增强方法
CN110889868A (zh) * 2019-10-28 2020-03-17 杭州电子科技大学 一种结合梯度和纹理特征的单目图像深度估计方法
CN110895828A (zh) * 2019-12-03 2020-03-20 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN110969653A (zh) * 2019-03-28 2020-04-07 江南大学 一种基于深度学习和傅里叶域分析的图像深度估计算法
CN110968734A (zh) * 2019-11-21 2020-04-07 华东师范大学 一种基于深度度量学习的行人重识别方法及装置
CN111047525A (zh) * 2019-11-18 2020-04-21 宁波大学 Sar遥感图像到光学遥感图像的翻译方法
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111080727A (zh) * 2019-12-17 2020-04-28 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111192305A (zh) * 2018-11-15 2020-05-22 百度在线网络技术(北京)有限公司 用于生成三维图像的方法和装置
CN111260655A (zh) * 2019-12-31 2020-06-09 深圳云天励飞技术有限公司 基于深度神经网络模型的图像生成方法与装置
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111340187A (zh) * 2020-02-18 2020-06-26 河北工业大学 基于对抗注意力机制的网络表征方法
CN111582058A (zh) * 2020-04-20 2020-08-25 中国科学院自动化研究所南京人工智能芯片创新研究院 一种使用对抗式3d分层网络进行手部姿态估计的方法及系统
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111695605A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 基于oct图像的图像识别方法、服务器及存储介质
CN111862260A (zh) * 2020-07-31 2020-10-30 浙江工业大学 基于跨域对偶生成式对抗网络的偏见消除方法与装置
TWI709106B (zh) * 2018-12-28 2020-11-01 國立清華大學 基於深度學習網路的室內場景結構估測系統及其估測方法
CN111914256A (zh) * 2020-07-17 2020-11-10 华中科技大学 一种机器学习训练数据受投毒攻击的防御方法
CN112116537A (zh) * 2020-08-31 2020-12-22 中国科学院长春光学精密机械与物理研究所 图像反射光消除方法及图像反射光消除网络构建方法
CN112184731A (zh) * 2020-09-28 2021-01-05 北京工业大学 一种基于对抗性训练的多视图立体深度估计方法
CN112257648A (zh) * 2020-11-03 2021-01-22 泰山学院 基于改进的循环神经网络的信号分类识别方法
CN112465115A (zh) * 2020-11-25 2021-03-09 科大讯飞股份有限公司 Gan网络压缩方法、装置、设备及存储介质
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
WO2021052103A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像生成的方法、装置以及计算机
CN112598034A (zh) * 2020-12-09 2021-04-02 华东交通大学 基于生成式对抗网络的矿石图像生成方法和计算机可读存储介质
CN112932482A (zh) * 2021-01-28 2021-06-11 南通帕克医用材料有限公司 一种基于单目相机识别的穿刺技术
CN113094972A (zh) * 2021-03-15 2021-07-09 西南大学 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统
CN113409377A (zh) * 2021-06-23 2021-09-17 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113505885A (zh) * 2021-06-29 2021-10-15 中国科学院深圳先进技术研究院 基于预设的损失函数的单目深度估计网络的训练方法
CN113728327A (zh) * 2019-12-12 2021-11-30 腾讯美国有限责任公司 基于深度图像引导的对抗网络的3d手部姿势估计
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114098679A (zh) * 2021-12-30 2022-03-01 中新国际联合研究院 基于深度学习和射频感知的生命体征监测波形的恢复方法
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107358626A (zh) * 2017-07-17 2017-11-17 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
CN107358626A (zh) * 2017-07-17 2017-11-17 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HYUNGJOO JUNG 等: "Depth Prediction from a Single Image with Conditional Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
PHILLIP ISOLA 等: "Image-to-Image Translation with Conditional Adversarial Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李耀宇 等: "基于结构化深度学习的单目图像深度估计", 《机器人》 *

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345448A (zh) * 2018-09-25 2019-02-15 广东工业大学 一种轮廓图上色方法及装置
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN109544518B (zh) * 2018-11-07 2020-11-03 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN111192305A (zh) * 2018-11-15 2020-05-22 百度在线网络技术(北京)有限公司 用于生成三维图像的方法和装置
CN111192305B (zh) * 2018-11-15 2023-11-21 百度在线网络技术(北京)有限公司 用于生成三维图像的方法和装置
CN109583497A (zh) * 2018-11-29 2019-04-05 中电科嘉兴新型智慧城市科技发展有限公司 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统
CN109656878A (zh) * 2018-12-12 2019-04-19 中电健康云科技有限公司 健康档案数据生成方法及装置
CN109840924A (zh) * 2018-12-28 2019-06-04 浙江工业大学 一种基于串联对抗网络的产品图像快速生成方法
TWI709106B (zh) * 2018-12-28 2020-11-01 國立清華大學 基於深度學習網路的室內場景結構估測系統及其估測方法
CN109840924B (zh) * 2018-12-28 2023-03-28 浙江工业大学 一种基于串联对抗网络的产品图像快速生成方法
CN109859310A (zh) * 2019-01-22 2019-06-07 武汉纺织大学 一种可用于生成mr图像的模型及其建立方法
CN109859310B (zh) * 2019-01-22 2022-12-20 武汉纺织大学 一种可用于生成mr图像的模型及其建立方法
CN109948776A (zh) * 2019-02-26 2019-06-28 华南农业大学 一种基于lbp的对抗网络模型图片标签生成方法
CN109948663A (zh) * 2019-02-27 2019-06-28 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN109948663B (zh) * 2019-02-27 2022-03-15 天津大学 一种基于模型抽取的步长自适应的对抗攻击方法
CN109993678A (zh) * 2019-03-26 2019-07-09 南京联创北斗技术应用研究院有限公司 一种基于深度对抗生成网络的鲁棒信息隐藏方法
CN110969653B (zh) * 2019-03-28 2023-08-15 江南大学 一种基于深度学习和傅里叶域分析的图像深度估计方法
CN110969653A (zh) * 2019-03-28 2020-04-07 江南大学 一种基于深度学习和傅里叶域分析的图像深度估计算法
CN109920054A (zh) * 2019-03-29 2019-06-21 电子科技大学 一种基于三维边界框生成对抗网络的大小可调3d对象生成方法
CN110033033A (zh) * 2019-04-01 2019-07-19 南京谱数光电科技有限公司 一种基于CGANs的生成器模型训练方法
CN110084757B (zh) * 2019-04-15 2023-03-07 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110021037B (zh) * 2019-04-17 2020-12-29 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110335299A (zh) * 2019-04-28 2019-10-15 厦门大学 一种基于对抗网络的单目深度估计系统实现方法
CN110335299B (zh) * 2019-04-28 2021-08-13 厦门大学 一种基于对抗网络的单目深度估计系统实现方法
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
CN110136185A (zh) * 2019-05-23 2019-08-16 中国科学技术大学 一种单目深度估计方法及系统
CN110136185B (zh) * 2019-05-23 2022-09-06 中国科学技术大学 一种单目深度估计方法及系统
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN110246171A (zh) * 2019-06-10 2019-09-17 西北工业大学 一种实时单目视频深度估计方法
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110246171B (zh) * 2019-06-10 2022-07-19 西北工业大学 一种实时单目视频深度估计方法
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学(武汉) 基于生成对抗网络的人手深度图像数据增强方法
CN110427799B (zh) * 2019-06-12 2022-05-06 中国地质大学(武汉) 基于生成对抗网络的人手深度图像数据增强方法
WO2021052103A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像生成的方法、装置以及计算机
CN110889868B (zh) * 2019-10-28 2023-04-18 杭州电子科技大学 一种结合梯度和纹理特征的单目图像深度估计方法
CN110889868A (zh) * 2019-10-28 2020-03-17 杭州电子科技大学 一种结合梯度和纹理特征的单目图像深度估计方法
CN111047525A (zh) * 2019-11-18 2020-04-21 宁波大学 Sar遥感图像到光学遥感图像的翻译方法
CN110968734A (zh) * 2019-11-21 2020-04-07 华东师范大学 一种基于深度度量学习的行人重识别方法及装置
CN110968734B (zh) * 2019-11-21 2023-08-04 华东师范大学 一种基于深度度量学习的行人重识别方法及装置
CN110895828B (zh) * 2019-12-03 2023-04-18 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN110895828A (zh) * 2019-12-03 2020-03-20 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN113728327A (zh) * 2019-12-12 2021-11-30 腾讯美国有限责任公司 基于深度图像引导的对抗网络的3d手部姿势估计
CN111077523B (zh) * 2019-12-13 2021-12-21 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111080727A (zh) * 2019-12-17 2020-04-28 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111080727B (zh) * 2019-12-17 2023-03-21 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111260594B (zh) * 2019-12-22 2023-10-31 天津大学 一种无监督的多模态图像融合方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111260655A (zh) * 2019-12-31 2020-06-09 深圳云天励飞技术有限公司 基于深度神经网络模型的图像生成方法与装置
CN111260655B (zh) * 2019-12-31 2023-05-12 深圳云天励飞技术有限公司 基于深度神经网络模型的图像生成方法与装置
CN111340187A (zh) * 2020-02-18 2020-06-26 河北工业大学 基于对抗注意力机制的网络表征方法
CN111340187B (zh) * 2020-02-18 2024-02-02 河北工业大学 基于对抗注意力机制的网络表征方法
CN111582058A (zh) * 2020-04-20 2020-08-25 中国科学院自动化研究所南京人工智能芯片创新研究院 一种使用对抗式3d分层网络进行手部姿态估计的方法及系统
CN111583101B (zh) * 2020-05-13 2023-06-27 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111695605B (zh) * 2020-05-20 2024-05-10 平安科技(深圳)有限公司 基于oct图像的图像识别方法、服务器及存储介质
CN111695605A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 基于oct图像的图像识别方法、服务器及存储介质
CN111914256A (zh) * 2020-07-17 2020-11-10 华中科技大学 一种机器学习训练数据受投毒攻击的防御方法
CN111914256B (zh) * 2020-07-17 2021-05-18 华中科技大学 一种机器学习训练数据受投毒攻击的防御方法
CN111862260B (zh) * 2020-07-31 2024-03-15 浙江工业大学 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN111862260A (zh) * 2020-07-31 2020-10-30 浙江工业大学 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN112116537A (zh) * 2020-08-31 2020-12-22 中国科学院长春光学精密机械与物理研究所 图像反射光消除方法及图像反射光消除网络构建方法
CN112184731A (zh) * 2020-09-28 2021-01-05 北京工业大学 一种基于对抗性训练的多视图立体深度估计方法
CN112184731B (zh) * 2020-09-28 2024-05-28 北京工业大学 一种基于对抗性训练的多视图立体深度估计方法
CN112257648A (zh) * 2020-11-03 2021-01-22 泰山学院 基于改进的循环神经网络的信号分类识别方法
CN112465115B (zh) * 2020-11-25 2024-05-31 科大讯飞股份有限公司 Gan网络压缩方法、装置、设备及存储介质
CN112465115A (zh) * 2020-11-25 2021-03-09 科大讯飞股份有限公司 Gan网络压缩方法、装置、设备及存储介质
CN112598034A (zh) * 2020-12-09 2021-04-02 华东交通大学 基于生成式对抗网络的矿石图像生成方法和计算机可读存储介质
CN112932482A (zh) * 2021-01-28 2021-06-11 南通帕克医用材料有限公司 一种基于单目相机识别的穿刺技术
CN113094972B (zh) * 2021-03-15 2022-08-02 西南大学 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统
CN113094972A (zh) * 2021-03-15 2021-07-09 西南大学 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统
CN113409377A (zh) * 2021-06-23 2021-09-17 四川大学 一种基于跳跃连接式生成对抗网络的相位展开方法
CN113505885B (zh) * 2021-06-29 2024-05-03 中国科学院深圳先进技术研究院 基于预设的损失函数的单目深度估计网络的训练方法
CN113505885A (zh) * 2021-06-29 2021-10-15 中国科学院深圳先进技术研究院 基于预设的损失函数的单目深度估计网络的训练方法
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114098679B (zh) * 2021-12-30 2024-03-29 中新国际联合研究院 基于深度学习和射频感知的生命体征监测波形的恢复方法
CN114098679A (zh) * 2021-12-30 2022-03-01 中新国际联合研究院 基于深度学习和射频感知的生命体征监测波形的恢复方法
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN108564611A (zh) 一种基于条件生成对抗网络的单目图像深度估计方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
CN105787439B (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN110263912A (zh) 一种基于多目标关联深度推理的图像问答方法
Yan et al. Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN109559287A (zh) 一种基于DenseNet生成对抗网络的语义图像修复方法
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN101303764B (zh) 基于非下采样轮廓波的多传感器图像自适应融合方法
CN103971329B (zh) 一种基于遗传优化细胞神经网络的多源图像融合方法
CN108846323A (zh) 一种面向水下目标识别的卷积神经网络优化方法
CN106462771A (zh) 一种3d图像的显著性检测方法
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN109461177B (zh) 一种基于神经网络的单目图像深度预测方法
CN104867138A (zh) 基于pca和ga-elm的立体图像质量客观评价方法
CN109584162A (zh) 一种基于生成网络的图像超分辨率重构的方法
CN109272487A (zh) 一种基于视频的公共区域内人群的数量统计方法
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
Cao et al. Research for face image super-resolution reconstruction based on wavelet transform and SRGAN
Sun et al. GAN-based LUCC prediction via the combination of prior city planning information and land-use probability
Zhao et al. Adaptively attentional feature fusion oriented to multiscale object detection in remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921