CN109166144B - 一种基于生成对抗网络的图像深度估计方法 - Google Patents
一种基于生成对抗网络的图像深度估计方法 Download PDFInfo
- Publication number
- CN109166144B CN109166144B CN201810806067.2A CN201810806067A CN109166144B CN 109166144 B CN109166144 B CN 109166144B CN 201810806067 A CN201810806067 A CN 201810806067A CN 109166144 B CN109166144 B CN 109166144B
- Authority
- CN
- China
- Prior art keywords
- image
- depth map
- map image
- scene
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于生成对抗网络的图像深度估计方法,采集场景RGB‑D图像,构建场景RGB‑D图像数据集,其中,所述RGB‑D图像数据集中的彩色图像作为单目场景图像;构建基于生成对抗网络的模型,将所述单目场景图像输入到所述网络模型中,通过训练和迭代反馈,将所述单目场景图像转换为最终合成的深度图图像。本发明提供的深度估计方法将单目场景图像转换含有距离信息的深度图图像,进而对场景三维重建的研究提供基础。
Description
技术领域
本发明涉及计算机视觉中三维重建技术领域,特别涉及一种基于生成对抗网络的图像深度估计方法。
背景技术
距离信息是计算机视觉中场景三维重建等一些领域的研究基础。如果能够准确地从场景图像中推理出场景的三维结构,人类和计算机就能理解图像中物体之间的三维关系,从而更好地对场景理解,同时也将极大促进计算机视觉领域多种应用的发展,例如3D电影制作、机器人导航、无人驾驶等。
传统的场景深度估计的视觉算法一般是双目或者多目,主要是基于光学几何约束,如立体图像匹配、SfM等。此外还有一些基于环境假设的单目图像深度估计的方法,例如焦点、光照变化、遮挡、物体大小等。与双目或者多目图像深度估计方法相比,单目图像深度估计方法对于相机参数要求更低,应用更加方便。
单目图像深度估计方法的困难之处在于视觉模型很难从单目图像中获取足够用于推测场景3D结构信息的特征。近年来,深度学习方法在计算机视觉领域取得了一些重大的突破,由于深度学习方法可以学习到丰富的相关特征表达,因此深度学习非常善于处理感知类任务,所以基于深度学习的单目图像深度估计能够更好的获取图像特征,从而推测出更丰富的3D结构信息。因此基于深度学习的单目图像深度估计的研究就具有很强的实际意义。
发明内容
本发明提供一种基于生成对抗网络的图像深度估计方法,以解决现有的单目图像深度估计精度低,硬件设备要求高,对同一场景不同尺度的单目图像无法准确估计深度等技术问题,该深度估计方法将单目场景图像转换含有距离信息的深度图,进而对场景三维重建的研究提供基础。
一种基于生成对抗网络的图像深度估计方法,包括如下步骤:
采集场景RGB-D图像,构建场景RGB-D图像数据集,其中,所述RGB-D图像数据集中的彩色图像作为单目场景图像;
构建基于生成对抗网络的单目场景图像深度估计模型,将所述单目场景图像输入到所述网络模型中,通过训练和迭代反馈,将所述单目场景图像转换为最终合成的深度图图像。
进一步的,所述网络模型包括生成器和判别器;
所述将所述单目场景图像转换为合成的深度图图像的具体步骤为:
将所述单目场景图像输入所述生成器,所述生成器输出合成的深度图图像;
将所述合成的深度图图像以及所述真实的深度图图像输入到所述判别器,用以判别输入到所述判别器的深度图图像的真假;
通过损失函数优化所述网络模型,得到所述最终合成的深度图图像。
进一步的,所述的损失函数包括:
在生成器中添加的GAN loss损失函数,用以使得合成的深度图图像更接近于真实的深度图图像;在所述合成的深度图图像和所述真实的深度图图像之间添加ssim损失函数,用以保持所述单目场景图像转换为所述合成的深度图图像的结构不变性;在所述合成的深度图图像和所述真实的深度图图像之间添加尺度不变损失函数,用以使得所述网络模型在同一场景的不同尺度情况下能够准确预测场景深度。
进一步的,所述GAN loss损失函数具体为:采用最小二乘损失函数结合梯度惩罚项: LDGAN(G,D)=LGAN(G,D)+λLgp, 式中,λ为控制梯度惩罚的贡献,α是一个介于0到1之前的随机值,D为判别器,表示随机变量x服从Pdata概率分布的期望值,G为生成器,LGAN(G,D)为最小二乘损失函数,Lgp为梯度惩罚,为合成的深度图图像G(x)与真实的深度图图像y的混合。
进一步的,所述ssim损失函数具体为:
式中, x为单目场景图像,G(x)为网络模型根据单目场景图合成的深度图图像,y为单目场景图对应的真实的深度图图像,N为单目场景图像的像素的总数目,为合成的深度图图像的均值,μy为真实的深度图图像y的均值,σy为真实的深度图图像y的标准差,为合成的深度图图像的标准差,为合成的深度图图像和真实的深度图图像y的协方差,c1、c2为常数。
进一步的,所述尺度不变损失函数具体为:
进一步的,所述单目场景图像合成最终的深度图图像过程中总的损失函数为:
式中,ξ和γ为超参数。
本发明提供了一种基于生成对抗网络的图像深度估计方法,具有以下优点:
1)将深度估计从回归问题转换成单目场景图图像到深度图图像(图到图)转换的问题,并提出一种新的生成对抗网络结构;
2)提出了多种损失函数,如ssim损失函数,尺度不变损失函数等,使得网络模型能够合成高精度的深度图;
3)使用梯度惩罚函数解决GAN训练过程中梯度消失、过拟合等问题;
4)实验证明相比于条件生成对抗网,非条件生成对抗网更适用于深度估计任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图来获得其他的附图。
图1为单目场景图转换为深度图图像的流程图;
图2为基于生成对抗网络的单目图像深度估计方法流程图;
图3为条件生成对抗网对单目深度估计效果图;
图4为非条件生成对抗网及图像对比图;
图5为添加不同损失函数后的合成深度图图像对比图;
图6为不同合成方法在深度估计上的有效性的对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是在本发明中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例:
本申请实施例为本申请的优选实施例。
一种基于生成对抗网络的图像深度估计方法,利用少量配对的单目场景图像和与之对应的包含深度信息的深度图图像,通过监督深度学习方法将单目场景图像转换为包含场景深度信息深度图图像,该方法包括如下步骤:
首先,利用可以获取深度信息图像的设备,如Kinect units(体感游戏设备)或者激光雷达采集清晰的RGB-D图像(RGB-D图像包括彩色图像以及对应的深度图图像),构建场景RGB-D图像数据集,其中,RGB-D图像数据集中的彩色图像作为单目场景图像。然后对场景RGB-D图像对做旋转、尺度变换、裁剪、色彩变化操作,目的是在训练模型时增强模型的鲁棒性。
然后,构建基于生成对抗网络的单目场景图像深度估计模型,将所述单目场景图像输入到所述网络模型中,通过训练和迭代反馈,将所述单目场景图像转换为最终合成的深度图图像,本发明中关注于单目场景图像转换为深度图图像的过程。其中,所述网络模型包括生成器和判别器。图1所示为单目场景图像转换为深度图图像流程图,图中,x为单目场景图像,为合成的深度图图像,G为生成器,y为真实的深度图图像,D为判别器,其工作原理为:将单目场景图像x通过生成器G得到合成的深度图图像将合成的深度图图像和真实深度图图像y输入到判别器D,判别器D用以判别输入图像的真假。
所述单目场景图转换为最终合成的深度图图像的具体步骤为:
将单目场景图像x输入生成器G,生成器G输出合成的深度图图像生成器G由编码器、残差网络和解码器构成,编码器的卷积网络将图像经过不同大小的卷积核,在图像上移动获取原图像中的特征,其主要作用是提取图像特征,组合不同相近特征,并保留原始图像特征。残差网络将输入部分直接添加到输出,以确保网络输入内容直接作用到后面的网络层,保留图像低级特征,以减小输入输出的偏差。解码器主要利用反卷积网络结构实现。从特征向量中计算出场景深度信息,从而合成深度图图像。
将合成的深度图图像以及真实深度图图像y输入到判别器D,用以判别输入到判别器D的深度图的真假;判别器D主要为卷积网络,将合成的深度图图像以及真实深度图图像y输入到判别器D,经过卷积神经网络后,提取特征后返回预测的概率值,范围是 0~1之间的数字,其中,1表示真,0表示假。
整个网络为生成对抗网络的损失,通过损失函数优化所述网络模型,得到最终合成的深度图图像。具体为:
在本实施例中为网络添加的损失函数包括:
1)在合成的深度图图像以及真实的深度图图像之间添加ssim损失函数,用以保持单目场景图像转换为合成的深度图图像的结构不变性;
2)在合成的深度图图像以及真实的深度图图像之间添加尺度不变损失函数,用以使得所述模型在同一场景不同尺度情况下能够准确预测场景深度;
对该对抗网络模型进行前向传输和后向反馈,使得网络根据输入的单目场景图像和真实的深度图图像进行训练和学习;
输出损失函数的loss值,其中,x为单目场景图像,G(x)为网络模型根据单目场景图合成的深度图图像,y为单目场景图对应的真实的深度图图像,该真实的深度图图像中的包含了距离信息。
GAN loss,使得合成的深度图图像更接近于真实的深度图图像,采用最小二乘损失函数结合梯度惩罚项:LDGAN(G,D)=LGAN(G,D)+λLgp, 式中,λ为控制梯度惩罚的贡献,α是一个介于0到1之前的随机值,D为判别器,表示随机变量x服从Pdata概率分布的期望值,G为生成器, LGAN(G,D)为最小二乘损失函数,Lgp为梯度惩罚,为合成的深度图图像G(x)与真实的深度图图像y的混合。
ssim损失函数,用单目场景图像和合成的深度图图像做ssim损失计算,称为结构相似性loss,在提升深度预测精度的同时深度图图像的整体结构也相似于单目场景图像:式中,x为单目场景图像,G(x)为网络模型根据单目场景图合成的深度图图像,y为单目场景图对应的真实的包含距离信息的深度图图像,N为场景图像的像素的总数目,为合成的深度图图像的均值,μy为真实的深度图图像y的均值,σy为真实的深度图图像y的标准差,为合成的深度图图像的标准差,为合成的深度图图像和真实的深度图图像y的协方差,c1、c2为常数。为了避免分母为0而维持稳定,这里取c1=0.012、c2=0.032。
尺度不变损失函数,用于使模型能够在面对同一场景图像在不同尺度情况时依然能准确合成深度图:
综上,单目场景图像合成深度图图像过程总的损失函数为:
式中,ξ、γ为超参数,根据经验设置ξ=0.85,γ=0.03。
通过降低损失函数loss值和观察合成的深度图图像的质量来评价整个对抗网络的性能。
下面将通过实验进一步验证本发明的有效性,包括在生成对抗网对深度估计的有效性、全卷积残差网络的作为生成器有效性,对抗网络中添加loss的有效性、非条件生成对抗网更适用于深度估计、采用不同方法合成的深度图图像的效果对比。本申请实施例从主观评价和客观评价两方面对方法进行评价,在评价指标上的客观表现采用不同评价指标,对于δ(深度阈值)越高越好,rmse(均方根误差),rmsle(均方根对数误差),abs_rel (绝对相关误差),sq_rel(平方相关误差)越低越好。
1、生成对抗网对深度估计的有效性:
本申请实施例采用目前流行的条件生成对抗网Pix2pix验证生成对抗网是否具有完成深度估计的潜力。如图3所示,第一列是单目场景图像,第二列是单目场景图像对应的真实的深度图,第三列为经过训练的Pix2pix在测试集上的结果图像。第一、二、三行结果显示Pix2pix能够合成单目场景的模糊的深度图,精度较低,结构模糊。第四、五行结果显示Pix2pix在某些单目场景中并不能合成具有深度信息的深度图。
2、全卷积残差网络的作为生成器有效性:
图4所示为全卷积残差网络作为所述模型的生成器和U-Net作为所述模型的生成器在测试集上的效果对比。结果所示全卷积残差网络作为所述模型的生成器性能明显优于U-Net作为所述模型的生成器。表1中实验1和实验2中展示全卷积残差网络作为所述模型的生成器在各个评价指标上都优于U-Net作为所述模型的生成器。
表1不同生成器结构和损失函数下得到的模型在测试集上的比较
3、对抗网络中添加loss的有效性:
如图5所示,在添加了本实施例中所述的总的损失函数时,合成的深度图图像无论在客观评价和主观评价上更加接近真实深度图(第三列所示图片)。第5、6列所示图片为仅使用L2损失时不能保持住图片原有的结构信息。第4列所示图片为总的损失函数去掉尺度不变损失函数时生成的图片结构信息有了很大的改善,同时在评价指标上的表现更优 (如表1中实验5所示)。
4、非条件生成对抗网更适用于深度估计:
由于物体的位置结构信息在某些条件下会影响距离信息的判断,所以当将单目场景图像作为判别器的条件与深度图图像同时输入到判别器时,会使得模型同样受到上述因素的影响从而出现深度误判的影响。图6所示为生成对抗网络的判别器使用非条件判别器和条件判别器时的效果对比,第三列为非条件生成对抗网络模型测试结果,第四列为条件生成对抗网络模型测试结果,根据框中的深度信息对比,可以明显发现非条件生成对抗网更适用于深度估计。同时如表1实验6(条件生成对抗网络)和实验7(非条件生成对抗网络)评价指标所示,对于深度估计任务,非条件生成对抗网整体上更由于条件生成对抗网。
5、采用不同方法合成的深度图图像的效果对比:
如表2所示,基于生成对抗网络的单目图像深度估计方法优于目前存在的其他的单目场景深度估计方法。
表2单目场景图像深度估计现有方法的客观评价指标对比
以上具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于生成对抗网络的图像深度估计方法,其特征在于,包括如下步骤:
采集场景RGB-D图像,构建场景RGB-D图像数据集,其中,所述RGB-D图像数据集中的彩色图像作为单目场景图像;
构建基于生成对抗网络的单目场景图像深度估计模型,将所述单目场景图像输入到网络模型中,通过训练和迭代反馈,将所述单目场景图像转换为最终合成的深度图图像;
其中,所述网络模型包括生成器和判别器;所述生成器网络由resent-50作为编码器,5个上卷积层作为解码器;所述判别器的卷积核均为4*4;
所述将所述单目场景图像转换为合成的深度图图像的具体步骤为:
将所述单目场景图像输入所述生成器,所述生成器输出合成的深度图图像;
将所述合成的深度图图像以及真实的深度图图像输入到所述判别器,用以判别输入到所述判别器的深度图图像的真假;
通过损失函数优化所述网络模型,得到所述最终合成的深度图图像;
其中,所述的损失函数包括:
在生成器中添加的GAN loss损失函数,用以使得合成的深度图图像更接近于真实的深度图图像;在所述合成的深度图图像和所述真实的深度图图像之间添加ssim损失函数,用以保持所述单目场景图像转换为所述合成的深度图图像的结构不变性;在所述合成的深度图图像和所述真实的深度图图像之间添加尺度不变损失函数,用以使得所述网络模型在同一场景的不同尺度情况下能够准确预测场景深度;
其中,所述GAN loss损失函数具体为:采用最小二乘损失函数结合梯度惩罚项:
LDGAN(G,D)=LGAN(G,D)+λLgp, 式中,λ为控制梯度惩罚的贡献,α是一个介于0到1之前的随机值,D为判别器,表示随机变量x服从Pdata概率分布的期望值,G为生成器,LGAN(G,D)为最小二乘损失函数,Lgp为梯度惩罚,为合成的深度图图像G(x)与真实的深度图图像y的混合;
所述ssim损失函数具体为:
式中,x为单目场景图像,G(x)为网络模型根据单目场景图合成的深度图图像,y为单目场景图对应的真实的深度图图像,N为单目场景图像的像素的总数目,为合成的深度图图像的均值,μy为真实的深度图图像y的均值,σy为真实的深度图图像y的标准差,为合成的深度图图像的标准差,为合成的深度图图像和真实的深度图图像y的协方差,c1、c2为常数;
所述单目场景图像合成最终的深度图图像过程中总的损失函数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810806067.2A CN109166144B (zh) | 2018-07-20 | 2018-07-20 | 一种基于生成对抗网络的图像深度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810806067.2A CN109166144B (zh) | 2018-07-20 | 2018-07-20 | 一种基于生成对抗网络的图像深度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109166144A CN109166144A (zh) | 2019-01-08 |
CN109166144B true CN109166144B (zh) | 2021-08-24 |
Family
ID=64897967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810806067.2A Active CN109166144B (zh) | 2018-07-20 | 2018-07-20 | 一种基于生成对抗网络的图像深度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109166144B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816764B (zh) | 2019-02-02 | 2021-06-25 | 深圳市商汤科技有限公司 | 图像生成方法及装置、电子设备和存储介质 |
CN110322002B (zh) * | 2019-04-30 | 2022-01-04 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
US10949684B2 (en) | 2019-05-08 | 2021-03-16 | Ford Global Technologies, Llc | Vehicle image verification |
CN110246171B (zh) * | 2019-06-10 | 2022-07-19 | 西北工业大学 | 一种实时单目视频深度估计方法 |
CN110443843A (zh) * | 2019-07-29 | 2019-11-12 | 东北大学 | 一种基于生成对抗网络的无监督单目深度估计方法 |
CN110706328B (zh) * | 2019-08-21 | 2020-12-18 | 重庆特斯联智慧科技股份有限公司 | 一种基于gan网络的三维场景虚拟生成方法和系统 |
CN110910486B (zh) * | 2019-11-28 | 2021-11-19 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
CN111552911B (zh) * | 2020-03-17 | 2023-06-02 | 东南大学 | 一种基于多场景生成的技术线损影响因素定量分析方法 |
CN111353995B (zh) * | 2020-03-31 | 2023-03-28 | 成都信息工程大学 | 一种基于生成对抗网络的宫颈单细胞图像数据生成方法 |
CN111862028B (zh) * | 2020-07-14 | 2021-04-09 | 南京林业大学 | 基于深度相机和深度学习的木材缺陷检测分选装置及方法 |
CN112132010A (zh) * | 2020-09-22 | 2020-12-25 | 江西吉为科技有限公司 | 一种基于深度图质量增强的低精度三维人脸识别方法 |
CN112932482A (zh) * | 2021-01-28 | 2021-06-11 | 南通帕克医用材料有限公司 | 一种基于单目相机识别的穿刺技术 |
CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
CN113505885B (zh) * | 2021-06-29 | 2024-05-03 | 中国科学院深圳先进技术研究院 | 基于预设的损失函数的单目深度估计网络的训练方法 |
US12026956B1 (en) * | 2021-10-28 | 2024-07-02 | Zoox, Inc. | Object bounding contours based on image data |
CN114219900B (zh) * | 2022-02-21 | 2022-07-01 | 北京影创信息科技有限公司 | 基于混合现实眼镜的三维场景重建方法、重建系统和应用 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018046964A1 (en) * | 2016-09-12 | 2018-03-15 | Ucl Business Plc | Predicting depth from image data using a statistical model |
CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9275078B2 (en) * | 2013-09-05 | 2016-03-01 | Ebay Inc. | Estimating depth from a single image |
KR102146398B1 (ko) * | 2015-07-14 | 2020-08-20 | 삼성전자주식회사 | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 |
WO2018022752A1 (en) * | 2016-07-27 | 2018-02-01 | James R. Glidewell Dental Ceramics, Inc. | Dental cad automation using deep learning |
CN107577985B (zh) * | 2017-07-18 | 2019-10-15 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
-
2018
- 2018-07-20 CN CN201810806067.2A patent/CN109166144B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018046964A1 (en) * | 2016-09-12 | 2018-03-15 | Ucl Business Plc | Predicting depth from image data using a statistical model |
CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
Non-Patent Citations (6)
Title |
---|
Depth Map Prediction from a Single Image using a Multi-Scale Deep Network;David Eigen 等;《arXiv:1406.2283v1》;20140609;第1-9页第3节 * |
Depth Prediction from a Single Image with Conditional Adversarial Networks;Hyungjoo Jung 等;《2017 IEEE International Conference on Image Processing》;20180222;第1717-1721页第2节、图2-3 * |
Hyungjoo Jung 等.Depth Prediction from a Single Image with Conditional Adversarial Networks.《2017 IEEE International Conference on Image Processing》.2018,第1717-1721页. * |
Improved Training of Wasserstein GANs;Ishaan Gulrajani 等;《arXiv:1704.00028v3》;20171225;第1-20页第4节 * |
Multi-scale adversarial network for underwater image restoration;Jingyu Lu 等;《Optics and Laser Technology》;20180713;第105-113页第3节 * |
基于深层卷积神经网络的单目红外图像深度估计;许路 等;《光学学报》;20160731;第36卷(第7期);第0715002-1-0715002-10页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109166144A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166144B (zh) | 一种基于生成对抗网络的图像深度估计方法 | |
Laga et al. | A survey on deep learning techniques for stereo-based depth estimation | |
Bautista et al. | Gaudi: A neural architect for immersive 3d scene generation | |
Yang et al. | Dense depth posterior (ddp) from single image and sparse range | |
US11232286B2 (en) | Method and apparatus for generating face rotation image | |
CN110555434B (zh) | 一种局部对比和全局指导的立体图像视觉显著性检测方法 | |
WO2019223382A1 (zh) | 单目深度估计方法及其装置、设备和存储介质 | |
CN109716393A (zh) | 用于创建虚拟3d模型的方法和系统 | |
CN111783582A (zh) | 一种基于深度学习的无监督单目深度估计算法 | |
CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
CN112560757B (zh) | 端到端多视角三维人体姿态估计方法、系统及存储介质 | |
WO2023080921A1 (en) | Neural radiance field generative modeling of object classes from single two-dimensional views | |
CN112037310A (zh) | 基于神经网络的游戏人物动作识别生成方法 | |
CN112489119B (zh) | 一种增强可靠性的单目视觉定位方法 | |
Memisevic et al. | Stereopsis via deep learning | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
CN111310821A (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
CN116342776A (zh) | 三维场景解耦方法、电子设备及存储介质 | |
Kashyap et al. | Sparse representations for object-and ego-motion estimations in dynamic scenes | |
Hara et al. | Enhancement of novel view synthesis using omnidirectional image completion | |
Zhang et al. | Unsupervised learning of monocular depth and ego-motion with space–temporal-centroid loss | |
CN114820755B (zh) | 一种深度图估计方法及系统 | |
CN113096206B (zh) | 基于注意力机制网络的人脸生成方法、装置、设备及介质 | |
Fang et al. | Integrating Gaussian mixture model and dilated residual network for action recognition in videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |