CN110415288B - 深度图像生成方法、装置及计算机可读存储介质 - Google Patents
深度图像生成方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110415288B CN110415288B CN201910704402.2A CN201910704402A CN110415288B CN 110415288 B CN110415288 B CN 110415288B CN 201910704402 A CN201910704402 A CN 201910704402A CN 110415288 B CN110415288 B CN 110415288B
- Authority
- CN
- China
- Prior art keywords
- depth image
- image generation
- actual
- depth
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 239000011800 void material Substances 0.000 description 14
- 239000013598 vector Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像技术领域，公开了一种深度图像生成方法、装置及计算机可读存储介质。其中，深度图像生成方法，包括：获取多个深度传感器拍摄的实际深度图像形成实际深度图像集，所述实际深度图像具有不包含深度数据的空洞区域；构建深度图像生成模型，将所述实际深度图像集输入所述深度图像生成模型，训练所述深度图像生成模型学习所述实际深度图像集中空洞区域的分布；获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像。本发明实施方式所提供的深度图像生成方法、装置及计算机可读存储介质具有使得生成的虚拟深度图像更接近真实深度传感器采集到的实际深度图像的优点。
Description
技术领域
本发明涉及图像技术领域，特别涉及一种深度图像生成方法、装置及计算机可读存储介质。
背景技术
深度传感器已经得到了普遍的运用，例如，自动驾驶，增强现实和场景重建等。尽管深度传感器越来越先进，然而商用级别的深度传感器在采集数据时，受到物体材质(如全黑色，玻璃全透明)，环境因素(灯光或者阳光照射在物体表面)以及深度传感器本身采集精度的影响，造成了采集的深度图有空洞区域，即空洞区域处无深度数据。如图1、图2、图3所示；其中，图1为实际图像，图2为该实际图像对应的实际深度图像，图3为深度传感器采集的深度图像(白色部分为空洞区域)。总的来说，使用深度传感器采集的深度图一般都带有空洞区域。
近年来，深度学习普遍运用在各个领域。基于数据驱动深度学习算法需要大量的数据来训练神经网络，然而，大量数据采集和标注是十分耗费人力物力的，进而，一些人工生成的图像，即使用计算机动画等技术生产的虚拟图像，越来越多的用于训练神经网络。然而，虚拟深度图像的深度数据与真实深度传感器采集的实际深度图像相比，虚拟深度图像并不存在深度数据缺失的情况、也没有空洞区域；当使用虚拟深度图像训练神经网络模型，神经网络模型训练完成后，在真实场景中使用时，由于真实场景采集得到的深度图是有空洞区域的，导致使用过程中容易出现错误。为了解决这个问题，现有技术中通常在虚拟深度图像中随机的制造空洞区域，如依照高斯分布对图片人为制造空洞区域。
然而，本发明的发明人发现，在不同场景下，空洞区域的分布是不同的，这样人为制造的带空洞区域的虚拟深度图像与真实深度传感器采集到的实际深度图像有很大的差距。
发明内容
本发明实施方式的目的在于提供一种深度图像生成方法、装置及计算机可读存储介质，使得生成的虚拟深度图像更接近真实深度传感器采集到的实际深度图像。
为解决上述技术问题，本发明的实施方式提供了一种深度图像生成方法，包含以下步骤：获取多个深度传感器拍摄的实际深度图像形成实际深度图像集，所述实际深度图像具有不包含深度数据的空洞区域；构建深度图像生成模型，将所述实际深度图像集输入所述深度图像生成模型，训练所述深度图像生成模型学习所述实际深度图像集中空洞区域的分布；获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像。
本发明的实施方式还提供了一种深度图像生成装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述的深度图像生成方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现前述的深度图像生成方法。
本发明实施方式相对于现有技术而言，获取多个具有空洞区域的实际深度图像形成实际深度图像集，将实际深度图像集输入构建的深度图像生成模型中、对深度图像生成模型进行数据训练，在数据训练的过程中，深度图像生成模型逐渐学习实际深度图像中的空洞区域的分布规律，获取训练完成的深度图像生成模型输出的深度图像作为目标深度图像，即可使得目标深度图像中的空洞区域分布更接近真实深度传感器采集到的实际深度图像中的空洞区域分布。
另外，所述将所述实际深度图像集输入所述深度图像生成模型前，还包括：根据所述空洞区域对所述实际深度图像集中的实际深度图像进行分类，得到多个子实际深度图像集；所述将所述实际深度图像集输入所述深度图像生成模型中，训练所述深度图像生成模型学习所述实际深度图像集中空洞区域的分布，具体包括：将所述多个子实际深度图像集输入多个所述深度图像生成模型中，其中，每个所述子实际深度图像集输入与之对应的一个所述深度图像生成模型中，分别训练各个所述深度图像生成模型学习与之对应的所述子实际深度图像集的空洞区域的分布。由于实际深度图像中生成空洞区域的原因有多种，多种不同原因生成的空洞区域的性质也不相同，对实际深度图像进行分类，使用不同类型的实际深度图像对不同的深度图像生成模型分别进行数据训练，可以有效的简化数据训练的过程的同时、使得训练完成的多个深度图像生成模型所产生的深度图像中的空洞区域与实际深度图像中的空洞区域更为相似。
另外，所述对所述实际深度图像进行分类，具体包括：所述根据所述空洞区域对所述实际深度图像集进行分类，具体包括：获取所述实际深度图像集中各个所述实际深度图像中空洞区域面积占比；根据所述空洞区域面积占比的大小对所述实际深度图像集进行分类。由于不同原因产生的空洞区域的大小不同，通过各个实际深度图像中空洞区域面积占比的大小对实际深度图像进行分类，可以将不同原因的产生的不同类型的空洞区域进行区分。
另外，所述获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像，具体包括：分别获取训练完成的所述多个深度图像生成模型输出的深度图像、得到多个目标深度图像。
另外，所述得到多个目标深度图像后，还包括：融合所述多个目标深度图像。将多个目标深度图像融合，由于各个目标深度图像中的空洞区域类型各不相同，合成后的目标深度图像中即可包含所有类型的空洞区域。
另外，所述融合所述多个不同类型的目标深度图像，具体包括：获取所述多个目标深度图像中的空洞区域，得到多个空洞区域图像；将所述多个空洞区域图像分别映射到各个所述目标深度图像中。
另外，所述构建深度图像生成模型，具体包括：构建生成式对抗网络模型。
另外，所述构建深度图像生成模型，具体包括：构建深度卷积对抗生成网络模型。
附图说明
图1是摄像机拍摄的实际图像；
图2是图1中的实际图像对应的深度图像；
图3是深度传感器拍摄的实际深度图像；
图4是本发明第一实施方式所提供的深度图像生成方法的程序流程图；
图5是本发明第二实施方式所提供的深度图像生成方法的程序流程图；
图6是本发明第三实施方式所提供的深度图像生成方法的程序流程图；
图7是本发明第四实施方式所提供的深度图像生成装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种深度图像生成方法。具体流程如图4所示，包括以下步骤：
步骤S101：获取多个深度传感器拍摄的实际深度图像形成实际深度图像集。
具体的，在本步骤中，实际深度图像为深度传感器实际拍摄的深度图像。可以理解的是，为了便于神经网络学习实际深度图像中的空洞区域分布，本申请中获取的实际深度图像中至少部分实际深度图像中包含空洞区域。其中，空洞区域为不包含深度数据的区域。
步骤S102：构建深度图像生成模型。
具体的，在本步骤中，深度图像生成模型为深度学习网络模型，其可以通过对大量样本的分析，获取样本中的数据分布规律。
具体的，在本实施方式中，深度图像生成模型为生成式对抗网络模型。可以理解的是，深度图像生成模型为生成式对抗网络模型仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，深度图像生成模型也可以是其它的模型，如深度卷积对抗生成网络模型、神经网络模型等，在此不进行一一列举，具体可以根据实际需要进行灵活的设定。
步骤S103：将实际深度图像集输入深度图像生成模型，训练深度图像生成模型学习实际深度图像集中空洞区域的分布。
具体的，在本实施方式中，将实际深度图像集输入深度图像生成模型中，通过实际深度图像集中的深度图像训练深度图像生成模型。由于至少部分实际深度图像中包含空洞区域，深度图像生成模型在训练的过程中对实际深度图像进行分析，并对空洞区域的分布进行学习。
下面以实际深度图像为生成式对抗网络进行详细的说明，可以理解的是，下述仅为训练生成式对抗网络的步骤的举例说明，并不构成限定。
生成式对抗网络(Generative Adversarial Networks，简称GAN)，其基本原理为：通过让两个神经网络相互博弈的方式进行学习，从而达到生成可以以假乱真的图片的目的。在GAN中，有两个网络，分别是G(Generator)网络和D(Discriminator)网络，它们的功能分别是：G网络用于生成图片，G网络接受一个随机的噪声z，如高斯噪声等，通过噪声z生成图片，在本实施方式中为深度图像，记做G(z)。D网络用于判别一张图片是不是“真实的”。它输入的参数是x，x代表一张图片，在本实施方式中为深度图像，在本实施方式中为深度图片，输出记为D(x)，代表x为真实图片的概率，如果为1，就代表100％是真实的图片，如果为0，就代表不可能是真实的图片。在训练GAN的过程中，G网络的目标就是尽量生成真实的图片去欺骗D网络；而D网络的目标是尽量把G网络生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)；对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z))＝0.5。这样，训练完毕后，我们得到了一个G网络，它可以用来生成图片。
在本实施方式中，假设用于训练的实际深度图像为x，空洞区域的分布为Pdata(x)，G网络可以学习到空洞区域分布Pdata(x)。噪声z的分布设为pz(z)，pz(z)是已知的，而空洞区域的分布Pdata(x)是未知的。在理想情况下，G网络将已知分布的噪声z映射到了未知分布的空洞区域上，G网络根据噪声z生成的深度图像G(z)中的空洞区域的分布应该尽可能接近实际深度图像中的空洞区域分布Pdata(x)。
根据交叉熵损失，可以构造下面的损失函数；
其中，
是指在实际深度图像中取得真实样本，而
是指从已知的噪声z中提取的样本。根据上述损失函数，D(x)表示D网络判断实际深度图像是否真实的概率(因为实际深度图像x是真实的，所以对于D网络来说，这个值越接近1越好)。而D(G(z))是D网络判断G网络根据噪声z生成的深度图像是否真实的概率。由于G网络希望自己生成的图片“越接近真实越好”；因此，G网络希望D(G(z))尽可能得大，这时损失函数V(D，G)会变小；而D网络的能力越强，D(x)应该越大，D(G(x))应该越小，这时损失函数V(D，G)会变大。
在本实施方式中，使用梯度下降法，对D网络和G网络交替做优化详细的步骤为：
从已知的噪声分布Pz(z)中选出一些样本z(1)，z(2)，…，z(m)。
从实际深度图像中选出同样个数的真实图片x(1)，x(2)，…，x(m)。
设D网络的参数为θd，D网络梯度为；
设G网络的参数为θg，G网络梯度为；
在本实施方式中，每对D网络的参数θd更新一次，便接着更新一次G网络的参数θg。可以理解的是，在本发明的其他实施方式中，也可以是对D网络的参数θd更新多次后再更新一次G网络的参数θg。具体可以根据实际需要进行灵活的设定。
此外，当深度图像生成模型为深度卷积生成式对抗网络时，训练过程如下。可以理解的是，下述仅为训练深度卷积生成式对抗网络的步骤的举例说明，并不构成限定。
深度卷积生成式对抗网络与生成式对抗网络的原理基本相同，其同样包括用于生成图片的G网络和用于判定的D网络。在深度卷积生成式对抗网络中，G网络获取噪声z，将噪声z经由变形(reshape)函数投影到4x4大小，得到一个1024维的向量，其中，reshape函数一般由机器学习工具包如pytorch或者TensorFlow组成。其运算过程如下，例如：设张量t为：t＝[1，2，3，4，5，6，7，8，9]；reshape(t，[3，3])表示将张量t变为3x3形式的张量，其结果如下：
在上文中，噪声z是一个1x 16384的张量，通过reshape函数，输出的是4x4x1024的张量。将输出的4x4x1024的张量进行多次5x5的反卷积运算，最后生成64x64大小3维的向量，即生成的64x64带三个通道的图片。
D网络输入是64x64带三个通道的图片，即64x64大小3维的向量，将输入图片重复进行5x5的卷积，得到的结果为1x1的1维的向量，即常数，范围为[0，1]。D网络输出的常数越大，则输入D网络的图片为真的概率越大。
其中卷积的定义为：通过两个函数x和h生成第三个函数的一种数学算子，一般记为*。卷积可分为一维卷积和二维卷积，三维卷积，多维卷积操作。在这儿我们处理的是图像数据，即函数x和函数h是离散函数。其中对于离散函数来说：
其中，
指的是张量积操作，n和i都是张量。在处理深度图像时，n指的是输入的深度图片上的像素张量值，i指的是步长(stride)张量。一般上，h(x)函数称为卷积核，卷积核也是一个张量，如3x3，5x5卷积核指的是卷积核张量维度。而反卷积是卷积的一个逆过程。下面进行粗略说明。
具体的，输入x(n)是一个张量，可以展开成一个列向量X，输出可以展开成一个列向量Y，对于输入的元素矩阵X和输出的元素矩阵Y，即卷积后的输出结果，用矩阵运算描述这个卷积过程为Y＝CX，其卷积算子实际操作记为公式Y＝CX的右端过程。而反卷积实际为，输入Y，输出X的过程，即X＝CTY。反卷积实际上是一种特殊的卷积，也就是说反卷积也是一种卷积，但是特殊的卷积形式。
步骤S104：获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像。
具体的，在本实施方式中，如果图片生成模型为GAN模型，则向GAN模型中输入噪声，如高斯噪声等，获取GAN模型输出的深度图像作为目标深度图像。
可以理解的是，在本实施方式中，使用多个带空洞区域的实际深度图像对深度图像生成模型进行数据训练的过程，即深度图像生成模型学习空洞区域分布的过程，深度图像生成模型在训练完成后，其所生成的深度图像中也会带有空洞区域，即生成带空洞区域的深度图像。
与现有技术相比，本发明第一实施方式中构建图片生成模型，并使用具有空洞区域的实际深度图像对图片生成模型进行数据训练，将训练完成后深度图像生成模型输出的深度图像作为目标深度图像。由于训练完成后的深度图像生成模型可以模拟实际深度图像中的空洞区域分布，从而使得训练完成后的深度图像生成模型生成的虚拟深度图像更接近真实深度传感器采集到的实际深度图像。
本发明的第二实施方式涉及一种深度图像生成方法。第二实施方式与第一实施方式大致相同，具体步骤如图5所述，包括以下步骤：
步骤S201：获取多个深度传感器拍摄的实际深度图像形成实际深度图像集。
具体的，在本步骤中，实际深度图像为深度传感器实际拍摄的深度图像。可以理解的是，为了便于神经网络学习实际深度图像中的空洞区域分布，本申请中获取的实际深度图像中至少部分实际深度图像中包含空洞区域。其中，空洞区域为不包含深度数据的区域。
步骤S202：根据空洞区域对多个实际深度图像进行分类，得到多个子实际深度图像集。
具体的，在本实施方式中，获取实际深度图像集中各个实际深度图像中空洞区域面积占比；根据空洞区域面积占比的大小对实际深度图像集进行分类。
其中，空洞区域面积占比＝空洞区域像素面积大小/整张深度图像的像素面积大小。
进一步的，在本实施方式中，预先设定阈值，将空洞区域面积占比大于阈值的实际深度图像分为一类实际深度图像、将空洞区域面积占比小于或等于阈值的实际深度图像分为另一类实际深度图像。可以理解的是，上述仅为本实施方式中的一种具体的分类方法的举例说明，并不构成限定。
步骤S203：构建深度图像生成模型。
具体的，在本实施方式中，由于将实际深度图像集分为了多个字实际深度图像集，因此，在本步骤中，需要构建多个深度图像生成模型。可以理解的是，多个深度图像生成模型可以为相同种类的深度图像生成模型、也可以是不同种类的深度图像生成模型，具体可以根据实际需要进行灵活的设定。
步骤S204：将多个子实际深度图像集输入多个深度图像生成模型中，分别训练各个深度图像生成模型学习与之对应的子实际深度图像集的空洞区域的分布。
具体的，在本步骤中，每个子实际深度图像集输入到与之对应的一个深度图像生成模型中。即子实际深度图像集A输入到深度图像生成模型a中、子实际深度图像集B输入到深度图像生成模型b中、子实际深度图像集C输入到深度图像生成模型c中。使用不同的子实际深度图像集训练对应的深度图像生成模型学习该子实际深度图像集的空洞区域的分布。即通过子实际深度图像集A训练深度图像生成模型a、子实际深度图像集B训练深度图像生成模型b、子实际深度图像集C训练深度图像生成模型c。
需要说明的是，具体的模型训练过程如第一实施方式的步骤S103所述，在此不进行赘述。
步骤S205：获取训练完成的多个深度图像生成模型输出的深度图像、得到多个目标深度图像。
具体的，在本步骤中，各个训练完成的深度图像生成模型均可以输出带空洞的深度图像。训练完成的深度图像生成模型输出的深度图像均可以作为目标深度图像。
与现有技术相比，本发明第二实施方式所提供的深度图像生成方法，在保留第一实施方式的全部技术效果的同时，对实际深度图像集中的实际深度图像进行分类，得到多个子实际深度图像集，将空洞区域分布更为接近的实际深度图像作为一个子实际深度图像集对深度图像生成模型进行数据训练，可以有效的提升深度图像生成模型训练的速度。此外，还可以使得训练完成后的深度图像生成模型输出的虚拟深度图像与实际深度图像中的空洞区域的分布更为接近。
本发明的第三实施方式涉及一种深度图像生成方法。第三实施方式与第一实施方式大致相同，具体步骤如图6所述，包括以下步骤：
步骤S301：获取多个深度传感器拍摄的实际深度图像形成实际深度图像集。
步骤S302：根据空洞区域对多个实际深度图像进行分类，得到多个子实际深度图像集。
步骤S303：构建深度图像生成模型。
步骤S304：将多个子实际深度图像集输入多个深度图像生成模型中，分别训练各个深度图像生成模型学习与之对应的子实际深度图像集的空洞区域的分布。
步骤S305：获取训练完成的多个深度图像生成模型输出的深度图像、得到多个目标深度图像。
需要说明的是，本发明第三实施方式中的步骤S301至步骤S305与第二实施方式中的步骤S201至步骤S205大致相同，具体可以参照第二实施方式的具体说明，在此不再赘述。
步骤S306：融合多个目标深度图像。
具体的，在本步骤中，融合多个目标深度图像的方法是取并集，即最后的结果等于这多个目标深度图像的并集。
其中，所谓取并集，即获取多个目标深度图像中的空洞区域，得到多个空洞区域图像；将所述多个空洞区域图像分别映射到各个目标深度图像中。
例如，将目标深度图像类比为矩阵，空洞区域的像素记为0，非空洞区域的像素记为1；两个目标深度图像分别对应为
则融合后为
与现有技术相比，本发明第三实施方式所提供的深度图像生成方法，在保留第二实施方式的全部技术效果的同时，将多个目标深度图像进行融合，使得融合后得到的结果中包含所有类型的空洞区域；进一步的提升生成的虚拟深度图像与实际深度图像中空洞分布的相似度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，或者是对不同步骤之间进行顺序的调换，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种深度图像生成装置，如图7所示，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行如上述深度图像生成方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种深度图像生成方法，其特征在于，包括：
获取多个深度传感器拍摄的实际深度图像形成实际深度图像集，所述实际深度图像具有不包含深度数据的空洞区域；
根据所述空洞区域对所述实际深度图像集中的实际深度图像进行分类，得到多个子实际深度图像集；
构建深度图像生成模型，将所述实际深度图像集输入所述深度图像生成模型，训练所述深度图像生成模型学习所述实际深度图像集中空洞区域的分布；
获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像；
其中，所述将所述实际深度图像集输入所述深度图像生成模型中，训练所述深度图像生成模型学习所述实际深度图像集中空洞区域的分布，具体包括：
将所述多个子实际深度图像集输入多个所述深度图像生成模型中，其中，每个所述子实际深度图像集输入与之对应的一个所述深度图像生成模型中，分别训练各个所述深度图像生成模型学习与之对应的所述子实际深度图像集的空洞区域的分布。
2.根据权利要求1所述的深度图像生成方法，其特征在于，所述根据所述空洞区域对所述实际深度图像集进行分类，具体包括：
获取所述实际深度图像集中各个所述实际深度图像中空洞区域面积占比；
根据所述空洞区域面积占比的大小对所述实际深度图像集进行分类。
3.根据权利要求1所述的深度图像生成方法，其特征在于，所述获取训练完成的所述深度图像生成模型输出的深度图像作为目标深度图像，具体包括：
分别获取训练完成的所述多个深度图像生成模型输出的深度图像、得到多个目标深度图像。
4.根据权利要求3所述的深度图像生成方法，其特征在于，所述得到多个目标深度图像后，还包括：
融合多个所述目标深度图像。
5.根据权利要求4所述的深度图像生成方法，其特征在于，所述融合多个所述目标深度图像，具体包括：
获取多个所述目标深度图像中的空洞区域，得到多个空洞区域图像；
将多个所述空洞区域图像分别映射到各个所述目标深度图像中。
6.根据权利要求1所述的深度图像生成方法，其特征在于，所述构建深度图像生成模型，具体包括：
构建生成式对抗网络模型。
7.根据权利要求1所述的深度图像生成方法，其特征在于，所述构建深度图像生成模型，具体包括：
构建深度卷积对抗生成网络模型。
8.一种深度图像生成装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度图像生成方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704402.2A CN110415288B (zh) | 2019-07-31 | 2019-07-31 | 深度图像生成方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704402.2A CN110415288B (zh) | 2019-07-31 | 2019-07-31 | 深度图像生成方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110415288A CN110415288A (zh) | 2019-11-05 |
| CN110415288B true CN110415288B (zh) | 2022-04-08 |
Family
ID=68364996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910704402.2A Active CN110415288B (zh) | 2019-07-31 | 2019-07-31 | 深度图像生成方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415288B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096311A (zh) * | 2014-07-01 | 2015-11-25 | 中国科学院科学传播研究中心 | 基于gpu的深度图修复和虚实场景结合技术 |
| KR101781942B1 (ko) * | 2016-03-08 | 2017-10-23 | 숭실대학교산학협력단 | 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 |
| CN107403447B (zh) * | 2017-07-14 | 2020-11-06 | 梅卡曼德（北京）机器人科技有限公司 | 深度图像获取方法 |
| US10726304B2 (en) * | 2017-09-08 | 2020-07-28 | Ford Global Technologies, Llc | Refining synthetic data with a generative adversarial network using auxiliary inputs |
| CN107945282B (zh) * | 2017-12-05 | 2021-01-29 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 基于对抗网络的快速多视角三维合成和展示方法及装置 |
| CN109598287B (zh) * | 2018-10-30 | 2021-06-08 | 中国科学院自动化研究所 | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 |
| CN109753998A (zh) * | 2018-12-20 | 2019-05-14 | 山东科技大学 | 基于对抗式生成网络的故障检测方法及系统、计算机程序 |
-
2019
- 2019-07-31 CN CN201910704402.2A patent/CN110415288B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110415288A (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
| Mayer et al. | What makes good synthetic training data for learning disparity and optical flow estimation? | |
| CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
| CN108647585A (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
| US20220261659A1 (en) | Method and Apparatus for Determining Neural Network | |
| CN110570352A (zh) | 图像标注方法、装置、系统及细胞标注方法 | |
| CN110414526A (zh) | 语义分割网络的训练方法、训练装置、服务器和存储介质 | |
| CN113435456A (zh) | 基于机器学习的岩石薄片组分识别方法、装置及介质 | |
| KR20150114950A (ko) | 이미지 스트림의 프레임 레이트 증가 | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| Chai et al. | A one-to-many conditional generative adversarial network framework for multiple image-to-image translations | |
| CN115631489A (zh) | 一种三维语义场景补全方法、装置、设备及介质 | |
| Akhyar et al. | A beneficial dual transformation approach for deep learning networks used in steel surface defect detection | |
| CN114462486A (zh) | 图像处理模型的训练方法、图像处理方法及相关装置 | |
| CN112906517A (zh) | 一种自监督的幂律分布人群计数方法、装置和电子设备 | |
| CN110415288B (zh) | 深度图像生成方法、装置及计算机可读存储介质 | |
| CN113963428B (zh) | 模型训练方法、遮挡检测方法、系统、电子设备及介质 | |
| CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 | |
| Hu et al. | Binary adaptive semi-global matching based on image edges | |
| CN113379787B (zh) | 基于3d卷积孪生神经网络和模板更新的目标跟踪方法 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN114998172A (zh) | 图像处理方法及相关系统 | |
| CN108830860B (zh) | 一种基于rgb-d约束的双目图像目标分割方法和装置 | |
| Zhang et al. | Lead: Lidar extender for autonomous driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231019 Address after: Room 318, No. 9, Zhifeng Street, Huangpu District, Guangzhou, Guangdong 510799 Patentee after: Data Robotics (Guangzhou) Co.,Ltd. Address before: 100102 room 449, 4th floor, building 2, courtyard 85, Hong'an Road, Fangshan District, Beijing Patentee before: CLOUDMINDS (BEIJING) TECHNOLOGIES Co.,Ltd. |