CN113850900B - 三维重建中基于图像和几何线索恢复深度图的方法及系统 - Google Patents
三维重建中基于图像和几何线索恢复深度图的方法及系统 Download PDFInfo
- Publication number
- CN113850900B CN113850900B CN202110583939.5A CN202110583939A CN113850900B CN 113850900 B CN113850900 B CN 113850900B CN 202110583939 A CN202110583939 A CN 202110583939A CN 113850900 B CN113850900 B CN 113850900B
- Authority
- CN
- China
- Prior art keywords
- depth
- depth map
- point
- map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 2
- 230000008859 change Effects 0.000 claims 1
- 238000011084 recovery Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种三维重建中基于图像和几何线索恢复深度图的方法及系统，通过构建语境编码器和基于门控循环单元的迭代算法来优化深度图；系统包括：深度特征提取模块，深度估计模块，法线估计模块，深度图优化模块。本发明适用于多源数据，利用语境编码器编码图片的几何线索信息，指导基于GRU的迭代循环和多尺度优化，同时优化深度图和法线图，提升在深度的平滑性和边界准确性，从而达到更高的深度恢复精度。
Description
技术领域
本发明属于计算机视觉技术领域，涉及图像处理三维重建方法，尤其涉及一种三维重建中基于图像和几何线索恢复深度图像的方法及其系统，是一种多视角图像深度图的估计技术，可以提高深度图估计的准确度。
背景技术
三维重建是指对三维物体建立适合计算机处理的数学模型。三维重建广泛应用于各种领域。在工业领域，三维重建广泛用于自动驾驶、导航、智慧城市的地图构建。在科学教育领域，三维重建广泛用于文物、雕塑、建筑等的数字化，方便后期的虚拟修复、数据研究交流、虚拟现实博物馆建设。在游戏、娱乐、AR/VR等等领域三维重建也有着重要作用，三维重建可以将经过扫描重建后的三维模型直接应用到AR、VR或游戏电影场景中，大大减少了建模的复杂度，也能提升模型的真实感。
在2018年，MVSNet,DeepMVS相继提出了以平面扫描算法构建代价空间作为输入的方法。这种方法可以将多视角几何中的单应平面思想嵌入到深度网络中，用可微的单应几何构造输入，达到了当时的最好结果。而且，这种方法不仅仅可以用于两视角图像，可以非常方便地扩展到任意N个视角图像。DeepMVS使用相机位姿数据和平面扫描算法计算代价空间作为网络的输入，然后使用编码器-解码器网络预测初始深度特征。在深度预测步骤中，它们将参考图像特征连接到解码器输入，作为内在特征帮助解码深度图，并且每个输入图像的代价通过最大池化作为多视图匹配的信息。
现有的传统恢复深度图像方法的计算资源消耗大，而且用时很长，很难满足大部分应用的需求。而目前的深度学习方法在恢复图像边界的准确度和深度的平滑性上存在问题，导致在恢复出深度图的精度与真实的深度存在一定误差，而且现有方法大多未估计法线图，在后续的三维重建中会造成场景边界、平面失真等问题。
发明内容
本发明的目的是提供一种三维重建中基于图像和几何线索恢复深度图的方法及系统，进行准确且快速的多视角图片深度估计，用来解决图片的深度估计不够准确的问题，通过深度估计可以进行基于图像的三维重建。本发明方法能够从多方面解决深度图的边界恢复问题，从而提高深度估计的准确度。
由于真实的三维空间存在几何结构：平面，边界等，这些几何先验对二维深度图具有一定的约束。例如平面投影到深度图上仍是一个平面，且深度满足平滑性；遮挡边界投影到深度图上是一条线段，线段两边的深度不一样。为了达到这样的约束，我们提出了语境编码器和基于门控循环单元的迭代算法来优化深度图像。
为方便起见，本发明定义以下名称及对应参数表示：
初始深度图：Dinit；
稀疏深度图：Ds；
真实深度图：Dgt；
第t次迭代后产生的深度图：Dt；
增广点云：P；
代价空间：Volc；
概率空间：Volp。
本发明的技术方案是：
一种三维重建中基于图像和几何线索恢复深度图像的方法，通过构建语境编码器(也称几何编码器)和基于门控循环单元的迭代算法来优化深度图；具体包括如下步骤。
A.对输入图像进行基于编码器和解码器的深度估计，生成初始深度图Dinit；包括：
A1.采用神经网络对输入图像提取得到图像的深度特征，并采用平面扫描算法构建代价空间Volc；
输入是主视角图片和其他视角图片以及它们对应的位姿。以主视角的位姿来建立坐标系，由于图片上每个像素点的深度未知，将光心与图片上的点连线发射会构成一个锥形体。虽然深度是一个连续的值，但是可以将锥形空间分为一个个平面。如果平行平面足够密集，空间被分割的足够细，那么，空间物体表面上的一点M一定位于众多平行平面中的其中一个平面上。利用多视角几何的知识，可以将锥形空间上的点投影到周围图片上，得到一个体素。那么整个锥形空间内离散的点经过上述操作，就会构成体素空间(Volume)，也称为代价空间Volc。
A2.将代价空间输入编码器-解码器结构，输出不同尺度的深度图，即生成初始深度图Dinit；
我们使用多层卷积来作为编码器(Encoder)，多层反卷积来作为解码器(Decoder)，以此组成编码器-解码器结构来推测深度。编码器的每一层使用3D CNN来进行进一步的特征提取和特征聚合。提取和聚合出的特征被传输到解码器中，经过逐层的上采样，恢复到与原有图片同样的尺寸。在上采样的过程中，每层都会扩大尺寸，并将聚合的特征回归成深度输出。除了常规的编码器-解码器结构外，为了获取更多地图像底层信息，我们使用了跳层连接。将编码器的第一层连接至解码器最后一层的输入，编码器的第二层连接至解码器倒数第二层的输入，依此类推。这样的目的是为了更好地获取低层的逐像素特征。
B.进行基于点云特征的法线图估计；包括：
B1.将A中深度估计得出的初始深度图Dinit反投影回代价空间，形成真实点云；利用相机内参矩阵的逆矩阵乘以深度图可以将齐次二维坐标转换为三维坐标。
B2.在真实点云附近一定距离内增加其余点(周围点)，用来模拟深度估计的误差，构成增广点云P；
具体实施时，为了模拟A步骤估计出的深度图dinit的误差，我们假设初始深度图与真实深度图的差异在一个较小的范围∈内。采用离散化的策略，将从[Dinit-∈,Dinit+∈]的范围划分为5份，每份构成一个三维的周围点。也即我们初始点云的前后增加了一部分点云来模拟深度图带来的误差。
B3.使用图神经网络聚合周围点的深度和特征，输出法线图；
通过在坐标空间构建局部邻域，对每个点表征，然后将特征聚合使用CNN网络输出结果。
C.对初始深度图D进行基于循环迭代的深度图优化，每次迭代时利用几何编码器提取几何线索，得到优化后的深度图；
在每次迭代时，都可以显式地用到上次更新的深度图。我们以上次地深度图作为基准，在其周围构造体素空间，形成特征体素空间。由多视角几何知识，深度估计主要依靠特征之间地相似度。所以我们计算主视角图像上的像素点与投影到邻居图像上的点的特征相似度作为该点体素的值，构成1×D×H×W的体素空间。这里采取的特征相似度是其特征向量夹角的余弦值。将代价空间与初始深度图连接在一起，并通过卷积神经网络提取匹配特征。门控循环单元GRU的一个输入是匹配特征，另一个输入是语境特征编码对应图片的边缘和平面信息。隐层变量是128维向量，经过5-10次的循环迭代，每次迭代都会输出优化后的深度图。
D.进行多源数据的深度图估计，多源数据包括多视角图像，稀疏深度以及点云；得到最终的深度图像。
引入额外信息可以更好地优化深度图。额外信息的引入，例如稀疏深度的输入可以给神经网络的推测带来深度的先验。采用输入为RGBD四通道，其余与步骤A1完全相同的特征提取，同时提取颜色和稀疏深度的特征；引入自注意力机制(本质是相关性矩阵)，增加稀疏点预测误差，使得网络通过训练增加稀疏点处的相关性，能使稀疏点对周围的影响变大。这样稀疏的点可以当作锚点，将其深度传导到周围。
本发明具体实施时，实现了用于恢复深度图像的网络模型系统，包含深度特征提取模块，深度估计模块，法线估计模块，深度图优化模块模块。其中，深度特征提取模块用于采用神经网络对输入图像提取得到图像的深度特征，并采用平面扫描算法构建代价空间；
深度估计模块用于将代价空间输入编码器-解码器结构，输出不同尺度的深度图，即生成初始深度图Dinit；法线估计模块用于进行基于点云特征的法线图估计；深度图优化模块用于对初始深度图Dinit进行基于循环迭代的深度图优化，每次迭代时利用几何编码器提取几何线索，得到优化后的深度图。
与现有技术相比，本发明的有益效果是：
本发明提供一种三维重建中基于图片和几何线索恢复深度图的方法，利用语境编码器编码图片的几何线索信息，指导基于GRU的迭代循环和多尺度优化，同时优化深度图和法线图，本发明通过构建语境编码器和基于门控循环单元的迭代算法来优化深度图，在深度的平滑性和边界的准确性上胜于目前的方法，从而达到更高的深度恢复精度。
本发明提供的技术方案适用于多源数据，其中包括图像、稀疏深度的输入，并用注意力机制提出了一种更好地利用稀疏深度的方法，让网络可以同时利用多视角图片、稀疏深度等信息来更准确地估计深度，在深度图的边界和平面部分取得了更好效果。
附图说明
图1是本发明方法采用的网络模型的结构示意图。
图2是本发明具体实施的多尺度的深度图输出；
其中三个小图分别表示不同尺度下输出的深度图。
图3是采用不同方法进行法线估计的结果实例；
其中，第三列是直接由深度图算出的法线，第四列是我们的方法估计的法线。
图4是采用本发明进行迭代优化结果与不优化的结果对比示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
本发明提供一种三维重建中基于图片和几何线索恢复深度图像的方法，具体实施时，采用本发明方法实现了的深度估计系统以一个目标图像、目标图像稀疏深度(可选)和多张非主视角图像为输入，得到目标图像的深度图；系统包含深度特征提取模块，构造匹配代价模块，代价聚合模块，深度估计模块，法线估计模块，深度图优化模块。本发明方法具体实施包括如下步骤：
步骤A1：
对输入图像提取图像特征，提取出32个通道的匹配特征和64维的语境特征；我们通过深度特征提取模块(具体实施采用残差网络Resnet)来提取图像特征。Resnet通过使用多个有参层来学习输入输出之间的残差表示，而非像一般CNN网络(如Alexnet/VGG等)那样使用有参层来直接尝试学习输入、输出之间的映射。最终我们将3通道的输入图像提取出32个通道的匹配特征和64维的语境特征。
构建代价空间；
接下来，将深度范围内分为一个个平行平面，不同的场景具有不同的深度范围。如果平行平面足够密集，空间被分割的足够细，那么，空间物体表面上的一点M一定位于众多平行平面中的其中一个平面上。图像像素点与相机中心产生一条反投影射线，这条射线与各个平行平面上的交点记为M’，然后将其投影到其他摄影机上得到颜色信息或其他特征，这样就可以构成一个体素(Voxel)。那么整个空间内的点经过上述操作，就会构成体素空间(Volume)，被称为代价空间。由于空间被划分成了平行于摄像机的平面，所以满足单应性。将第1张图片上的点x1，深度为depth，投影到第i张图片上，得到像素坐标xi。其中R，t分别是第1个相机到第i个相机的坐标系的旋转矩阵和平移矩阵，K是摄像机的内参矩阵。
xi＝KRK-1x1 depth+Kt
通过单应性根据照相机的锥形体构建3D的体素作为网络的输入，就可以利用多视角几何将相对位姿(R，t)嵌入到网络中。
步骤A2：
在构建了代价空间后，将进行代价空间聚合。从图像直接计算出的代价空间可能受到噪声误差的影响，需要进行平滑约束才能估计深度。这一步的主要作用是将代价空间进行优化并生成概率空间用于深度估计。采用了编码器解码器来进行这一操作。编码器使用多层卷积，解码器每一层在估计深度时，在第一级卷积中将32通道的代价空间缩减为了8通道，最后一层输出单通道的体素空间。最终使用softmax在深度方向进行了概率归一化以得到概率空间。生成的概率空间既可以用于逐像素的深度估计，同时可用于测量估计的置信度。通过分析置信度分布可以方便地评测深度重建的质量，这可以有效地去除局外点。解码器的每一层都可以输出深度图，由于每一层尺度不同，会产生由小到大的不同尺度的深度图。如图2所示。
步骤B1：
在获得步骤A估计出的深度图D的基础上，就可以利用相机内参矩阵K将初始深度图反投影得到点云P，其中(x，y)是像素点的坐标，K是相机的内参矩阵，Dinit(x，y)指(x，y)点的深度值。
P(x，y)＝K-1*Dinit(x，y)*(x，y，1)
步骤B2：
而后从输入多视角图像中抽取特征来增强点云。而且，为了弥补深度估计的误差，我们在反投影的点云周围增加额外的点，构成新的点云。随后为每个点构建特征，这些特征来源于A1中提取的图像特征，将从图像中获取的特征和归一化的点坐标合并在了一起。
步骤B3：
然后输入到图神经网络(EdgeConv)中进行学习，得到法线图。由于法线图来源于空间上的点，所以这种方法得到的法线图比直接从图像中学习法线图的效果更好。
其中，是对称聚合操作符，hΘ是可学习的非线性函数。
步骤C：
对于估计出的深度图depth上的(x，y)点深度记为depth(x，y)。那么在我们分别在depth(x，y)-k·l，k∈[-2，-1，0，1，2]处做之前的反投影和投影，获得其在周围相机上的特征，组成5×H×W的窄带体素空间，记为F。l是平面之间的间隔，通常比之前构造体素空间时分割间隔要小。本质上是我们已当前估计出的深度为中心，向更近和更远的地方衍生出一条窄带，构成空间上不连续的体素。由于其在空间上不连续，我们需要在特征上在显式地增加维度，即深度和估计出的法线，用来作为整体特征。即Feature＝Concat(F，depth，normal)。这样做有两个好处。一是显式地利用了当前深度，并嵌入了多视角信息。二是细化了单应平面分隔的粒度，使结果更加精确。
步骤C：
上述优化过程会用到之前预测的深度图，那么可以采用迭代的方式来优化深度图。在每次迭代时，都可以显式地用到上次更新的深度图。我们以上次地深度图作为基准，在其周围构造体素空间，形成特征体素空间。由多视角几何知识，深度估计主要依靠特征之间地相似度。所以我们计算该点与邻居帧上的点地特征相似度作为该点体素空间的值，构成1xDxHxW的代价空间。这里采取的特征相似度是其特征向量夹角的余弦值。
在每次迭代中，使用语境编码器编码对应图片的边缘和平面信息，用来指导需要优化的像素位置和像素间的关系。我们注意到，深度图与图片的底层信息紧密相关，深度图的边界与RGB颜色信息的边界是高度一致的。所以我们若要使得深度图的边界更加准确，就需要一个编码器来编码图像的底层信息，作为输出深度图的指导。由此，我们设计了语境编码器作为输出深度图的指导。
深度图的边界往往是语义相关的，即深度不连续的地方，是属于不同的两个物体的。所以使用门控循环单元(GRU)保留上次优化的信息，避免遗忘，这部分用来提取高层的信息。下面的公式是GRU的运算方式，Conv3x3是指3x3的卷积操作，σ是激活函数，h是隐变量，z是更新门，t是时序。
zt＝σ(Conv3x3([ht-1，xt]，Wz))
rt＝σ(Conv3x3([ht-1，xt]，Wr))
ht＝tanh(Conv3x3([rt⊙ht-1，xt]，Wh)
ht＝(1-zt)⊙ht-1+zt⊙ht
假设第t次迭代产生的深度图记为Dt，利用深度图Dt构建窄带代价空间Vt，之后将语境编码器提取的信息作为指导，代价空间和GRU的隐藏信息作为输入，使用回归来预测残差，prob是网络回归得到的概率，prob(k)是指残差为k的概率，其中k∈[-2，-1，0，1，2]。计算得到残差Rest，然后将残差加到深度图上得到优化后的深度图。
Dt+1＝Dt+Rest+1
最终经过多次迭代计算，得出最终的深度图。
步骤D：
我们将RGB图片与稀疏深度信息连接，变为RGBD四通道的图片，然后传输到输入为RGBD四通道，其余与步骤A1完全相同的特征提取中，和步骤ABC的方式相同，得到深度图。步骤A中的网络记为DepthNet，，编码器之后增加多层上采样作为注意力的解码器，更改后的网络记为DepthNet2。DepthNet2不仅输出一张深度图，同时输出一张注意力图，即一个大小为H×W×8的权重图(即注意力图)，其中8个通道分别代表了每个点到其8邻域上的点的传播的强度，然后依照此强度进行深度的传播。同时在每次传播时，都要添加上稀疏深度锚点带来的影响。即每次传播后，强化稀疏点处的值，让其尽量保持在原有的值附近，避免偏离失去锚点的作用。
Dt+1＝w·Dt+(1-w)·Ds，if Ds≠0
上面公式中，Dt(x，y)指深度图在(x，y)点上的深度，在κi，j(a，b)代表点(x，y)到点(a，b)的权重，(a，b)在点(x，y)的8邻域上，w代表给定的稀疏深度权值，取值在0到1之间。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (9)
1.一种三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，通过构建几何编码器和基于门控循环单元的迭代算法来优化深度图；包括如下步骤：
A.对输入图像进行基于编码器和解码器的深度估计，生成初始深度图Dinit；包括：
A1.采用神经网络对输入图像提取得到图像的深度特征，并采用平面扫描算法构建生成体素空间，即代价空间；
A2.将代价空间输入编码器-解码器结构，输出不同尺度的深度图，即生成初始深度图Dinit；
使用多层卷积作为编码器Encoder，多层反卷积作为解码器Decoder，由此组成编码器-解码器结构，用于推测深度；还使用跳层连接，将编码器的第一层连接至解码器最后一层的输入，编码器的第二层连接至解码器倒数第二层的输入，依此类推，由此更好地获取低层的逐像素特征；
B.进行基于点云特征的法线图估计；包括：
B1.将A中深度估计得出的初始深度图Dinit反投影回代价空间，形成真实点云；
B2.在真实点云一定距离内增加周围点，用于模拟深度估计的误差；
B3.使用图神经网络聚合周围点的深度和特征，输出法线图；
C.对初始深度图Dinit进行基于循环迭代的深度图优化，每次迭代时利用几何编码器提取几何线索，得到优化后的深度图；
在每次迭代时，利用上次更新的深度图，在其周围构造体素空间，形成特征体素空间；
计算主视角图像上的像素点与投影到邻居图像上的点的特征相似度作为体素的值，构成体素空间；
将代价空间与初始深度图连接在一起，并通过卷积神经网络提取匹配特征；
将匹配特征、几何特征编码对应图片的边缘和平面信息作为门控循环单元的输入；经过多次循环迭代，每次迭代均输出优化后的深度图；
使用门控循环单元保留优化的信息，用来提取高层的信息；门控循环单元运算方式表示为：
zt＝σ(Conv3x3([ht-1,xt],Wz))
rt＝σ(Conv3x3([ht-1,xt],Wr))
ht＝tanh(Conv3x3([rt⊙ht-1,xt],Wh)
ht＝(1-zt)⊙ht-1+zt⊙ht
其中，Conv3x3指3x3的卷积操作，σ是激活函数，h是隐变量，z是更新门，t是时序；
假设第t次迭代产生的深度图记为Dt，利用深度图Dt构建窄带代价空间Vt，之后将几何编码器提取的信息作为指导，将代价空间和门控循环单元的隐藏信息作为输入，使用回归来预测残差Rest，表示为：
Dt+1＝Dt+Rest+1
其中，prob是网络回归得到的概率，prob(k)是残差为k的概率；
然后将残差加到深度图上得到优化后的深度图；
最终经过多次迭代计算，得出最终的深度图；
D.进行多源数据的深度图估计，多源数据包括多视角图像，稀疏深度以及点云；得到最终的深度图像；
通过上述步骤，实现三维重建中基于图像和几何线索恢复深度图像。
2.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤A1构建生成体素空间，即代价空间；具体包括：
输入主视角图片和其他视角图片以及对应的位姿，以主视角的位姿建立坐标系；
将光心与图片上的点连线发射构成一个锥形体；将锥形空间即深度范围分为多个平行平面；空间物体表面上的一点M位于平行平面其中一个平面上；
图像像素点与相机中心产生一条反投影射线；该反投影射线与各平行平面上的交点记为M’；将其投影到其他摄影机上得到颜色信息或特征，构成一个体素；锥形空间内离散的点经过以上操作即构成体素空间，也称为代价空间，满足单应性。
3.如权利要求2所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，具体将第1张图片上的点x1，深度为depth，投影到第i张图片上，得到像素坐标xi；
xi＝KRK-1x1depth+Kt
其中，R、t分别是第1个相机到第i个相机的坐标系的旋转矩阵和平移矩阵；K是摄像机的内参矩阵；
根据照相机的锥形体构建3D的体素作为网络的输入，利用多视角几何将相对位姿(R，t)嵌入到网络中。
4.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤A2进行代价空间聚合，编码器的每一层使用3D CNN进行进一步的特征提取和特征聚合；提取和聚合出的特征被传输到解码器中，经过逐层的上采样，恢复到与原有图片同样的尺寸；在上采样的过程中，每层均扩大尺寸，并将聚合的特征回归成深度输出；包括：
编码器使用多层卷积，解码器每一层在估计深度时，在第一级卷积中将32通道的代价空间缩减为8通道，最后一层输出单通道的体素空间；
使用softmax在深度方向进行概率归一化，得到概率空间；生成的概率空间既用于逐像素的深度估计，同时用于测量估计的置信度；
通过分析置信度分布评测深度重建的质量，有效地去除局外点；
解码器的每一层均输出深度图，由此产生不同尺度的深度图。
5.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤B1中，利用相机内参矩阵K将初始深度图Dinit反投影得到点云P，表示为：
P(x,y)＝K-1*Dinit(x,y)*(x,y,1)
其中(x,y)是像素点的坐标，K是摄像机的内参矩阵，Dinit(x,y)指(x,y)点的深度值。
6.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤B2中，设初始深度图与真实深度图的差异在范围∈内；采用离散化方法将范围[Dinit-∈,Dinit+∈]进行划分为多份，每份构成一个三维点即周围点；
步骤B3中，使用图神经网络聚合周围点的深度和特征，输入到图神经网络EdgeConv中进行学习，输出法线图；表示为：
其中，是对称聚合操作符，hΘ是可学习的非线性函数。
7.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤C中，采用的特征相似度是特征向量夹角的余弦值。
8.如权利要求1所述三维重建中基于图像和几何线索恢复深度图像的方法，其特征是，步骤D进行多源数据的深度图估计，具体包括：
将RGB图片与稀疏深度信息连接，变为RGBD四通道的图片；然后将四通道的图片输入到RGBD四通道特征提取中，得到深度图；
网络增加一个注意力解码器；网络的输出包括一张深度图和一张注意力图；网络输出大小为H×W×8的权重图；8个通道分别代表某点到其八邻域上的点的传播的强度，表示为：
Dt+1＝w·Dt+(1-w)·Ds,if Ds≠0
其中，Dt(x,y)指深度图在(x,y)点上的深度，在κi,j(a,b)代表点(x,y)到点(a,b)的权重，(a,b)在点(x,y)的8邻域上，w代表给定的稀疏深度权值。
9.一种利用权利要求1～8任一项所述三维重建中基于图像和几何线索恢复深度图像的方法实现的用于恢复深度图像的网络模型系统，其特征是，包括：深度特征提取模块，深度估计模块，法线估计模块，深度图优化模块；其中：
深度特征提取模块用于采用神经网络对输入图像提取得到图像的深度特征，并采用平面扫描算法构建代价空间；深度估计模块用于将代价空间输入编码器-解码器结构，输出不同尺度的深度图，即生成初始深度图；法线估计模块用于进行基于点云特征的法线图估计；深度图优化模块用于对初始深度图进行基于循环迭代的深度图优化，得到优化后的深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583939.5A CN113850900B (zh) | 2021-05-27 | 2021-05-27 | 三维重建中基于图像和几何线索恢复深度图的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583939.5A CN113850900B (zh) | 2021-05-27 | 2021-05-27 | 三维重建中基于图像和几何线索恢复深度图的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850900A CN113850900A (zh) | 2021-12-28 |
| CN113850900B true CN113850900B (zh) | 2024-06-21 |
Family
ID=78973087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110583939.5A Active CN113850900B (zh) | 2021-05-27 | 2021-05-27 | 三维重建中基于图像和几何线索恢复深度图的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850900B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913287B (zh) * | 2022-04-07 | 2023-08-22 | 北京拙河科技有限公司 | 一种三维人体模型重建方法及系统 |
| CN115115691A (zh) * | 2022-06-28 | 2022-09-27 | 五邑大学 | 单目三维平面恢复方法、设备及存储介质 |
| CN115375930B (zh) * | 2022-10-26 | 2023-05-05 | 中国航发四川燃气涡轮研究院 | 基于多尺度信息的立体匹配网络及立体匹配方法 |
| CN115908723B (zh) * | 2023-03-09 | 2023-06-16 | 中国科学技术大学 | 基于区间感知的极线引导多视图立体重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349230A (zh) * | 2019-07-15 | 2019-10-18 | 北京大学深圳研究生院 | 一种基于深度自编码器的点云几何压缩的方法 |
| CN110473284A (zh) * | 2019-07-29 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的运动物体三维模型重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10372968B2 (en) * | 2016-01-22 | 2019-08-06 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
| CN111127538B (zh) * | 2019-12-17 | 2022-06-07 | 武汉大学 | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 |
-
2021
- 2021-05-27 CN CN202110583939.5A patent/CN113850900B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349230A (zh) * | 2019-07-15 | 2019-10-18 | 北京大学深圳研究生院 | 一种基于深度自编码器的点云几何压缩的方法 |
| CN110473284A (zh) * | 2019-07-29 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的运动物体三维模型重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850900A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850900B (zh) | 三维重建中基于图像和几何线索恢复深度图的方法及系统 | |
| US11763433B2 (en) | Depth image generation method and device | |
| CN112396703B (zh) | 一种单图像三维点云模型重建方法 | |
| CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| US20220301252A1 (en) | View synthesis of a dynamic scene | |
| CN113962858B (zh) | 一种多视角深度获取方法 | |
| CN111354030B (zh) | 嵌入SENet单元的无监督单目图像深度图生成方法 | |
| CN113689539A (zh) | 基于隐式光流场的动态场景实时三维重建方法与装置 | |
| Wang et al. | Depth estimation of video sequences with perceptual losses | |
| CN114742966A (zh) | 一种基于图像的三维场景重建方法及装置 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN113963117A (zh) | 一种基于可变卷积深度网络的多视图三维重建方法及装置 | |
| CN115205463A (zh) | 基于多球面场景表达的新视角图像生成方法、装置和设备 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN116721210A (zh) | 基于神经有符号距离场的实时高效三维重建方法及装置 | |
| KR20230150867A (ko) | 얼굴 표정, 신체 자세 형상 및 의류 퍼포먼스 캡처를 위해 암시적 구별가능 렌더러를 사용하는 멀티뷰 신경 사람 예측 | |
| Jeon et al. | Struct-MDC: Mesh-refined unsupervised depth completion leveraging structural regularities from visual SLAM | |
| Da Silveira et al. | Indoor depth estimation from single spherical images | |
| CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 | |
| Hao et al. | VT‐NeRF: Neural radiance field with a vertex‐texture latent code for high‐fidelity dynamic human‐body rendering | |
| CN115115780B (zh) | 基于多视角rgbd相机的三维重建方法及系统 | |
| Nadar et al. | Sensor simulation for monocular depth estimation using deep neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |