CN107330973A - 一种基于多视角监督的单视角重建方法 - Google Patents
一种基于多视角监督的单视角重建方法 Download PDFInfo
- Publication number
- CN107330973A CN107330973A CN201710531091.5A CN201710531091A CN107330973A CN 107330973 A CN107330973 A CN 107330973A CN 201710531091 A CN201710531091 A CN 201710531091A CN 107330973 A CN107330973 A CN 107330973A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- ray
- msubsup
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明提出了一种基于多视角监督的单视角重建方法，其主要内容包括：三维形状的表示与观察、射线一致性的应用、观察结果与附加像素标记的合并、单视角图形重建的学习，其过程为，提出一种可微分公式可以根据任意视角观测三维形状后所得的观察结果计算出其梯度，这里通过使用可微分射线一致性(DRC)重新构建视角一致性来实现。这种公式可以纳入学习框架中以利用前景蒙版，深度，彩色图像，语义等不同类型的多视角观测进行监督来学习单视角三维形状预测，最后实现三维图像的重建。这种方法在很大程度上减少了在进行三维图像重建时所需的用于训练CNN的三维图像信息，因此很好的提高了三维图像重建效率。
Description
技术领域
本发明涉及图像处理中的多视角重建领域，尤其是涉及了一种基于多视角监督的单视角重建方法。
背景技术
在现实世界中我们周围的物体都是三维的，但我们通过眼睛观察到的是物体的二维图像，需要再经过人的视觉系统来恢复所观测物体的三维信息。多视角重建就是要使计算机具有人类视觉系统的功能，能够通过拍摄到的二维图像信息，重建出物体的三维结构，从而使机器具备认知世界的能力。从二维图像获取三维信息。人类通过在所处环境中活动来感知大量的三维结构信息。当观察者移动或物体围绕观察者移动时，信息的获取是随着图像处理来进行的。从运动中发现结构和从立体视觉发现结构均呈现出一个相同的问题。需要发现图像和3D对象重建之间的联系。为了寻找图像之间的联系，需要从一张接一张的图像中跟踪例如对应角点(多个方向的梯度边缘)等一些图像特征。这一研究被广泛应用与工厂数字化、建筑和室内的三维重现、考古现场的三维重建、街道和社区的三维重建以及模拟生产加工等场合，也适用于虚拟现实、交通事故现场勘测及车载道路自动测量等。
本发明提出了一种基于多视角监督的单视角重建方法，其主要内容包括：三维形状的表示与观察、射线一致性的应用、观察结果与附加像素标记的合并、单视角图形重建的学习，其过程为，提出一种可微分公式可以根据任意视角观测三维形状后所得的观察结果计算出其梯度，这里通过使用可微分射线一致性(DRC)重新构建视角一致性来实现。这种公式可以纳入学习框架中以利用前景蒙版，深度，彩色图像，语义等不同类型的多视角观测进行监督来学习单视角三维形状预测，最后实现三维图像的重建。这种方法在在很大程度上减少了在进行三维图像重建时所需的用于训练CNN的三维图像信息，因此很好的提高了三维图像重建效率。
发明内容
本发明提出了一种基于多视角监督的单视角重建方法，其主要内容包括：三维形状的表示与观察、射线一致性的应用、观察结果与附加像素标记的合并、单视角图形重建的学习，其过程为，提出一种可微分公式可以根据任意视角观测三维形状后所得的观察结果计算出其梯度，这里通过使用可微分射线一致性(DRC)重新构建视角一致性来实现。这种公式可以纳入学习框架中以利用前景蒙版，深度，彩色图像，语义等不同类型的多视角观测进行监督来学习单视角三维形状预测，最后实现三维图像的重建。这种方法在在很大程度上减少了在进行三维图像重建时所需的用于训练CNN的三维图像信息，因此很好的提高了三维图像重建效率。
为解决上述问题，本发明提供一种基于多视角监督的单视角重建方法，其主要内容包括：
(一)三维形状的表示与观察；
(二)射线一致性的应用；
(三)观察结果与附加像素标记的合并；
(四)单视角图形重建的学习。
其中，所述的三维形状的表示与观察，使用了可微分的视角一致性损失函数用于测量三维形状与相应图像观察结果之间的不一致程度，其中三维形状被参数化为由变量x表示的在离散化三维立体像素网格中单元格的占用概率，且用xi代表第i个立体像素为空的概率，这里将三维空间离散化为立体像素且不需要使网格均匀化，只需要能够跟踪穿过立体像素网格的射线并计算出射线与单元格界限的交点即可，然后设置一对观察相机(O,C)，其中观察结果O是从相机C定义的一个视角所获得的，因此视图一致性损失值可表示为L(x；(O,C))；在考虑三维形状由立体像素x表示的情况下，可以把每个可选择的立体像素预测p包含进去，这种泛化允许我们合并其他的观察方式如彩色图像、逐像素语义等等，这里通用一致性损失函数的形式变为L(x,[p]；(O,C))，其中[p]表示可选参数。
进一步地，所述的射线一致性的应用，在所观察图像O中的每个像素都对应具有已记录观察特征的射线(深度/颜色/前景掩模/语义标注)，这里假设已知相机本征参数(fu,fv,u0,v0)，则此时图像中像素(u,v)对应从相机中心点出发在相机所关联的帧中沿着方向移动的射线r，而在进一步给出相机的非本征参数后，射线r的原点和方向也可以从坐标系中被推测出来，因此有效的观测相机组合对(O,C)可以等效为随机射线的集合，其中每个都有一个已知原点，方向与相关联的观测结果or，比如深度图像表示在射线击中表面之前行进的距离，前景掩模表现出射线是否击中目标，语义标注对应射线终点所在目标的观察类别，所以使用基于每个射线的一致性项Lr(x)来计算视角一致性损失L(x；(O,C))的值。其中Lr(x)采集了所推测出的三维模型x是否正确地解释了观察结果与特定射线相关联的特性。我们的视角一致性损失也是通过一致性项的总和来计算：
这样将视角一致性损失公式化的任务就能被简化为可微分射线一致性损失函数Lr(x)。
进一步地，所述的概率分布网格中的射线追踪，为定义一致性损失函数Lr(x)检测了射线r穿过包含占据概率x的立体像素网格时的情况，且概率占据模型可以引发能产生射线r的事件分布，这里可以通过这些事件的不相容性以及可用的观察结果or来定义Lr(x)；已知射线r的原点与方向就可以通过立体像素网格来跟踪它，假设其通过Nr个立体像素，则与射线相关联的事件对应的是射线在Nr个立体像素中的其中一个终止或者通过，这里使用一个随机变量zr来对应射线所终止的立体像素，且用zr＝Nr+1来代表射线没有终止的情况；给定占据概率x可以由此推断出在zr＝i时的概率p：
其中当第i个立体像素被占据而在这之前的立体像素未被占据时zr＝i，这里假设一个独立的占用分布，其中预测结果对应第i个立体像素在射线r的路径上为空的概率，这样就可以计算出zr的概率分布。
进一步地，所述的事件代价函数，在zr＝i时的事件引出的预测结果与对于射线r可用的相关联观察结果or之间定义一个代价函数Ψr(i)，这里它基于引出的预测结果与观察结果or是否不一致来分配代价，其中当使用深度观察来进行目标重建时，可用的观测结果or对应观测到的射线经过的距离dr，这里用介于观测距离与事件引发距离之间的距离来定义Ψr(i)：
而当使用前景掩模来进行目标重建时，Ψr(i)表示为：
这里让sr∈{0,1}表示每个射线的已知信息，sr＝0指射线r与目标相交时的情况，其中对应掩模中的一个像素，sr＝1指不相交，且可以通过定义相应的代价项来采集这些值。
进一步地，所述的射线一致性的损失，检测了射线穿过概率占据网格的情况并定义了射线终止事件，其中p(zr)代表概率分布情况，对于这些事件引入相应的代价函数Ψr(i)可以降低事件所引发预测结果与可用观察结果or之间的不一致性，而每个射线的一致性损失函数Lr(x)可以简单的代表预期的损失：
而当zr＝i时的事件概率p是根据由CNN预测的立体像素占据网格x来定义的，使用这一点可以计算出损失函数Lr(x)的导数：
射线一致性损失函数Lr(x)基本上完成了对于视角一致性的公式化，正如在等式(1)中整体损失就是依据Lr(x)来定义的，而从视角一致性损失衍生出的梯度值可以调整立体像素占用情况的预测结果x，这里像这样与观察结果不一致的事件往往发生几率更低。
进一步地，所述的观察结果与附加像素标记的合并，当形状描述用占据概率x来表示时使用一个新的视角一致性公式，在交替的像素观察结果可用时可以通过修改一致性公式来说明在三维表示中每个立体像素的预测结果p，而在这种情况下的观察结果或相关联的包含相应像素标注的射线r，相类似的还有在zr＝i时的事件下所引发的预测结果，其中包含在射线路径上对第i个立体像素的辅助预测；为了合并以上结果的一致性，可以通过使用在公式(5)和公式(6)中的通用事件代价项来将Lr(x)扩展为Lr(x,[p])，占用预测结果的梯度如等式(7)中所定义即可，但是要用通用代价项来代替，附加的每个立体像素的预测结果也可以使用以下的方程来训练：
这里只要是可微分的就能定义任何一个事件代价函数也可以将等式(8)解释为附加的每个立体像素的预测结果p被更新来连接已观察到的逐像素标注，且梯度也根据相应事件的概率来计算。
进一步地，所述的基于深度和语义的场景重建，与每个射线相关联的观察结果都对应于一个观测深度dr和语义标注cr，此时可以计算出Ψr(i)：
这里事件所引发预测结果在zr＝i时对应深度与类别分布，且我们能定义一个事件代价函数来减少不一致程度的差异以及所观察类别的负对数似然概率。
进一步地，所述的基于彩色图像的目标重建，与每个射线相关联的观测值cr对应相应像素的RGB颜色值，这里假设一个附加的每个立体像素的预测结果p，当zr＝i时的事件所引发预测结果会在相应的立体像素点上产生颜色，这样就可以定义一个事件代价方程来计算出平方差，此时可以计算出Ψr(i)：
其中在等式(3)和等式(9)中将定义为一个固定的数值，而在等式(3)中为均匀分布，在等式(9)中定义为白色。
进一步地，所述的单视角图形重建的学习，学习一个函数f并作为参数化的CNN fθ来建模，这里给了对应新对象的单个图像I并使用立体像素占用网格来预测它的形状，这时需要一个训练数据集其中对于每个训练图像Ii都知道其目标立体像素的表达对于实际三维模型不直接对于fθ的训练有效这种情况在真实世界的场景中是经常出现的，此时可以利用前面提到的视角一致性损失函数来训练fθ；作为训练数据对应到训练数据集中的每一个RGB训练图像也能从其他视角对同一个实例获得一个或更多的附加观察结果，这里观察结果可以以不同形式呈现。具体来说，对应图像Ii有一个或更多的观察相机对这里观察结果是从相机所定义的视角来获取的，其中注意只有在训练时需要有这些观察结果，而在测试时所学习的CNN fθ则从一个简单的2D图像来预测物体的三维形状；单视角三维预测CNN的输出是fθ(I)≡(x,[p])，其中x代表立体像素占用概率，[p]代表可选择的每个立体像素的预测结果，而这里当对应的训练观察结果如颜色、语义等被使用时就使用其预测结果；为了学习单视角3D预测CNN中的参数θ，对于每个训练图像Ii都训练了CNN来减少预测结果fθ(Ii)与和Ii相对应的观察结果的不一致性，这种优化与减少穿过训练集的观察结果的视角一致性损失总和本质上是相同的，这里为了允许更快的训练，在每次进行随机梯度下降法(SGD)迭代时在每张图像中可随机采样了大约1000根射线来代替在公式(1)中所定义的所有射线。
附图说明
图1是本发明一种基于多视角监督的单视角重建方法的系统框架图。
图2是本发明一种基于多视角监督的单视角重建方法的可微分射线一致性公式在不同方面的可视化图示。
图3是本发明一种基于多视角监督的单视角重建方法的基于形状网络数据库使用两种代表性视角来进行重建的图示。
图4是本发明一种基于多视角监督的单视角重建方法的基于城市景象使用帧间运动序列来学习单图像三维重建的采样结果示意图。
图5是本发明一种基于多视角监督的单视角重建方法的基于形状网络数据库使用多RGB图像作为监督来进行训练的采样结果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于多视角监督的单视角重建方法的系统框架图。主要包括三维形状的表示与观察、射线一致性的应用、观察结果与附加像素标记的合并、单视角图形重建的学习。这里首先使用了可微分的视角一致性损失函数用于测量三维形状与相应图像观察结果之间的不一致程度，其中三维形状被参数化为由变量x表示的在离散化三维立体像素网格中单元格的占用概率，且用xi代表第i个立体像素为空的概率，这里将三维空间离散化为立体像素且不需要使网格均匀化，只需要能够跟踪穿过立体像素网格的射线并计算出射线与单元格界限的交点即可，然后设置一对观察相机(O,C)，其中观察结果O是从相机C定义的一个视角所获得的，因此视图一致性损失值可表示为L(x；(O,C))；在考虑三维形状由立体像素x表示的情况下，可以把每个可选择的立体像素预测p包含进去，这种泛化允许我们合并其他的观察方式如彩色图像、逐像素语义等等，这里通用一致性损失函数的形式变为L(x,[p]；(O,C))，其中[p]表示可选参数。
进一步地，所述的射线一致性的应用，在所观察图像O中的每个像素都对应具有已记录观察特征的射线(深度/颜色/前景掩模/语义标注)，这里假设已知相机本征参数(fu,fv,u0,v0)，则此时图像中像素(u,v)对应从相机中心点出发在相机所关联的帧中沿着方向移动的射线r，而在进一步给出相机的非本征参数后，射线r的原点和方向也可以从坐标系中被推测出来，因此有效的观测相机组合对(O,C)可以等效为随机射线的集合，其中每个都有一个已知原点，方向与相关联的观测结果or，比如深度图像表示在射线击中表面之前行进的距离，前景掩模表现出射线是否击中目标，语义标注对应射线终点所在目标的观察类别，所以使用基于每个射线的一致性项Lr(x)来计算视角一致性损失L(x；(O,C))的值。其中Lr(x)采集了所推测出的三维模型x是否正确地解释了观察结果与特定射线相关联的特性。我们的视角一致性损失也是通过一致性项的总和来计算：
这样将视角一致性损失公式化的任务就能被简化为可微分射线一致性损失函数Lr(x)。
进一步地，所述的概率分布网格中的射线追踪，为定义一致性损失函数Lr(x)检测了射线r穿过包含占据概率x的立体像素网格时的情况，且概率占据模型可以引发能产生射线r的事件分布，这里可以通过这些事件的不相容性以及可用的观察结果or来定义Lr(x)；已知射线r的原点与方向就可以通过立体像素网格来跟踪它，假设其通过Nr个立体像素，则与射线相关联的事件对应的是射线在Nr个立体像素中的其中一个终止或者通过，这里使用一个随机变量zr来对应射线所终止的立体像素，且用zr＝Nr+1来代表射线没有终止的情况；给定占据概率x可以由此推断出在zr＝i时的概率p：
其中当第i个立体像素被占据而在这之前的立体像素未被占据时zr＝i，这里假设一个独立的占用分布，其中预测结果对应第i个立体像素在射线r的路径上为空的概率，这样就可以计算出zr的概率分布。
进一步地，所述的事件代价函数，在zr＝i时的事件引出的预测结果与对于射线r可用的相关联观察结果or之间定义一个代价函数Ψr(i)，这里它基于引出的预测结果与观察结果or是否不一致来分配代价，其中当使用深度观察来进行目标重建时，可用的观测结果or对应观测到的射线经过的距离dr，这里用介于观测距离与事件引发距离之间的距离来定义Ψr(i)：
而当使用前景掩模来进行目标重建时，Ψr(i)表示为：
这里让sr∈{0,1}表示每个射线的已知信息，sr＝0指射线r与目标相交时的情况，其中对应掩模中的一个像素，sr＝1指不相交，且可以通过定义相应的代价项来采集这些值。
进一步地，所述的射线一致性的损失，检测了射线穿过概率占据网格的情况并定义了射线终止事件，其中p(zr)代表概率分布情况，对于这些事件引入相应的代价函数Ψr(i)可以降低事件所引发预测结果与可用观察结果or之间的不一致性，而每个射线的一致性损失函数Lr(x)可以简单的代表预期的损失：
而当zr＝i时的事件概率p是根据由CNN预测的立体像素占据网格x来定义的，使用这一点可以计算出损失函数Lr(x)的导数：
射线一致性损失函数Lr(x)基本上完成了对于视角一致性的公式化，正如在等式(1)中整体损失就是依据Lr(x)来定义的，而从视角一致性损失衍生出的梯度值可以调整立体像素占用情况的预测结果x，这里像这样与观察结果不一致的事件往往发生几率更低。
进一步地，所述的观察结果与附加像素标记的合并，当形状描述用占据概率x来表示时使用一个新的视角一致性公式，在交替的像素观察结果可用时可以通过修改一致性公式来说明在三维表示中每个立体像素的预测结果p，而在这种情况下的观察结果或相关联的包含相应像素标注的射线r，相类似的还有在zr＝i时的事件下所引发的预测结果，其中包含在射线路径上对第i个立体像素的辅助预测；为了合并以上结果的一致性，可以通过使用在公式(5)和公式(6)中的通用事件代价项来将Lr(x)扩展为Lr(x,[p])，占用预测结果的梯度如等式(7)中所定义即可，但是要用通用代价项来代替，附加的每个立体像素的预测结果也可以使用以下的方程来训练：
这里只要是可微分的就能定义任何一个事件代价函数也可以将等式(8)解释为附加的每个立体像素的预测结果p被更新来连接已观察到的逐像素标注，且梯度也根据相应事件的概率来计算。
进一步地，所述的基于深度和语义的场景重建，与每个射线相关联的观察结果都对应于一个观测深度dr和语义标注cr，此时可以计算出Ψr(i)：
这里事件所引发预测结果在zr＝i时对应深度与类别分布且我们能定义一个事件代价函数来减少不一致程度的差异以及所观察类别的负对数似然概率。
进一步地，所述的基于彩色图像的目标重建，与每个射线相关联的观测值cr对应相应像素的RGB颜色值，这里假设一个附加的每个立体像素的预测结果p，当zr＝i时的事件所引发预测结果会在相应的立体像素点上产生颜色，这样就可以定义一个事件代价方程来计算出平方差，此时可以计算出Ψr(i)：
其中在等式(3)和等式(9)中将定义为一个固定的数值，而在等式(3)中为均匀分布，在等式(9)中定义为白色。
进一步地，所述的单视角图形重建的学习，学习一个函数f并作为参数化的CNN fθ来建模，这里给了对应新对象的单个图像I并使用立体像素占用网格来预测它的形状，这时需要一个训练数据集其中对于每个训练图像Ii都知道其目标立体像素的表达对于实际三维模型不直接对于fθ的训练有效这种情况在真实世界的场景中是经常出现的，此时可以利用前面提到的视角一致性损失函数来训练fθ；作为训练数据对应到训练数据集中的每一个RGB训练图像也能从其他视角对同一个实例获得一个或更多的附加观察结果，这里观察结果可以以不同形式呈现。具体来说，对应图像Ii有一个或更多的观察相机对这里观察结果是从相机所定义的视角来获取的，其中注意只有在训练时需要有这些观察结果，而在测试时所学习的CNN fθ则从一个简单的2D图像来预测物体的三维形状；单视角三维预测CNN的输出是fθ(I)≡(x,[p])，其中x代表立体像素占用概率，[p]代表可选择的每个立体像素的预测结果，而这里当对应的训练观察结果如颜色、语义等被使用时就使用其预测结果；为了学习单视角3D预测CNN中的参数θ，对于每个训练图像Ii都训练了CNN来减少预测结果fθ(Ii)与和Ii相对应的观察结果的不一致性，这种优化与减少穿过训练集的观察结果的视角一致性损失总和∑i∑kL(fθ(Ii)；本质上是相同的，这里为了允许更快的训练，在每次进行随机梯度下降法(SGD)迭代时在每张图像中可随机采样了大约1000根射线来代替在公式(1)中所定义的所有射线。
图2是本发明一种基于多视角监督的单视角重建方法的可微分射线一致性公式在不同方面的可视化图示。其中图(a)为所观察图像及其预期形状，其中预期的三维形状在概率占据网格中呈现，而对于所观察图像则考虑了预期形状与对应高亮像素点射线之间的一致性；图(b)为射线终止事件，其中随机变量zr＝i对应当射线终止在第i个立体像素这个事件，而zr＝Nr+1代表射线逃离网格这种情况；图(c)为事件概率的描述，其中颜色越深的立体像素射线终止的可能性越高；图(d)为事件代价的描述，其中代价低时对应射线终止在接近所观察终止点的事件，代价高时则相反；图(e)为射线一致性损失的梯度描述，其中深色区域代表此处损失随着占用值的增加而增加。
图3是本发明一种基于多视角监督的单视角重建方法的基于形状网络数据库使用两种代表性视角来进行重建的图示。图中描述依次为输入、实际形状、三维训练、掩模、融合深度、融合噪声深度、可微分射线一致性噪声深度。
图4是本发明一种基于多视角监督的单视角重建方法的基于城市景象使用帧间运动序列来学习单图像三维重建的采样结果示意图。左图给出了单个输入图像，然后使用数据模型来预测其立体像素占用概率以及每个立体像素语义类别分布，其中上面一行图像描述了分别让相机移动3、6、9、12米来预测图像的不一致性以及语义，下面一行图像则使用2.5D图像的形式来描述图像的真实逐像素差异以及逐像素语义标注。
图5是本发明一种基于多视角监督的单视角重建方法的基于形状网络数据库使用多RGB图像作为监督来进行训练的采样结果示意图。图中左边是输入图像，右边是通过两个新视角学习的模型来预测所得的三维形状图示。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于多视角监督的单视角重建方法，其特征在于，主要包括三维形状的表示与观察(一)；射线一致性的应用(二)；观察结果与附加像素标记的合并(三)；单视角图形重建的学习(四)。
2.基于权利要求书1所述的三维形状的表示与观察(一)，其特征在于，使用了可微分的视角一致性损失函数用于测量三维形状与相应图像观察结果之间的不一致程度，其中三维形状被参数化为由变量x表示的在离散化三维立体像素网格中单元格的占用概率，且用xi代表第i个立体像素为空的概率，这里将三维空间离散化为立体像素且不需要使网格均匀化，只需要能够跟踪穿过立体像素网格的射线并计算出射线与单元格界限的交点即可，然后设置一对观察相机(O,C)，其中观察结果O是从相机C定义的一个视角所获得的，因此视图一致性损失值可表示为L(x；(O,C))；在考虑三维形状由立体像素x表示的情况下，可以把每个可选择的立体像素预测p包含进去，这种泛化允许我们合并其他的观察方式如彩色图像、逐像素语义等等，这里通用一致性损失函数的形式变为L(x,[p]；(O,C))，其中[p]表示可选参数。
3.基于权利要求书1所述的射线一致性的应用(二)，其特征在于，在所观察图像O中的每个像素都对应具有已记录观察特征的射线(深度/颜色/前景掩模/语义标注)，这里假设已知相机本征参数(fu,fv,u0,v0)，则此时图像中像素(u,v)对应从相机中心点出发在相机所关联的帧中沿着方向移动的射线r，而在进一步给出相机的非本征参数后，射线r的原点和方向也可以从坐标系中被推测出来，因此有效的观测相机组合对(O,C)可以等效为随机射线的集合，其中每个都有一个已知原点，方向与相关联的观测结果or，比如深度图像表示在射线击中表面之前行进的距离，前景掩模表现出射线是否击中目标，语义标注对应射线终点所在目标的观察类别，所以使用基于每个射线的一致性项Lr(x)来计算视角一致性损失L(x；(O,C))的值，其中Lr(x)采集了所推测出的三维模型x是否正确地解释了观察结果与特定射线相关联的特性，视角一致性损失也是通过一致性项的总和来计算：
这样将视角一致性损失公式化的任务就能被简化为可微分射线一致性损失函数Lr(x)。
4.基于权利要求书3所述的概率分布网格中的射线追踪，其特征在于，为定义一致性损失函数Lr(x)检测了射线r穿过包含占据概率x的立体像素网格时的情况，且概率占据模型可以引发能产生射线r的事件分布，这里可以通过这些事件的不相容性以及可用的观察结果or来定义Lr(x)；已知射线r的原点与方向就可以通过立体像素网格来跟踪它，假设其通过Nr个立体像素，则与射线相关联的事件对应的是射线在Nr个立体像素中的其中一个终止或者通过，这里使用一个随机变量zr来对应射线所终止的立体像素，且用zr＝Nr+1来代表射线没有终止的情况；给定占据概率x可以由此推断出在zr＝i时的概率p：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
<munderover>
<mi>&Pi;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>r</mi>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>&le;</mo>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<munderover>
<mi>&Pi;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</munderover>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>r</mi>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>=</mo>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中当第i个立体像素被占据而在这之前的立体像素未被占据时zr＝i，假设一个独立的占用分布，其中预测结果对应第i个立体像素在射线r的路径上为空的概率，这样就可以计算出zr的概率分布。
5.基于权利要求书4所述的事件代价函数，其特征在于，在zr＝i时的事件引出的预测结果与对于射线r可用的相关联观察结果or之间定义一个代价函数Ψr(i)，这里它基于引出的预测结果与观察结果or是否不一致来分配代价，其中当使用深度观察来进行目标重建时，可用的观测结果or对应观测到的射线经过的距离dr，这里用介于观测距离与事件引发距离之间的距离来定义Ψr(i)：
<mrow>
<msubsup>
<mi>&Psi;</mi>
<mi>r</mi>
<mrow>
<mi>d</mi>
<mi>e</mi>
<mi>p</mi>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>d</mi>
<mi>r</mi>
</msub>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
而当使用前景掩模来进行目标重建时，Ψr(i)表示为：
<mrow>
<msubsup>
<mi>&Psi;</mi>
<mi>r</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>s</mi>
<mi>r</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>&le;</mo>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>s</mi>
<mi>r</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>i</mi>
<mo>=</mo>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
这里让sr∈{0,1}表示每个射线的已知信息，sr＝0指射线r与目标相交时的情况，其中对应掩模中的一个像素，sr＝1指不相交，且可以通过定义相应的代价项来采集这些值。
6.基于权利要求书4所述的射线一致性的损失，其特征在于，检测了射线穿过概率占据网格的情况并定义了射线终止事件，其中p(zr)代表概率分布情况，对于这些事件引入相应的代价函数Ψr(i)可以降低事件所引发预测结果与可用观察结果or之间的不一致性，而每个射线的一致性损失函数Lr(x)可以简单的代表预期的损失：
<mrow>
<msub>
<mi>L</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>&Psi;</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
而当zr＝i时的事件概率p是根据由CNN预测的立体像素占据网格x来定义的，使用这一点可以计算出损失函数Lr(x)的导数：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>L</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>x</mi>
<mi>k</mi>
<mi>r</mi>
</msubsup>
</mrow>
</mfrac>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>k</mi>
</mrow>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>&Psi;</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&Psi;</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<munder>
<mi>&Pi;</mi>
<mrow>
<mn>1</mn>
<mo>&le;</mo>
<mi>j</mi>
<mo>&le;</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munder>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
射线一致性损失函数Lr(x)基本上完成了对于视角一致性的公式化，正如在等式(1)中整体损失就是依据Lr(x)来定义的，而从视角一致性损失衍生出的梯度值可以调整立体像素占用情况的预测结果x，这里像这样与观察结果不一致的事件往往发生几率更低。
7.基于权利要求书1所述的观察结果与附加像素标记的合并(三)，其特征在于，当形状描述用占据概率x来表示时使用一个新的视角一致性公式，在交替的像素观察结果可用时可以通过修改一致性公式来说明在三维表示中每个立体像素的预测结果p，而在这种情况下的观察结果或相关联的包含相应像素标注的射线r，相类似的还有在zr＝i时的事件下所引发的预测结果，其中包含在射线路径上对第i个立体像素的辅助预测；为了合并以上结果的一致性，可以通过使用在公式(5)和公式(6)中的通用事件代价项来将Lr(x)扩展为Lr(x,[p])，占用预测结果的梯度如等式(7)中所定义即可，但是要用通用代价项来代替，附加的每个立体像素的预测结果也可以使用以下的方程来训练：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>L</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mo>&lsqb;</mo>
<mi>p</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>p</mi>
<mi>r</mi>
<mi>i</mi>
</msubsup>
</mrow>
</mfrac>
<mo>=</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>z</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>&Psi;</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>p</mi>
<mi>r</mi>
<mi>i</mi>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
这里只要是可微分的就能定义任何一个事件代价函数也可以将等式(8)解释为附加的每个立体像素的预测结果p被更新来连接已观察到的逐像素标注，且梯度也根据相应事件的概率来计算。
8.基于权利要求书7所述的基于深度和语义的场景重建，其特征在于，与每个射线相关联的观察结果都对应于一个观测深度dr和语义标注cr，此时可以计算出Ψr(i)：
<mrow>
<msubsup>
<mi>&Psi;</mi>
<mi>r</mi>
<mrow>
<mi>s</mi>
<mi>e</mi>
<mi>m</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mfrac>
<mn>1</mn>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>d</mi>
<mi>r</mi>
</msub>
</mfrac>
<mo>|</mo>
<mo>-</mo>
<mi>log</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
这里事件所引发预测结果在zr＝i时对应深度与类别分布且我们能定义一个事件代价函数来减少不一致程度的差异以及所观察类别的负对数似然概率。
9.基于权利要求书7所述的基于彩色图像的目标重建，其特征在于，与每个射线相关联的观测值cr对应相应像素的RGB颜色值，这里假设一个附加的每个立体像素的预测结果p，当zr＝i时事件所引发预测结果会在相应的立体像素点上产生颜色，这样就可以定义一个事件代价方程来计算出平方差，此时可以计算出Ψr(i)：
<mrow>
<msubsup>
<mi>&Psi;</mi>
<mi>r</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
<mi>o</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中在等式(3)和等式(9)中将定义为一个固定的数值，而在等式(3)中为均匀分布，在等式(9)中定义为白色。
10.基于权利要求书1所述的单视角图形重建的学习(四)，其特征在于，学习一个函数f并作为参数化的CNNfθ来建模，这里给了对应新对象的单个图像I并使用立体像素占用网格来预测它的形状，这时需要一个训练数据集其中对于每个训练图像Ii都知道其目标立体像素的表达对于实际三维模型不直接对于fθ的训练有效这种情况在真实世界的场景中是经常出现的，此时可以利用前面提到的视角一致性损失函数来训练fθ；作为训练数据对应到训练数据集中的每一个RGB训练图像也能从其他视角对同一个实例获得一个或更多的附加观察结果，这里观察结果可以以不同形式呈现；具体来说，对应图像Ii有一个或更多的观察相机对这里观察结果是从相机所定义的视角来获取的，其中注意只有在训练时需要有这些观察结果，而在测试时所学习的CNNfθ则从一个简单的2D图像来预测物体的三维形状；单视角三维预测CNN的输出是fθ(I)≡(x,[p])，其中x代表立体像素占用概率，[p]代表可选择的每个立体像素的预测结果，而这里当对应的训练观察结果如颜色、语义等被使用时就使用其预测结果；为了学习单视角3D预测CNN中的参数θ，对于每个训练图像Ii都训练了CNN来减少预测结果fθ(Ii)与和Ii相对应的观察结果的不一致性，这种优化与减少穿过训练集的观察结果的视角一致性损失总和本质上是相同的，这里为了允许更快的训练，在每次进行随机梯度下降法(SGD)迭代时在每张图像中可随机采样了大约1000根射线来代替在公式(1)中所定义的所有射线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710531091.5A CN107330973A (zh) | 2017-07-03 | 2017-07-03 | 一种基于多视角监督的单视角重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710531091.5A CN107330973A (zh) | 2017-07-03 | 2017-07-03 | 一种基于多视角监督的单视角重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107330973A true CN107330973A (zh) | 2017-11-07 |
Family
ID=60198715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710531091.5A Withdrawn CN107330973A (zh) | 2017-07-03 | 2017-07-03 | 一种基于多视角监督的单视角重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330973A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257148A (zh) * | 2018-01-17 | 2018-07-06 | 厦门大学 | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 |
| CN108629823A (zh) * | 2018-04-10 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 多视角图像的生成方法和装置 |
| CN108876907A (zh) * | 2018-05-31 | 2018-11-23 | 大连理工大学 | 一种面向目标对象的主动式三维重建方法 |
| CN110288712A (zh) * | 2019-03-30 | 2019-09-27 | 天津大学 | 室内场景的稀疏多视角三维重建方法 |
| CN111210870A (zh) * | 2019-12-27 | 2020-05-29 | 青岛海洋科学与技术国家实验室发展中心 | 蛋白质分类方法 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN112329662A (zh) * | 2020-11-10 | 2021-02-05 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
| CN114817426A (zh) * | 2021-01-28 | 2022-07-29 | 中强光电股份有限公司 | 地图建构装置及方法 |
| CN115471731A (zh) * | 2022-08-23 | 2022-12-13 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、存储介质及设备 |
-
2017
- 2017-07-03 CN CN201710531091.5A patent/CN107330973A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| SHUBHAM TULSIANI 等: ""Multi-view Supervision for Single-view Reconstruction via Differentiable Ray Consistency"", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1704.06254》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257148B (zh) * | 2018-01-17 | 2020-09-25 | 厦门大学 | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 |
| CN108257148A (zh) * | 2018-01-17 | 2018-07-06 | 厦门大学 | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 |
| CN108629823A (zh) * | 2018-04-10 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 多视角图像的生成方法和装置 |
| CN108876907A (zh) * | 2018-05-31 | 2018-11-23 | 大连理工大学 | 一种面向目标对象的主动式三维重建方法 |
| CN111507343B (zh) * | 2019-01-30 | 2021-05-18 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN110288712A (zh) * | 2019-03-30 | 2019-09-27 | 天津大学 | 室内场景的稀疏多视角三维重建方法 |
| CN111210870A (zh) * | 2019-12-27 | 2020-05-29 | 青岛海洋科学与技术国家实验室发展中心 | 蛋白质分类方法 |
| CN111210870B (zh) * | 2019-12-27 | 2024-03-08 | 青岛海洋科技中心 | 蛋白质分类方法 |
| CN112329662A (zh) * | 2020-11-10 | 2021-02-05 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
| CN112329662B (zh) * | 2020-11-10 | 2024-05-10 | 西北工业大学 | 基于无监督学习的多视角显著性估计方法 |
| CN114817426A (zh) * | 2021-01-28 | 2022-07-29 | 中强光电股份有限公司 | 地图建构装置及方法 |
| CN115471731A (zh) * | 2022-08-23 | 2022-12-13 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN115471731B (zh) * | 2022-08-23 | 2024-04-09 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330973A (zh) | 一种基于多视角监督的单视角重建方法 | |
| CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
| CN101976455B (zh) | 一种基于立体匹配的彩色图像三维重建方法 | |
| CN104077804B (zh) | 一种基于多帧视频图像构建三维人脸模型的方法 | |
| CN104869387B (zh) | 基于光流法的双目图像最大视差获取方法 | |
| CN103248911B (zh) | 多视点视频中基于空时结合的虚拟视点绘制方法 | |
| CN101906965B (zh) | Vr地质环境下的地层识别与分析方法 | |
| CN108198145A (zh) | 用于点云数据修复的方法和装置 | |
| CN108416840A (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| CN110443842A (zh) | 基于视角融合的深度图预测方法 | |
| CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
| CN108389226A (zh) | 一种基于卷积神经网络和双目视差的无监督深度预测方法 | |
| CN103606151B (zh) | 基于影像点云的大范围虚拟地理场景自动构建方法 | |
| CN106156748A (zh) | 基于车载双目相机的交通场景参与者识别方法 | |
| CN103236160A (zh) | 基于视频图像处理技术的路网交通状态监测系统 | |
| CN105046743A (zh) | 一种基于全局变分技术的超高分辨率三维重建方法 | |
| CN107657659A (zh) | 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法 | |
| CN104616345A (zh) | 一种基于八叉树森林压缩的三维体素存取方法 | |
| CN104517317A (zh) | 一种车载红外图像三维重建方法 | |
| CN104318605B (zh) | 矢量实线与三维地形的并行贴合渲染方法 | |
| CN104599284A (zh) | 基于多视角手机自拍图像的三维人脸重建方法 | |
| CN104574391A (zh) | 一种基于自适应特征窗口的立体视觉匹配方法 | |
| CN103530907A (zh) | 基于图像的复杂三维模型绘制方法 | |
| CN106780546A (zh) | 基于卷积神经网络的运动模糊编码点的身份识别方法 | |
| CN110197505A (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171107 |