CN103714420A - 物体的三维重建方法和装置 - Google Patents

Abstract

本发明提供了一种物体的三维重建方法和装置。所述方法包括：获取从物体的不同视点采集的若干张物体图片，并从所述物体图片中获取稀疏三维点云；获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量；根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；根据所述段的估计平面的向量计算物体平面所对应的平面方程以重建所述物体平面得到所述物体的三维重构模型。采用本发明能在物体图片数量不大并且物体的纹理不丰富的情况下提高物体进行三维重建的准确性。

Description

物体的三维重建方法和装置

技术邻域

本发明涉及计算机视觉技术，特别是涉及一种物体的三维重建方法和装置。背景技术

在传统的基于图像的建筑物三维建模中，由加州伯克利大学Paul Debevec等开发的Facade是这方面一个开创性的工作，其主要方法是用一些基本的建筑模型（如长方体、椎体，圆柱体等）来表示建筑物，然后通过建立多点视觉模型来计算这些模型的控制参数，并同时得到模型的纹理信息。但该方法需要用户交互来得到比较好的结果，故很难扩展到大规模的建模问题。

为实现大规模的三维建模，近年来提出了各种建筑物三维建模方法，但是无法在建筑物的图片数量不大并且建筑物的纹理不丰富的情况下，建筑物重建将在没有纹理的区域产生空洞，无法保证其准确性。

发明内容

基于此，有必要提供一种能在物体图片数量不大并且物体的纹理不丰富的情况下提高准确性的物体的三维重建方法。

此外，还有必要提供一种能在物体图片数量不大并且物体的纹理不丰富的情况下提高准确性的物体的三维重建装置。

一种物体的三维重建方法，包括如下步骤：

获取从物体的不同视点采集的若干张物体图片，并从所述物体图片中获取稀疏三维点云；

获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量；

根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；

根据所述段的估计平面的向量计算物体平面所对应的平面方程以重建所述物体平面得到所述物体的三维重构模型。

在其中一个实施例中，所述获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量的步骤包括：

将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解所述三维点对应的张量得到所述三维点的特征值；

根据所述稀疏三维点云中三维点的特征值进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量。

在其中一个实施例中，所述根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量的步骤包括：

在所述物体图片中根据颜色进行分割以得到所述物体图片中的物体平面，并对所述物体平面进行图割得到所述物体平面中所有的段；

获取物体图像中的二维点和三维点之间的对应关系，并根据所述对应关系得到处于同一物体平面的三维点以及所述三维点对应的段；

根据所述三维点对应的估计平面的法向量运算得到所述三维点对应的段的估计平面的法向量；

根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量。

在其中一个实施例中，所述根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量的步骤包括：

判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并所述相邻段。

在其中一个实施例中，所述合并所述相邻段的步骤之后还包括：

对所述合并的段所对应的三维点进行张量投票，以得到所述合并的段中每一三维点的张量，并分解所述张量以得到每一三维点的特征值；

根据所述合并的段中每一三维点的特征值计算所述合并的段的估计平面的法向量；

判断物体平面中两个相邻的合并的段的估计平面的法向量是否与所述合并条件相符，若为是，则将所述两个相邻的合并的段再次合并；

根据所述再次合并得到的段对应的三维点计算得到所述再次合并的段的估计平面的法向量。

一种物体的三维重建装置，包括：

获取模块，用于获取从物体的不同视点采集的若干张物体图片，并从所述物体图片中获取稀疏三维点云；

张量处理模块，用于获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量；

近邻融合模块，用于根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；

重构模块，用于根据所述段的估计平面的向量计算物体平面所对应的平面方程以重建所述物体平面得到所述物体平面的三维重构模型。

在其中一个实施例中，所述张量处理模块包括：

张量分解单元，用于将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解所述三维点对应的张量得到所述三维点的特征值；

张量投票单元，用于根据所述稀疏三维点云中三维点的特征值进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量。

在其中一个实施例中，所述近邻融合模块包括：

分割单元，用于在所述物体图片中根据颜色进行分割以得到所述物体图片中的物体平面，并对所述物体平面进行图割得到所述物体的平面中所有的段；

对应处理单元，用于获取物体图像中的二维点和三维点之间的对应关系，并根据所述对应关系得到处于同一物体平面的三维点以及所述三维点对应的段；

第一法向量运算单元，用于根据所述三维点对应的估计平面的法向量运算得到所述三维点对应的段的估计平面的法向量；

第一合并单元，用于根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量。

在其中一个实施例中，所述第一合并单元还用于判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并所述相邻段。

在其中一个实施例中，所述近邻融合模块还包括：

段张量处理单元，用于对所述合并的段所对应的三维点进行张量投票，以得到所述合并的段中每一三维点的张量，并分解所述张量以得到每一三维点的特征值；

第二法向量运算单元，用于根据所述合并的段中每一三维点的特征值计算所述合并的段的估计平面的法向量；

再次合并单元，用于判断物体平面中两个相邻的合并的段的估计平面的法向量是否与合并条件相符，若为是，则将所述两个相邻的合并的段再次合并；

再次合并向量运算单元，用于根据所述再次合并得到的段对应的三维点计算得到所述再次合并的段的估计平面的法向量。

上述物体的三维重建方法和装置，只需要获取从物体的不同视点采集的若干张物体图片，以从物体图片中获取稀疏三维点云，通过张量对稀疏三维点云中三维点的几何特征进行描述，并进行张量投票以得到三维点和周边的三维点对应的估计平面的法向量，此时，将根据三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量，以输出平面方程重建得到物体的三维重构模型，在在物体的图片数量不大并且物体的纹理不丰富的情况下提高准确性。

附图说明

图1为一个实施例中物体的三维重建方法的流程图；

图2为一个实施例中三维点的张量的可视化模型示意图；

图3为图1中获取稀疏三维点云中三维点的张量，并根据三维点的张量进行张量投票得到三维点和周边的三维点对应的估计平面的法向量的方法流程图；

图4为一个实施例中球张量的投票场的示意图；

图5为一个实施例中棒的投票场的示意图；

图6为图1中根据三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量的方法流程图；

图7为另一个实施例中根据三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；

图8为一个实施例中获取的不同视点的建筑物图片的示意图；

图9为一个实施例中稀疏三维点云的示意图；

图10为图9中的稀疏三维点云进行张量投票后的各三维点可视化张量的示意图；

图11为一个实施例中稀疏三维点云中的三维点通过张量投票所得到的法向量示意图；

图12为图11中稀疏三维点云中的三维点进行近邻融合的示意图；

图13为稀疏三维点云中的三维点再次进行近邻融合的示意图；

图14为一个实施例中物体的三维重建装置的结构示意图；

图15为图14中张量处理模块的结构示意图；

图16为图14中近邻融合模块的结构示意图；

图17为另一个实施例中近邻融合模块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，在一个实施例中，一种物体的三维重建方法，包括如下步骤：

步骤S10，获取从物体的不同视点采集的若干张物体图片，并从物体图片中获取稀疏三维点云。

本实施例中，进行三维重建的物体可以是建筑等人造物体，将从物体的不同视点进行物体图片的采集，以得到若干张物体图片，其中，物体的每一平面将对应了至少3张物体图片。利用多视点建模软件在采集的若干张物体图片中获取位于物体平面上的稀疏三维点云。

步骤S30，获取稀疏三维点云中三维点的张量，并根据三维点的张量进行张量投票得到三维点和周边的三维点对应的估计平面的法向量。

本实施例中，每一三维点都存在着一个二阶对称半正定张量T，即

其中，

e

和

是张量T分解后的三个特征向量，其对应的特征值是λ₁，λ₂和λ₃（λ₁≥λ₂≥λ₃），因此，可将二阶对称半正定张量T改写为：

张量可用三维椭球来表示，如图2所示，张量将包括了棒张量、板张量和球，并分别表示为和

由此可得到这三个分量所对应的平面显著性，即棒显著性、面显著性和球显著性，其中，棒显著性即为曲线性，切向量是

显著性是λ₂-λ₃；面显著性即为平面性，法向量是

显著性为λ₁-λ₂x球显著性即为没有方向性，显著性为λ。

对稀疏三维点云中的三维点进行张量投票，进而使得物体平面中在得到了作为特征点的三维点的估计平面的法向量的同时，也得到了周边的三维点对应的估计平面的法向量，该周边的三维点即为没有纹理的空洞的位置所对应的三维点。

步骤S50，根据三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量。

本实施例中，在每一物体平面中，根据其物体平面中三维点的估计平面的法向量进行对应的段的近邻融合，以将能够合并的两个相邻的段合并，并计算得到合并的段的估计平面的法向量。

步骤S70，根据段的估计平面的法向量计算物体平面所对应的平面方程以重建物体平面得到物体的三维重构模型。

本实施例中，在完成物体平面中段与段之间的近邻融合之后，将根据段的估计平面的法向量得到所在物体平面的平面方程，进而通过平面方程进行重构得到该物体的三维重构模型。

具体的，通过所有的三维点计算中每一物体平面所对应的平面中心x，进而得到每一物体平面所对应的平面方程，即v_seg ^T·(X-x)=0or v_seg ^T·X=d，进而利用平面单应性为每一物体平面贴上纹理，完成物体的三维建模。

如图3所示，在一个实施例中，上述步骤S30的具体过程为：

步骤S310，将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解三维点对应的张量得到三维点的特征值。

本实施例中，对稀疏三维点云中的三维点计算对应的张量，以通过张量描述其所对应的三维几何特征，并对三维点所对应的张量T进行分解以得到三维点的特征值，即λ_1i,、λ_2i,和

步骤S330，根据稀疏三维点云中三维点的特征值进行张量投票得到三维点和周边的三维点对应的估计平面的法向量。

本实施例中，对无方向性的三维点，则按照球的投票场，如图4所示，进行张量投票，以得到无方向性的三维点对应的估计平面的法向量以及位于无方向性的三维点周边的其它三维点对应的估计平面的法向量；对于有方向性的三维点，则按照棒的投票场，如图5所示，进行张量投票。由于所进行的张量投票具备了很好的收敛性，因此，将得到不同平面中三维点的方向性，即三维点对应的估计平面的法向量和平面显著性，也可得到空洞的周边的三维点的估计平面的法向量和平面显著性。

如图6所示，在一个实施例中，上述步骤S50的具体过程为：

步骤S510，在物体图片中根据颜色进行分割以得到物体图片中的物体平面，并对物体平面进行图割得到物体平面中所有的段。

本实施例中，采用基于颜色的分割对物体图像进行分割，以使得物体图像中沿用色彩进行分割，保持了物体的边缘信息。

具体的，首先对物体图像进行色彩分割（color-segmentation），然后采用图割（graph-cut）的方式得图片中每一物体平面的所有的段，以便于在段的基础上进行物体的三维建模。

步骤S530，获取物体图像中的二维点和三维点之间的对应关系，并根据对应关系得到处于同一物体平面的三维点以及该三维点对应的段。

本实施例中，与物体图像中的二维点存在着对应关系的三维点将与该二维点位于同一物体平面的同一位置，因此，可根据获取的物体图像中的二维点和三维点之间的对应关系对三维点进行分类，以将处于同一物体平面的三维点归为一类，并根据所对应的物体图像中的二维点得到所对应的段。

步骤S550，根据三维点对应的估计平面的法向量运算得到三维点对应的段的估计平面的法向量。

本实施例中，每一三维点均有其对应的张量T_i以及张量T_i分解后的特征值λ_1i、λ_2i和因此可根据段所对应的三维点的特征值计算得到其估计平面的法向量v_seg，详细计算过程如以下公式所示：

$V_{\mathrm{seg}}=\frac{\underset{i-1}{\overset{N}{\mathrm{\Σ}}}[({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})\·\stackrel{\→}{e_{1i}}]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})}$

其中，N为段所对应的三维点的数量。

此时，也可相应计算得到段的平面显著性，三维点xi的平面显著性saliency_i(λ_i)为λ_1i–λ_2i，并且λ_1i≥λ_2i，段所对应的平面显著性可由如下公式计算得到，即：

${\mathrm{saliency}}_{\mathrm{seg}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})\·{\mathrm{saliency}}_i]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})}$

步骤S570，根据段的估计平面的法向量合并邻近的段，计算合并后的段的估计平面的法向量。

本实施例中，在每一物体平面中，根据段的估计平面的法向量得到可进行合并的邻近的段，以将两个相互邻近的段合并，直至物体平面中没有可进行合并的段之后方可停止合并，根据合并的段所对应的三维点即可计算得到合并后的段的估计平面的法向量和平面显著性。

具体的，上述步骤S570的具体过程为：判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并该相邻段，若为否，则结束。

合并条件为||V_seg-i-V_seg-j||≤Threshold，其中，V_seg-i和V_seg-j为两个相邻段所对应的估计平面的法向量，Threshold为预设的阈值，因此将首先计算两个相邻段所对应的估计平面的法向量之间的差值，进而判断其是否满足合并条件，若为是，则直接其两个相邻段进行合并即可，若为否，则说明这两个相邻段无法进行合并。

如图7所示，在另一个实施例中，上述步骤S570之后，该步骤S50还包括如下步骤：

步骤S501，对合并的段所对应的三维点进行张量投票，以得到合并的段中每一三维点的张量，并分解张量以得到每一三维点的特征值。

本实施例中，在对每一物体平面完成了如上所述的段的合并之后，还将在每一合并的段所对应的三维点中进行张量投票，以得到周边的三维点所对应的张量，以及所对应的特征值，以进一步精确了对段所进行的运算。

步骤S503，根据合并的段中每一三维点的特征值计算合并的段的估计平面的法向量。

本实施例中，根据合并的段所对应的三维点的特征值以及进行张量投票所得到的三维点的特征值进行计算，得到合并的段的估计平面的法向量。

步骤S505，判断物体平面中两个相邻的合并的段的估计平面的法向量是否与合并条件相符，若为是，则进入步骤S507，若为否，则结束。

本实施例中，再次进行合并条件的判断，即判断物体平面中两个相邻的合并的段是否满足合并条件，该合并条件如上所述，以便于进行两个相邻的合并的段之间的再次合并。

步骤S507，将两个相邻的合并的段再次合并。

步骤S509，根据再次合并得到的段对应的三维点计算得到再次合并的段的估计平面的法向量。

下面结合一个具体的实施例说明上述物体的三维重建过程。该实施例中，物体图片为建筑物图片，如图8所示，获取不同视点的建筑物图片，从建筑物图片中得到建筑物表面的稀疏三维点云。

此时，将获取稀疏三维点云中三维点的张量，并获取三维点与建筑物图片中建筑物表面的二维点之间的对应关系，通过张量描述三维点的几何特征，如图9所示的稀疏三维点云中包括了若干个三维点，如图10所示，根据每一三维点所对应的张量进行张量投票即可得到稀疏三维点云中各三维点的可视化张量以及对应的估计平面的法向量，如图11所示。

此时，将通过对每一建筑物平面的段根据法向量进行若干次近邻融合以得到近邻融合后的段所对应的估计平面的法向量，如图12和图13所示，进而输出平面方程即可完成建筑物的三维重建。

如图14所示，在一个实施例中，一种物体的三维重建装置，包括获取模块10、张量处理模块30、近邻融合模块50和重构模块70。

获取模块10，用于获取从物体的不同视点采集的若干张物体图片，并从物体图片中获取稀疏三维点云。

本实施例中，进行三维重建的物体可以是建筑等人造物体，将从物体的不同视点进行物体图片的采集，以得到若干张物体图片，其中，物体的每一平面将对应了至少3张物体图片。获取模块10利用多视点建模软件在采集的若干张物体图片中获取位于物体平面上的稀疏三维点云。

张量处理模块30，用于获取稀疏三维点云中三维点的张量，并根据三维点的张量进行张量投票得到三维点和周边的三维点对应的估计平面的法向量。

本实施例中，每一三维点都存在着一个二阶对称半正定张量T，即

其中，

和

是张量T分解后的三个特征向量，其对应的特征值是λ1，λ2和λ3（λ1≥λ2≥λ3），因此，可将二阶对称半正定张量T改写为：

张量可用三维椭球来表示，将包括了棒张量、板张量和球，并分别表示为

和

由此可得到这三个分量所对应的平面显著性，即棒显著性、面显著性和球显著性，其中，棒显著性即为曲线性，切向量是

显著性是λ2-λ3；面显著性即为平面性，法向量是

显著性为λ₁-λ₂；球显著性即为没有方向性，显著性为λ。

张量处理模块30对稀疏三维点云中的三维点进行张量投票，进而使得物体平面中在得到了作为特征点的三维点的估计平面的法向量的同时，也得到了周边的三维点对应的估计平面的法向量。

近邻融合模块50，用于根据三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量。

本实施例中，在每一物体平面中，近邻融合模块50根据其物体平面中三维点的估计平面的法向量进行对应的段的近邻融合，以将能够合并的两个相邻的段合并，并计算得到合并的段的估计平面的法向量。

重构模块70，用于根据段的估计平面的向量计算物体平面所对应的平面方程以重建物体平面得到所述物体平面的三维重构模型。

本实施例中，在完成物体平面中段与段之间的近邻融合之后，重构模块70将根据段的估计平面的法向量得到所在物体平面的平面方程，进而通过平面方程进行重构得到该物体的三维重构模型。

具体的，重构模块70通过所有的三维点计算中每一物体平面所对应的平面中心x，进而得到每一物体平面所对应的平面方程，即v_seg ^T·(X-x)=0or v_seg ^T·X=d，进而利用平面单应性为每一物体平面贴上纹理，完成物体的三维建模。

如图15所示，在一个实施例中，上述张量处理模块30包括张量分解单元310和张量投票单元330。

张量分解单元310，用于将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解三维点对应的张量得到三维点的特征值。

本实施例中，张量分解单元310对稀疏三维点云中的三维点计算对应的张量，以通过张量描述其所对应的三维几何特征，并对三维点所对应的张量T进行分解以得到三维点的特征值，即λ_1i,、λ_2i,和

张量投票单元330，用于根据稀疏三维点云中三维点的特征值进行张量投票得到三维点和周边的三维点对应的估计平面的法向量。

本实施例中，张量投票单元330对无方向性的三维点，则按照球的投票场进行张量投票，以得到无方向性的三维点对应的估计平面的法向量以及位于无方向性的三维点周边的其它三维点对应的估计平面的法向量；对于有方向性的三维点，则按照棒的投票场进行张量投票。由于所进行的张量投票具备了很好的收敛性，因此，张量投票单元330将得到不同平面中三维点的方向性，即三维点对应的估计平面的法向量和平面显著性，也可得到空洞的周边的三维点的估计平面的法向量和平面显著性。

如图16所示，在一个实施例中，上述近邻融合模块50包括分割单元510、对应处理单元530、第一法向运算单元550和第一合并单元570。

分割单元510，用于在物体图片中根据颜色进行分割以得到物体图片中的物体平面，并对物体平面进行图割得到物体的平面中所有的段。

本实施例中，分割单元510采用基于颜色的分割对物体图像进行分割，以使得物体图像中沿用色彩进行分割，保持了物体的边缘信息。

具体的，分割单元510首先对物体图像进行色彩分割，然后采用图割的方式得图片中每一物体平面的所有的段，以便于在段的基础上进行物体的三维建模。

对应处理单元530，用于获取物体图像中的二维点和三维点之间的对应关系，并根据对应关系得到处于同一物体平面的三维点以及三维点对应的段。

本实施例中，与物体图像中的二维点存在着对应关系的三维点将与该二维点位于同一物体平面的同一位置，因此，对应处理单元530可根据获取的物体图像中的二维点和三维点之间的对应关系对三维点进行分类，以将处于同一物体平面的三维点归为一类，并根据所对应的物体图像中的二维点得到所对应的段。

第一法向量运算单元550，用于根据三维点对应的估计平面的法向量运算得到三维点对应的段的估计平面的法向量。

本实施例中，每一三维点均有其对应的张量T_i以及张量T_i分解后的特征值λ_1i、λ_2i和e

因此第一法向量运算单元550可根据段所对应的三维点的特征值计算得到其估计平面的法向量v_seg，详细计算过程如以下公式所示：

$V_{\mathrm{seg}}=\frac{\underset{i-1}{\overset{N}{\mathrm{\Σ}}}[({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})\·\stackrel{\→}{e_{1i}}]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})}$

其中，N为段所对应的三维点的数量。

此时，也可相应计算得到段的平面显著性，三维点x_i的平面显著性saliency_i(λ_i)为λ_1i–λ_2i，并且λ₁i≥λ_2i，段所对应的平面显著性可由如下公式计算得到，即：

${\mathrm{saliency}}_{\mathrm{seg}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})\·{\mathrm{saliency}}_i]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{\λ}}_{1i}-{\mathrm{\λ}}_{2i})}$

第一合并单元570，用于根据段的估计平面的法向量合并邻近的段，计算合并后的段的估计平面的法向量。

本实施例中，在每一物体平面中，第一合并单元570根据段的估计平面的法向量得到可进行合并的邻近的段，以将两个相互邻近的段合并，直至物体平面中没有可进行合并的段之后方可停止合并，根据合并的段所对应的三维点即可计算得到合并后的段的估计平面的法向量和平面显著性。

具体的，第一合并单元570还用于判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并所述相邻段，若为否，则停止执行。

合并条件为||V_seg-i-V_seg-j||≤Threshold，其中，V_seg-i和V_seg-j为两个相邻段所对应的估计平面的法向量，Threshold为预设的阈值，因此第一合并单元570将首先计算两个相邻段所对应的估计平面的法向量之间的差值，进而判断其是否满足合并条件，若为是，则直接其两个相邻段进行合并即可，若为否，则说明这两个相邻段无法进行合并。

如图17所示，在一个实施例中，上述近邻融合模块50还包括段张量处理单元501、第二法向量运算单元503、再次合并单元505和再次合并向量运算单元507。

段张量处理单元501，用于对合并的段所对应的三维点进行张量投票，以得到合并的段中每一三维点的张量，并分解该张量以得到第一三维点的特征值。

本实施例中，在对每一物体平面完成了如上所述的段的合并之后，段张量处理单元501还将在每一合并的段所对应的三维点中进行张量投票，以得到周边的三维点所对应的张量，以及所对应的特征值，以进一步精确了对段所进行的运算。

第二法向量运算单元503，用于根据合并的段中每一三维点的特征值计算合并的段的估计平面的法向量。

本实施例中，第二法向量运算单元503根据合并的段所对应的三维点的特征值以及进行张量投票所得到的三维点的特征值进行计算，得到合并的段的估计平面的法向量。

再次合并单元505，用于判断物体平面中两个相邻的合并的段的估计平面的法向量是否与合并条件相符，若为是，则将两个相邻的合并的段再次合并，若为否，则停止执行。

本实施例中，再次合并单元505再次进行合并条件的判断，即判断物体平面中两个相邻的合并的段是否满足合并条件，该合并条件如上所述，以便于进行两个相邻的合并的段之间的再次合并。

再次合并向量运算单元507，用于根据再次合并得到的段对应的三维点计算得到再次合并的段的估计平面的法向量。

本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本邻域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种物体的三维重建方法，包括如下步骤：

获取从物体的不同视点采集的若干张物体图片，并从所述物体图片中获取稀疏三维点云；

获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量；

根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；

根据所述段的估计平面的向量计算物体平面所对应的平面方程以重建所述物体平面得到所述物体的三维重构模型。

2.根据权利要求1所述的方法，其特征在于，所述获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量的步骤包括：

将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解所述三维点对应的张量得到所述三维点的特征值；

根据所述稀疏三维点云中三维点的特征值进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量。

3.根据权利要求1所述的方法，其特征在于，所述根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量的步骤包括：

在所述物体图片中根据颜色进行分割以得到所述物体图片中的物体平面，并对所述物体平面进行图割得到所述物体平面中所有的段；

获取物体图像中的二维点和三维点之间的对应关系，并根据所述对应关系得到处于同一物体平面的三维点以及所述三维点对应的段；

根据所述三维点对应的估计平面的法向量运算得到所述三维点对应的段的估计平面的法向量；

根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量的步骤包括：

判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并所述相邻段。

5.根据权利要求4所述的方法，其特征在于，所述合并所述相邻段的步骤之后还包括：

对所述合并的段所对应的三维点进行张量投票，以得到所述合并的段中每一三维点的张量，并分解所述张量以得到每一三维点的特征值；

根据所述合并的段中每一三维点的特征值计算所述合并的段的估计平面的法向量；

判断物体平面中两个相邻的合并的段的估计平面的法向量是否与所述合并条件相符，若为是，则将所述两个相邻的合并的段再次合并；

根据所述再次合并得到的段对应的三维点计算得到所述再次合并的段的估计平面的法向量。

6.一种物体的三维重建装置，其特征在于，包括：

获取模块，用于获取从物体的不同视点采集的若干张物体图片，并从所述物体图片中获取稀疏三维点云；

张量处理模块，用于获取所述稀疏三维点云中三维点的张量，并根据所述三维点的张量进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量；

近邻融合模块，用于根据所述三维点的估计平面的法向量进行近邻融合得到物体平面中段的估计平面的法向量；

重构模块，用于根据所述段的估计平面的向量计算物体平面所对应的平面方程以重建所述物体平面得到所述物体平面的三维重构模型。

7.根据权利要求6所述的装置，其特征在于，所述张量处理模块包括：

张量分解单元，用于将稀疏三维点云中三维点的三维几何特征通过张量描述，并分解所述三维点对应的张量得到所述三维点的特征值；

张量投票单元，用于根据所述稀疏三维点云中三维点的特征值进行张量投票得到所述三维点和周边的三维点对应的估计平面的法向量。

8.根据权利要求6所述的装置，其特征在于，所述近邻融合模块包括：

分割单元，用于在所述物体图片中根据颜色进行分割以得到所述物体图片中的物体平面，并对所述物体平面进行图割得到所述物体的平面中所有的段；

对应处理单元，用于获取物体图像中的二维点和三维点之间的对应关系，并根据所述对应关系得到处于同一物体平面的三维点以及所述三维点对应的段；

第一法向量运算单元，用于根据所述三维点对应的估计平面的法向量运算得到所述三维点对应的段的估计平面的法向量；

第一合并单元，用于根据所述段的估计平面的法向量合并邻近的段，计算所述合并后的段的估计平面的法向量。

9.根据权利要求8所述的装置，其特征在于，所述第一合并单元还用于判断物体平面中两个相邻段所对应的估计平面的法向量是否与合并条件相符，若为是，则合并所述相邻段。

10.根据权利要求9所述的装置，其特征在于，所述近邻融合模块还包括：

段张量处理单元，用于对所述合并的段所对应的三维点进行张量投票，以得到所述合并的段中每一三维点的张量，并分解所述张量以得到每一三维点的特征值；

第二法向量运算单元，用于根据所述合并的段中每一三维点的特征值计算所述合并的段的估计平面的法向量；

再次合并单元，用于判断物体平面中两个相邻的合并的段的估计平面的法向量是否与合并条件相符，若为是，则将所述两个相邻的合并的段再次合并；

再次合并向量运算单元，用于根据所述再次合并得到的段对应的三维点计算得到所述再次合并的段的估计平面的法向量。

Images