CN102800127B - 一种基于光流优化的三维重建方法及装置 - Google Patents

一种基于光流优化的三维重建方法及装置 Download PDF

Info

Publication number
CN102800127B
CN102800127B CN201210250109.1A CN201210250109A CN102800127B CN 102800127 B CN102800127 B CN 102800127B CN 201210250109 A CN201210250109 A CN 201210250109A CN 102800127 B CN102800127 B CN 102800127B
Authority
CN
China
Prior art keywords
light stream
cloud
groups
visual angle
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210250109.1A
Other languages
English (en)
Other versions
CN102800127A (zh
Inventor
戴琼海
钱彦君
刘烨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201210250109.1A priority Critical patent/CN102800127B/zh
Publication of CN102800127A publication Critical patent/CN102800127A/zh
Application granted granted Critical
Publication of CN102800127B publication Critical patent/CN102800127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于光流优化的三维重建方法及装置，其中该方法包括以下步骤：用多视角深度相机采集多视角的深度图和彩色图，并进行三维空间变换，获取各视角的点云；根据深度图和彩色图的信息，计算相邻视角的两组点云的度量向量；根据多通道光流法，利用相邻视角的两组点云的度量向量建立光流优化式；求解光流优化式，得到相邻视角的两组点云的匹配结果；根据匹配结果，把各视角点云填入融合矩阵；以及对融合矩阵进行处理，得到三维重建结果。本发明可以自适应的利用尽可能少的点表征模型的三维结构，从而降低数据冗余性，同时模型精度较高，此外，本发明对硬件要求不高，适用范围较广。

Description

一种基于光流优化的三维重建方法及装置
技术领域
本发明涉及计算机图形学领域，特别涉及一种基于光流优化的三维重建方法及装置。
背景技术
三维重建算法的主要流程是：首先采集目标的多视角图片，接着利用相邻的视角进行深度估计，得到每一个视角的三维点云，最后把这些点云融合起来，得到完整的三维模型。随着深度获取技术的不断发展，目前我们已经可以直接获得任意视角的深度图或点云信息，只要经过点云融合就可以获得模型。多视角点云融合技术在三维重建中取得了显著的效果，也受到了广泛的关注。不同视角的点云具有两大特点：第一是冗余性，不同的视角产生的点云有很大的重叠部分，而很多点实际上在物理上表述的是同一点；第二是噪声性，由于点云匹配算法的错误，或者深度获取设备的误差，不同的获取结果往往存在很多误差，对同一目标处的深度测量结果也不相同。因此，点云融合算法的核心可归结为利用冗余性降低最终结果的噪声。
目前最常用的点云融合算法，只是简单地把各个视角产生的点云叠加到一起，组成一个完整的模型。然后根据反投影的图像信息，判断每个点在各个视角上的可见性。接着，定义一些冲突点度量，通过可见性和冲突点度量得到点的置信度，去除明显的噪声点之后，利用空间位置关系和KNN（K-Nearest-Neighbor）算法对所有点云进行聚类，利用聚类中心作为此类所有点集合的代表，实现对模型的下采样。
传统的方法完全没有考虑每个点云来自不同的视角，因此有相应的语义信息，所以不能最大限度地利用各个视角点云的冗余性。而且判别冲突点和噪声点的方法也相对单一，对于由于相机参数不准确等原因引入的全局误差缺乏处理方法。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的一个目的在于提出一种需要较少的点表示模型、能够减少噪声并且提高模型精度的基于光流优化的三维重建方法。
本发明的另一目的在于提出一种需要的模型点较少、噪声较小并且模型精度较高的基于光流优化的三维重建装置。
为了实现上述目的，根据本发明第一方面的基于光流优化的三维重建方法包括以下步骤：A.用多视角深度相机采集多视角的深度图和彩色图，并结合所述深度相机的标定参数进行三维空间变换，获取各视角的点云；B.根据所述深度图和彩色图的信息，计算相邻视角的两组点云的度量向量；C.根据多通道光流法，利用所述相邻视角的两组点云的度量向量建立光流优化式；D.求解所述光流优化式，得到所述相邻视角的两组点云的匹配结果；E.根据所述匹配结果，把各视角所述点云填入融合矩阵；以及F.对所述融合矩阵进行变换处理，得到三维重建结果。
在本发明的方法的一个实施例中，所述步骤A包括：A1.对所述多视角的深度相机进行标定，得到标定参数；A2.利用所述深度相机采集多视角的深度图和彩色图；以及A3.结合所述标定参数，对各视角的所述深度图和彩色图进行三维空间变换，获得各视角的点云。
在本发明的方法的一个实施例中，将所述两组点云的度量向量分别记I1=(o1,n1,c1,N1,G1)和I2=(o2,n2,c2,N2,G2)，其中，o1和o2为坐标度量，且o1=(x1,y1,z1)和o2=(x2,y2,z2)；n1和n2为法向度量，n1=(nx1,ny1,nz1)和n2=(nx2,ny2,nz2)；c1和c2为法向度量，c1=(r1,g1,b1)和c2=(r2,g2,b2)，r、g、b表示对应的像素的RGB三通道值；N1和N2为所述点云投影到相应像素所在的对极线序号；G1和G2为梯度度量，表示两组点云投影像素的四邻域的梯度，G1=(Gx1,Gy1)和G2=(Gx2,Gy2)。
在本发明的方法的一个实施例中，所述光流优化式为：其中V=(Δx,Δy)。
在本发明的方法的一个实施例中，根据LK算法或变分优化算法求解所述光流优化式。
在本发明的方法的一个实施例中，所述步骤D还进一步包括：对得到的光流进行杂点去除和高斯平滑，对所述匹配结果进行进一步优化。
在本发明的方法的一个实施例中，步骤F包括：利用主成分分解法或低轶矩阵恢复法，将所述融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，得到三维重建结果。
根据本发明实施例的基于光流优化的三维重建方法，首先在邻近视角的深度图上进行坐标变换，接着利用我们定义的度量向量计算各个三维点的相似度量，然后利用光流融合的方法得到它们的两两对应关系，从而实现不同视角的三维点云的匹配。最后，我们利用匹配的结果，把表征目标的全部点云有序填充到融合矩阵中，利用主成分分析或者低秩矩阵恢复技术，得到最终的融合结果。实验证明，本发明的方法可以自适应的利用尽可能少的点表征模型的三维结构，从而降低数据冗余性，同时模型精度较高，此外，本发明的方法对硬件要求不高，可在普通PC实现，适用范围较广。
为了实现上述目的，根据本发明第二方面的基于光流优化的三维重建装置包括以下部分：多视角的深度相机，用于采集多视角的深度图和彩色图；点云获取模块，用于对多视角的深度图和彩色图，结合所述深度相机的标定参数进行三维空间变换，获取各视角的点云；度量向量计算模块，用于根据所述深度图和彩色图的信息，计算相邻视角的两组点云的度量向量；光流优化匹配模块，用于根据多通道光流法，利用所述相邻视角的两组点云的度量向量建立光流优化式，并求解所述光流优化式，得到所述相邻视角的两组点云的匹配结果；融合矩阵处理模块，用于根据所述光流优化匹配模块得到的所述匹配结果，把各视角所述点云填入融合矩阵，并对所述融合矩阵进行变换处理，得到三维重建结果。
在本发明的装置的一个实施例中，还包括：相机标定模块，用于对所述多视角的深度相机进行标定，得到标定参数。
在本发明的装置的一个实施例中，所述两组点云的度量向量分别记I1=(o1,n1,c1,N1,G1)和I2=(o2,n2,c2,N2,G2)，其中，o1和o2为坐标度量，且o1=(x1,y1,z1)和o2=(x2,y2,z2)；n1和n2为法向度量，n1=(nx1,ny1,nz1)和n2=(nx2,ny2,nz2)；c1和c2为法向度量，c1=(r1,g1,b1)和c2=(r2,g2,b2)，r、g、b表示对应的像素的RGB三通道值；N1和N2为所述点云投影到相应像素所在的对极线序号；G1和G2为梯度度量，表示两组点云投影像素的四邻域的梯度，G1=(Gx1,Gy1)和G2=(Gx2,Gy2)。
在本发明的装置的一个实施例中，所述光流优化式为：其中V=(Δx,Δy)。
在本发明的装置的一个实施例中，根据LK算法或变分优化算法求解所述光流优化式。
在本发明的装置的一个实施例中，所述光流优化匹配模块中还包括：优化模块，用于对得到的光流进行杂点去除和高斯平滑，对所述匹配结果进行进一步优化。
在本发明的装置的一个实施例中，所述对所述融合矩阵进行变换处理，得到三维重建结果包括：利用主成分分解法或低轶矩阵恢复法，将所述融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，得到三维重建结果。
根据本发明实施例的基于光流优化的三维重建装置，首先在邻近视角的深度图上进行坐标变换，接着利用我们定义的度量向量计算各个三维点的相似度量，然后利用光流融合的方法得到它们的两两对应关系，从而实现不同视角的三维点云的匹配。最后，我们利用匹配的结果，把表征目标的全部点云有序填充到融合矩阵中，利用主成分分析或者低秩矩阵恢复技术，得到最终的融合结果。实验证明，本发明的方法可以自适应的利用尽可能少的点表征模型的三维结构，从而降低数据冗余性，同时模型精度较高，此外，本发明的装置对硬件要求不高，可在普通PC实现，适用范围较广。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1是根据本发明的基于光流优化的三维重建方法的流程图；
图2是根据本发明的方法中多视角点云融合示意的流程图；
图3是根据传统方法与本发明方法得到的三位重建结果的精度比较；和
图4是根据本发明的基于光流优化的三维重建装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参考附图描述根据本发明实施例的基于光流优化的三维重建方法及系统。
图1是根据本发明一个实施例的基于光流优化的三维重建方法的流程图。
如图1所示，本发明的基于光流优化的三维重建方法包括下述步骤：
步骤S101，用多视角深度相机采集多视角的深度图和彩色图，并结合深度相机的标定参数进行三维空间变换，获取各视角的点云。
具体地，首先对多视角的深度相机进行标定，得到标定参数；然后利用深度相机采集多视角的深度图和彩色图；最后结合标定参数，对各视角的深度图和彩色图进行三维空间变换，获得各视角的点云，目的是通过变换把各个视角的点云变到同样的坐标系中，实现点云坐标和世界坐标的统一。
步骤S102，根据深度图和彩色图的信息，计算相邻视角的两组点云的度量向量。具体地，对于每一组相邻视角的深度图，利用采集到的图像信息和点云坐标计算得到两组点云之间的度量关系，即度量向量。步骤如下：
(1)计算坐标度量：对于两组点云，记录每个点上的三维坐标o1＝(x1,y1,z1)和o2＝(x2,y2,z2)，此坐标均为世界坐标系下的坐标。
(2)计算法向度量：利用领域点云的PCA分解，计算每个三维点的法向，记为n1=(nx1,ny1,nz1)和n2=(nx2,ny2,nz2)。
(3)计算颜色度量：把两组点云投影到相应的图片上，得到对应的像素的RGB三通道值，记为c1＝(r1,g1,b1)和c2＝(r2,g2,b2)。
(4)计算对极线约束：利用两个相机的参数计算对极线，将两幅图像的对极线进行编号。把点云投影到相应像素所在的对极线序号记为N1和N2。
(5)计算梯度度量：利用两组点云投影像素的四邻域的梯度，记为G1=(Gx1,Gy1)和G2=(Gx2,Gy2)。
(6)综合以上的信息，得到两组点云的度量向量I1=(o1,n1,c1,N1,G1)和I2=(o2,n2,c2,N2,G2)。根据在对应图像上的位置，组成多通道度量图。
步骤S103，根据多通道光流法，利用相邻视角的两组点云的度量向量建立光流优化式。
在本发明方法的一个实施例中，利用步骤S102得到的两组点云的多通道图为I1和I2，则相应的多通道度量图对应关系为V=(Δx,Δy)，可定义光流优化式为：需要说明的是，针对不同的度量，可以在相应通道设置权重。
步骤S104，求解光流优化式，得到相邻视角的两组点云的匹配结果。
具体地，利用LK算法（Lucas–Kanade method）或者变分优化算法，对步骤S103中的优化式进行求解得到两幅多通道度量图的对应矩阵V，获得它们之间的光流。对于第一幅图上的点(x,y)，则将其与第二幅图上点(x+Δx,y+Δy)建立匹配关系。优选地，对得到的光流进行杂点去除和高斯平滑，对匹配结果进行进一步优化。
步骤S105，根据匹配结果，把各视角点云填入融合矩阵。
具体地，依次对每一组相邻视角的点云进行匹配后，根据匹配关系把点云的相对位置填充到一个3通道的融合矩阵中。矩阵每一列代表一个视角，有对应关系的点放入同一列中。如果出现无匹配点的情况，在相应的位置进行标记。
步骤S106，对融合矩阵进行变换处理，得到三维重建结果。即将该融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，获得三维重建结果。
具体地，可采用主成分分解法或低轶矩阵恢复法对融合矩阵进行处理，得到融合结果，即为用于表示目标的点云。其中采用主成分分解方法，需要对无匹配标记的位置填充该行的平均值；采用低秩矩阵恢复方法，可以自动处理矩阵元素缺失的问题，不需要对无匹配标记的位置单独进行处理。
为使本领域技术人员更好地理解本发明的方法，图2形象地示出了本发明的方法中多视角点云融合的过程。
此外图3示出了根据传统方法与本发明方法得到的三位重建结果的精度比较，可以看出本发明的方法的三维重建结果精度较高。在该对照实验中，采用的硬件PC配置为：CPU：Intel Core2Duo CPU E75002.93GHz；内存：4.0GB；操作系统：Windows7。
根据本发明实施例的基于光流优化的三维重建方法，首先在邻近视角的深度图上进行坐标变换，接着利用我们定义的度量向量计算各个三维点的相似度量，然后利用光流融合的方法得到它们的两两对应关系，从而实现不同视角的三维点云的匹配。最后，我们利用匹配的结果，把表征目标的全部点云有序填充到融合矩阵中，利用主成分分析或者低秩矩阵恢复技术，得到最终的融合结果。实验证明，本发明的方法可以自适应的利用尽可能少的点表征模型的三维结构，从而降低数据冗余性，同时模型精度较高，此外，本发明的方法对硬件要求不高，可在普通PC实现，适用范围较广。
图4是根据本发明的基于光流优化的三维重建装置的结构框图。
如图4所示，本发明的基于光流优化的三维重建装置包括多视角的深度相机100、点云获取模块200、度量向量计算模块300、光流优化匹配模块400和融合矩阵处理模块500。其中：
多视角的深度相机100用于采集多视角的深度图和彩色图。在本发明的装置的一个实施例中，多视角的深度相机100还包括相机标定模块110，相机标定模块110用于对多视角的深度相机进行标定，得到标定参数。
点云获取模块200用于对多视角的深度图和彩色图，结合深度相机100的标定参数进行三维空间变换，获取各视角的点云。点云获取模块200的作用是通过变换把各个视角的点云变到同样的坐标系中，实现点云坐标和世界坐标的统一。
度量向量计算模块300用于根据深度图和彩色图的信息，计算相邻视角的两组点云的度量向量。具体地，对于每一组相邻视角的深度图，利用采集到的图像信息和点云坐标计算得到两组点云之间的度量关系，即度量向量。
(1)计算坐标度量：对于两组点云，记录每个点上的三维坐标o1＝(x1,y1,z1)和o2＝(x2,y2,z2)。均为世界坐标系下的坐标。
(2)计算法向度量：利用领域点云的PCA分解，计算每个三维点的法向，记为n1=(nx1,ny1,nz1)和n2=(nx2,ny2,nz2)。
(3)计算颜色度量：把两组点云投影到相应的图片上，得到对应的像素的RGB三通道值，记为c1＝(r1,g1,b1)和c2＝(r2,g2,b2)。
(4)计算对极线约束：利用两个相机的参数计算对极线，将两幅图像的对极线进行编号。把点云投影到相应像素所在的对极线序号记为N1和N2。
(5)计算梯度度量：利用两组点云投影像素的四邻域的梯度，记为G1=(Gx1,Gy1)和G2=(Gx2,Gy2)。
(6)综合以上的信息，得到两组点云的度量向量I1=(o1,n1,c1,N1,G1)和I2＝(o2,n2,c2,N2,G2)。根据在对应图像上的位置，组成多通道度量图。
光流优化匹配模块400，用于根据多通道光流法，利用相邻视角的两组点云的度量向量建立光流优化式，并求解光流优化式，得到相邻视角的两组点云的匹配结果。
具体地，首先利用度量向量计算模块300获得的两组点云的多通道图为I1和I2，则相应的多通道度量图对应关系为V=(Δx,Δy)，可定义光流优化式为： 需要说明的是，针对不同的度量，可以在相应通道设置权重。利用LK算法（Lucas-Kanade method）或者变分优化算法，对上述光流优化式进行求解得到两幅多通道度量图的对应矩阵V，获得它们之间的光流。对于第一幅图上的点(x,y)，则将其与第二幅图上点(x+Δx,y+Δy)建立匹配关系。
优选地，光流优化匹配模块400中还包括优化模块410，优化模块410用于对得到的光流进行杂点去除和高斯平滑，对匹配结果进行进一步优化。
融合矩阵处理模块500用于根据光流优化匹配模块得到的匹配结果，把各视角点云填入融合矩阵，并对融合矩阵进行变换处理，将该融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，得到三维重建结果。其中，对融合矩阵进行处理的方法可采用主成分分解法或低轶矩阵恢复法。具体地，可采用主成分分解法或低轶矩阵恢复法对融合矩阵进行处理，得到融合结果，即为用于表示目标的点云。其中采用主成分分解方法，需要对无匹配标记的位置填充该行的平均值；采用低秩矩阵恢复方法，可以自动处理矩阵元素缺失的问题，不需要对无匹配标记的位置单独进行处理。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于光流优化的三维重建方法，其特征在于，包括以下步骤：
A.用多视角深度相机采集多视角的深度图和彩色图，并结合所述深度相机的标定参数进行三维空间变换，获取各视角的点云；
B.根据所述深度图和彩色图的信息，计算相邻视角的两组点云的度量向量，其中，所述两组点云的度量向量分别记I1＝(o1,n1,c1,N1,G1)和I2＝(o2,n2,c2,N2,G2)，其中，o1和o2为坐标度量，且o1＝(x1,y1,z1)和o2＝(x2,y2,z2)；n1和n2为法向度量，n1＝(nx1,ny1,nz1)和n2＝(nx2,ny2,nz2)；c1和c2为颜色度量，c1＝(r1,g1,b1)和c2＝(r2,g2,b2)，r、g、b表示对应的像素的RGB三通道值；N1和N2为所述点云投影到相应像素所在的对极线序号；G1和G2为梯度度量，表示两组点云投影像素的四邻域的梯度，G1＝(Gx1,Gy1)和G2＝(Gx2,Gy2)；
C.根据多通道光流法，利用所述相邻视角的两组点云的度量向量建立光流优化式，所述光流优化式为：其中V＝(Δx,Δy)；
D.求解所述光流优化式，得到所述相邻视角的两组点云的匹配结果；
E.根据所述匹配结果，把各视角所述点云填入融合矩阵；以及
F.对所述融合矩阵进行变换处理，得到三维重建结果。
2.如权利要求1所述的基于光流优化的三维重建方法，其特征在于，所述步骤A包括：
A1.对所述多视角的深度相机进行标定，得到标定参数；
A2.利用所述深度相机采集多视角的深度图和彩色图；以及
A3.结合所述标定参数，对各视角的所述深度图和彩色图进行三维空间变换，获得各视角的点云。
3.如权利要求1所述的基于光流优化的三维重建方法，其特征在于，根据LK算法或变分优化算法求解所述光流优化式。
4.如权利要求1所述的基于光流优化的三维重建方法，其特征在于，所述步骤D还进一步包括：对得到的光流进行杂点去除和高斯平滑，对所述匹配结果进行进一步优化。
5.如权利要求1所述的基于光流优化的三维重建方法，其特征在于，所述步骤F包括：利用主成分分解法或低轶矩阵恢复法，将所述融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，得到三维重建结果。
6.一种基于光流优化的三维重建装置，其特征在于，包括以下部分：
多视角的深度相机，用于采集多视角的深度图和彩色图；
点云获取模块，用于对多视角的深度图和彩色图，结合所述深度相机的标定参数进行三维空间变换，获取各视角的点云；
度量向量计算模块，用于根据所述深度图和彩色图的信息，计算相邻视角的两组点云的度量向量，其中，所述两组点云的度量向量分别记I1＝(o1,n1,c1,N1,G1)和I2＝(o2,n2,c2,N2,G2)，其中，o1和o2为坐标度量，且o1＝(x1,y1,z1)和o2＝(x2,y2,z2)；n1和n2为法向度量，n1＝(nx1,ny1,nz1)和n2＝(nx2,ny2,nz2)；c1和c2为颜色度量，c1＝(r1,g1,b1)和c2＝(r2,g2,b2)，r、g、b表示对应的像素的RGB三通道值；N1和N2为所述点云投影到相应像素所在的对极线序号；G1和G2为梯度度量，表示两组点云投影像素的四邻域的梯度，G1＝(Gx1,Gy1)和G2＝(Gx2,Gy2)；
光流优化匹配模块，用于根据多通道光流法，利用所述相邻视角的两组点云的度量向量建立光流优化式，所述光流优化式为：其中V＝(Δx,Δy)，并求解所述光流优化式，得到所述相邻视角的两组点云的匹配结果；
融合矩阵处理模块，用于根据所述光流优化匹配模块得到的所述匹配结果，把各视角所述点云填入融合矩阵，并对所述融合矩阵进行变换处理，得到三维重建结果。
7.如权利要求6所述的基于光流优化的三维重建装置，其特征在于，还包括：
相机标定模块，用于对所述多视角的深度相机进行标定，得到标定参数。
8.如权利要求6所述的基于光流优化的三维重建装置，其特征在于，根据LK算法或变分优化算法求解所述光流优化式。
9.如权利要求6所述的基于光流优化的三维重建装置，其特征在于，所述光流优化匹配模块中还包括：优化模块，用于对得到的光流进行杂点去除和高斯平滑，对所述匹配结果进行进一步优化。
10.如权利要求6所述的基于光流优化的三维重建装置，其特征在于，所述对所述融合矩阵进行变换处理，得到三维重建结果包括：利用主成分分解法或低轶矩阵恢复法，将所述融合矩阵的所有列变换为一个列向量，提取各列数据的共有信息，得到三维重建结果。
CN201210250109.1A 2012-07-18 2012-07-18 一种基于光流优化的三维重建方法及装置 Active CN102800127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210250109.1A CN102800127B (zh) 2012-07-18 2012-07-18 一种基于光流优化的三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210250109.1A CN102800127B (zh) 2012-07-18 2012-07-18 一种基于光流优化的三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN102800127A CN102800127A (zh) 2012-11-28
CN102800127B true CN102800127B (zh) 2014-11-26

Family

ID=47199223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210250109.1A Active CN102800127B (zh) 2012-07-18 2012-07-18 一种基于光流优化的三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN102800127B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179328B (zh) * 2019-12-31 2023-09-08 智车优行科技（上海）有限公司 数据同步标定方法、装置、可读存储介质及电子设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9214138B2 (en) * 2012-12-28 2015-12-15 Microsoft Technology Licensing, Llc Redundant pixel mitigation
US9135742B2 (en) 2012-12-28 2015-09-15 Microsoft Technology Licensing, Llc View direction determination
CN103247075B (zh) * 2013-05-13 2015-08-19 北京工业大学 基于变分机制的室内环境三维重建方法
CN104008569B (zh) * 2014-02-24 2016-03-02 惠州学院 一种基于深度视频的3d场景生成方法
CN103927787A (zh) * 2014-04-30 2014-07-16 南京大学 一种基于矩阵恢复的提高三维重建精度的方法及其装置
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
CN105006021B (zh) * 2015-06-30 2016-10-12 南京大学 一种适用于快速点云三维重建的颜色映射方法及装置
CN106355642B (zh) * 2016-08-31 2019-04-02 上海交通大学 一种基于深度图的绿色叶子的三维重建方法
WO2018133119A1 (zh) * 2017-01-23 2018-07-26 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
CN107730575A (zh) * 2017-10-18 2018-02-23 西北农林科技大学 一种基于视频驱动的室外树计算机动画生成方法
CN108428255B (zh) * 2018-02-10 2022-04-12 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN110070571B (zh) * 2019-04-28 2020-10-16 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法
CN110873883B (zh) * 2019-11-29 2023-08-29 上海有个机器人有限公司 融合激光雷达和imu的定位方法、介质、终端和装置
CN111598927B (zh) * 2020-05-18 2023-08-01 京东方科技集团股份有限公司 一种定位重建方法和装置
CN112720494A (zh) * 2020-12-29 2021-04-30 北京航天测控技术有限公司 机械臂避障运动规划方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697236A (zh) * 2009-10-21 2010-04-21 南昌航空大学 基于智能优化算法的直线光流场三维重建方法
CN101833786A (zh) * 2010-04-06 2010-09-15 清华大学 三维模型的捕捉及重建方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697236A (zh) * 2009-10-21 2010-04-21 南昌航空大学 基于智能优化算法的直线光流场三维重建方法
CN101833786A (zh) * 2010-04-06 2010-09-15 清华大学 三维模型的捕捉及重建方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
《基于变分光流的三维运动检测与稠密结构重建》;张聪炫等;《仪器仪表学报》;20120630;第33卷(第6期);第1315-1323页 *
Xiaoduan FENG et al.《Multi-view Stereo Using Multi-luminance Images》.《 The True Vision - Capture, Transmission and Display of 3D Video》.2009,第1-4页. *
Xiaoduan FENG et al.《Multi-view Stereo Using Multi-luminance Images》.《 The True Vision- Capture, Transmission and Display of 3D Video》.2009,第1-4页. *
Yebin Liu et al.《Continuous Depth Estimation for Multi-view Stereo 》.《Computer Vision and Pattern Recognition》.2009,第2121-2168页. *
张聪炫等.《基于变分光流的三维运动检测与稠密结构重建》.《仪器仪表学报》.2012,第33卷(第6期),第1315-1323页. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179328B (zh) * 2019-12-31 2023-09-08 智车优行科技（上海）有限公司 数据同步标定方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
CN102800127A (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN102800127B (zh) 一种基于光流优化的三维重建方法及装置
Aicardi et al. Recent trends in cultural heritage 3D survey: The photogrammetric computer vision approach
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
CN101894366B (zh) 一种获取标定参数的方法、装置及一种视频监控系统
CN102376089B (zh) 一种标靶校正方法及系统
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
Qin Rpc stereo processor (rsp)–a software package for digital surface model and orthophoto generation from satellite stereo imagery
US20170287166A1 (en) Camera calibration method using a calibration target
Sirmacek et al. Performance evaluation for 3-D city model generation of six different DSMs from air-and spaceborne sensors
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
CN103093456B (zh) 基于图像的玉米果穗性状指标计算方法
Xu et al. Skeletal camera network embedded structure-from-motion for 3D scene reconstruction from UAV images
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
Yan et al. Estimation of building height using a single street view image via deep neural networks
CN108375985A (zh) 一种土地三维规划设计平台及其设计方法
CN113034571B (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN103077559A (zh) 基于序列图像的果穗三维重建方法
Yang et al. Automatic stockpile extraction and measurement using 3D point cloud and multi-scale directional curvature
Wang et al. Unmanned aerial vehicle and structure‐from‐motion photogrammetry for three‐dimensional documentation and digital rubbing of the Zuo River Valley rock paintings
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN113409404A (zh) 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
Wu et al. A two-step displacement correction algorithm for registration of lidar point clouds and aerial images without orientation parameters
FR2553912A1 (fr) Procede et appareillage pour determiner l'attitude d'un objet dans l'espace par rapport a un poste d'observation
Tian et al. Efficient ego-motion estimation for multi-camera systems with decoupled rotation and translation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant