CN112132950B - 一种基于众包图像的三维点云场景更新方法 - Google Patents
一种基于众包图像的三维点云场景更新方法 Download PDFInfo
- Publication number
- CN112132950B CN112132950B CN202010813344.XA CN202010813344A CN112132950B CN 112132950 B CN112132950 B CN 112132950B CN 202010813344 A CN202010813344 A CN 202010813344A CN 112132950 B CN112132950 B CN 112132950B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- dimensional
- preprocessed
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000001186 cumulative effect Effects 0.000 claims description 18
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于众包图像的三维点云场景更新方法。获取三维点云场景图像和所述图像对应的三维点云场景的第一点云;对第一点云和第二点云进行预处理,得到预处理后的第一点云和第二点云,并根据预处理后的第一点云和第二点云,计算出第一点云的绝对尺度;对第一点云和第二点云进行配准,生成第三点云;对第三点云进行表面重建,生成更新后的三维点云场景。本发明的有益效果是:降低了建模成本,实现了可量测精度达厘米级的三维点云场景的获取,能快速准确的对三维点云场景进行更新。
Description
技术领域
本发明涉及三维重建和点云配准领域,尤其涉及一种基于众包图像的三维点云场景更新方法。
背景技术
随着全球移动互联网的蓬勃发展,地理信息科学迈入了新的发展阶段:从政府到普通大众、从宏观到微观、从室外到室内外一体化。从室内地理空间数据需求来看,不断兴起的大众化地理空间应用对测绘信息技术提出了速度、设备成本、便携性、计算密集等挑战。以此来看,对场景或物体进行三维重建时,通过三维扫描设备方法虽然操作简单,构建模型的精度较高,时间复杂度相对较低,但具有较高性能的扫描仪设备一般价格较高,使用成本大,因此该方法也有一定的限制性。
不同点云密度和细节分辨率的多点云数据对同一目标表达具有显著的尺度差异,经过时空基准与精度的一致性处理,场景中的对象会有多种尺度的点云数据重叠。为解决重叠点云的冗余和矛盾,以实现点云数据的高效利用,基于格网尺寸大小变化等方法建立尺度变换模型对单一尺度点云特征提取、曲面重建等研究已经广泛的展开。国外三维重建研究较国内早,国内主要的三维重建研究主要应用在医疗领域,针对室内场景的三维重建大多数主要是通过能获取深度信息的RGBD相机、激光雷达、或者双目、多目相机以及结合惯导装置的办法。采用单目视觉进行三维重建研究很多,但是大部分都没有获取场景的绝对尺度,或者通过添加标定物的方法加入先验信息来进行绝对尺度的三维重建。针对众包影像进行三维重建的例子较少,最为著名的就是2009-2011年阶段的“在一日内建成罗马”,但是该三维重建方法并未考虑绝对尺度信息,因此,如何设计一种低成本、快速且准确的三维重建方法来对场景或物体进行三维重建是需要亟待解决的问题。
发明内容
为了解决上述问题,本发明提供了一种基于众包图像的三维点云场景更新方法,主要包括以下步骤:
S1、获取三维点云场景图像;
S2、获取所述三维点云场景图像对应的三维点云场景的第一点云;
S3、将已采集的具有真实尺度信息的点云作为第二点云,对所述第一点云和第二点云分别进行预处理,得到预处理后的第一点云和预处理后的第二点云;
S4、根据所述预处理后的第一点云和所述预处理后的第二点云,获得具有绝对尺度信息的第一点云;
S5、对步骤S4中所述具有绝对尺度信息的第一点云和步骤S3中所述预处理后的第二点云进行配准,生成第三点云;
S6、对所述第三点云进行表面重建,生成更新后的三维点云场景。
进一步地,在步骤S1中,所述三维点云场景图像是由用户使用智能手机或普通相机对三维点云场景进行多角度连续拍摄得到的多张图像,其中,连续拍摄的两张图像中三维点云场景重合度大于第一设定值。
进一步地,在步骤S2中,采用colmap算法或MVSNet算法获取所述第一点云;采用colmap算法获取所述第一点云的具体步骤如下:
colmap算法包括:SfM算法和MVS算法,采用colmap算法获取所述第一点云的具体步骤如下:
S21、将所述三维点云场景图像输入到colmap算法中,SfM算法计算出所述三维点云场景图像的稀疏点云以及相机参数,所述相机参数包括:视角、位姿、内参和共视关系;
S22、将所述三维点云场景图像、稀疏点云以及相机参数输入到MVS算法中,生成第一点云;
采用MVSNet算法获取所述第一点云的具体步骤如下:
S201、将所述三维点云场景图像输入到SfM算法或视觉里程计算法中,生成所述三维点云场景图像对应的位姿参数;
S202、将所述三维点云场景图像和所述位姿参数输入到MVSNet算法中,生成深度图;
S203、将所述深度图输入到fusibile深度图融合算法中进行融合,生成第一点云;
进一步地,在步骤S3中,对所述第一点云进行的预处理为去噪处理和滤波处理,对所述第二点云进行的预处理为滤波处理;
进一步地,在步骤S4中,获得具有绝对尺度信息的第一点云具体步骤为:
S41、将所述预处理后的第一点云和所述预处理后的第二点云中每个点的三维坐标通过公式(1)和(2)投影到二维自旋图像中,公式(1)和(2)为:
其中,i和j表示所述预处理后的第一点云或所述预处理后的第二点云中第i个点和第j个点,i≠j,i,j∈{1,2,...,N1}或i,j∈{1,2,...,N2},N1表示所述预处理后的第一点云中点的总数,N2表示所述预处理后的第二点云中点的总数,ni表示pi对应的法向量,表示ni的转置,pi和pj表示所述预处理后的第一点云或所述预处理后的第二点云中任意两点,pj为pi的参照投影点,||pi-pj||表示pi和pj之间的距离,pi-pj表示pi和pj连接的线段的向量,αij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的横坐标,βij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的纵坐标,I表示二维自旋图像的序号,I∈{1,2,...,N1}或I∈{1,2,...,N2};
所述预处理后的第一点云或所述预处理后的第二点云中pi投影到第I个二维自旋图像的坐标集合S为:或/>将第I个二维自旋图像划分为m×m个网格,且每个网格的形状和大小均相同,计算出第I个二维自旋图像每个网格中落入的集合S中的坐标的个数,第I个二维自旋图像每个网格中落入的集合S中的坐标的个数即为第I个二维自旋图像每个网格的强度值τu,所述二维自旋图像即可表示为矩阵A=[τ1τ2...τu...τm×m],u∈{1,2,...,m×m},u表示网格的序号;
S42、对所述预处理后的第一点云中所有的二维自旋图像和预处理后的第二点云中所有的二维自旋图像分别进行PCA操作,获得η个第一特征值和η个第二特征值,并基于所述第一特征值和所述第二特征值,分别计算出所述预处理后的第一点云中每个点对应的自旋图像的累积贡献率值和所述预处理后的第二点云中每个点对应的自旋图像的累积贡献率值,计算公式分别如公式(3)、(4):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,q∈{1,2,...,N1},/>表示所述预处理后的第二点云中第l个点对应的二维自旋图像的累积贡献率值,l∈{1,2,...,N2},/>表示第z个第一特征值,/>表示第z个第二特征值,d表示从η个特征值中选取的特征值的数量,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,vl′表示所述预处理后的第二点云中第l个点对应的二维自旋图像的宽度;
S43、基于步骤S42中的累积贡献率值,构建尺度比例函数E(t),公式如(5):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,/>表示所述预处理后的第二点云中第q个点对应的二维自旋图像的累积贡献率值,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,v′q表示所述预处理后的第二点云中第q个点对应的二维自旋图像的宽度,Q表示所述预处理后的第一点云与所述预处理后的第二点云中有相同的累积贡献率值的点的总数,t表示尺度比例;
S44、利用最小二乘法优化尺度比例函数,使尺度比例函数最小,获得所述预处理后的第一点云和所述预处理后的第二点云的尺度比例,即尺度比例函数最小时对应的尺度比例值;
S45、利用所述尺度比例构建初始转换矩阵,将所述初始转换矩阵与所述预处理后的第一点云中每个点的三维空间位置进行点乘操作,获得所述预处理后的第一点云中每个点变换后的三维空间位置,从而获得具有绝对尺度信息的第一点云。
进一步地,在步骤S5中,对步骤S4中所述具有绝对尺度信息的第一点云和步骤S3中所述预处理后的第二点云进行配准,具体步骤为:
S51、选取第二点云中共面的四点,计算出所述共面的四点的交点;
S52、计算出点a和交点e之间的距离与点a和点b之间的距离的比例值r1,计算公式如公式(6):
其中,Da、Db和De分别表示第二点云中点a、点b和交点e的三维空间位置,|Da-De|表示点a和交点e之间的距离,|Da-Db|表示点a和点b之间的距离;
S53、计算出点c和交点e之间的距离与点c和点d之间的距离的比例值r2,计算公式如公式(7):
其中,Dc和Dd分别表示第二点云中点c和点d的三维空间位置,|Dc-De|表示点c和交点e之间的距离,|Dc-Dd|表示点c和点d之间的距离;
S54、选取第一点云中共面的四点,计算出所述共面的四点的交点;
S55、计算出点m和交点k之间的距离与点m和点n之间的距离的比例值r1′,计算公式如公式(8):
其中,Dm、Dn和Dk分别表示第一点云中点m、点n和交点k的三维空间位置,|Dm-Dk|表示点m和交点n之间的距离,|Dm-Dn|表示点m和点n之间的距离;
S56、计算出点g和交点k之间的距离与点g和点h之间的距离的比例值r2′,计算公式如公式(9):
其中,Dg和Dh分别表示第一点云中点g和点h的三维空间位置,|Dg-Dk|表示点g和交点k之间的距离,|Dg-Dh|表示点g和点h之间的距离;
S57、判断r1与r′1是否相等,且r2与r′2是否相等;若是,则执行步骤S58;若否,则返回步骤S54;
S58、基于第一点云中共面的四点的三维空间位置和第二点云中共面的四点的三维空间位置,利用ICP算法计算出变换矩阵;
S59、将所述变换矩阵与第二点云中每个点的三维空间位置分别进行点乘操作,计算出第二点云中每个点变换后的三维空间位置;
S510、设定距离阈值,计算出第一点云与步骤S59中变换后的第二点云的重合度,计算公式如公式(10)、(11)、(12)、(13):
Yji=|Dj-Di| (10)
其中,i表示第一点云中点的序号,j表示所述变换后的第二点云中点的序号,i∈{1,2,...,N1},j∈{1,2,...,N2},N1表示第一点云中点的总数,N2表示第二点云中点的总数,Di表示第一点云中第i点的三维空间位置,Dj表示第二点云中第j点变换后的三维空间位置,Yji表示第二点云中第j点变换后的三维空间位置与第一点云中第i点的三维空间位置之间的距离,Yj表示第二点云中第j点变换后的三维空间位置与第一点云中每个点的三维空间位置之间的距离的集合,即 表示Yj中的最小值,T表示距离阈值,yj表示第二点云中第j点与第一点云中使Yj最小的点之间的重合关系,w表示第一点云与第二点云的重合度,w∈[0,1];
S511、返回步骤S51,计算出新的重合度w′,比较w与w′的大小,选取重合度大的对应的变换矩阵作为最终的变换矩阵,直到遍历完第一点云和第二点云中所有共面的四点;
S512、设定重合度阈值R,判断步骤S511中获得的最终的变换矩阵对应的重合度w与重合度阈值R之间的比值是否大于第二设定值;若是,则执行步骤S513;若否,返回步骤S4,并修改在计算所述第一点云绝对尺度过程中的相关参数,然后到步骤S5;所述相关参数为步骤S44中利用最小二乘法优化尺度比例函数过程中的迭代步长或迭代起始点;
S513、利用所述最终的变换矩阵对第二点云进行变换,使得变换后的第二点云与第一点云融合在一起,从而生成第三点云;
所述重合度阈值具体设置为:当N2<N1时,重合度阈值当N2≥N1时,重合度阈值/>
进一步地,在步骤S6中,采用delaunay三角网算法对步骤S5中所述第三点云进行表面重建,具体步骤为:
S51、利用Delaunay三角剖分法将步骤S5中所述第三点云生成Delaunay四面体集合;
S52、将四面体表面提取问题作为一个二进制标记问题,根据所述第三点云的可视信息,得到四面体的可见性,基于所述四面体的可见性来判断组成四面体的三角面片处于内部和外部的可能性,并进行相应的标记,具体标记准则为:将组成四面体中处于内部的三角面片标记1,将组成四面体中处于外部的三角面片标记0;
S53、利用图割法获得标记为1的三角形面片,利用所述标记为1的三角形面片组成三维表面网格,即完成所述第三点云的表面重建;
进一步地,所述第一设定值为70%;
进一步地,所述第二设定值为80%。
本发明提供的技术方案带来的有益效果是:降低了建模成本,实现了可量测精度达厘米级的三维点云场景的获取,能快速准确的对三维点云场景进行更新。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种基于众包图像的三维点云场景更新方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于众包图像的三维点云场景更新方法。
请参考图1,图1是本发明实施例中一种基于众包图像的三维点云场景更新方法的流程图,具体包括如下步骤:
S1、获取三维点云场景图像;从互联网或本地获取三维点云场景图像,所述三维点云场景图像是由用户使用智能手机或普通相机对三维点云场景进行多角度连续拍摄得到的多张图像,其中,所述多张图像能够完全反映三维点云场景,连续拍摄的两张图像中三维点云场景重合度大于第一设定值;所述第一设定值为70%。
S2、获取所述三维点云场景图像对应的三维点云场景的第一点云;采用colmap算法或MVSNet算法获取所述第一点云;colmap算法是将SFM算法和MVS算法相结合得到的,采用colmap算法获取所述第一点云的具体步骤如下:
S21、将所述三维点云场景图像输入到colmap算法中,SfM算法计算出所述三维点云场景图像的稀疏点云以及相机参数,所述相机参数包括:视角、位姿、内参和共视关系;
S22、将所述三维点云场景图像、稀疏点云以及相机参数输入到MVS算法中,生成第一点云;
采用MVSNet算法获取所述第一点云的具体步骤如下:
S201、将所述三维点云场景图像输入到SfM算法或视觉里程计算法中,生成所述三维点云场景图像对应的位姿参数;
S202、将所述三维点云场景图像和所述位姿参数输入到MVSNet算法中,生成深度图;
S203、将所述深度图输入到fusibile深度图融合算法中进行融合,生成第一点云;
S3、对所述第一点云和第二点云进行预处理,得到预处理后的第一点云和预处理后的第二点云;
首先,对所述第一点云进行去噪处理来去除一些离群点,然后,对所述第一点云和所述第二点云进行进行滤波处理,来降低所述第一点云和所述第二点云的分辨率,从而使所述第一点云和所述第二点云适当稀疏一些,以加快后续计算进程,提高计算速度。
S4、根据所述预处理后的第一点云和所述预处理后的第二点云,获得具有绝对尺度信息的第一点云;具体步骤为:
S41、将所述预处理后的第一点云和所述预处理后的第二点云中每个点的三维坐标通过公式(1)和(2)投影到二维自旋图像中,公式(1)和(2)为:
其中,i和j表示所述预处理后的第一点云或所述预处理后的第二点云中第i个点和第j个点,i≠j,i,j∈{1,2,...,N1}或i,j∈{1,2,...,N2},N1表示所述预处理后的第一点云中点的总数,N2表示所述预处理后的第二点云中点的总数,ni表示pi对应的法向量,表示ni的转置,pi和pj表示所述预处理后的第一点云或所述预处理后的第二点云中任意两点,pj为pi的参照投影点,||pi-pj||表示pi和pj之间的距离,pi-pj表示pi和pj连接的线段的向量,αij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的横坐标,βij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的纵坐标,I表示二维自旋图像的序号,I∈{1,2,...,N1}或I∈{1,2,...,N2};
所述预处理后的第一点云或所述预处理后的第二点云中pi投影到第I个二维自旋图像的坐标集合S为:或/>将第I个二维自旋图像划分为m×m个网格,且每个网格的形状和大小均相同,计算出第I个二维自旋图像每个网格中落入的集合S中的坐标的个数,第I个二维自旋图像每个网格中落入的集合S中的坐标的个数即为第I个二维自旋图像每个网格的强度值τu,所述二维自旋图像即可表示为矩阵A=[τ1τ2...τu...τm×m],u∈{1,2,...,m×m},u表示网格的序号;
S42、对所述预处理后的第一点云中所有的二维自旋图像和预处理后的第二点云中所有的二维自旋图像分别进行PCA操作,获得η个第一特征值和η个第二特征值,并基于所述第一特征值和所述第二特征值,分别计算出所述预处理后的第一点云中每个点对应的自旋图像的累积贡献率值和所述预处理后的第二点云中每个点对应的自旋图像的累积贡献率值,计算公式分别如公式(3)、(4):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,q∈{1,2,...,N1},/>表示所述预处理后的第二点云中第l个点对应的二维自旋图像的累积贡献率值,l∈{1,2,...,N2},/>表示第z个第一特征值,/>表示第z个第二特征值,d表示从η个特征值中选取的特征值的数量,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,v′l表示所述预处理后的第二点云中第l个点对应的二维自旋图像的宽度;
S43、基于步骤S42中的累积贡献率值,构建尺度比例函数E(t),公式如(5):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,/>表示所述预处理后的第二点云中第q个点对应的二维自旋图像的累积贡献率值,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,v′q表示所述预处理后的第二点云中第q个点对应的二维自旋图像的宽度,Q表示所述预处理后的第一点云与所述预处理后的第二点云中有相同的累积贡献率值的点的总数,t表示尺度比例;
S44、利用最小二乘法优化尺度比例函数,使尺度比例函数最小,获得所述预处理后的第一点云和所述预处理后的第二点云的尺度比例,即尺度比例函数最小时对应的尺度比例值;
S45、利用所述尺度比例构建初始转换矩阵,将所述初始转换矩阵与所述预处理后的第一点云中每个点的三维空间位置进行点乘操作,获得所述预处理后的第一点云中每个点变换后的三维空间位置,从而获得具有绝对尺度信息的第一点云。
S51、选取第二点云中共面的四点,计算出所述共面的四点的交点;
S52、计算出点a和交点e之间的距离与点a和点b之间的距离的比例值r1,计算公式如公式(6):
其中,Da、Db和De分别表示第二点云中点a、点b和交点e的三维空间位置,|Da-De|表示点a和交点e之间的距离,|Da-Db|表示点a和点b之间的距离;
S53、计算出点c和交点e之间的距离与点c和点d之间的距离的比例值r2,计算公式如公式(7):
其中,Dc和Dd分别表示第二点云中点c和点d的三维空间位置,|Dc-De|表示点c和交点e之间的距离,|Dc-Dd|表示点c和点d之间的距离;
S54、选取第一点云中共面的四点,计算出所述共面的四点的交点;
S55、计算出点m和交点k之间的距离与点m和点n之间的距离的比例值r′1,计算公式如公式(8):
其中,Dm、Dn和Dk分别表示第一点云中点m、点n和交点k的三维空间位置,|Dm-Dk|表示点m和交点n之间的距离,|Dm-Dn|表示点m和点n之间的距离;
S56、计算出点g和交点k之间的距离与点g和点h之间的距离的比例值r′2,计算公式如公式(9):
其中,Dg和Dh分别表示第一点云中点g和点h的三维空间位置,|Dg-Dk|表示点g和交点k之间的距离,|Dg-Dh|表示点g和点h之间的距离;
S57、判断r1与r′1是否相等,且r2与r′2是否相等;若是,则执行步骤S58;若否,则返回步骤S54;
S58、基于第一点云中共面的四点的三维空间位置和第二点云中共面的四点的三维空间位置,利用ICP算法计算出变换矩阵;
S59、将所述变换矩阵与第二点云中每个点的三维空间位置分别进行点乘操作,计算出第二点云中每个点变换后的三维空间位置;
S510、设定距离阈值,计算出第一点云与步骤S59中变换后的第二点云的重合度,计算公式如公式(10)、(11)、(12)、(13):
Yji=|Dj-Di| (10)
其中,i表示第一点云中点的序号,j表示所述变换后的第二点云中点的序号,i∈{1,2,...,N1},j∈{1,2,...,N2},N1表示第一点云中点的总数,N2表示第二点云中点的总数,Di表示第一点云中第i点的三维空间位置,Dj表示第二点云中第j点变换后的三维空间位置,Yji表示第二点云中第j点变换后的三维空间位置与第一点云中第i点的三维空间位置之间的距离,Yj表示第二点云中第j点变换后的三维空间位置与第一点云中每个点的三维空间位置之间的距离的集合,即 表示Yj中的最小值,T表示距离阈值,yj表示第二点云中第j点与第一点云中使Yj最小的点之间的重合关系,w表示第一点云与第二点云的重合度,w∈[0,1];
S511、返回步骤S51,计算出新的重合度w′,比较w与w′的大小,选取重合度大的对应的变换矩阵作为最终的变换矩阵,直到遍历完第一点云和第二点云中所有共面的四点;
S512、设定重合度阈值R,判断步骤S511中获得的最终的变换矩阵对应的重合度w与重合度阈值R之间的比值是否大于第二设定值;若是,则执行步骤S513;若否,返回步骤S4,并修改在计算所述第一点云绝对尺度过程中的相关参数,然后到步骤S5;所述相关参数为步骤S44中利用最小二乘法优化尺度比例函数过程中的迭代步长或迭代起始点;
S513、利用所述最终的变换矩阵对第二点云进行变换,使得变换后的第二点云与第一点云融合在一起,从而生成第三点云;
所述重合度阈值具体设置为:当N2<N1时,重合度阈值当N2≥N1时,重合度阈值/>
所述第二设定值为80%;
S5、对所述第三点云进行表面重建,生成更新后的三维点云场景的三维模型;采用delaunay三角网算法对步骤S5中所述第三点云进行表面重建,具体步骤为:
S51、利用Delaunay三角剖分法将步骤S5中所述第三点云生成Delaunay四面体集合,其中,Delaunay三角剖分法属于delaunay三角网算法;
S52、将四面体表面提取问题作为一个二进制标记问题,根据所述第三点云数据的可视信息,得到四面体的可见性,基于所述四面体的可见性来判断组成四面体的三角面片处于内部和外部的可能性,并进行相应的标记,具体标记准则为:将组成四面体中处于内部的三角面片标记1,将组成四面体中处于外部的三角面片标记0;
S53、利用图割法获得标记为1的三角形面片,利用所述标记为1的三角形面片组成三维表面网格,即完成所述第三点云的表面重建。
采用meshlab中的量测工具对所述更新后的三维点云场景进行量测,即测量更新后的三维点云场景内任意两点之间的距离,来验证本发明所述一种基于众包图像的三维点云场景更新方法的精确性。
本发明的有益效果是:降低了建模成本,实现了可量测精度达厘米级的三维点云场景的获取,能快速准确的对三维点云场景进行更新。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于众包图像的三维点云场景更新方法,其特征在于:包括以下步骤:
S1、获取三维点云场景图像;
S2、获取所述三维点云场景图像对应的三维点云场景的第一点云;
S3、将已采集的具有真实尺度信息的点云作为第二点云,对所述第一点云和第二点云分别进行预处理,得到预处理后的第一点云和预处理后的第二点云;
S4、根据所述预处理后的第一点云和所述预处理后的第二点云,获得具有绝对尺度信息的第一点云,具体步骤为:
S41、将所述预处理后的第一点云和所述预处理后的第二点云中每个点的三维坐标通过公式(1)和(2)投影到二维自旋图像中,公式(1)和(2)为:
其中,i和j表示所述预处理后的第一点云或所述预处理后的第二点云中第i个点和第j个点,i≠j,i,j∈{1,2,...,N1}或i,j∈{1,2,...,N2},N1表示所述预处理后的第一点云中点的总数,N2表示所述预处理后的第二点云中点的总数,ni表示pi对应的法向量,表示ni的转置,pi和pj表示所述预处理后的第一点云或所述预处理后的第二点云中任意两点,pj为pi的参照投影点,||pi-pj||表示pi和pj之间的距离,pi-pj表示pi和pj连接的线段的向量,αij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的横坐标,βij表示所述预处理后的第一点云或所述预处理后的第二点云中pi以pj为参照投影点时,pi投影到第I个二维自旋图像的纵坐标,I表示二维自旋图像的序号,I∈{1,2,...,N1}或I∈{1,2,...,N2};
所述预处理后的第一点云或所述预处理后的第二点云中pi投影到第I个二维自旋图像的坐标集合S为:或将第I个二维自旋图像划分为m×m个网格,且每个网格的形状和大小均相同,计算出第I个二维自旋图像每个网格中落入的集合S中的坐标的个数,第I个二维自旋图像每个网格中落入的集合S中的坐标的个数即为第I个二维自旋图像每个网格的强度值τu,所述二维自旋图像即可表示为矩阵A=[τ1τ2...τu...τm×m],u∈{1,2,...,m×m},u表示网格的序号;
S42、对所述预处理后的第一点云中所有的二维自旋图像和预处理后的第二点云中所有的二维自旋图像分别进行PCA操作,获得η个第一特征值和η个第二特征值,并基于所述第一特征值和所述第二特征值,分别计算出所述预处理后的第一点云中每个点对应的自旋图像的累积贡献率值和所述预处理后的第二点云中每个点对应的自旋图像的累积贡献率值,计算公式分别如公式(3)、(4):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,q∈{1,2,...,N1},/>表示所述预处理后的第二点云中第l个点对应的二维自旋图像的累积贡献率值,l∈{1,2,...,N2},/>表示第z个第一特征值,/>表示第z个第二特征值,d表示从η个特征值中选取的特征值的数量,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,v′l表示所述预处理后的第二点云中第l个点对应的二维自旋图像的宽度;
S43、基于步骤S42中的累积贡献率值,构建尺度比例函数E(t),公式如(5):
其中,表示所述预处理后的第一点云中第q个点对应的二维自旋图像的累积贡献率值,/>表示所述预处理后的第二点云中第q个点对应的二维自旋图像的累积贡献率值,vq表示所述预处理后的第一点云中第q个点对应的二维自旋图像的宽度,v′q表示所述预处理后的第二点云中第q个点对应的二维自旋图像的宽度,Q表示所述预处理后的第一点云与所述预处理后的第二点云中有相同的累积贡献率值的点的总数,t表示尺度比例;
S44、利用最小二乘法优化尺度比例函数,使尺度比例函数最小,获得所述预处理后的第一点云和所述预处理后的第二点云的尺度比例,即尺度比例函数最小时对应的尺度比例值;
S45、利用所述尺度比例构建初始转换矩阵,将所述初始转换矩阵与所述预处理后的第一点云中每个点的三维空间位置进行点乘操作,获得所述预处理后的第一点云中每个点变换后的三维空间位置,从而获得具有绝对尺度信息的第一点云;
S5、对步骤S4中所述具有绝对尺度信息的第一点云和步骤S3中所述预处理后的第二点云进行配准,生成第三点云,具体步骤为:
S51、选取第二点云中共面的四点,计算出所述共面的四点的交点;
S52、计算出点a和交点e之间的距离与点a和点b之间的距离的比例值r1,计算公式如公式(6):
其中,Da、Db和De分别表示第二点云中点a、点b和交点e的三维空间位置,|Da-De|表示点a和交点e之间的距离,|Da-Db|表示点a和点b之间的距离;
S53、计算出点c和交点e之间的距离与点c和点d之间的距离的比例值r2,计算公式如公式(7):
其中,Dc和Dd分别表示第二点云中点c和点d的三维空间位置,|Dc-De|表示点c和交点e之间的距离,|Dc-Dd|表示点c和点d之间的距离;
S54、选取第一点云中共面的四点,计算出所述共面的四点的交点;
S55、计算出点m和交点k之间的距离与点m和点n之间的距离的比例值r1',计算公式如公式(8):
其中,Dm、Dn和Dk分别表示第一点云中点m、点n和交点k的三维空间位置,|Dm-Dk|表示点m和交点n之间的距离,|Dm-Dn|表示点m和点n之间的距离;
S56、计算出点g和交点k之间的距离与点g和点h之间的距离的比例值r2',计算公式如公式(9):
其中,Dg和Dh分别表示第一点云中点g和点h的三维空间位置,|Dg-Dk|表示点g和交点k之间的距离,|Dg-Dh|表示点g和点h之间的距离;
S57、判断r1与r1'是否相等,且r2与r2'是否相等;若是,则执行步骤S58;若否,则返回步骤S54;
S58、基于第一点云中共面的四点的三维空间位置和第二点云中共面的四点的三维空间位置,利用ICP算法计算出变换矩阵;
S59、将所述变换矩阵与第二点云中每个点的三维空间位置分别进行点乘操作,计算出第二点云中每个点变换后的三维空间位置;
S510、设定距离阈值,计算出第一点云与步骤S59中变换后的第二点云的重合度,计算公式如公式(10)、(11)、(12)、(13):
Yji=|Dj-Di| (10)
其中,i表示第一点云中点的序号,j表示所述变换后的第二点云中点的序号,i∈{1,2,...,N1},j∈{1,2,...,N2},N1表示第一点云中点的总数,N2表示第二点云中点的总数,Di表示第一点云中第i点的三维空间位置,Dj表示第二点云中第j点变换后的三维空间位置,Yji表示第二点云中第j点变换后的三维空间位置与第一点云中第i点的三维空间位置之间的距离,Yj表示第二点云中第j点变换后的三维空间位置与第一点云中每个点的三维空间位置之间的距离的集合,即Yj={Yj1,...,Yji,...,YjN1},表示Yj中的最小值,T表示距离阈值,yj表示第二点云中第j点与第一点云中使Yj最小的点之间的重合关系,w表示第一点云与第二点云的重合度,w∈[0,1];
S511、返回步骤S51,计算出新的重合度w',比较w与w'的大小,选取重合度大的对应的变换矩阵作为最终的变换矩阵,直到遍历完第一点云和第二点云中所有共面的四点;
S512、设定重合度阈值R,判断步骤S511中获得的最终的变换矩阵对应的重合度w与重合度阈值R之间的比值是否大于第二设定值;若是,则执行步骤S513;若否,返回步骤S4,并修改在计算所述第一点云绝对尺度过程中的相关参数,然后到步骤S5;所述相关参数为步骤S44中利用最小二乘法优化尺度比例函数过程中的迭代步长或迭代起始点;
S513、利用所述最终的变换矩阵对第二点云进行变换,使得变换后的第二点云与第一点云融合在一起,从而生成第三点云;
所述重合度阈值具体设置为:当N2<N1时,重合度阈值当N2≥N1时,重合度阈值
S6、对所述第三点云进行表面重建,生成更新后的三维点云场景。
2.如权利要求1所述的一种基于众包图像的三维点云场景更新方法,其特征在于:在步骤S1中,所述三维点云场景图像是由用户使用智能手机或普通相机对三维点云场景进行多角度连续拍摄得到的多张图像,其中,连续拍摄的两张图像中三维点云场景重合度大于第一设定值。
3.如权利要求1所述的一种基于众包图像的三维点云场景更新方法,其特征在于:在步骤S2中,采用colmap算法或MVSNet算法获取所述第一点云;colmap算法包括:SfM算法和MVS算法,采用colmap算法获取所述第一点云的具体步骤如下:
S21、将所述三维点云场景图像输入到colmap算法中,SfM算法计算出所述三维点云场景图像的稀疏点云以及相机参数,所述相机参数包括:视角、位姿、内参和共视关系;
S22、将所述三维点云场景图像、稀疏点云以及相机参数输入到MVS算法中,生成第一点云;
采用MVSNet算法获取所述第一点云的具体步骤如下:
S201、将所述三维点云场景图像输入到SfM算法或视觉里程计算法中,生成所述三维点云场景图像对应的位姿参数;
S202、将所述三维点云场景图像和所述位姿参数输入到MVSNet算法中,生成深度图;
S203、将所述深度图输入到fusibile深度图融合算法中进行融合,生成第一点云。
4.如权利要求1所述的一种基于众包图像的三维点云场景更新方法,其特征在于:在步骤S3中,对所述第一点云进行的预处理为去噪处理和滤波处理,对所述第二点云进行的预处理为滤波处理。
5.如权利要求1所述的一种基于众包图像的三维点云场景更新方法,其特征在于:在步骤S6中,采用delaunay三角网算法对步骤S5中所述第三点云进行表面重建,具体步骤为:
S51、利用Delaunay三角剖分法将步骤S5中所述第三点云生成Delaunay四面体集合;
S52、将四面体表面提取问题作为一个二进制标记问题,根据所述第三点云的可视信息,得到四面体的可见性,基于所述四面体的可见性来判断组成四面体的三角面片处于内部和外部的可能性,并进行相应的标记,具体标记准则为:将组成四面体中处于内部的三角面片标记1,将组成四面体中处于外部的三角面片标记0;
S53、利用图割法获得标记为1的三角形面片,利用所述标记为1的三角形面片组成三维表面网格,即完成所述第三点云的表面重建。
6.如权利要求2所述的一种基于众包图像的三维点云场景更新方法,其特征在于:所述第一设定值为70%。
7.如权利要求6所述的一种基于众包图像的三维点云场景更新方法,其特征在于:所述第二设定值为80%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010813344.XA CN112132950B (zh) | 2020-08-13 | 2020-08-13 | 一种基于众包图像的三维点云场景更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010813344.XA CN112132950B (zh) | 2020-08-13 | 2020-08-13 | 一种基于众包图像的三维点云场景更新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132950A CN112132950A (zh) | 2020-12-25 |
CN112132950B true CN112132950B (zh) | 2024-01-26 |
Family
ID=73851315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010813344.XA Active CN112132950B (zh) | 2020-08-13 | 2020-08-13 | 一种基于众包图像的三维点云场景更新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132950B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112764651B (zh) * | 2021-02-01 | 2022-03-08 | 飞燕航空遥感技术有限公司 | 一种浏览器端三维点云剖面绘制方法和绘制系统 |
CN113487732B (zh) * | 2021-04-21 | 2023-02-28 | 中国地质大学(武汉) | 基于手机众包成像终端的室内地下应急场景三维建模方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2385496A1 (en) * | 2010-05-07 | 2011-11-09 | Honeywell International Inc. | Extraction of 2D surfaces from a 3D point cloud |
US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
CN107657656A (zh) * | 2017-08-31 | 2018-02-02 | 成都通甲优博科技有限责任公司 | 同名点匹配及三维重建方法、系统和光度立体摄像终端 |
CN107958482A (zh) * | 2016-10-17 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种三维场景模型构建方法及装置 |
CN110827339A (zh) * | 2019-11-05 | 2020-02-21 | 北京深测科技有限公司 | 目标点云提取的方法 |
CN110851118A (zh) * | 2019-10-21 | 2020-02-28 | 中国地质大学(武汉) | 一种面向三维场景的矢量图标绘制方法及装置 |
-
2020
- 2020-08-13 CN CN202010813344.XA patent/CN112132950B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2385496A1 (en) * | 2010-05-07 | 2011-11-09 | Honeywell International Inc. | Extraction of 2D surfaces from a 3D point cloud |
US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
CN107958482A (zh) * | 2016-10-17 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种三维场景模型构建方法及装置 |
CN107657656A (zh) * | 2017-08-31 | 2018-02-02 | 成都通甲优博科技有限责任公司 | 同名点匹配及三维重建方法、系统和光度立体摄像终端 |
CN110851118A (zh) * | 2019-10-21 | 2020-02-28 | 中国地质大学(武汉) | 一种面向三维场景的矢量图标绘制方法及装置 |
CN110827339A (zh) * | 2019-11-05 | 2020-02-21 | 北京深测科技有限公司 | 目标点云提取的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112132950A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
CN113592989B (zh) | 一种三维场景的重建系统、方法、设备及存储介质 | |
Li et al. | A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges | |
CN109325995B (zh) | 基于人手参数模型的低分辨率多视角手部重建方法 | |
CN101907459A (zh) | 基于单目视频的实时三维刚体目标姿态估计与测距方法 | |
CN112132950B (zh) | 一种基于众包图像的三维点云场景更新方法 | |
CN113108773A (zh) | 一种融合激光与视觉传感器的栅格地图构建方法 | |
CN113012122B (zh) | 一种类别级6d位姿与尺寸估计方法及装置 | |
CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN114627491A (zh) | 一种基于极线汇聚的单人三维姿态估计方法 | |
CN115032648A (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
CN111143489A (zh) | 基于图像的定位方法及装置、计算机设备和可读存储介质 | |
CN115423938A (zh) | 一种基于语义识别的三维模型重建方法及系统 | |
CN111598995A (zh) | 一种基于原型分析的自监督多目三维人体姿态估计方法 | |
CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
CN116958434A (zh) | 多视图三维重建方法、测量方法及系统 | |
CN113487741B (zh) | 稠密三维地图更新方法及装置 | |
CN109829939A (zh) | 一种缩小多视影像匹配同名像点搜索范围的方法 | |
Zhang et al. | Object depth measurement from monocular images based on feature segments | |
Zhang et al. | Multiresolution patch-based dense reconstruction integrating multiview images and laser point cloud | |
CN113554102A (zh) | 代价计算动态规划的航空影像dsm匹配法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |