CN112712559B

CN112712559B - 基于NED坐标系向量旋转的SfM点云校正方法

Info

Publication number: CN112712559B
Application number: CN202011583551.7A
Authority: CN
Inventors: 林靖愉; 王冉; 惠元秀; 辛永辉; 李路; 肖宙轩; 刘源
Original assignee: Changan University
Current assignee: Changan University
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2021-11-30
Anticipated expiration: 2040-12-28
Also published as: CN112712559A

Abstract

本发明公开了基于NED坐标系向量旋转的SfM点云校正方法，涉及点云三维模型姿态校正技术领域，包括球面坐标系和NED坐标系的转换、向量旋转原理、NED坐标系中三种不同的场景测量标定校准方式。基于不同姿态的GCPL(地面控制面技术)的罗盘产状进行三维模型的姿态校正，实现了更为轻便的、作业环境适应性强的、可随身携带的一种SfM‑MVS点云校正方法体系，更为方便灵活，可以应用于建筑、水利工程、土木、地质、地理和军事等诸多领域。

Description

基于NED坐标系向量旋转的SfM点云校正方法

技术领域

本发明涉及点云三维模型姿态校正技术领域，特别涉及基于NED坐标系向量旋转的SfM点云校正方法。

背景技术

在利用SfM(Structure from Motion，运动恢复结构)恢复精细场景结构并提取信息的过程中，模型尺寸与姿态控制至关重要，尤其是在建筑、土木工程、地球科学及军事等野外作业的领域。因为这些领域需要正确的大小、姿态和相对地理位置关系，为几何学参数正确提取做准备。通常，针对一系列无序影像应用SfM-MVS技术，将会生成相对或任意坐标系下的密集点云，点云模型相对真实世界发生了旋转。产生这一现象的原因在于SfM技术在拍摄过程中简化了实际操作，它不同摄影测量技术，是无需相机的内外方位参数等先验知识或参考信息的，但这一简化造成了模型不具有真实几何条件。为使低成本而又高效的SfM-MVS点云技术真正应用到实际，模型尺寸与姿态控制就不可缺少。

现有的模型尺寸和姿态控制可分为以下两种办法：1)根据RTK-GPS坐标校正模型。具体分为两种方式：利用本身具有GPS接收机的相机拍摄以及对场景中控制点测量获取GPS坐标。虽前者相片赋存GPS坐标，但定位精度不高，故难以满足实际工作需求。后者需要高精度GPS测量控制点得到真实坐标，对点云进行校正，虽可生成精确模型，但却增添了GPS测量仪器的成本和重量，不符合SfM方法低价高效的初衷。2)基于球面坐标系和NED坐标系的校正。在被拍摄场景中布置若干平板，或者借助场景中的平面，用罗盘和直尺两侧平面的大小和产状。因平面同时被拍摄，就可保证其参数可用于SfM-MVS点云的校正。因已知其姿态矩阵和模型中的姿态矩阵，即可计算二者之间的旋转矩阵，再应用到整个模型即可达到校正要求，该方法可生成毫米误差和五度偏差内的模型。但是这种方式需要放置较多平板，比如6个以上，流程复杂，所以就需要简化流程。

针对此现象，本申请提供基于NED坐标系向量旋转的SfM点云校正方法，基于不同姿态的GCPL(地面控制面技术)的罗盘产状进行三维模型的姿态校正，实现了更为轻便的、作业环境适应性强的、可随身携带的一种SfM-MVS点云校正方法体系，更为方便灵活，可以应用于建筑、水利工程、土木、地质、地理和军事等诸多领域。

发明内容

本发明的目的在于提供基于NED坐标系向量旋转的SfM点云校正方法，于不同姿态的GCPL(地面控制面技术)的罗盘产状进行三维模型的姿态校正，实现了更为轻便的、作业环境适应性强的、可随身携带的一种SfM-MVS点云校正方法体系，更为方便灵活，可以应用于建筑、水利工程、土木、地质、地理和军事等诸多领域。

本发明提供了基于NED坐标系向量旋转的SfM点云校正方法，包括以下步骤：

S1：建立球面坐标系，并与NED坐标系相互转换；

S2：在被摄场景内放置参照物，并设置参照物的参照面或参照辅助线；

若设置的参照物为物体时，参照面为设置所述物体的基准面M1和基准面M2，所述基准面M1和基准面M2相交，根据基准面M1的倾向和倾角，计算基准面M1恢复到真实状态时的旋转矩阵，求解第二次旋转，将第一次旋转校正后的基准面M1的法向量当作旋转轴，保证基准面M1姿态，求取第二次旋转的旋转角，所述物体绕着该面的法向量旋转至该面姿态正确，再用基准面M2的倾向和倾角进行约束，使所述物体姿态正确，所述基准面M1和基准面M2的法向量NED坐标分别为(x1，y1，z1)、(x2，y2，z2)；

若设置的参照物为水平基准面时，参照辅助线为设置在所述水平基准面表面相交的标记向量1和标记向量2，所述标记向量1的三轴坐标N＝1，E＝0，D＝0，记作(1，0，0)，所述标记向量2的三轴坐标N＝0，E＝1，D＝0，记作(0，1，0)，水平基准面的法向量的NED坐标置于(0，0，1)，所述水平基准面法向量的NED坐标为(x0，y0，z0)；

若设置的参照物为倾斜基准面时，参照辅助线为设置在所述倾斜基准面的走向标记向量和法向量，所述走向标记向量坐标由罗盘测定，换算后记作(x’1，y’1，z’1)，其法向量NED坐标由罗盘测得的球面坐标换算得到，记作(x’2，y’2，z’2)；对应的模型上的走向和倾斜面法向量的NED坐标由点云模型量得，分别记作(x1，y1，z1)，(x2，y2，z2)；

S3：采用罗盘量取参照面或参照辅助线的倾向和倾角，并将其转换为NED坐标，获得参照物的真实姿态参数；

S4：获取被摄场景多方位的图像集，确保连续图像间的重叠度不小于60％；

S5：剔除存在问题的照片，将剩余图片集导入至点云建模软件中，通过固定流程生成密集点云；

S6：将密集点云导入至虚拟姿态计算软件中，利用虚拟罗盘测定参照物的初模型姿态参数；

S7：在MATLAB软件中计算初模型姿态矩阵M和真实姿态矩阵F之间的旋转矩阵R，其中，尺度变换因子为基准面大小数值与模型大小之比，根据旋转矩阵和尺度变换因子综合校正模型；

S8：SfM-MVS点云模型校正之后，再次利用虚拟罗盘工具测定点云模型面产状，以及多次测量模型内物体大小，验证模型在尺度和姿态两方面的校正效果。

进一步地，所述旋转矩阵经由两次选择得出。

进一步地，所述参照物采用常温常压下不变形的材料制成。

与现有技术相比，本发明具有如下显著优点：

(一)本发明提供了基于NED坐标系向量旋转的SfM点云校正方法，无需RTK-GPS等贵重的绝对位置坐标，只需要廉价的罗盘即可。该方案实际上只需考虑物体的姿态，不考虑其绝对地理位置，大幅度降低了工作强度和设备费用。用一个倾斜基准面并在其上绘制其走向标记向量的情况，最为方便有效，特别适用于野外地质工作。

(二)本发明提供了基于NED坐标系向量旋转的SfM点云校正方法，在相对大范围的场景拍摄过程中，如用无人机获得的超过人工建筑物大小的场景中，可利用场景中人工建构筑物如房屋、道路等规则平整表面作为基准面，其边棱作为标记向量或者走向标记向量，从而校正SfM-MVS点云的姿态。

(三)两次旋转均利用基准面的法向量的NED坐标以及以及标记向量的NED坐标，尤其是标记向量大大简化了操作流程。整个流程将野外测量过程转换为室内人机交互式测量，继承了遥感的非接触测量本质，降低了野外工作的安全风险。

(四)相比于RTK-GPS(Real-time kinematic，实时动态载波相位差分技术)坐标校正方法，本发明方法体系具有更为简洁、有效、便宜、无需卫星信号等优点，实现了更为轻便的、作业环境适应性强的、无需任何昂贵笨重设备的一种SfM三维模型校正方法体系，更适合不同环境的野外作业使用，可以应用于建筑、水利工程、土木、地质、地理和军事等诸多领域。

附图说明

图1为本发明实施例提供的基于NED坐标系向量旋转的SfM点云校正方法的原理方法示意图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明基于NED坐标系和球面坐标系，替代了空间直角坐标系，在NED坐标系和球面坐标系，物体的姿态得到有效表征，忽略了物体大小。因此仅需要一个轻巧便宜的罗盘即可得到姿态数据，无需贵重的RTK-GPS测定场景中的点坐标。正因为不需要GPS定位系统，因此可以适用于任何复杂的野外环境，这对于地质野外工作更加有效，因为地质工作常常处于无GPS信号或者弱GPS信号的环境。

参照图1，本发明提供了基于NED坐标系向量旋转的SfM点云校正方法，包括以下步骤：

S1：建立球面坐标系，并与NED坐标系相互转换，适用于任何被摄场景；

S2：在被摄场景内放置参照物(即地面控制面)，并设置参照物的参照面或参照辅助线；

S5：剔除存在问题的照片，删除模糊、残影、过度曝光等有问题的照片，将剩余图片集导入至点云建模软件如Agisoft Metashape中，通过固定流程生成密集点云；

S6：将密集点云导入至虚拟姿态计算软件如CloudCompare中，利用虚拟罗盘测定参照物的初模型姿态参数；

其中，所述旋转矩阵经由两次选择得出。所述参照物采用常温常压下不变形的材料制成。

本申请主要是基于科学矩阵计算软件(如MATLAB)，实例采用三维重建软件(如Agisoft Metashape)和三维点云处理开源软件(如CloudCompare)。首先通过诸如AgisoftMetashape的三维建模软件完成场景三维重建，然后利用诸如CloudCompare和MATLAB的尺度和姿态提取软件来实现模型尺度和姿态校正，最后验证校正效果。

实施例1

所述步骤S2设置的参照物为物体时，参照面为设置所述物体的基准面M1和基准面M2，所述基准面M1和基准面M2相交，根据基准面M1的倾向和倾角，所述物体绕着该面的法向量旋转至该面姿态正确，再用基准面M2的倾向和倾角进行约束，使所述物体姿态正确，所述基准面M1和基准面M2的法向量NED坐标分别为(x1，y1，z1)、(x2，y2，z2)。

如图1中的(a)，任意选取某两个非平行面，先将基准面M1的产状(即倾向和倾角)旋转到该面姿态正确，此时基准面M1模型绕着该面的法向量旋转；再用基准面M2的产状约束，即可完成校正。

具体步骤为：(1)计算基准面M1恢复到真实状态时的旋转矩阵。(2)求解第二次旋转。将第一次旋转校正后的基准面M1的法向量当作旋转轴，保证基准面M1姿态，求取第二次旋转的旋转角。因旋转角的区间为0°到360°，所以可采用逐一尝试的办法即可确定最佳旋转角。以此为理论基础可推广到多组面，防止单组面的误差过大。本方法在MATLAB中实际操作过程如下：

设野外测量的基准面M1和M2产状NED坐标分别为(x’1，y’1，z’1)，(x’2，y’2，z’2)；室内测量点云上的基准面M1(101)和M2(102)的产状NED坐标分别为(x1，y1，z1)，(x2，y2，z2)。

首先求解一组面的旋转矩阵，野外和室内基准面的法向量分别可以用向量P和Q代替，Q向量通过旋转矩阵变换为向量P，二者之间的夹角可通过向量点积求得：

P·Q＝|P||Q|cosθ (1)

同时PQ向量也构成一平面，而旋转轴必垂直该平面，设定向量P(p1，p2，p3)，(q1，q2，q3)，向量P、Q的叉乘为：

P×Q＝p₁q₁0+p₁q₂k+p₁q₃(-j)+p₂q₁(-k)+p₂q₂0+p₂q₃i+p₃q₁j+p₃q₂(-i)+p₃q₃0 (3)

P×Q＝(p₂q₃-p₃q₂)i+(p₃q₁-p₁q₃)j+(p₁q₂-p₂q₁)k (4)

故旋转轴n(n1，n2，n3)可表达如下：

在MATLAB中，vrrotvec函数可用来计算将3D向量a转换为3D向量b所需的旋转，返回结果为一个四元素的轴角旋转(行向量)，前三个元素指定旋转轴，最后一个元素定义旋转角度，根据罗德里格斯公式可完成旋转向量和旋转矩阵的转换(vrrotvec2mat函数)。以上就是野外真是场景中基准面M1相对于室内点云基准面M1旋转矩阵(R1)的计算，对于与之配对的另一个基准面M2，在利用基准面M1计算的旋转矩阵来变换模型之后，此时基准面M2很有可能无法被恢复到真实产状，所以需要进行第二次旋转(R2)。需要注意的是，第二次的旋转轴是真实场景基准面M2的法向量，需要确定的是旋转角度。在程序实现过程中，为使真实场景中基准面M2相对于点云场景中基准面M2在旋转之后更加贴合，通过枚举法从0°至360°以1°增量逐一旋转，并计算旋转后与实际F2面的角度差，将其记录并搜索角度差的最小值，最终确定第二次旋转的旋转角。

R2＝[F1(i)，F1(2)，F1(3)，rMIN] (6)

R_total＝R1·R2 (7)

在上式中，两次旋转矩阵的乘积构成了完整的旋转矩阵。反之，可将点真实场景基准面M2作为第一个需要旋转的面，进行第一次旋转矩阵的计算，之后再以真实场景基准面M2的法向量为第二次旋转轴，再计算第二次的旋转角度。综上可得到两个旋转矩阵，理论上如果点云模型本身畸变不大，两个旋转矩阵的每个值应当是接近的，取平均当作最终的旋转矩阵可最大程度地校正模型。但当SfM模型相对于真实世界发生了翻转时，不同产状之间必须注意符号问题。实际操作中先将生成模型进行翻转操作，之后便无需注意符号问题。

上述方法是一组面的纠正思路，但在复杂实际工作环境中，野外可测量多组产状面，防止一组面的误差过大，可预放置产状板测量，也可直接对光滑平整的岩石表面进行测量，但需注意标记好具体位置。在测量多组面之后，得到多个旋转矩阵。之后进行简单的平均计算，也可将旋转矩阵转化为旋转向量进一步投影在吴氏网中，通过Fisher分布来获得最佳拟合旋转轴。

实施例2

所述步骤S2设置的参照物为水平基准面时，其形态轻薄，参照辅助线为设置在所述水平基准面表面相交的标记向量1和标记向量2，所述标记向量1与NED坐标中的N轴一致，所述标记向量1的三轴坐标N＝1，E＝0，D＝0，记作(1，0，0)，所述标记向量2与NED坐标中的E轴一致，所述标记向量2的三轴坐标N＝0，E＝1，D＝0，记作(0，1，0)，水平基准面的法向量的NED坐标置于(0，0，1)，所述水平基准面法向量的NED坐标为(x0，y0，z0)。

此实施例是实施例1的变种，更加简化，仅需要一个水平面即可，附加条件是，现场在水平基准面上绘制一个标记向量1和标记向量2。标记向量可理解为一个假想面的法向量。因线段刻画在面板上，则水平基准面的法向量和标记向量必然不平行。水平基准面、标记向量1和标记向量2的真实产状在野外可通过罗盘获取，其SfM-MVS点云上的产状通过软件如CloudCompare人机交互式量取。真实场景和点云的产状均转换为NED坐标，计算二者之间的差值，借助第一种情况所述的两次旋转完成点云模型的姿态校正。

在野外测量时，可利用一个保持水平的水平基准面进行校正，标记向量1和标记向量2和NED坐标系中的N轴和E轴保持一致，即和正北与正东保持一致。该方法可以利用指南针或者罗盘刻度盘上的刻度代用线段(罗盘保持水平)，即可满足校正模型的需要。因产状面板处于水平状态，在NED坐标系统中NE双轴构成的平面上，D轴值为0，某点p与轴D在NE面上的交点D联合构成一个向量，表示如下：

由上式可知水平面上任一线段的NED坐标。如图1中的(b)所示，南北走向线和东西走向线在真实世界中的NED坐标分别是(1,0,0),(0,1,0)；在未校正的SfM-MVS点云模型中通过分别测量D、N和E三点的坐标值，构建DN和DE向量，并统一转化为单位向量e1和e2，公式如下：

根据两个向量的真实NED坐标和模型中的NED坐标之间的差值，进行对应的两次旋转，即可完成模型的校正。该方法有望发展成一个自动化的校准方法，简化操作流程。因为水平面可以利用地球重力得到，而方位可利用磁场定位。

实施例3

所述步骤S2设置的参照物为倾斜基准面时，其形态轻薄，参照辅助线为设置在所述倾斜基准面的走向标记向量和法向量，所述走向标记向量坐标由罗盘测定，是一个具有任意坐标的变量。换算后记作(x’1，y’1，z’1)，其法向量NED坐标由罗盘测得的球面坐标换算得到，记作(x’2，y’2，z’2)；对应的模型上的走向和倾斜面法向量的NED坐标由点云模型量得，分别记作(x1，y1，z1)，(x2，y2，z2)。

当倾斜基准面处于倾斜状态(包括竖直面)，根据前述原理可知在倾斜基准面上标注任一方向的线段，测得其倾伏向和倾伏角即可满足需求。为了最大程度地简化野外操作和室内计算，可通过罗盘测量并标记木板面的走向标记向量来完成(如图1中的(c)，由线段AB表示)，该走向标记向量为某一假想竖直面的法向量，假想竖直面必和基准面(301)相交。相交平面对应的两个法向量必不平行，通过两个法向量的两次旋转即可完成模型的姿态校正。在未校正的SfM-MVS点云模型中，基准面(301)产状通过虚拟罗盘工具多次测量取平均求取，而走向标记向量的产状通过测量线段端点即可，如图1中的(c)所示，AB两点构成的向量求解公式如下：

综合上述三种情况，本发明实现了利用罗盘测量基准面及其上标记向量产状的途径进行SfM-MVS点云模型的姿态校正。这种方法相当于只考虑点云的姿态，不考虑点云的大小和地理位置，因此无需贵重的RTK-GPS，仅需要在待测场景中布置已知大小的地面控制面(GCPL)，并用罗盘测量得到球面坐标即可。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.基于NED坐标系向量旋转的SfM点云校正方法，其特征在于，包括以下步骤：

S1：建立球面坐标系，并与NED坐标系相互转换；

2.如权利要求1所述的基于NED坐标系向量旋转的SfM点云校正方法，其特征在于，所述旋转矩阵经由两次选择得出。

3.如权利要求1所述的基于NED坐标系向量旋转的SfM点云校正方法，其特征在于，所述参照物采用常温常压下不变形的材料制成。