CN114139325B - 一种利用自然场景进行地下线缆可视化校准方法 - Google Patents

Abstract

本发明公开了一种利用自然场景进行地下线缆可视化校准方法，具体为获取用户当前坐标；在地面绘制两条正交线模拟地下电缆，在相交线上取若干参考点，精确测量参考点的坐标并导入移动测量终端，在正交线的交点放置移动终端，沿模拟电缆方向位置拍摄图像，检测参考点在显示屏上的位置，记点坐标构建成像方程，完成对相机内参数矩阵求解并更新原系统相机内参数进行校准；移动终端旋转90°拍摄于另一条正交模拟电缆，矫正移动终端现实系统的内外参数，重复多次上一步骤直至显示线缆与地面标记重合；移动终端沿电缆方向后退，保持线缆相交位置逐渐显示在界面中。本发明能够实现使用预先绘制的标定参考点以及其地理位置坐标进行地下线缆可视化校准。

Description

一种利用自然场景进行地下线缆可视化校准方法

技术领域

本发明涉及地下电缆管线可视化巡检的工程领域，具体涉及一种利用自然场景进行地下线缆可视化校准方法。

背景技术

电力电缆是电力公司重要的基础性资产，其投资大，使用周期长，使用地点分散，埋入地下隐蔽性强，管理较困难。为了掌握电力电缆的运行状态，必须对电力管线进行巡检，以保证电缆输配电线路及其设备安全可靠工作。由于地下电缆隐蔽性强，传统的人工巡检受巡检人员与管线敷设复杂环境的影响，巡检效率低，巡检数据统计不完善，常常出现管线错挖等。随着高精度卫星定位技术和增强现实技术的发展，通过增强现实技术与高精度定位技术相结合，使真实的环境和根据地下电缆坐标虚拟的电缆实时地叠加到了同一个画面里，使得准确、直观地对地下电缆进行可视化定位，便于在巡检或施工时精确的找到特定的电缆线或故障点，大大的节省巡检和施工的时间及提高施工安全性。这种可视化设备由智能移动终端和高精度定位模块构成，智能移动终端提供AR设备的可视化姿态信息，由于不同的AR设备在初始化时位置和姿势不同，AR坐标系可能就会不同，此外，AR设备在户外使用，视野范围大，因此，在户外自然场景下对AR设备进行较大范围内进行校准非常有必要。

发明内容

本发明的目的是为了克服现有技术的不足，一种利用自然场景进行地下线缆可视化校准方法，能够实现地下电缆的可视化校准。

实现上述目的的一种技术方案是：一种利用自然场景进行地下线缆可视化校准方法，包括以下步骤：

步骤1：在地面绘制两条正交线模拟地下电缆线，在相交线上取若干个参考点，精确测量参考点的地理位置坐标并导入移动测量终端，满足以下要求:

1.1标记参考点数据能模拟真实地下电缆的地理位置信息特征；

1.2标记参考点图案能够准确被移动终端显示系统检测到；

1.3记录每个标记参考点的地理位置坐标，其中第i个坐标记为

步骤2：在正交线的交点放置移动终端，沿模拟电缆方向拍摄图像，观察模拟电缆线是否出现在图像内，若没有出现在界面内，则需重新获取各个标记参考点的地理位置坐标；

步骤3：检测参考点在移动终端在显示屏上的位置坐标，尽可能多的使前方标记参考点被相机拍摄到，并根据焦点检测算法检测标记点，获得图像内多个标记点坐标

其中i表示第i个标记点；

步骤4：相机的内参数矩阵可由公式1描述，相机的成像过程可由公式2描述；

其中在公式1中，s_x和s_y表示在x轴和y轴方向上的放大倍数，θ_x和θ_y表示相机中心坐标，s_θ为倾斜因子，f为相机焦距；在公式2中，

是检测算法获得的若干标记参考点图像坐标集合的齐次表示，

表示与之对应的地理位置坐标集合的齐次表示，s表示缩放系数，K表示公式1中的相机内参数矩阵，R表示旋转矩阵，SO(3)表示旋转矩阵所在的特殊正交群，T表示平移向量；

将参考点的图像坐标和获取的地理位置坐标带入成像公式(2)，单次成像时可默认移动终端设备没有运动，因此旋转矩阵R为单位阵I，平移向量T为0向量；此时成像公式可以化简为公式3，将标记参考点坐标和地理信息坐标带入公式(3)，再由高斯消元法求解相机内参矩阵K

步骤5：完成对相机内参数矩阵求解并更新原系统相机内参数进行校准，更新参数再次拍摄观察移动终端界面显示的模拟地下电缆是否与图像中的标记点一致，若不一致重复步骤4，并使用多次拍摄数据构建方程组求得最小二乘解；

步骤6：移动终端缓慢旋转90°拍摄于另一条正交模拟电缆，矫正移动终端现实系统的内外参数，满足旋转过程中有尽可能多的标记点被观察到，在旋转过程中同一标记参考点被当前帧记录的图像坐标为C₁，被前一帧记录标记参考点为C₀，则从前一帧到当前帧移动终端设备的运动状态可由旋转矩阵R₁和平移矩阵T₁描述，且满足公式4:

其中

表示平移向量T的反对称矩阵；为了方便求解姿态变换矩阵，这里令

则方程可改写为

等价于公式5

其中

表示克罗内克积，

表示矩阵向量化；

矩阵的零空间对应原公式的解，可由奇异值分解法解得矩阵E，进一步分解得到旋转和平移矩阵；

步骤7：旋转90°整个过程的旋转平移矩阵(外参数矩阵)可由每一帧的旋转平移矩阵叠加得到,见公式6：

其中i表示当前帧为第i帧，R_i，T_i表示i-1帧到第i帧的旋转平移变换，R，T表示从0时刻开始到当前第n帧的总体旋转和平移变换；将旋转过程中可观测到的标记参考点以及对应的地理位置坐标和以及R,T带入成像公式2构建方程，求得相机参数的最小二乘解作为更新参数；以此提高系统的静态准确度和动态准确度

步骤8：观察更新参数后所得模拟地下电缆图像是否与地面标记参考点一致，若不一致重复步骤6,7；

步骤9：沿模拟地下电缆方向后退，使模拟地下电缆相交位置逐渐显示在移动终端显示器上；观察是否有横向和纵向模拟地下电缆线显示在移动终端上，若模拟地下电缆正常显示则完成矫正，若显示地下电缆与标记参考点不一致，重新检测图像中的参考点的坐标，按照步骤7方法更新相机内外参数，重复步骤3-9。

本发明在使用预先绘制的标定参考点以及其地理位置坐标进行地下线缆可视化校准，实现真实地理坐标与相机像素映射关系校准，自身姿态估计参数校准，系统绘制界面参数校准，从而提高地下线缆可视化系统的准确性。

附图说明

图1表示地下线缆可视化系统校准流程图；

图2表示绘制的地面标记点示意图，其中实心圆为底边标记点，空心圆表示开始矫正时用户位置；

图3表示步骤3拍摄图像示意图，其中菱形点表示当前时刻终端可观察到的标记点；

图4表示步骤6,7中完成旋转后拍摄图像示意图，其中菱形点表示当前时刻终端可观察到的标记点，R，T表示旋转过程中的旋转平移矩阵；

图5表示步骤9中沿管线方向后退拍摄示意图，其中空心圆为用户位置，菱形点为终端可以观察到的地面标记点。

具体实施方式

为了能更好地对本发明的技术方案进行理解，下面通过具体地实施例进行详细地说明：

本发明的一种利用自然场景进行地下线缆可视化校准方法，其流程如图1所示。包括以下步骤：

步骤1：如图2所示，在地面绘制两条正交线模拟地下电缆线，在相交线上取若干个参考点，精确测量参考点的地理位置坐标并导入移动测量终端，满足以下要求:

1.1标记参考点数据能模拟真实地下电缆的地理位置信息特征；

1.2标记参考点图案能够准确被移动终端显示系统检测到；

1.3记录每个标记参考点的地理位置坐标，其中第i个坐标记为

步骤2：在正交线的交点放置移动终端，沿模拟电缆方向拍摄图像，观察模拟电缆线是否出现在图像内，若没有出现在界面内，则需重新获取各个标记参考点的地理位置坐标；

步骤3：如图3所示，检测参考点在移动终端在显示屏上的位置坐标，尽可能多的使前方标记参考点被相机拍摄到，并根据焦点检测算法检测标记点，获得图像内多个标记点坐标

其中i表示第i个标记点；

步骤4：相机的内参数矩阵可由公式1描述，相机的成像过程可由公式2描述；

其中在公式1中，s_x和s_y表示在x轴和y轴方向上的放大倍数，θ_x和θ_y表示相机中心坐标，s_θ为倾斜因子，f为相机焦距；在公式2中，

是检测算法获得的若干标记参考点图像坐标集合的齐次表示，

表示与之对应的地理位置坐标集合的齐次表示，s表示缩放系数，K表示公式1中的相机内参数矩阵，R表示旋转矩阵，SO(3)表示旋转矩阵所在的特殊正交群，T表示平移向量；

将参考点的图像坐标和获取的地理位置坐标带入成像公式(2)，单次成像时可默认移动终端设备没有运动，因此旋转矩阵R为单位阵I，平移向量T为0向量；此时成像公式可以化简为公式3，将标记参考点坐标和地理信息坐标带入公式(3)，再由高斯消元法求解相机内参矩阵K

步骤5：完成对相机内参数矩阵求解并更新原系统相机内参数进行校准，更新参数再次拍摄观察移动终端界面显示的模拟地下电缆是否与图像中的标记点一致，若不一致重复步骤4，并使用多次拍摄数据构建方程组求得最小二乘解；

步骤6：如图4所示，移动终端缓慢旋转90°拍摄于另一条正交模拟电缆，矫正移动终端现实系统的内外参数，满足旋转过程中有尽可能多的标记点被观察到，在旋转过程中同一标记参考点被当前帧记录的图像坐标为C₁，被前一帧记录标记参考点为C₀，则从前一帧到当前帧移动终端设备的运动状态可由旋转矩阵R₁和平移矩阵T₁描述，且满足公式4:

其中

表示平移向量T的反对称矩阵；为了方便求解姿态变换矩阵，这里令

则方程可改写为

等价于公式5

其中

表示克罗内克积，

表示矩阵向量化；

矩阵的零空间对应原公式的解，可由奇异值分解法解得矩阵E，进一步分解得到旋转和平移矩阵；

步骤7：旋转90°整个过程的旋转平移矩阵(外参数矩阵)可由每一帧的旋转平移矩阵叠加得到,见公式6：

其中i表示当前帧为第i帧，R_i，T_i表示i-1帧到第i帧的旋转平移变换，R，T表示从0时刻开始到当前第n帧的总体旋转和平移变换；将旋转过程中可观测到的标记参考点以及对应的地理位置坐标和以及R,T带入成像公式2构建方程，求得相机参数的最小二乘解作为更新参数；以此提高系统的静态准确度和动态准确度

步骤8：观察更新参数后所得模拟地下电缆图像是否与地面标记参考点一致，若不一致重复步骤6,7；

步骤9：如图5所示，沿模拟地下电缆方向后退，使模拟地下电缆相交位置逐渐显示在移动终端显示器上；观察是否有横向和纵向模拟地下电缆线显示在移动终端上，若模拟地下电缆正常显示则完成矫正，若显示地下电缆与标记参考点不一致，重新检测图像中的参考点的坐标，按照步骤7方法更新相机内外参数，重复步骤3-9。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (1)

1.一种利用自然场景进行地下线缆可视化校准方法，其特征在于，包括以下步骤：

步骤1：在地面绘制两条正交线模拟地下电缆线，在相交线上取若干个参考点，精确测量参考点的地理位置坐标并导入移动测量终端，满足以下要求:

1.1标记参考点数据能模拟真实地下电缆的地理位置信息特征；

1.2标记参考点图案能够准确被移动终端显示系统检测到；

1.3记录每个标记参考点的地理位置坐标，其中第i个坐标记为

步骤2：在正交线的交点放置移动终端，沿模拟电缆方向拍摄图像，观察模拟电缆线是否出现在图像内，若没有出现在界面内，则需重新获取各个标记参考点的地理位置坐标；

步骤3：检测参考点在移动终端在显示屏上的位置坐标，尽可能多的使前方标记参考点被相机拍摄到，并根据焦点检测算法检测标记点，获得图像内多个标记点坐标

其中i表示第i个标记点；

步骤4：相机的内参数矩阵可由公式1描述，相机的成像过程可由公式2描述；

(1)

(2)

其中在公式1中，s_x和s_y表示在x轴和y轴方向上的放大倍数，θ_x和θ_y表示相机中心坐标，s_θ为倾斜因子，f为相机焦距；在公式2中，

是检测算法获得的若干标记参考点图像坐标集合的齐次表示，

表示与之对应的地理位置坐标集合的齐次表示，s表示缩放系数，K表示公式1中的相机内参数矩阵，R表示旋转矩阵，SO(3)表示旋转矩阵所在的特殊正交群，T表示平移向量；

将参考点的图像坐标和获取的地理位置坐标带入成像公式(2)，单次成像时可默认移动终端设备没有运动，因此旋转矩阵R为单位阵I，平移向量T为0向量；此时成像公式可以化简为公式3，将标记参考点坐标和地理信息坐标带入公式(3)，再由高斯消元法求解相机内参矩阵K

(3)

步骤5：完成对相机内参数矩阵求解并更新原系统相机内参数进行校准，更新参数再次拍摄观察移动终端界面显示的模拟地下电缆是否与图像中的标记点一致，若不一致重复步骤4，并使用多次拍摄数据构建方程组求得最小二乘解；

步骤6：移动终端缓慢旋转90°拍摄于另一条正交模拟电缆，矫正移动终端现实系统的内外参数，满足旋转过程中有尽可能多的标记点被观察到，在旋转过程中同一标记参考点被当前帧记录的图像坐标为C₁，被前一帧记录标记参考点为C₀，则从前一帧到当前帧移动终端设备的运动状态可由旋转矩阵R₁和平移矩阵T₁描述，且满足公式4:

其中

表示平移向量T的反对称矩阵；为了方便求解姿态变换矩阵，这里令

则方程可改写为

等价于公式5

其中

表示克罗内克积，

表示矩阵向量化；

矩阵的零空间对应原公式的解，可由奇异值分解法解得矩阵E，进一步分解得到旋转和平移矩阵；

步骤7：旋转90°整个过程的旋转平移矩阵(外参数矩阵)可由每一帧的旋转平移矩阵叠加得到,见公式6：

其中i表示当前帧为第i帧，R_i，T_i表示i-1帧到第i帧的旋转平移变换，R，T表示从0时刻开始到当前第n帧的总体旋转和平移变换；将旋转过程中可观测到的标记参考点以及对应的地理位置坐标和以及R,T带入成像公式2构建方程，求得相机参数的最小二乘解作为更新参数；以此提高系统的静态准确度和动态准确度

步骤8：观察更新参数后所得模拟地下电缆图像是否与地面标记参考点一致，若不一致重复步骤6,7；

步骤9：沿模拟地下电缆方向后退，使模拟地下电缆相交位置逐渐显示在移动终端显示器上；观察是否有横向和纵向模拟地下电缆线显示在移动终端上，若模拟地下电缆正常显示则完成矫正，若显示地下电缆与标记参考点不一致，重新检测图像中的参考点的坐标，按照步骤7方法更新相机内外参数，重复步骤3-9。

Images