CN115755126A - 一种基于卫星和视觉融合的移动目标定位方法及系统 - Google Patents

Abstract

本发明提供了一种基于卫星和视觉融合的移动目标定位方法及系统，所述移动目标定位方法包括：S1：对变电站进行现场测绘扫描，获得点云数据和双目数据；S2：对点云数据进行预处理，建立变电站三维点云模型；S3：通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；S4：分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；S5：对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据，本发明很好地利用了丰富的环境信息，实现了从早期二维地图到三维地图的转化，丰富了地图信息，扩展了应用领域，有着很大的实用价值。

Description

一种基于卫星和视觉融合的移动目标定位方法及系统

【技术领域】

本发明涉及变电站安全技术领域，尤其涉及一种基于卫星和视觉融合的移动目标定位方法及系统。

【背景技术】

随着计算机视觉的发展，2006年左右视觉SLAM作为SLAM技术一个新的分支被提出并受到研究者的关注，2012年开始视觉SLAM成为机器人领域的热点问题。技术实现层面上，SLAM逐渐被划分为两个部分：一个是前端部分，通过传感器的观测来获取相关信息，主要涉及计算机视觉及信号处理相关理论，如图像的特征提取与匹配等；另一个是后端处理，对获取的信息筛选优化并得到有效信息，其中几何、图论、优化、概率估计等都是所涵盖的研究内容，主要涉及滤波及非线性优化，如回环检测、位姿图优化。移动机器人SLAM要解决的关键问题主要是不确定性、数据关联和环境地图表达，目前的研究开发主要集中在基于卡尔曼滤波的算法研究、基于粒子滤波器的算法研究以及视觉SLAM在机器人视觉场景应用。

基于概率估计的SLAM主要的应用环境、地图表示主要是在二维空间，而在三维空间的扩展有所局限。视觉SLAM最开始使用的外部传感器主要有声纳和激光雷达，具有分辨率高、抗有源干扰能力强等优点，但其工作受到了环境的约束，如GPS信号在有遮挡情况下的不稳定或衰减等。由于SLAM主要在未知环境下完成，我们无从获知环境信息，而相机能够获取精准直观的环境信息且成本低、功耗小。根据其工作方式的不同，可分为单目相机、双目相机和RGB-D相机。视觉SLAM的先驱Davison在2007年提出了MonoSLAM，是第一个基于EKF的实时单目视觉系统，以EKF为后端来追踪前端非常稀疏的特征点。随着开源方案的增多，还有一些算法也逐渐普及，如DTAM、DVO、RGBD-SLAM-V2等。视觉传感器很好地利用了丰富的环境信息，实现了从早期二维地图到三维地图的转化，丰富了地图信息，扩展了应用领域，有着很大的实用价值，但在现实环境下还存在鲁棒性和高适应性方面的技术挑战。

因此，有必要研究一种基于卫星和视觉融合的移动目标定位方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，本发明提供了一种基于卫星和视觉融合的移动目标定位方法及系统，本发明很好地利用了丰富的环境信息，实现了从早期二维地图到三维地图的转化，丰富了地图信息，扩展了应用领域，有着很大的实用价值。

一方面，本发明提供一种基于卫星和视觉融合的移动目标定位方法及系统，所述移动目标定位方法包括：

S1：对变电站进行现场测绘扫描，获得点云数据和双目数据；

S2：对点云数据进行预处理，建立变电站三维点云模型；

S3：通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

S4：分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

S5：对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中预处理包括点云去噪和点云拼接处理。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中点云数据获取方式包括但不限于激光雷达和TOF相机。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中双目数据获取方式为通过图像拍摄。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3具体包括：

S31：通过双目数据进行变电站三维模型重建；

S32：标记变电站三维点云模型中的待修复区域；

S33：通过双目数据重建的变电站三维模型对待重建区域进行修复，建立变电站融合模型。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S32中待修复区域包括冗余视点区域和需要补充视点区域。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S33中修复过程包括删除冗余视点区域和添加需要补充视点区域。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4中原始UWB数据包括惯性导航系统获取的惯性数据和UWB脉冲数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中对原始UWB数据和原始BD数据进行处理融合具体包括：

S51：对UWB数据进行卡尔曼滤波处理；

S52：将S51滤波处理的数据和原始BD数据进行融合，获取含噪位置数据；

S53：对含噪位置数据进行粒子滤波处理，获取高精度定位数据。

如上所述的方面和任一可能的实现方式，进一步提供一种基于卫星和视觉融合的移动目标定位系统，移动目标定位系统包括：

数据采集模块，用于对变电站进行现场测绘扫描，获得点云数据和双目数据；

模型建立模块，用于对点云数据进行预处理，建立变电站三维点云模型；

融合优化模块，用于通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

位置信息获取模块，分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

定位信息融合模块，用于对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

与现有技术相比，本发明可以获得包括以下技术效果：

本发明北斗定位标签在正常锁星情况下进入固定解状态，可以实现厘米级误差的高精度定位；当锁星不足情况下，需要借助惯性导航实现定位。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的移动目标定位方法的流程图；

图2是本发明一个实施例提供的系统数据融合示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

如图1所示为本发明的整体框架,面向本发明的系统不限制具体运行的硬件和编程语言，用任何语言编写都可以完成，为此其他工作模式不再赘述。

本发明提供一种基于卫星和视觉融合的移动目标定位方法，所述移动目标定位方法包括：

S1：对变电站进行现场测绘扫描，获得点云数据和双目数据；

S2：对点云数据进行预处理，建立变电站三维点云模型；

S3：通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

S4：分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

S5：对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

所述S2中预处理包括点云去噪和点云拼接处理。所述S1中点云数据获取方式包括但不限于激光雷达和TOF相机。所述S1中双目数据获取方式为通过图像拍摄。

所述S3具体包括：

S31：通过双目数据进行变电站三维模型重建；

S32：标记变电站三维点云模型中的待修复区域；

S33：通过双目数据重建的变电站三维模型对待重建区域进行修复，建立变电站融合模型。

优选的，本发明变电站三维模型重建方法具体如下：

假定已知空间任意点P的对应点为p₁与p₂，且C₁和C₂两个摄像机已经被标定，M₁和M₂分别为它们的投影矩阵，于是有：

式中，p₁与p₂点在各自图像中的齐次坐标为(u₁,v₁,1)与(u₂,v₂,1)；点P在世界坐标系下的齐次坐标为(X,Y,Z,1)；

分别为矩阵中的第n行,第l列的元素，两式中的M和u,v是已知的，分别消去Z_c，采用最小二乘法求出P点的世间坐标(x，y，z)。

优选的，进行视觉融合优化时，为了降低所需要的多视角图像，以图像视点合成为优化目标，对重建模型进行质量评价，定位冗余视点和需要补充新视点的区域。首先通过快速建立场景的初始三维模型，然而通过图像合成作为目标函数对重建质量进行评价，定位冗余视点和需要补充视点的区域，在此基础上剔除冗余视点，并在需要补充视点的区域进行补充拍摄。最后基于规划的图片集进行稠密的三维重建，获得完整重建结果的同时避免冗余图像带来的时间消耗。所述S32中待修复区域包括冗余视点区域和需要补充视点区域。所述S33中修复过程包括删除冗余视点区域和添加需要补充视点区域。

利用上述原理结合双目相机快速获取简单施工场景的三维点云数据，如高压输配电线路下高空作业，省去渲染、切片等大量人工和成本。利用三维虚拟管控技术，可实现指导现场人员安全快速完成高压线路下的作业。

优选的，修复方式采用激光雷达和相机的联合标定的方式进行，具体如下：

标定是多传感器信息融合的准备条件，不同传感器有着独立的坐标系和不同的采集频率，必须把不同坐标系的数据转换到同一坐标系并进行时间配准，才能实现融合。对于激光雷达和相机的联合标定，其目的就是得到激光雷达和相机数据之间的转换关系，即找到同一时刻激光点云数据和图像中对应的像素点。

激光雷达坐标系可以描述物体与激光雷达的相对位置，表示为[X_L,Y_L,Z_L],其中原点为激光雷达几何中心，X_L轴水平向前，Y_L轴水平向左，Z_L轴竖直向上，符合右手坐标系规则。相机系统中存在三个坐标系：像素坐标系、图像坐标系和相机坐标系，像素坐标系表示为[u,v]，其中原点为图像左上角，u轴水平向右，v轴竖直向下；图像坐标系指在图像像素坐标系下建立以物理单位(如毫米)表示的坐标系，使像素尺度具有物理意义，表示为[x,y]，其中原点为相机主点，即相机光轴与图像平面的交点，一般位于图像平面中心，x轴与u轴平行，y轴与v轴平行；相机坐标系可以描述物体与相机的相对位置，表示为[X_c,Y_c,Z_c]，其中原点为相机光心O点，X_c轴与x轴平行，Y_c轴与y轴平行，Z_c轴与摄像机光轴平行，与图像平面垂直。

所述S4中原始UWB数据包括惯性导航系统获取的惯性数据和UWB脉冲数据。

优选的，本发明中惯性导航系统一种基于微机电系统传感器技术的微型惯性导航系统，是不依赖于外部信息、也不向外部辐射能量的自主式导航系统。其工作环境不仅包括空中、地面，还可以在水下、地下。惯导的基本工作原理是以牛顿力学定律为基础，通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息。

惯性导航系统利用惯性传感器(IMU)测量载体的比力及角速度信息，结合给定的初始条件，与GNSS等系统的信息融合，从而进行实时推算速度、位置、姿态等参数的自主式导航系统。具体来说惯性导航系统属于一种推算导航方式。即从一已知点的位置根据连续测得的运载体航向角和速度推算出其下一点的位置，因而可连续测出运动体的当前位置。惯性导航系统采用加速度计和陀螺仪传感器来测量载体的运动参数。其中三个垂直布置的陀螺仪用于测量载体绕自身三个坐标轴的转动角速度，同时也敏感地球自转的角速度。加速度计基于牛顿第二定律，采用电容式、压阻式或热对流原理，通过在加速过程中对质量块对应惯性力的测量来获得加速度值。用来测量运动体坐标系上各轴的加速度。

所述S5中对原始UWB数据和原始BD数据进行处理融合具体包括：

S51：对UWB数据进行卡尔曼滤波处理；

S52：将S51滤波处理的数据和原始BD数据进行融合，获取含噪位置数据；

S53：对含噪位置数据进行粒子滤波处理，获取高精度定位数据。

优选的，通常情况下，UWB信号的脉冲宽度在0.2～1.5ns，持续时间短，占空比低，空间距离偏差为6～45cm。不考虑其它误差时，采用TDoA方法进行定位，理论误差可达到cm级。由于UWB信号采用持续时间极短的窄脉冲，在时间、空间的分辨力都很强，因此，系统的多径分辨率极高(1ns脉冲的多径分辨率为30cm)，但在室内外交接处，与采用TDoA方法的其他常规无线定位法一样，由非视距传播造成的NLOS误差也是UWB定位误差的主要来源。因此，在主Sensor接收到UWB时刻信息时，为了提高定位精度，就需要对NLOS误差进行消除。本项目采用Kalman滤波器来对时刻信息进行处理，消除NLOS误差。在Server端，由于UWB和BD的刷新率的不同，可能接收到3种情况下的位置数据，即只有UWB数据、只有BD数据、既有UWB数据又有BD数据。系统采用粒子滤波器对Server端的位置数据进行处理，粒子滤波器对任意分布噪声都适用，并能够很好地融合不同传感器的数据，整个系统采取的数据融合示意图如图2所示。

基于上述原理，采用融合终端实现室内外无缝衔接精准定位。在室外区域，支持单卫星(GPS/北斗)定位，用户穿戴的定位终端接收卫星定位信号，通过4G回传数据到云端数据中心，服务器获取云端数据、进行坐标位置解算，即可定义出该人员此时的位置；支持RTK差分GPS/北斗定位，差分参考站接收卫星定位信号并解算坐标，通过4G回传数据到云端数据中心，数据中心根据参考站的已知精密坐标与卫星定位坐标计算出RTK差分数据，服务器获取云端的用户的卫星定位数据和RTK差分数据，修正用户的定位结果，减小卫星定位的误差，从而提高定位精度，定义出该人员此时的精准位置。在室内区域，定位信标持续播发蓝牙广播(2.4G)，用户穿戴的定位终端接收蓝牙定位信号，通过4G回传数据到云端数据中心，服务器获取云端数据、进行坐标位置解算，即可定义出该人员此时的位置。

本发明还提供一种基于卫星和视觉融合的移动目标定位系统，移动目标定位系统包括：

数据采集模块，用于对变电站进行现场测绘扫描，获得点云数据和双目数据；

模型建立模块，用于对点云数据进行预处理，建立变电站三维点云模型；

融合优化模块，用于通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

位置信息获取模块，分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

定位信息融合模块，用于对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

以上对本申请实施例所提供的一种基于卫星和视觉融合的移动目标定位方法及系统，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (10)

1.一种基于卫星和视觉融合的移动目标定位方法，其特征在于，所述移动目标定位方法包括：

S1：对变电站进行现场测绘扫描，获得点云数据和双目数据；

S2：对点云数据进行预处理，建立变电站三维点云模型；

S3：通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

S4：分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

S5：对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

2.根据权利要求1所述的移动目标定位方法，其特征在于，所述S2中预处理包括点云去噪和点云拼接处理。

3.根据权利要求1所述的移动目标定位方法，其特征在于，所述S1中点云数据获取方式包括但不限于激光雷达和TOF相机。

4.根据权利要求1所述的移动目标定位方法，其特征在于，所述S1中双目数据获取方式为通过图像拍摄。

5.根据权利要求1所述的移动目标定位方法，其特征在于，所述S3具体包括：

S31：通过双目数据进行变电站三维模型重建；

S32：标记变电站三维点云模型中的待修复区域；

S33：通过双目数据重建的变电站三维模型对待重建区域进行修复，建立变电站融合模型。

6.根据权利要求5所述的移动目标定位方法，其特征在于，所述S32中待修复区域包括冗余视点区域和需要补充视点区域。

7.根据权利要求5所述的移动目标定位方法，其特征在于，所述S33中修复过程包括删除冗余视点区域和添加需要补充视点区域。

8.根据权利要求1所述的移动目标定位方法，其特征在于，所述S4中原始UWB数据包括惯性导航系统获取的惯性数据和UWB脉冲数据。

9.根据权利要求1所述的移动目标定位方法，其特征在于，所述S5中对原始UWB数据和原始BD数据进行处理融合具体包括：

S51：对UWB数据进行卡尔曼滤波处理；

S52：将S51滤波处理的数据和原始BD数据进行融合，获取含噪位置数据；

S53：对含噪位置数据进行粒子滤波处理，获取高精度定位数据。

10.一种基于卫星和视觉融合的移动目标定位系统，其特征在于，移动目标定位系统包括：

数据采集模块，用于对变电站进行现场测绘扫描，获得点云数据和双目数据；

模型建立模块，用于对点云数据进行预处理，建立变电站三维点云模型；

融合优化模块，用于通过双目数据对变电站三维点云模型进行视觉融合优化，建立变电站融合模型；

位置信息获取模块，分别通过卫星和UWB对移动目标进行定位，获取移动目标在变电站融合模型中的原始UWB数据和原始BD数据；

定位信息融合模块，用于对原始UWB数据和原始BD数据进行处理融合，获取高精度定位数据。

Images