CN103411587A

CN103411587A - 定位定姿方法及系统

Info

Publication number: CN103411587A
Application number: CN2013103549228A
Authority: CN
Inventors: 史云; 史中超
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-08-14
Filing date: 2013-08-14
Publication date: 2013-11-27
Anticipated expiration: 2033-08-14
Also published as: CN103411587B

Abstract

一种定位定姿方法，包括：1）获取原始图像，对原始图像进行特征点提取，对相邻原始图像之间的特征点进行匹配；2)基于多镜头组合型全景相机的严格成像模型，利用随机抽样一致性算法对图像进行相对定向；3)融合激光点云来计算相邻原始图像之间的距离，从而确定摄影比例尺；4)通过相对定向结果和摄影比例尺进行模型连接；5)基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺为制约条件，计算得到位置和姿态信息。本发明还提供了一种定位定姿装置，其具有全景相机、激光扫描仪、GPS接收器以及计算装置。本发明实现了精度可控的定位定姿，且造价相对低。

Description

定位定姿方法及系统

技术领域

本发明属于摄影测量与遥感领域，尤其涉及到三维移动测量技术。

背景技术

近年来，构建数字城市、智慧城市的关键在于城市空间信息的获取及更新，如何快速地采集和更新这些城市空间信息成为了关键。于是搭载数码摄像机等测图传感器的移动测量系统（例如，测量车）开始得到普遍的研究。对于移动平台的测量系统来说，其传感器的高精度定位定姿是一个关键性的问题，因为传感器的位置和姿态信息直接影响后期基于这些传感器的地物三维定位精度。

为了解决移动测量系统的定位问题，现在普遍的方法是，移动测量系统中设置GPS/IMU（Inertial Measuring Unit，惯性导航单元）来定位定姿，并设置图像传感器来得到地物的位置信息。

GPS是全球定位系统，可以在天空没有遮挡的情况下得到一定精度的定位数据，但是当测量车在卫星信号不强的区域只能得到很差的精度。基于IMU的惯性导航系统INS（Inertial Navigation System）的定位精度在一定时间内是精确的，但是随着时间精度会越来越差。还有一种系统结合了两者的优点，即基于卡尔曼滤波的综合定位系统，该系统现在已经能满足一部分工程的需求，但是在GPS长时间接收不到信号的时候，也很难保证精度。

另外，这种利用GPS/IMU的定位系统由于需要使用高精度的IMU，其最大缺点就是装置复杂且造价昂贵，不利于大规模普及。

因此，如何通过使用其他控制方式来实现精度可控的定位定姿是移动三维测量系统的一个共同诉求。

发明内容

本发明的目的在于，针对基于上述仅仅利用基于GPS/IMU的定位定姿移动测量车在得不到高品质GPS卫星信号的区域（特别在GPS卫星信号不理想的区域）测量时得不到可靠的定位定姿精度，来提供一种使用造价相对低的传感器来实现精度可控的定位定姿方法及装置。本发明的有一个目的是克服现有技术的搭载IMU使得装置复杂且造价昂贵，提供一种装置简单且造价便宜的定位定姿装置。

为此，本发明一种定位定姿方法，包括：

1）获取原始图像，对原始图像进行特征点提取，对相邻原始图像之间的特征点进行匹配；

2)基于多镜头组合型全景相机的严格成像模型，利用随机抽样一致性算法对图像进行相对定向;

3)融合激光点云来计算相邻原始图像之间的距离，从而确定摄影比例尺;

4)通过相对定向结果和摄影比例尺进行模型连接;

5)基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺为制约条件，计算得到位置和姿态信息。

本发明还提供一种定位定姿系统，包括：

具有多个镜头的多镜头组合型全景相机，所述多个镜头同时拍摄的图像能够拼接成一张全景图像；

激光扫描仪，该激光扫描仪对所述定位定姿装置行驶路线上的前方进行激光扫描，获得连续的激光扫描点，即激光点云；

在移动过程中，多镜头组合型全景相机和激光扫描仪的相对位置固定不变；

计算装置，所述计算装置被配置为：

接收多镜头组合型全景相机获取原始图像，对原始图像进行特征点提取，对相邻原始图像之间的特征点进行匹配；

基于多镜头组合型全景相机的严格成像模型，利用随机抽样一致性算法对图像进行相对定向;

接收激光扫描仪采集的激光点云，融合激光点云来计算相邻原始图像之间的距离，从而确定摄影比例尺;

通过相对定向结果和摄影比例尺进行模型连接;

基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺为制约条件，计算得到位置和姿态信息

本发明通过添加控制点、多传感器融合技术实现了一种精度可控的定位定姿移动三维测量系统。该系统可以广泛应用于数字城市、智慧城市等多维城市信息化工程的建设。

而且，本发明的系统装置简单且造价不高，有利于大规模普及。

附图说明

图1本发明的定位定姿方法的一个实施例的流程图；

图2是多镜头组合型全景相机的严格成像模型示意图；

图3是全景图像和激光点云融合计算摄影比例尺的方法示意图；

图4本发明的定位定姿方法的另一实施例的流程图；

图5是全景图像和激光点云融合来检测闭环的方法示意图；

图6本发明的定位定姿方法的又一实施例的流程图；

图7A和7B是GPS/控制点辅助的可靠的、精度可控的定位定姿方法的对比示意图；

图8是本发明的定位定姿装置的结构示意图。

具体实施方式

第一个实施例

图1显示了本发明的方法的一个实施例。该方法的步骤如下：

步骤1：获取原始图像，对原始图像进行特征点提取，对相邻原始图像之间的特征点进行匹配。

原始图像可以通过多镜头组合型全景相机（multi camera rig）获取，多镜头组合型全景相机有多个镜头，那么每拍摄一次，获得的是多张相对位置固定的图像，这多张原始图像拼接起来就组成了一张全景图像。

现有技术中，是把多张原始图像拼接成一张全景图像后，提取全景图像的特征点，然后匹配两张全景图像的特征点。这样做虽然简化了处理，但是会引入系统误差。这是因为不严格的模型是基于一张全景图的处理，由于不是严格的摄影光线，因此会导致误差。如图2中虚线和实线，实线表示真实的摄影光线。如图2所示，虚线S-u-P和真实的光线C-u-P，是有误差的。

现有技术是以全景图像为处理对象，而本发明是以原始图像为处理对象，对原始图像进行特征点提取，然后再进行匹配，这样就消除由于拼接后产生的系统误差。其中，特征点指的是图像中纹理变化的点，匹配是针对相邻原始图像的特征点进行匹配。

本发明的特征提取和匹配方法是：（1）利用特征提取算法（例如，SURF算子，Speeded Up Robust Feature）对原始图像提取特征点，并记录特征点位置及从哪张图像上提取出来的；（2）对相邻组原始图像上提取出来的特征点进行特征匹配，即针对本组提取出的每个特征点在相邻组找到其最好的匹配点（称为同名点），其中相邻组的含义为相邻时刻拍摄到的两组原始图像。如前所述，通过该多镜头组合型全景相机连续拍摄，每拍摄一次，获得的是一组原始图像（相对位置固定）。连续拍摄两次，所获得的两组原始图像，这两组原始图像称为相邻组。每一组原始图像拼接起来组成一张全景图像。

步骤2：基于多镜头组合型全景相机的严格成像模型，利用随机抽样一致性算法对图像进行相对定向。

相邻两组原始图像通过上述匹配得到的同名点，其中可能有很大一部分是错误的匹配，这主要是由于物体局部的相似性造成的，因此为了提高准确性，需要对匹配结果的正确性进行评估。

随机抽样一致算法(RANSAC)是一种迭代的方法，用来在一组包含离群的被观测数据中估算出数学模型的参数。RANSAC是一个非确定性算法，在某种意义上说，它会产生一个在一定概率下合理的结果，其允许使用更多次的迭代来使其概率增加。

在本发明中，要在一组包含错误匹配点的同名点组中，利用多镜头组合型全景相机的严格成像模型，利用摄影测量的相对定向原理，估算出两组相邻原始图像之间的一个概率最大的相对定向参数。确定一个物体的三维空间位置和姿态，需要三个参数确定空间位置，以及三个参数确定姿态位置。所述相对定向参数包含五个参数值：两个位置参数和三个姿态参数，但是，RANSAC还无法确定摄影比例尺（其也是一个位置参数）。

在上述步骤1和2完成后，传统的航空摄影测量是利用相对定向结果直接进行模型连接，再结合GPS和地面上的控制点来完成最后的定姿定位计算。但是基于地面车载的近距离摄影测量中，由于拍摄的图像张数远远大于航空摄影测量，并且无法做到像航空摄影那样严格的有连接航带法拍摄，直接进行模型连接会导致误差传播无法控制。

针对该问题，本发明融合激光点云数据，通过精确确定摄影比例尺及自动检测闭环，通过摄影比例尺及闭环制约式光束法平差来定位定姿来实现可靠的精度可控的位置及姿态的计算。

步骤3：融合激光点云来计算相邻两组原始图像之间的距离，从而确定摄影比例尺。

激光点云是利用激光（一般通过激光扫描仪）在同一空间参考系下获取物体表面每个采样点的空间坐标，得到的是一系列表达目标空间分布和目标表面特性的海量点的集合，这个点集合就称之为“激光点云”。激光点云的属性包括：空间分辨率，点位精度，表面法向量等。

由于单相机摄影中，无法通过两张相邻图像来确定摄影比例尺，摄影比例尺为相邻两组原始图像之间的距离，也就是两次拍摄的距离。在本发明正，增加了激光扫描仪，激光扫描仪与多镜头组合型全景相机一起移动，且两者之间的相对位置固定不变，激光扫描仪对路面连续扫描。本发明利用激光点云来确定两组相邻原始图像之间的摄影比例尺。扫描仪的扫描方向为基本上朝下，从而扫描到路面。

首先通过上述步骤2，相邻原始图像之间的相对定向关系已经确定。如图3所示，位置A表示发出激光进行扫描的位置，从位置A发出激光扫描路面（包括路肩）m，得到激光点云（图3中用点阵表示）。

使用多镜头组合型全景相机移动拍摄时，由于不知道比例尺，那么相对第一组原始图像所在的A位置，第二组原始图像的拍摄位置可能是在AB直线（AB直线为移动测量的行进路线，因为是间隔短距离测量，因此认为AB是直线，而不是弧线）的任意点上如B′点，而实际上是在B点。如果认为是在B′点，那么通过同名点的前方交会，得到物方点位置α′点，物方点是实际物体三维空间点，相对应的是像方点，其指的是拍到的图像上的点。由于α′点是由不正确的摄影比例尺计算来的，无法和路面上的点云有交点（α′点浮于路面之上），如图3所示。

有了激光点云后，通过在AB直线上搜索一个B点，使位置B和位置A的图像前方交会的α点能和激光点云有交点，则就确定了位置A处图像和位置B处图像之间的精确摄影比例尺，这就是本发明提出的融合激光点云来计算相邻两组原始图像之间的距离来确定摄影比例尺的计算方法。

更有利地，通过该方法可以去除两两距离较小（拍摄距离不合理）或者静止的图像（即没有移动，在同一地点拍摄了两次）。

步骤4：通过相对定向结果和摄影比例尺进行模型连接。

在确定比例尺之后，就可以进行模型连接，即可以通过前一组相机的位置利用相机定向的结果和确定的比例尺来计算后一组相机的位置，从而连接所有摄影的照片。

步骤5：基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺为制约条件，得到精确的位置和姿态信息。

具体为基于非线性方程的最小二乘原理，利用特征点来构建光束法的法方程，代入摄影比例尺制约条件，再联合解算方程得到各个摄影位置姿态的改正数，反复迭代直至最后收敛，从而得到最优的一组位置姿态数据。

由于本发明使用了融合激光点云来确定摄影比例尺，作为制约条件，提高了最终定位定姿的准确性。

第二个实施例

本发明提出了第二个实施例如图4所示。在该实施例中考虑的闭环的问题，以进一步提高定位定姿准确性。

闭环就是测量设备移动一定距离后又回到以前经过的地方。闭环检测是地面移动测量设备定位的基础问题之一,如何准确判断移动测量设备当前位置是否位于已经访问过的环境区域（即图像是否拍摄到相同物体）,对减少移动测量设备的位置姿态的不确定性,避免错误引入冗余变量或重复结构至关重要。

如图5所示，左边上下两幅图像是不同方向拍摄的两幅图像，由于完全不同的拍摄角度导致拍摄到的图像完全不一样，从而导致用传统的方法来判断和检测是否在同一地方拍摄是相当困难的。

为此，本发明提出的方法是融合激光点云来生成局部路面的正射影像。如图5所示，左边两幅图像上的沿道路方向的黑色由下向上的箭头表示轨迹方向。横跨左边图像和右边图像的两个从左到右的白色箭头表示，利用相对定向结果的激光点云生成局部正射图像。横跨右边两幅图像的从上到下的黑色箭头表示通过正射来匹配。最终生成右边上下两幅正射图像，由于正射影像把视角转换到从上空拍摄角度，从而使得检测闭环变得容易。

具体地，在第一个实施例的步骤4之后，还进行如下步骤4′：

步骤4′：融合激光点云来检测所有位置上的闭环。

具体为1)利用激光点云生成路面的三维模型（用地面模型DEM来表述），以当前摄影点为中心把DEM转化成一定大小的图像（比如10米*10米，这时每个像素只代表一个三维位置坐标）；2）为图像中的每一个三维点从左边图像中找到其对应的像素并把当前像素的颜色赋予这个三维点，从而生成右边所示的局部路面正射图像；3）通过特征匹配的方法判断生成的两幅图像是否能够配准上，如果配准上了就说明为当前位置找到了闭环，反之进行下一个时刻图像的检测。

保持所有检测到的闭环，为后面摄影比例尺及闭环制约式光束法平差来定位定姿方法提供制约条件，以减少不确定性和提高精度。

接下来，即可进行定位定姿：

步骤5′：基于上述的模型连接结果，用严格成像模型的严格光束法平差，以摄影比例尺和闭环为制约条件，计算得到精确的位置和姿态信息。

基于上述的模型连接结果（有误差传递和不确定性），利用摄影比例尺及闭环制约式光束法对特征点计算得到的摄影比例尺及检测到的闭环这些制约条件，进行平差计算，消除不确定性从而得到精确的位置和姿态信息。

具体为基于非线性方程的最小二乘原理，利用特征点来构建光束法的法方程，代入摄影比例尺及闭环为制约条件，并为每类条件给定权重，再联合解算方程得到各个摄影位置姿态的改正数，反复迭代直至最后收敛，从而得到最优的一组位置姿态数据。

由于本发明使用了多种制约条件，利用数据的冗余性来消除部分数据的不确定性而提高了最终数据的可靠性。

第三个实施例

本发明的第三个实施例如图6所示，其中考虑了GPS信号或控制点的影响因素，以进一步提高定位定姿准确性。

如背景技术中所说，GPS可以在天空没有遮挡的情况下得到一定精度的定位数据，但是当测量车在卫星信号不强的区域只能得到很差的精度。因此，在第三个实施例中，对GPS信号差的情况进行了进一步的改进。在第二个实施例的基础上，在步骤4′之后，还包括：

步骤4′′：指定星况较好的GPS位置，即拍摄位置；或者星况不好时在图像上指定控制点位置，给出控制点的绝对位置坐标。

控制点是知道其地理坐标的点状物体，其在图像上表现给可见的点状特征。通过指定点状特征的图像位置（像素坐标）并指定其真实的三维地理坐标，通过后面的计算可以提高定位定姿精度。

其中，星况的判断是在差分GPS解算时进行，通过接收到几颗GPS卫星来计算，一般原则是差分GPS有固定解认为是可靠的，星况较好。

接下来，即可结合摄影比例尺、闭环、GPS位置信息和控制点位置信息，来进行位置和姿态的计算。

步骤5′′：结合GPS位置信息或控制点位置信息，利用摄影比例尺和闭环制约式光束法平差来定位定姿。

基于上述的模型连接结果（有误差传递和不确定性），本发明利用摄影比例尺及闭环制约式光束法对特征点、控制点、计算得到的摄影比例尺及检测到的闭环这些制约条件进行平差计算消除不确定性从而得到精确的位置和姿态信息。具体为基于非线性方程的最小二乘原理，利用特征点和控制点的来构建光束法的法方程，代入GPS、摄影比例尺及闭环制约条件，并为每类条件给定权重，再联合解算方程得到各个摄影位置姿态的改正数，反复迭代直至最后收敛，从而得到最优的一组位置姿态数据。由于本发明使用了多种制约条件，利用数据的冗余性来消除部分数据的不确定性而提高了最终数据的可靠性。

图7A是在没有平差之前的示意图，图7B表示平差之后的示意图。可以看出，通过加入特征点、GPS、控制点来使得误差最小化而达到最可靠的精度。图中给出了相同的参考坐标系XYZ。在7A中，由于没有光束法平差，所以在不同图像上的特征点在物方没有重合，并且如果这个点是控制点，也没有重合。通过光束法平差，使得不同图像上的同名特征点在物方尽可能重合，并与控制点的物方位置尽可能重合，从而起到了调整其对应图像位置姿态的作用，提高了精度，如图7B所示。

本发明的技术效果包括：（1）本发明融合了全景图像、激光点云、GPS定位数据及控制点数据，利用基于严格成像模型的光束法平差实现了可靠的、精度可控的定位定姿。（2）本发明融合使用多种传感器数据特别是融合了激光点云和全景图像来实现定位定姿，从而使得在精度和有很大的提高；（3）由于不使用昂贵的IMU，利用本发明提出的定位定姿方法来设计的装置相对价格低廉，更加容易推广从而推动三维移动测量技术的普及以提高社会信息化效率。

根据本发明的第二个方面，还提供了一种定位定姿装置，如图8所示，所述系统包括固定平台5，平台5上安装有多镜头组合型全景相机1、激光扫描仪2、GPS接收器3。全景相机1在定位定姿装置移动过程中，对行驶路线上周围360度环境上的实物进行拍照，获取采集连续的全景图像序列。其中全景相机1具有多个镜头7，朝向不同方向，保证了数据的完整性。例如，全景相机1可以具有六个镜头组成，一个朝天空，五个水平围成一圈，这五个相机优选地均匀地围成一圈。激光扫描仪2对所述定位定姿装置行驶路线上的前方进行激光扫描，获得连续的激光扫描点，即激光点云。GPS接收器3实时接收GPS卫星发送的位置信息数据，例如连续1HZ的GPS位置信息数据。

上述三个设备，即全景相机1、激光扫描仪2、GPS接收器3的数据通过控制/数据线缆6传输至计算装置4。全景相机1、激光扫描仪2、GPS接收器3在整个测量过程中必须要保持相对位置不变。可见，所述定位定姿装置不带带IMU。而且，全景相机1、激光扫描仪2、GPS接收器3固定在平台5的设计简单，安装方便。

计算装置4接收到全景相机1、激光扫描仪2、GPS接收器3的数据后：

（1）逐个对原始图像进行特征点提取及匹配。

（2）基于多镜头组合型相机的严格成像模型，利用随机抽样一致性算法（RANSAC）进行全景图像的相对定向。

（3）通过和激光点云融合来计算相邻两组原始图像之间的距离，即确定摄影比例尺，从而解决单相机模式无法确定摄影比例尺的问题，及删除两两距离较小或者静止的图像。

（4）通过相对定向关系，进行模型连接。

（5）融合激光点云来检测所有位置上闭环。

（5）在每个摄影点，指定星况较好的GPS绝对位置坐标；或者星况不好时，在图像上指定控制点位置并给出控制点的绝对位置坐标。

（6）使用基于多镜头组合型相机的严格成像模型的严格光束法平差，结合摄影比例尺、指定的GPS位置信息和/或控制点位置信息、闭环信息，实现可靠的、精度可控的定位定姿。

上述实施例为本发明的典型的实施方式，但本发明并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种定位定姿方法，其特征在于，包括：

4)通过相对定向结果和摄影比例尺进行模型连接;

2.根据权利要求1所述的定位定姿方法，其特征在于，在步骤3）中，利用相邻原始图像的图像前方交会点和激光点云的交点，确定相邻原始图像之间的摄影比例尺。

3.根据权利要求1所述的定位定姿方法，其特征在于，在步骤4）之后，还包括：4′）融合激光点云来检测所有位置上的闭环；

在所述步骤5）中，基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺和闭环为制约条件，计算得到位置和姿态信息。

4.根据权利要求3所述的定位定姿方法，其特征在于，步骤4′）还包括：

A)针对不同方向拍摄的两幅原始图像，利用激光点云生成路面的三维模型，以当前摄影点为中心把地面模型DEM转化成一定大小的图像，相应得到两幅正射图像；

B）针对两幅正射图像中的每一个三维点，分别从各自的原始图像中找到对应的像素，并把当前像素的颜色赋予这个三维点；

C）通过特征匹配的方法判断生成的两幅正射图像是否能够配准上，如果配准上了就说明为当前位置找到了闭环，反之进行下一个时刻图像的检测。

5.根据权利要求1或3所述的定位定姿方法，其特征在于，在步骤4）之后，还包括：

4′′）指定GPS位置，或者在图像上指定控制点位置并给出控制点的绝对位置坐标；

在所述步骤5）中，基于上述的模型连接结果，使用严格成像模型的严格光束法平差，结合GPS位置信息或控制点位置信息，以摄影比例尺和闭环为制约条件，计算得到位置和姿态信息。

6.根据权利要求5所述的定位定姿方法，其特征在于，在步骤4′′）中，根据接收到的GPS卫星数量，差分GPS解算有固定解则指定GPS位置，否则在图像上指定控制点位置并给出控制点的绝对位置坐标。

7.一种定位定姿系统，其特征在于，包括：

计算装置，所述计算装置被配置为：

通过相对定向结果和摄影比例尺进行模型连接;

基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺为制约条件，计算得到位置和姿态信息。

8.根据权利要求7所述的定位定姿系统，其特征在于，所述计算装置被配置为，利用相邻原始图像的图像前方交会点和激光点云的交点，确定相邻原始图像之间的摄影比例尺。

9.根据权利要求7所述的定位定姿系统，其特征在于，所述计算装置被配置为：融合激光点云来检测所有位置上的闭环；基于上述的模型连接结果，使用严格成像模型的严格光束法平差，以摄影比例尺和闭环为制约条件，计算得到位置和姿态信息。

10.根据权利要求7所述的定位定姿系统，其特征在于，所述计算装置被配置为：

针对不同方向拍摄的两幅原始图像，利用激光点云生成路面的三维模型，以当前摄影点为中心把地面模型DEM转化成一定大小的图像，相应得到两幅正射图像；

针对两幅正射图像中的每一个三维点，分别从各自的原始图像中找到对应的像素，并把当前像素的颜色赋予这个三维点；

通过特征匹配的方法判断生成的两幅正射图像是否能够配准上，如果配准上了就说明为当前位置找到了闭环，反之进行下一个时刻图像的检测。

11.根据权利要求7或9所述的定位定姿系统，其特征在于，还包括GPS接收器，所述计算装置被配置为：

接收GPS接收器的位置信息，指定GPS位置，或者在图像上指定控制点位置并给出控制点的绝对位置坐标；基于上述的模型连接结果，使用严格成像模型的严格光束法平差，结合GPS位置信息或控制点位置信息，以摄影比例尺和闭环为制约条件，计算得到位置和姿态信息。

12.根据权利要求11所述的定位定姿系统，其特征在于，在所述计算装置被配置为：根据接收的GPS卫星的数量，差分GPS解算有固定解则指定GPS位置，否则在图像上指定控制点位置并给出控制点的绝对位置坐标。

13.根据权利要求7所述的定位定姿系统，其特征在于，所述多镜头组合型全景相机具有六个镜头，一个朝天空，五个水平围成一圈。