CN106530342B - 利用激光点云辅助的可量测全景影像生成方法 - Google Patents

Abstract

本发明公开了一种利用激光点云辅助的可量测全景影像生成方法，包括：步骤1，将全景影像进行虚拟成像获得多幅框幅式影像；步骤2，选取初始点对，并初始化各框幅式影像的外方位元素；步骤3，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；步骤4，构建激光点云的空间索引，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；步骤5，计算邻域点云中各激光点的法向量，获得邻域点云的特征；步骤6，将邻域点云的深度和特征投影到全景影像。采用本发明生产的可量测全景影像具有较高精度，可广泛运用于测量领域及资产调查。

Description

利用激光点云辅助的可量测全景影像生成方法

技术领域

本发明属于计算机视觉及激光点云测量数据处理自动化领域，尤其涉及一种利用激光点云辅助的可量测全景影像生成方法。

背景技术

车载移动测量系统(mobile mapping system，MMS)结合激光扫描仪、全景相机、高精度定位定姿系统(position and orientation system，POS)等多种优异的传感器，是近年来快速发展的一种新型集成高效的测量系统。利用该系统可以融合激光点云的几何属性及全景影像的光谱属性，生产具有可量测性的全景影像，用于城市规划、道路检测、市政部件资产普查等。而准确地将激光点云、全景影像数据配准以及准确地计算点云特征是生产可量测全景影像的前提。

目前，国内外一些学者已经对上述问题做了一些研究，ZHANG and PLESS（2004）通过棋盘格子标定的方式，将影像与激光点云配准；MEI and RIVES（2006）提出了一种配准柱状相机和激光点云的方式；曾凡洋（2016）给出了一种基于共线方差的全景与点云配准方式。现有许多全景配准研究主要是在车载扫描仪与车载全景相机间的研究，这类研究往往基于扫描仪与相机之间通过系统标定建立其严格几何关系的前提之下，而对于非同机采集数据，POS初值不准的情况下全景影像与激光点云数据的配准研究较少，如果没有靶标，则无法采用上述标定的方法；而如果采用共线方程的方法，则存在全景影像畸变大，因而，选点时不可选图像上靠近边缘的点，且点对选择不当就会造成误差很大。

对于点云法向量的计算，Hoppe and DeRose（1992）假设点云的采样平面是局部处处光滑的，这样对于每一个点都位于一个平面上，对于采样点p，取以p为中心，k为半径的邻域中所有点，将这些点拟合平面，该平面的法向量作为采样点p的法向量。Gross andPfister（2007）在此基础上，对采样点p的k邻域内的每一个点赋予高斯权重，即离采样点p越近的点对采样点p的法向量影响越大。Lange and Polthier（2005）利用主元分析法（Principal Component Analysis，PCA）计算采样点p的k邻域内所有点的主成分作为采样点p的法向量。但是由于激光点云数据采集过程中产生的噪声点影响，法向量计算会有一定的误差，如何合理的处理噪声点的影响，是一个需要解决的问题。

发明内容

针对现有技术存在的不足，本发明提供了一种利用激光点云辅助的可量测全景影像生成方法。

本发明方法包括全景影像激光点云配准、点云特征计算及可量测全景影像生成。第一步中，将全景影像和点云配准，即计算全景影像的曝光中心在点云坐标系下的三维坐标以及全景影像的三个角度控制的朝向。第二步中，为处理大规模点云的计算和拣选，将车载激光点云建立空间索引，并根据第一步计算出的全景影像曝光中心的位置，选出曝光中心半径R内的点云为后续处理做准备。第三步中，计算选出的点云中每个点的法向量，再依次遍历全景影像的每个栅格，求出对应点云中点的深度，并将该点的法向量保存，对于全景影像中栅格没有对应三维点的情况，需要通过双三次内插得到该栅格深度。

本发明的技术方案如下：

利用激光点云辅助的可量测全景影像生成方法，包括步骤：

步骤1，将全景影像沿水平方向划分为多个部分，分别进行虚拟成像获得多幅框幅式影像，各框幅式影像像主点对应的虚拟光线水平方向均匀分布；沿水平方向将框幅式影像依次记为框幅式影像0、框幅式影像1……框幅式影像N-1；

步骤2，选取初始点对，并初始化框幅式影像的外方位元素，具体为：

各框幅式影像上分别随机选取角点，所选角点和所选角点在激光点云坐标下对应的激光点构成初始点对；

采用PNP算法计算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空间姿态关系，获得其他框幅式影像的外方位元素初始值；

步骤3，基于步骤2所得外方位元素初始值，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；

步骤4，构建激光点云的空间索引，根据步骤3所得外方位元素中线元素获得全景影像的曝光中心，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；

步骤5，计算邻域点云中各激光点的法向量，将各激光点的法向量作为邻域点云的特征；

步骤6，将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像。

步骤1中，将全景影像沿水平方向划分为6个部分。

步骤2中，所述的各框幅式影像上分别随机选取角点具体为：

框幅式影像0上随机选取4个以上角点；其他框幅式影像上随机选取2个以上角点。

步骤3中，所述的条件方程如下：

其中：

img_j表示框幅式影像j；

p_ji表示框幅式影像j的初始点对中第i个激光点；

Q(img_j,p_i)表示p_ji在img_j上的推测投影点；

x_ji表示框幅式影像j的初始点对中与p_ji对应的角点；

d(·)表示推测投影点和x_ji的平面距离；

jm表示框幅式影像j的初始点对的点对数；

v_ij为系数，

步骤5中，计算邻域点云中各激光点的法向量，具体为：

找激光点的k邻近点；

求k邻近点的质心；

计算半正定协方差矩阵其中，p_i表示激光点的第i个邻近点的坐标，表示质心的坐标；

分解半正定协方差矩阵，其最小特征值即激光点的法向量。

步骤6中，邻域点云的深度采用如下方法获得：

遍历全景影像的各栅格，各栅格对应点云中激光点的深度即栅格的深度，所有栅格的深度构成邻域点云的深度。

若当前栅格无对应点云，通过相邻栅格的深度内插获得当前栅格的深度。

本发明的特点如下：

本发明可实现可量测全景影像的生产，其中，设计了一种全景影像和激光点云配准方法，以实现全景影像和激光点云无靶标情况下的准确配准；完成了大规模点云索引的生成，方便后续对点云数据及计算及显示等其他运用的实现；设计了一种鲁棒性PCA点云特征计算方法，降低了点云中点噪声对点特征计算的影响。

采用本发明生产的可量测全景影像具有较高精度，可广泛运用于测量领域及资产调查。

附图说明

图1是本发明的具体流程图；

图2是虚拟成像原理图；

图3是虚拟成像示例图，其中，图（a）为全景影像，图（b）～（g）为6幅框幅式影像；

图4是实施例中点云索引示例图，图（a）和图（b）分别为不同视角的点云索引截图；

图5是实施例中点云数据在全景影像上的投影示意图，图（a）～（f）分别为不同场景下点云数据在全景影像上的投影示意图。

具体实施方式

本发明可采用计算机软件方式支持自动运行流程，其流程如图1所示，包括以下步骤：

步骤1：全景影像的虚拟成像。

将全景影像按照水平方向划分成6个部分，虚拟成像得到6个框幅式影像，每张框幅式影像的像主点对应的虚拟光线水平均匀分布，每张框幅式影像与第一张框幅式影像相机主轴水平夹角分别为0°、60°、120°、180°、240°、300°，对应的框幅式影像序号依次为0、1、2、3、4、5。

本实施例中，水平方向划分为6个部分充分考虑了影像间的重叠关系以及数据冗余度，通过大量实践经验，划分为6个部分可相对保证影像的重叠度，也保证了较小的数据冗余度。

框幅式影像成像原理如图2，令全景影像的成像中心为O_p，令虚拟成像相机内方位元素中像主点cx＝cy＝c₀，焦距为f＝f₀，面阵大小为h*w，外方位元素角元素对应的旋转矩阵为R_v，而虚拟成像的曝光中心与全景影像的曝光中心相同，则外方位元素中的平移量为0。令虚拟成像平面上的点坐标为(x_v,y_v,-f₀)^T，而对应全景球上的点直角坐标系下坐标为(x_p,y_p,z_p)^T，对应全景相片上的平面点坐标为(r,c)^T，比例系数为λ，则可以得到如下虚拟成像公式：

根据虚拟成像公式，则可从全景影像获得6幅框幅式影像，见图3。

步骤2：选取初始点对，并初始化外方位元素。

在序号为0的框幅式影像上随机选取4个以上角点，一般取10个，选出角点在激光点云坐标下对应的激光点，获得初始点对。在序号为1、2、3、4、5的框幅式影像上依次选取2个以上角点，一般取4个，采用相同的方法获得初始点对。

利用PNP算法计算序号为0的框幅式影像的外方位元素初始值，外方位元素包括角元素和线元素，令得到的角元素初始值为(α,β,γ)，线元素初始值为T₀(t₀,t₁,t₂)。根据公式（1）所示的成像模型，可得到其他5张框幅式影像的角元素初始值分别为(α+60,β,γ)、(α+120,β,γ)、(α+180,β,γ)、(α+240,β,γ)、(α+300,β,γ)。由于每张框幅式影像的曝光中心相同，则可得到每张框幅式影像的线元素：

T₁＝T₂＝T₃＝T₄＝T₅＝T₀ （2）

式（2）中，T₀、T₁、T₂、T₃、T₄、T₅分别表示框幅式影像0、1、2、3、4、5的线元素。

步骤3：列条件方程，最小化所有初始点对的重投影误差。

根据步骤2得到的各框幅式影像的外方位元素初始值以及所有初始点对，列出条件方程，最小化各激光点到对应框幅式影像上的投影误差，从而得到更精确的外方位元素值，待平差元素为(α,β,γ,t₀,t₁,t₂)。

条件方程如下：

式（3）～（4）中：

img_j表示框幅式影像j；

p_ji表示框幅式影像j的初始点对中第i个激光点；

Q(img_j,p_i)表示p_ji在img_j上的推测投影点；

x_ji表示框幅式影像j的初始点对中与p_ji对应的角点；

d(·)表示推测投影点和x_ji的平面距离；

jm表示框幅式影像j的初始点对的点对数；

v_ij为系数。

步骤4：构建激光点云的空间索引，搜索全景影像的邻域点云。

遍历点云数据，得到点云数据的空间范围，根据空间范围构建点云数据的空间八叉树，见图4。将节点对应的点云数据存入硬盘，这样就构建了点云数据的外存索引，可减轻内存压力。

根据步骤3得到的外方位元素中的线元素，即全景影像的曝光中心O_p，以O_p为球心，R为邻域半径，在空间索引中选取落入球形邻域范围内的激光点云，记为全景影像的邻域点云。邻域半径实际应用环境进行确值，城市环境中邻域半径一般定为20m；而在开阔场地中，邻域半径一般设为50m或更大。

步骤5：计算邻域点云特征。

将邻域点云中激光点记为点p，计算点p的法向量n方法如下：找到点p的k邻近点，并求出k邻近点的质心令法向量n满足||n||₂=1，此时法向量计算问题转化为对半正定协方差矩阵M阵进行分解，将M的最小特征值作为点p的法向量。

公式（5）中，pi表示点p的第i个邻近点的坐标，表示质心的坐标。

为提高算法的鲁棒性，降低点云法向量的计算误差，对上述计算过程采用RANSAC（RANdom Sample Consensus）法，最终获得点p的法向量。

步骤6：将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像。

遍历全景影像的各栅格，求出栅格对应点云中激光点的深度，即栅格的深度，所有栅格的深度构成邻域点云的深度。对栅格无对应点云的情况，该栅格的深度则通过对相邻栅格的深度进行双三次内插得到。点云数据在全景影像上的投影如图5所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (5)

1.利用激光点云辅助的可量测全景影像生成方法，其特征是，包括步骤：

步骤1，将全景影像沿水平方向划分为多个部分，分别进行虚拟成像获得多幅框幅式影像，各框幅式影像像主点对应的虚拟光线水平方向均匀分布；沿水平方向将框幅式影像依次记为框幅式影像0、框幅式影像1……框幅式影像N-1；

步骤2，选取初始点对，并初始化框幅式影像的外方位元素，具体为：

各框幅式影像上分别随机选取角点，所选角点和所选角点在激光点云坐标下对应的激光点构成初始点对；

采用PNP算法计算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空间姿态关系，获得其他框幅式影像的外方位元素初始值；

步骤3，基于步骤2所得外方位元素初始值，以初始点对中所有激光点到对应框幅式影像上的投影误差的和最小为条件方程，调整外方位元素初始值，获得精确的外方位元素值；

步骤4，构建激光点云的空间索引，根据步骤3所得外方位元素中线元素获得全景影像的曝光中心，在空间索引中选取以曝光中心为球心的球形邻域，球形邻域内激光点云即全景影像的邻域点云；

步骤5，计算邻域点云中各激光点的法向量，将各激光点的法向量作为邻域点云的特征；

步骤6，将邻域点云的深度和特征投影到全景影像，即得到可量测全景影像；

步骤2中，所述的各框幅式影像上分别随机选取角点具体为：

框幅式影像0上随机选取4个以上角点；其他框幅式影像上随机选取2个以上角点；

步骤3中，所述的条件方程如下：

<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>j</mi> <mi>m</mi> </mrow> </munderover> <mo>&amp;lsqb;</mo> <msub> <mi>v</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mi>d</mi> <msup> <mrow> <mo>(</mo> <mi>Q</mi> <mo>(</mo> <mrow> <msub> <mi>img</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>p</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> </mrow> <mo>)</mo> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow>

其中：

img_j表示框幅式影像j；

p_ji表示框幅式影像j的初始点对中第i个激光点；

Q(img_j,p_i)表示p_ji在img_j上的推测投影点；

x_ji表示框幅式影像j的初始点对中与p_ji对应的角点；

d(·)表示推测投影点和x_ji的平面距离；

jm表示框幅式影像j的初始点对的点对数；

v_ij为系数，

2.如权利要求1所述的全景影像和激光点云的配准方法，其特征是：

步骤1中，将全景影像沿水平方向划分为6个部分。

3.如权利要求1所述的全景影像和激光点云的配准方法，其特征是：

步骤5中，计算邻域点云中各激光点的法向量，具体为：

找激光点的k邻近点；

求k邻近点的质心；

计算半正定协方差矩阵其中，p_i表示激光点的第i个邻近点的坐标，表示质心的坐标；

分解半正定协方差矩阵，其最小特征值即激光点的法向量。

4.如权利要求1所述的全景影像和激光点云的配准方法，其特征是：

步骤6中，邻域点云的深度采用如下方法获得：

遍历全景影像的各栅格，各栅格对应点云中激光点的深度即栅格的深度，所有栅格的深度构成邻域点云的深度。

5.如权利要求4所述的全景影像和激光点云的配准方法，其特征是：

若当前栅格无对应点云，通过相邻栅格的深度内插获得当前栅格的深度。