CN104123730B - 基于道路特征的遥感影像与激光点云配准方法及系统 - Google Patents
基于道路特征的遥感影像与激光点云配准方法及系统 Download PDFInfo
- Publication number
- CN104123730B CN104123730B CN201410377648.0A CN201410377648A CN104123730B CN 104123730 B CN104123730 B CN 104123730B CN 201410377648 A CN201410377648 A CN 201410377648A CN 104123730 B CN104123730 B CN 104123730B
- Authority
- CN
- China
- Prior art keywords
- road
- cloud
- remote sensing
- image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于道路特征的高分辨遥感影像与激光点云配准方法及系统,包括步骤:步骤1,根据激光点云提取点云道路矢量线;步骤2,遥感影像的正射影像预处理获得二值化分割影像;步骤3,利用初始外方位元素将点云道路矢量线反投影到二值化分割影像,并采用矩形整体匹配法获得影像道路中心线;步骤4,以点云道路矢量线端点为地面控制点,以影像道路中心线端点为地面控制点的像点,实现激光点云与遥感影像的配准。本发明可实现多源数据间快速、自动化、高精度配准,为融合后地物提取、三维重建以及变化检测提供参考。
Description
技术领域
本发明属于遥感与摄影测量技术领域,尤其涉及一种基于道路特征的遥感影像与激光点云配准方法及系统。
背景技术
无人驾驶飞机简称无人机(Unmanned Aerial Vehicle,UAV),是一种有动力、可控制、能携带多种任务设备、执行多种任务,并能重复使用的无人驾驶航空器。通过无人驾驶飞行器技术与遥感传感器技术、遥测遥控技术、通讯技术、GPS差分定位技术和遥感应用技术相结合,无人机遥感系统可快速获取国土、资源、环境等的空间遥感信息,通过地面接收站进行遥感数据处理从而实现自动化、智能化、专题化建模和分析。尤其是激光点云和影像数据对目标的描述有诸多的互补性,使二者的融合处理对自动生成数字高程模型、城市建模、目标识别等领域的应用大有裨益。由于制造与操作上原因,数码相机和激光扫描仪并非严格意义上的统一坐标系,因此实现两种数据间的配准是二者集成应用前需要解决的首要任务,具有十分重要的现实意义。
不同成像机理的传感器获得数据源间的自动配准,依然采用传统图像配准的四大要素:配准基元、相似性测度、变换函数和匹配策略。目前,在激光点云数据与遥感影像的配准方面,国内外学者进行了大量研究,配准方法主要分为两大类:其一是直接或间接在激光点云数据和遥感影像间寻找同名特征实现配准;其二是利用两种数据间的互信息实现自动配准,即,按照某原则计算两点集间的坐标转换函数,实现激光点云数据与遥感影像的配准。对于建筑物密集的城市区域,由于激光点云数据的离散性和不均匀分布,提取到的建筑物轮廓精确性与细节性不高;而又因为航空遥感影像存在遮挡,使得一些建筑物的结构边和角点无法提取。针对该问题,本发明基于激光点云数据提取点云道路矢量线,以点云道路矢量线为配准基元,采用改进的矩形整体匹配法自动提取遥感影像的道路信息,即实现点云道路矢量线和影像道路中心线的匹配;最终,利用同名线特征端点重新计算遥感影像的外方位元素,完成两种数据的配准。
文中涉及如下参考文献:
[1]Kumar Mishra R.A Review of Optical Imagery and Airborne LiDAR DataRegistration Methods[J].The Open Remote Sensing Journal,2012,5:54-63.
[2]Habib A,Schenk T.A new approach for matching surfaces from laser scanners andoptical scanners[J].International Archives of Photogrammetry and Remote Sensing,1999,32:3/W14-55-61.
[3]Mastin A,Kepner J,Fisher J.Automatic registration of LIDAR and optical images ofurban scenes[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEEConference on.IEEE,2009:2639-2646.
[4]Deng F.Registration between Multiple Laser Scanner Data Sets[J].Laser Scanning,Theory and Applications,2011:978-953.
[5]Pothou A,Karamitsos S,Georgopoulos A,et al.Assessment and comparison ofregistration algorithms between aerial images and laser point clouds[C]//ISPRS,Symposium:’From sensor to imagery.2006.
[6]张永军,熊小东,沈翔.城区机载LiDAR数据与航空影像的自动配准[J].遥感学报,2012,16(3):579-595.
[7]徐景中,寇媛,袁芳,等.基于结构特征的机载LiDAR数据与航空影像自动配准[J].红外与激光工程,2013,42(12):3501-3506.
[8]张帆,黄先锋,李德仁.激光扫描与光学影像数据配准的研究进展[J].测绘通报,2008(2):7-10.
发明内容
针对现有技术存在的不足,本发明提供了一种自动化程度强、配准精度高的基于道路特征的遥感影像与激光点云配准方法及系统。
为解决上述技术问题,本发明采用如下的技术方案:
一、基于道路特征的高分辨遥感影像与激光点云配准方法,包括步骤:
步骤1,根据激光点云提取道路中心线,即点云道路矢量线;
步骤2,对遥感影像的正射影像进行阈值分割获得二值化影像,去除二值化影像中的非道路噪声;
步骤3,利用无人机系统中初始外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线;
步骤4,以点云道路矢量线端点为地面控制点,以对应的影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素,实现激光点云与遥感影像的配准。
步骤1进一步包括子步骤:
1.1预处理激光点云,获得激光点云的虚拟格网及激光点在虚拟格网中的索引;
1.2采用基于虚拟格网的地形坡度滤波法滤除激光点云中的非地面点;
1.3通过强度特征和面积特征约束去除激光点云中的非道路地面点;
1.4从激光点云的道路点集中提取道路中心线,即点云道路矢量线。
子步骤1.2具体为:
遍历虚拟格网获得各虚拟格网中高程最低点Emin;针对各虚拟格网,分别计算当前虚拟格网中高程最低点Emin与8个邻域虚拟格网中高程最低点的坡度,若坡度大于坡度阈值,将当前虚拟格网内所有点作为非地面点并删除;否则,针对当前虚拟格网中各点,逐一计算其与个邻域虚拟格网中高程最低点的坡度,将当前虚拟格网中坡度小于坡度阈值的点作为地面点保留,其他点删除。
子步骤1.4具体为:
采用α-shapes法提取道路点集的边界线,并栅格化边界线包含的区域,基于数学形态学对栅格化后的区域进行细化获得初始道路中心线,对初始道路中心线进行拟合,拟合后的道路中心线即点云道路矢量线。
步骤2中采用最大类间方差法对正射影像进行阈值分割。
步骤2中所述的去除二值化影像中的非道路噪声,具体为:基于数学形态学对二值化影像依次进行膨胀、腐蚀。
步骤3进一步包括子步骤:
3.1利用无人机系统中初始外方位元素建立激光点云和遥感影像的近似变换关系,根据近似变换关系将点云道路矢量线反投影到步骤2获得的二值化影像,得到点云道路矢量投影线;
3.2以点云道路矢量投影线方向为道路矩形窗和背景矩形窗的初始方向,以点云道路矢量投影线长度为道路矩形窗和背景矩形窗的长度,预设不同的道路矩形窗宽度和背景矩形窗宽度,在不同的矩形窗宽度下,采用道路矩形窗和背景矩形窗在沿点云道路矢量投影线法线方向的缓冲区内搜索,分别计算道路矩形窗和背景矩形窗内所有像素的属性值之和,即矩形窗属性和;
3.3将最小矩形窗属性和对应的道路矩形窗作为最佳道路矩形窗,其中心线即影像道路矢量线。
步骤3还包括最佳道路矩形窗的优化步骤,具体为:
取点云道路矢量投影线末端点在道路矩形窗和背景矩形窗的初始方向的垂直方向±n个像素为矩形窗方向变化范围,在矩形窗方向变化范围内按预设幅度改变道路矩形窗和背景矩形窗的方向,并采用步骤3.2~3.3获得各矩形窗方向下对应的初始最佳道路矩形窗,比较各初始最佳道路矩形窗对应的矩形窗属性和,将最小矩形窗属性和对应的初始最佳道路矩形窗为优化后的最佳道路矩形窗。
步骤4进一步包括子步骤:
4.1以点云道路矢量线端点为地面控制点,以影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素;
4.2判断重新解算获得的当前外方位元素角元素和前一外方位元素角元素的改正数是否小于预设限差,若小于,则根据当前外方位元素配准激光点云和遥感影像;否则,执行步骤4.3;所述的前一外方位元素角元素的初始值为无人机系统中的初始外方位元素角元素;
4.3判断迭代次数是否达到迭代极限,若达到,则根据当前外方位元素配准激光点云和遥感影像;否则,执行步骤4.4;
4.4利用当前外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线,然后,执行步骤4.1。
二、基于道路特征的高分辨遥感影像与激光点云配准系统,包括:
点云道路矢量线获取模块,用来根据激光点云提取道路中心线,即点云道路矢量线;
阈值分割模块,用来对遥感影像的正射影像进行阈值分割获得二值化影像,去除二值化影像中的非道路噪声;
影像道路中心线获取模块,用来利用无人机系统中初始外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线;
配准模块,用来以点云道路矢量线端点为地面控制点,以对应的影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素,实现激光点云与遥感影像的配准。
三、基于道路特征的高分辨遥感影像与激光点云配准结果的评价方法,包括步骤:
步骤1,在遥感影像上人工选取与点云道路矢量线对应的检查线;
步骤2,根据当前外方位元素将点云道路矢量线反投影到遥感影像获得投影线;
步骤3,在遥感影像中获得检查线和投影线中对应线段端点的残差,利用残差来衡量配准精度。
为实现城市区域的机载激光点云数据与高分辨率遥感影像的自动配准,本发明基于已有的配准方法,避免选择形状复杂且计算量大的建筑物边缘或角点为配准基元,而是选择道路特征为配准基元。直接在激光点云数据中提取点云道路矢量线,利用初始外方位元素将点云道路矢量线反投影到遥感影像,采用基于直线道路的矩形整体匹配法提取遥感影像的道路特征;将同名道路特征中的首末端点作为控制点,经多次平差可以得到较好的配准结果。
发明的目的在于实现多源数据间快速、自动化配准,为融合后地物提取、三维重建以及变化检测提供参考。和现有技术相比,本发明具有如下特点和有益效果:
(1)相对于提取城市区域中建筑物特征,道路特征更易被辨别,可减少工作量;并且,无需将激光点云内插成灰度图像,避免因此造成的精度损失。
(2)利用初始外方位元素将点云道路矢量线反投影到遥感影像,可减少提取遥感影像道路特征时的搜索范围;无需人工设置种子点,保证了提取过程的自动程度。
(3)采用同名道路特征的首末端点为控制点,利用共线条件方程经多次迭代求解遥感影像的外方位元素,逐次逼近最优定位结果,进一步提高配准精度。
附图说明
图1为本发明方法具体流程图;
图2为最佳匹配矩形窗提取示意图;
图3为编号0821的航空遥感影像的道路中心线提取结果及匹配结果,其中,图(a)为点云道路矢量线到遥感影像的初始反投影位置,图(b)是迭代过程中通过平差实现的点云道路矢量线与遥感影像的叠加结果,图(c)是最终匹配结果;
图4为编号0821的航空遥感影像外方位元素计算精度。
具体实施方式
本发明方法基于激光点云数据提取点云道路矢量线,并以此为配准基元,利用改进的矩形整体匹配方法自动提取遥感影像道路信息获得影像道路中心线,即实现激光点云道路矢量线和影像道路中心线的匹配;最后,利用同名线特征端点重新计算遥感影像的外方位元素,完成两种数据的配准。
点云道路矢量线的提取主要通过分析道路的属性特征及基本形态特征,利用激光点云数据的三维坐标信息和强度信息,并结合数学形态学知识提取道路中心线,即点云道路矢量线特征。目前,基于机载激光点云数据提取道路中心线的方法已经很普遍。与此相关的文献有:
[1]Boyko A,Funkhouser T.Extracting roads from dense point clouds in large scale urbanenvironment[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S2-S12.
[2]Yang B,Fang L,Li Q,et al.Automated extraction of road markings from mobile lidarpoint clouds[J].Photogrammetric engineering and remote sensing,2012,78(4):331-338.
[3]Clode S,Kootsookos P J,Rottensteiner F.The automatic extraction of roads fromlidar data[C]//The International Society for Photogrammetry and Remote Sensing's TwentiethAnnual Congress.ISPRS,2004,35:231-236.Yang B,Fang L,Li Q,et al.Automatedextraction of road markings from mobile lidar point clouds[J].Photogrammetric engineeringand remote sensing,2012,78(4):331-338.
[4]彭检贵,马洪超,高广,等.利用机载LiDAR点云数据提取城区道路[J].测绘通报,2012(9):16-19.
[5]Hu Xiang-yun,ZHANG Zu-xun,ZHANG Jian-qing.An Approach of SemiautomatedRoad Extraction from Aerial Images Based on Template Matching and Neural Network[A].International Achives of Photogrammetry and Remote Sensing,XXXIII(Part B3)[C].Amsterdam:Amsterdam University,2000,994-999.
与中、低分辨率遥感影像相比,高分辨率遥感影像能表示更多的地面目标和细节特征,特别是道路特征。城市区域,道路是具有一定的宽度、形状规则、长度大于或等于一个街区的窄矩形或带状线。另一方面,高分辨率遥感影像上也存在一些由斑马线、汽车、行人等造成的非道路噪声。目前,高分辨率城区遥感影像中的道路提取,通常基于图象分割进行。本发明同样基于图像分割,并结合点云道路矢量线,改进朱长青[1]等人提出的矩形整体匹配方法,并采用改进后的矩形整体匹配方法自动提取遥感影像道路信息,从而实现点云道路矢量线和影像道路中心线的匹配。
本发明对矩形整体匹配方法的改进为:
本发明设计的道路矩形窗R1和非道路矩形窗R2的初始方向、矩形长度均由矢量线段的方向和长度自动设定,无需人工干预。一般情况下,基于初始方向得到矩形窗属性值和的最小值,其对应的道路矩形窗R1便可视为道路特征。为了优化匹配结果,需小幅度改变初始方向K,本发明取道路矢量线末端点在K垂直方向变化±n个像素为方向变化范围,重新计算矩形窗R1和R2的属性值和,并取最小属性值和对应的道路矩形窗为最佳道路矩形,提取道路中心线。
矩形整体匹配方法的相关文献有:
[1]史文中,朱长青,王昱.遥感图像提取道路特征的方法综述与展望[J].测绘学报,2001,30(3):257262.
[2]A.Baumgartner,C.Steger,H.Mayer,et al.Automatic road extraction based onmulti-scale,grouping,and context.Photogrammetric Engineering&Remote Sensing.Vol.65,no.7,pp.777-785.July 1999.
[3]郑丽,潘建平.基于数学形态学的遥感图像道路提取[J].铁道勘察,2010,(1):12-15.
[4]杨先武,蚩志锋,姚高伟.一种形态重建的遥感影像城市道路提取方法研究[J].遥感技术与应用,2011,26(6):758-762.
本发明方法包括两个部分:(1)激光点云道路矢量线特征提取;以及(2)基于道路矢量特征的激光点云数据与遥感影像的配准。下面将结合附图和具体实施方式进一步说明本发明的技术方案。
下面将结合附图和具体实施方式进一步说明本发明技术方案。
见图1,本发明基于道路特征的高分辨遥感影像与激光点云配准方法,具体步骤如下:
步骤1,激光点云预处理,获得激光点云的虚拟格网索引。
由于激光点云数据量大且呈离散不规则排列,必须对激光点云建立规则的虚拟格网索引。具体为:结合离散激光点密度选择合适大小的格网,根据各离散激光点平面坐标,计算其所属格网子块,获得该离散激光点在虚拟格网中进行索引时的行号和列号。
步骤2,激光点云的地形坡度滤波,以滤除激光点云中的非地面点。
激光点云中,道路点高程一般与地面接近,采用基于虚拟格网的地形坡度滤波法滤除激光点云中建筑物、树木等高程较高的点,而保留道路、草地、裸地等地面点。
本步骤进一步包括子步骤:
2.1遍历虚拟格网获得各虚拟格网中高程最低点,记为Emin。
2.2针对各虚拟格网,分别计算当前虚拟格网中高程最低点Emin与8个邻域虚拟格网中高程最低点间的坡度;若坡度大于坡度阈值,执行步骤2.3;否则,执行步骤2.4。坡度阈值为经验值,本具体实施中,阈值设定为0.3。
2.3将当前虚拟格网内所有点作为非地面点删除。
2.4针对当前虚拟格网中各点,逐一计算其与8个邻域虚拟格网中高程最低点的坡度,将当前虚拟格网中坡度小于坡度阈值的点作为地面点保留,其他点删除。
步骤3,通过强度特征和尺寸特征约束去除地形坡度滤波后激光点云中的非道路地面点。
步骤2经地形坡度滤波后的激光点云中保留的地面点,既包含道路点,也包含草地、裸地等其它地面点,根据道路点呈现的强度特征,可剔除地面点中大部分的非道路地面点。
对于与道路点具有相似强度特征的非道路地面点,可用基于边长和面积约束的CD-TIN法(约束狄洛尼不规则三角网格算法)剔除与道路点具有相似强度特征的非道路地面点,以精化道路点。
步骤4,点云道路矢量线的提取。
通过步骤1~3,得到呈条带状的道路点集,采用α-shapes法提取离散的道路点集的边界线,即道路边缘;栅格化边界线包含的区域,所述的边界线包含的区域及道路区域,基于数学形态学对栅格化后的区域进行细化获得初始道路中心线,由于初始道路中心线具有不规则性,利用3次B样条曲线对初始道路中心线进行分段拟合以优化初始道路中心线,优化后的道路中心线即点云道路矢量线。
基于数学形态学的细化方法较多,本具体实施中采用经典的Hilditch细化法(希尔迪奇细化法)对栅格化后的区域进行细化,具体过程如下:
针对图像区域,按照从左向右、从上向下顺序顺次迭代各像素,是为一个迭代周期。各迭代周期中,对于像素p,如果其同时满足下述条件(1)~(6),则标记它。当前迭代周期结束时,把所有标记像素的灰度值设为背景值。若迭代周期中不存在被标记的像素,则结束。
假设初始背景值为0,前景值为1,x1、x2、x3、x4、x5、x6、x7为像素p的邻域像素,条件(1)~(6)如下:
(1)像素p的灰度值为1,即像素p不是背景;
(2)像素x1、像素x3、像素x5、像素x7的灰度值不全部为1,否则删除像素p的标记;
(3)像素x1~x8中,至少有2个像素的灰度值为1,若只有1个像素的灰度值为1,则像素p为线段端点;若没有像素的灰度值为1,则像素p为孤立点;
(4)像素p的8连通联结数为1;
(5)假设像素x3已经标记删除,那么当像素x3的灰度值为0时,像素p的8联通联结数为1;
(6)假设像素x5已经标记删除,那么当像素x5的灰度为0时,像素p的8联通联结数为1。
本步骤中利用3次B样条曲线对初始道路中心线进行分段拟合,具体过程如下:
构造3次B样条基函数:从空间n+1个顶点Pi(i=0,1,...,n)中每次取相邻4个顶点,即可构造一段3次B样条曲线。给定节点数n初始值,本具体实施中选择折线曲率变化较大的线段端点A和B作为节点。在节点A和B间给定步长step,本具体实施中,step=AB/10。内插获得节点A和B点间的一系列点q1、q2、...、qm。采用线段依次连接一系列点,得到分段拟合线段。
步骤5,获得遥感影像的正射影像。
首先,通过无人机系统获得航空遥感影像,根据相机参数、畸变参数及影像数据,利用DPGrid软件对遥感影像进行自由网航线排列,得到测区内航带的大致覆盖范围。
其次,利用DPGrid软件及无人机系统中初始POS数据实现遥感影像测区内自由网平差,获得相应的正射影像。本步骤的目的是为了消除相邻航片间及航带间的外方位元素误差,纠正遥感影像存在的建筑物倾斜、道路变形等问题。
步骤6,遥感影像道路特征分析以去除正射影像中的非道路噪声。
采用日本大津提出的最大类间方差法(简称:OTSU)对步骤5获得的正射影像进行二阈值分割,将影像中道路区域初步区分,得到含初步道路信息的二值化影像I1。为了去除遥感影像中依然存在的非道路噪声,基于数学形态学对二值化影像I1依次进行膨胀(Dilation)、腐蚀(Erosion)。
膨胀和腐蚀的定义分别见公式(1)和公式(2):
Dilation:DG(A,B)=max{a[m-j,n-k]+b[j,k]} (1)
Erosion:EG(A,B)=min{a[m+j,n+k]-b[j,k]} (2)
式(1)~(2)中,A表示目标影像,即本发明中的二值化影像I1;B表示形态学中的结构元素,本具体实施中结构元素选择平面结构元素,具体为大小6╳6的全1矩阵;a[x,y]、b[x,y]分别表示A与B中像素(x,y)的像素值,(m,n)和(j,k)分别为A和B中正在处理的像素坐标。
步骤7,道路矩形窗函数的设计。
通过分析道路的属性特征及基本形态特征可知,城市区域道路是具有一定的宽度、形状规则、长度大于或等于一个街区的较窄矩形或带状线。因此,本发明通过道路矩形窗来提取遥感影像中的道路特征。
朱长青等人提出的矩形整体匹配方法的思路为:设计最佳道路矩形窗,使得道路矩形窗内道路成分尽量多、道路矩形窗外非道路成分尽量多。因此,假定步骤6获得的二值化影像中道路为白色(即,像素灰度值g(x,y)=1),背景为黑色(即,像素灰度值g(x,y)=0)。设计道路矩形窗R1,其宽度为w1、长度为L1;设计背景矩形窗R2(即,非道路矩形窗),其宽度为w2、长度为L2。道路矩形窗R1和背景矩形窗R2对应的函数s1(x,y)和s2(x,y)分别见式(3)和式(4):
式(3)~(4)中,s1(x,y)和s2(x,y)分别表示道路矩形窗R1和背景矩形窗R2中像素(x,y)的属性值;g(x,y)表示步骤6获得的二值化影像中像素(x,y)的灰度值;R1和R2分别表示步骤6获得的二值化影像中道路矩形窗和背景矩形窗的定义域。
s1(x,y)函数用来将道路矩形窗R1内像素灰度值为1的像素点以及道路矩形窗R1外灰度值为0的像素点的属性值赋予0;相反,s2(x,y)函数用来将背景矩形窗R2内灰度值为0的像素点以及背景矩形窗R2外灰度值为1的像素点的属性值赋予0。
本发明提出的道路矩形窗和背景矩形窗,无需人工干预矩形窗的宽度和长度,矩形窗长度为点云道路矢量投影线长度,迭代中以10像素为步长改变矩形窗宽度,即矩形窗宽度为10像素的倍数。
道路矢量线是由一系列矢量点表示,沿着道路方向,两矢量线连接点处角度会发生一定变化,便将连接点作为矢量线端点。
步骤8,遥感影像中道路特征的提取。
利用无人机系统中初始外方位元素建立激光点云和遥感影像的近似变换关系,按照共线条件方程将点云道路矢量线反投影到遥感影像上,点云道路矢量线在遥感影像上的初始投影位置表示道路的大致位置,下文中将“点云道路矢量线在遥感影像上的初始投影位置”简称为“点云道路矢量投影线”。采用道路矩形窗和背景矩形窗在点云道路矢量投影线局部法线方向一定范围内(即缓冲区)进行搜索,见图2,图中实线1表示点云道路矢量投影线,与实线1平行的虚线2表示遥感影像中道路中心线位置,虚线3和4代表缓冲区的边界。
缓冲区的设定可参见朱长青等人提出的矩形整体匹配方法中的搜索策略,根据原始遥感影像数据中道路宽度,沿点云道路矢量投影线法线方向设定缓冲区宽度。
采用道路矩形窗R1和背景矩形窗R2在缓冲区进行搜索,以提取遥感影像的影像道路中心线,具体步骤如下:
8.1以点云道路矢量投影线方向为道路矩形窗和背景矩形窗的初始方向,以点云道路矢量投影线长度为道路矩形窗和背景矩形窗的长度,设定道路矩形窗和背景矩形窗的宽度,道路矩形窗宽度w1和背景矩形窗宽度w2均为10像素倍数,一般可将背景矩形窗宽度w2设为道路矩形窗宽度w1的3~5倍。将道路矩形窗置中间、两背景矩形窗分别置于其两长边缘获得组合矩形窗,采用组合矩形窗在缓冲区内搜索,每次搜索时采用公式(3)~(4)计算组合矩形窗口中所有像素属性值之和(简称为“矩形窗属性和”),并记录矩形窗属性和的最小值。
8.2保持道路矩形窗和背景矩形窗的初始方向及长度不变,以10像素为步长改变道路矩形窗和背景矩形窗的宽度,采用宽度改变后的道路矩形窗和背景矩形窗构成的组合矩形窗在缓冲区内搜索,同样,在每次搜索时采用公式(3)~(4)计算组合矩形窗口中所有像素属性值之和,并记录矩形窗属性和的最小值。
8.3多次重复步骤8.2,并比较记录的矩形窗属性和最小值,以记录的矩形窗属性和最小值中最小值对应的道路矩形窗为最佳道路矩形窗,将最佳匹配矩形窗的中心线作为道路中心线,从即影像道路中心线。
为优化匹配结果,可基于矩形窗初始方向改变矩形窗方向,取点云道路矢量投影线末端点在矩形窗初始方向的垂直方向变化±n个像素为矩形窗方向变化范围,n根据经验设定,本具体实施中n=5,在该方向变化范围内按预设幅度改变矩形窗方向,并在各不同矩形窗方向下获得对应的初始最佳道路矩形窗,比较各初始最佳道路矩形窗对应的矩形窗属性和,将最小矩形窗属性和对应的初始最佳道路矩形窗为优化后的最佳道路矩形窗。
步骤9,基于道路特征配准激光点云数据与遥感影像。
以点云道路矢量线端点为地面控制点,自动提取的对应影像道路中心线端点为对应的地面控制点的像点,采用中心严格成像模型函数,即共线方程,重新解算遥感影像的外方位元素,实现激光点云数据与遥感影像的配准。
本具体实施中,利用基于欧拉角的传统空间后方交会算法重新解算遥感影像的外方位元素,转换函数见式(5);根据遥感影像的外方位元素解算迭代过程中角元素的改正数,判断姿态参数改正数是否小于限差(限差一般设定为百万分之一弧度),或迭代次数是否达到迭代极限(迭代极限一般设为6~10次),若满足条件则迭代完成;否则,重新执行步骤8,直至迭代完成。
式(5)即摄影测量中的共线方程,(x,y)为像点在像平面坐标系中的坐标;x0、y0、-f表示内方位元素;ai、bi、ci代表外方位元素角元素中的旋转矩阵参数;X、Y、Z代表与像点对应的地面点坐标;Xs、Ys、Zs分别代表摄影中心在曝光瞬间的地面坐标,即外方位元素中的线元素。
针对配准结果,本发明还提供了配准精度的评价方法,如下:
在遥感影像测区内人工选取多条检查线,检查线的选取原则是:在遥感影像上选择和点云道路矢量线对应的线段;将平差得到的遥感影像外方位元素值带入点云道路矢量线的物方坐标中,使物方坐标反投影到像方坐标;在像方空间,计算物方反投影的线段与检查线的首末端点的残差,以此来衡量配准精度。
下面将结合实施例进一步说明本发明技术效果。
见图3,为编号0821的航空遥感影像的道路适量线提取结果及配准结果,利用初始外方为元素可以将点云矢量线投影到二值化影像上,其中,图3(a)为点云道路矢量线到遥感影像的初始反投影位置(见图中实线),从图中可以看出,反投影的点云道路矢量线在影像道路特征(见图中虚线)附近;图3(b)是迭代过程中,通过平差实现的点云道路矢量线与遥感影像的叠加结果;图3(c)则是最终配准结果,从图中可以看出,影像道路矢量线和点云道路矢量线能很好叠加。图4为平差解算中每次迭代后的外方位元素精度,从图中可以看出,编号0821的航空遥感影像平差解算在迭代六次达到收敛,外方位元素精度提高了约10倍。图4中,Xs、Ys、Zs分别代表求解的外方位元素线元素,fai、omg、kaf是外方位元素角元素。
Claims (8)
1.基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于,包括步骤:
步骤1,根据激光点云提取道路中心线,即点云道路矢量线;
步骤1进一步包括子步骤:
1.1预处理激光点云,获得激光点云的虚拟格网及激光点在虚拟格网中的索引;
1.2采用基于虚拟格网的地形坡度滤波法滤除激光点云中的非地面点;
1.3通过强度特征和面积特征约束去除激光点云中的非道路地面点;
1.4从激光点云的道路点集中提取道路中心线,即点云道路矢量线;
子步骤1.4具体为:
采用α-shapes法提取道路点集的边界线,并栅格化边界线包含的区域,基于数学形态学对栅格化后的区域进行细化获得初始道路中心线,对初始道路中心线进行拟合,拟合后的道路中心线即点云道路矢量线;
步骤2,对遥感影像的正射影像进行阈值分割获得二值化影像,去除二值化影像中的非道路噪声;
步骤3,利用无人机系统中初始外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线;
步骤4,以点云道路矢量线端点为地面控制点,以对应的影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素,实现激光点云与遥感影像的配准。
2.如权利要求1所述的基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于:
步骤2中采用最大类间方差法对正射影像进行阈值分割。
3.如权利要求1所述的基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于:
步骤2中所述的去除二值化影像中的非道路噪声,具体为:基于数学形态学对二值化影像依次进行膨胀、腐蚀。
4.如权利要求1所述的基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于:
步骤3进一步包括子步骤:
3.1利用无人机系统中初始外方位元素建立激光点云和遥感影像的近似变换关系,根据近似变换关系将点云道路矢量线反投影到步骤2获得的二值化影像,得到点云道路矢量投影线;
3.2以点云道路矢量投影线方向为道路矩形窗和背景矩形窗的初始方向,以点云道路矢量投影线长度为道路矩形窗和背景矩形窗的长度,预设不同的道路矩形窗宽度和背景矩形窗宽度,在不同的矩形窗宽度下,采用道路矩形窗和背景矩形窗在沿点云道路矢量投影线法线方向的缓冲区内搜索,分别计算道路矩形窗和背景矩形窗内所有像素的属性值之和,即矩形窗属性和;
3.3将最小矩形窗属性和对应的道路矩形窗作为最佳道路矩形窗,其中心线即影像道路矢量线。
5.如权利要求4所述的基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于:
步骤3还包括最佳道路矩形窗的优化步骤,具体为:
取点云道路矢量投影线末端点在道路矩形窗和背景矩形窗的初始方向的垂直方向±n个像素为矩形窗方向变化范围,n根据经验取值,在矩形窗方向变化范围内按预设幅度改变道路矩形窗和背景矩形窗的方向,并采用权利要求4中所述的步骤3.2~3.3获得各矩形窗方向下对应的初始最佳道路矩形窗,比较各初始最佳道路矩形窗对应的矩形窗属性和,将最小矩形窗属性和对应的初始最佳道路矩形窗为优化后的最佳道路矩形窗。
6.如权利要求1所述的基于道路特征的高分辨遥感影像与激光点云配准方法,其特征在于:
步骤4进一步包括子步骤:
4.1以点云道路矢量线端点为地面控制点,以影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素;
4.2判断重新解算获得的当前外方位元素角元素和前一外方位元素角元素的改正数是否小于预设限差,若小于,则根据当前外方位元素配准激光点云和遥感影像;否则,执行步骤4.3;所述的前一外方位元素角元素的初始值为无人机系统中的初始外方位元素角元素;
4.3判断迭代次数是否达到迭代极限,若达到,则根据当前外方位元素配准激光点云和遥感影像;否则,执行步骤4.4;
4.4利用当前外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线,然后,执行步骤4.1。
7.基于道路特征的高分辨遥感影像与激光点云配准系统,其特征在于,包括:
点云道路矢量线获取模块,用来根据激光点云提取道路中心线,即点云道路矢量线;进一步包括用来预处理激光点云,获得激光点云的虚拟格网及激光点在虚拟格网中的索引;采用基于虚拟格网的地形坡度滤波法滤除激光点云中的非地面点;通过强度特征和面积特征约束去除激光点云中的非道路地面点;从激光点云的道路点集中提取道路中心线,即点云道路矢量线;
从激光点云的道路点集中提取道路中心线具体为:
采用α-shapes法提取道路点集的边界线,并栅格化边界线包含的区域,基于数学形态学对栅格化后的区域进行细化获得初始道路中心线,对初始道路中心线进行拟合,拟合后的道路中心线即点云道路矢量线;
阈值分割模块,用来对遥感影像的正射影像进行阈值分割获得二值化影像,去除二值化影像中的非道路噪声;
影像道路中心线获取模块,用来利用无人机系统中初始外方位元素将点云道路矢量线反投影到步骤2获得的二值化影像,从而获得二值化影像中的大致道路区域,在大致道路区域中采用矩形整体匹配法获得影像道路中心线;
配准模块,用来以点云道路矢量线端点为地面控制点,以对应的影像道路中心线端点为地面控制点的像点,重新解算遥感影像的外方位元素,实现激光点云与遥感影像的配准。
8.基于道路特征的高分辨遥感影像与激光点云配准结果的评价方法,其特征在于,包括步骤:
步骤1,在遥感影像上人工选取与点云道路矢量线对应的检查线;
步骤2,根据当前外方位元素将点云道路矢量线反投影到遥感影像获得投影线;
步骤3,在遥感影像中获得检查线和投影线中对应线段端点的残差,利用残差来衡量配准精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410377648.0A CN104123730B (zh) | 2014-07-31 | 2014-07-31 | 基于道路特征的遥感影像与激光点云配准方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410377648.0A CN104123730B (zh) | 2014-07-31 | 2014-07-31 | 基于道路特征的遥感影像与激光点云配准方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104123730A CN104123730A (zh) | 2014-10-29 |
CN104123730B true CN104123730B (zh) | 2016-09-14 |
Family
ID=51769127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410377648.0A Expired - Fee Related CN104123730B (zh) | 2014-07-31 | 2014-07-31 | 基于道路特征的遥感影像与激光点云配准方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104123730B (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732577B (zh) * | 2015-03-10 | 2017-11-07 | 山东科技大学 | 一种基于uav低空航测系统的建筑物纹理提取方法 |
CN106485690A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于点特征的点云数据与光学影像的自动配准融合方法 |
CN106485737A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于线特征的点云数据与光学影像的自动配准融合方法 |
CN105678318B (zh) * | 2015-12-31 | 2019-03-08 | 百度在线网络技术(北京)有限公司 | 交通标牌的匹配方法及装置 |
CN105627938A (zh) * | 2016-01-07 | 2016-06-01 | 厦门大学 | 一种基于车载激光扫描点云的路面沥青厚度检测方法 |
CN106022259B (zh) * | 2016-05-20 | 2019-04-12 | 江苏得得空间信息科技有限公司 | 一种基于激光点云三维特征描述模型的山区道路提取方法 |
JP7208708B2 (ja) * | 2016-07-27 | 2023-01-19 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
CN108021844B (zh) * | 2016-10-31 | 2020-06-02 | 阿里巴巴(中国)有限公司 | 一种道路边沿识别方法及装置 |
CN106529469B (zh) * | 2016-11-08 | 2020-01-03 | 华北水利水电大学 | 基于自适应坡度的无人机载LiDAR点云滤波方法 |
CN108267747B (zh) * | 2017-01-03 | 2021-10-22 | 中交宇科(北京)空间信息技术有限公司 | 基于激光点云的道路特征提取方法和装置 |
CN107194431A (zh) * | 2017-05-31 | 2017-09-22 | 浙江国遥地理信息技术有限公司 | 机载LiDAR点云数据分类技术 |
CN107818550B (zh) * | 2017-10-27 | 2021-05-28 | 广东电网有限责任公司机巡作业中心 | 一种基于LiDAR的点云顶部噪点剔除方法 |
CN107958209B (zh) * | 2017-11-16 | 2021-10-29 | 深圳天眼激光科技有限公司 | 一种违建识别方法、系统及电子设备 |
CN109840463B (zh) * | 2017-11-27 | 2021-03-30 | 北京图森未来科技有限公司 | 一种车道线识别方法和装置 |
TWI657407B (zh) * | 2017-12-07 | 2019-04-21 | 財團法人資訊工業策進會 | 利用遞歸神經網路的三維點雲追蹤裝置及方法 |
CN110019627B (zh) * | 2017-12-25 | 2022-04-12 | 北京京东乾石科技有限公司 | 识别交通导流线的方法及其系统、计算机系统 |
CN108681986B (zh) * | 2018-04-28 | 2020-03-31 | 吉林大学 | 一种加快正弦投影格式遥感产品投影变换的方法及系统 |
CN108665466B (zh) * | 2018-05-21 | 2021-06-11 | 山东科技大学 | 一种道路激光点云中路面病害自动提取方法 |
CN108692710B (zh) * | 2018-05-22 | 2019-05-07 | 任成冕 | 一种公路宗地测量方法及系统 |
CN109033245B (zh) * | 2018-07-05 | 2020-12-11 | 清华大学 | 一种移动机器人视觉-雷达图像跨模态检索方法 |
CN108986450B (zh) * | 2018-07-25 | 2024-01-16 | 北京万集科技股份有限公司 | 车辆环境感知方法、终端及系统 |
CN110940994B (zh) * | 2018-09-25 | 2024-06-18 | 北京京东乾石科技有限公司 | 定位初始化方法及其系统 |
CN110161513B (zh) * | 2018-09-28 | 2023-11-14 | 腾讯科技(北京)有限公司 | 估计道路坡度的方法、装置、存储介质和计算机设备 |
CN109697410B (zh) * | 2018-11-30 | 2024-08-16 | 中国电力科学研究院有限公司 | 一种架空输电线路覆盖地区的遥感地物识别方法 |
CN109727278B (zh) * | 2018-12-31 | 2020-12-18 | 中煤航测遥感集团有限公司 | 一种机载LiDAR点云数据与航空影像的自动配准方法 |
CN110111414B (zh) * | 2019-04-10 | 2023-01-06 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
CN110136182B (zh) * | 2019-05-28 | 2021-06-04 | 北京百度网讯科技有限公司 | 激光点云与2d影像的配准方法、装置、设备和介质 |
CN110288517B (zh) * | 2019-06-28 | 2021-03-02 | 电子科技大学 | 基于投影匹配组的骨架线提取方法 |
CN110490888B (zh) * | 2019-07-29 | 2022-08-30 | 武汉大学 | 基于机载激光点云的高速公路几何特征矢量化提取方法 |
CN110516653A (zh) * | 2019-09-03 | 2019-11-29 | 武汉天擎空间信息技术有限公司 | 一种基于多光谱机载激光雷达点云数据的道路提取方法 |
CN111191597B (zh) * | 2019-12-31 | 2023-01-13 | 武汉中海庭数据技术有限公司 | 基于矢量线的道路结构提取系统及方法 |
CN111366172B (zh) * | 2020-03-18 | 2022-03-11 | 中国石油工程建设有限公司华北分公司 | 数字高程模型的质量检测方法、装置和存储介质 |
CN111457930B (zh) * | 2020-04-02 | 2021-11-23 | 武汉中海庭数据技术有限公司 | 一种利用车载Lidar与无人机联合的高精度测图定位方法 |
CN112161609A (zh) * | 2020-09-07 | 2021-01-01 | 武汉大学 | 一种内外业一体化控制点量测与自动转刺方法 |
CN112345544A (zh) * | 2020-09-24 | 2021-02-09 | 海克斯康制造智能技术(青岛)有限公司 | 多功能连杆自动化检测线 |
CN112489212B (zh) * | 2020-12-07 | 2022-05-17 | 武汉大学 | 一种基于多源遥感数据的建筑物智能化三维测图方法 |
CN112907745B (zh) * | 2021-03-23 | 2022-04-01 | 北京三快在线科技有限公司 | 一种数字正射影像图生成方法及装置 |
CN115143942B (zh) * | 2022-07-18 | 2023-07-28 | 广东工业大学 | 一种基于光子点云辅助的卫星摄影测量对地定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411778A (zh) * | 2011-07-28 | 2012-04-11 | 武汉大学 | 一种机载激光点云与航空影像的自动配准方法 |
CN103324916A (zh) * | 2013-06-07 | 2013-09-25 | 南京大学 | 基于建筑轮廓的车载和航空LiDAR数据配准方法 |
-
2014
- 2014-07-31 CN CN201410377648.0A patent/CN104123730B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411778A (zh) * | 2011-07-28 | 2012-04-11 | 武汉大学 | 一种机载激光点云与航空影像的自动配准方法 |
CN103324916A (zh) * | 2013-06-07 | 2013-09-25 | 南京大学 | 基于建筑轮廓的车载和航空LiDAR数据配准方法 |
Non-Patent Citations (2)
Title |
---|
A Review of Optical Imagery and Airborne LiDAR Data Registration Methods;Kumar Mishra R et al;《The Open Remote Sensing Journal》;20120713;第5卷;54-63 * |
城区机载LiDAR数据与航空影像的自动配准;张永军等;《遥感学报》;20120525;第16卷(第3期);579-595 * |
Also Published As
Publication number | Publication date |
---|---|
CN104123730A (zh) | 2014-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104123730B (zh) | 基于道路特征的遥感影像与激光点云配准方法及系统 | |
CN111527467B (zh) | 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 | |
CN112288875B (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
Zhou et al. | Seamless fusion of LiDAR and aerial imagery for building extraction | |
CN104091369B (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
CN115564926B (zh) | 基于影像建筑物结构学习的三维面片模型构建方法 | |
Wang et al. | A bayesian approach to building footprint extraction from aerial lidar data | |
CN109615653A (zh) | 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 | |
US20210398300A1 (en) | System and Method for Aerial to Ground Registration | |
KR101549155B1 (ko) | 라이다 자료를 활용한 구조물의 직선경계 추출방법 | |
Salah et al. | Evaluation of the self‐organizing map classifier for building detection from lidar data and multispectral aerial images | |
CN106096497A (zh) | 一种针对多元遥感数据的房屋矢量化方法 | |
CN113034678A (zh) | 一种基于群体智能的特高拱坝坝面三维快速建模方法 | |
CN110443837B (zh) | 一种直线特征约束下的城区机载激光点云与航空影像配准方法和系统 | |
Zhang et al. | 3D urban buildings extraction based on airborne lidar and photogrammetric point cloud fusion according to U-Net deep learning model segmentation | |
Chaloeivoot et al. | Building detection from terrestrial images | |
Li et al. | An automated system for image-to-vector georeferencing | |
CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
CN114463523B (zh) | 一种最小豪斯多夫距离面特征约束的点云航带平差方法 | |
CN116385994A (zh) | 一种三维道路线提取方法及相关设备 | |
CN107945218A (zh) | 边缘大畸变影像匹配方法 | |
Ye et al. | Gaussian mixture model of ground filtering based on hierarchical curvature constraints for airborne lidar point clouds | |
Sun | Deep learning-based building extraction using aerial images and digital surface models | |
Zhu et al. | Research on urban construction land change detection method based on dense dsm and tdom of aerial images | |
Koç San | Approaches for automatic urban building extraction and updating from high resolution satellite imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160914 Termination date: 20170731 |
|
CF01 | Termination of patent right due to non-payment of annual fee |