CN112950683B - 基于点特征的航空影像和机载点云配准优化方法及系统 - Google Patents

基于点特征的航空影像和机载点云配准优化方法及系统 Download PDF

Info

Publication number
CN112950683B
CN112950683B CN202110212994.3A CN202110212994A CN112950683B CN 112950683 B CN112950683 B CN 112950683B CN 202110212994 A CN202110212994 A CN 202110212994A CN 112950683 B CN112950683 B CN 112950683B
Authority
CN
China
Prior art keywords
point cloud
point
registration
image
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110212994.3A
Other languages
English (en)
Other versions
CN112950683A (zh
Inventor
姚剑
李礼
朱卓人
李寅暄
龚烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110212994.3A priority Critical patent/CN112950683B/zh
Publication of CN112950683A publication Critical patent/CN112950683A/zh
Application granted granted Critical
Publication of CN112950683B publication Critical patent/CN112950683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于点特征的航空影像和机载点云配准优化方法及系统,进行航空影像及LiDAR点云数据的预处理,包括影像分块及针对建筑物边缘的影像特征点提取、点云特征点提取;依据成像模型进行点云特征点投影,进行特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;进行配准参数迭代优化,将姿态参数和位置参数改正值引入成像模型进行迭代改正,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息。本发明特征点确定方式简单,基于经典投影模型的方法实现快捷,借助匹配点对数量和平均误差对配准效果进行量化评价,同时也对配准参数起到了明显的优化效果。

Description

基于点特征的航空影像和机载点云配准优化方法及系统
技术领域
本发明属于数字航空影像和机载LiDAR点云的配准技术领域,主要涉及一种基于点特征的航空影像和机载点云配准优化方案。
背景技术
近年来,城市空间三维信息在城市规划、经济发展中发挥着日益重要的作用,在实时性、数据精度等方面也有了更高的要求。以机载LiDAR为代表的对地观测技术由于具备主动性、受天气干扰较小以及对地物缝隙具有较好的穿透性等优点得到广泛应用。但是受限于激光数据的获取方式,机载LiDAR三维点云存在不连续、密度不均和缺少物体表面语义信息等不足,造成获取的目标信息不够完备;当前的机载LiDAR系统通常配备有数码相机,在获取激光点云的同时也能采集到高分辨率彩色航空影像,能与点云形成很好的互补。因此为了弥补点云在纹理信息等方面的缺失、单一数据源的不足,需要将点云和航空影像进行配准,增强对目标表面的描述、获取地物的空间信息和语义信息。点云与航空影像的配准是指求解正确的变换参数,再根据精度需求对参数进行优化改正,从而将两者转换到统一的坐标系下进行表示。
现阶段,二维数字影像和三维点云数据的配准问题已经有了大量的研究,所采用的配准方法大致可分为3类:基于2D-2D的配准、基于3D-3D的配准以及2D-3D的直接配准。
基于2D-2D的配准研究是把图像与点云的配准转化为图像与图像之间的配准,将三维点云转化为二维影像(强度图像或是距离图像),再进行点云影像和数字影像之间的参数迭代完成配准。点云内插成图像再与数字影像配准的方法充分利用现有的图像配准算法,体系与技术较为成熟,但是在内插处理中容易引入并累积误差,影响配准的精度。
基于3D-3D的配准则是将影像和点云的配准转化为点云和点云的配准来完成的。首先利用重叠影像中的同名特征点来生成匹配点云,再与LiDAR点云进行配准。这类方法需要有较好的同名点初始值,且密集匹配算法的精度会对配准精度产生直接影响。
2D-3D的直接配准则是通过在数字影像和LiDAR点云之间建立直接的对应关系,如点、直线及平面等,再借助严格的几何模型解算来实现高精度配准。2D-3D的直接配准可以避免点云内插或是密集匹配过程中产生的误差,但是依赖于影像和点云间同名特征的提取及匹配,在大数据场景下无法保证效率和精度,且该过程的自动化程度较低。
在影像与点云配准研究中,配准参数的精度优化是非常必要的,但现有的研究中较少涉及这部分工作。本发明提出了一种优化方法,在初始配准参数存在一定误差的情况下,能够对参数进行自动优化,进一步提高配准参数的精度,提高影像和点云配准的效果。
发明内容
针对现有技术缺陷,本发明提出一种基于点特征的航空影像和机载点云配准优化方案。
本发明所采用的技术方案是一种基于点特征的航空影像和机载点云配准优化方法,包括以下步骤,
步骤1,航空影像及LiDAR点云数据的预处理,包括影像分块及针对建筑物边缘的影像特征点提取、点云特征点提取;
步骤2,依据成像模型进行点云特征点投影,并进行2D-3D特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;
步骤3,进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息;
所述配准参数迭代优化的实现方式如下,
将姿态参数和位置参数改正值引入成像模型,包括针对姿态参数的改正构造旋转矩阵的改正值R′,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值包含三个参数(X′S,Y′S,Z′S),将R′和[X′S,Y′S,Z′S]T添加到成像模型中,
Figure BDA0002952128390000021
其中R′=RX′·RY′·RZ′,
Figure BDA0002952128390000022
Figure BDA0002952128390000023
Figure BDA0002952128390000024
其中,差值
Figure BDA0002952128390000025
Figure BDA0002952128390000026
是加入改正值后的线元素,RX′、RY′、RZ′分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵RX、RY、RZ的改正值;
针对姿态参数和位置参数进行迭代改正,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到达到迭代结束条件,获得优化的配准参数。
而且,步骤1中,在影像分块所得每个影像子块中使用Harris角点提取算法,获得影像特征点。
而且,步骤1中,使用ISS算法提取点云特征点。
而且,步骤2的实现方式如下,
步骤2.1,确定每张航空影像所对应的初始参数;
步骤2.2,将所提取的点云特征点通过初始配准参数和投影模型转换到对应的成像平面上,得到对应的投影点集合;
步骤2.3,计算点云特征点与影像特征点的匹配度。
而且,步骤3中,
姿态参数按下式进行迭代,
Figure BDA0002952128390000031
式中,第n次迭代角度改正值记为(r′x(n),r′y(n),r′z(n)),第n+1次迭代角度改正值记为(r′x(n+1),r′y(n+1),r′z(n+1)),角元素迭代过程中的初始值ws=w1/2n,r′x(0)=r′y(0)=r′z(0)=0°,常数p,q,l=0,1,...t-1;w1为设定值,t为设置的最大迭代次数;
姿态参数按下式进行迭代,
Figure BDA0002952128390000032
其中,第n次位置改正值记为(X′S(n),Y′S(n),Z′S(n)),第n+1次位置改正值记为(X′S(n+1),Y′S(n+1),Z′S(n+1)),线元素迭代过程中的初始值wt=w2/(2·n+1),X′S(0)=Y′S(0)=Z′S(0)=0米,常数i,j,k=0,1,...,t-1;w2为设定值,t为设置的最大迭代次数。
而且,步骤3中,在进入下一次迭代时,将给定值w1和w2按当前值缩小一半。
另一方面,本发明提供一种基于点特征的航空影像和机载点云配准优化系统,用于实现如上所述的一种基于点特征的航空影像和机载点云配准优化方法。
而且,包括以下模块,
第一模块,用于航空影像及LiDAR点云数据的预处理,包括影像分块及针对建筑物边缘的影像特征点提取、点云特征点提取;
第二模块,用于依据成像模型进行点云特征点投影,并进行2D-3D特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;
第三模块,用于进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息;
所述配准参数迭代优化的实现方式如下,
将姿态参数和位置参数改正值引入成像模型,包括针对姿态参数的改正构造旋转矩阵的改正值R′,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值包含三个参数(X′S,Y′S,Z′S),将R′和[X′S,Y′S,Z′S]T添加到成像模型中,
Figure BDA0002952128390000041
其中R′=RX′·RY′·RZ′,
Figure BDA0002952128390000042
Figure BDA0002952128390000043
Figure BDA0002952128390000044
其中,差值
Figure BDA0002952128390000045
Figure BDA0002952128390000046
是加入改正值后的线元素,RX′、RY′、RZ′分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵RX、RY、RZ的改正值;
针对姿态参数和位置参数进行迭代改正,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到达到迭代结束条件,获得优化的配准参数。
或者,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上所述的一种基于点特征的航空影像和机载点云配准优化方法。
或者,包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上所述的一种基于点特征的航空影像和机载点云配准优化方法。
本发明提供的特征点确定方案实现简单,基于经典投影模型的方法实现快捷,借助匹配点对数量和平均误差对配准效果进行量化评价,同时也对配准参数和配准结果起到了明显的优化效果。本发明适于实际使用,快速高效,具有重要的市场价值。
附图说明
图1为本发明实施例使用的整体流程图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
本发明提供一种基于点特征的航空影像和机载点云配准参数的优化方法。本发明首先在影像和点云中分别提取建筑物边缘的特征点,再利用经典的摄影测量共线方程和初始配准参数将点云特征点投影到成像平面,随后以影像特征点和点云投影点之间的欧氏距离为度量,寻找最近距离小于阈值的点对,获得初始的匹配点数量,并以匹配点数量和匹配对之间的平均距离作为配准结果的评价指标;随后针对投影模型中的3个姿态参数和3个位置参数,加入参数改正值(共计6个),获得新的投影模型,再通过新的投影模型和迭代计算的方法寻找最优的参数改正值,实现对配准参数的优化。
参见图1,本发明实施例提出一种基于点特征的航空影像和机载点云配准优化方法,是基于初始配准参数和欧氏距离的相似性测度来完成的,包括以下步骤:
步骤1,航空影像及LiDAR点云数据的预处理,共包括影像分块及针对建筑物边缘的特征点提取、点云特征点提取。
步骤1.1,影像分块及特征点提取。
由于所用的航空影像覆盖范围大、分辨率较高,需要让影像特征点分布更为均匀,便于后续与点云的匹配。
步骤1.1.1,将影像分为多个相同大小的子块;
步骤1.1.2,由于影像中包含了各种屋顶结构和街道特征,角点特征明显,因此实施例优选在每个影像子块中使用Harris角点提取算法,获得影像特征点。为便于实施参考起见,提供具体实现过程如下:
(1)在每一小块影像上确定一个固定大小(如5×5)的正方形窗口,并在窗口内对每一个像素点进行一阶差分运算,获得其在x,y方向上的梯度值gx,gy
(2)对梯度值gx,gy进行高斯滤波;
(3)根据如下公式计算强度值M:
Figure BDA0002952128390000051
I=det(M)-ktr2(M)
式中G(t)为高斯滤波器,gx和gy分别表示x和y方向的梯度,det()是矩阵的行列式,tr()为矩阵的直迹,k为常数。
(4)选取局部极值点,在窗口内选取最大值作为特征点。将所有的影像特征点记为Φ{ri,ci}i=0,1,...m-1。其中,{ri,ci}表示某个影像特征点的二维坐标,i是影像特征点标号,m是表示提取到的影像特征点总数,Φ是表示特征点集合。
步骤1.2,点云特征点提取。
为了契合影像上特征角点的分布特性,让点云特征点处于贴近建筑物边缘的位置,本发明实施例优选使用ISS算法(内在形状特征,Intrinsic Shape Signatures)提取点云中的特征点。为便于实施参考起见,提供具体实现过程如下:
(1)对点云P中的每个点pi建立局部坐标系,并对所有的点设定一个搜索半径rsearch
(2)确定以点pi为中心、rsearch为半径的区域内所有的点,并计算权值wij
wij=1/||pi-pj||,|pi-pj|<rsearch
(3)对每个点pi,计算协方差矩阵cov(pi):
Figure BDA0002952128390000061
(4)根据协方差矩阵cov(pi),计算矩阵的特征值
Figure BDA0002952128390000062
并按从大到小排序
(5)设置阈值ε1和ε2,同时满足
Figure BDA0002952128390000063
Figure BDA0002952128390000064
的点即为提取的点云特征点;
(6)对所有点重复上述步骤,得到所有特征点{xu,yu,zu},记为集合Ω{xu,yu,zu}u=0,1,...s-1,其中s表示所提取的点云特征点的总数。
步骤2,依据成像模型进行点云的特征点投影,并进行2D-3D特征点配对和配准误差评价。
步骤2.1,从数据文档中找出对应的GPS/POS数据,确定每张航空影像所对应的初始配准参数。
步骤2.2,将所提取的点云特征点Ω{xu,yu,zu}u=0,1,...s-1通过初始配准参数和投影模型转换到对应的成像平面上,得到对应的投影点集合Ω{ru pr,cu pr}u=0,1,...s-1。实施例优选采用的投影模型为经典的空间直角坐标系的旋转变换模型:
Figure BDA0002952128390000065
其中,
Figure BDA0002952128390000071
表示旋转矩阵R对应位置上的元素;(xp,yp)是三维点在影像平面上的坐标值,f是摄影焦距,(x0,y0)是像主点坐标;R=RX·RY·RZ,RX、RY、RZ分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵,
Figure BDA0002952128390000072
Figure BDA0002952128390000073
Figure BDA0002952128390000074
其中,(rx,ry,rz)表示初始的配准参数角元素(即姿态参数),(Xs,Ys,Zs)表示初始的配准参数线元素(即位置参数)。
步骤2.3,计算点云特征点与影像特征点的匹配度。
步骤2.3.1,对于两个集合Ω{ru pr,cu pr}与Φ{ri,ci},基于欧氏距离计算所有每个点云的特征点与全部影像特征点之间的距离:
Figure BDA0002952128390000075
对于两个集合中的两个点,当它们之间的最小距离小于预先设定的阈值时,则认为这两个点匹配,即获得了一组对应的2D-3D点。
步骤2.3.2,在完成步骤2.3.1后,进一步计算此次配准的误差δ,作为精度评价指标:
Figure BDA0002952128390000076
式中,count表示匹配点对的数量,即在步骤2.3.1中,每找到一组2D-3D对应点,count就加1。(rv,cv)表示第v个匹配点对中影像特征点的坐标值,(r′v,c′v)表示第v个匹配点对中匹配的点云特征点在成像平面上的坐标值。
步骤3,进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,可以获取点云与影像之间的映射关系,生成城市空间三维信息。
步骤3.1,引入姿态参数和位置参数改正值,并带入成像模型。
针对姿态参数的改正构造旋转矩阵的改正值R′,类似于初始旋转矩阵的结构,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值同样包含三个参数(X′S,Y′S,Z′S)。将R′和[X′S,Y′S,Z′S]T添加到成像模型中:
Figure BDA0002952128390000081
其中R′=RX′·RY′·RZ′,
Figure BDA0002952128390000082
Figure BDA0002952128390000083
Figure BDA0002952128390000084
其中,差值
Figure BDA0002952128390000085
(x,y,z)是点云特征点的三维坐标,
Figure BDA0002952128390000086
是加入改正值后的线元素,X′S,Y′S,Z′S对应所加入的位置改正值大小,RX′、RY′、RZ′分别表示RX、RY、RZ的改正值。
将上式带入,即可得到包含改正值的成像模型,即将步骤3.1中的
Figure BDA0002952128390000087
Figure BDA0002952128390000088
代入步骤2.2的经典的空间直角坐标系的旋转变换模型,
Figure BDA0002952128390000089
分别替代原式中的[Xs Ys Zs]即可。其中(Xs,Ys,Zs)、f为初始内参,姿态参数和位置参数取初始外方位元素。
步骤3.2,针对姿态参数和位置参数进行改正
本发明实施例优选提出的迭代改正方案,以位置参数为例,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到最大次数或是迭代收敛。
姿态参数的迭代实现同理。
所采用的姿态参数迭代方式如下:
Figure BDA00029521283900000810
式中,标识n用于表示第n次迭代,第n次迭代角度改正值记为(r′x(n),r′y(n),r′z(n)),第n+1次迭代角度改正值记为(r′x(n+1),r′y(n+1),r′z(n+1)),角元素迭代过程中的初始值ws=w1/2n,r′x(0)=r′y(0)=r′z(0)=0°,常数p,q,l=0,1,...t-1。w1为给定值,t为设置的最大迭代次数。在每次迭代中,p,q,l都会分别从0取到t-1,相应产生t3组结果。
所采用的位置参数迭代方式如下:
Figure BDA0002952128390000091
其中,标识n用于表示第n次迭代,第n次位置改正值记为(X′S(n),Y′S(n),Z′S(n)),第n+1次位置改正值记为(X′S(n+1),Y′S(n+1),Z′S(n+1)),线元素迭代过程中的初始值wt=w2/(2·n+1),X′S(0)=Y′S(0)=Z′S(0)=0米,常数i,j,k=0,1,...,t-1。w2为给定值,t为设置的最大迭代次数。同样的,每次迭代中,i,j,k都会分别从0取到t-1,相应产生t3组结果。
具体实施时,w1和w2的取值可根据实际优化需要选择,比如w1=2米和w2=2°。
步骤3.3,在不满足迭代结束条件的情况下,并返回步骤3,2迭代运算,直到满足结束条件并记录结果。
如步骤3.2所述,在加入姿态参数和位置参数的改正值后,每一次迭代中都得到对应每一组改正值的t3种投影结果,即产生t3组结果。将投影结果记为Ω{ru pr,cu pr}u=0,1,...s-1,该集合即表示当前迭代中根据每一组参数改正值计算所得的点云的特征点在成像平面的对应点。对点云的投影点集合Ω{ru pr,cu pr}u=0,1,...s-1和对应的影像特征点集合Φ{ri,ci}i=0,1,...m-1进行遍历,计算每个点云投影点与影像特征点的距离,参照“最小距离小于阈值”的标准寻找匹配点,即有:
Figure BDA0002952128390000092
其中,e表示距离误差阈值,用于消除偏差较大的匹配点对。当Ω{ru pr,cu pr}和Φ{ri,ci}之间的最小距离值小于等于e的时候,认为这一对影像特征点与点云投影点属于匹配点对,计数count增加,否则count不变。
在当前迭代中,记录最高的匹配点对数量,并使用最高值所对应的(r′x,r′y,r′z),(X′S,Y′S,Z′S)作为下一次迭代的初值。同时要计算最高值时的配准误差,保证配准效果得到提升,将最小距离min_distance(Φ{ri,ci},Ω{ru pr,cu pr})简记为参数tar get_dis(v),可得到如下式所示的配准误差δ计算方法:
Figure BDA0002952128390000093
Figure BDA0002952128390000101
其中,g(target_dis(v))表示对(target_dis(v))的值进行判断的函数,当(target_dis(v)≤e时取1,(target_dis(v))>e时取0;c是设置的距离阈值。
第一次迭代时,给定值w1和w2的取值可采用用户预先设定的值,例如,实施例中都优选设为2。在进入下一次迭代时,将给定值w1和w2按当前值缩小一半。配准误差δ可以表示在每一次配准中,LiDAR点云与航空影像的各个对应点之间的距离误差变化情况,在整体上就反应出点云和影像的配准精度的变化情况,当相邻的两次参数优化后所得匹配点对数量count的差值小于给定的值,并且配准误差δ的差值小于预设的阈值时认为运算收敛,迭代结束。输出此时的姿态参数和位置参数的改正值,得到优化后的配准参数结果。
具体实施时,本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程,实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备,也应当在本发明的保护范围内。
在一些可能的实施例中,提供一种基于点特征的航空影像和机载点云配准优化系统,包括以下模块,
第一模块,用于航空影像及LiDAR点云数据的预处理,包括影像分块及影像特征点提取、点云特征点提取;
第二模块,用于依据成像模型进行点云特征点投影,并进行2D-3D特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;
第三模块,用于进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息;
所述配准参数迭代优化的实现方式如下,
将姿态参数和位置参数改正值引入成像模型,包括针对姿态参数的改正构造旋转矩阵的改正值R′,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值包含三个参数(X′S,Y′S,Z′S),将R′和[X′S,Y′S,Z′S]T添加到成像模型中,
Figure BDA0002952128390000102
其中R′=RX′·RY′·RZ′,
Figure BDA0002952128390000103
Figure BDA0002952128390000104
Figure BDA0002952128390000111
其中,差值
Figure BDA0002952128390000112
Figure BDA0002952128390000113
是加入改正值后的线元素,RX′、RY′、RZ′分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵RX、RY、RZ的改正值;
针对姿态参数和位置参数进行迭代改正,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到达到迭代结束条件,获得优化的配准参数。
在一些可能的实施例中,提供一种基于点特征的航空影像和机载点云配准优化系统,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上所述的一种基于点特征的航空影像和机载点云配准优化方法。
在一些可能的实施例中,提供一种基于点特征的航空影像和机载点云配准优化系统,包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上所述的一种基于点特征的航空影像和机载点云配准优化方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于点特征的航空影像和机载点云配准优化方法,其特征在于:包括以下步骤,
步骤1,航空影像及LiDAR点云数据的预处理,包括影像分块及针对建筑物边缘的影像特征点提取、点云特征点提取;
步骤2,依据成像模型进行点云特征点投影,并进行2D-3D特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;
步骤3,进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息;
所述配准参数迭代优化的实现方式如下,
将姿态参数和位置参数改正值引入成像模型,包括针对姿态参数的改正构造旋转矩阵的改正值R′,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值包含三个参数(X′S,Y′S,Z′S),将R′和[X′S,Y′S,Z′S]T添加到成像模型中,
Figure FDA0003752391130000011
其中R′=RX′·RY′·RZ′,
Figure FDA0003752391130000012
Figure FDA0003752391130000013
Figure FDA0003752391130000014
其中,差值
Figure FDA0003752391130000015
Figure FDA0003752391130000016
是加入改正值后的线元素,XS、YS、ZS是加入改正值前的线元素,RX′、RY′、RZ′分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵RX、RY、RZ的改正值,旋转矩阵R=RX·RY·RZ,(x,y,z)是点云特征点的三维坐标;
针对姿态参数和位置参数进行迭代改正,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到达到迭代结束条件,获得优化的配准参数。
2.根据权利要求1所述基于点特征的航空影像和机载点云配准优化方法,其特征在于:步骤1中,在影像分块所得每个影像子块中使用Harris角点提取算法,获得影像特征点。
3.根据权利要求1所述基于点特征的航空影像和机载点云配准优化方法,其特征在于:步骤1中,使用ISS算法提取点云特征点。
4.根据权利要求1所述基于点特征的航空影像和机载点云配准优化方法,其特征在于:步骤2的实现方式如下,
步骤2.1,确定每张航空影像所对应的初始参数;
步骤2.2,将所提取的点云特征点通过初始配准参数和投影模型转换到对应的成像平面上,得到对应的投影点集合;
步骤2.3,计算点云特征点与影像特征点的匹配度。
5.根据权利要求1或2或3或4所述基于点特征的航空影像和机载点云配准优化方法,其特征在于:步骤3中,
姿态参数按下式进行迭代,
Figure FDA0003752391130000021
式中,第n次迭代角度改正值记为(r′x(n),r′y(n),r′z(n)),第n+1次迭代角度改正值记为(r′x(n+1),r′y(n+1),r′z(n+1)),角元素迭代过程中的初始值ws=w1/2n,r′x(0)=r′y(0)=r′z(0)=0°,常数p,q,l=0,1,...t-1;w1为设定值,t为设置的最大迭代次数;
姿态参数按下式进行迭代,
Figure FDA0003752391130000022
其中,第n次位置改正值记为(X′S(n),Y′S(n),Z′S(n)),第n+1次位置改正值记为(X′S(n+1),Y′S(n+1),Z′S(n+1)),线元素迭代过程中的初始值wt=w2/(2·n+1),X′S(0)=Y′S(0)=Z′S(0)=0米,常数i,j,k=0,1,...,t-1;w2为设定值,t为设置的最大迭代次数。
6.根据权利要求5所述基于点特征的航空影像和机载点云配准优化方法,其特征在于:步骤3中,在进入下一次迭代时,将给定值w1和w2按当前值缩小一半。
7.一种基于点特征的航空影像和机载点云配准优化系统,其特征在于:包括以下模块,
第一模块,用于航空影像及LiDAR点云数据的预处理,包括影像分块及针对建筑物边缘的影像特征点提取、点云特征点提取;
第二模块,用于依据成像模型进行点云特征点投影,并进行2D-3D特征点配对和配准误差评价,得到点云特征点与影像特征点的匹配度;
第三模块,用于进行配准参数迭代优化,在优化完成后,利用改正后的配准参数将点云投影到成像平面,获取点云与影像之间的映射关系,生成城市空间三维信息;
所述配准参数迭代优化的实现方式如下,
将姿态参数和位置参数改正值引入成像模型,包括针对姿态参数的改正构造旋转矩阵的改正值R′,R′由3个角度改正值(rx′,ry′,rz′)构成,位置改正值包含三个参数(X′S,Y′S,Z′S),将R′和[X′S,Y′S,Z′S]T添加到成像模型中,
Figure FDA0003752391130000031
其中R′=RX′·RY′·RZ′,
Figure FDA0003752391130000032
Figure FDA0003752391130000033
Figure FDA0003752391130000034
其中,差值
Figure FDA0003752391130000035
Figure FDA0003752391130000036
是加入改正值后的线元素,XS、YS、ZS是加入改正值前的线元素,RX′、RY′、RZ′分别表示绕x轴、y轴、z轴旋转所得到的旋转矩阵RX、RY、RZ的改正值,旋转矩阵R=RX·RY·RZ,(x,y,z)是点云特征点的三维坐标;
针对姿态参数和位置参数进行迭代改正,在每个迭代轮次中,计算出所有可能的参数改正值,然后根据每个改正值与包含改正值的成像模型,计算出点云与影像的匹配点对数量,选择其中最大的一组参数作为下一次迭代开始时的初始值,不断重复迭代直到达到迭代结束条件,获得优化的配准参数。
8.一种基于点特征的航空影像和机载点云配准优化系统,其特征在于:包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种基于点特征的航空影像和机载点云配准优化方法。
9.一种基于点特征的航空影像和机载点云配准优化系统,其特征在于:包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-6任一项所述的一种基于点特征的航空影像和机载点云配准优化方法。
CN202110212994.3A 2021-02-25 2021-02-25 基于点特征的航空影像和机载点云配准优化方法及系统 Active CN112950683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110212994.3A CN112950683B (zh) 2021-02-25 2021-02-25 基于点特征的航空影像和机载点云配准优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110212994.3A CN112950683B (zh) 2021-02-25 2021-02-25 基于点特征的航空影像和机载点云配准优化方法及系统

Publications (2)

Publication Number Publication Date
CN112950683A CN112950683A (zh) 2021-06-11
CN112950683B true CN112950683B (zh) 2022-08-30

Family

ID=76246287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110212994.3A Active CN112950683B (zh) 2021-02-25 2021-02-25 基于点特征的航空影像和机载点云配准优化方法及系统

Country Status (1)

Country Link
CN (1) CN112950683B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411778A (zh) * 2011-07-28 2012-04-11 武汉大学 一种机载激光点云与航空影像的自动配准方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6773503B2 (ja) * 2016-09-27 2020-10-21 株式会社トプコン レーザスキャナシステム及び点群データのレジストレーション方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411778A (zh) * 2011-07-28 2012-04-11 武汉大学 一种机载激光点云与航空影像的自动配准方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种三维激光数据与数码影像自动配准的方法;宋二非等;《地矿测绘》;20160331;全文 *

Also Published As

Publication number Publication date
CN112950683A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112102458B (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN102411778B (zh) 一种机载激光点云与航空影像的自动配准方法
CN112927360A (zh) 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN113012205A (zh) 一种基于多源数据融合的三维重建方法
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN108759788B (zh) 无人机影像定位定姿方法及无人机
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN106096497B (zh) 一种针对多元遥感数据的房屋矢量化方法
CN113409332B (zh) 一种基于三维点云的建筑物平面分割方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN112767456A (zh) 一种三维激光点云快速重定位方法
CN115267724B (zh) 一种基于激光雷达可估位姿的移动机器人位置重识别方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN115496783A (zh) 一种室内空间三维彩色点云生成方法
CN114563000B (zh) 一种基于改进型激光雷达里程计的室内外slam方法
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法
CN117392237A (zh) 一种鲁棒的激光雷达-相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant