CN113506374B - 基于gps信息辅助及空间网格划分的点云配准方法 - Google Patents

基于gps信息辅助及空间网格划分的点云配准方法 Download PDF

Info

Publication number
CN113506374B
CN113506374B CN202110808508.4A CN202110808508A CN113506374B CN 113506374 B CN113506374 B CN 113506374B CN 202110808508 A CN202110808508 A CN 202110808508A CN 113506374 B CN113506374 B CN 113506374B
Authority
CN
China
Prior art keywords
scene
point cloud
equal
sub
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110808508.4A
Other languages
English (en)
Other versions
CN113506374A (zh
Inventor
罗楠
王义峰
杜欣蔚
梁婕
卢波
郑海红
霍振锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110808508.4A priority Critical patent/CN113506374B/zh
Publication of CN113506374A publication Critical patent/CN113506374A/zh
Application granted granted Critical
Publication of CN113506374B publication Critical patent/CN113506374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于GPS信息辅助及空间网格划分的点云配准方法,实现步骤为:获取图像及其对应的GPS全局坐标信息;对每个图像集合进行预处理;对每个子场景对应的三维点云坐标进行转换;对无人机采集图像的场景进行空间网格递归划分;为每个空间网格计算全局编码;为每个三维点坐标分配网格编码;获取点云配准结果。本发明在粗配准中通过GPS信息的辅助,将三维点云坐标集合转换到全局坐标系下,有效降低了计算资源和配准的所需时间,在精配准中对无人机采集图像的场景进行空间网格递归划分,实现了由局部到整体的配准,提高了点云配准的精度。

Description

基于GPS信息辅助及空间网格划分的点云配准方法
技术领域
本发明属于计算机视觉技术领域,涉及一种点云配准方法,具体涉及一种基于GPS信息辅助及空间网格划分的点云配准方法,可用于逆向工程、计算机视觉、文物数字化等领域构建实验场景的数据模型。
背景技术
在逆向工程、计算机视觉、文物数字化等领域构建实验场景的数据模型时,点云存在不完整、旋转错位、平移错位等问题,为了得到被测物体的完整数据模型,不可避免的需要对点云进行配准。
点云配准是指在大规模场景分割后多机并行作业时,将不同机器生成的处于各自局部坐标系的点云,对齐形成精准的大规模场景点云的技术。点云配准方法包括点云的粗配准和点云的精配准两个步骤,其中,点云的粗配准是指在点云相对姿态完全未知的情况下对点云进行配准,配准结果可用于为下一步的精配准提供初值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。基于穷举的粗配准算法如RANSAC算法,主要通过遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系;基于特征匹配的配准算法如基于点FPFH特征的SAC-IA算法,主要通过被测物体本身所具备的形态特性构建点云间的匹配对应,然后采用相关算法对变换关系进行估计。但是,这两类方法都存在处理时间长、耗费资源大等缺点,且RANSAC算法处理结果具有随机性,在实际场景的应用中,很难保证达到预期的效果。
点云的精配准是指在粗配准的基础上让点云之间的空间位置差别最小化,以获取更高精度的点云配准模型。目前应用最为广泛的精配准算法包括ICP算法和NDT算法。对于待拼接的两片点云,ICP算法首先根据一定的准则确立点云间对应点对的个数,然后通过最小二乘法迭代计算最优的坐标变换,使得误差函数最小,然而,ICP算法有容易陷入局部最优的问题。NDT算法对于两帧相邻的点云,用正态分布最优化原理计算位姿变换的变换矩阵,可用于解决点云细微的偏差问题,然而,该方法只有在两幅图像相差不大的情况下才能进行匹配,在实际应用时很难达到理想的配准精度。这两种算法都有严格的前提约束,导致算法的使用场景严重受限,实际应用中往往需要对其作一定修改。
例如,申请公布号为CN111080682A,名称为“点云数据的配准方法及装置”的专利申请,公开了一种点云数据的配准方法。该方法使用最小二乘算法对各帧点云数据实际位置和参考位置的残差方程组目标配准参数进行优化,这种穷举搜索的粗配准算法使每一帧点云数据的实际位置和当前位置的差值最小。使用NDT算法遍历整个变换空间,对所有相邻的两帧点云数据进行配准,得到第一位姿变换参数,根据第一位姿变换参数,确定与每一帧点云数据对应的实际位置,根据与每一帧点云数据对应的时间戳,获取与时间戳对应的参考位置,根据各帧点云数据的实际位置和参考位置,确定目标配准参数,实现了对所有点云数据的精配准。
该方法在粗配准时通过结合点云数据和单点GPS获取的位置数据,提高了配准的实时性和配准效率,同时,该方法在精配准时使用正态分布变换(NDT)进行两图像帧之间的配准,一定程度上避免配准陷入局部最优的情况,但是其在进行粗配准的过程中使用最小二乘算法进行穷举搜索,对每帧点云数据均需遍历整个变换空间,计算量依然庞大,算法耗时也成倍增加。在进行精配准的过程中,NDT算法只有在两幅图像相差不大的情况下才能进行匹配,约束了该配准方法的适用范围,在实际应用时很难达到理想的配准精度。
如何突破当前点云配准算法的前提约束,进一步提高配准精度并减小配准所需时间,是目前点云配准领域内算法研究人员应当优先考虑的内容。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于GPS信息辅助及空间网格划分的点云配准方法,用于解决现有技术中存在的点云配准精度和配准速度较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取图像及其对应的GPS全局坐标信息:
(1a)初始化包括分布在全局坐标系G下I个不同位置的子场景S={Si|1≤i≤I}的无人机采集图像场景,其中,I>1,Si表示第i个子场景;
(1b)获取无人机通过相机对每个子场景Si进行J次采集的图像子集合Ai={Aij|1≤i≤I,1≤j≤J}和Ai对应的GPS全局坐标子集合GPSi={GPSij|1≤i≤I,1≤j≤J},得到图像集合A={Ai|1≤i≤I}和GPS全局坐标集合GPS={GPSi|1≤i≤I},其中,J>1,Aij表示对Si进行第j次采集所获取的图像,GPSij表示Aij对应的GPS全局坐标;
(2)对每个图像集合Ai进行预处理:
采用SLAM方法对每个图像子集合Ai进行预处理,得到每幅图像对应的局部相机位置坐标集合P={Pi|1≤i≤I}和图像集合A对应的三维点云坐标集合(x,y,z)={(x,y,z)i|1≤i≤I},其中,Pi表示Ai包含的J幅图像在局部坐标系Li下对应的相机位置坐标集合,Pi={Pij|1≤i≤I,1≤j≤J},Pij表示图像Aij在Li下对应的相机位置坐标,(x,y,z)i表示由Ai包含的J幅图像中得到的点云中K个三维点在局部坐标系Li下的坐标集合,(x,y,z)i={(xk,yk,zk)i|1≤i≤I,1≤k≤K},(xk,yk,zk)i表示Ai对应的点云中第k个三维点在Li下的坐标,K>1;
(3)对每个子场景对应的三维点云坐标进行转换:
(3a)根据每个子场景Si中图像子集合Ai的局部相机位置坐标集合Pi和GPS全局坐标子集合GPSi,计算每个子场景Si中从局部坐标系Li到全局坐标系G的变换矩阵Ti(Ri,ti),得到变换矩阵集合T(R,t)={Ti(Ri,ti)|1≤i≤I},其中Ri、ti分别表示每个子场景Si中从局部坐标系Li到全局坐标系G变换的旋转矩阵、平移矩阵;
(3b)利用T(R,t)将(x,y,z)转换到全局坐标系G下,得到全局坐标集合(x,y,z)'={(x,y,z)'i|1≤i≤I},实现了所有子场景点云的粗配准,其中(x,y,z)'i表示由Ai包含的J幅图像中得到的点云中K个三维点在全局坐标系G下的坐标集合,(x,y,z)'i={(xk,yk,zk)'i|1≤i≤I,1≤k≤K},(xk,yk,zk)'i表示Ai对应的点云中第k个三维点的全局坐标;
(4)对无人机采集图像的场景进行空间网格递归划分:
初始化空间网格的长、宽、高分别为length、width、height,并采用八叉树模型对无人机采集图像的场景进行空间网格递归划分,每次划分都将待划分网格平均划分为八个子网格,直至划分后每个空间网格尺寸均小于初始化空间网格的尺寸,得到经过n次递归划分共包含Ng个空间网格的集合
Figure BDA0003167416910000041
其中length*width*height>0,Ng=8n
Figure BDA0003167416910000042
表示第ng个长、宽、高分别为length'、width'、height'的空间网格,其中,
Figure BDA0003167416910000043
(5)为每个空间网格计算全局编码:
(5a)遍历每个子场景对应的点云中K个三维点在全局坐标系G下的坐标集合(x,y,z)'i,分别获得x的最大值xl与最小值xs、y的最大值yl与最小值ys、z的最大值zl与最小值zs,计算无人机采集图像的场景中心点的全局坐标
Figure BDA0003167416910000044
(5b)以无人机采集图像的场景的中心点(xm,ym,zm)为原点建立三维坐标系,并按照左零右一、上零下一的原则,根据每个空间网格
Figure BDA0003167416910000045
在三维坐标系中的位置,为
Figure BDA0003167416910000046
计算二进制编码,得到全局二进制编码集合
Figure BDA0003167416910000047
其中,
Figure BDA0003167416910000048
表示
Figure BDA0003167416910000049
的长度为3*n的二进制编码;
(6)为每个三维点坐标分配网格编码:
(6a)计算每个全局三维点的坐标值(xk,yk,zk)'i与无人机采集图像的场景的中心点(xm,ym,zm)的坐标差
Figure BDA00031674169100000410
(6b)计算每个全局三维点与(xm,ym,zm)之间的网格个数
Figure BDA00031674169100000411
得到每个全局三维点的坐标值(xk,yk,zk)'i的所属网格
Figure BDA00031674169100000412
并将
Figure BDA00031674169100000413
的全局编码
Figure BDA00031674169100000414
分配给该三维点云坐标,其中,
Figure BDA00031674169100000415
表示x方向的网格个数,
Figure BDA00031674169100000416
表示y方向的网格个数,
Figure BDA00031674169100000417
表示z方向的网格个数;
(7)获取点云配准结果:
(7a)令i=1;
(7b)按照同时存在于子场景Si和Si+1中每个空间网格内三维点的数量对Q个空间网格进行升序排序,得到空间网格集合D={Dq|1≤q≤Q},其中Dq表示同时存在于子场景Si和Si+1中第q个空间网格;
(7c)令q=1;
(7d)对每个空间网格Dq中子场景Si+1与子场景Si对应的点云进行ICP配准,得到Dq内Si+1到Si对应点云的变换矩阵kq
(7e)判断q≥Q是否成立,若是,执行步骤(7f),否则,使用kq对Dq+1中子场景Si+1对应的点云进行变换,同时令q=q+1,并执行步骤(7d);
(7f)计算总变换矩阵
Figure BDA0003167416910000051
使用K对子场景Si+1在D以外的空间网格的三维点进行变换,得到Si+1与Si对应点云的配准结果Ri+1
(7g)判断i≥I是否成立,若是,得到I个子场景S对应的点云配准结果RI,实现了所有子场景点云的精配准,否则,令i=i+1,并执行步骤(7b)。
本发明与现有技术相比,具有如下优点:
第一:本发明在获取点云配准结果的过程中,在粗配准的基础上首先对无人机采集图像的场景进行空间网格递归划分,计算每个全局三维点云坐标的所属空间网格,其次对每个空间网格中的点云进行ICP配准,避免了常规ICP算法易陷入局部最优的问题,再将所有子场景中的点云进行ICP配准,实现了对多片点云数据由局部到整体的配准,避免了现有技术通过正态分布变换(NDT)对配准图像高相似性的约束,解决了直接使用未经过处理的整体点云配准时精度较差的问题,有效提高了点云配准的精度。
第二:本发明在对所有子场景点云进行粗配准的过程中,首先根据每个子场景中图像子集合的局部相机位置坐标集合和GPS全局坐标子集合,计算每个子场景中从局部坐标系到全局坐标系的变换矩阵,并利用变换矩阵集合将三维点云坐标集合转换到全局坐标系下。通过GPS信息的辅助,避免了现有技术需要对每一帧图像遍历整个变换空间才能计算出实际位置和参考位置的配准参数导致计算量庞大和耗时过长的缺陷,有效降低了计算资源和粗配准的所需时间,从而提高了点云配准效率。
附图说明
图1为本发明的实现流程图;
图2为本发明对无人机采集图像的场景进行空间网格递归划分的示意图;
图3为本发明对两个子场景对应的点云进行ICP配准实现流程图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
步骤1)获取图像及其对应的GPS全局坐标信息:
步骤1a)初始化无人机采集图像的场景包括分布在全局坐标系G下I个不同位置的子场景S={Si|1≤i≤I},其中,I>1,Si表示第i个子场景。在大规模场景中进行数据采集时,往往会对不同区域进行分别采集,从而获得多个子场景的点云数据,本实施例I=5。
步骤1b)获取无人机通过相机对每个子场景Si进行J次采集的图像子集合Ai={Aij|1≤i≤I,1≤j≤J}和Ai对应的GPS全局坐标子集合GPSi={GPSij|1≤i≤I,1≤j≤J},得到图像集合A={Ai|1≤i≤I}和GPS全局坐标集合GPS={GPSi|1≤i≤I},其中,J>1,Aij表示对Si进行第j次采集所获取的图像,GPSij表示Aij对应的GPS全局坐标。无人机在各个子场景采集的图像数量与子场景大小相关,不同子场景下采集到的图像数量不同,为方便统一处理,本实施例J=2000。
步骤2)对每个图像集合Ai进行预处理:
采用SLAM方法对每个图像子集合Ai进行预处理,得到每幅图像对应的局部相机位置坐标集合P={Pi|1≤i≤I}和图像集合A对应的三维点云坐标集合(x,y,z)={(x,y,z)i|1≤i≤I},其中,Pi表示Ai包含的J幅图像在局部坐标系Li下对应的相机位置坐标集合,Pi={Pij|1≤i≤I,1≤j≤J},Pij表示图像Aij在Li下对应的相机位置坐标,(x,y,z)i表示由Ai包含的J幅图像中得到的点云中K个三维点在局部坐标系Li下的坐标集合,(x,y,z)i={(xk,yk,zk)i|1≤i≤I,1≤k≤K},(xk,yk,zk)i表示Ai对应的点云中第k个三维点在Li下的坐标,其中,K>1。SLAM将每个子场景Si所对应的图像子集合Ai中J张图片进行处理,得到每个图像子集合Ai对应的点云(x,y,z)i,每个图像子集合对应的点云中三维点数量与图像内容相关,不同图像子集合得到的三维点数量不同,为方便统一处理,本实施例K=2*105
步骤3)对每个子场景对应的三维点云坐标进行转换:
步骤3a)计算每个子场景Si中图像子集合Ai对应的局部相机位置坐标集合Pi的平均中心
Figure BDA0003167416910000071
和GPS全局坐标子集合GPSi的平均中心
Figure BDA0003167416910000072
并通过
Figure BDA0003167416910000073
Figure BDA0003167416910000074
构造相关系数矩阵Hi
Figure BDA0003167416910000075
其中,∑表示求和操作,(·)T表示转置操作。
步骤3b)对相关系数矩阵Hi进行奇异值分解,得到共轭转置矩阵Vi、对角矩阵∑i和酉矩阵Ui,并通过Vi和Ui,计算旋转矩阵Ri
[Ui,∑i,Vi]=SVD(Hi)
Ri=ViUi T
其中,SVD(·)表示奇异值分解。
步骤3c)通过旋转矩阵Ri计算平移向量ti,并通过Ri和ti构造每个子场景Si中从局部坐标系Li到全局坐标系G的变换矩阵Ti(Ri,ti),T(R,t)={Ti(Ri,ti)|1≤i≤I},其中,Ri、ti分别表示每个子场景Si中从局部坐标系Li到全局坐标系G变换的旋转矩阵、平移矩阵。
ti的计算公式为:
Figure BDA0003167416910000081
Ti(Ri,ti)的构造公式为:
Ti(Ri,ti)=[Ri ti]
步骤3d)利用T(R,t)将(x,y,z)转换到全局坐标系G下,得到坐标集合(x,y,z)'={(x,y,z)'i|1≤i≤I},实现了所有子场景点云的粗配准,其中(x,y,z)'i表示由Ai包含的J幅图像中得到的点云中K个三维点在全局坐标系G下的坐标集合,(x,y,z)'i={(xk,yk,zk)'i|1≤i≤I,1≤k≤K},(xk,yk,zk)'i表示Ai对应的点云中第k个三维点的全局坐标。
该步骤利用GPS信息,直接通过图像子集合的局部相机位置坐标集合和GPS全局坐标子集合计算每个子场景中从局部坐标系到全局坐标系的变换矩阵,并利用变换矩阵集合将三维点云坐标转换为全局坐标系G下,大幅降低了粗配准的时间。
基于穷举搜索的配准算法需要对每一帧图像遍历整个变换空间才能计算出实际位置和参考位置的配准参数,本方法通过场景划分与GPS信息辅助,只需对每个子场景计算变换矩阵,有效降低了计算资源和粗配准的所需时间。
步骤4)对无人机采集图像的场景进行空间网格递归划分:
参照图2,本实施例的无人机采集图像的场景采用如图2(a)所示的正方体,初始化空间网格的长、宽、高分别为length、width、height。采用八叉树模型分别从x、y、z三个方向将正方体场景均匀划分为八个子网格,其结果如图2(b)所示,按照对正方体场景划分的方法,对每个子网格进行均匀划分,得到如图2(c)所示共包括64个子网格,依此类推,直到划分后每个空间网格尺寸均小于初始化空间网格的尺寸,得到经过n次递归划分共包含Ng个空间网格的集合
Figure BDA0003167416910000082
其中length*width*height>0,Ng=8n
Figure BDA0003167416910000083
表示第ng个长、宽、高分别为length'、width'、height'的空间网格,
Figure BDA0003167416910000084
本实施例初始化空间网格的尺寸为length=width=height=20cm,n=4,Ng=4096。
步骤5)为每个空间网格计算全局编码:
步骤5a)遍历每个子场景对应的点云中K个三维点在全局坐标系G下的坐标集合(x,y,z)'i,分别获得x的最大值xl与最小值xs、y的最大值yl与最小值ys、z的最大值zl与最小值zs,计算无人机采集图像的场景中心点的全局坐标
Figure BDA0003167416910000091
步骤5b)以无人机采集图像的场景的中心点(xm,ym,zm)为原点建立三维坐标系,并按照左零右一、上零下一的原则,根据每个空间网格
Figure BDA0003167416910000092
在三维坐标系中的位置,为
Figure BDA0003167416910000093
计算二进制编码,得到全局二进制编码集合
Figure BDA0003167416910000094
其中,
Figure BDA0003167416910000095
表示
Figure BDA0003167416910000096
的长度为3*n的二进制编码。该步骤将每次划分得到的子网格从上到下从左至右进行编码,编码范围为000至111,本实施例共划分了4次网格,编码长度为12位。
步骤6)为每个三维点坐标分配网格编码:
步骤6a)计算每个全局三维点的坐标值(xk,yk,zk)'i与无人机采集图像的场景的中心点(xm,ym,zm)的坐标差
Figure BDA0003167416910000097
步骤6b)计算每个全局三维点与(xm,ym,zm)之间的网格个数
Figure BDA0003167416910000098
得到每个全局三维点的坐标值(xk,yk,zk)'i的所属网格
Figure BDA0003167416910000099
并将
Figure BDA00031674169100000910
的全局编码
Figure BDA00031674169100000911
分配给该三维点云坐标,其中,
Figure BDA00031674169100000912
表示x方向的网格个数,
Figure BDA00031674169100000913
表示y方向的网格个数,
Figure BDA00031674169100000914
表示z方向的网格个数。
参考图3,步骤7)获取点云配准结果:
步骤7a)令i=1,即从第一个子场景开始进行配准,图3(a)为Si对应的点云,每个正方形方格为Si的一个网格,网格内实心点为Si对应点云中的三维点,图3(b)为Si+1对应的点云,每个正方形方格为Si+1的一个网格,网格内空心点为Si对应点云中的三维点。
步骤7b)按照同时存在于子场景Si和Si+1中每个空间网格内三维点的数量对Q个空间网格进行升序排序,得到空间网格集合D={Dq|1≤q≤Q},排序结果如图3(c)所示,a1、b1、c1、d1与a2、b2、c2、d2为同时存在于子场景Si和Si+1中的空间网格,按照网格内三维点数量排序后,网格顺序分别为a1、c1、b1、d1和a2、c2、b2、d2,其中Dq表示同时存在于子场景Si和Si+1中第q个空间网格,其中Q=4,该步骤使网格根据包含两子场景共同点的数量升序排序,网格序号越大网格内部三维点的数量越多。
步骤7c)令q=1,即从排序后第一个网格开始进行配准。
步骤7d)对每个空间网格Dq中子场景Si+1与子场景Si对应的点云进行ICP配准,得到Dq内Si+1到Si对应点云的变换矩阵Kq,该步骤对该空间网格中两个当前子场景进行点云配准,并计算出该网格中两个当前子场景的变换矩阵。
步骤7e)判断q≥Q是否成立,若是,执行步骤(7f),否则,使用kq对Dq+1中子场景Si+1对应的点云进行变换,同时令q=q+1,并执行步骤(7d),本步骤判断是否对每个空间网格中两个当前子场景对应的点云进行点云配准,如果空间网格均已配准,则继续后续步骤,否则,使用该网格计算得到的变换矩阵对Dq+1中子场景Si+1对应的点云进行变换,再跳转到对Dq+1中两个当前子场景进行点云配准的步骤,在空间网格的依次处理中,两个子场景的点云配准不断修正,配准结果逐渐精准。
使用kq对Dq+1中子场景Si+1对应的点云进行变换,其实现过程如图3(d)所示,使用当前变换矩阵Kq对下一网格中的Si+1对应点云的三维点进行变换,并使用变换后的结果与下一网格中Si对应点云的三维点进行ICP配准,得到变换矩阵kq+1,使用同样的方法进行变换,直到当前网格为最后一个网格为止。
步骤7f)计算总变换矩阵
Figure BDA0003167416910000101
使用K对子场景Si+1在D以外的空间网格的三维点进行变换,其中,Π表示求积操作。即将图3(e)中Si+1对应点云的三维点除a1、b1、c1、d1四个网格外都使用变换矩阵K进行变换,得到Si+1与Si对应点云的配准结果Ri+1,图3(e)内所有三维点为Ri+1。本步骤对两个当前子场景对应的点云进行整体点云配准,配准结果包含两片点云数据,后续将直接用其他子场景的对应点云与该配准结果进行点云配准。
步骤7g)判断i≥I是否成立,若是,得到I个子场景S对应的点云配准结果RI,实现了所有子场景点云的精配准,否则,令i=i+1,并执行步骤(7b)。该步骤判断是否对所有子场景点云均进行配准,如果所有子场景点云已配准,得到所有子场景点云进行配准后的完整场景点云数据,否则,继续配准下一个子场景对应的点云。
本发明在精配准中使用基于空间网格划分ICP配准,避免了基于NDT算法的精配准对配准图像高相似性的前提约束。通过空间网格递归划分,将点云数据进行由局部到整体的配准,先对各空间网格中的点云配准,再对整体子场景点云配准,避免了常规ICP算法易陷入局部最优的问题,有效提高了点云配准的精度。

Claims (2)

1.一种基于GPS信息辅助及空间网格划分的点云配准方法,其特征在于,包括如下步骤:
(1)获取图像及其对应的GPS全局坐标信息:
(1a)初始化包括分布在全局坐标系G下I个不同位置的子场景S={Si|1≤i≤I}的无人机采集图像场景,其中,I>1,Si表示第i个子场景;
(1b)获取无人机通过相机对每个子场景Si进行J次采集的图像子集合Ai={Aij|1≤i≤I,1≤j≤J}和Ai对应的GPS全局坐标子集合GPSi={GPSij|1≤i≤I,1≤j≤J},得到图像集合A={Ai|1≤i≤I}和GPS全局坐标集合GPS={GPSi|1≤i≤I},其中,J>1,Aij表示对Si进行第j次采集所获取的图像,GPSij表示Aij对应的GPS全局坐标;
(2)对每个图像集合Ai进行预处理:
采用SLAM方法对每个图像子集合Ai进行预处理,得到每幅图像对应的局部相机位置坐标集合P={Pi|1≤i≤I}和图像集合A对应的三维点云坐标集合(x,y,z)={(x,y,z)i|1≤i≤I},其中,Pi表示Ai包含的J幅图像在局部坐标系Li下对应的相机位置坐标集合,Pi={Pij|1≤i≤I,1≤j≤J},Pij表示图像Aij在Li下对应的相机位置坐标,(x,y,z)i表示由Ai包含的J幅图像中得到的点云中K个三维点在局部坐标系Li下的坐标集合,(x,y,z)i={(xk,yk,zk)i|1≤i≤I,1≤k≤K},(xk,yk,zk)i表示Ai对应的点云中第k个三维点在Li下的坐标,K>1;
(3)对每个子场景对应的三维点云坐标进行转换:
(3a)根据每个子场景Si中图像子集合Ai的局部相机位置坐标集合Pi和GPS全局坐标子集合GPSi,计算每个子场景Si中从局部坐标系Li到全局坐标系G的变换矩阵Ti(Ri,ti),得到变换矩阵集合T(R,t)={Ti(Ri,ti)|1≤i≤I},其中Ri、ti分别表示每个子场景Si中从局部坐标系Li到全局坐标系G变换的旋转矩阵、平移矩阵;
(3b)利用T(R,t)将(x,y,z)转换到全局坐标系G下,得到全局坐标集合(x,y,z)'={(x,y,z)'i|1≤i≤I},实现了所有子场景点云的粗配准,其中(x,y,z)'i表示由Ai包含的J幅图像中得到的点云中K个三维点在全局坐标系G下的坐标集合,(x,y,z)'i={(xk,yk,zk)'i|1≤i≤I,1≤k≤K},(xk,yk,zk)'i表示Ai对应的点云中第k个三维点的全局坐标;
(4)对无人机采集图像的场景进行空间网格递归划分:
初始化空间网格的长、宽、高分别为length、width、height,并采用八叉树模型对无人机采集图像的场景进行空间网格递归划分,每次划分都将待划分网格平均划分为八个子网格,直至划分后每个空间网格尺寸均小于初始化空间网格的尺寸,得到经过n次递归划分共包含Ng个空间网格的集合B={Bng|1≤ng≤Ng},其中length*width*height>0,Ng=8n,Bng表示第ng个长、宽、高分别为length'、width'、height'的空间网格,其中,
Figure FDA0003846757190000021
Figure FDA0003846757190000022
(5)为每个空间网格计算全局编码:
(5a)遍历每个子场景对应的点云中K个三维点在全局坐标系G下的坐标集合(x,y,z)'i,分别获得x的最大值xl与最小值xs、y的最大值yl与最小值ys、z的最大值zl与最小值zs,计算无人机采集图像的场景中心点的全局坐标
Figure FDA0003846757190000023
(5b)以无人机采集图像的场景的中心点(xm,ym,zm)为原点建立三维坐标系,并按照左零右一、上零下一的原则,根据每个空间网格
Figure FDA0003846757190000031
在三维坐标系中的位置,为
Figure FDA0003846757190000032
计算二进制编码,得到全局二进制编码集合
Figure FDA0003846757190000033
其中,
Figure FDA0003846757190000034
表示
Figure FDA0003846757190000035
的长度为3*n的二进制编码;
(6)为每个三维点坐标分配网格编码:
(6a)计算每个全局三维点的坐标值(xk,yk,zk)'i与无人机采集图像的场景的中心点(xm,ym,zm)的坐标差
Figure FDA0003846757190000036
(6b)计算每个全局三维点与(xm,ym,zm)之间的网格个数
Figure FDA0003846757190000037
得到每个全局三维点的坐标值(xk,yk,zk)'i的所属网格
Figure FDA0003846757190000038
并将
Figure FDA0003846757190000039
的全局编码
Figure FDA00038467571900000310
分配给该三维点云坐标,其中,
Figure FDA00038467571900000311
表示x方向的网格个数,
Figure FDA00038467571900000312
表示y方向的网格个数,
Figure FDA00038467571900000313
表示z方向的网格个数;
(7)获取点云配准结果:
(7a)令i=1;
(7b)按照同时存在于子场景Si和Si+1中每个空间网格内三维点的数量对Q个空间网格进行升序排序,得到空间网格集合D={Dq|1≤q≤Q},其中Dq表示同时存在于子场景Si和Si+1中第q个空间网格;
(7c)令q=1;
(7d)对每个空间网格Dq中子场景Si+1与子场景Si对应的点云进行ICP配准,得到Dq内Si+1到Si对应点云的变换矩阵kq
(7e)判断q≥Q是否成立,若是,执行步骤(7f),否则,使用kq对Dq+1中子场景Si+1对应的点云进行变换,同时令q=q+1,并执行步骤(7d);
(7f)计算总变换矩阵
Figure FDA0003846757190000041
使用K对子场景Si+1在D以外的空间网格的三维点进行变换,得到Si+1与Si对应点云的配准结果Ri+1
(7g)判断i≥I是否成立,若是,得到I个子场景S对应的点云配准结果RI,实现了所有子场景点云的精配准,否则,令i=i+1,并执行步骤(7b)。
2.根据权利要求1所述的基于GPS信息辅助及空间网格划分的点云配准方法,其特征在于,步骤(3a)中所述的计算每个子场景Si中从局部坐标系Li到全局坐标系G的变换矩阵Ti(Ri,ti),实现步骤为:
(3a1)计算每个子场景Si中图像子集合Ai对应的局部相机位置坐标集合Pi的平均中心
Figure FDA0003846757190000042
和GPS全局坐标子集合GPSi的平均中心
Figure FDA0003846757190000043
并通过
Figure FDA0003846757190000044
Figure FDA0003846757190000045
构造相关系数矩阵Hi
Figure FDA0003846757190000046
其中,∑表示求和操作,(·)T表示转置操作;
(3a2)对相关系数矩阵Hi进行奇异值分解,得到共轭转置矩阵Vi、对角矩阵Σi和酉矩阵Ui,并通过Vi和Ui计算旋转矩阵Ri
[Uii,Vi]=SVD(Hi)
Ri=ViUi T
其中,SVD(·)表示奇异值分解;
(3a3)通过旋转矩阵Ri计算平移向量ti,并通过Ri和ti构造每个子场景Si中从局部坐标系Li到全局坐标系G的变换矩阵Ti(Ri,ti)=[Ri ti],其中,ti的计算公式为:
Figure FDA0003846757190000047
CN202110808508.4A 2021-07-16 2021-07-16 基于gps信息辅助及空间网格划分的点云配准方法 Active CN113506374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110808508.4A CN113506374B (zh) 2021-07-16 2021-07-16 基于gps信息辅助及空间网格划分的点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110808508.4A CN113506374B (zh) 2021-07-16 2021-07-16 基于gps信息辅助及空间网格划分的点云配准方法

Publications (2)

Publication Number Publication Date
CN113506374A CN113506374A (zh) 2021-10-15
CN113506374B true CN113506374B (zh) 2022-12-02

Family

ID=78013665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110808508.4A Active CN113506374B (zh) 2021-07-16 2021-07-16 基于gps信息辅助及空间网格划分的点云配准方法

Country Status (1)

Country Link
CN (1) CN113506374B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044355A (zh) * 2019-04-19 2019-07-23 苏州尚能物联网科技有限公司 一种融合建筑语义的室内导航定位系统
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044355A (zh) * 2019-04-19 2019-07-23 苏州尚能物联网科技有限公司 一种融合建筑语义的室内导航定位系统
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Palmprint Recognition Using 3-D Information;David Zhang等;《IEEE TRANSACTIONS ON SYSTEMS》;20090930;第39卷(第5期);第505-519页 *
Real-time 3D mapping using a 2D laser scanner and IMU-aided visual SLAM;Mengxiao Chen等;《IEEE Xplore》;20180312;全文 *
基于图像拼接的室外环境地面特征地图创建;方辉等;《上海交通大学学报》;20090628(第06期);全文 *
基于多视角航拍配准的运动小目标检测与跟踪;易盟等;《计算机工程与应用》;20160715(第14期);全文 *
大规模三维场景可视化的数据组织方法研究;翟巍等;《计算机工程》;20031020(第20期);全文 *

Also Published As

Publication number Publication date
CN113506374A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN111507901B (zh) 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN109903319B (zh) 一种基于多分辨率的快速迭代最近点配准算法
CN111161364B (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN108416801B (zh) 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法
CN113034593B (zh) 6d位姿标注方法、系统及存储介质
CN112634163A (zh) 基于改进型循环生成对抗网络去图像运动模糊方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN114666564A (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
CN116543117B (zh) 一种无人机影像的高精度大场景三维建模方法
CN111476835A (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114066953A (zh) 一种针对刚性目标的三维多模态图像可变形配准方法
CN112489198A (zh) 一种基于对抗学习的三维重建系统及其方法
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN109934283A (zh) 一种融合cnn和sift光流的自适应运动目标检测方法
CN113902779A (zh) 一种基于张量投票方法的点云配准方法
CN113506374B (zh) 基于gps信息辅助及空间网格划分的点云配准方法
Zhou et al. Stn-homography: estimate homography parameters directly
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
CN115423854A (zh) 一种基于多尺度特征提取的多视角点云配准及点云融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant