CN107204037A - 基于主被动三维成像系统的三维影像生成方法 - Google Patents

基于主被动三维成像系统的三维影像生成方法 Download PDF

Info

Publication number
CN107204037A
CN107204037A CN201610152716.2A CN201610152716A CN107204037A CN 107204037 A CN107204037 A CN 107204037A CN 201610152716 A CN201610152716 A CN 201610152716A CN 107204037 A CN107204037 A CN 107204037A
Authority
CN
China
Prior art keywords
image
data
sub
laser
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610152716.2A
Other languages
English (en)
Other versions
CN107204037B (zh
Inventor
李传荣
黎荆梅
周梅
胡坚
张慧静
朱晓玲
马莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Opto Electronics of CAS
Original Assignee
Academy of Opto Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Opto Electronics of CAS filed Critical Academy of Opto Electronics of CAS
Priority to CN201610152716.2A priority Critical patent/CN107204037B/zh
Publication of CN107204037A publication Critical patent/CN107204037A/zh
Application granted granted Critical
Publication of CN107204037B publication Critical patent/CN107204037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于主被动三维成像系统的三维影像生成方法，首先获取平台的位置姿态数据、激光测距数据以及影像数据；接着得到影像传感器扫描时刻的位置姿态数据和激光雷达扫描时刻的位置姿态数据；再得到激光雷达点云数据；然后激光雷达点云数据与影像数据在像方匹配，并计算得到第一类影像像点的大地坐标和第二类影像像点的高程值，并生成三维影像，本发明基于主被动三维成像系统这一类新型载荷，将激光雷达点云数据与影像数据在像方匹配，匹配效率高、自动化程度高；实时性好，在处理速度上相比其它三维影像生成方法有极大的优势，适用于机载、星载等各种平台，对大区域城区/山区三维建模具有良好效果。

Description

基于主被动三维成像系统的三维影像生成方法
技术领域
本发明涉及遥感技术领域，尤其涉及一种基于主被动三维成像系统的三维影像生成方法。
背景技术
激光雷达技术是近年来飞速发展的一项快速获取地表三维信息的遥感技术，然而激光点云数据是离散的，且采用单色主动探测方式，其灰度值不能很好的反映地物的真实纹理信息。鉴于此，基于激光雷达数据与影像数据融合的相关研究与应用得到了广泛关注。但是由于激光雷达点云与光学影像所反映的地物属性特征完全不同，目前的配准算法在性能、普适性等方面还存在诸多问题，具体表现在多数方法适用于城市中具有较多规则形状目标的区域，同名特征的提取自动化程度不高，同名特征提取、离散激光点的空间搜索等过程制约激光点云与影像配准速度等方面。
在此情况下，一种集成了激光雷达系统与相机的主被动三维成像系统应运而生。该系统包含线阵激光雷达系统与线阵相机两类传感器，采用线阵推扫的方式对目标扫描成像。通过时间同步控制单元，使得激光雷达系统发射时刻与相机采样时刻保持固定倍频关系，保证在飞行方向上激光扫描行与相机扫描行的固定对应关系；通过实验室光轴对准，使得激光探元与相机探测器像元一一对应，保证在垂直于飞行方向上激光点与影像像点之间的对应关系。从系统设计的角度即保证了激光雷达点与影像像点的准确对应，从而减少在数据匹配融合中的计算量，使激光点云与影像的自动实时匹配成为可能。
目前对于机载影像和激光点云数据生成三维影像主要利用面阵影像数据，一般方法是将影像和激光点云数据分别处理生成正射影像以及DEM，再进行套合。首先通过时间同步分别获得影像与激光雷达扫描时刻的位置姿态数据；之后将激光测距数据处理生成激光点云数据，进而生成DEM数据；同时对影像数据进行几何纠正，得到正射影像。在影像几何纠正的过程中，可以利用激光雷达点云生成的DEM，也可以利用影像前方交会生成的DEM。最后将DEM数据与正射影像数据进行叠加，得到三维影像。该方法步骤繁多，尤其是对于面阵影像的处理，难以满足应急任务中实时处理要求。对于机载线阵影像和激光点云数据生成三维影像的方法，目前尚未见报道，但也可沿用上述处理思路。因此有必要探索一种高效、适应度广的三维影像实时生成方法。
发明内容
(一)要解决的技术问题
为了解决现有技术问题，本发明提供了一种基于主被动三维成像系统的三维影像生成方法。
(二)技术方案
本发明提供了一种基于主被动三维成像系统的三维影像生成方法，包括：步骤A：利用POS系统获取平台的位置姿态数据，利用主被动三维成像系统获取激光测距数据以及影像数据；步骤B：基于所述平台的位置姿态数据得到影像传感器扫描时刻的位置姿态数据和激光雷达扫描时刻的位置姿态数据；步骤C：基于所述激光雷达扫描时刻的位置姿态数据和所述激光测距数据，利用激光雷达三维点云计算模型，得到激光雷达点云数据；步骤D：所述激光雷达点云数据与所述影像数据在像方匹配，并计算得到第一类影像像点的大地坐标和第二类影像像点的高程值，其中，所述第一类影像像点为所述激光雷达点云数据中的有效激光点对应的影像像点，所述第二类影像像点为所述影像数据中其余的没有有效激光点对应的影像像点；以及步骤E：基于所述第二类影像像点的高程值和图像坐标、所述影像传感器扫描时刻的位置姿态数据和内方位元素得到第二类影像像点大地坐标，并基于所述第一类影像像点和第二类影像像点生成三维影像。
优选地，所述步骤A具体包括：子步骤A1：利用所述POS系统获取平台的位置姿态数据，其中所述POS系统的GPS获取位置数据，IMU获取姿态数据；在子步骤A1的同时还包括子步骤A2和A3：子步骤A2：利用所述主被动三维成像系统中的激光雷达获取所述激光测距数据，其中，所述激光雷达一扫描时刻的反射点与所述激光雷达的斜距作为所述扫描时刻的激光测距数据，所有扫描时刻的激光测距数据作为激光测距数据；以及子步骤A3：利用所述主被动三维成像系统中的影像传感器获得影像数据，其中，所述影像传感器以倍频于激光雷达扫描频率的频率沿平台飞行方向推扫，所述影像传感器的一个扫描时刻对应一行影像，所有扫描时刻的影像行形成影像数据。
优选地，所述步骤C具体包括：子步骤C1：基于激光雷达的一扫描时刻的位置姿态数据、所述扫描时刻的一反射点与激光雷达的斜距，利用激光雷达三维点云计算模型，得到所述反射点对应的激光点的三维大地坐标；子步骤C2：根据所述激光点与其邻近激光点的关系判断所述激光点是否是粗差点，若是，则将所述激光点的三维大地坐标设为默认值，否则所述激光点为有效激光点并保留所述有效激光点的三维大地坐标值；子步骤C3：对所述扫描时刻的所有反射点执行子步骤C1、C2，得到所述扫描时刻所有激光点的三维大地坐标，作为激光雷达点云数据的一行；子步骤C4：将所有扫描时刻的激光雷达点云数据行作为激光雷达点云数据；以及子步骤C5：将计算得到的激光雷达点云数据保存为规则格网格式，激光雷达点云数据的每一行对应激光雷达的一个扫描时刻。
优选地，所述步骤D具体包括：子步骤D1：基于激光雷达扫描时刻和影像传感器扫描时刻，搜索激光点云数据行对应的影像行，根据激光雷达探元与影像传感器像元的对应关系表，匹配得到激光雷达点云数据激光点对应的影像像点的图像坐标；子步骤D2：提取激光雷达点云数据中的有效激光点，所述有效激光点的三维大地坐标作为所述有效激光点对应的影像像点的大地坐标，得到第一类影像像点的大地坐标；子步骤D3：对与激光雷达点云数据行相对应的影像行进行高程内插处理；以及子步骤D4：对影像列进行高程内插处理，得到第二类影像像点的高程值。
优选地，所述步骤E具体包括：子步骤E1：基于一第二类影像像点的高程值和图像坐标、影像传感器扫描时刻的位置姿态数据和内方位元素，采用正解法，利用共线条件方程得到所述第二类影像像点的大地坐标；以及子步骤E2：对所有第二类影像像点执行子步骤E1得到其大地坐标，并对所有坐标点的对应影像像点赋色，得到三维影像。
优选地，所述子步骤D3具体包括：基于激光点与影像像点对应关系，对于第二类影像像点，搜索与影像像点位于同一行的相邻激光点，若所述相邻激光点的大地坐标为默认值，则继续搜索，直至搜索到相邻的有效激光点，基于所述相邻的有效激光点的高程值对影像像点的高程值进行内插。
优选地，所述子步骤D4具体包括：对第二类影像像点，搜索与其位于同一列的、相邻的第一类影像像点，依据所述相邻的第一类影像像点的高程值对第二类影像像点的高程值进行内插。
优选地，所述影像数据是灰度影像、彩色影像、多光谱影像或高光谱影像，对应地，对所有坐标点的对应影像像点赋予灰度值、RGB值或各谱段DN值。
优选地，采用最近邻内插、线性内插或样条内插分别实现所述子步骤D3和子步骤D4中的内插运算；或者，采用最近邻内插、双线性插值、双三次卷积法同时实现子步骤D3和子步骤D4中的内插运算。
优选地，在所述步骤E中采用反解法得到三维影像。
(三)有益效果
从上述技术方案可以看出，本发明的基于主被动三维成像系统的三维影像生成方法具有以下有益效果：
(1)本发明基于主被动三维成像系统这一类新型载荷，将激光雷达点云数据与影像数据在像方匹配，匹配效率高、自动化程度高；
(2)本发明的方法实时性好，在处理速度上相比其它三维影像生成方法有极大的优势，适用于机载、星载等各种平台，对大区域城区/山区三维建模具有良好效果。
附图说明
图1为本发明实施例的基于主被动三维成像系统的三维影像生成方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明的保护范围。
本发明提供了一种基于主被动三维成像系统的三维影像实时生成方法，该方法基于主被动三维成像系统这一类新型载荷，将激光点云与影像数据在像方匹配，得到同时具备目标空间、纹理信息的三维影像，是一种匹配效率高、处理速度快，实时性好，自动化程度高的三维影像生成方法。
本发明实施例的基于主被动三维成像系统的三维影像生成方法，适用于机载、星载等各种飞行平台，主被动三维成像系统一体化集成了激光雷达和影像传感器，二者均采用线阵传感器并共用一个光学镜头，分别作为主动和被动成像系统，二者的线阵传感器与平台飞行方向垂直并沿平台飞行方向逐行扫描成像，主被动三维成像系统与POS系统固联，具有固定的几何关系，POS系统中的GPS和IMU分别提供平台的位置数据和姿态数据。
参见图1，其具体包括：
步骤A：利用POS系统获取平台的位置姿态数据，利用主被动三维成像系统获取激光测距数据以及影像数据。
步骤A具体包括：
子步骤A1：利用POS系统获取平台的位置姿态数据，其中POS系统的GPS获取位置数据，IMU获取姿态数据。
在子步骤A1的同时还包括子步骤A2和A3：
子步骤A2：利用主被动三维成像系统中的激光雷达获取激光测距数据。
子步骤A2具体包括：激光雷达沿平台飞行方向推扫，在一扫描时刻发射多束激光，每束激光经地面的一个反射点(激光脚点)反射后形成反射光束，每个反射光束由激光雷达线阵传感器中对应的探测单元接收，得到该反射点与激光雷达的斜距，该扫描时刻全部反射点与激光雷达的斜距作为该扫描时刻的激光测距数据，所有扫描时刻的激光测距数据作为激光测距数据。
子步骤A3：利用主被动三维成像系统中的影像传感器获得影像数据。
子步骤A3具体包括：影像传感器以倍频于激光雷达扫描频率的频率沿平台飞行方向推扫，其一个扫描时刻对应一行影像，所有扫描时刻的影像行形成影像数据。
步骤B：基于平台的位置姿态数据得到影像传感器扫描时刻的位置姿态数据和激光雷达扫描时刻的位置姿态数据。
步骤B具体包括：
子步骤B1：基于平台的位置姿态数据得到影像传感器扫描时刻的位置姿态数据。
由于可能出现影像传感器扫描频率高于POS系统位置姿态数据输出频率，或采样时刻不一致等情况，需要采用内插的方式由POS系统采集的位置姿态数据得到影像传感器扫描时刻的位置姿态数据。
子步骤B1具体包括：基于影像传感器的一待内插扫描时刻，搜索该待内插扫描时刻的前后两个POS系统数据记录时刻的平台位置姿态数据，内插得到该待内插扫描时刻的影像传感器位置数据和姿态数据，对所有扫描时刻进行内插处理，得到影像传感器扫描时刻的位置姿态数据。
优选地，可以采用最近邻内插、线性内插或样条内插等内插方法实现影像传感器扫描时刻位置数据和姿态数据的内插。
子步骤B2：基于影像传感器扫描时刻的位置姿态数据得到激光雷达扫描时刻的位置姿态数据。
由于影像传感器以倍频于激光雷达扫描频率的频率扫描成像，激光雷达的每一扫描时刻均有相应的影像传感器扫描时刻与其对应，因此，
子步骤B2具体包括：按照倍频关系从影像传感器的位置姿态数据中选取激光雷达扫描时刻的位置姿态数据，作为激光雷达扫描时刻的位置姿态数据。
步骤C：基于激光雷达扫描时刻的位置姿态数据和激光测距数据，利用激光雷达三维点云计算模型，得到激光雷达点云数据。
步骤C具体包括：
子步骤C1：基于激光雷达的一扫描时刻的位置姿态数据、该扫描时刻的一反射点与激光雷达的斜距，利用激光雷达三维点云计算模型，得到与该反射点对应的激光点的三维大地坐标。
优选地，该激光雷达三维点云计算模型基于激光扫描坐标系-IMU坐标系-导航投影坐标系-地心坐标系的坐标转换得到激光点三维大地坐标。
优选地，在执行上述激光扫描坐标系与IMU坐标系转换时，使用载荷动态检校参数以提高三维成像精度，该载荷动态检校参数为载荷与POS系统的偏心量和偏心角，可预先确定。
优选地，在执行子步骤C1前，利用载荷静态检校参数对所述反射点与激光雷达的斜距及指向角进行校正，并基于校正后的斜距及指向角得到激光点的三维坐标，以提高三维成像精度，该载荷静态检校参数可预先确定。
子步骤C2：根据该激光点与其邻近激光点的关系判断该激光点是否是粗差点，若是，则将该激光点的三维大地坐标设为默认值，否则该激光点为有效激光点并保留该有效激光点的三维大地坐标值。
子步骤C3：对该扫描时刻的所有反射点执行子步骤C1、C2，得到该扫描时刻所有激光点的三维大地坐标，作为激光雷达点云数据的一行。
子步骤C4：将所有扫描时刻的激光雷达点云数据行作为激光雷达点云数据。
子步骤C5：将计算得到的激光雷达点云数据保存为规则格网格式，激光雷达点云数据的每一行对应激光雷达的一个扫描时刻。
优选地，对激光雷达未获得回波的激光点，也用该默认值作为该激光点的三维大地坐标。
步骤D：激光雷达点云数据与影像数据在像方匹配，并计算得到第一类影像像点的大地坐标和第二类影像像点的高程值，其中，该第一类影像像点为激光雷达点云数据中的有效激光点对应的影像像点，该第二类影像像点为影像数据中其余的没有有效激光点对应的影像像点。
步骤D具体包括：
子步骤D1：基于激光雷达扫描时刻和影像传感器扫描时刻，搜索激光点云数据行对应的影像行；根据激光雷达探元与影像传感器像元的对应关系表，匹配得到激光雷达点云数据激光点对应的影像像点的图像坐标。
优选地，所述对应关系表可以根据激光雷达和影像传感器的光轴对应关系，在系统集成装调时预先确定。
子步骤D2：提取激光雷达点云数据中的有效激光点，该有效激光点的三维大地坐标作为该有效激光点对应的影像像点的大地坐标，得到第一类影像像点的大地坐标。
由于激光雷达点云数据相比于影像数据更为稀疏，也就是说，并非所有的影像像点都有对应的有效激光点，对于第二类影像像点，需要利用有效激光点的高程值内插得到这些影像像点的高程值，再进一步得到这些影像像点的大地坐标。
由于激光雷达点云数据中可能存在没有回波的激光点，或者回波作为粗差被滤除掉的激光点，从而导致激光点云格网数据中存在漏点，在内插影像点高程时，不能直接使用四邻域的激光点。为加快处理速度，高程内插采用如下方法进行。
子步骤D3：对与激光雷达点云数据行相对应的影像行进行高程内插处理。
子步骤D3具体包括：基于激光点与影像像点对应关系，对于第二类影像像点，搜索与影像像点位于同一行的相邻激光点，若相邻激光点的大地坐标为默认值，则继续搜索，直至搜索到相邻的有效激光点，基于相邻的有效激光点的高程值对影像像点的高程值进行内插。
子步骤D4：对影像列进行高程内插处理，得到第二类影像像点的高程值。
子步骤D4具体包括：对第二类影像像点，搜索与其位于同一列的、相邻的第一类影像像点，依据该相邻第一类影像像点的高程值对第二类影像像点的高程值进行内插。
优选地，可以采用最近邻内插、线性内插或样条内插等内插方法分别实现子步骤D3和子步骤D4中的内插运算。
优选地，可以采用最近邻内插、双线性插值、双三次卷积法等内插方法同时实现子步骤D3和子步骤D4中的内插运算。
步骤E：基于第二类影像像点的高程值和图像坐标、影像传感器扫描时刻的位置姿态数据和内方位元素得到第二类影像像点大地坐标，并基于第一类影像像点和第二类影像像点生成三维影像。
步骤E具体包括：
子步骤E1：基于一第二类影像像点的高程值和图像坐标、影像传感器扫描时刻的位置姿态数据和内方位元素得到该第二类影像像点的大地坐标。
子步骤E1具体包括：采用正解法，利用共线条件方程解算一第二类影像像点A的平面位置坐标XA、YA，解算公式如式(1)：
式中，XA、YA、ZA为影像像点A对应的大地坐标，x、y为影像像点A的图像坐标，x0、y0为影像主点坐标，f为影像传感器的主距，XS、YS、ZS为影像像点A的外方位元素中线元素，a1、a2、a3、b1、b2、b3、c1、c2、c3为影像像点A的外方位元素中角元素构成的旋转矩阵元素。其中，外方位元素可由图像像点A所在扫描行对应的影像传感器扫描时刻的位置姿态数据以及动态检校参数计算得到。
子步骤E2：对所有第二类影像像点执行子步骤E1得到其大地坐标(X，Y，Z)，并对所有坐标点对应的影像像点赋色，得到三维影像。
优选地，影像数据可以是灰度影像、彩色影像、多光谱影像或高光谱影像，在生成三维影像时，只需在建立三维影像内存文件时预留相应的波段数，子步骤E2赋色过程中赋予对应于原始影像的灰度值、RGB值或各谱段DN值即可。
优选地，步骤E还可以采用反解法生成三维影像。
反解法是通过校正后的图像像点大地坐标(X，Y)反求其在原始影像上的像点的图像坐标(x，y)，其中，(X，Y)通过取地面上的一定间隔的方形格网获得。
子步骤E具体包括：
子步骤E1：由影像的四角像点的图像坐标(x，y)、四角像点对应的激光点云数据激光点的高程值、影像传感器扫描时刻的位置姿态数据通过共线条件方程求得三维影像的四角像点的大地坐标(X，Y)，根据设定的采样间隔计算三维影像的格网点平面坐标。
子步骤E2：利用四角像点构建大地坐标与图像坐标的一次多项式关系，预测待处理地面点的扫描行号，反投影迭代求解最佳扫描行，对于给定的地面点(X，Y)，利用共线方程求出对应的像点坐标(x，y)，最后通过内插求得三维影像的高程值和灰度值或光谱值。
至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的基于主被动三维成像系统的三维影像生成方法有了清楚的认识。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种方式，本领域普通技术人员可对其进行简单地更改或替换，例如：
(1)激光雷达点云数据与影像数据的匹配和三维影像生成方法还可以采用其他方法；
(2)实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围；
(3)上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于主被动三维成像系统的三维影像生成方法，其特征在于，包括：
步骤A：利用POS系统获取平台的位置姿态数据，利用主被动三维成像系统获取激光测距数据以及影像数据；
步骤B：基于所述平台的位置姿态数据得到影像传感器扫描时刻的位置姿态数据和激光雷达扫描时刻的位置姿态数据；
步骤C：基于所述激光雷达扫描时刻的位置姿态数据和所述激光测距数据，利用激光雷达三维点云计算模型，得到激光雷达点云数据；
步骤D：所述激光雷达点云数据与所述影像数据在像方匹配，并计算得到第一类影像像点的大地坐标和第二类影像像点的高程值，其中，所述第一类影像像点为所述激光雷达点云数据中的有效激光点对应的影像像点，所述第二类影像像点为所述影像数据中其余的没有有效激光点对应的影像像点；以及
步骤E：基于所述第二类影像像点的高程值和图像坐标、所述影像传感器扫描时刻的位置姿态数据和内方位元素得到第二类影像像点大地坐标，并基于所述第一类影像像点和第二类影像像点生成三维影像。
2.如权利要求1所述的三维影像生成方法，其特征在于，所述步骤A具体包括：
子步骤A1：利用所述POS系统获取平台的位置姿态数据，其中所述POS系统的GPS获取位置数据，IMU获取姿态数据；
在子步骤A1的同时还包括子步骤A2和A3：
子步骤A2：利用所述主被动三维成像系统中的激光雷达获取所述激光测距数据，其中，所述激光雷达一扫描时刻的反射点与所述激光雷达的斜距作为所述扫描时刻的激光测距数据，所有扫描时刻的激光测距数据作为激光测距数据；以及
子步骤A3：利用所述主被动三维成像系统中的影像传感器获得影像数据，其中，所述影像传感器以倍频于激光雷达扫描频率的频率沿平台飞行方向推扫，所述影像传感器的一个扫描时刻对应一行影像，所有扫描时刻的影像行形成影像数据。
3.如权利要求2所述的三维影像生成方法，其特征在于，所述步骤C具体包括：
子步骤C1：基于激光雷达的一扫描时刻的位置姿态数据、所述扫描时刻的一反射点与激光雷达的斜距，利用激光雷达三维点云计算模型，得到所述反射点对应的激光点的三维大地坐标；
子步骤C2：根据所述激光点与其邻近激光点的关系判断所述激光点是否是粗差点，若是，则将所述激光点的三维大地坐标设为默认值，否则所述激光点为有效激光点并保留所述有效激光点的三维大地坐标值；
子步骤C3：对所述扫描时刻的所有反射点执行子步骤C1、C2，得到所述扫描时刻所有激光点的三维大地坐标，作为激光雷达点云数据的一行；
子步骤C4：将所有扫描时刻的激光雷达点云数据行作为激光雷达点云数据；以及
子步骤C5：将计算得到的激光雷达点云数据保存为规则格网格式，激光雷达点云数据的每一行对应激光雷达的一个扫描时刻。
4.如权利要求3所述的三维影像生成方法，其特征在于，所述步骤D具体包括：
子步骤D1：基于激光雷达扫描时刻和影像传感器扫描时刻，搜索激光点云数据行对应的影像行，根据激光雷达探元与影像传感器像元的对应关系表，匹配得到激光雷达点云数据激光点对应的影像像点的图像坐标；
子步骤D2：提取激光雷达点云数据中的有效激光点，所述有效激光点的三维大地坐标作为所述有效激光点对应的影像像点的大地坐标，得到第一类影像像点的大地坐标；
子步骤D3：对与激光雷达点云数据行相对应的影像行进行高程内插处理；以及
子步骤D4：对影像列进行高程内插处理，得到第二类影像像点的高程值。
5.如权利要求1所述的三维影像生成方法，其特征在于，所述步骤E具体包括：
子步骤E1：基于一第二类影像像点的高程值和图像坐标、影像传感器扫描时刻的位置姿态数据和内方位元素，采用正解法，利用共线条件方程得到所述第二类影像像点的大地坐标；以及
子步骤E2：对所有第二类影像像点执行子步骤E1得到其大地坐标，并对所有坐标点的对应影像像点赋色，得到三维影像。
6.如权利要求4所述的三维影像生成方法，其特征在于，所述子步骤D3具体包括：
基于激光点与影像像点对应关系，对于第二类影像像点，搜索与影像像点位于同一行的相邻激光点，若所述相邻激光点的大地坐标为默认值，则继续搜索，直至搜索到相邻的有效激光点，基于所述相邻的有效激光点的高程值对影像像点的高程值进行内插。
7.如权利要求4所述的三维影像生成方法，其特征在于，所述子步骤D4具体包括：
对第二类影像像点，搜索与其位于同一列的、相邻的第一类影像像点，依据所述相邻的第一类影像像点的高程值对第二类影像像点的高程值进行内插。
8.如权利要求5所述的三维影像生成方法，其特征在于，所述影像数据是灰度影像、彩色影像、多光谱影像或高光谱影像，对应地，对所有坐标点的对应影像像点赋予灰度值、RGB值或各谱段DN值。
9.如权利要求4所述的三维影像生成方法，其特征在于，采用最近邻内插、线性内插或样条内插分别实现所述子步骤D3和子步骤D4中的内插运算；或者，采用最近邻内插、双线性插值、双三次卷积法同时实现子步骤D3和子步骤D4中的内插运算。
10.如权利要求1所述的三维影像生成方法，其特征在于，在所述步骤E中采用反解法得到三维影像。
CN201610152716.2A 2016-03-17 2016-03-17 基于主被动三维成像系统的三维影像生成方法 Active CN107204037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610152716.2A CN107204037B (zh) 2016-03-17 2016-03-17 基于主被动三维成像系统的三维影像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610152716.2A CN107204037B (zh) 2016-03-17 2016-03-17 基于主被动三维成像系统的三维影像生成方法

Publications (2)

Publication Number Publication Date
CN107204037A true CN107204037A (zh) 2017-09-26
CN107204037B CN107204037B (zh) 2020-11-24

Family

ID=59903883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610152716.2A Active CN107204037B (zh) 2016-03-17 2016-03-17 基于主被动三维成像系统的三维影像生成方法

Country Status (1)

Country Link
CN (1) CN107204037B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239725A (zh) * 2018-08-20 2019-01-18 广州极飞科技有限公司 基于激光测距装置的地图测绘方法及终端
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN111896972A (zh) * 2020-06-16 2020-11-06 中国工程物理研究院应用电子学研究所 一种机载激光雷达同步控制及数码影像外方位元素列表自动创建方法
CN112260131A (zh) * 2020-09-24 2021-01-22 中国工程物理研究院应用电子学研究所 一种输电线路巡检多源数据高效采集方法及装置
CN112419402A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于多光谱影像和激光点云的定位方法及系统
CN112578395A (zh) * 2021-01-12 2021-03-30 贵州理工学院 一种直升机电力巡线用激光雷达系统
CN113139730A (zh) * 2021-04-27 2021-07-20 浙江悦芯科技有限公司 一种基于数字孪生模型的电力设备状态评估方法及系统
CN114966793A (zh) * 2022-05-25 2022-08-30 上海井融网络科技有限公司 三维测量系统、方法及gnss系统
US11493625B2 (en) 2020-03-16 2022-11-08 Nio Technology (Anhui) Co., Ltd. Simulated LiDAR devices and systems
CN115428443A (zh) * 2020-04-22 2022-12-02 钛隼生物科技股份有限公司 在延展实境影像上增强医学扫描影像信息的方法和系统
CN115588127A (zh) * 2022-10-18 2023-01-10 武汉际上导航科技有限公司 一种机载激光点云与多光谱影像融合的方法
CN115810078A (zh) * 2022-11-22 2023-03-17 武汉际上导航科技有限公司 基于pos数据和机载可见光影像赋色激光点云的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269102A1 (en) * 2006-05-20 2007-11-22 Zheng Wang Method and System of Generating 3D Images with Airborne Oblique/Vertical Imagery, GPS/IMU Data, and LIDAR Elevation Data
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN102645209A (zh) * 2012-04-24 2012-08-22 长江勘测规划设计研究有限责任公司 机载LiDAR点云和高分辨率影像进行空间点的联合定位方法
CN102662179A (zh) * 2012-05-18 2012-09-12 四川省科学城久利科技实业有限责任公司 基于机载激光雷达的三维优化选线方法
CN103076612A (zh) * 2013-01-07 2013-05-01 河海大学 一种激光雷达与航空摄影结合的建筑物测绘方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269102A1 (en) * 2006-05-20 2007-11-22 Zheng Wang Method and System of Generating 3D Images with Airborne Oblique/Vertical Imagery, GPS/IMU Data, and LIDAR Elevation Data
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN102645209A (zh) * 2012-04-24 2012-08-22 长江勘测规划设计研究有限责任公司 机载LiDAR点云和高分辨率影像进行空间点的联合定位方法
CN102662179A (zh) * 2012-05-18 2012-09-12 四川省科学城久利科技实业有限责任公司 基于机载激光雷达的三维优化选线方法
CN103076612A (zh) * 2013-01-07 2013-05-01 河海大学 一种激光雷达与航空摄影结合的建筑物测绘方法
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KENJI OMASA 等: "3D lidar imaging for detecting and understanding plant responses and canopy structure", 《JOURNAL OF EXPERIMENTAL BOTANY》 *
严洁 等: "主被动光学图像融合技术研究", 《中国光学》 *
黎荆梅 等: "三维成像载荷地面快速融合处理方法研究", 《科学技术与工程》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239725A (zh) * 2018-08-20 2019-01-18 广州极飞科技有限公司 基于激光测距装置的地图测绘方法及终端
CN109901139A (zh) * 2018-12-28 2019-06-18 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
US11493625B2 (en) 2020-03-16 2022-11-08 Nio Technology (Anhui) Co., Ltd. Simulated LiDAR devices and systems
CN115428443A (zh) * 2020-04-22 2022-12-02 钛隼生物科技股份有限公司 在延展实境影像上增强医学扫描影像信息的方法和系统
CN111896972A (zh) * 2020-06-16 2020-11-06 中国工程物理研究院应用电子学研究所 一种机载激光雷达同步控制及数码影像外方位元素列表自动创建方法
CN111896972B (zh) * 2020-06-16 2022-10-18 中国工程物理研究院应用电子学研究所 一种机载激光雷达同步控制及数码影像外方位元素列表自动创建方法
CN112260131B (zh) * 2020-09-24 2022-08-09 中国工程物理研究院应用电子学研究所 一种输电线路巡检多源数据高效采集方法及装置
CN112260131A (zh) * 2020-09-24 2021-01-22 中国工程物理研究院应用电子学研究所 一种输电线路巡检多源数据高效采集方法及装置
CN112419402A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于多光谱影像和激光点云的定位方法及系统
CN112578395A (zh) * 2021-01-12 2021-03-30 贵州理工学院 一种直升机电力巡线用激光雷达系统
CN112578395B (zh) * 2021-01-12 2024-01-26 贵州理工学院 一种直升机电力巡线用激光雷达系统
CN113139730B (zh) * 2021-04-27 2022-03-11 浙江悦芯科技有限公司 一种基于数字孪生模型的电力设备状态评估方法及系统
CN113139730A (zh) * 2021-04-27 2021-07-20 浙江悦芯科技有限公司 一种基于数字孪生模型的电力设备状态评估方法及系统
CN114966793A (zh) * 2022-05-25 2022-08-30 上海井融网络科技有限公司 三维测量系统、方法及gnss系统
CN114966793B (zh) * 2022-05-25 2024-01-26 苏州天硕导航科技有限责任公司 三维测量系统、方法及gnss系统
CN115588127A (zh) * 2022-10-18 2023-01-10 武汉际上导航科技有限公司 一种机载激光点云与多光谱影像融合的方法
CN115588127B (zh) * 2022-10-18 2024-05-10 武汉际上导航科技有限公司 机载激光点云与多光谱影像融合的方法
CN115810078A (zh) * 2022-11-22 2023-03-17 武汉际上导航科技有限公司 基于pos数据和机载可见光影像赋色激光点云的方法

Also Published As

Publication number Publication date
CN107204037B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN107204037A (zh) 基于主被动三维成像系统的三维影像生成方法
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
Baltsavias et al. High‐quality image matching and automated generation of 3D tree models
CN103744086B (zh) 一种地面激光雷达与近景摄影测量数据的高精度配准方法
US9275267B2 (en) System and method for automatic registration of 3D data with electro-optical imagery via photogrammetric bundle adjustment
CN110246221A (zh) 真正射影像获得方法及装置
KR20110127202A (ko) 장면 해석과 등록 수행 평가를 위한 2차원 전기광학 이미지와 3차원 포인트 클라우드 데이터의 융합
Guarnieri et al. Digital photogrammetry and laser scanning in cultural heritage survey
CN112710284A (zh) 地面形态检测方法、系统和无人机
Hoegner et al. Evaluation of methods for coregistration and fusion of rpas-based 3d point clouds and thermal infrared images
Guidi et al. 3D Modelling from real data
Eckert et al. Comparison of automatic DSM generation modules by processing IKONOS stereo data of an urban area
Gong et al. A detailed study about digital surface model generation using high resolution satellite stereo imagery
Fritsch et al. Multi-sensors and multiray reconstruction for digital preservation
Bybee et al. Method for 3-D scene reconstruction using fused LiDAR and imagery from a texel camera
CN115825067A (zh) 一种基于无人机的地质信息采集方法、系统及电子设备
Ali-Sisto et al. A method for vertical adjustment of digital aerial photogrammetry data by using a high-quality digital terrain model
Qiao et al. Assessment of geo-positioning capability of high resolution satellite imagery for densely populated high buildings in metropolitan areas
Zhao et al. A review of 3D reconstruction from high-resolution urban satellite images
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
Wu et al. Review of geometric fusion of remote sensing imagery and laser scanning data
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
Haggag et al. Towards automated generation of true orthoimages for urban areas
US20220236055A1 (en) A system and method for providing improved geocoded reference data to a 3d map representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant