CN109613558B - 一种全固态激光雷达系统的数据融合并行处理方法及系统 - Google Patents

一种全固态激光雷达系统的数据融合并行处理方法及系统 Download PDF

Info

Publication number
CN109613558B
CN109613558B CN201811514404.7A CN201811514404A CN109613558B CN 109613558 B CN109613558 B CN 109613558B CN 201811514404 A CN201811514404 A CN 201811514404A CN 109613558 B CN109613558 B CN 109613558B
Authority
CN
China
Prior art keywords
data
processing
depth
depth data
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811514404.7A
Other languages
English (en)
Other versions
CN109613558A (zh
Inventor
孙礼朋
陈永然
隋学夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUA KEBO BOCHUANG TECHNOLOGY Co Ltd
Original Assignee
BEIJING HUA KEBO BOCHUANG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUA KEBO BOCHUANG TECHNOLOGY Co Ltd filed Critical BEIJING HUA KEBO BOCHUANG TECHNOLOGY Co Ltd
Priority to CN201811514404.7A priority Critical patent/CN109613558B/zh
Publication of CN109613558A publication Critical patent/CN109613558A/zh
Application granted granted Critical
Publication of CN109613558B publication Critical patent/CN109613558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种全固态激光雷达系统的深度数据并行处理方法,包括:步骤一,ToF(时间飞行)传感器在嵌入式处理器控制下采集数据,嵌入式处理器处理生成深度数据;步骤二,可见光传感器在所述嵌入式处理器控制下采集可见光数据,嵌入式处理器处理生成可见光图像;步骤三,采用数据融合处理模块按给定的分辨率要求对深度数据和可见光图像进行插值或抽样处理后,进行数据融合;步骤四,将深度数据、可见光图像以及融合后的数据发送给数据请求方。还公开了相应的处理系统,包括:置于全固态激光雷达系统的数据处理系统内的FPGA或多核处理器,包括操作系统任务调度模块、数据实时转换模块以及多算法并行处理模块。

Description

一种全固态激光雷达系统的数据融合并行处理方法及系统
技术领域
本发明涉及全固态激光雷达技术,且特别涉及一种全固态激光雷达系统的数据融合并行处理方法及系统。
背景技术
激光雷达按照有无机械旋转部件分类,分为机械扫描式激光雷达和全固态激光雷达。机械式激光雷达带有控制激光发射角度的旋转部件,而全固态激光雷达则依靠电子部件来控制激光发射角度,无需机械旋转部件。传统的激光雷达主要是机械式扫描雷达,特点是扫描帧频低、速度慢、体积大、成本高、距离远等,主要应用于军事和国家地理信息遥感探测、资源勘测、防震减灾及国家重点建设项目等方面,为国民经济、社会发展和科学研究提供了极为重要的原始资料,并取得了显著的经济效益。
激光雷达可以获得直接对地定位的地面采样点,激光扫描的频率从2kHz增长到250kHz,从只能记录单次回波到可以记录多次回波乃至进行全波形观测,精度从几分米升到几厘米,点密度达到20-50点/平方米,扫描数据可以直接用于大比例尺数字高程模型的生产。激光雷达获取的数据通常是无拓扑结构的空间离散坐标点集,也就是点云,尽管星载、机载、地面和车载激光雷达仪获得的点云数据的采样点密度和精度存在差异,对于利用这些平台获取的点云数据的处理过程是相似的。点云分隔是点云数据的标记过程,经过标记后,属性相同或相近、且空间近邻的点被划分为一类,一般分为直接分割法和间接分割法,对于直接分割法,使用Hough变换能够直接从点云数据中提取几何参数,在实现分割的同时获得地物和目标物体的几何描述信息;对于间接分割法,通过计算空间近邻度和几何导出值,利用渐进算法,如基于聚类的分割法和区域增长算法进行分割。基于聚类的分割法通过向量量化技术把局部几何/辐射特征参数相似的数据归为一类,在此基础上依据一定的规则对属于不同聚类的点进行分割。区域增长算法首先在点云中选取种子表面,基于空间邻近和几何相似性度量对事先确定的种子表面进行增长以实现数据分割。然而这些数据方法无法控制内存和硬盘临时存储的使用量,无法一次性处理超大数据量的点云数据,此外,无法同步进行多数据整体滤波算法,对于复杂扫描数据滤波效果差,精度低,从而获得的位姿等基础信息不够准确,目标识别精度低。
发明内容
为了实现上述目的,本发明的目的在于提供一种全固态激光雷达系统的深度数据并行处理方法,包括:
步骤一,ToF(时间飞行)传感器在嵌入式处理器控制下采集数据,所述嵌入式处理器处理生成深度数据;
步骤二,可见光传感器在所述嵌入式处理器控制下采集可见光数据,所述嵌入式处理器处理生成可见光图像;
步骤三,采用数据融合处理模块按给定的分辨率要求对所述深度数据和所述可见光图像进行插值或抽样处理后,进行数据融合;
步骤四,将所述深度数据、可见光图像以及融合后的数据发送给数据请求方。
优选的,所述步骤一包括:
步骤1-1,在所述嵌入式处理器控制下,所述ToF传感器在给定的工作参数下,所有像素点同时采集回波信号强度,并将模拟数字转换器转换后的数字信号发送给所述嵌入式处理器;
步骤1-2,所述嵌入式处理将接收到的原始数据,计算成4组差分幅值数据DCS0、DCS1、DCS2、DCS3;
步骤1-3,使用相位差方法,使用差分幅值数据DCS0、DCS1、DCS2、DCS3计算每个像素点的距离数据d;
步骤1-4,为提高测量精度,使用ToF传感器的标定数据文件,校准每个像素点的距离数据,修正系统误差;
步骤1-5,根据数据处理要求对所述深度数据进行处理,如果要求对所述深度数据进行滤波处理,使用滤波算法进行数据滤波处理;如果无数据滤波处理要求,转到步骤1-6;
步骤1-6,将生成的深度数据缓存输出给数据融合处理模块;
步骤1-7,本幀数据采集结束,重复步骤1-1至步骤1-6完成所有幀数据采集。
优选的,所述步骤二包括:
步骤2-1,在所述嵌入式处理器的控制下,可见光COMS/CCD传感器在给定的工作参数下,采集生产RGB图像数据并传输给所述嵌入式处理器;
步骤2-2,所述嵌入式处理器对RGB数据进行图像降噪处理;
步骤2-3,将生成的可见光图像数据缓存输出给数据融合处理模块;
步骤2-4,本幀数据采集结束,重复步骤2-1至步骤2-4完成所有幀数据采集。
优选的,所述步骤三包括:
步骤3-1,利用同光轴光学结构,进行深度数据与可见光图像的成像区域调整,使两者的视场接近一致;
步骤3-2,按给定的分辨率要求,使用从低分辨率到高分辨率的插值或从高分辨率到低分辨率的抽样,分别调整深度数据和可见光图像的分辨率,使两者的图像数据便于配准;
步骤3-3,同时对深度数据进行多尺度分解,得到深度底层图像数据;对可见光数据进行细节提取,得到可见光图像细节数据;
步骤3-4,利用所述深度底层图像数据和所述可见光图像细节数据的特征,进行图像融合,重构生成融合数据;
步骤3-5,对生成的所述融合数据进行伪彩色显示处理,生产伪彩色图像输出。
为了实现上述目的,本发明的目的还在于提供一种全固态激光雷达系统的深度数据并行处理系统,包括:
FPGA或多核处理器,所述FPGA或多核处理器置于所述全固态激光雷达系统的数据处理系统内,包括操作系统任务调度模块、数据实时转换模块以及多算法并行处理模块,所述操作系统任务调度模块分别与所述数据实时转换模块以及所述多算法并行处理模块连接,根据时序交替或同时使两个模块工作,所述数据实时转换模块以及所述多算法并行处理模块相互电连接,从而传递数据并进行相应的处理。
优选的,所述FPGA或多核处理器分成独立的3个处理核,分别为1#处理核、2#处理核和3#处理核,1#处理核采集和处理深度数据,2#处理核采集和处理可见光数据,3#处理核实现两种数据的融合处理和数据输出控制,实现多核并行处理。
优选的,所述1#处理核流水线分成:深度数据采集、幅值差分数据解算、原始深度数据解算、误差修正和数据滤波处理这5个流水线段,实现深度数据的单核5段流水处理。
优选的,所述2#处理核流水线分成:可见光RGB数据采集、RGB降噪处理这2个流水线段,实现可见光图像的单核2段流水处理。
优选的,所述3#处理分为2个子处理核4个流水段处理,所述4个流水段包括深度数据分辨率调整、深度数据多尺度分解、RGB图像分别率调整以及可见光图像细节数据提取,其中第一子处理核和第二子处理核分别由2个流水段组出,2个流水段组分别对深度数据和可见光图像进行分辨率调整和融合信息提取处理,处理结果作为图像重构融合和伪彩色图像处理2个流水段的输入,生成伪彩色图像数据输出。
优选的,所述深度数据、可见光图像数据和融合后的所述伪彩色图像数据三种图像数据可独立或同时输出。
本发明的有益效果:
实现了一种通过数据融合进行目标识别的方法和系统,在一定硬件资源的条件下,为加快数据处理速度,提高图像数据帧率,充分挖掘深度数据和可见光数据并行处理的规律,采用单核流水和多核并行的处理方式,加快数据处理流程。使用深度数据采集帧开始信号,同步深度数据与可见光图像采集与处理。
为让本发明的上述和其它目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合附图,作详细说明如下。
附图说明
图1为根据本发明实施例的全固态激光雷达系统的深度数据并行处理方法流程图;
图2为根据本发明实施例的深度数据采集与处理流程图;
图3为根据本发明实施例的可见光图像的采集和处理流程图;
图4为根据本发明实施例的深度数据与可见光图像融合处理流程图;
图5为根据本发明实施例的用于固态激光雷达系统的深度数据并行处理系统结构框图以及与系统其他部件的连接关系;
图6为根据本发明实施例的深度数据和可见光数据并行处理的数据流线图;
图7所示为根据本发明实施例的固态激光雷达系统结构框图及工作流程图。
图8所示为根据本发明实施例的固态激光雷达系统原理程图。
图9所示为根据本发明实施例的固态激光雷达系统组成框图。
图10所示为根据本发明实施例的双谱段共光轴原理框图。
图11所示为根据本发明实施例的合作目标标识点的结构及尺寸示意图。
图12所示为根据本发明实施例的用于固态激光雷达系统的深度数据并行处理方法的位姿测量原理示意图。
具体实施方式
为了满足全固态激光雷达与探测目标的精密测距要求,本实施例设计高精度的全固态激光雷达系统所对应的深度数据并行处理系统,完成对探测目标的高精度距离信息、角度信息及位置信息的测量,实现对目标物体的精确测距、定位及成像。
参见图1,本实施例全固态激光雷达系统的深度数据并行处理方法,包括:
步骤一,ToF(时间飞行)传感器在嵌入式处理器控制下采集数据,嵌入式处理器处理生成深度数据;
步骤二,可见光传感器在所述嵌入式处理器控制下采集可见光数据,嵌入式处理器处理生成可见光图像;
步骤三,采用数据融合处理模块按给定的分辨率要求对深度数据和可见光图像进行插值或抽样处理后,进行数据融合;
步骤四,将深度数据、可见光图像以及融合后的数据发送给数据请求方。
需要说明的是,本实施例中深度数据即深度图像,当然本领域技术人员也可以根据应用的不同将深度数据扩展到其他技术参数,同样也在本发明的保护范围内。
参见图2,步骤一包括:
步骤1-1,在所述嵌入式处理器控制下,所述ToF传感器在给定的工作参数下,所有像素点同时采集回波信号强度,并将模拟数字转换器转换后的数字信号发送给所述嵌入式处理器;
步骤1-2,所述嵌入式处理将接收到的原始数据,计算成4组差分幅值数据DCS0、DCS1、DCS2、DCS3;
步骤1-3,使用相位差方法,使用差分幅值数据DCS0、DCS1、DCS2、DCS3计算每个像素点的距离数据d;
步骤1-4,为提高测量精度,使用ToF传感器的标定数据文件,校准每个像素点的距离数据,修正系统误差;
步骤1-5,根据数据处理要求对深度数据进行处理,如果要求对深度数据进行滤波处理,使用滤波算法进行数据滤波处理;如果无数据滤波处理要求,转到步骤1-6;
步骤1-6,将生成的深度数据缓存输出给数据融合处理模块;
步骤1-7,本幀数据采集结束,重复步骤1-1至步骤1-6完成所有幀数据采集。
参见图3,步骤二包括:
步骤2-1,在嵌入式处理器的控制下,可见光COMS/CCD传感器在给定的工作参数下,采集生产RGB图像数据并传输给嵌入式处理器;
步骤2-2,嵌入式处理器对RGB数据进行图像降噪处理;
步骤2-3,将生成的可见光图像数据缓存输出给数据融合处理模块;
步骤2-4,本幀数据采集结束,重复步骤2-1至步骤2-4完成所有幀数据采集。
参见图4,步骤三包括:
步骤3-1,利用同光轴光学结构,进行深度数据与可见光图像的成像区域调整,使两者的视场接近一致;
步骤3-2,按给定的分辨率要求,使用从低分辨率到高分辨率的插值或从高分辨率到低分辨率的抽样,分别调整深度数据和可见光图像的分辨率,使两者的图像数据便于配准;
步骤3-3,同时对深度数据进行多尺度分解,得到深度底层图像数据;对可见光数据进行细节提取,得到可见光图像细节数据;
步骤3-4,利用深度底层图像数据和所述可见光图像细节数据的特征,进行图像融合,重构生成融合数据;
步骤3-5,对生成的所述融合数据进行伪彩色显示处理,生产伪彩色图像输出。
参见图5,全固态激光雷达系统的深度数据并行处理系统,包括:FPGA或多核处理器,FPGA或多核处理器置于全固态激光雷达系统的数据处理系统内,包括操作系统任务调度模块、数据实时转换模块以及多算法并行处理模块,操作系统任务调度模块分别与数据实时转换模块以及多算法并行处理模块连接,根据时序交替或同时使两个模块工作,数据实时转换模块以及多算法并行处理模块相互电连接,从而传递数据并进行相应的处理。多核数据处理主要分为三部分:多源数据并行采集IP核、深度数据处理单元、高清可见光数据处理单元。其中多源数据并行采集IP核主要完成对深度数据和高清可见光数据的高速并行采集,并将采集到的数据通过片内总线传输给深度数据处理单元和高清可见光数据处理单元,完成深度数据转换及高清可见光数据处理,深度数据与可见光数据同步并进行滤波算法及数据匹配算法等,对配准后的数据进行图像数据配准及融合。多核处理器将阵列探测芯片经过A/D转换电路获得的信号作为其输入信号,阵列探测芯片完成探测目标的高精度距离信息、角度信息及空间位置信息的测量,多核处理器经过对深度数据的并行处理实现对目标物体的精确测距、定位及成像。
参见图6,FPGA或多核处理器分成独立的3个处理核,分别为1#处理核、2#处理核和3#处理核,1#处理核采集和处理深度数据,2#处理核采集和处理可见光数据,3#处理核实现两种数据的融合处理和数据输出控制,实现多核并行处理。1#处理核流水线分成:深度数据采集、幅值差分数据解算、原始深度数据解算、误差修正和数据滤波处理这5个流水线段,实现深度数据的单核5段流水处理。2#处理核流水线分成:可见光RGB数据采集、RGB降噪处理这2个流水线段,实现可见光图像的单核2段流水处理。3#处理分为2个子处理核4个流水段处理,4个流水段包括深度数据分辨率调整、深度数据多尺度分解、RGB图像分别率调整以及可见光图像细节数据提取,其中第一子处理核和第二子处理核分别由2个流水段组出,2个流水段组分别对深度数据和可见光图像进行分辨率调整和融合信息提取处理,处理结果作为图像重构融合和伪彩色图像处理2个流水段的输入,生成伪彩色图像数据输出。
根据需要,深度数据、可见光图像数据和融合后的所述伪彩色图像数据三种图像数据可独立或同时输出。
参见图7,该数据融合并行处理系统所应用的全固态面阵三维成像激光雷达系统,包括:探测目标,探测目标安装在所述全固态面阵三维成像激光雷达的对接面,使追踪探测目标的所述全固态面阵三维成像激光雷达系统所发射的脉冲激光信号原路返回,由全固态面阵三维成像激光雷达系统的接收探测系统完成对所述探测目标的搜索、捕获,实时获取所述探测目标的相对距离、位置测量参数,在探测目标与所述激光雷达的激光照射范围内采集探测目标多个特征点,特征点设定在固定发散角的光学视场区域内,并能够便于目标识别;激光面阵数据采集及点云生成模块,完成探测目标的测量和特征点的深度数据生成,并传输给数据处理系统,采集的所述数据包括两种,即所有像素点的距离数据与可见光像素数据;以及数据处理系统,数据处理系统根据每个特征点的深度数据以及在视场区域的像素位置计算空间位置信息,进行探测目标的角度及距离数据解算以及位姿数据解算
参见图8,激光面阵数据采集及点云生成模块包括:激光驱动及控制单元,由传感器主控单元以及激光调制单元组成,传感器主控单元用于产生激光调制信号,激光调制单元实现为激光调制板;调制激光发射单元,由激光器阵列模块以及光学整形模块构成,激光光源照射激光器阵列模块形成激光照明,光学整形模块包括多个光学镜片;调制激光接收单元,由接收镜片、信号接收阵列模块组成;以及光学接收及光电转换单元,由探测阵列、模型转换以及时序发生器构成。
为了使全固态激光雷达系统轻型化并且便于携带,系统还设置多个结构部件,结构部件包括设置在调制激光发射单元以及调制激光接收单元下方的结构底座,便于放置和调平,以及设置在全固态激光雷达系统外侧的结构外壳,防止碰撞带来对内部设备的损伤。
参见图9,数据处理系统包括:激光器驱动模块,光电转换模块,功率控制模块,信号采集模块,参数存储模块以及数据处理模块,其中数据处理模块包括用于处理相位数据的深度数据处理单元、角度及距离数据解算单元和/或位姿数据处理单元,深度数据处理单元将深度数据传送给总线,参数存储模块包括与所述深度数据处理单元连接的第一存储单元和缓存,以及与总线连接的第二存储单元。本实施例中,数据处理系统还包括温度采集模块,从而确保使得所述固态面阵激光雷达系统工作在适当的温度范围内。本实施例中,信号采集电路实现为数据采集及读数电路。
参见图10,为了提升固态激光雷达深度数据与高清二维可见光图像的配准效率和匹配精度,固态激光雷达采用一种共光轴的光学接收系统技术。探测阵列包括CCD传感器以及面阵雷达阵列传感器,基于同一个主光路系统,固态激光雷达与可见光采用不同的谱段光,编码脉冲发射光进入主发射光路以及副镜组成的光路系统后,可见光谱段光通过普通反射镜进行90°折返到CCD传感器,近红外谱段光通过透镜在所述面阵雷达阵列传感器,形成深度与可见光数据共光轴采集。本实施例中,CCD传感器用于可见光相机,所述面阵雷达阵列传感器用于激光雷达面阵探测器。共光轴的光学接收部分还包括像素校正模块,设置在普通反射镜和透镜与光路系统之间,从而使得获得的图像精度更高。
将本实施例的固态激光雷达系统用于全固态激光雷达,通过激光光源发射850nm的脉冲激光照射被测物体,光学接收系统采集探测目标的发射的脉冲光,通过数据采集电路及深度数据处理单元,转换成探测目标的深度数据,在数据处理单元中计算出每个像素点与中心轴的方位角,位姿数据解算单元根据特征点的距离和方位角信息进行位姿数据解算,并以25Hz的数据刷新率传输给数据后处理系统,满足数据后处理系统指令周期的要求,从而实现了一种通过深度数据进行目标识别的系统和方法,获得针对高精度、大动态范围、响应快、轻小型的固态激光雷达系统进行深度数据并行处理从而对目标进行识别。
参见图11,关于探测目标以及特征点的设计(本实施例实现为标靶形式):在交汇对接的探测目标设计便于识别的特征点,特征点设计为采用6个角反射器组成,利于特征点上850nm脉冲激光波长的采集探测目标的底面距离。探测目标的特征点设计初步采用多点法设置,特征点布局设计需要兼容远近场的目标识别,探测目标的尺寸为560mm*560mm*150mm,因此,探测目标特征点的距离尺寸如图5所示。
参见图12,将固态激光雷达系统的深度数据并行处理方法应用于本实施例中完成整体目标,包括:
(1)设置固态激光雷达系统所在坐标位置为原点O,识别三点A,B,C形成的合作目标ABC以及合作目标ABC的特征,合作目标的特征比如三点的比例关系,具体布局如图11所示;
(2)根据所述合作目标ABC在相元上的位置,解算原点O与所述合作目标上某点O1的连线OO1形成的水平俯仰角以及所述连线的距离;
(3)根据特征目标的距离信息,即OA、OB、OC及其AB、AC、BC之间的距离,确定ABC三点的空间坐标,进而解算目标的姿态,完成位置姿态解算;
(4)基于总线方式进行位置姿态数据实时输出;
(5)基于总线方式向外设共享激光雷达的距离信息。
虽然本发明已经参考特定的说明性实施例进行了描述,但是不会受到这些实施例的限定而仅仅受到附加权利要求的限定。本领域技术人员应当理解可以在不偏离本发明的保护范围和精神的情况下对本发明的实施例能够进行改动和修改。

Claims (7)

1.一种全固态激光雷达系统的深度数据并行处理方法,其特征在于包括:
步骤一,ToF(时间飞行)传感器在嵌入式处理器控制下采集数据,所述嵌入式处理器处理生成深度数据;
步骤二,可见光传感器在所述嵌入式处理器控制下采集可见光数据,所述嵌入式处理器处理生成可见光图像;
步骤三,采用数据融合处理模块按给定的分辨率要求对所述深度数据和所述可见光图像进行插值或抽样处理后,进行数据融合;
步骤四,将所述深度数据、可见光图像以及融合后的数据发送给数据请求方;所述步骤一包括:
步骤1-1,在所述嵌入式处理器控制下,所述ToF传感器在给定的工作参数下,所有像素点同时采集回波信号强度,并将模拟数字转换器转换后的数字信号发送给所述嵌入式处理器;
步骤1-2,所述嵌入式处理将接收到的原始数据,计算成4组差分幅值数据DCS0、DCS1、DCS2、DCS3;
步骤1-3,使用相位差方法,使用差分幅值数据DCS0、DCS1、DCS2、DCS3计算每个像素点的距离数据d;
步骤1-4,为提高测量精度,使用ToF传感器的标定数据文件,校准每个像素点的距离数据,修正系统误差;
步骤1-5,根据数据处理要求对所述深度数据进行处理,如果要求对所述深度数据进行滤波处理,使用滤波算法进行数据滤波处理;如果无数据滤波处理要求,转到步骤1-6;
步骤1-6,将生成的深度数据缓存输出给数据融合处理模块;
步骤1-7,本幀数据采集结束,重复步骤1-1至步骤1-6完成所有幀数据采集;所述步骤二包括:
步骤2-1,在所述嵌入式处理器的控制下,可见光COMS/CCD传感器在给定的工作参数下,采集生产RGB图像数据并传输给所述嵌入式处理器;
步骤2-2,所述嵌入式处理器对RGB数据进行图像降噪处理;
步骤2-3,将生成的可见光图像数据缓存输出给数据融合处理模块;
步骤2-4,本幀数据采集结束,重复步骤2-1至步骤2-4完成所有幀数据采集;所述步骤三包括:
步骤3-1,利用同光轴光学结构,进行深度数据与可见光图像的成像区域调整,使两者的视场接近一致;
步骤3-2,按给定的分辨率要求,使用从低分辨率到高分辨率的插值或从高分辨率到低分辨率的抽样,分别调整深度数据和可见光图像的分辨率,使两者的图像数据便于配准;
步骤3-3,同时对深度数据进行多尺度分解,得到深度底层图像数据;对可见光数据进行细节提取,得到可见光图像细节数据;
步骤3-4,利用所述深度底层图像数据和所述可见光图像细节数据的特征,进行图像融合,重构生成融合数据;
步骤3-5,对生成的所述融合数据进行伪彩色显示处理,生产伪彩色图像输出;
通过激光光源发射850nm的脉冲激光照射被测物体,采集探测目标的发射的脉冲光,转换成探测目标的深度数据,计算出每个像素点与中心轴的方位角,根据特征点的距离和方位角信息进行位姿数据解算,并以25Hz的数据刷新率传输给数据后处理系统。
2.一种全固态激光雷达系统的深度数据并行处理系统,用于实现权利要求1所述的一种全固态激光雷达系统的深度数据并行处理方法,其特征在于包括:
FPGA或多核处理器,所述FPGA或多核处理器置于所述全固态激光雷达系统的数据处理系统内,包括操作系统任务调度模块、数据实时转换模块以及多算法并行处理模块,所述操作系统任务调度模块分别与所述数据实时转换模块以及所述多算法并行处理模块连接,根据时序交替或同时使两个模块工作,所述数据实时转换模块以及所述多算法并行处理模块相互电连接,从而传递数据并进行相应的处理。
3.根据权利要求2所述一种全固态激光雷达系统的深度数据并行处理系统,其特征在于:所述FPGA或多核处理器分成独立的3个处理核,分别为1#处理核、2#处理核和3#处理核,1#处理核采集和处理深度数据,2#处理核采集和处理可见光数据,3#处理核实现两种数据的融合处理和数据输出控制,实现多核并行处理。
4.根据权利要求3所述一种全固态激光雷达系统的深度数据并行处理系统,其特征在于:所述1#处理核流水线分成:深度数据采集、幅值差分数据解算、原始深度数据解算、误差修正和数据滤波处理这5个流水线段,实现深度数据的单核5段流水处理。
5.根据权利要求3所述一种全固态激光雷达系统的深度数据并行处理系统,其特征在于:所述2#处理核流水线分成:可见光RGB数据采集、RGB降噪处理这2个流水线段,实现可见光图像的单核2段流水处理。
6.根据权利要求3所述一种全固态激光雷达系统的深度数据并行处理系统,其特征在于:所述3#处理分为2个子处理核4个流水段处理,所述4个流水段包括深度数据分辨率调整、深度数据多尺度分解、RGB图像分别率调整以及可见光图像细节数据提取,其中第一子处理核和第二子处理核分别由2个流水段组出,2个流水段组分别对深度数据和可见光图像进行分辨率调整和融合信息提取处理,处理结果作为图像重构融合和伪彩色图像处理2个流水段的输入,生成伪彩色图像数据输出。
7.根据权利要求6所述一种全固态激光雷达系统的深度数据并行处理系统,其特征在于:所述深度数据、可见光图像数据和融合后的所述伪彩色图像数据三种图像数据可独立或同时输出。
CN201811514404.7A 2018-12-12 2018-12-12 一种全固态激光雷达系统的数据融合并行处理方法及系统 Active CN109613558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811514404.7A CN109613558B (zh) 2018-12-12 2018-12-12 一种全固态激光雷达系统的数据融合并行处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811514404.7A CN109613558B (zh) 2018-12-12 2018-12-12 一种全固态激光雷达系统的数据融合并行处理方法及系统

Publications (2)

Publication Number Publication Date
CN109613558A CN109613558A (zh) 2019-04-12
CN109613558B true CN109613558B (zh) 2019-11-19

Family

ID=66008870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811514404.7A Active CN109613558B (zh) 2018-12-12 2018-12-12 一种全固态激光雷达系统的数据融合并行处理方法及系统

Country Status (1)

Country Link
CN (1) CN109613558B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置
KR20220006638A (ko) * 2019-05-13 2022-01-17 아우스터, 인크. 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처
CN110619617B (zh) * 2019-09-27 2022-05-27 中国科学院长春光学精密机械与物理研究所 三维成像方法、装置、设备及计算机可读存储介质
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
CN112147640A (zh) * 2020-11-03 2020-12-29 重庆九洲星熠导航设备有限公司 一种激光雷达回波重构方法、装置、存储介质及系统
CN112446343B (zh) * 2020-12-07 2024-03-15 园测信息科技股份有限公司 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
CN112529088B (zh) * 2020-12-17 2024-06-21 中国航空工业集团公司成都飞机设计研究所 一种嵌入式异构显示融合系统
CN113746565B (zh) * 2021-09-08 2022-08-09 西安应用光学研究所 线阵反狙击手探测系统激光回波信号接收装置及方法
CN116698016B (zh) * 2023-08-04 2023-10-20 西安交通大学 复杂狭窄空间微型雷达阵列建图系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513129A (zh) * 2016-01-15 2016-04-20 浙江中产科技有限公司 基于激光3d建模自动棒材计数系统
CN109564290A (zh) * 2016-08-08 2019-04-02 微软技术许可有限责任公司 用于结构化光对象捕获的混合成像传感器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241315A (en) * 1992-08-13 1993-08-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Micro pulse laser radar
CN106600570A (zh) * 2016-12-07 2017-04-26 西南科技大学 一种基于云计算的海量点云滤波方法
CN107067470B (zh) * 2017-04-05 2019-09-06 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN207976426U (zh) * 2017-10-16 2018-10-16 清华大学 危化品移动侦查装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513129A (zh) * 2016-01-15 2016-04-20 浙江中产科技有限公司 基于激光3d建模自动棒材计数系统
CN109564290A (zh) * 2016-08-08 2019-04-02 微软技术许可有限责任公司 用于结构化光对象捕获的混合成像传感器

Also Published As

Publication number Publication date
CN109613558A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109613558B (zh) 一种全固态激光雷达系统的数据融合并行处理方法及系统
CN109375237B (zh) 一种全固态面阵三维成像激光雷达系统
US10303966B2 (en) Method and system of image-based change detection
CN108828606B (zh) 一种基于激光雷达和双目可见光相机联合测量方法
US7417717B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
McManus et al. Towards appearance-based methods for lidar sensors
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
US10877143B2 (en) Method and device for geo-referencing aerial image data with the aid of SAR image data
CN207380238U (zh) 一种基于衍射光学的激光雷达
CN101604018A (zh) 高分辨率遥感影像数据处理方法及其系统
Kunz et al. Map building fusing acoustic and visual information using autonomous underwater vehicles
Vacca et al. The use of the UAV images for the building 3D model generation
CN104567870A (zh) 一种单像素星敏感器及其目标星空探测方法
CN116245757B (zh) 多模态数据的多场景通用性遥感影像云修复方法和系统
CN105783754A (zh) 基于三维激光扫描的GBInSAR三维位移场提取方法
Gu et al. An intensity-independent stereo registration method of push-broom hyperspectral scanner and LiDAR on UAV platforms
CN103728022A (zh) 一种坏像元的校正方法
Rossmann et al. Discussion of a self-localization and navigation unit for mobile robots in extraterrestrial environments
Bi et al. LiDAR Technology
CN109211223A (zh) 一种集成化接近测量敏感器及系统
Kong et al. High-resolution single-photon LiDAR without range ambiguity using hybrid-mode imaging
Wei et al. A Compact Handheld Sensor Package with Sensor Fusion for Comprehensive and Robust 3D Mapping
Rossmann et al. Advanced self-localization and navigation for mobile robots in extraterrestrial environments
Stanojević et al. Digital Surface Model Generation with Aerial Surveying System “LEICA ADS80”
Li et al. Large-scale automatic block adjustment from satellite to indoor photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant