CN114913055A - 一种激光雷达传感器内的点云数据处理装置及方法 - Google Patents

一种激光雷达传感器内的点云数据处理装置及方法 Download PDF

Info

Publication number
CN114913055A
CN114913055A CN202210647734.3A CN202210647734A CN114913055A CN 114913055 A CN114913055 A CN 114913055A CN 202210647734 A CN202210647734 A CN 202210647734A CN 114913055 A CN114913055 A CN 114913055A
Authority
CN
China
Prior art keywords
module
point cloud
data
chip
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210647734.3A
Other languages
English (en)
Inventor
张祥建
张旻晋
许达文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shihaixintu Microelectronics Co ltd
Original Assignee
Chengdu Shihaixintu Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shihaixintu Microelectronics Co ltd filed Critical Chengdu Shihaixintu Microelectronics Co ltd
Priority to CN202210647734.3A priority Critical patent/CN114913055A/zh
Publication of CN114913055A publication Critical patent/CN114913055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达传感器内的点云数据处理装置及方法，解决了传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题，其技术方案要点是：第一芯片，用于对接收的光回波信号进行预处理，获得空间坐标信息；第二芯片，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；所述第一芯片和第二芯片通过Chiplet形式进行集成。本发明通过将第一芯片与第二芯片以Chiplet的形式进行结合，将表示点云数据处理器的第二芯片与表示传感器的第一芯片集成到一颗芯片中，两者通过总线来实现数据传输，避免了大量的数据通过铜导线传输，从而解决产生的数据迁移路径长以及功耗高等问题。

Description

一种激光雷达传感器内的点云数据处理装置及方法
技术领域
本发明涉及集成电路领域及人工智能领域，更具体地说，它涉及一种激光雷达传感器内的点云数据处理装置及方法。
背景技术
随着机器人技术，自动驾驶技术的发展，人类对周围环境感知技术的需求越来越旺盛，因此，对周围环境实现高精度的构建技术，成为目前机器人技术，自动驾驶技术的关键技术一致。在众多高精度的环境构建中，点云数据被广泛采用。点云数据通常以3D坐标的点数据构成，辅以色彩数据，方向数据，特征数据等。通过采用激光，摄影，或者超声波等技术来采集物体表面上的采样点的空间坐标，得到的点数据的集合，为“点云数据”。点云数据蕴含丰富的语义信息，传统的数据分析方法无法有效捕捉到，因此，基于深度学习的点云数据信息处理技术，成为点云数据处理领域的关键技术。
现有的点云数据智能处理系统，往往采用点云采集传感器与处理器分离的结构，并且在电路板(PCB)上通过铜导线来实现点云采集传感器与处理器的数据传输，导致大量的点云传感器信息需要经过冗长的数据迁移路径才能到达数据处理模块，造成点云数据处理延迟高，功耗高等问题。
发明内容
本发明为解决传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题，提供一种激光雷达传感器内的点云数据处理装置及方法，本发明通过将第一芯片与第二芯片以Chiplet的形式进行结合，将表示点云数据处理器的第二芯片与表示传感器的第一芯片集成到一颗芯片中，两者通过总线来实现数据传输，避免了大量的数据通过铜导线传输，从而解决传统传感器与点云数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，本申请提供了一种激光雷达传感器内的点云数据处理装置，包括：
第一芯片，用于对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
第二芯片，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片和第二芯片通过Chiplet形式进行集成，用于实现所述第一芯片与所述第二芯片之间的信息传输。
进一步的，所述第一芯片包括：
光发射模块，用于发射光信号获取周围环境的实时信息；
光接收模块，用于接收光信号所反射的光回波信号；
第一接口模块，用于接收用户输入的控制信息；
光控制模块，用于根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
光信号预处理模块，用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
数据压缩模块，用于对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息，其中数据压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据压缩硬件模块，每一个数据压缩硬件模块均通过第一数据缓存模块连接；
第一数据缓存模块，用于缓存所述数据压缩模块输出的压缩的空间坐标信息。
进一步的，所述光信号预处理模块用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息，预处理操作具体包括：
所述光信号预处理模块先对所述光回波信号的坐标系和分辨率尺度进行校准处理，再利用图神经网络算法对经校准处理的光回波信息进行去噪处理。
进一步的，所述第二芯片包括：
数据解压缩模块，用于对压缩的空间坐标信息进行解压处理，获得空间坐标信息，其中其中数据解压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据解压硬件模块，每一个数据解压硬件模块均通过第二数据缓存模块连接；
点云格式转换模块，用于提取光信号预处理模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
点云数据处理模块，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
第二数据缓存模块，用于缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
第二接口模块，用于连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
进一步的，所述点云数据处理模块包括点云数据处理模块和神经网络处理模块；
点云数据处理模块，用于对所述空间坐标信息进行点云配准和点云补全处理；
神经网络处理模块，用于对经过点云配准和点云补全处理的空间坐标信息进行处理获得配置结果；其中依据用户配置的控制指令，调用点云数据处理模块和/或神经网络处理模块，实现对所述空间坐标信息的处理。
进一步的，所述装置还包括总线模块，用于连接各个模块，实现各个模块之间的数据传递。
进一步的，所述第一芯片与第二芯片之间通过物理隔热层进行热隔离。
第二方面，本申请提供了一种激光雷达传感器内的点云数据处理方法，包括第一方面所述的装置，其特征在于，方法包括：
通过所述第一芯片对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
通过所述第二芯片对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片和第二芯片通过Chiplet形式进行集成，用于实现所述第一芯片与所述第二芯片之间的信息传输。
进一步的，所述通过所述第一芯片对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息，包括：
通过光发射模块发射光信号获取周围环境的实时信息；
通过光接收模块接收光信号所反射的光回波信号；
通过第一接口模块接收用户输入的控制信息；
通过光控制模块根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
通过光信号预处理模块对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
通过数据压缩模块对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息；
通过第一数据缓存模块缓存所述数据压缩模块输出的压缩的空间坐标信息。
进一步的，所述通过所述第二芯片对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果，包括：、
通过数据解压缩模块对压缩的空间坐标信息进行解压处理，获得空间坐标信息
通过点云格式转换模块提取数据解压缩模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
通过点云数据处理模块根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
通过第二数据缓存模块缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
通过第二接口模块连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过将第一芯片与第二芯片以Chiplet的形式进行结合，将表示点云数据处理器的第二芯片与表示传感器的第一芯片集成到一颗芯片中，两者通过总线来实现数据传输，避免了大量的数据通过铜导线传输，从而解决传统传感器与点云数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题。
2、本发明在激光雷达传感器内部的点云数据处理方法，可以有效降低数据迁移带来的开销，提高点云数据的处理性能并降低系统的整体功耗。
3、本发明通过采用基于神经网络的数据解压缩算法，并将其设计成全流水的硬件结构，降低数据在芯片间数据传输量，在提高数据传输效率的同时，提高装置的整体性能。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例一提供的一种激光雷达传感器内的点云数据处理装置的结构示意图；
图2为本申请实施例提供的一种激光雷达传感器内的点云数据处理的流程图；
图3为本申请实施例二提供的一种激光雷达传感器内的点云数据处理方法的流程示意图；
图4为本申请实施例提供的第一芯片对光信号预处理的流程示意图；
图5为本申请实施例提供的第二芯片对预处理后输出数据进行处理的流程示意图。
附图标记及说明：
1、第一芯片；2、第二芯片。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
激光雷达传感器以激光作为信号的载波来对目标的距离、方位、高度、速度、强度等进行探测的传感器。使用激光探测远程非合作目标，具有抗电磁干扰能力强，对地物和背景噪声的抑制效果好，抗隐身能力强，具有很好的距离、角度、速度分辨率，能够实现目标的距离、速度及三维图像信息的同步获取等优点。
在实际应用中，往往需要采集点云数据，并对采集的点云数据进行一些处理。例如，在自动驾驶领域，会在自动行驶的车辆上安装激光雷达，利用激光雷达采集车辆周围的点云数据，并对点云数据进行分析，以确定车辆周围的障碍物的移动速度，从而有效地对车辆进行路径规划。又例如，在机器人导航领域，可以采集机器人周围环境的点云数据，并基于从点云数据中识别出的各种对象，对机器人进行定位。
为了捕捉点云数据信息，有效指导计算机来理解周围环境，并作出相应的科学决策，对于智能机器人以及自动驾驶技术都是至关重要的。然而，现有的点云数据智能处理系统，往往采用点云采集传感器与处理器分离的结构，导致大量的点云传感器信息需要经过冗长的数据迁移路径才能到达数据处理模块，造成点云数据处理过程中出现延迟高、功耗高等问题。故如何将点云传感器与点云数据处理器进行结合，来实现点云传感器内的点云数据智能处理，对于减少数据传输，提高点云数据处理性能至关重要。
基于此，本申请提供了一种激光雷达传感器内的点云数据处理装置，如图1所示，装置包括：
第一芯片1，用于对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
第二芯片2，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片1和第二芯片2通过Chiplet形式进行集成，用于实现所述第一芯片1与所述第二芯片2之间的信息传输。
具体的，通过第一芯片1实现对激光的光回波信号进行预处理，对接受光回波信号进行分析，首先采用坐标系变化以及分辨率尺度统一等，实现对数据的校准。同时，利用基于图的神经网络算法，实现对光回波信号的去噪等处理，实现信号的精细化提取，避免不必要的信号造成干扰，同时可以降低后续信号处理所需的计算量。
通过第二芯片2实现对第一芯片1输出的信号数据的基本处理，例如对点云数据的点云配准、点云补全等。并运行用户配置的神经网络算法，实现基于神经网络算法的点云数据处理，生成用户所需的最终结果。
如图2所示，第一芯片1经历三个阶段的信号处理，第二芯片2经历两个的数据处理，最终输出用户所需的结果。
为解决传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题，本申请将激光雷达传感器与数据处理器以Chiplet的形式进行结合，将第二芯片2(即点云数据处理器)与第一芯片1(传感器)集成到一颗芯片中，两者通过Chiplet来实现数据传输，避免了大量的数据通过铜导线传输，从而解决传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题，并且通过采用近传感器的点云数据处理方法，可以有效降低数据迁移带来的开销，提高点云数据的处理性能并降低系统的整体功耗。
在一种可能实现的方案中，所述第一芯片1包括：
光发射模块，用于发射光信号获取周围环境的实时信息；
光接收模块，用于接收光信号所反射的光回波信号；
第一接口模块，用于接收用户输入的控制信息；
光控制模块，用于根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
光信号预处理模块，用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
数据压缩模块，用于对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息，其中数据压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据压缩硬件模块，每一个数据压缩硬件模块均通过第一数据缓存模块连接；
第一数据缓存模块，用于缓存所述数据压缩模块输出的压缩的空间坐标信息。
具体的，如图1所示，光发射模块，采用机械式旋转的方式控制激光源发射光信号，作为探测周围信息的主要手段，可采集周围环境的实时信息。光接受模块，用于接受反射回来的光学回波信号，此时的光回波信号是携带周围环境的目标原始点云数据。
第一接口模块，用于接收用户输入的控制信息，比如用户需要调整激光的发射方向及频率等，均是通过第一接口模块与外部设备连接，并将控制信息传递给光控制模块，外部设备例如电脑、智能手机等；对于第一接口模块包含控制接口，数据接口，用户实现控制信息的输入与输出，以及数据的输入与输出。
光控制模块依据第一接口模块接收的控制信息控制光发射模块按照一定的时间频率发射激光、旋转的速度以及发射角度等指标，同时通知光接收模块按照光发射模块相应的时间频率以及角度等来接收回波信号。
光信号预处理模块对光接收模块接收的光回波信号进行预处理操作，例如对光回波信号的坐标系以及分辨率尺度进行统一，实现对光回波信号的校准，同时，利用图神经网络算法对校准后的光回波信号进行去噪等处理，实现信号的精细化提取，避免不必要的信号造成干扰，同时可以降低后续信号处理所需的计算量。
对于第一数据缓存模块用来缓存压缩后的空间坐标信息，然后依据Chiplet封装技术将第一芯片1的输出的数据信息，传输给第二芯片2实现对数据信息的进一步处理。
第一芯片1和第二芯片2之间通过采用压缩后的数据进行通信，采用基于神经网络的压缩算法，该算法包含卷积、激活函数、池化等关键算子，用于去除空间坐标信息中的冗余数据，降低数据的存储空间需求。该神经网络压缩算法采用全流水的计算结构，即神经网络中的每一层都具有一个数据压缩硬件模块，不同数据压缩硬件模块之间通过第一数据缓存模块连接。输入数据可以以流水的形式进行处理，这种方法可以保证数据在处理过程中的吞吐量，避免装置的传输性能下降。
需要说明的是，第一芯片1所包括的光发射模块、光接收模块、光控制模块、光信号预处理模块以及数据压缩模块以单芯片形式进行封装。
在一种可能实现的方案中，所述光信号预处理模块用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息，预处理操作具体包括：
所述光信号预处理模块先对所述光回波信号的坐标系和分辨率尺度进行校准处理，再利用图神经网络算法对经校准处理的光回波信息进行去噪处理。
具体的，预处理操作已在对光信号预处理模块进行详细的叙述，因此此处不再叙述。
在一种可能实现的方案中，所述第二芯片2包括：
数据解压缩模块，用于对压缩的空间坐标信息进行解压处理，获得空间坐标信息，其中其中数据解压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据解压硬件模块，每一个数据解压硬件模块均通过第二数据缓存模块连接；
点云格式转换模块，用于提取光信号预处理模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
点云数据处理模块，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
第二数据缓存模块，用于缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
第二接口模块，用于连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
具体的，第一芯片1的第一数据缓存模块所发送的压缩后的空间坐标信息，需要先对数据进行解压处理，才能执行后续处理过，因此为了降低点云数据在在第一芯片与第二芯片之间的数据传输量，设计了基于神经网络的点云数据解压缩模块，在数据传输过程中，采用压缩后数据，降低通信的数据量，进而降低通信延迟，提高装置传输数据的整体性能。而对于解压缩后的数据其本质还是空间坐标信息，并不是点云数据，不能够被点云数据处理模块所能处理和识别，因此需要点云格式转换模块将空间坐标信息转换为PCL格式数据，点云数据处理模块需要接收用户的控制指令(包含算法指令、算法配置等)，当该模块被启动后，点云数据处理模块会对接收到的点云数据进行算法上的处理，所用算法为用户配置的算法，最终输出用户算法所配置的结果，例如点云目标检测应用中，则输出目标的在统一坐标系下的坐标，以及目标所属的类别。
对于第二接口模块，则是把点云数据处理模块所输出的结果反馈给用户，第二接口模块包含控制接口，数据接口，用户实现控制指令的输入与输出，以及数据的输入与输出。
在一种可能实现的方案中，所述点云数据处理模块包括点云数据处理模块和神经网络处理模块；
点云数据处理模块，用于对所述空间坐标信息进行点云配准和点云补全处理；
神经网络处理模块，用于对经过点云配准和点云补全处理的空间坐标信息进行处理获得配置结果；其中依据用户配置的控制指令，调用点云数据处理模块和/或神经网络处理模块，实现对所述空间坐标信息的处理。
具体的，在应用真实场景中，由于遮挡等原因，光回波信号采集到的三维点云往往并非完整点云数据，而是残缺点云数据。例如，对于一个三维物体，其背离点云采集装置的表面会被面对点云采集装置的表面所遮挡，导致背离点云采集装置的表面的点云无法采集到。即便是平面物体，由于场景中往往存在多个交叠的物体，因此，一个物体的表面可能被另一个物体的表面遮挡，导致采集到的点云数据不完整。除此之外，残缺点云产生的原因还有其他多种原因，采集到的残缺点云的形式也是多种多样的。因此需要对数据信息进行点云配准和点云补全处理，以使得点云数据完整。点云处理模块支持的算法包含点云配准，点云补全等经典点云处理算法，以及PointNet++，EdgeConv等经典点云神经网络处理算法。
在一种可能实现的方案中，所述装置还包括总线模块，用于连接各个模块，实现各个模块之间的数据传递。
具体的，第一芯片1以及第二芯片2所包括的模块，其之间的数据传输均是通过总线模块传输的。
在一种可能实现的方案中，所述第一芯片1与第二芯片2之间通过物理隔热层进行热隔离。
具体的，第一芯片1与第二芯片2之间通过物理隔热层进行热隔离主要是避免数据处理造成的热度上升，影响光信号模块的采样精度。
需要说明的是，本申请所涉及到的对光信号进行预处理操作，对光发射模块和光接收模块的时间频率、角度控制等，以及点云数据处理模块中的补全、配准、神经网络算法等均是采用的现有算法。本申请主要是针对现有技术中激光雷达传感器与点云数据处理器是分开的，这样会导致通过铜导线来实现数据的传输所产生的数据迁移路径长以及功耗高等问题，本申请通过将激光雷达传感器与点云数据处理器以Chiplet的形式进行结合，主要是创新性地将点云数据处理器与激光雷达传感器集成到一颗芯片中，两者通过总线来实现数据传输，避免了大量的数据通过铜导线传输，从而解决传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题。
需要理解的是，装置整体上来说包含至少一个光发射模块，至少一个光接收模块，至少一个光控制模块，至少一个光信号预处理模块，至少一个点云格式转换模块，至少一个点云数据处理模块，至少一个总线模块，至少一个第一接口模块，至少一个第二接口模块，至少一个第一数据缓存模块以及至少一个第二数据缓存模块。
工作原理：光控制模块实现对各模块的控制以及对数据传递的控制，以实现各个模块之间的相互写作；总线模块用户连接各个模块，实现数据之间的传递和信息共享；接口模块用于接收用户的控制信息以及反馈处理结果信息。点云格式转换模块对收到的点云数据进行解析，主要依据点云处理神经网络的输入，来提取点云数据中的关键数据信息，尤其是点云数据处理模块所需的关键信息，例如位置信息，颜色信息等，随后，将这些关键信息，按照点云数据处理模块所需的数据格式以及数据布局进行转换，主要包含矩阵的数据布局，矩阵的分块信息等，随后，点云数据处理模块读取对应的点云信息，通过运行用户开发的点云处理神经网络(图神经网络+卷积神经网络结合的方案)实现对点云数据的处理，生成用户所需的配置结果。
实施例二
如图3所示，本申请实施例二在实施例一的基础上提供了一种激光雷达传感器内的点云数据处理方法，应用于实施例一所述的装置，方法包括：
通过所述第一芯片1对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
通过所述第二芯片2对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片1和第二芯片2通过Chiplet形式进行集成，用于实现所述第一芯片1与所述第二芯片2之间的信息传输。
本实施例二的所提供的一种激光雷达传感器内的点云数据处理方法，将激光雷达传感器与数据处理器以Chiplet的形式进行结合，将第二芯片2(即点云数据处理器)与第一芯片1(传感器)集成到一颗芯片中，两者通过Chiplet来实现数据传输，避免了大量的数据通过铜导线传输，从而解决传统传感器与数据处理器分离结构下，产生的数据迁移路径长以及功耗高等问题，并且通过采用近传感器的点云数据处理方法，可以有效降低数据迁移带来的开销，提高点云数据的处理性能并降低系统的整体功耗。
在一种可能实现的方案中，如图4所示，所述通过所述第一芯片1对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息，包括：
通过光发射模块发射光信号获取周围环境的实时信息；
通过光接收模块接收光信号所反射的光回波信号；
通过第一接口模块接收用户输入的控制信息；
通过光控制模块根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
通过光信号预处理模块对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
通过数据压缩模块对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息；
通过第一数据缓存模块缓存所述数据压缩模块输出的压缩的空间坐标信息。
在一种可能实现的方案中，如图5所示，所述通过所述第二芯片2对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果，包括：
通过数据解压缩模块对压缩的空间坐标信息进行解压处理，获得空间坐标信息
通过点云格式转换模块提取数据解压缩模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
通过点云数据处理模块根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
通过第二数据缓存模块缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
通过第二接口模块连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
需要理解的是，本申请实施例二提供的各个方法步骤所实现的功能及步骤可参考实施例一各个模块功能的详细说明，因此此处不再做多余的叙述。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种激光雷达传感器内的点云数据处理装置，其特征在于，包括：
第一芯片(1)，用于对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
第二芯片(2)，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片(1)和第二芯片(2)通过Chiplet形式进行集成，用于实现所述第一芯片(1)与所述第二芯片(2)之间的信息传输。
2.根据权利要求1所述的装置，其特征在于，所述第一芯片(1)包括：
光发射模块，用于发射光信号获取周围环境的实时信息；
光接收模块，用于接收光信号所反射的光回波信号；
第一接口模块，用于接收用户输入的控制信息；
光控制模块，用于根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
光信号预处理模块，用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
数据压缩模块，用于对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息，其中数据压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据压缩硬件模块，每一个数据压缩硬件模块均通过第一数据缓存模块连接；
第一数据缓存模块，用于缓存所述数据压缩模块输出的压缩的空间坐标信息。
3.根据权利要求2所述的装置，其特征在于，所述光信号预处理模块用于对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息，预处理操作具体包括：
所述光信号预处理模块先对所述光回波信号的坐标系和分辨率尺度进行校准处理，再利用图神经网络算法对经校准处理的光回波信息进行去噪处理。
4.根据权利要求2所述的装置，其特征在于，所述第二芯片(2)包括：
数据解压缩模块，用于对压缩的空间坐标信息进行解压处理，获得空间坐标信息，其中其中数据解压缩模块以基于神经网络的压缩算法为基础，在神经网络中的每一层都具有一个数据解压硬件模块，每一个数据解压硬件模块均通过第二数据缓存模块连接；
点云格式转换模块，用于提取光信号预处理模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
点云数据处理模块，用于根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
第二数据缓存模块，用于缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
第二接口模块，用于连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
5.根据权利要求4所述的装置，其特征在于，所述点云数据处理模块包括点云数据处理模块和神经网络处理模块；
点云数据处理模块，用于对所述空间坐标信息进行点云配准和点云补全处理；
神经网络处理模块，用于对经过点云配准和点云补全处理的空间坐标信息进行处理获得配置结果；其中依据用户配置的控制指令，调用点云数据处理模块和/或神经网络处理模块，实现对所述空间坐标信息的处理。
6.根据权利要求2-5任一项所述的装置，其特征在于，所述装置还包括总线模块，用于连接各个模块，实现各个模块之间的数据传递。
7.根据权利要求1所述的装置，其特征在于，所述第一芯片(1)与第二芯片(2)之间通过物理隔热层进行热隔离。
8.一种激光雷达传感器内的点云数据处理方法，包括如权利要求1-7任一项所述的装置，其特征在于，方法包括：
通过所述第一芯片对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息；
通过所述第二芯片对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
所述第一芯片和第二芯片通过Chiplet形式进行集成，用于实现所述第一芯片与所述第二芯片之间的信息传输。
9.根据权利要求8所述的方法，其特征在于，所述通过所述第一芯片对接收的光回波信号进行预处理，获得具有统一坐标系以及统一分辨率尺度的空间坐标信息，其中所述空间坐标信息包含所述光回波信号的特征信息，包括：
通过光发射模块发射光信号获取周围环境的实时信息；
通过光接收模块接收光信号所反射的光回波信号；
通过第一接口模块接收用户输入的控制信息；
通过光控制模块根据所述控制信息控制所述光发射模块发射光信号的光发射参数，并根据所述发射参数实时调整所述光接收模块的光接收参数；
通过光信号预处理模块对所述光接收模块接收的光回波信号进行预处理操作，获得空间坐标信息；
通过数据压缩模块对所述空间坐标信息进行压缩处理，获得压缩的空间坐标信息；
通过第一数据缓存模块缓存所述数据压缩模块输出的压缩的空间坐标信息。
10.根据权利要求9所述的方法，其特征在于，所述通过所述第二芯片对用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果，包括：、
通过数据解压缩模块对压缩的空间坐标信息进行解压处理，获得空间坐标信息；
通过点云格式转换模块提取数据解压缩模块获得的处理数据，并将所述处理数据的格式转换点云数据处理模块识别的PCL格式数据；
通过点云数据处理模块根据用户配置的控制指令对所述空间坐标信息进行处理，获得配置结果；
通过第二数据缓存模块缓存所述点云格式转换模块和点云数据处理模块输出的PCL格式数据和配置结果；
通过第二接口模块连接外部设备将所述点云数据处理模块输出的配置结果反馈给用户。
CN202210647734.3A 2022-06-09 2022-06-09 一种激光雷达传感器内的点云数据处理装置及方法 Pending CN114913055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210647734.3A CN114913055A (zh) 2022-06-09 2022-06-09 一种激光雷达传感器内的点云数据处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210647734.3A CN114913055A (zh) 2022-06-09 2022-06-09 一种激光雷达传感器内的点云数据处理装置及方法

Publications (1)

Publication Number Publication Date
CN114913055A true CN114913055A (zh) 2022-08-16

Family

ID=82771034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210647734.3A Pending CN114913055A (zh) 2022-06-09 2022-06-09 一种激光雷达传感器内的点云数据处理装置及方法

Country Status (1)

Country Link
CN (1) CN114913055A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105352476A (zh) * 2015-11-23 2016-02-24 青岛秀山移动测量有限公司 船载水岸线水上水下一体化测量系统集成方法
CN108663669A (zh) * 2018-08-22 2018-10-16 上海华测导航技术股份有限公司 用于电力巡线中应用的机载激光雷达系统
CN111900095A (zh) * 2020-08-12 2020-11-06 上海先方半导体有限公司 一种多芯片集成封装方法及封装结构
WO2021056348A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 点云探测系统的信号处理方法和点云探测系统
WO2021062581A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 路面标识识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105352476A (zh) * 2015-11-23 2016-02-24 青岛秀山移动测量有限公司 船载水岸线水上水下一体化测量系统集成方法
CN108663669A (zh) * 2018-08-22 2018-10-16 上海华测导航技术股份有限公司 用于电力巡线中应用的机载激光雷达系统
WO2021056348A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 点云探测系统的信号处理方法和点云探测系统
WO2021062581A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 路面标识识别方法及装置
CN111900095A (zh) * 2020-08-12 2020-11-06 上海先方半导体有限公司 一种多芯片集成封装方法及封装结构

Similar Documents

Publication Publication Date Title
US11885872B2 (en) System and method for camera radar fusion
CN112052860B (zh) 一种三维目标检测方法及系统
WO2019109091A1 (en) Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
CN113595608B (zh) 基于视觉感知的毫米波/太赫兹通信方法、装置和系统
CN107703935A (zh) 多个数据权重融合进行避障的方法、存储装置及移动终端
CN207706284U (zh) Tof电路模块及tof模组
CN114663514B (zh) 一种基于多模态稠密融合网络的物体6d姿态估计方法
CN112541886A (zh) 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN109870692B (zh) 一种雷达环视系统及数据处理方法
Singh Surround-view vision-based 3d detection for autonomous driving: A survey
WO2022104296A1 (en) Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone
CN114913055A (zh) 一种激光雷达传感器内的点云数据处理装置及方法
US10142615B2 (en) System for three-dimensional image capture while moving
US20220373683A1 (en) Image processing device, monitoring system, and image processing method
CN111710146A (zh) 一种多传感器数据集合系统及方法
JP2021057922A (ja) データチャネル性能を改善させるパワーオーバデータライン（ＰｏＤＬ）基板設計方法
US20230007160A1 (en) Photographing method of electronic apparatus and electronic apparatus thereof
Kerstens et al. 3D point cloud data acquisition using a synchronized in-air imaging sonar sensor network
Tian et al. Research on Real-time Imaging Method of Airborne SAR Based on Embedded GPU
CN111669482A (zh) 一种图像处理方法、系统、介质、芯片及结构光电子设备
CN213903792U (zh) 一种分布式毫米波雷达系统及汽车
CN111241032A (zh) 一种多源异构数据处理方法、装置和存储介质
Steinbaeck et al. A 3D time-of-flight mixed-criticality system for environment perception
CN110967691A (zh) 红外光电扫描避碰系统
CN118227820A (zh) 数据同步方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination