CN115393597A - 基于脉冲神经网络与激光雷达点云的语义分割方法及装置 - Google Patents

基于脉冲神经网络与激光雷达点云的语义分割方法及装置 Download PDF

Info

Publication number
CN115393597A
CN115393597A CN202211341653.7A CN202211341653A CN115393597A CN 115393597 A CN115393597 A CN 115393597A CN 202211341653 A CN202211341653 A CN 202211341653A CN 115393597 A CN115393597 A CN 115393597A
Authority
CN
China
Prior art keywords
neural network
pulse
point cloud
semantic segmentation
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211341653.7A
Other languages
English (en)
Other versions
CN115393597B (zh
Inventor
励翔东
卢昊
杨李杰
沈思逸
承元昆
许桐恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211341653.7A priority Critical patent/CN115393597B/zh
Publication of CN115393597A publication Critical patent/CN115393597A/zh
Application granted granted Critical
Publication of CN115393597B publication Critical patent/CN115393597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置，包括以下步骤：步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。本发明以脉冲神经网络的方式对激光雷达的点云数据进行图像语义分割与目标识别，有效提升目标识别的实时性，降低目标识别推理模型的算力需求。

Description

基于脉冲神经网络与激光雷达点云的语义分割方法及装置
技术领域
本发明涉及一种深度学习与激光雷达信号处理技术领域，尤其涉及一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。
背景技术
在自动驾驶产业中，作为一种可精确测量传感器与物体距离的设备，激光雷达有着广泛的应用。主流激光雷达基于激光的飞行时间原理，利用发射器发射的脉冲信号与接收器接收到的反射脉冲信号的时间间隔来计算与目标物体的距离，通过分析目标物体表面的反射能量大小，反射波谱的幅度，频率，相位等信息来构建目标物体的点云数据。目前最为成熟的车载MEMS激光雷达拥有360度水平视场角以及40度的垂直视场角，其点云数据包含各障碍物及背景点在笛卡尔坐标系下的xyz值以及该点对应的反射强度(Intensity)信息。由于障碍物点云通常比背景点云要更密集，通过对点云数据进行聚类分析，传统算法已经可以有效检测障碍物，输出检测框并对障碍物种类进行简单区分。目前主流的分类方式依然采用传统机器学习或卷积神经网络等深度学习方式，由于激光雷达点云数据密集，数据点较多，传统方法的一些弊端，例如模型训练与推理计算量大，算力资源消耗大，功耗较高，准确性与先验数据集强相关等会进一步地被放大且难以避免。
脉冲神经网络是一种受生物大脑启发，模拟生物大脑运作机制的人工神经网络。由于脉冲神经网络拥有惊人的生物相似性，且在图像处理，目标识别，计算机视觉等方向表现优异，近些年一直受到学界的广泛关注，被称为第三代人工神经网络。在人类的大脑皮质中拥有上百亿个神经元，各神经元之间通过突触互相连接。当神经元膜电位高于某一阈值时，该神经元将被激活并传递信号至其他神经元，从而影响其他神经元的膜电位。人脑处理信息所耗费的算力，反应的速度，产生的功耗以及功能的全面性都远远优于传统的神经网络推断模型。由于脉冲神经网络高度借鉴了生物大脑工作模式，拥有强大的生物基础支撑，因此通过对输入信息的合理脉冲编码，脉冲神经网络可以像生物大脑一样低功耗地高速处理海量信息。鉴于其强大的生物相似性以及计算能力，将脉冲神经网络应用于海量激光雷达点云数据的语义分割处理上既可以提升数据处理的实时性，又可以降低运算功耗，且具有较强的鲁棒性。
为此，我们提出一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。
发明内容
本发明针对海量激光雷达点云数据的实时目标识别处理存在计算量大，运算速度较慢，功耗较大等局限性，提供一种基于脉冲神经网络与激光雷达点云的语义分割方法及装置。
本发明采用的技术方案如下：
一种基于脉冲神经网络与激光雷达点云的语义分割方法，包括以下步骤：
步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；
步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；
步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；
步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。
进一步地，所述步骤S1具体包括以下子步骤：
步骤S11：获取激光雷达采集的点云数据，所述点云数据包括目标点x轴、y轴、z轴的值和反射强度值，对所述点云数据进行数据增强，所述数据增强包括沿z轴方向旋转，添加随机噪点，以及在反射强度值上添加随机噪声；
步骤S12：将反射强度值作为每个所述点云数据的像素值，并标注所述点云数据的类别，得到预处理点云数据。
进一步地，所述步骤S11中在反射强度值上添加随机噪声具体为：在反射强度值上添加均值为0，标准差为1的正态分布的随机噪声。
进一步地，所述步骤S2具体包括以下子步骤：
步骤S21：将所述预处理点云数据中的xy轴坐标映射至2D图像中；
步骤S22：对所述2D图像中的每一帧图像采用速率编码或时延编码，得到脉冲序列。
进一步地，所述速率编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生频率，得到带有时间维度的脉冲序列，且所述脉冲产生频率随着所述反射强度值的增高而增快。
进一步地，所述时延编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生时序，得到带有时间维度的脉冲序列，且所述脉冲产生时序随着所述反射强度值的增高而越接近时间轴原点。
进一步地，所述步骤S3具体包括以下子步骤：
步骤S31：采用编码-解码结构构建脉冲神经网络模型，所述脉冲神经网络模型包括依次连接的多个下采样模块、上采样模块和作为输出层的脉冲累加器，所述下采样模块与对称尺寸的所述上采样模块之间采用跳跃链路连接；
步骤S32：将所述脉冲序列作为脉冲神经网络模型的输入，对于所述脉冲序列对应的每一个时间步，经过所述脉冲神经网络模型的多个下采样模块、上采样模块和作为输出层的脉冲累加器，在所述下采样模块中逐层提取所述脉冲序列的语义信息，在所述上采样模块中逐层恢复所述脉冲序列中对应的原图分辨率，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，输出沿时间轴累加各个神经元的脉冲个数，选取所述脉冲个数最大的类别作为最终语义分割结果；
步骤S33：采用Adam优化器，设置初始化学习率，所述脉冲神经网络模型的神经元为LIF模型神经元，采用交叉熵函数作为损失函数并使用时间维度上的反向传播算法计算权重更新梯度，对所述脉冲神经网络模型进行训练直至损失函数不再下降，得到训练好的脉冲神经网络模型。
进一步地，所述步骤S32中所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率解码的方式：对于输出层神经元，其维度为长x宽x类别数，使用脉冲累加器在时间维度上对每个神经元的脉冲数进行累加，并选取累计脉冲个数最大的神经元所代表的类作为语义分割的结果。
本发明还提供一种基于脉冲神经网络与激光雷达点云的语义分割装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
本发明还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
本发明的有益效果是：本发明创新地以脉冲神经网络的方式对激光雷达的点云数据进行图像语义分割与目标识别，并取得不错实验效果，有效提升了目标识别的实时性，有效降低了目标识别推理模型的算力需求，对于激光雷达等传感器的创新性信号处理方式具有启发式的非凡意义。
附图说明
图1为本发明一种基于脉冲神经网络与激光雷达点云的语义分割方法的流程图；
图2为本发明实施例激光雷达点云数据坐标系示意图；
图3为本发明实施例脉冲神经网络模型的结构示意图；
图4为本发明实施例脉冲神经网络模型的多时间步计算展开图；
图5为本发明一种基于脉冲神经网络与激光雷达点云的语义分割装置的结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，一种基于脉冲神经网络与激光雷达点云的语义分割方法，包括以下步骤：
步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；
步骤S11：获取激光雷达采集的点云数据，所述点云数据包括目标点x轴、y轴、z轴的值和反射强度值，对所述点云数据进行数据增强，所述数据增强包括沿z轴方向旋转，添加随机噪点，以及在反射强度值上添加随机噪声；
在反射强度值上添加随机噪声具体为：在反射强度值上添加均值为0，标准差为1的正态分布的随机噪声。
步骤S12：将反射强度值作为每个所述点云数据的像素值，并标注所述点云数据的类别，得到预处理点云数据。
步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；
步骤S21：将所述预处理点云数据中的xy轴坐标映射至2D图像中；
步骤S22：对所述2D图像中的每一帧图像采用速率编码或时延编码，得到脉冲序列。
所述速率编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生频率，得到带有时间维度的脉冲序列，且所述脉冲产生频率随着所述反射强度值的增高而增快。
所述时延编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生时序，得到带有时间维度的脉冲序列，且所述脉冲产生时序随着所述反射强度值的增高而越接近时间轴原点。
步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；
步骤S31：采用编码-解码结构构建脉冲神经网络模型，所述脉冲神经网络模型包括依次连接的多个下采样模块、上采样模块和作为输出层的脉冲累加器，所述下采样模块与对称尺寸的所述上采样模块之间采用跳跃链路（skip link connection）连接；
步骤S32：将所述脉冲序列作为脉冲神经网络模型的输入，对于所述脉冲序列对应的每一个时间步，经过所述脉冲神经网络模型的多个下采样模块、上采样模块和作为输出层的脉冲累加器，在所述下采样模块中逐层提取所述脉冲序列的语义信息，在所述上采样模块中逐层恢复所述脉冲序列中对应的原图分辨率，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，输出沿时间轴累加各个神经元的脉冲个数，选取所述脉冲个数最大的类别作为最终语义分割结果；
所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率解码的方式：对于输出层神经元，其维度为长x宽x类别数，使用脉冲累加器在时间维度上对每个神经元的脉冲数进行累加，并选取累计脉冲个数最大的神经元所代表的类作为语义分割的结果。
步骤S33：采用Adam优化器，设置初始化学习率，所述脉冲神经网络模型的神经元为LIF模型神经元，采用交叉熵函数作为损失函数并使用时间维度上的反向传播算法计算权重更新梯度，对所述脉冲神经网络模型进行训练直至损失函数不再下降，得到训练好的脉冲神经网络模型。
步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。
实施例：一种基于脉冲神经网络与激光雷达点云的语义分割方法，包括以下步骤：
步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；
步骤S11：获取激光雷达采集的点云数据，所述点云数据包括目标点x轴、y轴、z轴的值和反射强度值(Intensity)，对所述点云数据进行数据增强，所述数据增强包括沿z轴方向旋转正负10°，添加随机噪点，以及在反射强度值上添加随机噪声；
在反射强度值上添加随机噪声具体为：在反射强度值上添加均值为0，标准差为1的正态分布的随机噪声。
本发明实施例采用拥有360度水平视场角以及40度的垂直视场角的激光雷达作为点云数据采集设备，其视场角及坐标系定义如图2所示：以激光雷达波束产生点为原点，z轴为激光雷达正前方向，y轴垂直于地面向上，视场角是以z轴为对称轴，沿y轴方向上下20度的范围。
步骤S12：将反射强度值作为每个所述点云数据的像素值，并标注所述点云数据的类别，使得每一个像素点都有且仅有一个对应标签，得到预处理点云数据。
步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；
步骤S21：将所述预处理点云数据中的xy轴坐标映射至2D图像中；
步骤S22：对所述2D图像中的每一帧图像采用速率编码，得到脉冲序列。
所述速率编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生频率，得到带有时间维度的脉冲序列，且所述脉冲产生频率随着所述反射强度值的增高而增快；反射强度值越高，脉冲产生频率越快。
时间长度设为20个时间步，在每一个时间刻度上，将每个像素点的反射强度值与该时间刻度的一个随机数比较大小。其中该随机数在区间[Imin，Imax]中均匀分布，Imin和Imax分别表示反射强度的最小值与最大值。如果该随机数小于像素点的反射强度值，则输出幅度为1的脉冲，反之则不输出。遍历时间步即得到时长为20的，由0和1组成的脉冲序列。
步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；
步骤S31：采用encoder-decoder编码-解码结构构建脉冲神经网络模型，具体网络结构如图3所示。所述脉冲神经网络模型包括依次连接的多个下采样模块、上采样模块和作为输出层的脉冲累加器，下采样模块即encoder模块，旨在提取输入数据的低层级特征，下采样模块的卷积层滤波器数量分别为64，128，256个；每一个下采样模块包括两层卷积层以及一层池化层，上采样模块即decoder模块，每一个上采样模块包括一层卷积层与一层转置卷积层，上采样模块的卷积层卷积核数量分别为256，128，32个。对于每一个时间步，下采样模块的输出矩阵格式为滤波器数量x输入宽度/2x输入高度/2，上采样模块的输出矩阵格式为滤波器数量x2*输入宽度x2*输入高度。其中最后一个上采样模块的卷积层的卷积核数量代表总共需要分类的类别个数。所有卷积层的卷积核大小均为3x3，所有池化层采用平均池化。所述下采样模块与对称尺寸的所述上采样模块之间采用跳跃链路（skip linkconnection）连接；即每一个上采样模块的输入数据为上一个上采样模块的输出与对应的下采样模块的输出之和，该网络的输出层为涵盖全时间轴的脉冲个数累加器，用于选取累计脉冲产生个数最高的神经元所代表的类别作为语义分割结果。
步骤S32：将所述脉冲序列作为脉冲神经网络模型的输入，对于所述脉冲序列对应的每一个时间步，经过所述脉冲神经网络模型的多个下采样模块、上采样模块和作为输出层的脉冲累加器，在所述下采样模块中逐层提取所述脉冲序列的语义信息，在所述上采样模块中逐层恢复所述脉冲序列中对应的原图分辨率，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，输出沿时间轴累加各个神经元的脉冲个数，选取所述脉冲个数最大的类别作为最终语义分割结果；
所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率解码的方式：对于输出层神经元，其维度为长x宽x类别数，画幅尺寸与输入画幅尺寸相同，使用脉冲累加器在时间维度上对每个神经元的脉冲数进行累加，并选取累计脉冲个数最大的神经元所代表的类作为语义分割的结果。对每一个像素点所对应的神经元组，选取脉冲产生频率最高的神经元所代表的类作为最终语义分割的结果。
步骤S33：采用Adam优化器，设置初始化学习率为0.01，其余参数均采用默认值，所述脉冲神经网络模型的神经元为LIF（leaky Integrate-and-Fire）模型神经元其，前向转播计算展开图如图4所示：在每一个时间步中，LIF神经元接收来自于该时间步的输入脉冲以及上一个时间步的膜电位并产生新的膜电位输出以及输出脉冲，分别用于更新膜电位以及输入下一层LIF神经元。通过脉冲累加器与频率筛选后的输出结果与目标结果之间采用交叉熵函数作为损失函数，并使用时间维度上的反向传播算法计算权重更新梯度，反向传播时LIF神经元梯度计算由代理神经元公式近似计算，对所述脉冲神经网络模型进行训练直至损失函数不再下降，得到训练好的脉冲神经网络模型；所述脉冲神经网络模型中的损失函数采用交叉熵（Cross entropy）损失函数。
步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。
与前述一种基于脉冲神经网络与激光雷达点云的语义分割方法的实施例相对应，本发明还提供了一种基于脉冲神经网络与激光雷达点云的语义分割装置的实施例。
参见图5，本发明实施例提供的一种基于脉冲神经网络与激光雷达点云的语义分割装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
本发明一种基于脉冲神经网络与激光雷达点云的语义分割装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种基于脉冲神经网络与激光雷达点云的语义分割装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，包括以下步骤：
步骤S1：获取激光雷达采集的点云数据，并对所述点云数据进行预处理，得到预处理点云数据；
步骤S2：将所述预处理点云数据映射至2D图像中，并对所述2D图像中的每一帧图像进行编码，得到脉冲序列；
步骤S3：将所述脉冲序列作为脉冲神经网络模型的输入进行训练，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，得到训练好的脉冲神经网络模型；
步骤S4：根据训练好的脉冲神经网络模型获取语义分割结果。
2.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S1具体包括以下子步骤：
步骤S11：获取激光雷达采集的点云数据，所述点云数据包括目标点x轴、y轴、z轴的值和反射强度值，对所述点云数据进行数据增强，所述数据增强包括沿z轴方向旋转，添加随机噪点，以及在反射强度值上添加随机噪声；
步骤S12：将反射强度值作为每个所述点云数据的像素值，并标注所述点云数据的类别，得到预处理点云数据。
3.如权利要求2所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S11中在反射强度值上添加随机噪声具体为：在反射强度值上添加均值为0，标准差为1的正态分布的随机噪声。
4.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S2具体包括以下子步骤：
步骤S21：将所述预处理点云数据中的xy轴坐标映射至2D图像中；
步骤S22：对所述2D图像中的每一帧图像采用速率编码或时延编码，得到脉冲序列。
5.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述速率编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生频率，得到带有时间维度的脉冲序列，且所述脉冲产生频率随着所述反射强度值的增高而增快。
6.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述时延编码具体为：将所述2D图像中的每一帧图像的每个像素点的反射强度值转换为脉冲产生时序，得到带有时间维度的脉冲序列，且所述脉冲产生时序随着所述反射强度值的增高而越接近时间轴原点。
7.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S3具体包括以下子步骤：
步骤S31：采用编码-解码结构构建脉冲神经网络模型，所述脉冲神经网络模型包括依次连接的多个下采样模块、上采样模块和作为输出层的脉冲累加器，所述下采样模块与对称尺寸的所述上采样模块之间采用跳跃链路连接；
步骤S32：将所述脉冲序列作为脉冲神经网络模型的输入，对于所述脉冲序列对应的每一个时间步，经过所述脉冲神经网络模型的多个下采样模块、上采样模块和作为输出层的脉冲累加器，在所述下采样模块中逐层提取所述脉冲序列的语义信息，在所述上采样模块中逐层恢复所述脉冲序列中对应的原图分辨率，并对所述脉冲神经网络模型中的输出层神经元脉冲进行解码，输出沿时间轴累加各个神经元的脉冲个数，选取所述脉冲个数最大的类别作为最终语义分割结果；
步骤S33：采用Adam优化器，设置初始化学习率，所述脉冲神经网络模型的神经元为LIF模型神经元，采用交叉熵函数作为损失函数并使用时间维度上的反向传播算法计算权重更新梯度，对所述脉冲神经网络模型进行训练直至损失函数不再下降，得到训练好的脉冲神经网络模型。
8.如权利要求7所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法，其特征在于，所述步骤S32中所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率解码的方式：对于输出层神经元，其维度为长x宽x类别数，使用脉冲累加器在时间维度上对每个神经元的脉冲数进行累加，并选取累计脉冲个数最大的神经元所代表的类作为语义分割的结果。
9.一种基于脉冲神经网络与激光雷达点云的语义分割装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法。
CN202211341653.7A 2022-10-31 2022-10-31 基于脉冲神经网络与激光雷达点云的语义分割方法及装置 Active CN115393597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211341653.7A CN115393597B (zh) 2022-10-31 2022-10-31 基于脉冲神经网络与激光雷达点云的语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211341653.7A CN115393597B (zh) 2022-10-31 2022-10-31 基于脉冲神经网络与激光雷达点云的语义分割方法及装置

Publications (2)

Publication Number Publication Date
CN115393597A true CN115393597A (zh) 2022-11-25
CN115393597B CN115393597B (zh) 2023-01-24

Family

ID=84115051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211341653.7A Active CN115393597B (zh) 2022-10-31 2022-10-31 基于脉冲神经网络与激光雷达点云的语义分割方法及装置

Country Status (1)

Country Link
CN (1) CN115393597B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051925A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质
CN116958557A (zh) * 2023-08-11 2023-10-27 安徽大学 一种基于残差脉冲神经网络的三维室内场景语义分割方法
CN116977330A (zh) * 2023-09-21 2023-10-31 天津医科大学总医院 基于脉冲神经网络和上下文感知的房颤辅助分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171672A (zh) * 2018-01-10 2018-06-15 西北工业大学 基于红通道和全卷积神经网络的水下光学智能感知方法
CN110111345A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 一种基于注意力网络的3d点云分割方法
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法
CN112329799A (zh) * 2020-12-01 2021-02-05 上海大学 一种点云彩色化算法
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171672A (zh) * 2018-01-10 2018-06-15 西北工业大学 基于红通道和全卷积神经网络的水下光学智能感知方法
CN110111345A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 一种基于注意力网络的3d点云分割方法
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
CN111191583A (zh) * 2019-12-30 2020-05-22 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112329799A (zh) * 2020-12-01 2021-02-05 上海大学 一种点云彩色化算法
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BISHENG YANG等: "Automatic registration of large-scale urban scene point clouds based on semantic feature points", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSIN》 *
何汉: "三维点云语义分割技术研究", 《中国优秀硕士学位论文全文数据库》 *
张蕊: "基于激光点云的复杂三维场景多态目标语义分割技术研究", 《中国优秀硕士学位论文全文数据》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051925A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质
CN116051925B (zh) * 2023-01-04 2023-11-10 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质
CN116958557A (zh) * 2023-08-11 2023-10-27 安徽大学 一种基于残差脉冲神经网络的三维室内场景语义分割方法
CN116958557B (zh) * 2023-08-11 2024-06-14 安徽大学 一种基于残差脉冲神经网络的三维室内场景语义分割方法
CN116977330A (zh) * 2023-09-21 2023-10-31 天津医科大学总医院 基于脉冲神经网络和上下文感知的房颤辅助分析方法
CN116977330B (zh) * 2023-09-21 2023-12-08 天津医科大学总医院 基于脉冲神经网络和上下文感知的房颤辅助分析方法

Also Published As

Publication number Publication date
CN115393597B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN115393597B (zh) 基于脉冲神经网络与激光雷达点云的语义分割方法及装置
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN114463677B (zh) 一种基于全局注意力的安全帽配戴检测方法
US11574500B2 (en) Real-time facial landmark detection
CN113487576B (zh) 一种基于通道注意力机制的虫害图像检测方法
Li et al. Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing
CN111539916A (zh) 一种对抗鲁棒的图像显著性检测方法及系统
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN116229584A (zh) 一种人工智能领域的文本分割识别方法、系统、设备及介质
Ni et al. MHST: Multiscale Head Selection Transformer for Hyperspectral and LiDAR Classification
CN106779056B (zh) 用于aer前馈分类系统的脉冲神经元硬件架构
CN116954113B (zh) 智能机器人驱动传感智能控制系统及其方法
CN109858341B (zh) 一种基于嵌入式系统的快速多人脸检测和跟踪方法
Roth et al. Learning to recognize objects
US20240013521A1 (en) Sequence processing for a dataset with frame dropping
CN115965788A (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
Malathi et al. Optimzied resnet model of convolutional neural network for under sea water object detection and classification
CN117312935A (zh) 动作类别识别方法、装置、计算机设备和存储介质
CN117252239B (zh) 一种对脉冲信号进行目标检测的方法及系统
Özkan et al. Generative Networks and Royalty-Free Products
CN117036982B (zh) 海上养殖区的光学卫星图像处理方法和装置、设备和介质
CN116958815A (zh) 一种河岸垃圾检测方法、装置、设备及存储介质
Chen et al. YOLO‐UOD: An underwater small object detector via improved efficient layer aggregation network
Sun et al. Multi-kernel Fusion Pooling and Linear Convolution Kernel for Retinal Image Segmentation
Guo et al. AWF-YOLO: enhanced underwater object detection with adaptive weighted feature pyramid network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant