CN115457357A - 一种点云特征的处理方法和装置 - Google Patents

一种点云特征的处理方法和装置 Download PDF

Info

Publication number
CN115457357A
CN115457357A CN202211036760.9A CN202211036760A CN115457357A CN 115457357 A CN115457357 A CN 115457357A CN 202211036760 A CN202211036760 A CN 202211036760A CN 115457357 A CN115457357 A CN 115457357A
Authority
CN
China
Prior art keywords
feature
tensor
feature tensor
view
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211036760.9A
Other languages
English (en)
Inventor
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202211036760.9A priority Critical patent/CN115457357A/zh
Publication of CN115457357A publication Critical patent/CN115457357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及一种点云特征的处理方法和装置，所述方法包括：获取激光雷达点云作为对应的第一点云；对第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；对第一点云进行前视特征提取生成对应的第一前视特征张量；对第一鸟瞰特征张量和第一前视特征张量进行特征融合生成对应的第一三维特征张量。通过本发明，使用二维的鸟瞰+前视特征融合方式替换常规的三维体素网络特征提取方式，可以降低特征提取计算量、缩短特征提取计算时间。

Description

一种点云特征的处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种点云特征的处理方法和装置。
背景技术
在自动驾驶领域中，激光雷达是用于获取环境感知数据的主要传感器之一；自动驾驶系统的感知模块基于点云目标检测模型对激光雷达点云进行点云特征提取和目标检测。常见的点云目标检测模型在对激光雷达点云进行点云特征提取时默认采用体素特征提取方式进行处理，即将点云空间划分为由多个三维立体网格构成的体素(volumepixel)网络并对体素网络进行特征计算。然而我们在实际应用中发现这种常规处理方式的计算量偏大、耗时过长，容易产生计算超时的问题。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种点云特征的处理方法、装置、电子设备及计算机可读存储介质；在得到激光雷达点云之后先对激光雷达点云进行二维的鸟瞰图(Bird's Eye View，BEV)和前视图(Front View，FV)投影，再对二维的鸟瞰图、前视图进行特征提取得到对应的二维鸟瞰、前视特征，再将前视特征融合到鸟瞰特征中就得到了一个三维的融合特征。通过本发明，使用二维的鸟瞰+前视特征融合方式替换常规的三维体素网络特征提取方式，可以降低特征提取计算量、缩短特征提取计算时间，可以解决常规三维体素网络特征提取方式的计算超时问题。
为实现上述目的，本发明实施例第一方面提供了一种点云特征的处理方法，所述方法包括：
获取激光雷达点云作为对应的第一点云；
对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；
对所述第一点云进行前视特征提取生成对应的第一前视特征张量；
对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量。
优选的，所述对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量，具体包括：
对所述第一点云做鸟瞰图投影生成图形大小为H1×W1的第一鸟瞰图；并基于预设的鸟瞰图网格尺寸△h1×△w1，对所述第一鸟瞰图进行网格划分得到由X1×Y1个第一鸟瞰图网格构成的第一鸟瞰图网络；H1、W1分别为所述第一鸟瞰图的高度和宽度；X1＝int(H1/△h1)，Y1＝int(W1/△w1)，int()为向上取整函数；
基于预设的鸟瞰图特征提取网络，以各个所述第一鸟瞰图网格为特征提取单元对所述第一鸟瞰图进行特征提取处理生成对应的所述第一鸟瞰特征张量；所述第一鸟瞰特征张量的形状为X1×Y1×C，C为预设的特征通道数。
优选的，所述对所述第一点云进行前视特征提取生成对应的第一前视特征张量，具体包括：
对所述第一点云做前视图投影生成图形大小为H2×W2的第一前视图；并基于预设的前视图网格尺寸△h2×△w2，对所述第一前视图进行网格划分得到由Z1×X2个第一前视图网格构成的第一前视图网络；H2、W2分别为所述第一前视图的高度和宽度；Z1＝int(H2/△h2)，X2＝int(W2/△w2)；
基于预设的前视图特征提取网络，以各个所述第一前视图网格为特征提取单元对所述第一前视图进行特征提取处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为Z1×X2×C。
优选的，所述对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量，具体包括：
将所述第一鸟瞰特征张量按单元网格方式分解为X1×Y1个形状为1×1×C的第一特征张量Ai，j；1≤i≤X1，1≤j≤Y1；
将所述第一前视特征张量按列方式分解为X2个形状为Z1×1×C的第二特征张量Bk；1≤k≤X2；
从所有所述第二特征张量Bk中选出与各个所述第一特征张量Ai，j匹配的第二特征张量作为对应的匹配特征张量B*；
对各个所述第一特征张量Ai，j和对应的所述匹配特征张量B*进行特征融合生成对应的形状为1×1×Z1×C的第三特征张量Di,j；
由得到X1×Y1个所述第三特征张量Di,j组成对应的所述第一三维特征张量；所述第一三维特征张量的形状为X1×Y1×Z1×C。
进一步的，所述从所有所述第二特征张量Bk中选出与各个所述第一特征张量Ai，j匹配的第二特征张量作为对应的匹配特征张量B*，具体包括：
对各个所述第一特征张量Ai，j进行遍历；遍历时，将当前遍历的所述第一特征张量Ai，j作为当前特征张量Ai，j，并将所述当前特征张量Ai，j的脚标i提取出来作为当前脚标索引；并将各个所述第二特征张量Bk的脚标k作为对应的第二脚标索引；并对所述当前脚标索引与各个所述第二脚标索引的绝对差值进行计算生成对应的第一绝对差；并从得到的X2个所述第一绝对差中选择最小值作为对应的最小绝对差；并将所述最小绝对差对应的所述第二特征张量Bk作为所述当前特征张量Ai，j对应的所述匹配特征张量B*。
进一步的，所述对各个所述第一特征张量Ai，j和对应的所述匹配特征张量B*进行特征融合生成对应的形状为1×1×Z1×C的第三特征张量Di,j，具体包括：
将形状为Z1×1×C的所述匹配特征张量B*分解为Z1个形状为1×1×C的第四特征张量bg；1≤g≤Z1；
对形状为1×1×C的所述第一特征张量Ai，j与各个形状为1×1×C的所述第四特征张量bg进行张量叉乘计算生成对应的第五特征张量dg；所述第五特征张量dg的形状为1×1×C；
并由得到的Z1个所述第五特征张量dg组成对应的所述第三特征张量Di,j；所述第三特征张量Di,j的形状为1×1×Z1×C。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的点云特征的处理方法的装置，所述装置包括：获取模块、鸟瞰特征处理模块、前视特征处理模块和特征融合处理模块；
所述获取模块用于获取激光雷达点云作为对应的第一点云；
所述鸟瞰特征处理模块用于对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；
所述前视特征处理模块用于对所述第一点云进行前视特征提取生成对应的第一前视特征张量；
所述特征融合处理模块用于对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种点云特征的处理方法、装置、电子设备及计算机可读存储介质；在得到激光雷达点云之后先对激光雷达点云进行二维的鸟瞰图和前视图投影，再对二维的鸟瞰图、前视图进行特征提取得到对应的二维鸟瞰、前视特征，再将前视特征融合到鸟瞰特征中就得到了一个三维的融合特征。通过本发明，使用二维的鸟瞰+前视特征融合方式替换常规的三维体素网络特征提取方式，降低了特征提取计算量、缩短了特征提取计算时间，解决了常规三维体素网络特征提取方式的计算超时问题。
附图说明
图1为本发明实施例一提供的一种点云特征的处理方法示意图；
图2为本发明实施例二提供的一种点云特征的处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种点云特征的处理方法，如图1为本发明实施例一提供的一种点云特征的处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取激光雷达点云作为对应的第一点云。
这里，自动驾驶系统的感知模块从车载激光雷达处获取实时的激光雷达点云即第一点云。第一点云由多个雷达扫描点构成，第一点云的各个扫描点都对应一个三维坐标和一个雷达反射强度，该三维坐标的坐标系默认为激光雷达坐标系。需要说明的是，本发明实施例在得到第一点云之后，还会基于一个预先设定的点云空间尺寸对第一点云进行点云裁剪；再按一个预设的统计滤波器对裁剪后的第一点云进行离群扫描点过滤。
步骤2，对第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；
具体包括：步骤21，对第一点云做鸟瞰图投影生成图形大小为H1×W1的第一鸟瞰图；并基于预设的鸟瞰图网格尺寸△h1×△w1，对第一鸟瞰图进行网格划分得到由X1×Y1个第一鸟瞰图网格构成的第一鸟瞰图网络；
其中，H1、W1分别为第一鸟瞰图的高度和宽度；△h1、△w1分别为鸟瞰图网格的高度和宽度；X1＝int(H1/△h1)，Y1＝int(W1/△w1)，int()为向上取整函数；
具体包括：步骤211，对第一点云做鸟瞰图投影生成图形大小为H1×W1的第一鸟瞰图；
具体包括：步骤2111，对第一点云中各个扫描点的三维坐标做从激光雷达坐标系到自车坐标系的坐标转换得到对应的第二点云；
这里，得到的第二点云的各个扫描点与第一点云的各个扫描点一一对应；第二点云的各个扫描点也都对应一个三维坐标和一个雷达反射强度，只是第二点云的各个扫描点的三维坐标是基于自车坐标系的三维坐标(x,y,z)；
步骤2112，将第二点云中x-y轴坐标平面上的极值坐标提取出来作为对应的xmin、xmax、ymin和ymax；并在x-y轴坐标平面上基于xmin、xmax做两条x轴垂线、基于ymin和ymax做两条y轴垂线，并将四条垂线构成的矩形平面作为鸟瞰图投影平面；
步骤2113，将第二点云中各个扫描点在鸟瞰图投影平面上的x-y轴坐标分量记为对应的鸟瞰投影点坐标(x,y)；并由各个鸟瞰投影点坐标(x,y)对应的z轴高度最高的扫描点的z轴坐标和雷达反射强度组成对应的鸟瞰投影点特征；
这里，第二点云中可能会有多个不同高度的扫描点的鸟瞰投影点坐标(x,y)是相等的，本发明实施例默认选择高度最高的扫描点的高度信息即z轴坐标和反射强度信息即雷达反射强度作为对应的鸟瞰投影点特征；
步骤2114，基于鸟瞰图投影平面构建图形大小为H1×W1的第一鸟瞰图；并设置第一鸟瞰图的像素点特征由高度特征和反射强度特征构成；并将第一鸟瞰图上与各个鸟瞰投影点坐标(x,y)对应的像素点记为第一投影像素点，将第一鸟瞰图上所有第一投影像素点之外的像素点记为第一拓展像素点；并基于对应的鸟瞰投影点特征对各个第一投影像素点的高度特征和反射强度特征进行设置；并使用双线性插值法，根据各个第一投影像素点的高度特征和反射强度特征对各个第一投影像素点周围的第一拓展像素点的高度特征和反射强度特征进行设置；
这里，第一鸟瞰图的高度H1与xmax和xmin的绝对差值成正比关系，宽度W1与ymax和ymin的绝对差值成正比关系；第一鸟瞰图的特征维度为2、包括高度特征和反射强度特征；第一鸟瞰图上与第二点云投影点对应的像素点为第一投影像素点，其他则为第一拓展像素点；第一投影像素点的特征来自于对应的鸟瞰投影点特征；第一拓展像素点的特征则是基于双线性插值法根据周围的第一投影像素点的特征平滑预测出来的；
步骤212，基于预设的鸟瞰图网格尺寸△h1×△w1，对第一鸟瞰图进行网格划分得到由X1×Y1个第一鸟瞰图网格构成的第一鸟瞰图网络；X1＝int(H1/△h1)，Y1＝int(W1/△w1)，int()为向上取整函数；
这里，X1即是第一鸟瞰图网络的总行数，Y1即是第一鸟瞰图网络的总列数；
步骤22，基于预设的鸟瞰图特征提取网络，以各个第一鸟瞰图网格为特征提取单元对第一鸟瞰图进行特征提取处理生成对应的第一鸟瞰特征张量；其中，第一鸟瞰特征张量的形状为X1×Y1×C，C为预设的特征通道数。
这里，本发明实施例预先选定的鸟瞰图特征提取网络包括第一特征提取网络和第一上采样网络，第一特征提取网络由多层卷积神经网络构成；本发明实施例在进行特征提取时，将第一鸟瞰图按第一鸟瞰图网络的形状X1×Y1进行张量转换得到形状为X1×Y1×2的第一输入特征张量，并将第一输入特征张量送入鸟瞰图特征提取网络的第一特征提取网络进行卷积计算得到对应的第一输出特征张量，并将第一输出特征张量输入鸟瞰图特征提取网络的第一上采样网络进行上采样处理得到最终的第一鸟瞰特征张量；第一鸟瞰特征张量的尺寸与第一输入特征张量的尺寸相同都为X1×Y1，第一鸟瞰特征张量的特征通道维度即特征通道数C由鸟瞰图特征提取网络的网络参数决定。
步骤3，对第一点云进行前视特征提取生成对应的第一前视特征张量；
具体包括：步骤31，对第一点云做前视图投影生成图形大小为H2×W2的第一前视图；并基于预设的前视图网格尺寸△h2×△w2，对第一前视图进行网格划分得到由Z1×X2个第一前视图网格构成的第一前视图网络；
其中，H2、W2分别为第一前视图的高度和宽度；△h2、△w2分别为前视图网格的高度和宽度；Z1＝int(H2/△h2)，X2＝int(W2/△w2)，int()为向上取整函数；
具体包括：步骤311，对第一点云做前视图投影生成图形大小为H2×W2的第一前视图；
具体包括：步骤3111，对第一点云中各个扫描点的三维坐标做从激光雷达坐标系到自车坐标系的坐标转换得到对应的第三点云；
这里，得到的第三点云的各个扫描点与第一点云的各个扫描点一一对应；第三点云的各个扫描点也都对应一个三维坐标和一个雷达反射强度，只是第三点云的各个扫描点的三维坐标是基于自车坐标系的三维坐标(x,y,z)；
步骤3112，将第三点云中x-z轴坐标平面上的极值坐标提取出来作为对应的xmin、xmax、zmin和zmax；并在x-z轴坐标平面上基于xmin、xmax做两条x轴垂线、基于zmin和zmax做两条z轴垂线，并将四条垂线构成的矩形平面作为前视图投影平面；
步骤3113，将第三点云中各个扫描点在前视图投影平面上的x-z轴坐标分量记为对应的前视投影点坐标(x,z)；并由各个前视投影点坐标(x,z)对应的y轴深度最深的扫描点的y轴坐标和雷达反射强度组成对应的前视投影点特征；
这里，第三点云中可能会有多个不同高度的扫描点的前视投影点坐标(x,z)是相等的，本发明实施例默认选择深度最深的扫描点的深度信息即y轴坐标和反射强度信息即雷达反射强度作为对应的前视投影点特征；
步骤3114，基于前视图投影平面构建图形大小为H2×W2的第一前视图；并设置第一前视图的像素点特征由深度特征和反射强度特征构成；并将第一前视图上与各个前视投影点坐标(x,z)对应的像素点记为第二投影像素点，将第一前视图上所有第二投影像素点之外的像素点记为第二拓展像素点；并基于对应的前视投影点特征对各个第二投影像素点的深度特征和反射强度特征进行设置；并使用双线性插值法，根据各个第二投影像素点的深度特征和反射强度特征对各个第二投影像素点周围的第二拓展像素点的深度特征和反射强度特征进行设置；
这里，第一前视图的高度H2与xmax和xmin的绝对差值成正比关系，宽度W2与zmax和zmin的绝对差值成正比关系；第一前视图的特征维度为2、包括深度特征和反射强度特征；第一前视图上与第二点云投影点对应的像素点为第二投影像素点，其他则为第二拓展像素点；第二投影像素点的特征来自于对应的前视投影点特征；第二拓展像素点的特征则是基于双线性插值法根据周围的第二投影像素点的特征平滑预测出来的；
步骤312，基于预设的前视图网格尺寸△h2×△w2，对第一前视图进行网格划分得到由Z1×X2个第一前视图网格构成的第一前视图网络；Z1＝int(H2/△h2)，X2＝int(W2/△w2)，int()为向上取整函数；
这里，Z1即是第一前视图网络的总行数，Y1即是第一前视图网络的总列数；
步骤32，基于预设的前视图特征提取网络，以各个第一前视图网格为特征提取单元对第一前视图进行特征提取处理生成对应的第一前视特征张量；
其中，第一前视特征张量的形状为Z1×X2×C。
这里，本发明实施例预先选定的前视图特征提取网络包括第二特征提取网络和第二上采样网络，第二特征提取网络由多层卷积神经网络构成；本发明实施例在进行特征提取时，将第一前视图按第一前视图网络的形状Z1×X2进行张量转换得到形状为Z1×X2×2的第二输入特征张量，并将第二输入特征张量送入前视图特征提取网络的第二特征提取网络进行卷积计算得到对应的第二输出特征张量，并将第二输出特征张量输入前视图特征提取网络的第二上采样网络进行上采样处理得到最终的第一前视特征张量；第一前视特征张量的尺寸与第二输入特征张量的尺寸相同都为Z1×X2，第一前视特征张量的特征通道维度由前视图特征提取网络的网络参数决定，本发明实施例预设的前视图特征提取网络与鸟瞰图特征提取网络预先约定输出相同的特征通道维度也就是说第一前视特征张量的特征通道维度为预设的特征通道数C。
步骤4，对第一鸟瞰特征张量和第一前视特征张量进行特征融合生成对应的第一三维特征张量；
具体包括：步骤41，将第一鸟瞰特征张量按单元网格方式分解为X1×Y1个形状为1×1×C的第一特征张量Ai，j；
其中，1≤i≤X1，1≤j≤Y1；
这里，每个第一特征张量Ai，j对应第一鸟瞰图网络中的一个第一鸟瞰图网格，第一特征张量Ai，j可视为对应第一鸟瞰图网格的单元网格特征；
步骤42，将第一前视特征张量按列方式分解为X2个形状为Z1×1×C的第二特征张量Bk；
其中，1≤k≤X2；
这里，每个第二特征张量Bk对应第一前视图网络中的一列第一前视图网格；第二特征张量Bk可视为对应一列第一前视图网格的列网格特征；
步骤43，从所有第二特征张量Bk中选出与各个第一特征张量Ai，j匹配的第二特征张量作为对应的匹配特征张量B*；
具体包括：对各个第一特征张量Ai，j进行遍历；遍历时，将当前遍历的第一特征张量Ai，j作为当前特征张量Ai，j，并将当前特征张量Ai，j的脚标i提取出来作为当前脚标索引；并将各个第二特征张量Bk的脚标k作为对应的第二脚标索引；并对当前脚标索引与各个第二脚标索引的绝对差值进行计算生成对应的第一绝对差；并从得到的X2个第一绝对差中选择最小值作为对应的最小绝对差；并将最小绝对差对应的第二特征张量Bk作为当前特征张量Ai，j对应的匹配特征张量B*；
这里，由后续步骤可知本发明实施例的特征融合处理方式是使用第一前视图网络中的一个列网格特征与第一鸟瞰图网络中的一个单元网格特征进行融合，但第一鸟瞰图网络与第一前视图网络并不一定是完全对齐的，这会导致一个第一鸟瞰图网格可能有多列第一前视图网格与之相交，因此在进行特征融合之前要为第一鸟瞰图网络的每个单元网格特征即第一特征张量Ai，j筛选出一个最匹配的列网格特征即匹配特征张量B*；
本发明实施例在进行筛选时，先通过提取当前特征张量Ai，j的脚标i来获知当前特征张量Ai，j在第一鸟瞰图网络中的x轴网格索引即当前脚标索引；并通过提取各个第二特征张量Bk的脚标k来获知各个第二特征张量Bk在第一前视图网络中的x轴网格索引即第二脚标索引；再通过计算(i-k)的绝对值即当前脚标索引与各个第二脚标索引的绝对差值来获得当前特征张量Ai，j对应网格与各个第二特征张量Bk对应列的x轴间距即第一绝对差，因为第二特征张量Bk的数量为X2所以可以获得X2个x轴间距即X2个第一绝对差；再从X2个x轴间距中选择距离最近的第二特征张量Bk也就是最小绝对差对应的第二特征张量Bk作为筛选结果即匹配特征张量B*；
步骤44，对各个第一特征张量Ai，j和对应的匹配特征张量B*进行特征融合生成对应的形状为1×1×Z1×C的第三特征张量Di,j；
这里，本发明实施例的特征融合处理方式是使用第一前视图网络中的一个列网格特征即匹配特征张量B*与第一鸟瞰图网络中的一个单元网格特征即第一特征张量Ai，j进行融合，从而得到一个以鸟瞰网格特征为基准同时融合前视高度特征的三维网格特征即第三特征张量Di,j；
具体包括：步骤441，将形状为Z1×1×C的匹配特征张量B*分解为Z1个形状为1×1×C的第四特征张量bg；
其中，1≤g≤Z1；
步骤442，对形状为1×1×C的第一特征张量Ai，j与各个形状为1×1×C的第四特征张量bg进行张量叉乘计算生成对应的第五特征张量dg；
其中，第五特征张量dg的形状为1×1×C；
步骤443，由得到的Z1个第五特征张量dg组成对应的第三特征张量Di,j；第三特征张量Di,j的形状为1×1×Z1×C；
这里，第三特征张量Di,j由Z1个第五特征张量dg级联而成；
步骤45，由得到X1×Y1个第三特征张量Di,j组成对应的第一三维特征张量；第一三维特征张量的形状为X1×Y1×Z1×C。
综上所述，本发明实施例通过上述步骤1-4实现了一种新的三维点云特征提取方式即先分别对点云进行二维的鸟瞰、前视特征提取，再对两个二维特征进行融合得到点云的三维特征。本发明实施例的这种处理方式相较于传统的三维体素网络特征提取方式而言，大大降低了点云特征提取的计算量，缩短了计算时间，很好地解决了常规处理方式中的计算超时问题。
图2为本发明实施例二提供的一种点云特征的处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、鸟瞰特征处理模块202、前视特征处理模块203和特征融合处理模块204。
获取模块201用于获取激光雷达点云作为对应的第一点云。
鸟瞰特征处理模块202用于对第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量。
前视特征处理模块203用于对第一点云进行前视特征提取生成对应的第一前视特征张量。
特征融合处理模块204用于对第一鸟瞰特征张量和第一前视特征张量进行特征融合生成对应的第一三维特征张量。
本发明实施例提供的一种点云特征的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种点云特征的处理方法、装置、电子设备及计算机可读存储介质；在得到激光雷达点云之后先对激光雷达点云进行二维的鸟瞰图和前视图投影，再对二维的鸟瞰图、前视图进行特征提取得到对应的二维鸟瞰、前视特征，再将前视特征融合到鸟瞰特征中就得到了一个三维的融合特征。通过本发明，使用二维的鸟瞰+前视特征融合方式替换常规的三维体素网络特征提取方式，降低了特征提取计算量、缩短了特征提取计算时间，解决了常规三维体素网络特征提取方式的计算超时问题。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种点云特征的处理方法，其特征在于，所述方法包括：
获取激光雷达点云作为对应的第一点云；
对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；
对所述第一点云进行前视特征提取生成对应的第一前视特征张量；
对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量。
2.根据权利要求1所述的点云特征的处理方法，其特征在于，所述对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量，具体包括：
对所述第一点云做鸟瞰图投影生成图形大小为H1×W1的第一鸟瞰图；并基于预设的鸟瞰图网格尺寸△h1×△w1，对所述第一鸟瞰图进行网格划分得到由X1×Y1个第一鸟瞰图网格构成的第一鸟瞰图网络；H1、W1分别为所述第一鸟瞰图的高度和宽度；X1＝int(H1/△h1)，Y1＝int(W1/△w1)，int()为向上取整函数；
基于预设的鸟瞰图特征提取网络，以各个所述第一鸟瞰图网格为特征提取单元对所述第一鸟瞰图进行特征提取处理生成对应的所述第一鸟瞰特征张量；所述第一鸟瞰特征张量的形状为X1×Y1×C，C为预设的特征通道数。
3.根据权利要求2所述的点云特征的处理方法，其特征在于，所述对所述第一点云进行前视特征提取生成对应的第一前视特征张量，具体包括：
对所述第一点云做前视图投影生成图形大小为H2×W2的第一前视图；并基于预设的前视图网格尺寸△h2×△w2，对所述第一前视图进行网格划分得到由Z1×X2个第一前视图网格构成的第一前视图网络；H2、W2分别为所述第一前视图的高度和宽度；Z1＝int(H2/△h2)，X2＝int(W2/△w2)；
基于预设的前视图特征提取网络，以各个所述第一前视图网格为特征提取单元对所述第一前视图进行特征提取处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为Z1×X2×C。
4.根据权利要求3所述的点云特征的处理方法，其特征在于，所述对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量，具体包括：
将所述第一鸟瞰特征张量按单元网格方式分解为X1×Y1个形状为1×1×C的第一特征张量Ai，j；1≤i≤X1，1≤j≤Y1；
将所述第一前视特征张量按列方式分解为X2个形状为Z1×1×C的第二特征张量Bk；1≤k≤X2；
从所有所述第二特征张量Bk中选出与各个所述第一特征张量Ai，j匹配的第二特征张量作为对应的匹配特征张量B*；
对各个所述第一特征张量Ai，j和对应的所述匹配特征张量B*进行特征融合生成对应的形状为1×1×Z1×C的第三特征张量Di,j；
由得到X1×Y1个所述第三特征张量Di,j组成对应的所述第一三维特征张量；所述第一三维特征张量的形状为X1×Y1×Z1×C。
5.根据权利要求4所述的点云特征的处理方法，其特征在于，所述从所有所述第二特征张量Bk中选出与各个所述第一特征张量Ai，j匹配的第二特征张量作为对应的匹配特征张量B*，具体包括：
对各个所述第一特征张量Ai，j进行遍历；遍历时，将当前遍历的所述第一特征张量Ai，j作为当前特征张量Ai，j，并将所述当前特征张量Ai，j的脚标i提取出来作为当前脚标索引；并将各个所述第二特征张量Bk的脚标k作为对应的第二脚标索引；并对所述当前脚标索引与各个所述第二脚标索引的绝对差值进行计算生成对应的第一绝对差；并从得到的X2个所述第一绝对差中选择最小值作为对应的最小绝对差；并将所述最小绝对差对应的所述第二特征张量Bk作为所述当前特征张量Ai，j对应的所述匹配特征张量B*。
6.根据权利要求4所述的点云特征的处理方法，其特征在于，所述对各个所述第一特征张量Ai，j和对应的所述匹配特征张量B*进行特征融合生成对应的形状为1×1×Z1×C的第三特征张量Di,j，具体包括：
将形状为Z1×1×C的所述匹配特征张量B*分解为Z1个形状为1×1×C的第四特征张量bg；1≤g≤Z1；
对形状为1×1×C的所述第一特征张量Ai，j与各个形状为1×1×C的所述第四特征张量bg进行张量叉乘计算生成对应的第五特征张量dg；所述第五特征张量dg的形状为1×1×C；
并由得到的Z1个所述第五特征张量dg组成对应的所述第三特征张量Di,j；所述第三特征张量Di,j的形状为1×1×Z1×C。
7.一种用于执行权利要求1-6任一项所述的点云特征的处理方法的装置，其特征在于，所述装置包括：获取模块、鸟瞰特征处理模块、前视特征处理模块和特征融合处理模块；
所述获取模块用于获取激光雷达点云作为对应的第一点云；
所述鸟瞰特征处理模块用于对所述第一点云进行鸟瞰特征提取生成对应的第一鸟瞰特征张量；
所述前视特征处理模块用于对所述第一点云进行前视特征提取生成对应的第一前视特征张量；
所述特征融合处理模块用于对所述第一鸟瞰特征张量和所述第一前视特征张量进行特征融合生成对应的第一三维特征张量。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。
CN202211036760.9A 2022-08-29 2022-08-29 一种点云特征的处理方法和装置 Pending CN115457357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211036760.9A CN115457357A (zh) 2022-08-29 2022-08-29 一种点云特征的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211036760.9A CN115457357A (zh) 2022-08-29 2022-08-29 一种点云特征的处理方法和装置

Publications (1)

Publication Number Publication Date
CN115457357A true CN115457357A (zh) 2022-12-09

Family

ID=84300978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211036760.9A Pending CN115457357A (zh) 2022-08-29 2022-08-29 一种点云特征的处理方法和装置

Country Status (1)

Country Link
CN (1) CN115457357A (zh)

Similar Documents

Publication Publication Date Title
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN111640180B (zh) 一种三维重建方法、装置及终端设备
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
CN114782787A (zh) 一种对点云与图像数据进行特征融合的处理方法和装置
CN116188931A (zh) 一种基于融合特征进行点云目标检测的处理方法和装置
CN115965842A (zh) 一种基于图像和点云融合的目标检测方法和系统
CN113759338A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN114519681A (zh) 自动标定方法及装置、计算机可读存储介质、终端
CN114119455A (zh) 一种基于目标检测网络定位血管狭窄部位的方法和装置
CN115457357A (zh) 一种点云特征的处理方法和装置
CN114170367B (zh) 无限视距椎状热图渲染的方法、装置、存储介质和设备
CN113361601A (zh) 基于无人车激光雷达数据进行透视与俯瞰特征融合的方法
CN113920274A (zh) 场景点云处理方法及装置、无人机、遥测终端和存储介质
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN112561836B (zh) 一种获取目标物的点云集合的方法及装置
CN114663478A (zh) 一种根据多参考点预测信息估计锚点位置的方法
CN115049872A (zh) 一种融合图像点云特征的分类方法和装置
CN111369425B (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN113554037A (zh) 一种基于模型简化的特征提取方法及装置
CN113408456A (zh) 一种环境感知算法、系统、装置、电子设备及存储介质
CN113419254A (zh) 一种避免重影的多固态扫描式激光雷达数据的分帧方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination