CN113420637A - 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法 - Google Patents

自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法 Download PDF

Info

Publication number
CN113420637A
CN113420637A CN202110679208.0A CN202110679208A CN113420637A CN 113420637 A CN113420637 A CN 113420637A CN 202110679208 A CN202110679208 A CN 202110679208A CN 113420637 A CN113420637 A CN 113420637A
Authority
CN
China
Prior art keywords
tensor
point cloud
dimensional
distance
aerial view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110679208.0A
Other languages
English (en)
Inventor
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingzhou Zhihang Technology Co ltd
Original Assignee
Beijing Qingzhou Zhihang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingzhou Zhihang Technology Co ltd filed Critical Beijing Qingzhou Zhihang Technology Co ltd
Priority to CN202110679208.0A priority Critical patent/CN113420637A/zh
Publication of CN113420637A publication Critical patent/CN113420637A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明实施例涉及一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，所述方法包括：获取第一点云张量；对第一点云张量进行拆分得到第一近距离、第一远距离点云张量；对第一近距离点云张量进行特征提取生成第一近距离鸟瞰特征张量；对第一远距离点云张量进行特征提取生成第一远距离鸟瞰特征张量；对第一近距离鸟瞰特征张量进行最大池化生成第二近距离鸟瞰特征张量；对第二近距离、第一远距离鸟瞰特征张量进行融合生成第一鸟瞰特征张量；对第一鸟瞰特征张量进行转换生成第一鸟瞰图二维张量；对第一鸟瞰图二维张量进行目标检测。本发明方法既能保证近处特征识别效率不降低，还能提高远处特征识别的正确率，同时还能降低计算量。

Description

自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法。
背景技术
点云数据(point cloud data)是指以点形式记录扫描信息的数据，由激光雷达扫描得到的每个点云数据都包含一个三维坐标(X,Y,Z)和一个激光反射强度信息(Intensity)。体素是体积元素(volumepixel)的简称，是数字三维空间上分割出的最小单位。鸟瞰图是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。对点云数据进行二维体素转换，可以得到鸟瞰图信息。基于鸟瞰图做激光雷达数据的目标检测是无人驾驶场景中很常见的办法。但是我们在实际应用中发现，同一张鸟瞰图中距离雷达较近处的识别效果明显优于远处的识别效果。究其原因，这都是因为深度越深有效点云数量越少的缘故，这会导致鸟瞰图中的远处网格内的数据点密度不够，在进行目标识别时常常会将部分远处数据点当成无效数据过滤，从而无法正常识别。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法、电子设备及计算机可读存储介质，将点云数据按远近关系拆成近处点云与远处点云，将远处点云转换为低分辨率的远处鸟瞰张量，将近处点云转换为高分辨率的鸟瞰张量之后通过最大值优化再降为低分辨率的近处鸟瞰张量，再将得到的远近鸟瞰张量进行融合就可以得到一个近处特征明显、远处特征不分散的鸟瞰图，然后再对新的鸟瞰图进行障碍物识别。如此一来，既能保证近处特征识别效率不降低，还能提高远处特征识别的正确率，同时因为分辨率下调还能成倍降低整个运算过程的计算量。
为实现上述目的，本发明实施例第一方面提供了一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，所述方法包括：
在自动驾驶过程中，获取激光雷达对第一目标环境进行扫描生成的第一点云张量；
根据预设的深度阈值R，对所述第一点云张量进行拆分，得到第一近距离点云张量和第一远距离点云张量；
对所述第一近距离点云张量进行二维体素特征提取处理，生成第一近距离鸟瞰特征张量；
对所述第一远距离点云张量进行二维体素特征提取处理，生成第一远距离鸟瞰特征张量；
使用2*2滑窗对所述第一近距离鸟瞰特征张量进行最大池化处理，生成第二近距离鸟瞰特征张量；
对所述第二近距离鸟瞰特征张量和第一远距离鸟瞰特征张量进行融合处理，生成第一鸟瞰特征张量；
对所述第一鸟瞰特征张量进行二维图像转换处理，生成第一鸟瞰图二维张量；
对所述第一鸟瞰图二维张量进行目标检测处理，得到多个第一目标识别框和对应的第一分类数据。
优选的，所述第一点云张量的形状为X*Y*Z*I，所述X为点云深度坐标维度参数，所述Y为点云宽度坐标维度参数，所述Z为点云高度坐标维度参数，所述I为激光反射强度维度参数；
所述第一近距离点云张量的形状为X1*Y1*Z1*I1，所述X1为点云深度坐标维度参数，所述Y1为点云宽度坐标维度参数，所述Z1为点云高度坐标维度参数，所述I1为激光反射强度维度参数；X1＝深度阈值R，Y1＝Y，Z1＝Z，I1＝I；
所述第一远距离点云张量的形状为X2*Y2*Z2*I2，所述X2为点云深度坐标维度参数，所述Y2为点云宽度坐标维度参数，所述Z2为点云高度坐标维度参数，所述I2为激光反射强度维度参数；X2＝X-X1，Y2＝Y，Z2＝Z，I2＝I；
所述第一近距离鸟瞰特征张量的形状为H1*W1*C1，所述H1为二维图高度维度参数，所述W1为二维图宽度维度参数，所述C1为二维图通道维度参数；
所述第一远距离鸟瞰特征张量的形状为H2*W2*C2，所述H2为二维图高度维度参数，所述W2为二维图宽度维度参数，所述C2为二维图通道维度参数；H2＝H1/2，C2＝C1；
所述第二近距离鸟瞰特征张量的形状为H3*W3*C3，所述H3为二维图高度维度参数，所述W3为二维图宽度维度参数，所述C3为二维图通道维度参数；H3＝H1/2，W3＝W1/2,C3＝C1；
所述第一鸟瞰特征张量的形状为H4*W4*C4，所述H4为二维图高度维度参数，所述W4为二维图宽度维度参数，所述C4为二维图通道维度参数；H4＝H3＝H2＝H1/2，W4＝W2+W3,C4＝C1。
优选的，所述根据预设的深度阈值R，对所述第一点云张量进行拆分，得到第一近距离点云张量和第一远距离点云张量，具体包括：
根据所述深度阈值R设置用于标记拆分边界的第一深度坐标，第一深度坐标＝深度阈值R；
由所述第一点云张量[X*Y*Z*I]中深度坐标小于或等于所述第一深度坐标的点云数据组成所述第一近距离点云张量[X1*Y1*Z1*I1]；
由所述第一点云张量中深度坐标大于所述第一深度坐标的点云数据组成第一临时张量；并在所述第一临时张量中，根据所述第一深度坐标对所有点云数据的当前深度坐标进行偏移计算并将计算结果作为新的深度坐标，新的深度坐标＝当前深度坐标-第一深度坐标；并将完成深度坐标偏移计算的第一临时张量作为所述第一远距离点云张量[X2*Y2*Z2*I2]。
优选的，所述对所述第一近距离点云张量进行二维体素特征提取处理，生成第一近距离鸟瞰特征张量，具体包括：
使用PointPillars算法模型，以预设的最小网格边长阈值作为网格边长，对所述第一近距离点云张量[X1*Y1*Z1*I1]进行笛卡尔坐标系的二维体素特征提取，生成所述第一近距离鸟瞰特征张量[H1*W1*C1]。
优选的，所述对所述第一远距离点云张量进行二维体素特征提取处理，生成第一远距离鸟瞰特征张量，具体包括：
使用PointPillars算法模型，以预设的最小网格边长阈值*2作为网格边长，对所述第一远距离点云张量[X2*Y2*Z2*I2]进行笛卡尔坐标系的二维体素特征提取，生成所述第一远距离鸟瞰特征张量[H2*W2*C2]。
优选的，所述对所述第二近距离鸟瞰特征张量和第一远距离鸟瞰特征张量进行融合处理，生成第一鸟瞰特征张量，具体包括：
从二维图通道维度对所述第二近距离鸟瞰特征张量[H3*W3*C3]和所述第一远距离鸟瞰特征张量[H2*W2*C2]进行融合处理，生成所述第一鸟瞰特征张量[H4*W4*C4]。
优选的，所述第一鸟瞰特征张量[H4*W4*C4]包括H4*W4个一维向量[C4]，所述对所述第一鸟瞰特征张量进行二维图像转换处理，生成第一鸟瞰图二维张量，具体包括：
根据预设的鸟瞰图像素转换规则，将所述第一鸟瞰特征张量[H4*W4*C4]中每个所述一维向量[C4]转换成对应的像素值，由此生成形状为H4*W4的所述第一鸟瞰图张量。
优选的，所述对所述第一鸟瞰图二维张量进行目标检测处理，得到多个第一目标识别框和对应的第一分类数据，具体包括：
使用基于二维图像的障碍物检测模型，对所述第一鸟瞰图二维张量进行检测，得到所述多个第一目标识别框和对应的第一分类数据；所述基于二维图像的障碍物检测模型至少包括YOLO算法模型、SSD算法模型、faster RCNN算法模型和RPN算法模型。
本发明实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法、电子设备及计算机可读存储介质，将点云数据按远近关系拆成近处点云与远处点云，将远处点云转换为低分辨率的远处鸟瞰张量，将近处点云转换为高分辨率的鸟瞰张量之后通过最大值优化再降为低分辨率的近处鸟瞰张量，再将得到的远近鸟瞰张量进行融合就可以得到一个近处特征明显、远处特征不分散的鸟瞰图，然后再对新的鸟瞰图进行障碍物识别。如此一来，既保证了近处特征识别效率不降低，还提高了远处特征识别的正确率，同时因为分辨率下调还成倍降低了整个运算过程的计算量。
附图说明
图1为本发明实施例一提供的一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法示意图；
图2为本发明实施例一提供的点云空间拆分示意图；
图3为本发明实施例一提供的2*2滑窗示意图；
图4为本发明实施例二提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，如图1为本发明实施例一提供的一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法示意图所示，本方法主要包括如下步骤：
步骤1，在自动驾驶过程中，获取激光雷达对第一目标环境进行扫描生成的第一点云张量；
其中，第一点云张量的形状为X*Y*Z*I，X为点云深度坐标维度参数，Y为点云宽度坐标维度参数，Z为点云高度坐标维度参数，I为激光反射强度维度参数。
这里，第一点云张量中包括了大量的点云数据，每个点云数据都包括了激光雷达扫描得到的深度信息、宽度信息、高度信息和激光反射强度信息，因此点云张量的结构就应为一个四维张量结构。
步骤2，根据预设的深度阈值R，对第一点云张量进行拆分，得到第一近距离点云张量和第一远距离点云张量；
具体包括：步骤21，根据深度阈值R设置用于标记拆分边界的第一深度坐标，第一深度坐标＝深度阈值R；
这里，深度阈值R为预先设定的一个系统参数，该参数用于对远近关系进行界定，也就是深度小于或等于该阈值的被认定为近处点云，反之则认定为远处点云，深度阈值R常规被设定为80米；
步骤22，由第一点云张量[X*Y*Z*I]中深度坐标小于或等于第一深度坐标的点云数据组成第一近距离点云张量[X1*Y1*Z1*I1]；
其中，第一近距离点云张量的形状为X1*Y1*Z1*I1，X1为点云深度坐标维度参数，Y1为点云宽度坐标维度参数，Z1为点云高度坐标维度参数，I1为激光反射强度维度参数；X1＝深度阈值R，Y1＝Y，Z1＝Z，I1＝I；
这里，以图2为本发明实施例一提供的点云空间拆分示意图为示例，拆分第一近距离点云张量实际就是从图2的第一点云空间中拆除一个等宽、等高但不等深的子空间来做第一近距离点云空间，在第一近距离点云空间里的点云数据的深度坐标都应该是小于或等于第一深度坐标的；因此，这个子空间的Y1、Z1都应和第一点云空间的Y、Z相等，这个子空间的X1＝第一深度坐标＝深度阈值R，又因为所有点云数据的激光反射强度信息的取值范围或向量形状都相同，所以I1也应该等于I；
步骤23，由第一点云张量中深度坐标大于第一深度坐标的点云数据组成第一临时张量；并在第一临时张量中，根据第一深度坐标对所有点云数据的当前深度坐标进行偏移计算并将计算结果作为新的深度坐标，新的深度坐标＝当前深度坐标-第一深度坐标；并将完成深度坐标偏移计算的第一临时张量作为第一远距离点云张量[X2*Y2*Z2*I2]；
其中，第一远距离点云张量的形状为X2*Y2*Z2*I2，X2为点云深度坐标维度参数，Y2为点云宽度坐标维度参数，Z2为点云高度坐标维度参数，I2为激光反射强度维度参数；X2＝X-X1，Y2＝Y，Z2＝Z，I2＝I。
这里，以图2为示例，拆分第一远距离点云张量实际就是从图2的第一点云空间中拆除一个等宽、等高但不等深的另一个子空间来做第一远距离点云空间，在第一远距离点云空间里的点云数据的深度坐标都应该是大于第一深度坐标的；因为等宽、等高，所以这个子空间的Y1、Z1都应和第一点云空间的Y、Z相等；这个子空间的X坐标与第一近距离点云空间的X坐标不同，不是从0开始的，所以不能直接用原有坐标做为X2，要使用第一深度坐标对原有坐标做一次归零偏移，所以X2＝X-X1；另外，所有点云数据的激光反射强度信息的取值范围或向量形状都相同，所以I2也应该等于I；
步骤3，对第一近距离点云张量进行二维体素特征提取处理，生成第一近距离鸟瞰特征张量；
其中，第一近距离鸟瞰特征张量的形状为H1*W1*C1，H1为二维图高度维度参数，W1为二维图宽度维度参数，C1为二维图通道维度参数；
具体包括：使用PointPillars算法模型，以预设的最小网格边长阈值作为网格边长，对第一近距离点云张量[X1*Y1*Z1*I1]进行笛卡尔坐标系的二维体素特征提取，生成第一近距离鸟瞰特征张量[H1*W1*C1]。
这里，本发明实施例的PointPillars算法模型首先对输入的第一近距离点云张量[X1*Y1*Z1*I1]在鸟瞰角度X1Y1平面上的二维最大值(X1向最大值和Y1向最大值)进行获取；
然后再根据X1向最大值、Y1向最大值和网格边长(预设的最小网格边长阈值)划出一个形状为H1*W1的网格，H1＝Y1向最大值/网格边长,W1＝X1向最大值/网格边长；这里最小网格边长阈值是一个预先设定的PointPillars算法参数；
将每个单元网格设定对应一个柱子(Pillar)张量；
随后再参考第一近距离点云张量[X1*Y1*Z1*I1]中各个点云数据的X1Y1二维坐标，将每个点云都分布到对应的Pillar中，完成对每个Pillar张量的填充，这也是模型用于处理点云三维坐标到二维坐标投影的过程；
接着再根据设定的采样策略，对每个Pillar张量中的点云数据进行滤噪和采样等数据预处理，并将完成预处理的Pillar张量输入卷积网络进行特征提取从而得到最终的二维特征张量也就是第一近距离鸟瞰特征张量[H1*W1*C1]。
步骤4，对第一远距离点云张量进行二维体素特征提取处理，生成第一远距离鸟瞰特征张量；
其中，第一远距离鸟瞰特征张量的形状为H2*W2*C2，H2为二维图高度维度参数，W2为二维图宽度维度参数，C2为二维图通道维度参数；H2＝H1/2，C2＝C1；
具体包括：使用PointPillars算法模型，以预设的最小网格边长阈值*2作为网格边长，对第一远距离点云张量[X2*Y2*Z2*I2]进行笛卡尔坐标系的二维体素特征提取，生成第一远距离鸟瞰特征张量[H2*W2*C2]。
这里，本发明实施例的PointPillars算法模型首先对输入的第一远距离点云张量[X2*Y2*Z2*I2]在鸟瞰角度X2Y2平面上的二维最大值(X2向最大值和Y2向最大值)进行获取；
然后再根据X2向最大值、Y2向最大值和网格边长(预设的最小网格边长阈值*2)划出一个形状为H2*W2的网格，H2＝Y2向最大值/网格边长,W2＝X2向最大值/网格边长；这里Y2向最大值实际与Y1向最大值相等，如果X2向最大值与X1向最大值那就意味着H2*W2的网格数量是H1*W1的1/4，分辨率大大降低了，单个网格内集中的数据点也增多了；
将每个单元网格设定对应一个柱子(Pillar)张量；
随后再参考第一远距离点云张量[X2*Y2*Z2*I2]中各个点云数据的X2Y2二维坐标，将每个点云都分布到对应的Pillar中，完成对每个Pillar张量的填充，这也是模型用于处理点云三维坐标到二维坐标投影的过程；
接着再根据设定的采样策略，对每个Pillar张量中的点云数据进行滤噪和采样等数据预处理，并将完成预处理的Pillar张量输入卷积网络进行特征提取从而得到最终的二维特征张量也就是第一远距离鸟瞰特征张量[H2*W2*C2]。这里，PointPillars算法模型输出的二维图通道向量C的形状都是一样的，所以C2＝C1。
步骤5，使用2*2滑窗对第一近距离鸟瞰特征张量进行最大池化处理，生成第二近距离鸟瞰特征张量；
其中，第二近距离鸟瞰特征张量的形状为H3*W3*C3，H3为二维图高度维度参数，W3为二维图宽度维度参数，C3为二维图通道维度参数；H3＝H1/2，W3＝W1/2,C3＝C1。
这里，先以图3为本发明实施例一提供的2*2滑窗示意图为示例，对2*2滑窗最大池化操作做一下说明，在图3中存在一个6*6的矩阵，当使用2*2滑窗对其进行最大池化操作时，可将该6*6的矩阵分化成9个滑窗空间，分别计算每个滑窗空间内的最大值，再将9个最大值按顺序重新构成一个3*3的矩阵，这个3*3的矩阵就是使用2*2滑窗对个6*6矩阵进行最大池化操作的输出结果，不难看出这样会使得数据更加集中；
结合本操作步骤，使用2*2滑窗对第一近距离鸟瞰特征张量[H1*W1*C1]进行最大池化处理，得到的第二近距离鸟瞰特征张量[H3*W3*C3]就应该是原来张量的1/4大小，所以H3＝H1/2，W3＝W1/2，另外，对第一近距离鸟瞰特征张量[H1*W1*C1]进行池化处理并不会破坏每个H*W网格中的二维图通道向量C的形状，所以C3＝C2＝C1。
步骤6，对第二近距离鸟瞰特征张量和第一远距离鸟瞰特征张量进行融合处理，生成第一鸟瞰特征张量；
其中，第一鸟瞰特征张量的形状为H4*W4*C4，H4为二维图高度维度参数，W4为二维图宽度维度参数，C4为二维图通道维度参数；H4＝H3＝H2＝H1/2，W4＝W2+W3,C4＝C1；
具体包括：从二维图通道维度对第二近距离鸟瞰特征张量[H3*W3*C3]和第一远距离鸟瞰特征张量[H2*W2*C2]进行融合处理，生成第一鸟瞰特征张量[H4*W4*C4]。
这里，实际就是对两个网格按W方向进行拼接，从一个H2*W2也就是1/2H1*W2的网格接上一个H3*W3也就是1/2H1*W3的网格到一个H4*W4也就是1/2H1*(W2+W3)的网格。
从这里我们就可以看出，当前的网格中前部分网格的数据都是经过最大值优化处理过的，特征明显；后半部分的网格里数据密度也增大了；而且网格的总量也降下来了，如果图2中两个子空间等深的话，这里得到的网格总数量只等于传统处理方法的1/4。如此一来，在后续的目标识别处理中，前半部分数据的特征识别不但不会减弱还会因为特征数据集中而更精准，后半部分数据因为数据量集中了所以其识别精度能得到提升，同时数据总量下降了自然计算量也会得到很大额缓解。
步骤7，对第一鸟瞰特征张量进行二维图像转换处理，生成第一鸟瞰图二维张量；
具体包括：根据预设的鸟瞰图像素转换规则，将第一鸟瞰特征张量[H4*W4*C4]中每个一维向量[C4]转换成对应的像素值，由此生成形状为H4*W4的第一鸟瞰图张量；其中，第一鸟瞰特征张量[H4*W4*C4]包括H4*W4个一维向量[C4]。
这里，二维图通道向量C是前文中PointPillars算法模型对点云数据进行转换得到的，本发明实施例的PointPillars算法模型会结合原始点云的Z轴也就是高度信息和激光扫描强度信息I来进行与像素相关的信息转换，转换的结果也就是二维图通道向量C，二维图通道向量C中可以包含多个与图像相关的数据类型，诸如像素、灰度等。本发明实施例会针对每种数据类型预先设定一个鸟瞰图像素转换规则来对二维图通道向量C作进一步转换，转换的结果就是得到一个二维的图形向量第一鸟瞰图张量[H4*W4]。
步骤8，对第一鸟瞰图二维张量进行目标检测处理，得到多个第一目标识别框和对应的第一分类数据；
具体包括：使用基于二维图像的障碍物检测模型，对第一鸟瞰图二维张量进行检测，得到多个第一目标识别框和对应的第一分类数据；
其中，基于二维图像的障碍物检测模型至少包括YOLO(You Only Look Once)算法模型、SSD(Single Shot Multibox Detector)算法模型、faster RCNN(Regions with CNNfeatures)算法模型和RPN(Region Proposal Network)算法模型。
这里，本发明实施例在进行目标检测时，使用的都是可以标出目标识别框的算法模型，这些算法模型在输出目标识别框的同时还会为每个识别框给出分类结论。
图4为本发明实施例二提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图4所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图4中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法、电子设备及计算机可读存储介质，将点云数据按远近关系拆成近处点云与远处点云，将远处点云转换为低分辨率的远处鸟瞰张量，将近处点云转换为高分辨率的鸟瞰张量之后通过最大值优化再降为低分辨率的近处鸟瞰张量，再将得到的远近鸟瞰张量进行融合就可以得到一个近处特征明显、远处特征不分散的鸟瞰图，然后再对新的鸟瞰图进行障碍物识别。如此一来，既保证了近处特征识别效率不降低，还提高了远处特征识别的正确率，同时因为分辨率下调还成倍降低了整个运算过程的计算量。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述方法包括：
在自动驾驶过程中，获取激光雷达对第一目标环境进行扫描生成的第一点云张量；
根据预设的深度阈值R，对所述第一点云张量进行拆分，得到第一近距离点云张量和第一远距离点云张量；
对所述第一近距离点云张量进行二维体素特征提取处理，生成第一近距离鸟瞰特征张量；
对所述第一远距离点云张量进行二维体素特征提取处理，生成第一远距离鸟瞰特征张量；
使用2*2滑窗对所述第一近距离鸟瞰特征张量进行最大池化处理，生成第二近距离鸟瞰特征张量；
对所述第二近距离鸟瞰特征张量和第一远距离鸟瞰特征张量进行融合处理，生成第一鸟瞰特征张量；
对所述第一鸟瞰特征张量进行二维图像转换处理，生成第一鸟瞰图二维张量；
对所述第一鸟瞰图二维张量进行目标检测处理，得到多个第一目标识别框和对应的第一分类数据。
2.根据权利要求1所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，
所述第一点云张量的形状为X*Y*Z*I，所述X为点云深度坐标维度参数，所述Y为点云宽度坐标维度参数，所述Z为点云高度坐标维度参数，所述I为激光反射强度维度参数；
所述第一近距离点云张量的形状为X1*Y1*Z1*I1，所述X1为点云深度坐标维度参数，所述Y1为点云宽度坐标维度参数，所述Z1为点云高度坐标维度参数，所述I1为激光反射强度维度参数；X1＝深度阈值R，Y1＝Y，Z1＝Z，I1＝I；
所述第一远距离点云张量的形状为X2*Y2*Z2*I2，所述X2为点云深度坐标维度参数，所述Y2为点云宽度坐标维度参数，所述Z2为点云高度坐标维度参数，所述I2为激光反射强度维度参数；X2＝X-X1，Y2＝Y，Z2＝Z，I2＝I；
所述第一近距离鸟瞰特征张量的形状为H1*W1*C1，所述H1为二维图高度维度参数，所述W1为二维图宽度维度参数，所述C1为二维图通道维度参数；
所述第一远距离鸟瞰特征张量的形状为H2*W2*C2，所述H2为二维图高度维度参数，所述W2为二维图宽度维度参数，所述C2为二维图通道维度参数；H2＝H1/2，C2＝C1；
所述第二近距离鸟瞰特征张量的形状为H3*W3*C3，所述H3为二维图高度维度参数，所述W3为二维图宽度维度参数，所述C3为二维图通道维度参数；H3＝H1/2，W3＝W1/2,C3＝C1；
所述第一鸟瞰特征张量的形状为H4*W4*C4，所述H4为二维图高度维度参数，所述W4为二维图宽度维度参数，所述C4为二维图通道维度参数；H4＝H3＝H2＝H1/2，W4＝W2+W3,C4＝C1。
3.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述根据预设的深度阈值R，对所述第一点云张量进行拆分，得到第一近距离点云张量和第一远距离点云张量，具体包括：
根据所述深度阈值设置用于标记拆分边界的第一深度坐标，第一深度坐标＝深度阈值R；
由所述第一点云张量[X*Y*Z*I]中深度坐标小于或等于所述第一深度坐标的点云数据组成所述第一近距离点云张量[X1*Y1*Z1*I1]；
由所述第一点云张量中深度坐标大于所述第一深度坐标的点云数据组成第一临时张量；并在所述第一临时张量中，根据所述第一深度坐标对所有点云数据的当前深度坐标进行偏移计算并将计算结果作为新的深度坐标，新的深度坐标＝当前深度坐标-第一深度坐标；并将完成深度坐标偏移计算的第一临时张量作为所述第一远距离点云张量[X2*Y2*Z2*I2]。
4.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述对所述第一近距离点云张量进行二维体素特征提取处理，生成第一近距离鸟瞰特征张量，具体包括：
使用PointPillars算法模型，以预设的最小网格边长阈值作为网格边长，对所述第一近距离点云张量[X1*Y1*Z1*I1]进行笛卡尔坐标系的二维体素特征提取，生成所述第一近距离鸟瞰特征张量[H1*W1*C1]。
5.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述对所述第一远距离点云张量进行二维体素特征提取处理，生成第一远距离鸟瞰特征张量，具体包括：
使用PointPillars算法模型，以预设的最小网格边长阈值*2作为网格边长，对所述第一远距离点云张量[X2*Y2*Z2*I2]进行笛卡尔坐标系的二维体素特征提取，生成所述第一远距离鸟瞰特征张量[H2*W2*C2]。
6.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述对所述第二近距离鸟瞰特征张量和第一远距离鸟瞰特征张量进行融合处理，生成第一鸟瞰特征张量，具体包括：
从二维图通道维度对所述第二近距离鸟瞰特征张量[H3*W3*C3]和所述第一远距离鸟瞰特征张量[H2*W2*C2]进行融合处理，生成所述第一鸟瞰特征张量[H4*W4*C4]。
7.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述第一鸟瞰特征张量[H4*W4*C4]包括H4*W4个一维向量[C4]，所述对所述第一鸟瞰特征张量进行二维图像转换处理，生成第一鸟瞰图二维张量，具体包括：
根据预设的鸟瞰图像素转换规则，将所述第一鸟瞰特征张量[H4*W4*C4]中每个所述一维向量[C4]转换成对应的像素值，由此生成形状为H4*W4的所述第一鸟瞰图张量。
8.根据权利要求2所述的自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法，其特征在于，所述对所述第一鸟瞰图二维张量进行目标检测处理，得到多个第一目标识别框和对应的第一分类数据，具体包括：
使用基于二维图像的障碍物检测模型，对所述第一鸟瞰图二维张量进行检测，得到所述多个第一目标识别框和对应的第一分类数据；所述基于二维图像的障碍物检测模型至少包括YOLO算法模型、SSD算法模型、faster RCNN算法模型和RPN算法模型。
9.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-8任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-8任一项所述的方法的指令。
CN202110679208.0A 2021-06-18 2021-06-18 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法 Withdrawn CN113420637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110679208.0A CN113420637A (zh) 2021-06-18 2021-06-18 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110679208.0A CN113420637A (zh) 2021-06-18 2021-06-18 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法

Publications (1)

Publication Number Publication Date
CN113420637A true CN113420637A (zh) 2021-09-21

Family

ID=77789080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110679208.0A Withdrawn CN113420637A (zh) 2021-06-18 2021-06-18 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法

Country Status (1)

Country Link
CN (1) CN113420637A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925769A (zh) * 2022-05-26 2022-08-19 苏州轻棹科技有限公司 一种多传感器数据融合处理系统
CN115187964A (zh) * 2022-09-06 2022-10-14 中诚华隆计算机技术有限公司 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN115436910A (zh) * 2022-08-31 2022-12-06 苏州轻棹科技有限公司 一种对激光雷达点云进行目标检测的数据处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925769A (zh) * 2022-05-26 2022-08-19 苏州轻棹科技有限公司 一种多传感器数据融合处理系统
CN114925769B (zh) * 2022-05-26 2024-03-29 苏州轻棹科技有限公司 一种多传感器数据融合处理系统
CN115436910A (zh) * 2022-08-31 2022-12-06 苏州轻棹科技有限公司 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN115436910B (zh) * 2022-08-31 2024-05-03 苏州轻棹科技有限公司 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN115187964A (zh) * 2022-09-06 2022-10-14 中诚华隆计算机技术有限公司 基于多传感器数据融合的自动驾驶决策方法及SoC芯片

Similar Documents

Publication Publication Date Title
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN108765584B (zh) 激光点云数据集增广方法、装置及可读存储介质
CN111709923B (zh) 一种三维物体检测方法、装置、计算机设备和存储介质
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
CN115436910B (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN112784799A (zh) Agv后向栈板及障碍物识别方法、装置及agv
CN113917487A (zh) 基于激光雷达的封闭道路路沿和可行驶区域检测方法
CN116188931A (zh) 一种基于融合特征进行点云目标检测的处理方法和装置
CN115147333A (zh) 一种目标检测方法及装置
CN115147328A (zh) 三维目标检测方法及装置
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN116168384A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
CN114332633A (zh) 雷达图像目标检测识别方法、设备和存储介质
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN113361601A (zh) 基于无人车激光雷达数据进行透视与俯瞰特征融合的方法
CN113658195B (zh) 图像分割方法、装置及电子设备
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN114924260A (zh) 一种多激光雷达点云配准方法
CN113409376A (zh) 一种基于相机的深度估计进行激光雷达点云过滤的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210921

WW01 Invention patent application withdrawn after publication