CN115436910B - 一种对激光雷达点云进行目标检测的数据处理方法和装置 - Google Patents

一种对激光雷达点云进行目标检测的数据处理方法和装置 Download PDF

Info

Publication number
CN115436910B
CN115436910B CN202211055984.4A CN202211055984A CN115436910B CN 115436910 B CN115436910 B CN 115436910B CN 202211055984 A CN202211055984 A CN 202211055984A CN 115436910 B CN115436910 B CN 115436910B
Authority
CN
China
Prior art keywords
aerial view
grid
view plane
point cloud
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211055984.4A
Other languages
English (en)
Other versions
CN115436910A (zh
Inventor
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202211055984.4A priority Critical patent/CN115436910B/zh
Publication of CN115436910A publication Critical patent/CN115436910A/zh
Application granted granted Critical
Publication of CN115436910B publication Critical patent/CN115436910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明实施例涉及一种对激光雷达点云进行目标检测的数据处理方法和装置，所述方法包括：获取第一点云；构建自车坐标系；对第一点云做自车坐标系转换；根据第一点云的X、Y轴极值坐标确定第一鸟瞰图深度、宽度；在自车坐标系上确定第一鸟瞰平面；当第一鸟瞰图深度超出近距离深度阈值时，将第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为第二、第三鸟瞰平面；对第一点云在第二、第三鸟瞰平面上的鸟瞰特征进行提取生成第一、第二特征图；对第一、第二特征图进行目标检测生成第一、第二检测结果；对第一、第二检测结果进行融合得到第三检测结果。通过本发明可以提高远距离目标检测的准确度。

Description

一种对激光雷达点云进行目标检测的数据处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种对激光雷达点云进行目标检测的数据处理方法和装置。
背景技术
在自动驾驶技术领域，激光雷达点云是用于检测周围环境目标的主要原始数据之一。激光雷达点云有个特点就是点云密度是不均匀的，距离越近的点云密度越大、距离越远的点云密度越小。基于激光雷达点云的鸟瞰视角(Bird Eyes View，BEV)特征图进行目标检测是目前常见的一种点云目标检测办法，但这种检测办法受激光雷达点云密度不均匀特性影响，对较远距离目标的检测误差会较大。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种对激光雷达点云进行目标检测的数据处理方法、装置、电子设备及计算机可读存储介质，根据一个预设的近距离深度阈值将激光雷达点云切分为远、近两部分子点云；并基于一个较高分辨率的栅格网络对近距离子点云进行特征提取生成对应的近距离鸟瞰视角特征图，基于一个较低分辨率的栅格网络对远距离子点云进行特征提取生成对应的远距离鸟瞰视角特征图；并分别对这两个远、近距离鸟瞰视角特征图进行目标检测得到两组目标检测结果；再对这两组目标检测结果进行融合从而得到最终的目标检测结果。通过本发明，将激光雷达点云的鸟瞰特征图一分为二，对近距离鸟瞰视角特征图采用高栅格网络分辨率进行特征提取和目标检测，对远距离鸟瞰视角特征图采用低栅格网络分辨率进行特征提取和目标检测，这样一方面可以确保近处特征识别效率不会发生变化，另一方面还能提高远距离鸟瞰视角特征图的特征聚合密度从而达到提高远距离目标检测准确度的目的。
为实现上述目的，本发明实施例第一方面提供了一种对激光雷达点云进行目标检测的数据处理方法，所述方法包括：
获取激光雷达点云作为对应的第一点云；
以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对所述第一点云中各点的点云坐标做从激光雷达坐标系到所述自车坐标系的坐标转换；转换后的所述第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度；
根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；
根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面；所述第一鸟瞰平面的尺寸为H0×W0；
当所述第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；所述第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；所述第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0；
对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图；
基于预设的目标检测模型对所述第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对所述第一、第二检测结果进行融合得到对应的第三检测结果。
优选的，所述根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0，具体包括：
从所述第一点云中将X轴向的最大、最小坐标值提取出来作为对应的X轴最大坐标xmax和X轴最小坐标xmin，并将Y轴向的最大坐标值提取出来作为对应的Y轴最大坐标ymax；并根据所述X轴最大坐标xmax和所述X轴最小坐标xmin确定对应的所述第一鸟瞰图宽度W0，W0＝|xmax-xmin|；并根据所述Y轴最大坐标ymax确定对应的所述第一鸟瞰图深度H0，H0＝|ymax|。
优选的，所述根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面，具体包括：
在所述自车坐标系的XY平面上，以坐标点(xmin,0,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,0,0)为矩形的四个顶点划定一个宽度为所述第一鸟瞰图宽度W0、深度为所述第一鸟瞰图深度H0的矩形平面作为对应的所述第一鸟瞰平面。
优选的，所述根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面，具体包括：
在所述第一鸟瞰平面上，将由坐标点(xmin,0,0)、坐标点(xmin,H*,0)、坐标点(xmax,H*,0)和坐标点(xmax,0,0)为顶点的矩形平面作为近距离鸟瞰平面并记为对应的所述第二鸟瞰平面；
在所述第一鸟瞰平面上，将由坐标点(xmin,H*,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,H*,0)为顶点的矩形平面作为远距离鸟瞰平面并记为对应的所述第三鸟瞰平面。
优选的，所述对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图，具体包括：
将所述第一点云中所述自车坐标系坐标(x,y,z)的坐标分量y小于或等于所述近距离深度阈值H*的点提取出来作为对应的第二点云，并将所述自车坐标系坐标(x,y,z)的坐标分量y大于所述近距离深度阈值H*的点提取出来作为对应的第三点云；
基于预设的第一栅格尺寸△y1×△x1对所述第二鸟瞰平面进行栅格划分得到A1×B1个第一栅格Ci,j，1≤i≤A1,1≤j≤B1,A1＝int(H*/△y1)，B1＝int(W0/△x1)，int()为向上取整函数；所述第一栅格尺寸△y1×△x1的△y1、△x1分别为所述第一栅格Ci,j的栅格深度和栅格宽度；
对所述第二点云向所述第二鸟瞰平面做点云投影得到多个第一投影点；并对落入所述第二鸟瞰平面上各个所述第一栅格Ci,j中的所述第一投影点的数量进行统计生成对应的第一数量ni,j；若所述第一数量ni,j大于0，则对当前所述第一栅格Ci,j中各个所述第一投影点对应的所述自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第一投影点高度，并从得到的所有所述第一投影点高度中选择最大值作为对应的第一栅格高度zi,j，并将所述第一栅格高度zi,j对应的所述第一投影点在所述第二点云中的对应点的所述雷达反射强度作为对应的第一栅格反射强度ri,j，并由所述第一栅格高度zi,j和所述第一栅格反射强度ri,j组成与当前所述第一栅格Ci,j对应的形状为1×2的第一栅格特征向量si,j；若所述第一数量ni,j等于0，则将当前所述第一栅格Ci,j对应的所述第一栅格特征向量si,j的所述第一栅格高度zi,j和所述第一栅格反射强度ri,j都设为0；并由得到的A1×B1个形状为1×2的所述第一栅格特征向量si,j组成对应的形状为A1×B1×2的所述第一特征图；
基于预设的第二栅格尺寸△y2×△x2对所述第三鸟瞰平面进行栅格划分得到A2×B2个第二栅格Dk,g，1≤k≤A2,1≤g≤B2,A2＝int((H0-H*)/△y1)，B2＝int(W0/△x1)；所述第二栅格尺寸△y2×△x2的△y2、△x2分别为所述第二栅格Dk,g的栅格深度和栅格宽度；所述第二栅格尺寸△y2×△x2大于所述第一栅格尺寸△y1×△x1；
对所述第三点云向所述第三鸟瞰平面做点云投影得到多个第二投影点；并对落入所述第三鸟瞰平面上各个所述第二栅格Dk,g中的所述第二投影点的数量进行统计生成对应的第二数量mk,g；若所述第二数量mk,g大于0，则对当前所述第二栅格Dk,g中各个所述第二投影点对应的所述自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第二投影点高度，并从得到的所有所述第二投影点高度中选择最大值作为对应的第二栅格高度zk,g，并将所述第二栅格高度zk,g对应的所述第二投影点在所述第三点云中的对应点的所述雷达反射强度作为对应的第二栅格反射强度rk,g，并由所述第二栅格高度zk,g和所述第二栅格反射强度rk,g组成与当前所述第二栅格Dk,g对应的形状为1×2的第二栅格特征向量pk,g；若所述第二数量mk,g等于0，则将当前所述第二栅格Dk,g对应的所述第二栅格特征向量pk,g的所述第二栅格高度zk,g和所述第二栅格反射强度rk,g都设为0；并由得到的A2×B2个形状为1×2的所述第二栅格特征向量pk,g组成对应的形状为A2×B2×2的所述第二特征图。
优选的，所述第一检测结果包括多个第一检测框；所述第一检测框包括第一中心点坐标、第一检测框尺寸、第一检测框朝向和第一目标类型；
所述第二检测结果包括多个第二检测框；所述第二检测框包括第二中心点坐标、第二检测框尺寸、第二检测框朝向和第二目标类型。
优选的，所述对所述第一、第二检测结果进行融合得到对应的第三检测结果，具体包括：
对所述第一检测结果中的各个所述第一检测框进行遍历；遍历时，将当前遍历的所述第一检测框作为对应的当前检测框，并将所述当前检测框的所述第一目标类型作为对应的当前目标类型，并将预设的反映目标类型与最小间距阈值对应关系的第一对应关系表中第一目标类型字段与所述当前目标类型匹配的第一对应关系记录的第一最小间距阈值字段提取出来作为对应的当前最小间距阈值；并对所述当前检测框与各个所述第二检测框的中心点间距进行计算生成对应的第一间距，并将所述第一间距小于所述当前最小间距阈值的所述第二检测框记为对应的匹配检测框；若所述当前检测框对应的所述匹配检测框的数量不为0，则对所述当前检测框与对应的一个或多个所述匹配检测框进行检测框形状融合处理生成一个新的第一检测框，并将所述新的第一检测框的所述第一目标类型设为与所述当前检测框的所述第一目标类型一致，并将所述新的第一检测框加入到所述第一检测结果中，并从所述第一检测结果中将所述当前检测框删除，并从所述第二检测结果中将所述当前检测框的一个或多个所述匹配检测框对应的所述第二检测框删除；其中，所述第一对应关系表包括多个所述第一对应关系记录；所述第一对应关系记录包括所述第一目标类型字段和所述第一最小间距阈值字段；
遍历结束时，由最新的所述第一、第二检测结果组成对应的所述第三检测结果。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的对激光雷达点云进行目标检测的数据处理方法的装置，所述装置包括：获取模块、坐标系转换模块、鸟瞰平面处理模块、鸟瞰特征处理模块和目标检测处理模块；
所述获取模块用于获取激光雷达点云作为对应的第一点云；
所述坐标系转换模块用于以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对所述第一点云中各点的点云坐标做从激光雷达坐标系到所述自车坐标系的坐标转换；转换后的所述第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度；
所述鸟瞰平面处理模块用于根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；并根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面；并当所述第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；所述第一鸟瞰平面的尺寸为H0×W0；所述第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；所述第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0；
所述鸟瞰特征处理模块用于对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图；
所述目标检测处理模块用于基于预设的目标检测模型对所述第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对所述第一、第二检测结果进行融合得到对应的第三检测结果。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种对激光雷达点云进行目标检测的数据处理方法、装置、电子设备及计算机可读存储介质；根据一个预设的近距离深度阈值将激光雷达点云切分为远、近两部分子点云；并基于一个较高分辨率的栅格网络对近距离子点云进行特征提取生成对应的近距离鸟瞰视角特征图，基于一个较低分辨率的栅格网络对远距离子点云进行特征提取生成对应的远距离鸟瞰视角特征图；并分别对这两个远、近距离鸟瞰视角特征图进行目标检测得到两组目标检测结果；再对这两组目标检测结果进行融合从而得到最终的目标检测结果。通过本发明，将激光雷达点云的鸟瞰特征图一分为二，对近距离鸟瞰视角特征图采用高栅格网络分辨率进行特征提取和目标检测，对远距离鸟瞰视角特征图采用低栅格网络分辨率进行特征提取和目标检测，这样不但确保了近处特征识别效率不会发生变化，还提高了远距离鸟瞰视角特征图的特征聚合密度、提高了远距离目标检测准确度、降低了整体目标检测的计算量。
附图说明
图1为本发明实施例一提供的一种对激光雷达点云进行目标检测的数据处理方法示意图；
图2为本发明实施例二提供的一种对激光雷达点云进行目标检测的数据处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种对激光雷达点云进行目标检测的数据处理方法，如图1为本发明实施例一提供的一种对激光雷达点云进行目标检测的数据处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取激光雷达点云作为对应的第一点云。
这里，车辆的自动驾驶系统从车载激光雷达处获取实时的激光雷达点云作为对应的第一点云，此处的第一点云的各点对应一个激光雷达坐标系坐标和一个雷达反射强度。
步骤2，以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对第一点云中各点的点云坐标做从激光雷达坐标系到自车坐标系的坐标转换。
这里，转换后的第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度。
步骤3，根据第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；
具体包括：从第一点云中将X轴向的最大、最小坐标值提取出来作为对应的X轴最大坐标xmax和X轴最小坐标xmin，并将Y轴向的最大坐标值提取出来作为对应的Y轴最大坐标ymax；并根据X轴最大坐标xmax和X轴最小坐标xmin确定对应的第一鸟瞰图宽度W0；并根据Y轴最大坐标ymax确定对应的第一鸟瞰图深度H0；
其中，W0＝|xmax-xmin|，H0＝|ymax|。
这里，自动驾驶系统从第一点云的所有自车坐标系坐标(x,y,z)中进行X轴向的最大、最小坐标值提取，将所有自车坐标系坐标(x,y,z)中取值最大的x坐标值提取出来作为X轴最大坐标xmax、取值最小的x坐标值提取出来作为X轴最小坐标xmin、取值最大的y坐标值提取出来作为Y轴最大坐标ymax。
步骤4，根据第一鸟瞰图深度H0和第一鸟瞰图宽度W0在自车坐标系的XY平面上确定对应的第一鸟瞰平面；
其中，第一鸟瞰平面的尺寸为H0×W0；
具体包括：在自车坐标系的XY平面上，以坐标点(xmin,0,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,0,0)为矩形的四个顶点划定一个宽度为第一鸟瞰图宽度W0、深度为第一鸟瞰图深度H0的矩形平面作为对应的第一鸟瞰平面。
步骤5，当第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据近距离深度阈值H*将第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；
其中，第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0；近距离深度阈值H*为一个预设的经验参数值，默认可设为80米，也可设为其他数值；
具体包括：步骤51，在第一鸟瞰平面上，将由坐标点(xmin,0,0)、坐标点(xmin,H*,0)、坐标点(xmax,H*,0)和坐标点(xmax,0,0)为顶点的矩形平面作为近距离鸟瞰平面并记为对应的第二鸟瞰平面；
步骤52，在第一鸟瞰平面上，将由坐标点(xmin,H*,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,H*,0)为顶点的矩形平面作为远距离鸟瞰平面并记为对应的第三鸟瞰平面。
步骤6，对第一点云在第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图；
具体包括：步骤61，将第一点云中自车坐标系坐标(x,y,z)的坐标分量y小于或等于近距离深度阈值H*的点提取出来作为对应的第二点云，并将自车坐标系坐标(x,y,z)的坐标分量y大于近距离深度阈值H*的点提取出来作为对应的第三点云；第二点云对应的鸟瞰平面实际就是第二鸟瞰平面，第三点云对应的鸟瞰平面实际就是第三鸟瞰平面；
这里，第二点云即深度不超过近距离深度阈值H*的近距离子点云，第三点云深度超过近距离深度阈值H*的远距离子点云；第二点云的点云密度势必大于第三点云的点云密度；
步骤62，基于预设的第一栅格尺寸△y1×△x1对第二鸟瞰平面进行栅格划分得到A1×B1个第一栅格Ci,j；
其中，1≤i≤A1,1≤j≤B1,A1＝int(H*/△y1)，B1＝int(W0/△x1)，int()为向上取整函数；第一栅格尺寸△y1×△x1的△y1、△x1分别为第一栅格Ci,j的栅格深度和栅格宽度；
这里，因为第二点云的点云密度较大，所以第一栅格尺寸△y1×△x1会被预先设为一个较小的栅格尺寸，这样可以提高识别精度；
步骤63，对第二点云向第二鸟瞰平面做点云投影得到多个第一投影点；并对落入第二鸟瞰平面上各个第一栅格Ci,j中的第一投影点的数量进行统计生成对应的第一数量ni,j；若第一数量ni,j大于0，则对当前第一栅格Ci,j中各个第一投影点对应的自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第一投影点高度，并从得到的所有第一投影点高度中选择最大值作为对应的第一栅格高度zi,j，并将第一栅格高度zi,j对应的第一投影点在第二点云中的对应点的雷达反射强度作为对应的第一栅格反射强度ri,j，并由第一栅格高度zi,j和第一栅格反射强度ri,j组成与当前第一栅格Ci,j对应的形状为1×2的第一栅格特征向量si,j；若第一数量ni,j等于0，则将当前第一栅格Ci,j对应的第一栅格特征向量si,j的第一栅格高度zi,j和第一栅格反射强度ri,j都设为0；并由得到的A1×B1个形状为1×2的第一栅格特征向量si,j组成对应的形状为A1×B1×2的第一特征图；
这里，第二点云在第二鸟瞰平面上投影之后在各个第一栅格Ci,j中可能会产生一个或多个投影点，也可能不产生任何投影点；若某个第一栅格Ci,j的第一数量ni,j不为0，则说明当前第一栅格Ci,j中有一个或多个第一投影点，本发明实施例取其中高度最高的作为特征点，并将该特征点的高度与雷达反射强度作为当前第一栅格Ci,j的栅格特征即第一栅格特征向量si,j(第一栅格高度zi,j，第一栅格反射强度ri,j)；若某个第一栅格Ci,j的第一数量ni,j为0，则说明当前第一栅格Ci,j中没有第一投影点，本发明实施例此时为当前第一栅格Ci,j设置一个默认栅格特征即第一栅格特征向量si,j(第一栅格高度zi,j＝0，第一栅格反射强度ri,j＝0)；最后将所有第一栅格Ci,j的第一栅格特征向量si,j按栅格脚标(i，j)的对应关系排列起来就能得到一个形状为A1×B1×2的鸟瞰特征图即第一特征图，第一特征图的尺寸为A1×B1，A1为特征图深度、B1为特征图宽度，特征图的特征维度为2；
步骤64，基于预设的第二栅格尺寸△y2×△x2对第三鸟瞰平面进行栅格划分得到A2×B2个第二栅格Dk,g，1≤k≤A2,1≤g≤B2,A2＝int((H0-H*)/△y1)，B2＝int(W0/△x1)；第二栅格尺寸△y2×△x2的△y2、△x2分别为第二栅格Dk,g的栅格深度和栅格宽度；第二栅格尺寸△y2×△x2大于第一栅格尺寸△y1×△x1；
这里，因为第三点云的点云密度较小，所以第二栅格尺寸△y2×△x2会被预先设为一个较大的栅格尺寸，该尺寸势必大于第一栅格尺寸△y1×△x1，这样可以提高特征图的特征密度、有助于提高特征图的目标检测准确度；
步骤65，对第三点云向第三鸟瞰平面做点云投影得到多个第二投影点；并对落入第三鸟瞰平面上各个第二栅格Dk,g中的第二投影点的数量进行统计生成对应的第二数量mk,g；若第二数量mk,g大于0，则对当前第二栅格Dk,g中各个第二投影点对应的自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第二投影点高度，并从得到的所有第二投影点高度中选择最大值作为对应的第二栅格高度zk,g，并将第二栅格高度zk,g对应的第二投影点在第三点云中的对应点的雷达反射强度作为对应的第二栅格反射强度rk,g，并由第二栅格高度zk,g和第二栅格反射强度rk,g组成与当前第二栅格Dk,g对应的形状为1×2的第二栅格特征向量pk,g；若第二数量mk,g等于0，则将当前第二栅格Dk,g对应的第二栅格特征向量pk,g的第二栅格高度zk,g和第二栅格反射强度rk,g都设为0；并由得到的A2×B2个形状为1×2的第二栅格特征向量pk,g组成对应的形状为A2×B2×2的第二特征图。
这里，第三点云在第三鸟瞰平面上投影之后在各个第二栅格Dk,g中可能会产生一个或多个投影点，也可能不产生任何投影点；若某个第二栅格Dk,g的第二数量mk,g不为0，则说明当前第二栅格Dk,g中有一个或多个第二投影点，本发明实施例取其中高度最高的作为特征点，并将该特征点的高度与雷达反射强度作为当前第二栅格Dk,g的栅格特征即第二栅格特征向量pk,g(第二栅格高度zk,g，第二栅格反射强度rk,g)；若某个第二栅格Dk,g的第二数量mk,g为0，则说明当前第二栅格Dk,g中没有第二投影点，本发明实施例此时为当前第二栅格Dk,g设置一个默认栅格特征即第二栅格特征向量pk,g(第二栅格高度zk,g＝0，第二栅格反射强度rk,g＝0)；最后将所有第二栅格Dk,g的第二栅格特征向量pk,g按栅格脚标(k，g)的对应关系排列起来就能得到一个形状为A2×B2×2的鸟瞰特征图即第二特征图，第二特征图的尺寸为A2×B2，A2为特征图深度、B2为特征图宽度，特征图的特征维度为2，很显然第二特征图的尺寸是小于第一特征图的。
步骤7，基于预设的目标检测模型对第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对第一、第二检测结果进行融合得到对应的第三检测结果；
具体包括：步骤71，基于预设的目标检测模型对第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；
其中，第一检测结果包括多个第一检测框；第一检测框包括第一中心点坐标、第一检测框尺寸、第一检测框朝向和第一目标类型；第二检测结果包括多个第二检测框；第二检测框包括第二中心点坐标、第二检测框尺寸、第二检测框朝向和第二目标类型；
这里，本发明实施例的目标检测模型可预先从多个成熟的鸟瞰视角特征图目标检测模型中选取，诸如Complex-YOLO模型、SSD(Single Shot Multibox Detector)模型等，在此不做一一列举；这里得到的各个第一、第二检测框都是鸟瞰平面上的二维目标检测框(Bounding Box，bbox)；第一、第二中心点坐标就是对应的第一、第二检测框在自车坐标系下的检测框中心点坐标；第一、第二检测框尺寸就是对应的第一、第二检测框的高度*宽度；第一、第二检测框朝向就是自车坐标系原点到对应的第一、第二检测框的中心点的向量与X轴的夹角；第一、第二目标类型就是对应的第一、第二检测框中的目标对象类型，诸如：人、动物、车辆、自行车、摩托车、建筑物、植物等；
步骤72，对第一、第二检测结果进行融合得到对应的第三检测结果；
具体包括：步骤721，对第一检测结果中的各个第一检测框进行遍历；遍历时，将当前遍历的第一检测框作为对应的当前检测框，并将当前检测框的第一目标类型作为对应的当前目标类型，并将预设的反映目标类型与最小间距阈值对应关系的第一对应关系表中第一目标类型字段与当前目标类型匹配的第一对应关系记录的第一最小间距阈值字段提取出来作为对应的当前最小间距阈值；并对当前检测框与各个第二检测框的中心点间距进行计算生成对应的第一间距，并将第一间距小于当前最小间距阈值的第二检测框记为对应的匹配检测框；若当前检测框对应的匹配检测框的数量不为0，则对当前检测框与对应的一个或多个匹配检测框进行检测框形状融合处理生成一个新的第一检测框，并将新的第一检测框的第一目标类型设为与当前检测框的第一目标类型一致，并将新的第一检测框加入到第一检测结果中，并从第一检测结果中将当前检测框删除，并从第二检测结果中将当前检测框的一个或多个匹配检测框对应的第二检测框删除；
其中，第一对应关系表包括多个第一对应关系记录；第一对应关系记录包括第一目标类型字段和第一最小间距阈值字段；
这里，第一、第二检测结果中的一些处于边界的第一、第二检测框有可能指向的是同一个对象，本发明实施例通过判断各个第一检测框与所有第二检测框的间距是否低于对应类型的最小间距阈值来对各个第一检测框和匹配的第二检测框进行聚类，并将同属一类的一个第一检测框和一个或多个第二检测框进行形状融合得到一个新的检测框即新的第一检测框，本发明实施例在对新的第一检测框的第一目标类型进行设置时默认采用融合前的第一检测框的第一目标类型进行设置；
步骤722，遍历结束时，由最新的第一、第二检测结果组成对应的第三检测结果。
这里，本发明实施例在得到第三检测结果之后，还可以进一步对第三检测结果中各个二维检测框进行三维坐标回归就能得到对应的三维目标检测框。
图2为本发明实施例二提供的一种对激光雷达点云进行目标检测的数据处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、坐标系转换模块202、鸟瞰平面处理模块203、鸟瞰特征处理模块204和目标检测处理模块205。
获取模块201用于获取激光雷达点云作为对应的第一点云。
坐标系转换模块202用于以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对第一点云中各点的点云坐标做从激光雷达坐标系到自车坐标系的坐标转换；转换后的第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度。
鸟瞰平面处理模块203用于根据第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；并根据第一鸟瞰图深度H0和第一鸟瞰图宽度W0在自车坐标系的XY平面上确定对应的第一鸟瞰平面；并当第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据近距离深度阈值H*将第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；第一鸟瞰平面的尺寸为H0×W0；第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0。
鸟瞰特征处理模块204用于对第一点云在第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图。
目标检测处理模块205用于基于预设的目标检测模型对第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对第一、第二检测结果进行融合得到对应的第三检测结果。
本发明实施例提供的一种对激光雷达点云进行目标检测的数据处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种对激光雷达点云进行目标检测的数据处理方法、装置、电子设备及计算机可读存储介质；根据一个预设的近距离深度阈值将激光雷达点云切分为远、近两部分子点云；并基于一个较高分辨率的栅格网络对近距离子点云进行特征提取生成对应的近距离鸟瞰视角特征图，基于一个较低分辨率的栅格网络对远距离子点云进行特征提取生成对应的远距离鸟瞰视角特征图；并分别对这两个远、近距离鸟瞰视角特征图进行目标检测得到两组目标检测结果；再对这两组目标检测结果进行融合从而得到最终的目标检测结果。通过本发明，将激光雷达点云的鸟瞰特征图一分为二，对近距离鸟瞰视角特征图采用高栅格网络分辨率进行特征提取和目标检测，对远距离鸟瞰视角特征图采用低栅格网络分辨率进行特征提取和目标检测，这样不但确保了近处特征识别效率不会发生变化，还提高了远距离鸟瞰视角特征图的特征聚合密度、提高了远距离目标检测准确度、降低了整体目标检测的计算量。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种对激光雷达点云进行目标检测的数据处理方法，其特征在于，所述方法包括：
获取激光雷达点云作为对应的第一点云；
以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对所述第一点云中各点的点云坐标做从激光雷达坐标系到所述自车坐标系的坐标转换；转换后的所述第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度；
根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；
根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面；所述第一鸟瞰平面的尺寸为H0×W0；
当所述第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；所述第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；所述第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0；
对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图；
基于预设的目标检测模型对所述第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对所述第一、第二检测结果进行融合得到对应的第三检测结果；
其中，所述对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图，具体包括：
将所述第一点云中所述自车坐标系坐标(x,y,z)的坐标分量y小于或等于所述近距离深度阈值H*的点提取出来作为对应的第二点云，并将所述自车坐标系坐标(x,y,z)的坐标分量y大于所述近距离深度阈值H*的点提取出来作为对应的第三点云；
基于预设的第一栅格尺寸△y1×△x1对所述第二鸟瞰平面进行栅格划分得到A1×B1个第一栅格Ci,j，1≤i≤A1,1≤j≤B1,A1＝int(H*/△y1)，B1＝int(W0/△x1)，int()为向上取整函数；所述第一栅格尺寸△y1×△x1的△y1、△x1分别为所述第一栅格Ci,j的栅格深度和栅格宽度；
对所述第二点云向所述第二鸟瞰平面做点云投影得到多个第一投影点；并对落入所述第二鸟瞰平面上各个所述第一栅格Ci,j中的所述第一投影点的数量进行统计生成对应的第一数量ni,j；若所述第一数量ni,j大于0，则对当前所述第一栅格Ci,j中各个所述第一投影点对应的所述自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第一投影点高度，并从得到的所有所述第一投影点高度中选择最大值作为对应的第一栅格高度zi,j，并将所述第一栅格高度zi,j对应的所述第一投影点在所述第二点云中的对应点的所述雷达反射强度作为对应的第一栅格反射强度ri,j，并由所述第一栅格高度zi,j和所述第一栅格反射强度ri,j组成与当前所述第一栅格Ci,j对应的形状为1×2的第一栅格特征向量si,j；若所述第一数量ni,j等于0，则将当前所述第一栅格Ci,j对应的所述第一栅格特征向量si,j的所述第一栅格高度zi,j和所述第一栅格反射强度ri,j都设为0；并由得到的A1×B1个形状为1×2的所述第一栅格特征向量si,j组成对应的形状为A1×B1×2的所述第一特征图；
基于预设的第二栅格尺寸△y2×△x2对所述第三鸟瞰平面进行栅格划分得到A2×B2个第二栅格Dk,g，1≤k≤A2,1≤g≤B2,A2＝int((H0-H*)/△y1)，B2＝int(W0/△x1)；所述第二栅格尺寸△y2×△x2的△y2、△x2分别为所述第二栅格Dk,g的栅格深度和栅格宽度；所述第二栅格尺寸△y2×△x2大于所述第一栅格尺寸△y1×△x1；
对所述第三点云向所述第三鸟瞰平面做点云投影得到多个第二投影点；并对落入所述第三鸟瞰平面上各个所述第二栅格Dk,g中的所述第二投影点的数量进行统计生成对应的第二数量mk,g；若所述第二数量mk,g大于0，则对当前所述第二栅格Dk,g中各个所述第二投影点对应的所述自车坐标系坐标(x,y,z)的坐标分量z进行提取作为对应的第二投影点高度，并从得到的所有所述第二投影点高度中选择最大值作为对应的第二栅格高度zk,g，并将所述第二栅格高度zk,g对应的所述第二投影点在所述第三点云中的对应点的所述雷达反射强度作为对应的第二栅格反射强度rk,g，并由所述第二栅格高度zk,g和所述第二栅格反射强度rk,g组成与当前所述第二栅格Dk,g对应的形状为1×2的第二栅格特征向量pk,g；若所述第二数量mk,g等于0，则将当前所述第二栅格Dk,g对应的所述第二栅格特征向量pk,g的所述第二栅格高度zk,g和所述第二栅格反射强度rk,g都设为0；并由得到的A2×B2个形状为1×2的所述第二栅格特征向量pk,g组成对应的形状为A2×B2×2的所述第二特征图。
2.根据权利要求1所述的对激光雷达点云进行目标检测的数据处理方法，其特征在于，所述根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0，具体包括：
从所述第一点云中将X轴向的最大、最小坐标值提取出来作为对应的X轴最大坐标xmax和X轴最小坐标xmin，并将Y轴向的最大坐标值提取出来作为对应的Y轴最大坐标ymax；并根据所述X轴最大坐标xmax和所述X轴最小坐标xmin确定对应的所述第一鸟瞰图宽度W0，W0＝|xmax-xmin|；并根据所述Y轴最大坐标ymax确定对应的所述第一鸟瞰图深度H0，H0＝|ymax|。
3.根据权利要求2所述的对激光雷达点云进行目标检测的数据处理方法，其特征在于，所述根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面，具体包括：
在所述自车坐标系的XY平面上，以坐标点(xmin,0,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,0,0)为矩形的四个顶点划定一个宽度为所述第一鸟瞰图宽度W0、深度为所述第一鸟瞰图深度H0的矩形平面作为对应的所述第一鸟瞰平面。
4.根据权利要求2所述的对激光雷达点云进行目标检测的数据处理方法，其特征在于，所述根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面，具体包括：
在所述第一鸟瞰平面上，将由坐标点(xmin,0,0)、坐标点(xmin,H*,0)、坐标点(xmax,H*,0)和坐标点(xmax,0,0)为顶点的矩形平面作为近距离鸟瞰平面并记为对应的所述第二鸟瞰平面；
在所述第一鸟瞰平面上，将由坐标点(xmin,H*,0)、坐标点(xmin,ymax,0)、坐标点(xmax,ymax,0)和坐标点(xmax,H*,0)为顶点的矩形平面作为远距离鸟瞰平面并记为对应的所述第三鸟瞰平面。
5.根据权利要求1所述的对激光雷达点云进行目标检测的数据处理方法，其特征在于，
所述第一检测结果包括多个第一检测框；所述第一检测框包括第一中心点坐标、第一检测框尺寸、第一检测框朝向和第一目标类型；
所述第二检测结果包括多个第二检测框；所述第二检测框包括第二中心点坐标、第二检测框尺寸、第二检测框朝向和第二目标类型。
6.根据权利要求5所述的对激光雷达点云进行目标检测的数据处理方法，其特征在于，所述对所述第一、第二检测结果进行融合得到对应的第三检测结果，具体包括：
对所述第一检测结果中的各个所述第一检测框进行遍历；遍历时，将当前遍历的所述第一检测框作为对应的当前检测框，并将所述当前检测框的所述第一目标类型作为对应的当前目标类型，并将预设的反映目标类型与最小间距阈值对应关系的第一对应关系表中第一目标类型字段与所述当前目标类型匹配的第一对应关系记录的第一最小间距阈值字段提取出来作为对应的当前最小间距阈值；并对所述当前检测框与各个所述第二检测框的中心点间距进行计算生成对应的第一间距，并将所述第一间距小于所述当前最小间距阈值的所述第二检测框记为对应的匹配检测框；若所述当前检测框对应的所述匹配检测框的数量不为0，则对所述当前检测框与对应的一个或多个所述匹配检测框进行检测框形状融合处理生成一个新的第一检测框，并将所述新的第一检测框的所述第一目标类型设为与所述当前检测框的所述第一目标类型一致，并将所述新的第一检测框加入到所述第一检测结果中，并从所述第一检测结果中将所述当前检测框删除，并从所述第二检测结果中将所述当前检测框的一个或多个所述匹配检测框对应的所述第二检测框删除；其中，所述第一对应关系表包括多个所述第一对应关系记录；所述第一对应关系记录包括所述第一目标类型字段和所述第一最小间距阈值字段；
遍历结束时，由最新的所述第一、第二检测结果组成对应的所述第三检测结果。
7.一种用于执行权利要求1-6任一项所述的对激光雷达点云进行目标检测的数据处理方法的装置，其特征在于，所述装置包括：获取模块、坐标系转换模块、鸟瞰平面处理模块、鸟瞰特征处理模块和目标检测处理模块；
所述获取模块用于获取激光雷达点云作为对应的第一点云；
所述坐标系转换模块用于以自车后轴中心点为原点、以自车行驶方向为Y轴正向构建三维的右手坐标系记为自车坐标系；并对所述第一点云中各点的点云坐标做从激光雷达坐标系到所述自车坐标系的坐标转换；转换后的所述第一点云中各点对应一个自车坐标系坐标(x,y,z)和一个雷达反射强度；
所述鸟瞰平面处理模块用于根据所述第一点云的X、Y轴极值坐标确定对应的第一鸟瞰图深度H0和第一鸟瞰图宽度W0；并根据所述第一鸟瞰图深度H0和所述第一鸟瞰图宽度W0在所述自车坐标系的XY平面上确定对应的第一鸟瞰平面；并当所述第一鸟瞰图深度H0超出预设的近距离深度阈值H*时，根据所述近距离深度阈值H*将所述第一鸟瞰平面切分为一个近距离鸟瞰平面和一个远距离鸟瞰平面记为对应的第二鸟瞰平面和第三鸟瞰平面；所述第一鸟瞰平面的尺寸为H0×W0；所述第二鸟瞰平面为近距离鸟瞰平面，其尺寸为H*×W0；所述第三鸟瞰平面为远距离鸟瞰平面，其尺寸为(H0-H*)×W0；
所述鸟瞰特征处理模块用于对所述第一点云在所述第二、第三鸟瞰平面上的鸟瞰特征进行提取生成对应的第一、第二特征图；
所述目标检测处理模块用于基于预设的目标检测模型对所述第一、第二特征图分别进行目标检测处理生成对应的第一、第二检测结果；并对所述第一、第二检测结果进行融合得到对应的第三检测结果。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。
CN202211055984.4A 2022-08-31 2022-08-31 一种对激光雷达点云进行目标检测的数据处理方法和装置 Active CN115436910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211055984.4A CN115436910B (zh) 2022-08-31 2022-08-31 一种对激光雷达点云进行目标检测的数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211055984.4A CN115436910B (zh) 2022-08-31 2022-08-31 一种对激光雷达点云进行目标检测的数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN115436910A CN115436910A (zh) 2022-12-06
CN115436910B true CN115436910B (zh) 2024-05-03

Family

ID=84244851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211055984.4A Active CN115436910B (zh) 2022-08-31 2022-08-31 一种对激光雷达点云进行目标检测的数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN115436910B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117392631B (zh) * 2023-12-08 2024-03-08 吉咖智能机器人有限公司 一种道路边界提取方法、装置、电子设备及存储介质
CN117392000B (zh) * 2023-12-08 2024-03-08 吉咖智能机器人有限公司 一种噪点去除方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN113420637A (zh) * 2021-06-18 2021-09-21 北京轻舟智航科技有限公司 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
WO2021226876A1 (zh) * 2020-05-13 2021-11-18 华为技术有限公司 一种目标检测方法及装置
CN113902897A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
WO2021226876A1 (zh) * 2020-05-13 2021-11-18 华为技术有限公司 一种目标检测方法及装置
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
EP3869399A2 (en) * 2020-10-23 2021-08-25 Beijing Baidu Netcom Science And Technology Co. Ltd. Vehicle information detection method and apparatus, electronic device, storage medium and program
CN113420637A (zh) * 2021-06-18 2021-09-21 北京轻舟智航科技有限公司 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
CN113902897A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多视角融合的夜间无人车三维目标检测;王宇岚;孙韶媛;刘致驿;卜德飞;;应用光学;20200315(第02期);全文 *
基于激光点云与图像信息融合的交通环境车辆检测;郑少武;李巍华;胡坚耀;;仪器仪表学报;20191215(第12期);全文 *

Also Published As

Publication number Publication date
CN115436910A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115436910B (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
US11506769B2 (en) Method and device for detecting precision of internal parameter of laser radar
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN111602171A (zh) 一种点云特征点提取方法、点云传感系统及可移动平台
CN111709923A (zh) 一种三维物体检测方法、装置、计算机设备和存储介质
CN114051628B (zh) 一种确定目标对象点云集的方法及装置
CN113569958B (zh) 激光点云数据聚类方法、装置、设备及介质
CN113325388A (zh) 一种自动驾驶中激光雷达泛光噪点的过滤方法和装置
CN115147333A (zh) 一种目标检测方法及装置
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN116188931A (zh) 一种基于融合特征进行点云目标检测的处理方法和装置
CN114966651A (zh) 可行驶区域检测方法、计算机设备、存储介质及车辆
CN114419599A (zh) 障碍物识别方法、装置及电子设备
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN115685224A (zh) 一种激光雷达点云聚类方法、装置、激光雷达及车辆
CN114463512B (zh) 点云数据的处理方法、矢量化方法及装置
CN115471808A (zh) 一种基于参考图像重组目标点云的处理方法和装置
CN114549764A (zh) 基于无人车的障碍物识别方法、装置、设备及存储介质
CN115164919A (zh) 基于双目相机的空间可行驶区域地图构建方法及装置
CN113920351A (zh) 一种落叶目标点云的识别方法和装置
CN116863325A (zh) 一种用于多个目标检测的方法和相关产品
CN114399738A (zh) 目标检测方法及车辆
CN113409376A (zh) 一种基于相机的深度估计进行激光雷达点云过滤的方法
CN117392000B (zh) 一种噪点去除方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant