CN112711034B - 物体检测方法、装置及设备 - Google Patents
物体检测方法、装置及设备 Download PDFInfo
- Publication number
- CN112711034B CN112711034B CN202011532594.2A CN202011532594A CN112711034B CN 112711034 B CN112711034 B CN 112711034B CN 202011532594 A CN202011532594 A CN 202011532594A CN 112711034 B CN112711034 B CN 112711034B
- Authority
- CN
- China
- Prior art keywords
- object information
- point cloud
- scale
- information
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种物体检测方法、装置及设备。包括:对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;对所述多尺度的物体信息进行融合,获得第一物体信息;对所述点云数据进行栅格划分,获得栅格地图;对所述栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;根据所述第一物体信息和所述第二物体信息确定目标物体信息。本发明实施例提供的物体检测方法,根据多尺度物体信息融合后的第一物体信息和栅格地图确定的第二物体信息确定目标物体信息,实现对对不同尺寸的物体的检测,提高物体检测精度。
Description
技术领域
本发明实施例涉及无人驾驶技术领域,尤其涉及一种物体检测方法、装置及设备。
背景技术
激光雷达因其在定位、测距方面具有较高的精度,成为无人驾驶环境感知系统中的主要传感器部件。基于激光雷达点云的物体检测方案是当前处理3D物体检测的主流方案,根据所用的手段不同,雷达点云3D物体检测方案可以分为以下三种:
方案一:采用Bird Eye View(BEV,鸟瞰图)点云特征提取方法将点云按指定分辨率离散化成多通道BEV,各层BEV中存储点云高度值、密度值等特征统计值,形成类似RGB形式的BEV图。在此基础上,经过主干卷积网络,特征提取网络,类别与位置回归网络完成物体检测。
方案二:将点云按照指定立体方格进行空间划分,形成体素网格,对每个体素网格内的指定点做特征提取,形成2D或3D特征图。在此基础上,通过主干卷积网络,特征提取网络以及类别与位置回归网络完成物体检测。
方案三:将全部点云数据直接送入卷积网络中进行特征提取及分类于位置回归。
方案一无法检测到小物体,方案二计算量大,方案三对于小物体的检测效果不佳。
发明内容
本发明实施例提供一种物体检测方法、装置及设备,以实现对不同尺寸的物体的检测,提高物体检测精度。
第一方面,本发明实施例提供了一种物体检测方法,包括:
对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;
对所述多尺度的物体信息进行融合,获得第一物体信息;
对所述点云数据进行栅格划分,获得栅格地图;
对所述栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;
根据所述第一物体信息和所述第二物体信息确定目标物体信息。
进一步地,所述物体信息包括物体类别信息和物体位置信息;对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息,包括:
构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图;
将所述BEV特征图输入多尺度特征提取模型,获得多尺度特征图;
对所述多尺度特征图分别进行分类和位置回归,获得各尺度分别对应的物体类别信息和物体位置信息;
相应的,对所述多尺度的物体信息进行融合,获得第一物体信息,包括:
对所述各尺度分别对应的物体类别信息和物体位置信息进行融合,获得第一物体信息。
进一步地,构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图,包括:
提取设定空间范围内的点云数据;所述设定空间范围包括X、Y、Z三个轴向的范围;
按照第一分辨率对所述设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第一网格区域;
计算各第一网格区域内的点云密度,获得密度特征;
对所述设定空间范围内的点云数据沿Z轴划分为设定数量的高度层,计算各高度层中每个网格区域内的点云高度,获得设定数量的高度特征;
所述设定数量的高度特征和所述密度特征构成BEV特征图。
进一步地,对所述点云数据进行栅格划分,获得栅格地图,包括:
按照第二分辨率对所述设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第二网格区域;所述多个第二网格区域组成栅格地图。
进一步地,对所述栅格地图进行地面分割,包括:
以X-Y平面为基准对所述栅格地图按照设定角度进行扇形划分,获得多个扇形区域;
对于每个扇形区域,将所述扇形区域沿径向划分为多个子区域;
获取每个子区域包含的点云的最高高度和最低高度;
根据所述最高高度和最低高度拟合地平基准线。
进一步地,基于分割后的栅格地图确定第二物体信息,包括:
将各子区域中距离所述地平基准线的距离超过设定阈值的点云确定为第二物体点;所述第二物体点组成第二物体信息。
进一步地,根据所述第一物体信息和所述第二物体信息确定目标物体信息,包括:
获取所述第一物体信息对应的第一物体点;
将所述第二物体点中的第一物体点过滤掉,并对过滤后的点进行聚类,获得第三物体信息;
将所述第三物体信息和所述第一物体信息进行合并,获得目标物体信息。
进一步地,获取所述第一物体信息对应的第一物体点,包括:
将所述第一物体信息投影至X-Y平面,获得所述第一物体信息落入的目标栅格区域;
将所述目标栅格区域包含的点云确定为第一物体点;
相应的,将所述第二物体点中的第一物体点过滤掉,包括:
将所述第二物体点中所述目标栅格区域包含的点云过滤掉。。
第二方面,本发明实施例还提供了一种物体检测装置,包括:
多尺度物体信息获取模块,用于对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;
第一物体信息获取模块,用于对所述多尺度的物体信息进行融合,获得第一物体信息;
栅格地图获取模块,用于对所述点云数据进行栅格划分,获得栅格地图;
第二物体信息确定模块,用于对所述栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;
目标物体信息确定模块,用于根据所述第一物体信息和所述第二物体信息确定目标物体信息。
第三方面,本发明实施例还提供了一种计算机设备,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例所述的物体检测方法。
本发明实施例公开了物体检测方法、装置及设备。首先对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;然后对多尺度的物体信息进行融合,获得第一物体信息;再然后对点云数据进行栅格划分,获得栅格地图;再然后对栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;最后根据第一物体信息和第二物体信息确定目标物体信息。本发明实施例提供的物体检测方法,根据多尺度物体信息融合后的第一物体信息和栅格地图确定的第二物体信息确定目标物体信息,实现对对不同尺寸的物体的检测,提高物体检测精度。
附图说明
图1是本发明实施例一中的一种物体检测方法的流程图;
图2是本发明实施例一中的物体检测方法的原理图;
图3是本发明实施例一中的FPN网络的原理图;
图4是本发明实施例一中的物体检测过程的实例图;
图5是本发明实施例二中的一种物体检测装置的结构示意图;
图6是本发明实施例三中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种物体检测方法的流程图,本实施例可适用于对车辆周围的物体进行的情况,该方法可以由物体检测装置来执行,如图1所示,该方法具体包括如下步骤:
步骤110,对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息。
步骤120,对多尺度的物体信息进行融合,获得第一物体信息。
步骤130,对点云数据进行栅格划分,获得栅格地图。
步骤140,对栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息。
步骤150,根据第一物体信息和第二物体信息确定目标物体信息。
图2是本发明实施例中的物体检测方法的原理图,如图2所示,该方法包括由两部分组成:
第一部分如图2上半部分所示,为基于BEV方式的3D物体检测模型,本方案中采用ResNet like结构作为主干网络,后接FPN网络生成分类和位置回归用的特征层。为提升检测效果,本方案利用FPN的三个特征层,每一层分别进行位置和类别回归,最后将分类和位置回归结果进行合并,经过NMS等形成最后的障碍物输出信息。
第二部分如图下半部分所示,基于原始点云在X-Y平面上进行栅格划分,而后对点云进行地面分割,分割完成后将障碍物点分配到栅格中形成初步的栅格地图信息,之后利用上半部分网路模型输出过滤掉已经识别出来的障碍物信息,将剩余障碍物点云进行聚类得到漏检障碍物的尺寸和位置信息,最后与第一部分的物体检测结果合并形成最后的障碍物输出信息。
这种结构在3D物体检测模型输出的同时,利用栅格地图信息将模型漏检的部分小目标或者点云稀疏的目标进行找回,提高了物体检测的召回率;考虑到系统运行效率,利用模型预测结果过滤掉已经识别的障碍物信息,而只对剩余的少量未识别的障碍物点云进行聚类,有效的平衡了模型识别精度与运行速度;最后,基于栅格地图聚类后的输出还可以作为毫米波雷达物体识别的矫正,由于在栅格地图基础上还进行了物体聚类分析,与毫米波雷达互补后可以提高毫米波雷达对于物体尺寸识别的准确性,进一步提高多个传感器融合的无人驾驶方案中感知输出结果的准确性。
其中,物体信息包括物体类别信息和物体位置信息。具体的,对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息的过程可以是:构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图;将BEV特征图输入多尺度特征提取模型,获得多尺度特征图;对多尺度特征图分别进行分类和位置回归,获得各尺度分别对应的物体类别信息和物体位置信息。
本实施例中,构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图的过程可以是:提取设定空间范围内的点云数据;按照第一分辨率对设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第一网格区域;计算各第一网格区域内的点云密度,获得密度特征;对设定空间范围内的点云数据沿Z轴划分为设定数量的高度层,计算各高度层中每个网格区域内的点云高度,获得设定数量的高度特征;设定数量的高度特征和密度特征构成BEV特征图。
其中,设定空间范围包括X、Y、Z三个轴向的范围。假设设定空间范围为:X∈[a,b],Y∈[-c,c],Z∈[d,e],a,b,c,d,e∈N+,单位是米。示例性的,在X-Y平面设定BEV图的分辨率ɑ(即第一分辨率),且满足(b-a)和2c能分别被ɑ整除。在Z轴方向上按照识别范围([d,e])等距分5层,统计每层中每个第一网格区域中包含的点云最高高度值作为该网格区域的高度特征值。经过注意计算可以形成5层高度特征值。计算每个第一网格区域在全高度范围内的点云密度,形成一层密度特征值,密度计算公式如下:其中,N表示网格区域中的点云总数。将上述5层高度特征值和密度特征值组合形成最后的6层BEV特征图,根据上述限制条件,将生成[(b-a)/ɑ,2c/ɑ,6]尺寸的BEV特征图。
本实施例中,多尺度特征提取模型可以由ResNet-like网络及FPN网络组成。对于ResNet-like网络,其基础单元结构与标准ResNet网络的基础单元结构一致,整体网络可以根据自身实际需求做增减更改,内部卷积核设置,层数等不需要做任何限定,通过该网络可以将上述[(b-a)/ɑ,2c/ɑ,6]BEV图进行进一步特征提取形成尺寸逐渐缩减的高维度特征层;在此基础上,使用其最后的三个特征层构建后面的FPN网络。图3是本实施例中的FPN网络的原理图。如图3所示,构建过程为ResNet网络输出的最后一层特征图经过上采样(Upsampling)与其前一层特征层融合,融合方式为元素对应位置相加,之后经过一次卷积操作(Conv)形成FPN中的第一层特征层。之后执行相同的操作,一共输出三个特征层,这三个特征层将会被后续的分类头(CLS)和回归头(LOC)利用。
其中,分类头(CLS)用于对多尺度特征图进行分类,获得物体类别信息;回归头(LOC)用于对多尺度特征图进行位置回归,获得物体位置信息。多尺度分类与位置回归,对上述FPN的三个特征输出层输出的三个尺度的特征图进行类别与位置回归操作,每个特征层以像素点为中心点放置Anchors,Anchors的尺寸和种类数量与实际场景相关,这里不做任何限定,实际上可以给具体情况灵活的将所有的anchors有选择的放置在上述三个特征输出层上。分类和回归头采用单层卷积结构,每一个分类头最后输出形式为[N,2],每一个回归头最后的输出形式为[N,7],其中N为我们设置的anchors数量,2表示物体被分为物体或者非物体,7表示输出的坐标,一般为(x,y,z,h,w,l,r)这种形式;需要注意的是本方案在分类时没有对物体进行细致分类,而只是判断是否有物体,实际上这部分不做任何限定,只要更改分类头的输出维度,经过训练就可以进行多类别分类,比如输出改为[N,m]则最后将输出m种类别中的一种。
具体的,对多尺度的物体信息进行融合,获得第一物体信息的方式可以是:对各尺度分别对应的物体类别信息和物体位置信息进行融合,获得第一物体信息。
具体的,将将分类头和回归头的输出结果分别进行合并操作然后基于非极大值抑制算法(Non Maximum Suppression,NMS)以及一些其他相关的转换操作获得第一物体信息。
具体的,对点云数据进行栅格划分,获得栅格地图的方式可以是:按照第二分辨率对设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第二网格区域;多个第二网格区域组成栅格地图。
本实施例中,栅格划分没有真正的去划分点云,而是在处理前先确定栅格划分尺寸等规则,可以根据具体实际情况确定网格尺寸,比如比较关注锥桶一类物体,那么栅格尺寸可以设置成锥桶类物体的尺寸范围,这一部分不作限定。在上述实施例中,设定检测范围为X轴[a,b],Y轴[-c,c],假设我们设置的第二分辨率为β,那么点云X-Y平面将被划分为[(b-a)/β,2c/β]。
具体的,对栅格地图进行地面分割的过程可以是:以X-Y平面为基准对栅格地图按照设定角度进行扇形划分,获得多个扇形区域;对于每个扇形区域,将扇形区域沿径向划分为多个子区域;获取每个子区域包含的点云的最高高度和最低高度;根据最高高度和最低高度拟合地平基准线。
本实施例中,地面分割采用Ray Ground Filter技术方案,分为2个步骤:(1)通过ray和cell获得地平面基准线;(2)通过cell,判断grid map中栅格是否属于障碍物。
Ray表示将整个点云识别的X-Y平面按照设定角度进行划分,比如划分360份,那么每一份是1°,每一个扇形内部将沿着径向防线划分若干cell单元,可以等距划分也可以非等距划分,一般根据实际情况远处物体点较为稀疏,为了提高计算效率可以将远处的划分间距设置的大一些。
以某一个扇形区域为例,首先根据内部的所有cell寻找若干条有代表性的直线段作为整个扇形区域的地平面基准线,做法是统计每个cell中的点云的最高和最低高度差值,根据这些值拟合出几段直线段,这一部分不做严格要求,实际上如果算例允许可以每一cell一个直线段,构成更为细致的地平面基准线信息,而且cell内部拟合直线段也可以采用不同方案,本方案为了提高计算效率采用Z值高度差最为直线拟合的一个标准。
具体的,基于分割后的栅格地图确定第二物体信息的过程可以是:将各子区域中距离地平基准线的距离超过设定阈值的点云确定为第二物体点;第二物体点组成第二物体信息。
本实施中,得到地平面基准线后,根据cell中的点到直线段距离是否超过一定阈值判断点云是否为障碍物,阈值的选择将根据实际情况确定。最后将所有的cell中的点云进行判断后,可以得到所有被判断为障碍物点的点云,根据这些点的位置信息判断其属于哪一块栅格,这样就初步构建出了由障碍物点构成的栅格地图。
具体的,根据第一物体信息和第二物体信息确定目标物体信息,的方式可以是:获取第一物体信息对应的第一物体点;将第二物体点中的第一物体点过滤掉,并对过滤后的点进行聚类,获得第三物体信息;将第三物体信息和第一物体信息进行合并,获得目标物体信息。
其中,获取第一物体信息对应的第一物体点的过程可以是:将第一物体信息投影至X-Y平面,获得第一物体信息落入的目标栅格区域;将目标栅格区域包含的点云确定为第一物体点。相应的,将第二物体点中的第一物体点过滤掉的方式可以是:将第二物体点中目标栅格区域包含的点云过滤掉。
本实施例中,将第一物体信息(尺寸框)投影到X-Y平面上,将其包围的栅格地图中的点全部过滤掉,然后将剩余的点进行聚类分析,聚类的方式有很多种,本方案直接采用欧式聚类方案。最后将第一物体信息和第三物体信息合并,获得目标物体信息。示例性的,图4为本实施例中物体检测过程的实例图。
本实施例的技术方案,首先对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;然后对多尺度的物体信息进行融合,获得第一物体信息;再然后对点云数据进行栅格划分,获得栅格地图;再然后对栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;最后根据第一物体信息和第二物体信息确定目标物体信息。本发明实施例提供的物体检测方法,根据多尺度物体信息融合后的第一物体信息和栅格地图确定的第二物体信息确定目标物体信息,实现对对不同尺寸的物体的检测,提高物体检测精度。
实施例二
图5是本发明实施例二提供的一种物体检测装置的结构示意图。如图5所示,该装置包括:
多尺度物体信息获取模块210,用于对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;
第一物体信息获取模块220,用于对多尺度的物体信息进行融合,获得第一物体信息;
栅格地图获取模块230,用于对点云数据进行栅格划分,获得栅格地图;
第二物体信息确定模块240,用于对栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;
目标物体信息确定模块250,用于根据第一物体信息和第二物体信息确定目标物体信息。
可选的,物体信息包括物体类别信息和物体位置信息;多尺度物体信息获取模块210,还用于:
构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图;
将BEV特征图输入多尺度特征提取模型,获得多尺度特征图;
对多尺度特征图分别进行分类和位置回归,获得各尺度分别对应的物体类别信息和物体位置信息;
可选的,第一物体信息获取模块220,还用于:
对各尺度分别对应的物体类别信息和物体位置信息进行融合,获得第一物体信息。
可选的,多尺度物体信息获取模块210,还用于:
提取设定空间范围内的点云数据;设定空间范围包括X、Y、Z三个轴向的范围;
按照第一分辨率对设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第一网格区域;
计算各第一网格区域内的点云密度,获得密度特征;
对设定空间范围内的点云数据沿Z轴划分为设定数量的高度层,计算各高度层中每个网格区域内的点云高度,获得设定数量的高度特征;
设定数量的高度特征和密度特征构成BEV特征图。
可选的,栅格地图获取模块230,还用于:
按照第二分辨率对设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第二网格区域;多个第二网格区域组成栅格地图。
可选的,第二物体信息确定模块240,还用于:
以X-Y平面为基准对栅格地图按照设定角度进行扇形划分,获得多个扇形区域;
对于每个扇形区域,将扇形区域沿径向划分为多个子区域;
获取每个子区域包含的点云的最高高度和最低高度;
根据最高高度和最低高度拟合地平基准线。
可选的,第二物体信息确定模块240,还用于:
将各子区域中距离地平基准线的距离超过设定阈值的点云确定为第二物体点;第二物体点组成第二物体信息。
可选的,目标物体信息确定模块250,还用于:
获取第一物体信息对应的第一物体点;
将第二物体点中的第一物体点过滤掉,并对过滤后的点进行聚类,获得第三物体信息;
将第三物体信息和第一物体信息进行合并,获得目标物体信息。
可选的,目标物体信息确定模块250,还用于:
将第一物体信息投影至X-Y平面,获得第一物体信息落入的目标栅格区域;
将目标栅格区域包含的点云确定为第一物体点;
将第二物体点中目标栅格区域包含的点云过滤掉。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例三
图6为本发明实施例三提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的计算机设备312的框图。图6显示的计算机设备312仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的物体检测功能的计算设备。
如图6所示,计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于:一个或者多个处理器316,存储装置328,连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统334可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336,可以存储在例如存储装置328中,这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信,还可与一个或者多个使得用户能与该计算机设备312交互的设备通信,和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且,计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备312使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的物体检测方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种物体检测方法,其特征在于,包括:
对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;
对所述多尺度的物体信息进行融合,获得第一物体信息;
对所述点云数据进行栅格划分,获得栅格地图;
对所述栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;
根据所述第一物体信息和所述第二物体信息确定目标物体信息;
根据所述第一物体信息和所述第二物体信息确定目标物体信息,包括:
获取所述第一物体信息对应的第一物体点;将第二物体点中的所述第一物体点过滤掉,并对过滤后的点进行聚类,获得第三物体信息;将所述第三物体信息和所述第一物体信息进行合并,获得目标物体信息。
2.根据权利要求1所述的方法,其特征在于,所述物体信息包括物体类别信息和物体位置信息;对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息,包括:
构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图;
将所述BEV特征图输入多尺度特征提取模型,获得多尺度特征图;
对所述多尺度特征图分别进行分类和位置回归,获得各尺度分别对应的物体类别信息和物体位置信息;
相应的,对所述多尺度的物体信息进行融合,获得第一物体信息,包括:
对所述各尺度分别对应的物体类别信息和物体位置信息进行融合,获得第一物体信息。
3.根据权利要求2所述的方法,其特征在于,构建激光雷达传感器获得的点云数据的鸟瞰BEV特征图,包括:
提取设定空间范围内的点云数据;所述设定空间范围包括X、Y、Z三个轴向的范围;
按照第一分辨率对所述设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第一网格区域;
计算各第一网格区域内的点云密度,获得密度特征;
对所述设定空间范围内的点云数据沿Z轴划分为设定数量的高度层,计算各高度层中每个网格区域内的点云高度,获得设定数量的高度特征;
所述设定数量的高度特征和所述密度特征构成BEV特征图。
4.根据权利要求3所述的方法,其特征在于,对所述点云数据进行栅格划分,获得栅格地图,包括:
按照第二分辨率对所述设定空间范围内的点云数据以X-Y平面为基准进行网格划分,获得多个第二网格区域;所述多个第二网格区域组成栅格地图。
5.根据权利要求3所述的方法,其特征在于,对所述栅格地图进行地面分割,包括:
以X-Y平面为基准对所述栅格地图按照设定角度进行扇形划分,获得多个扇形区域;
对于每个扇形区域,将所述扇形区域沿径向划分为多个子区域;
获取每个子区域包含的点云的最高高度和最低高度;
根据所述最高高度和最低高度拟合地平基准线。
6.根据权利要求5所述的方法,其特征在于,基于分割后的栅格地图确定第二物体信息,包括:
将各子区域中距离所述地平基准线的距离超过设定阈值的点云确定为第二物体点;所述第二物体点组成第二物体信息。
7.根据权利要求1所述的方法,其特征在于,获取所述第一物体信息对应的第一物体点,包括:
将所述第一物体信息投影至X-Y平面,获得所述第一物体信息落入的目标栅格区域;
将所述目标栅格区域包含的点云确定为第一物体点;
相应的,将所述第二物体点中的第一物体点过滤掉,包括:
将所述第二物体点中所述目标栅格区域包含的点云过滤掉。
8.一种物体检测装置,其特征在于,包括:
多尺度物体信息获取模块,用于对激光雷达传感器获得的点云数据进行多尺度物体识别,获得多尺度的物体信息;
第一物体信息获取模块,用于对所述多尺度的物体信息进行融合,获得第一物体信息;
栅格地图获取模块,用于对所述点云数据进行栅格划分,获得栅格地图;
第二物体信息确定模块,用于对所述栅格地图进行地面分割,并基于分割后的栅格地图确定第二物体信息;
目标物体信息确定模块,用于根据所述第一物体信息和所述第二物体信息确定目标物体信息;
目标物体信息确定模块还用于:获取第一物体信息对应的第一物体点;将第二物体点中的第一物体点过滤掉,并对过滤后的点进行聚类,获得第三物体信息;将第三物体信息和第一物体信息进行合并,获得目标物体信息。
9.一种计算机设备,其特征在于,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7任一所述的物体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011532594.2A CN112711034B (zh) | 2020-12-22 | 2020-12-22 | 物体检测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011532594.2A CN112711034B (zh) | 2020-12-22 | 2020-12-22 | 物体检测方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112711034A CN112711034A (zh) | 2021-04-27 |
CN112711034B true CN112711034B (zh) | 2022-10-14 |
Family
ID=75545349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011532594.2A Active CN112711034B (zh) | 2020-12-22 | 2020-12-22 | 物体检测方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112711034B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115917357A (zh) * | 2021-04-28 | 2023-04-04 | 深圳元戎启行科技有限公司 | 未定义类别障碍物的检测方法、装置和计算机设备 |
CN113466815A (zh) * | 2021-06-29 | 2021-10-01 | 东软睿驰汽车技术(沈阳)有限公司 | 物体识别方法、装置、设备及存储介质 |
CN113673383B (zh) * | 2021-08-05 | 2024-04-19 | 苏州智加科技有限公司 | 一种面向复杂道路场景的时空域障碍物检测方法及系统 |
CN113835103B (zh) * | 2021-09-22 | 2024-07-12 | 深圳市镭神智能系统有限公司 | 轨道障碍物检测方法、系统和计算机设备 |
CN114509785A (zh) * | 2022-02-16 | 2022-05-17 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339669A (zh) * | 2016-08-16 | 2017-01-18 | 长春理工大学 | 多线点云数据机器学习的人形目标识别方法和防撞装置 |
US10445928B2 (en) * | 2017-02-11 | 2019-10-15 | Vayavision Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
US10606274B2 (en) * | 2017-10-30 | 2020-03-31 | Nio Usa, Inc. | Visual place recognition based self-localization for autonomous vehicles |
CN111771229B (zh) * | 2019-01-30 | 2023-11-21 | 百度时代网络技术(北京)有限公司 | 用于自动驾驶车辆的点云重影效果检测系统 |
CN109948661B (zh) * | 2019-02-27 | 2023-04-07 | 江苏大学 | 一种基于多传感器融合的3d车辆检测方法 |
US11556745B2 (en) * | 2019-03-22 | 2023-01-17 | Huawei Technologies Co., Ltd. | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor |
CN109740604B (zh) * | 2019-04-01 | 2019-07-05 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种行驶区域检测的方法和设备 |
CN110531376B (zh) * | 2019-08-23 | 2022-04-22 | 畅加风行(苏州)智能科技有限公司 | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 |
CN110543858A (zh) * | 2019-09-05 | 2019-12-06 | 西北工业大学 | 多模态自适应融合的三维目标检测方法 |
CN110824495B (zh) * | 2019-11-20 | 2021-08-31 | 中国人民解放军国防科技大学 | 基于激光雷达的果蝇视觉启发的三维运动目标检测方法 |
CN111209825B (zh) * | 2019-12-31 | 2022-07-01 | 武汉中海庭数据技术有限公司 | 一种用于动态目标3d检测的方法和装置 |
CN111429520B (zh) * | 2020-03-02 | 2023-11-03 | 广州视源电子科技股份有限公司 | 负障碍物检测方法、装置、终端设备和存储介质 |
CN111738214B (zh) * | 2020-07-21 | 2020-11-27 | 中航金城无人系统有限公司 | 一种激光点云中的无人机目标检测方法 |
CN112070838B (zh) * | 2020-09-07 | 2024-02-02 | 洛伦兹(北京)科技有限公司 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
-
2020
- 2020-12-22 CN CN202011532594.2A patent/CN112711034B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
机器视觉和雷达数据技术下的变电站巡检机器人导航研究;苏小明;《科技经济导刊》;20200305(第07期);21+25 * |
Also Published As
Publication number | Publication date |
---|---|
CN112711034A (zh) | 2021-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112711034B (zh) | 物体检测方法、装置及设备 | |
CN111027401B (zh) | 一种摄像头和激光雷达融合的端到端目标检测方法 | |
US9292961B1 (en) | System and method for detecting a structural opening in a three dimensional point cloud | |
CN109087510B (zh) | 交通监测方法及装置 | |
CN112526513B (zh) | 基于聚类算法的毫米波雷达环境地图构建方法及装置 | |
CN113412505B (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法 | |
WO2022000862A1 (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
CN110663060B (zh) | 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人 | |
CN112334906B (zh) | 从机器学习模型输出推断出的实例分割 | |
CN111461145B (zh) | 一种基于卷积神经网络进行目标检测的方法 | |
WO2021056516A1 (zh) | 目标检测方法、设备及可移动平台 | |
Zhang et al. | PSNet: Perspective-sensitive convolutional network for object detection | |
CN117315372A (zh) | 一种基于特征增强的三维感知方法 | |
CN116128883A (zh) | 一种光伏板数量统计方法、装置、电子设备及存储介质 | |
CN115082668A (zh) | 遥感图像中感兴趣区域的筛选方法、装置、设备及介质 | |
CN116844124A (zh) | 三维目标检测框标注方法、装置、电子设备和存储介质 | |
CN112835063B (zh) | 物体动静属性的确定方法、装置、设备及存储介质 | |
CN116863325A (zh) | 一种用于多个目标检测的方法和相关产品 | |
CN116263504A (zh) | 车辆识别方法、装置、电子设备及计算机可读存储介质 | |
CN113255397B (zh) | 目标检测方法和装置 | |
CN111985378A (zh) | 道路目标的检测方法、装置、设备及车辆 | |
CN117636098A (zh) | 模型训练、目标检测、车辆控制方法、装置、设备及介质 | |
CN114764873A (zh) | 一种车辆定位方法、系统及相关设备 | |
CN114913331A (zh) | 一种基于点云数据的目标检测方法和装置 | |
CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |