CN112150501A - 基于激光雷达的目标检测方法、装置、设备及存储介质 - Google Patents
基于激光雷达的目标检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112150501A CN112150501A CN202010984676.4A CN202010984676A CN112150501A CN 112150501 A CN112150501 A CN 112150501A CN 202010984676 A CN202010984676 A CN 202010984676A CN 112150501 A CN112150501 A CN 112150501A
- Authority
- CN
- China
- Prior art keywords
- voxel
- target
- voxels
- background model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本申请公开了一种基于激光雷达的目标检测方法、装置、设备及存储介质,属于汽车感知算法技术领域,所述方法包括:将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小;针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景;对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。本申请通过与三维点数据的位置相对应的背景模型进行目标检测,可以得到精确的目标定位信息。
Description
技术领域
本申请涉及汽车感知算法技术领域,尤其涉及一种基于激光雷达的目标检测方法、装置、设备及存储介质。
背景技术
目标检测是自动驾驶环境感知系统中重要的组成部分,现有的目标检测方法主要是基于摄像头和毫米波雷达,但摄像头与毫米波雷达的覆盖范围有限,且极易受到检测距离的影响,若直接根据摄像头与毫米波雷达采集到的原始点云数据检测目标,存在误检的可能,不能准确检测目标。
发明内容
本申请实施例提供了一种基于激光雷达的目标检测方法、装置、设备及存储介质,以解决现有技术利用摄像头与毫米波雷达不能准确检测目标的技术问题。
为了达到所述目的,本申请采用的技术方案是:
一方面,本申请实施例提供了一种基于激光雷达的目标检测方法,所述方法包括:
将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小;
针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景;
对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
另一方面,本申请实施例提供了一种基于激光雷达的目标检测装置,所述装置包括:
体素划分模块,用于将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小;
前景确定模块,用于针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景;
目标检测模块,用于对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
另一方面,本申请实施例提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如上所述的基于激光雷达的目标检测方法。
另一方面,本申请实施例提供了一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的基于激光雷达的目标检测方法。
本申请的技术方案带来的有益效果是:
使用测距精确的激光雷达作为感知设备,可以获取周围环境中更多目标的三维空间的点云数据,然后将三维空间的点云数据划分为一个个体素,根据预先建立的与体素的位置相对应的背景模型,能有效对体素进行前景与背景的识别,减少误检的可能,提高检测目标的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种基于激光雷达的目标检测系统的示意图。
图2是本申请实施例提供的一种基于激光雷达的目标检测方法的流程图。
图3是本申请实施例提供的对当前帧点云数据进行三维体素网格划分的示例图。
图4是本申请实施例提供的另一种基于激光雷达的目标检测方法的流程图。
图5是本申请实施例提供的建立背景模型的流程示意图。
图6是本申请实施例提供的选取样本集的示例图。
图7是本申请实施例提供的另一种基于激光雷达的目标检测方法的流程图。
图8是本申请实施例提供的对类型为前景的体素中的三维点数据进行处理的流程图。
图9是本申请实施例提供的确定目标的位置、大小和速度的流程图。
图10是本申请实施例提供的基于激光雷达的目标检测方法的示例流程图。
图11是本申请实施例提供的一种基于激光雷达的目标检测装置的结构框图。
图12是本申请实施例提供的另一种基于激光雷达的目标检测装置的结构框图。
图13是本申请实施例提供的另一种基于激光雷达的目标检测装置的结构框图。
图14是本申请实施例提供的另一种基于激光雷达的目标检测装置的结构框图。
图15是本申请实施例提供的一种用于实现本申请实施例所提供的基于激光雷达的目标检测方法的电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现如今我国车路协同的研究方兴未艾,发改委、工信部和科技部等部门分别从不同层面进行推动。发改委公布了《智能汽车创新发展战略》,从发展方向、目标、路径方面做了梳理和规划,提出了如下五个体系。即,自主可控的智能汽车技术创新体系、跨界融合的智能汽车产业生态体系、先进完备的智能汽车路网设施体系、系统完善的智能汽车法规标准体系和科学规范的智能汽车产品监管体系。发改委推动的这五个体系主要是面向智能汽车的制造维度,但是其中也涉及到产业生态和路网设施。
对于路网设置,主要是路侧智能化以及边缘云计算系统通过上帝视角为智能驾驶车辆提供超视距路况感知功能,有效弥补因高速场景车速较快,自动驾驶车辆需要的安全感知距离超出单车智能的感知范围不足的缺陷。并且将车的部分感知和计算转移至路侧完成,能降低对自动驾驶车载传感器及车载计算平台的需求,降低其实现成本。
目前路侧的感知设备主要是摄像头和毫米波雷达,而摄像头与毫米波雷达对获取目标大小与目标距离会有一定的误差,并且一般需要两者融合,才能得到目标的距离与速度,同时目标的检测距离误差会随着检测距离的加大而加大。
激光雷达(LiDAR,Light Detection And Ranging)传感器由于本身可以测距很精确,所以使用LiDAR的原始点云数据进行运动目标检测,然后通过检测目标的精确距离变换,可以计算出目标的速度,这样可以一次性得到目标的精确距离与速度。同时LiDAR的FOV(Field of View,方位角)可以达到360度,可对周围进行360度扫描,相比摄像头与毫米波雷达,感知范围更大,可以将所有盲区覆盖,更有效的弥补其智能感知范围不足的缺陷。
请参阅图1,其示出了本申请实施例提供的一种基于激光雷达的目标检测系统的示意图。如图1所示,该系统包括激光雷达1和服务器2。服务器2可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器。服务器2可以基于激光雷达1所采集的点云数据进行目标检测,以输出周围环境中所包含的目标的状态信息,该状态信息包括位置、大小、速度以及类别等。
需要说明的是,图1仅仅是一个示例。为便于描述,以下,以服务器为执行主体对本申请实施例的基于激光雷达的目标检测方法进行阐述。
如图2所示,其示出了本申请实施例提供的一种基于激光雷达的目标检测方法的流程示意图,该方法可应用于图1所示的系统中。如图2所示,所述方法包括:
S201,将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小。
激光雷达采集的是三维空间的点云数据,每一帧点云数据由多个三维点数据组成,服务器在通过激光雷达采集到当前帧点云数据后,对当前帧点云数据进行三维体素网格划分,得到预设个数的相同大小的体素。具体而言,按照固定分辨率大小,将三维空间的点云数据划分为一个个体素(voxel),则当前帧点云数据包含的多个三维点数据就随机的分布在所划分的体素中。由于每个体素具有相同的分辨率大小,当激光雷达的量程一定时,三维空间的大小也一定,所得到的体素的个数也是一定的。实际应用中,也可以先确定体素的个数,然后将三维空间进行均分,得到具有相同大小的体素。
在对每一帧点云数据进行处理时,采用相同的方式进行体素的划分,即每一帧点云数据具有相同的体素个数。为了对各个体素进行识别,对三维体素网格中每个网格设置位置标签,每个网格对应一个体素,因而每个体素对应一个位置标签。可以理解的是,预设个数一定,在同一个位置上的体素,在不同帧中具有相同的位置标签。
举例说明,如图3所示,其为对当前帧点云数据进行三维体素网格划分的示例图。在图3中,按照x、y、z方向,将三维空间划分为8*8*4个网格,也即8*8*4个体素。若以每个体素所处的位置设置位置标签,该位置标签用(x,y,z)坐标表示,则体素1的位置标签可表示为(3,1,7),其表征体素1位于x轴方向的第3层,位于y轴方向的第1层,位于z轴方向的第7层;同理,体素2处的位置标签可表示为(5,1,5),其表征体素2位于x轴方向的第5层,位于y轴方向的第1层,位于z轴方向的第5层;以此类推,可得到每个网格的位置标签。则在每一帧点云数据进行体素划分时,均采用相同的方式,那么所得到的体素个数也是一定的,则体素1的位置标签在每一帧中均相同。
在实际应用中,若将LiDAR安装在十字路口斜对角,可以将路口中的所有盲区覆盖,能得到周围环境的目标更多以及更准确,保证路段感知的全面性。直接通过对LiDAR采集到的点云数据检测目标,可以得到目标精确的定位信息。相比摄像头与毫米波雷达,不需要进行复杂的部署就可以完全覆盖盲区。
S202,针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景。
本申请实施例中,每个体素都有唯一的背景模型与其相对应,且背景模型是基于第一帧点云数据建立或初始化的。
如图4所示,在所述针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型之前,所述方法还包括:
S401,判断当前帧是否为第一帧。
若当前帧是第一帧,则执行步骤S402;若当前帧不是第一帧,则执行步骤S202。
S402,建立每个体素对应的背景模型。
通过在点云数据上进行背景建模,然后检测运动目标,可有效减少目标的误检。具体如图5所示,所述建立每个体素对应的背景模型,包括:
S4021,针对每个体素,将在所述体素的领域范围内的体素作为样本集,所述体素的领域范围为与所述体素的距离在预设距离的范围。
本申请实施例参考ViBe(Visual Backgroud Extractor,像素级视频背景建模)算法建立每个体素对应的背景模型,即随机在该体素的领域范围内采样一些体素作为该体素的背景模型。其中,领域范围可以根据该体素的质心位置进行确定。具体来说,该体素所包含的n个三维点数据的坐标分别为(x1,y1,z1)、(x2,y2,z3)、…、(xn,yn,zn),那么,该体素的质心位置即为
体素的领域范围为与该体素的质心位置在预设距离内的范围,这样所确定的领域范围即为三维空间上以该体素的质心位置为球心,预设距离为球半径的一个球形区域,由所有质心位置在该球形区域内的体素构成样本集。可以理解的是,预设距离设置越大,所形成的球形区域越大,样本集中所包含的体素也越多。
在一些实施例中,也可以直接将与所述体素相邻的体素作为样本集,也即将与体素各个面相邻的第一预设个数的体素作为样本集。举例说明,如图6中的体素2,可以获取该体素上下、左右以及前后的2个体素作为样本集,即体素3、体素4、体素5、体素6、体素7、体素8、体素9、体素10以及体素11(未示出)和体素12(未示出)。
S4022,对所述样本集进行预设次数的采样,每次采样从所述样本集中随机选取一个体素。
举例说明,如图6中所示的体素2,其样本集可表示为{体素3,体素4,体素5,体素6,体素7,体素8,体素9,体素10,体素11,体素12}。若对该样本集进行20次采样操作,每次采样操作从该样本集随机选取一个体素,可以得到20个体素,那么,这20个体素就构成该体素的背景模型。
S4023,由每次采样获得的体素构成所述背景模型。
每个体素对应的背景模型可以理解为该体素的位置对应的背景模型,即背景模型与体素的位置相关联,在存储背景模型时,将建立位置标签与背景模型的关联关系。在根据第一帧点云数据建立好每个位置标签与背景模型的关联关系后,在对后续帧点云数据进行处理时,根据划分好的体素的位置标签去获取与其关联的背景模型,以对该体素进行背景或前景的识别。
在步骤建立每个体素对应的背景模型执行完成后,服务器可直接进入步骤S202进行背景或前景的识别,但若当前帧是第一帧,则由于所存储的数据有限,对其进行背景或前景的识别将可能会造成识别结果的不精确。因而,在一个优选的实施方式中,服务器可以在当前帧不是第一帧时再执行步骤S202。
参照图7中所示,步骤S202中,所述针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,包括:
S2021,针对每个体素,计算所述体素与所述背景模型中每个体素的相似度。
S2022,统计所述相似度大于预设相似度阈值的个数。
S2023,若所述个数大于预设个数阈值,则所述体素的类型为背景。
S2024,若所述个数小于或等于所述预设个数阈值,则所述体素的类型为前景。
本申请实施例中,根据该体素的质心位置与背景模型中每个体素的质心位置,确定该体素与背景模型中每个体素的距离,将该距离确定为相似度。预设相似度阈值即为距离阈值,然后统计距离大于距离阈值的个数,如果个数大于预设个数阈值,则该体素的类型为背景;如果个数小于或等于预设个数阈值,则该体素的类型为前景。
S203,对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
本申请实施例中,每个目标的检测结果包括该目标的类别、位置、大小和速度。具体如图8所示,所述对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果,包括:
S2031,将所有所述类型为前景的体素中的三维点数据进行聚类,得到各个目标的目标点集。其中,目标点集中包含该目标的多个三维点数据。
S2032,针对每个目标,将所述目标的目标点集中的各个三维点数据输入到三维点云网络中进行分类,得到所述目标的类别,并基于所述目标点集确定所述目标的位置、大小和速度。
其中,三维点云网络为可以直接对无序点云数据进行处理的网络,本申请实施例采用PointNet网络作为三维点云网络。将所有前景体素中的三维点数据聚类后的各个目标的三维点数据输入到PointNet网络中对目标进行分类,可以得到该目标的类别,并基于该目标的目标点集计算三维边界框(3D box),根据3D box可直接确定该目标的位置和大小,然后根据3D box与历史帧中该目标的3D box可得到目标的距离和速度等信息。
参照图9中所示,所述基于所述目标点集确定所述目标的位置、大小和速度,包括:
S20321,基于所述目标点集确定所述目标的三维边界框,由所述三维边界框确定所述目标的位置和大小。
S20322,获取与所述三维边界框匹配的目标跟踪器。
本申请实施例采用的目标跟踪器为卡尔曼跟踪器,将目标的3D box与卡尔曼跟踪器进行数据关联,若存在与该3D box匹配的卡尔曼跟踪器,然后基于匹配上的卡尔曼跟踪器进行数据的处理;若不存在与该3D box匹配的卡尔曼跟踪器,则重新建立一个新的卡尔曼跟踪器,即每个目标都有其对应的卡尔曼跟踪器,通常在第一次检测到该目标时就会建立该目标对应的卡尔曼跟踪器。
S20323,将所述三维边界框缓存至所述目标跟踪器的缓存区。
卡尔曼跟踪器的缓存区(又称缓冲区)中存储有该目标在历史帧中的三维边界框,将当前帧的三维边界框与所缓存的历史帧的三维边界框进行联合处理,得到该目标的速度。
S20324,若所述缓存区中所缓存的三维边界框个数满足预设条件,则根据所述缓存区中的所有三维边界框,计算得到所述目标的速度。
在实际应用中,很难仅凭单帧数据对目标进行检测,而考虑到缓存区的容量以及历史帧参考价值等各种因素,也不能无限度的将所有帧数据进行缓存,因而缓存区中所缓存的三维边界框个数不能少于2个,且不能大于预设边界框个数,该预设边界框个数可以根据具体实施环境进行确定,例如10个。可以理解的,若当前帧是第一帧,由于所缓存的数据有限,将不会精确的得到该目标的速度。
本申请实施例中,所述根据所述缓存区中的所有三维边界框,计算得到所述目标的速度,包括:由所述缓存区中每两个三维边界框确定一个参考速度;对所有所述参考速度进行曲线拟合,得到所述目标的速度曲线方程;基于所述速度曲线方程,计算得到所述目标的速度。
对缓存区中的三维边界框,每个三维边界框的中心点位置可以确定为该目标的一个参考距离,再根据每两个三维边界框之间的时间间隔,即每两帧之间的时间间隔,可以计算得到一个参考速度。然后对这些参考速度进行曲线拟合,将当前时刻代入曲线拟合得到的速度曲线方程中,即可得到该目标在当前时刻的速度,这样采用历史缓存数据拟合速度曲线,使得计算得到的速度更稳定可靠。在一些实施例中,也可以将所有参考速度的平均值作为该目标的速度。
在获得每个目标的位置、速度、大小以及类别后,可以将每个目标的位置和速度输入其对应的卡尔曼模型中进行预测与更新,通过卡尔曼模型得到该目标的位置、速度、大小以及类别的最优估计值,以使输出的目标的检测结果更为稳定。
以上为基于所有类型为前景的体素进行处理,得到各个目标的检测结果的实施过程。为使每个体素对应的背景模型更加符合运动目标的特征,对于类型为背景的体素,服务器还对该体素对应的背景模型进行更新。这种更新方式也可看成是动态背景建模方式,可以降低由于背景导致的误检。
鉴于此,在一些实施例中,在所述针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型之后,所述方法还包括:对所有所述类型为背景的体素对应的背景模型进行更新。
服务器在对每个类型为背景的体素对应的背景模型进行更新时,先采用随机等概率的方式确定是否对该背景模型进行更新。具体而言,随机生成一系列值,例如随机生成16个数,这16个数由15个1和1个0组成,1出现的概率为15/16,0出现的概率为1/16。然后随机从这16个数中选取一个数,因为只选取一次,而0被选取的概率为1/16,只有选取到0(概率相等)才对该背景模型进行更新。若确定对该背景模型进行更新,采取与建立每个体素对应的背景模型相同的方式进行背景模型的更新,即随机的选取该体素领域范围内的体素作为样本集,对该样本集进行预设次数的采样,将每次采样获得的体素替换掉原背景模型中的体素。
下面结合一具体实施例对本申请实施例的基于激光雷达的目标检测方法进行进一步说明。如图10所示,所述方法包括:
S1001,获取激光雷达采集到的点云数据,该点云数据包括多个三维点数据。
S1002,将点云数据按一定分辨率划分为多个体素。
S1003,使用改进的ViBe算法进行对每个体素进行前景和背景的划分。
S1004,对所有前景的体素中的三维点数据进行聚类,得到每个目标的三维点数据。
S1005,将每个目标的三维点数据输入到PointNet网络中对该目标进行分类,得到该目标的类别,并由每个目标的三维点数据,计算得到该目标的三维边界框。
S1006,基于各个目标的三维边界框进行多目标跟踪,并输出各个目标的速度。
具体的,步骤S1006包括:
S10061,根据每个目标的三维边界框得到目标的位置和大小,并进行目标关联。
S10062,根据关联上的目标所缓存的信息进行曲线拟合,得到该目标的速度曲线方程。
S10063,对该目标进行卡尔曼目标跟踪。
S10064,基于速度曲线方程,计算得到目标的速度。
由上述方法实施例提供的技术方案可见,本申请实施例的基于激光雷达的目标检测方法、装置、设备及存储介质,使用测距精确的激光雷达作为感知设备,可以获取周围环境中更多目标的三维空间的点云数据,然后将三维空间的点云数据划分为一个个体素,根据预先建立的与体素的位置相对应的背景模型,能有效对体素进行前景与背景的识别,减少误检的可能,提高检测目标的准确性。
本申请实施例还提供了一种基于激光雷达的目标检测装置,如图11所示,所述装置包括:
体素划分模块111,用于将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小。
前景确定模块112,用于针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景。
具体的,前景确定模块112包括:
相似度计算单元,用于针对每个体素,计算所述体素与所述背景模型中每个体素的相似度;
个数统计单元,用于统计所述相似度大于预设相似度阈值的个数;
前景确定单元,用于判断所述个数是否大于预设个数阈值,若所述个数大于预设个数阈值,则将所述体素的类型确定为背景;若所述个数小于或等于所述预设个数阈值,则将所述体素的类型为前景。
目标检测模块113,用于对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
本申请实施例中,所述检测结果包括类别、位置、大小和速度,目标检测模块113包括:
聚类单元,用于将所有所述类型为前景的体素中的三维点数据进行聚类,得到各个目标的目标点集;
状态确定单元,用于针对每个目标,将所述目标的目标点集中的各个三维点数据输入到三维点云网络中进行分类,得到所述目标的类别,并基于所述目标点集确定所述目标的位置、大小和速度。
具体的,状态确定单元可以包括:
位置和大小确定单元,用于基于所述目标点集确定所述目标的三维边界框,由所述三维边界框确定所述目标的位置和大小;
匹配单元,用于获取与所述三维边界框匹配的目标跟踪器;
缓存单元,用于将所述三维边界框缓存至所述目标跟踪器的缓存区;
第一速度确定单元,用于在所述缓存区中所缓存的三维边界框个数满足预设条件时,根据所述缓存区中的所有三维边界框,计算得到所述目标的速度。
本申请实施例中,第一速度确定单元可以包括:
参考速度获取单元,用于由所述缓存区中每两个三维边界框确定一个参考速度;
曲线拟合单元,用于对所有所述参考速度进行曲线拟合,得到所述目标的速度曲线方程;
第二速度确定单元,用于基于所述速度曲线方程,计算得到所述目标的速度。
在一些实施例中,如图12所示,所述装置还包括:
判断模块114,用于判断当前帧是否为第一帧;
模型建立模块115,用于在所述当前帧是所述第一帧时,建立每个体素对应的背景模型。
具体的,模型建立模块115包括:
样本集确定单元,用于针对每个体素,将在所述体素的领域范围内的体素作为样本集,所述体素的领域范围为与所述体素的距离在预设距离的范围;
采样单元,用于对所述样本集进行预设次数的采样,每次采样从所述样本集中随机选取一个体素;
模型形成单元,用于由每次采样获得的体素构成所述背景模型。
在一些实施例中,图13和图14所述装置还包括:
模型更新模块116,用于对所有所述类型为背景的体素对应的背景模型进行更新。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的基于激光雷达的目标检测方法。
进一步地,图15示出了一种用于实现本申请实施例所提供的基于激光雷达的目标检测方法的电子设备的硬件结构示意图,该电子设备可以参与构成或包含本申请实施例所提供的基于激光雷达的目标检测装置。如图15所示,电子设备150可以包括一个或多个(图中采用1502a、1502b,……,1502n来示出)处理器1502(处理器1502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1504、以及用于通信功能的传输装置1506。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图15所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备150还可包括比图15中所示更多或者更少的组件,或者具有与图15所示不同的配置。
应当注意到的是上述一个或多个处理器1502和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到电子设备150(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1504可用于存储应用软件的软件程序以及模块,如本申请实施例中所述的方法对应的程序指令/数据存储装置,处理器1502通过运行存储在存储器1504内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的基于激光雷达的目标检测方法。存储器1504可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1504可进一步包括相对于处理器1502远程设置的存储器,这些远程存储器可以通过网络连接至电子设备150。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备150的通信供应商提供的无线网络。在一个示例中,传输装置1506包括一个网络适配器(NetworkInterfaceController,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中,传输装置1506可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与电子设备150(或移动设备)的用户界面进行交互。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质可设置于电子设备之中以保存用于实现方法实施例中一种基于激光雷达的目标检测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的基于激光雷达的目标检测方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述说明已经充分揭露了本申请的具体实施方式。需要指出的是,熟悉该领域的技术人员对本申请的具体实施方式所做的任何改动均不脱离本申请的权利要求书的范围。相应地,本申请的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (10)
1.一种基于激光雷达的目标检测方法,其特征在于,所述方法包括:
将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小;
针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景;
对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
2.根据权利要求1所述的方法,其特征在于,在所述针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型之前,所述方法还包括:
判断当前帧是否为第一帧;
若所述当前帧是所述第一帧,则建立每个体素对应的背景模型。
3.根据权利要求2所述的方法,其特征在于,所述建立每个体素对应的背景模型,包括:
针对每个体素,将在所述体素的领域范围内的体素作为样本集,所述体素的领域范围为与所述体素的距离在预设距离的范围;
对所述样本集进行预设次数的采样,每次采样从所述样本集中随机选取一个体素;
由每次采样获得的体素构成所述背景模型。
4.根据权利要求1所述的方法,其特征在于,所述针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,包括:
针对每个体素,计算所述体素与所述背景模型中每个体素的相似度;
统计所述相似度大于预设相似度阈值的个数;
若所述个数大于预设个数阈值,则所述体素的类型为背景;
若所述个数小于或等于所述预设个数阈值,则所述体素的类型为前景。
5.根据权利要求1所述的方法,其特征在于,所述检测结果包括类别、位置、大小和速度,所述对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果,包括:
将所有所述类型为前景的体素中的三维点数据进行聚类,得到各个目标的目标点集;
针对每个目标,将所述目标的目标点集中的各个三维点数据输入到三维点云网络中进行分类,得到所述目标的类别,并基于所述目标点集确定所述目标的位置、大小和速度。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标点集确定所述目标的位置、大小和速度,包括:
基于所述目标点集确定所述目标的三维边界框,由所述三维边界框确定所述目标的位置和大小;
获取与所述三维边界框匹配的目标跟踪器;
将所述三维边界框缓存至所述目标跟踪器的缓存区;
若所述缓存区中所缓存的三维边界框个数满足预设条件,则根据所述缓存区中的所有三维边界框,计算得到所述目标的速度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述缓存区中的所有三维边界框,计算得到所述目标的速度,包括:
由所述缓存区中每两个三维边界框确定一个参考速度;
对所有所述参考速度进行曲线拟合,得到所述目标的速度曲线方程;
基于所述速度曲线方程,计算得到所述目标的速度。
8.一种基于激光雷达的目标检测装置,其特征在于,所述装置包括:
体素划分模块,用于将当前帧点云数据划分为预设个数的体素,其中,所述当前帧点云数据由激光雷达采集到的多个三维点数据组成,所述预设个数的体素具有相同大小;
前景确定模块,用于针对每个体素,根据预先建立的与所述体素对应的背景模型,确定所述体素的类型,其中,所述背景模型与所述体素的位置相对应,所述背景模型中包括至少一个体素,所述体素的类型表征所述体素为前景或背景;
目标检测模块,用于对所有所述类型为前景的体素中的三维点数据进行处理,得到每个目标的检测结果。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1-7任意一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010984676.4A CN112150501A (zh) | 2020-09-18 | 2020-09-18 | 基于激光雷达的目标检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010984676.4A CN112150501A (zh) | 2020-09-18 | 2020-09-18 | 基于激光雷达的目标检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112150501A true CN112150501A (zh) | 2020-12-29 |
Family
ID=73893185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010984676.4A Pending CN112150501A (zh) | 2020-09-18 | 2020-09-18 | 基于激光雷达的目标检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150501A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837346A (zh) * | 2021-02-01 | 2021-05-25 | 意诺科技有限公司 | 对活动目标进行到位检测的方法和装置 |
CN113064135A (zh) * | 2021-06-01 | 2021-07-02 | 北京海天瑞声科技股份有限公司 | 在3d雷达点云连续帧数据中检测障碍物的方法及装置 |
CN113343835A (zh) * | 2021-06-02 | 2021-09-03 | 合肥泰瑞数创科技有限公司 | 一种适用于应急救援的物体识别方法、系统及存储介质 |
CN113688738A (zh) * | 2021-08-25 | 2021-11-23 | 北京交通大学 | 一种基于激光雷达点云数据的目标识别系统及方法 |
CN113866743A (zh) * | 2021-12-06 | 2021-12-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种用于车路协同感知的路侧激光点云精简方法和系统 |
CN116205964A (zh) * | 2023-05-06 | 2023-06-02 | 九识(苏州)智能科技有限公司 | 一种基于水平距离的点云下采样方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537821A (zh) * | 2018-04-18 | 2018-09-14 | 电子科技大学 | 一种基于视频的运动目标检测方法 |
US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
CN110427986A (zh) * | 2019-07-16 | 2019-11-08 | 浙江大学 | 一种基于毫米波雷达点云特征的核支持向量机目标分类方法 |
CN110689555A (zh) * | 2019-10-12 | 2020-01-14 | 四川航天神坤科技有限公司 | 基于前景检测的kcf跟踪目标丢失检测方法及系统 |
CN110738690A (zh) * | 2019-09-16 | 2020-01-31 | 南京理工大学 | 一种基于多目标追踪框架的无人机视频中车速校正方法 |
-
2020
- 2020-09-18 CN CN202010984676.4A patent/CN112150501A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
CN108537821A (zh) * | 2018-04-18 | 2018-09-14 | 电子科技大学 | 一种基于视频的运动目标检测方法 |
CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
CN110427986A (zh) * | 2019-07-16 | 2019-11-08 | 浙江大学 | 一种基于毫米波雷达点云特征的核支持向量机目标分类方法 |
CN110738690A (zh) * | 2019-09-16 | 2020-01-31 | 南京理工大学 | 一种基于多目标追踪框架的无人机视频中车速校正方法 |
CN110689555A (zh) * | 2019-10-12 | 2020-01-14 | 四川航天神坤科技有限公司 | 基于前景检测的kcf跟踪目标丢失检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
冯平: "《运动检索与补偿》", 西南交通大学出版社, pages: 24 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837346A (zh) * | 2021-02-01 | 2021-05-25 | 意诺科技有限公司 | 对活动目标进行到位检测的方法和装置 |
CN113064135A (zh) * | 2021-06-01 | 2021-07-02 | 北京海天瑞声科技股份有限公司 | 在3d雷达点云连续帧数据中检测障碍物的方法及装置 |
CN113064135B (zh) * | 2021-06-01 | 2022-02-18 | 北京海天瑞声科技股份有限公司 | 在3d雷达点云连续帧数据中检测障碍物的方法及装置 |
CN113343835A (zh) * | 2021-06-02 | 2021-09-03 | 合肥泰瑞数创科技有限公司 | 一种适用于应急救援的物体识别方法、系统及存储介质 |
CN113688738A (zh) * | 2021-08-25 | 2021-11-23 | 北京交通大学 | 一种基于激光雷达点云数据的目标识别系统及方法 |
CN113688738B (zh) * | 2021-08-25 | 2024-04-09 | 北京交通大学 | 一种基于激光雷达点云数据的目标识别系统及方法 |
CN113866743A (zh) * | 2021-12-06 | 2021-12-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种用于车路协同感知的路侧激光点云精简方法和系统 |
CN116205964A (zh) * | 2023-05-06 | 2023-06-02 | 九识(苏州)智能科技有限公司 | 一种基于水平距离的点云下采样方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150501A (zh) | 基于激光雷达的目标检测方法、装置、设备及存储介质 | |
EP3734389B1 (en) | Vehicle positioning method and apparatus | |
CN109521757B (zh) | 静态障碍物识别方法和装置 | |
Sless et al. | Road scene understanding by occupancy grid learning from sparse radar clusters using semantic segmentation | |
CN110472553A (zh) | 图像和激光点云融合的目标追踪方法、计算装置和介质 | |
CN113155173B (zh) | 感知性能评测方法、装置、电子装置和存储介质 | |
CN112861833B (zh) | 车辆车道级定位方法、装置、电子设备和计算机可读介质 | |
Ding et al. | Efficient vanishing point detection method in complex urban road environments | |
CN108859952A (zh) | 车辆变道预警方法、装置和雷达 | |
CN111339649A (zh) | 一种采集车辆轨迹数据的仿真方法、系统及设备 | |
CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
CN112505652B (zh) | 目标检测方法、装置及存储介质 | |
CN114545434A (zh) | 一种路侧视角测速方法、系统、电子设备及存储介质 | |
CN111652168B (zh) | 基于人工智能的群体检测方法、装置、设备及存储介质 | |
CN112405526A (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
CN114419573A (zh) | 动态占据栅格估计方法及装置 | |
CN114910892A (zh) | 一种激光雷达的标定方法、装置、电子设备及存储介质 | |
CN114638947A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
CN114882458A (zh) | 一种目标跟踪方法、系统、介质及设备 | |
CN114545377A (zh) | 一种激光雷达标定方法及装置 | |
CN114384486A (zh) | 一种数据处理方法及装置 | |
CN110909569B (zh) | 路况信息识别方法及终端设备 | |
Huang et al. | Circle detection and fitting based positioning system using laser range finder | |
CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
RJ01 | Rejection of invention patent application after publication |