CN111444839B - 一种基于激光雷达的目标检测方法及系统 - Google Patents

一种基于激光雷达的目标检测方法及系统 Download PDF

Info

Publication number
CN111444839B
CN111444839B CN202010223536.5A CN202010223536A CN111444839B CN 111444839 B CN111444839 B CN 111444839B CN 202010223536 A CN202010223536 A CN 202010223536A CN 111444839 B CN111444839 B CN 111444839B
Authority
CN
China
Prior art keywords
data
point cloud
candidate region
candidate
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010223536.5A
Other languages
English (en)
Other versions
CN111444839A (zh
Inventor
宋红丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202010223536.5A priority Critical patent/CN111444839B/zh
Publication of CN111444839A publication Critical patent/CN111444839A/zh
Application granted granted Critical
Publication of CN111444839B publication Critical patent/CN111444839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于激光雷达的目标检测方法及系统，方法包括：对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；分别将每个候选区域通过点云补全网络进行补全，得到补全后的候选区域，候选区域与所述补全后的候选区域一一对应；分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。本发明能够在目标被遮挡的情况下，通过对候选区域中的点云进行补全，有效提高了目标的检测精度。

Description

一种基于激光雷达的目标检测方法及系统
技术领域
本发明涉及汽车感知算法技术领域，尤其涉及一种基于激光雷达的目标检测方法及系统。
背景技术
现有的基于激光雷达的目标检测方法主要分为两种：一种是直接通过各种卷积模块提取输入的激光点云信息，然后输出得到检测目标的类别及位置；另一种是首先生成多个精度较高的候选区域，然后对得到的候选区域进行微调，从而得到更准确的分类和位置回归。
当被检测目标被遮挡时，由于激光雷达扫描得到的点较少，使得采用现有的这两种检测方法不能得到较好的检测效果。
因此，在目标被遮挡的情况下，如何有效的提高目标的检测精度，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于激光雷达的目标检测方法及系统，在目标被遮挡的情况下，通过对候选区域中的点云进行补全，有效提高了目标的检测精度。
本发明提供了一种基于激光雷达的目标检测方法，包括：
对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；
分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域，所述候选区域与所述补全后的候选区域一一对应；
分别对每个所述补全后的候选区域进行特征提取后，预测出与所述补全后的候选区域一一对应的候选区域特征信息，所述候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
可选地，所述对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域，包括：
利用点云的空间信息将所述激光雷达采集到的点云划分为一个3D体素网格，其中，所述3D体素网格中包括多个相同大小的体素；
针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量，其中，所述非空体素为包含点云的体素；
将所有编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征；
将所述点云的深层特征送入候选区域提取网络，生成多个候选区域。
可选地，所述分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域包括：
获取每个所述候选区域的数据，其中，每个所述候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度；
获取第一噪声数据，其中，所述第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度；
每个所述候选区域的数据和所述第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域。
可选地，所述预设补全模型的训练过程包括：
对激光雷达采集到的样品部分区域的点云进行处理，得到所述样品的候选区域的数据，其中，所述样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度；
获取第二噪声数据，所述第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度；
所述样品的候选区域的数据和所述第二噪声数据基于初始补全模型进行补全，得到第一数据；
对所述第一数据进行采样，得到第二数据，其中，所述第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
对所述样品对应的完整区域进行采样，得到第三数据，其中，所述第三数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
为所述第二数据设置第一识别标签，为所述第三数据设置第二识别标签；
将所述第二数据和所述第三数据输入初始判别模型，得到第一判别结果；
基于所述第一识别标签、所述第二识别标签和所述第一判别结果得到所述初始判别模型的判别精度；
基于所述判别精度不断调整所述初始判别模型的参数，直至所述判别精度达到设定阈值，得到目标判别模型；
将所述第二识别标签分配给所述第二数据；
将分配有所述第二识别标签的所述第二数据输入所述目标判别模型，得到第二判别结果；
根据所述第二判别结果不断调整所述初始补全模型的参数，直至所述目标判别模型输出的第二判断结果满足预设条件，得到所述预设补全模型。
可选地，所述初始补全模型的结构为生成对抗网络的生成器模型的结构，所述初始判别模型的结构为生成对抗网络的判别器模型的结构。
一种基于激光雷达的目标检测系统，包括：
生成模块，用于对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；
补全模块，用于分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域，所述候选区域与所述补全后的候选区域一一对应；
预测模块，用于分别对每个所述补全后的候选区域进行特征提取后，预测出与所述补全后的候选区域一一对应的候选区域特征信息，所述候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
可选地，所述生成模块包括：
体素化单元，用于利用点云的空间信息将所述激光雷达采集到的点云划分为一个3D体素网格，其中，所述3D体素网格中包括多个相同大小的体素；
编码单元，用于针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量，其中，所述非空体素为包含点云的体素；
深层特征提取单元，用于将所有编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征；
候选区域生成单元，用于将所述点云的深层特征送入候选区域提取网络，生成多个候选区域。
可选地，所述补全模块包括：
第一获取单元，用于获取每个所述候选区域的数据，其中，每个所述候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度；
第二获取单元，用于获取第一噪声数据，其中，所述第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度；
第一补全单元，用于每个所述候选区域的数据和所述第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域。
可选地，还包括用于训练生成所述预设补全模型的训练模块，所述训练模块包括：
处理单元，用于对激光雷达采集到的样品部分区域的点云进行处理，得到所述样品的候选区域的数据，其中，所述样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度；
第三获取单元，用于获取第二噪声数据，所述第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度；
第二补全单元，用于所述样品的候选区域的数据和所述第二噪声数据基于初始补全模型进行补全，得到第一数据；
第一采样单元，用于对所述第一数据进行采样，得到第二数据，其中，所述第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
第二采样单元，用于对所述样品对应的完整区域进行采样，得到第三数据，其中，所述第三数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
设置单元，用于为所述第二数据设置第一识别标签，为所述第三数据设置第二识别标签；
第一判别单元，用于将所述第二数据和所述第三数据输入初始判别模型，得到第一判别结果；
计算单元，用于基于所述第一识别标签、所述第二识别标签和所述第一判别结果得到所述初始判别模型的判别精度；
第一调整单元，用于基于所述判别精度不断调整所述初始判别模型的参数，直至所述判别精度达到设定阈值，得到目标判别模型；
分配单元，用于将所述第二识别标签分配给所述第二数据；
第二判别单元，用于将分配有所述第二识别标签的所述第二数据输入所述目标判别模型，得到第二判别结果；
第二调整单元，用于根据所述第二判别结果不断调整所述初始补全模型的参数，直至所述目标判别模型输出的第二判断结果满足预设条件，得到所述预设补全模型。
可选地，所述初始补全模型的结构为生成对抗网络的生成器模型的结构，所述初始判别模型的结构为生成对抗网络的判别器模型的结构。
综上所述，本发明公开了一种基于激光雷达的目标检测方法及系统，当需要对目标进行检测时，首先对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；然后分别将每个候选区域通过点云补全网络进行补全，得到补全后的候选区域，候选区域与补全后的候选区域一一对应；分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。本发明在目标检测时，能够在目标被遮挡的情况下，通过对候选区域中的点云进行补全，有效提高了目标的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种基于激光雷达的目标检测方法实施例1的方法流程图；
图2为本发明公开的一种基于激光雷达的目标检测方法实施例2的方法流程图；
图3为本发明公开的一种训练生成预设补全模型的方法流程图；
图4为本发明公开的一种基于激光雷达的目标检测系统实施例1的结构示意图；
图5为本发明公开的一种基于激光雷达的目标检测系统实施例2的结构示意图；
图6为本发明公开的一种训练模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种基于激光雷达的目标检测方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域。
在通过激光雷达检测目标时，在激光雷达采集到目标的点云后，对采集到的点云进行体素化，然后对体素化后的点云进行特征提取和候选区域提取，得到多个候选区域。其中，候选区域即为不完整的点云物体。
S102、分别将每个候选区域通过点云补全网络进行补全，得到补全后的候选区域。
在得到多个候选区域后，分别对每个候选区域通过点云补全网络进行补全，得到补全后的候选区域，其中，候选区域与补全后的候选区域一一对应。即通过点云补全网络对不完整的点云物体进行补全，得到完整的点云物体。
S103、分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，其中，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
在得到补全后的候选区域后，分别对每个补全后的候选区域进行特征提取，然后分别进行类别的判定和边界框位置的回归，预测出与补全后的候选区域一一对应的候选区域类别、候选区域边框位置和候选区域尺寸信息。
综上所述，在上述实施例中，当需要对目标进行检测时，首先对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；然后分别将每个候选区域通过点云补全网络进行补全，得到补全后的候选区域；分别对每个补全后的候选区域分别特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息。本发明在目标检测时，能够在目标被遮挡的情况下，通过点云补全网络对候选区域中的点云进行补全，有效提高了目标的检测精度。
如图2所示，为本发明公开的一种基于激光雷达的目标检测方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、利用点云的空间信息将激光雷达采集到的点云划分为一个3D体素网格，其中，3D体素网格中包括多个相同大小的体素。
在通过激光雷达检测目标时，在激光雷达采集到目标的点云后，对采集到的点云进行体素化，即利用点云的空间信息将采集到的点云划分一个3D体素网格，3D体素网格中包括多个相同大小的体素。
S202、针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量。
针对3D体素网格中的每个非空体素，即，3D体素网格中包含点云的体素，通过神经网络全连接层将非空体素中的点云编码成一个k维的特征向量。
S203、将所有编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征。
在将每个非空体素中的点云通过神经网络全连接层编码成一个k维的特征向量后，将编码得到的所有特征向量全部输入到3D特征金字塔网络中，通过3D特征金字塔网络进行深层特征的提取，得到点云的深层特征。
S204、将点云的深层特征送入候选区域提取网络，生成多个候选区域。
然后将得到的点云的深层特征输入到候选区域提取网络中，通过候选区域提取网络生成多个候选区域。其中，候选区域即为不完整的点云物体。
S205、获取每个候选区域的数据，其中，每个候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度。
在生成多个候选区域后，针对每个候选区域，获取候选区域的数据。即针对每个不完整的点云物体提取一组p*4的数据，其中，p表示每个候选区域中点云的个数，4为点云的三维坐标(x、y、z)和反射强度。
S206、获取第一噪声数据，其中，第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度。
为了将候选区域补全，即为了将不完整的点云物体补全为轮廓完整的点云物体，需要同时获取q*4的第一噪声数据，其中，第一噪声数据随机生成，q表示点云个数，4为点云的三维坐标(x、y、z)和反射强度。需要说明的是，第一噪声数据中的点云个数q的多少由所有需要补全的候选区域的数据中的点云个数决定，获取到的第一噪声数据中的点云个数q能够实现将候选区域补全即可。
S207、每个候选区域的数据和第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域。
在获取到所有候选区域的数据，以及用于补全所有候选区域的第一噪声数据后，通过预先训练生成的预设补全模型根据所有候选区域的数据和第一噪声数据对所有候选区域进行补全，得到所有补全后的候选区域。
S208、分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，其中，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
综上所述，本实施例在上述实施例的基础上，在对每个候选区域进行补全时，能够通过获取到的每个候选区域的数据以及第一噪声数据，通过预先训练生成的预设补全模型进行补全，有效实现了候选区域的补全。
具体的，如图3所示，在上述实施例中，预设补全模型的训练过程可以包括以下步骤：
S301、对激光雷达采集到的样品部分区域的点云进行处理，得到样品的候选区域的数据，其中，样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度。
当需要训练生成预设补全模型时，通过激光雷达对用于训练生成预设补全模型的样品进行采集，并将采集到的样品部分区域的点云进行处理，得到样品的候选区域的数据。其中，样品的候选区域包括一组m*4的数据，其中，m表示样品的候选区域中点云的个数，4为点云的三维坐标(x、y、z)和反射强度。
S302、获取第二噪声数据，第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度。
为了将样品的候选区域补全，即为了将不完整的样品补全为轮廓完整的样品，需要同时获取n*4的第二噪声数据，其中，第二噪声数据随机生成，n表示点云个数，4为点云的三维坐标(x、y、z)和反射强度。需要说明的是，第二噪声数据中的点云个数n的多少由所有需要补全的样品的候选区域的数据中的点云个数决定，获取到的第二噪声数据中的点云个数n能够实现将样品的候选区域补全即可。
S303、样品的候选区域的数据和第二噪声数据基于初始补全模型进行补全，得到第一数据。
在获取到样品的所有候选区域的数据，以及用于补全样品的候选区域的第二噪声数据后，通过初始补全模型根据样品的候选区域的数据和第二噪声数据对样品的候选区域进行补全，得到第一数据。其中，初始补全模型的结构可以为生成对抗网络的生成器模型的结构。
S304、对第一数据进行采样，得到第二数据，其中，第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度。
在得到第一数据后，对第一数据进行采样，得到t*4的第二数据，其中，t表示第二数据中的点云个数，4表示每个点云的三维坐标和反射强度。
S305、对样品对应的完整区域进行采样，得到第三数据，其中，第三数据包括：点云个数t，以及每个点云的三维坐标和反射强度。
同时，对样品对应的完整区域进行采样，得到t*4的第三数据，其中，t表示第三数据中的点云个数，4表示每个点云的三维坐标和反射强度。
S306、为第二数据设置第一识别标签，为第三数据设置第二识别标签。
为了便于对第二数据和第三数据进行判别，在采样得到第二数据和第三数据后，分别给第二数据设置第一识别标签，给第三数据设置第二识别标签。即，对第二数据中的每个点云设置第一识别标签，对第三数据中的每个点云设置第二识别标签。例如，给第二数据中的每个点云设置识别标签0，给第三数据中的每个点云设置识别标签1。
S307、将第二数据和第三数据输入初始判别模型，得到第一判别结果。
然后将第二数据和第三数据输入初始判别模型，通过初始判别模型对第二数据和第三数据进行判别。初始判别模型的判别过程为，判别输入的第二数据中的每个点云是否为样品的候选区域的点云，当判别输入的第二数据中的点云为样品的候选区域的点云时，设置该点云的识别标签为0，当判别输入的第二数据中的点云不为样品的候选区域的点云时，设置该点云的识别标签为1；同理，判别输入的第三数据中的每个点云是否为样品对应的完整区域的点云，当判别输入的第三数据中的点云为样品对应的完整区域的点云时，设置该点云的识别标签为1，当判别输入的第三数据中的点云不为样品对应的完整区域的点云时，设置该点云的识别标签为0。其中，初始判别模型的结构可以为生成对抗网络的判别器模型的结构。
S308、基于第一识别标签、第二识别标签和第一判别结果得到初始判别模型的判别精度。
然后，根据第二数据中所有的识别标签0数量，第三数据中所有的识别标签1的数量，初始判别模型在判别第二数据时得到的识别标签0数量，以及初始判别模型在判别第三数据时得到的识别标签1数量，计算出初始判别模型的判别精度。
S309、基于判别精度不断调整初始判别模型的参数，直至判别精度达到设定阈值，得到目标判别模型。
根据每次得到的判别精度，不断对初始判别模型的参数进行调整，直至对输入的第二数据和第三数据的判别精度达到设定阈值时，停止对参数进行调整，得到目标判别模型。
S310、将第二识别标签分配给第二数据。
在得到目标判别模型后，为了进一步训练得到预设补全模型，重新设置第二数据的识别标签，将第二识别标签分配给第二数据，即，重新将第二数据中每个点云的识别标签设置为第二识别标签。
S311、将分配有第二识别标签的第二数据输入目标判别模型，得到第二判别结果。
然后将分配有第二识别标签的第二数据输入目标判别模型进行判别，在目标判别模型对第二数据进行判别的过程中，由于第二数据中的点云为样品的候选区域的点云，判别模型输出的第二判别结果为输入的第二数据的识别标签为第一识别标签。
S312、根据第二判别结果不断调整初始补全模型的参数，直至目标判别模型输出的第二判断结果满足预设条件，得到预设补全模型。
根据每次得到的目标判别模型输出的判别结果，不断对初始补全模型的参数进行调整，直至目标判别模型输出的判别结果满足预设条件时，如，目标判别模型输出的判别结果为输入的第二数据的识别标签为第二识别标签时，通知对参数进行调整，得到预设补全模型。
如图4所示，为本发明公开的一种基于激光雷达的目标检测系统实施例1的结构示意图，所述系统可以包括：
生成模块401，对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域。
补全模块402，用于分别将每个候选区域通过点云补全网络进行补全，得到补全后的候选区域，其中，候选区域与补全后的候选区域一一对应。
预测模块403，用于分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
综上所述，本实施例公开的基于激光雷达的目标检测系统的工作原理与基于激光雷达的目标检测方法实施例1的工作原理相同，在此不再赘述。
如图5所示，为本发明公开的一种基于激光雷达的目标检测系统实施例2的结构示意图，所述系统可以包括：
体素化单元501，用于利用点云的空间信息将所述激光雷达采集到的点云划分为一个3D体素网格，其中，所述3D体素网格中包括多个相同大小的体素。
编码单元502，用于针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量，其中，所述非空体素为包含点云的体素。
深层特征提取单元503，用于将编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征。
候选区域生成单元504，用于将所述点云的深层特征送入候选区域提取网络，生成多个候选区域。
第一获取单元505，用于获取每个候选区域的数据，其中，每个候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度。
第二获取单元506，用于获取第一噪声数据，其中，第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度。
第一补全单元507，用于每个候选区域的数据和第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域。
预测模块508，用于分别对每个补全后的候选区域进行特征提取后，预测出与补全后的候选区域一一对应的候选区域特征信息，其中，候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息。
综上所述，本实施例公开的基于激光雷达的目标检测系统的工作原理与基于激光雷达的目标检测方法实施例2的工作原理相同，在此不再赘述。
如图6所示，为本发明公开的一种用于训练生成预设补全模型的训练模块的结构示意图，所述训练模块可以包括：
处理单元601，用于对激光雷达采集到的样品部分区域的点云进行处理，得到样品的候选区域的数据，其中，样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度。
第三获取单元602，用于获取第二噪声数据，第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度。
第二补全单元603，用于样品的候选区域的数据和第二噪声数据基于初始补全模型进行补全，得到第一数据。
第一采样单元604，用于对第一数据进行采样，得到第二数据，其中，第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度。
第二采样单元605，用于对样品对应的完整区域进行采样，得到第三数据，其中，第三数据包括：t个点云，以及每个点云的三维坐标和反射强度。
设置单元606，用于为第二数据设置第一识别标签，为第三数据设置第二识别标签。
第一判别单元607，用于将第二数据和所述第三数据输入初始判别模型，得到第一判别结果。
计算单元608，用于基于第一识别标签、第二识别标签和第一判别结果得到所述初始判别模型的判别精度。
第一调整单元609，用于基于判别精度不断调整初始判别模型的参数，直至判别精度达到设定阈值，得到目标判别模型。
分配单元610，用于将第二识别标签分配给所述第二数据。
第二判别单元611，用于将分配有第二识别标签的第二数据输入目标判别模型，得到第二判别结果。
第二调整单元612，用于根据第二判别结果不断调整初始补全模型的参数，直至目标判别模型输出的第二判断结果满足预设条件，得到预设补全模型。
综上所述，本实施例公开的训练模块的工作原理与图3公开的训练生成预设补全模型的方法的工作原理相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于激光雷达的目标检测方法，其特征在于，包括：
对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；
分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域，所述候选区域与所述补全后的候选区域一一对应；
分别对每个所述补全后的候选区域进行特征提取后，预测出与所述补全后的候选区域一一对应的候选区域特征信息，所述候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息；
所述分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域包括：
获取每个所述候选区域的数据，其中，每个所述候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度；
获取第一噪声数据，其中，所述第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度；
每个所述候选区域的数据和所述第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域；
所述预设补全模型的训练过程包括：
对激光雷达采集到的样品部分区域的点云进行处理，得到所述样品的候选区域的数据，其中，所述样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度；
获取第二噪声数据，所述第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度；
所述样品的候选区域的数据和所述第二噪声数据基于初始补全模型进行补全，得到第一数据；
对所述第一数据进行采样，得到第二数据，其中，所述第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
对所述样品对应的完整区域进行采样，得到第三数据，其中，所述第三数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
为所述第二数据设置第一识别标签，为所述第三数据设置第二识别标签；
将所述第二数据和所述第三数据输入初始判别模型，得到第一判别结果；
基于所述第一识别标签、所述第二识别标签和所述第一判别结果得到所述初始判别模型的判别精度；
基于所述判别精度不断调整所述初始判别模型的参数，直至所述判别精度达到设定阈值，得到目标判别模型；
将所述第二识别标签分配给所述第二数据；
将分配有所述第二识别标签的所述第二数据输入所述目标判别模型，得到第二判别结果；
根据所述第二判别结果不断调整所述初始补全模型的参数，直至所述目标判别模型输出的第二判断结果满足预设条件，得到所述预设补全模型。
2.根据权利要求1所述的方法，其特征在于，所述对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域，包括：
利用点云的空间信息将所述激光雷达采集到的点云划分为一个3D体素网格，其中，所述3D体素网格中包括多个相同大小的体素；
针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量，其中，所述非空体素为包含点云的体素；
将所有编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征；
将所述点云的深层特征送入候选区域提取网络，生成多个候选区域。
3.根据权利要求1所述的方法，其特征在于，所述初始补全模型的结构为生成对抗网络的生成器模型的结构，所述初始判别模型的结构为生成对抗网络的判别器模型的结构。
4.一种基于激光雷达的目标检测系统，其特征在于，包括：
生成模块，用于对激光雷达采集到的点云体素化后，通过特征提取和候选区域提取生成多个候选区域；
补全模块，用于分别将每个所述候选区域通过点云补全网络进行补全，得到补全后的候选区域，所述候选区域与所述补全后的候选区域一一对应；
预测模块，用于分别对每个所述补全后的候选区域进行特征提取后，预测出与所述补全后的候选区域一一对应的候选区域特征信息，所述候选区域特征信息包括：候选区域类别和候选区域边框位置和候选区域尺寸信息；
所述补全模块包括：
第一获取单元，用于获取每个所述候选区域的数据，其中，每个所述候选区域的数据包括：点云个数p，以及每个点云的三维坐标和反射强度；
第二获取单元，用于获取第一噪声数据，其中，所述第一噪声数据包括：点云个数q，以及每个点云的三维坐标和反射强度；
第一补全单元，用于每个所述候选区域的数据和所述第一噪声数据基于预先训练生成的预设补全模型进行补全，得到补全后的候选区域；
用于训练生成所述预设补全模型的训练模块，所述训练模块包括：
处理单元，用于对激光雷达采集到的样品部分区域的点云进行处理，得到所述样品的候选区域的数据，其中，所述样品的候选区域的数据包括：点云个数m，以及每个点云的三维坐标和反射强度；
第三获取单元，用于获取第二噪声数据，所述第二噪声数据包括：点云个数n，以及每个点云的三维坐标和反射强度；
第二补全单元，用于所述样品的候选区域的数据和所述第二噪声数据基于初始补全模型进行补全，得到第一数据；
第一采样单元，用于对所述第一数据进行采样，得到第二数据，其中，所述第二数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
第二采样单元，用于对所述样品对应的完整区域进行采样，得到第三数据，其中，所述第三数据包括：点云个数t，以及每个点云的三维坐标和反射强度；
设置单元，用于为所述第二数据设置第一识别标签，为所述第三数据设置第二识别标签；
第一判别单元，用于将所述第二数据和所述第三数据输入初始判别模型，得到第一判别结果；
计算单元，用于基于所述第一识别标签、所述第二识别标签和所述第一判别结果得到所述初始判别模型的判别精度；
第一调整单元，用于基于所述判别精度不断调整所述初始判别模型的参数，直至所述判别精度达到设定阈值，得到目标判别模型；
分配单元，用于将所述第二识别标签分配给所述第二数据；
第二判别单元，用于将分配有所述第二识别标签的所述第二数据输入所述目标判别模型，得到第二判别结果；
第二调整单元，用于根据所述第二判别结果不断调整所述初始补全模型的参数，直至所述目标判别模型输出的第二判断结果满足预设条件，得到所述预设补全模型。
5.根据权利要求4所述的系统，其特征在于，所述生成模块包括：
体素化单元，用于利用点云的空间信息将所述激光雷达采集到的点云划分为一个3D体素网格，其中，所述3D体素网格中包括多个相同大小的体素；
编码单元，用于针对每个非空体素，将其中的点云通过神经网络全连接层编码成一个k维的特征向量，其中，所述非空体素为包含点云的体素；
深层特征提取单元，用于将所有编码得到的特征向量全部输入到3D特征金字塔网络中进行深层特征的提取，得到点云的深层特征；
候选区域生成单元，用于将所述点云的深层特征送入候选区域提取网络，生成多个候选区域。
6.根据权利要求4所述的系统，其特征在于，所述初始补全模型的结构为生成对抗网络的生成器模型的结构，所述初始判别模型的结构为生成对抗网络的判别器模型的结构。
CN202010223536.5A 2020-03-26 2020-03-26 一种基于激光雷达的目标检测方法及系统 Active CN111444839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223536.5A CN111444839B (zh) 2020-03-26 2020-03-26 一种基于激光雷达的目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223536.5A CN111444839B (zh) 2020-03-26 2020-03-26 一种基于激光雷达的目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN111444839A CN111444839A (zh) 2020-07-24
CN111444839B true CN111444839B (zh) 2023-09-08

Family

ID=71648051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223536.5A Active CN111444839B (zh) 2020-03-26 2020-03-26 一种基于激光雷达的目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111444839B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445565A (zh) * 2020-11-06 2022-05-06 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN113009449B (zh) * 2021-03-10 2022-08-26 森思泰克河北科技有限公司 雷达遮挡状态识别方法、装置及终端设备
CN112927359B (zh) * 2021-03-22 2024-01-30 南京大学 一种基于深度学习和体素的三维点云补全方法
CN113989188A (zh) * 2021-09-26 2022-01-28 华为技术有限公司 一种物体检测方法及其相关设备
CN118521736A (zh) * 2024-07-19 2024-08-20 广州蓝图地理信息技术有限公司 物质文化遗产三维建模方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054522A (ja) * 2011-09-02 2013-03-21 Pasuko:Kk 道路付属物検出装置、道路付属物検出方法、及びプログラム
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN109784229A (zh) * 2018-12-29 2019-05-21 华中科技大学 一种地面建筑物数据融合的复合识别方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110032962A (zh) * 2019-04-03 2019-07-19 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110059608A (zh) * 2019-04-11 2019-07-26 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054522A (ja) * 2011-09-02 2013-03-21 Pasuko:Kk 道路付属物検出装置、道路付属物検出方法、及びプログラム
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN109784229A (zh) * 2018-12-29 2019-05-21 华中科技大学 一种地面建筑物数据融合的复合识别方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110032962A (zh) * 2019-04-03 2019-07-19 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110059608A (zh) * 2019-04-11 2019-07-26 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111444839A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111444839B (zh) 一种基于激光雷达的目标检测方法及系统
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
Xiang et al. Superpixel generating algorithm based on pixel intensity and location similarity for SAR image classification
US8885925B2 (en) Method for 3D object identification and pose detection using phase congruency and fractal analysis
US7231087B2 (en) Matching binary templates against range map derived silhouettes for object pose estimation
EP3411743B1 (en) System and method for segmentation of three-dimensional microscope images
JP6202147B2 (ja) 曲線検出方法と曲線検出装置
CN108109139A (zh) 基于灰度体元模型的机载lidar三维建筑物检测方法
CN111738351A (zh) 模型训练方法、装置、存储介质及电子设备
CN116992740B (zh) 一种通讯基站精密部件生产设备的智能调控方法及系统
CN111709923A (zh) 一种三维物体检测方法、装置、计算机设备和存储介质
CN114528950B (zh) 一种基于三维点云识别保密介质类型的销毁方法与系统
CN115240149A (zh) 三维点云检测识别方法、装置、电子设备及存储介质
CN106952242A (zh) 一种基于体素的渐进不规则三角网点云滤波方法
Arafat et al. Connected component analysis integrated edge based technique for automatic vehicular license plate recognition framework<? show [AQ ID= Q1]?>
CN112884820A (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
CN114463737A (zh) 一种基于3d建模中隐式表示的3d目标检测方法和系统
CN105513051A (zh) 一种点云数据处理方法和设备
CN112699842A (zh) 宠物识别方法、装置、设备及计算机可读存储介质
EP1591960A1 (en) Method and apparatus for image processing
CN114913175B (zh) 散斑图像质量评价方法、电子设备及存储介质
US11755688B2 (en) Apparatus and method for generating training data for a machine learning system
CN111784606B (zh) 一种遥感图像分类后处理方法、存储介质及系统
CN117152708A (zh) 欺骗攻击检测方法、装置、设备及存储介质
CN113316801A (zh) 点云孔洞填充方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020

Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc.

Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101

Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant