CN113267761A - 激光雷达目标检测识别方法、系统及计算机可读存储介质 - Google Patents

激光雷达目标检测识别方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113267761A
CN113267761A CN202110592960.1A CN202110592960A CN113267761A CN 113267761 A CN113267761 A CN 113267761A CN 202110592960 A CN202110592960 A CN 202110592960A CN 113267761 A CN113267761 A CN 113267761A
Authority
CN
China
Prior art keywords
target detection
dimensional
detection result
identification
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110592960.1A
Other languages
English (en)
Other versions
CN113267761B (zh
Inventor
董博
毛磊
王智斌
王夏爽
魏琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute Of Casic
Original Assignee
Second Research Institute Of Casic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute Of Casic filed Critical Second Research Institute Of Casic
Priority to CN202110592960.1A priority Critical patent/CN113267761B/zh
Publication of CN113267761A publication Critical patent/CN113267761A/zh
Application granted granted Critical
Publication of CN113267761B publication Critical patent/CN113267761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种激光雷达目标检测识别方法、系统及计算机可读存储介质。该激光雷达目标检测识别方法，对获取的激光雷达点云数据进行二维投影，有效减少后续检测识别的计算量；并且，利用卷积神经网络对二维图像进行目标检测，避免了传统手工设置特征繁琐的工作流程。进一步，基于二维投影图像和三维点云关联的三维目标检测识别法，能够提升模型检测识别的准确性和适用性，进而有效提升检测识别效率，使得整体方案具有算法原理简单、计算结果可靠等特点，可具体应用于激光雷达目标检测识别中，具有广阔的应用价值和市场前景。

Description

激光雷达目标检测识别方法、系统及计算机可读存储介质
技术领域
本发明涉及目标检测识别技术领域，特别是涉及一种激光雷达目标检测识别方法、系统及计算机可读存储介质。
背景技术
基于激光雷达的目标检测识别技术在导引头、自动驾驶、无人机自主飞行等领域已经得到了非常广泛的应用。激光雷达可以获得目标和场景的三维信息，是实现目标检测和定位的有效手段，测距精度非常高，基本上可以达到正负一两厘米，甚至到了毫米级，分辨率也非常高。机械激光雷达可以360度旋转，同时角分辨率也比别的雷达高。在传统的图像处理领域中，常用的目标识别方法主要分为两类：基于特征点提取的模型匹配方法与基于机器学习的样本集训练方法。基于模板匹配的方法主要通过对场景中的目标进行特征点提取，并建立特征描述子，随后与模型库中的现有模型进行特征匹配，进而完成目标的识别操作；机器学习的方法主要是通过对大量的训练样本集进行人工标定，使用神经网路、决策树、支持向量机等常用的训练方法，得出多类目标的判别函数，从而对目标进行分类识别。
由于激光雷达本身的成像特点，其采集的目标点云通常只能反映物体某一表面的轮廓，不能反映物体的完整三维信息，且由于雷达的原始点云模型库较少，不适合使用模板匹配的方法对点云目标进行识别，因此，传统图像处理方法不适应于激光雷达目标检测识别领域。而目前针对激光雷达的机器学习方法研究较少，因此迫切需要一种可行的、有效的、具有较强学习能力和泛化能力的激光雷达目标检测识别方法或系统。
发明内容
为解决现有技术中存在的上述问题，本发明提供了一种算法原理简单、计算结果可靠、可具体应用于激光雷达目标检测识别中的激光雷达目标检测识别方法、系统及计算机可读存储介质。
为实现上述目的，本发明提供了如下方案：
一种激光雷达目标检测识别方法，包括：
获取激光雷达的三维点云数据；
对所述三维点云数据进行归一化处理，得到归一化后的三维点云数据；
将所述归一化后的三维点云数据进行二维投影，得到二维投影数据；
根据所述二维投影数据得到二维目标检测结果；
根据所述二维目标检测结果得到3D目标检测结果；所述3D目标检测结果即为目标识别结果。
优选地，所述根据所述二维投影数据得到二维目标检测结果，具体包括：
获取CNN网络模型；
采用所述CNN网络模型以所述二维投影数据为输入，得到二维目标检测结果。
优选地，所述根据所述二维目标检测结果得到3D目标检测结果，具体包括：
获取Voxel-Net网络模型和先验信息；
采用所述Voxel-Net网络模型，以所述二维目标检测结果和所述先验信息为输入得到3D目标检测结果。
优选地，所述先验信息的确定过程包括：
将所述二维目标检测结果转换为与待检测目标对齐的2D框；
将所述2D框作为先验信息。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的激光雷达目标检测识别方法，对获取的激光雷达点云数据进行二维投影，有效减少后续检测识别的计算量；并且，利用卷积神经网络对二维图像进行目标检测，避免了传统手工设置特征繁琐的工作流程。进一步，基于二维投影图像和三维点云关联的三维目标检测识别法，能够提升模型检测识别的准确性和适用性，进而有效提升检测识别效率，使得整体方案具有算法原理简单、计算结果可靠等特点，可具体应用于激光雷达目标检测识别中，具有广阔的应用价值和市场前景。
对应于上述提供的激光雷达目标检测识别方法，本发明还提供了如下实施方案：
其中，第一种激光雷达目标检测识别系统，包括：
三维点云数据获取模块，用于获取激光雷达的三维点云数据；
归一化处理模块，用于对所述三维点云数据进行归一化处理，得到归一化后的三维点云数据；
投影模块，用于将所述归一化后的三维点云数据进行二维投影，得到二维投影数据；
二维目标检测结果确定模块，用于根据所述二维投影数据得到二维目标检测结果；
目标识别结果确定模块，用于根据所述二维目标检测结果得到3D目标检测结果；所述3D目标检测结果即为目标识别结果。
优选地，所述二维目标检测结果确定模块，具体包括：
第一获取单元，用于获取CNN网络模型；
二维目标检测结果确定单元，用于采用所述CNN网络模型以所述二维投影数据为输入，得到二维目标检测结果。
优选地，所述目标识别结果确定模块，具体包括：
第二获取单元，用于获取Voxel-Net网络模型和先验信息；
目标识别结果确定单元，用于采用所述Voxel-Net网络模型，以所述二维目标检测结果和所述先验信息为输入得到3D目标检测结果。
优选地，所述目标识别结果确定模块还包括：
2D框确定单元，用于将所述二维目标检测结果转换为与待检测目标对齐的2D框；
先验信息确定单元，用于将所述2D框作为先验信息。
另一种激光雷达目标检测识别系统，包括：处理器、存储器、通信接口和总线；
所述处理器、通信接口、存储器通过所述总线完成相互间的通信；
所述通信接口用于信息传输；所述处理器用于调用所述存储器中存储的逻辑指令，以执行上述的激光雷达目标检测识别方法。
此外，还提供了一种计算机可读存储介质。该计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令设置为执行如权利要求1-4所述的激光雷达目标检测识别方法。
因本发明提供的激光雷达目标检测识别系统和计算机可读存储介质与上述提供的激光雷达目标检测识别方法的优点相同，此处不再进行赘述。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1为本发明提供的激光雷达目标检测识别方法的流程图；
图2为本发明提供的第一种激光雷达目标检测识别系统的结构示意图；
图3为本发明提供的第二种激光雷达目标检测识别系统的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
如图1所示，一种激光雷达目标检测识别方法，包括：
步骤100：获取激光雷达的三维点云数据。
其中，激光雷达通过接收其发射器发射的激光计算激光与物体碰撞点到雷达原点的距离，由于每次发射或接收的角度是预先设定的，因此根据距离、水平角度和垂直角度就能求出碰撞点相对于激光雷达中心的坐标。激光雷达数据由一个四元组表示，包括三维空间坐标和反射强度。
步骤101：对三维点云数据进行归一化处理，得到归一化后的三维点云数据。
其中，进行步骤101的目的主要在于，激光雷达传感器之间的主要区别在于它们从环境中收集的点数，这主要是由于它们具有的垂直平面数Np和水平分辨率Δθ。传感器之间的这种差异在二维投影中反映为密度通道的巨大变化。为了解决这个问题，提出了归一化图，以考虑到激光雷达投射的激光束数量所产生的差异。
步骤102：将归一化后的三维点云数据进行二维投影，得到二维投影数据。具体的，把激光雷达获取的数据转换为投影图像，其总大小为N*N米，像元大小为σ，这是一个编码高度，强度和密度信息的3通道图像。首先，高度通道代表每个像元上每个点给出的最大高度。其次，强度通道对位于单元格中所有点的平均强度进行编码。最后一个通道代表每个像元中的点密度，该密度被计算为该像元中的点数除以最大可能点数。
步骤103：根据二维投影数据得到二维目标检测结果。该步骤具体包括：
获取CNN网络模型。
采用CNN网络模型以二维投影数据为输入，得到二维目标检测结果。
其中，本发明采用的CNN网络模型为Faster R-CNN元体系结构，以对先前生成的多通道投影图图像进行物体检测。检测过程涉及两个阶段，其中，特征提取器CNN生成的特征图一方面用于在图像中生成提案，另一方面在图像中的提案中生成，再一方面将这些提案分为不同的类别，即使Faster R-CNN被设计为将RGB图像作为输入来处理，也可以将其视为可检测任意2D结构的通用框架。在本发明中，VGG-16体系结构被用作特征提取器。像往常一样，最后对特征进行采样骨干的卷积层。即conv5。但是，结果特征图的分辨率比输入图像小16倍，不适合检测投影图中的代表仅限于几个像素的实例。解决方法是去除第四层最大池化层，从而将整个特征提取过程中进行的下采样减少到8个。经过Faster R-CNN可以得到2D检测结果。
除了目标检测任务，本发明还赋予Faster R-CNN检测对象方向的能力。离散对象的偏航角，并在要素提取器和一组完全连接的公共图层上添加新的同级分支将感知类的多项式分类到个离散角仓中。然后获得估计的偏航角作为预测角框的中心及其最可能的邻点的加权平均值。可通过softmax归一化获得的各个框的概率用作权重。
通过考虑到要完成的不同任务的多任务损失来优化CNN的权重。即提案的生成，分类和方向估计。后者被视为多个分类问题，因此，使用了多项逻辑损失。每个类别都给出了不同的方向估计，并且只有与真实级别相对应的一个才起作用损失。权重使用ImageNet上预训练的模型进行初始化，以在RGB图像上进行识别。如将显示后来，尽管输入图像的性质不同，但这些功能被证明对初始化本发明的模型很有用。关于均值减法，由于大多数单元格不包含信息，因此本发明假设平均值可忽略不计。
在训练过程中，水平翻转被用作数据增强技术。此外，当训练模型用于全360度感知时，通过训练BEV及其注解90度，180度和270度的旋转生成新样本。
步骤104：根据二维目标检测结果得到3D目标检测结果。3D目标检测结果即为目标识别结果。该步骤104具体包括：
获取Voxel-Net网络模型和先验信息。
采用Voxel-Net网络模型，以二维目标检测结果和先验信息为输入得到3D目标检测结果。
其中，先验信息的确定过程包括：
将二维目标检测结果转换为与待检测目标对齐的2D框。
将2D框作为先验信息。
其中，由于点云的特性在于以体素的形式保留每一个特征点的空间信息，但点云地图没有足够的物体特征，因此本发明设计了一种点云—图像对齐结构，将上一步得到的检测结果转换为与对象对齐的2D框，并以作为先验信息与点云2D图像一起作为输入送入Voxel-Net网络，进行图像目标检测分割，对2D框对应的点云进行极大极小值处理，得到3D检测框，完成基于3D点云检测。
综上，本发明提供的激光雷达目标检测识别方法，对获取的激光雷达点云数据进行二维投影，有效减少后续检测识别的计算量。利用卷积神经网络对二维图像进行目标检测，避免了传统手工设置特征繁琐的工作流程。提出一种基于二维投影图像和三维点云关联的三维目标检测识别方法，提升了模型检测识别的准确性和适用性。在工程应用中，一旦确定模型参数，就无需再次训练，有效提升了效率。本发明算法原理简单，计算结果可靠，可具体应用于激光雷达目标检测识别中，具有广阔的应用价值和市场前景。
对应于上述提供的激光雷达目标检测识别方法，本发明还提供了两种激光雷达目标检测识别系统。
其中，如图2所示，第一种激光雷达目标检测识别系统，包括：三维点云数据获取模块200、归一化处理模块201、投影模块202、二维目标检测结果确定模块203和目标识别结果确定模块204。
其中，三维点云数据获取模块200用于获取激光雷达的三维点云数据。
归一化处理模块201用于对三维点云数据进行归一化处理，得到归一化后的三维点云数据。
投影模块202用于将归一化后的三维点云数据进行二维投影，得到二维投影数据。
二维目标检测结果确定模块203用于根据二维投影数据得到二维目标检测结果。
目标识别结果确定模块204用于根据二维目标检测结果得到3D目标检测结果。3D目标检测结果即为目标识别结果。
为了提高检测的准确性，上述二维目标检测结果确定模块203还优选包括：第一获取单元和二维目标检测结果确定单元。
其中，第一获取单元用于获取CNN网络模型。
二维目标检测结果确定单元用于采用CNN网络模型以二维投影数据为输入，得到二维目标检测结果。
进一步，为了提高3D检测的准确性，上述目标识别结果确定模块204具体包括：第二获取单元和目标识别结果确定单元。
其中，第二获取单元用于获取Voxel-Net网络模型和先验信息。
目标识别结果确定单元用于采用Voxel-Net网络模型，以二维目标检测结果和先验信息为输入得到3D目标检测结果。
进一步，为了使点云数据具有足够的物体特征，上述目标识别结果确定模块还包括：
2D框确定单元，用于将二维目标检测结果转换为与待检测目标对齐的2D框。
先验信息确定单元，用于将2D框作为先验信息。
如图3所示，本发明提供的第二种激光雷达目标检测识别系统，包括：
处理器(processor)300和存储器(memory)301，还可以包括通信接口(Communication Interface)302和总线303。其中，处理器300、通信接口302、存储器301可以通过总线303完成相互间的通信。通信接口302可以用于信息传输。处理器300可以调用存储器301中的逻辑指令，以执行上述实施例的激光雷达目标检测识别方法。
此外，上述的存储器301中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器301作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本发明提供的中的方法对应的程序指令/模块。处理器300通过运行存储在存储器301中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的激光雷达目标检测识别方法。
存储器301可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序。存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器301可以包括高速随机存取存储器，还可以包括非易失性存储器。
本发明提供的提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行上述激光雷达目标检测识别方法。
本发明提供的提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述激光雷达目标检测识别方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

Claims (10)

1.一种激光雷达目标检测识别方法，其特征在于，包括：
获取激光雷达的三维点云数据；
对所述三维点云数据进行归一化处理，得到归一化后的三维点云数据；
将所述归一化后的三维点云数据进行二维投影，得到二维投影数据；
根据所述二维投影数据得到二维目标检测结果；
根据所述二维目标检测结果得到3D目标检测结果；所述3D目标检测结果即为目标识别结果。
2.根据权利要求1所述的激光雷达目标检测识别方法，其特征在于，所述根据所述二维投影数据得到二维目标检测结果，具体包括：
获取CNN网络模型；
采用所述CNN网络模型以所述二维投影数据为输入，得到二维目标检测结果。
3.根据权利要求1所述的激光雷达目标检测识别方法，其特征在于，所述根据所述二维目标检测结果得到3D目标检测结果，具体包括：
获取Voxel-Net网络模型和先验信息；
采用所述Voxel-Net网络模型，以所述二维目标检测结果和所述先验信息为输入得到3D目标检测结果。
4.根据权利要求3所述的激光雷达目标检测识别方法，其特征在于，所述先验信息的确定过程包括：
将所述二维目标检测结果转换为与待检测目标对齐的2D框；
将所述2D框作为先验信息。
5.一种激光雷达目标检测识别系统，其特征在于，包括：
三维点云数据获取模块，用于获取激光雷达的三维点云数据；
归一化处理模块，用于对所述三维点云数据进行归一化处理，得到归一化后的三维点云数据；
投影模块，用于将所述归一化后的三维点云数据进行二维投影，得到二维投影数据；
二维目标检测结果确定模块，用于根据所述二维投影数据得到二维目标检测结果；
目标识别结果确定模块，用于根据所述二维目标检测结果得到3D目标检测结果；所述3D目标检测结果即为目标识别结果。
6.根据权利要求5所述的激光雷达目标检测识别系统，其特征在于，所述二维目标检测结果确定模块，具体包括：
第一获取单元，用于获取CNN网络模型；
二维目标检测结果确定单元，用于采用所述CNN网络模型以所述二维投影数据为输入，得到二维目标检测结果。
7.根据权利要求5所述的激光雷达目标检测识别系统，其特征在于，所述目标识别结果确定模块，具体包括：
第二获取单元，用于获取Voxel-Net网络模型和先验信息；
目标识别结果确定单元，用于采用所述Voxel-Net网络模型，以所述二维目标检测结果和所述先验信息为输入得到3D目标检测结果。
8.根据权利要求7所述的激光雷达目标检测识别系统，其特征在于，所述目标识别结果确定模块还包括：
2D框确定单元，用于将所述二维目标检测结果转换为与待检测目标对齐的2D框；
先验信息确定单元，用于将所述2D框作为先验信息。
9.一种激光雷达目标检测识别系统，其特征在于，包括：处理器、存储器、通信接口和总线；
所述处理器、通信接口、存储器通过所述总线完成相互间的通信；
所述通信接口用于信息传输；所述处理器用于调用所述存储器中存储的逻辑指令，以执行如权利要求1-4任意一项所述的激光雷达目标检测识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令设置为执行如权利要求1-4所述的激光雷达目标检测识别方法。
CN202110592960.1A 2021-05-28 2021-05-28 激光雷达目标检测识别方法、系统及计算机可读存储介质 Active CN113267761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110592960.1A CN113267761B (zh) 2021-05-28 2021-05-28 激光雷达目标检测识别方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110592960.1A CN113267761B (zh) 2021-05-28 2021-05-28 激光雷达目标检测识别方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113267761A true CN113267761A (zh) 2021-08-17
CN113267761B CN113267761B (zh) 2023-06-23

Family

ID=77233397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110592960.1A Active CN113267761B (zh) 2021-05-28 2021-05-28 激光雷达目标检测识别方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113267761B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822159A (zh) * 2021-08-20 2021-12-21 杭州飞步科技有限公司 三维目标检测方法、装置和计算机
CN115290099A (zh) * 2022-10-09 2022-11-04 南通商翼信息科技有限公司 一种机电设备的定位方法
CN115546482A (zh) * 2022-09-26 2022-12-30 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110832542A (zh) * 2017-07-12 2020-02-21 索尼互动娱乐股份有限公司 识别处理设备、识别处理方法和程序
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN112036462A (zh) * 2020-08-25 2020-12-04 北京三快在线科技有限公司 一种模型训练以及目标检测的方法及装置
CN112257605A (zh) * 2020-10-23 2021-01-22 中国科学院自动化研究所 基于自标注训练样本的三维目标检测方法、系统及装置
CN112287859A (zh) * 2020-11-03 2021-01-29 北京京东乾石科技有限公司 物体识别方法、装置和系统，计算机可读存储介质
US20210146952A1 (en) * 2019-11-14 2021-05-20 Motional Ad Llc Sequential fusion for 3d object detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832542A (zh) * 2017-07-12 2020-02-21 索尼互动娱乐股份有限公司 识别处理设备、识别处理方法和程序
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
US20210146952A1 (en) * 2019-11-14 2021-05-20 Motional Ad Llc Sequential fusion for 3d object detection
CN111681212A (zh) * 2020-05-21 2020-09-18 中山大学 一种基于激光雷达点云数据的三维目标检测方法
CN112036462A (zh) * 2020-08-25 2020-12-04 北京三快在线科技有限公司 一种模型训练以及目标检测的方法及装置
CN112257605A (zh) * 2020-10-23 2021-01-22 中国科学院自动化研究所 基于自标注训练样本的三维目标检测方法、系统及装置
CN112287859A (zh) * 2020-11-03 2021-01-29 北京京东乾石科技有限公司 物体识别方法、装置和系统，计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI 等: "Volumetric and Multi-View CNNs for Object Classification on 3D Data", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YIN ZHOU 等: "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王永森 等: "3D目标检测技术的研究进展", 《计算机科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822159A (zh) * 2021-08-20 2021-12-21 杭州飞步科技有限公司 三维目标检测方法、装置和计算机
CN113822159B (zh) * 2021-08-20 2023-09-22 杭州飞步科技有限公司 三维目标检测方法、装置和计算机
CN115546482A (zh) * 2022-09-26 2022-12-30 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法
CN115290099A (zh) * 2022-10-09 2022-11-04 南通商翼信息科技有限公司 一种机电设备的定位方法

Also Published As

Publication number Publication date
CN113267761B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
US10915793B2 (en) Method and system for converting point cloud data for use with 2D convolutional neural networks
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
WO2020150904A1 (en) Neural network based obstacle detection for mobile platforms, and associated systems and methods
CN115049700A (zh) 一种目标检测方法及装置
EP4211651A1 (en) Efficient three-dimensional object detection from point clouds
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN111401264A (zh) 车辆目标检测方法、装置、计算机设备和存储介质
CN112287859A (zh) 物体识别方法、装置和系统，计算机可读存储介质
EP3703008A1 (en) Object detection and 3d box fitting
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN113255779B (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN113269147B (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
Thompson Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion
Byrne et al. Expansion segmentation for visual collision detection and estimation
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
CN116863371A (zh) 一种基于深度学习的agv叉车货物托盘位姿识别方法
WO2022070184A1 (en) System and method for visual localization
KR20230036651A (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
CN114761998A (zh) 通过神经网络的自适应学习从图像确定深度的方法及其系统
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
Ding et al. Obstacles Detection Algorithm in Forest based on Multi-sensor Data Fusion.
Yang et al. Analysis of Model Optimization Strategies for a Low-Resolution Camera-Lidar Fusion Based Road Detection Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant