CN113971734A - 目标对象检测方法、装置、电子设备及存储介质 - Google Patents

目标对象检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113971734A
CN113971734A CN202010712645.3A CN202010712645A CN113971734A CN 113971734 A CN113971734 A CN 113971734A CN 202010712645 A CN202010712645 A CN 202010712645A CN 113971734 A CN113971734 A CN 113971734A
Authority
CN
China
Prior art keywords
target
sparse matrix
layer
convolution module
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010712645.3A
Other languages
English (en)
Inventor
付万增
王哲
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010712645.3A priority Critical patent/CN113971734A/zh
Priority to PCT/CN2021/102684 priority patent/WO2022017129A1/zh
Publication of CN113971734A publication Critical patent/CN113971734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标对象检测方法、装置、电子设备及存储介质，该方法包括：获取雷达装置采集的目标场景的目标点云数据；基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。

Description

目标对象检测方法、装置、电子设备及存储介质
技术领域
本公开涉及激光雷达技术领域，具体而言，涉及一种目标对象检测方法、装置、电子设备及存储介质。
背景技术
一般的，物体检测与分割算法是较多人工智能应用的核心算法，比如，物体检测与分割算法可以应用于自动驾驶领域中，对车辆行驶过程中的机动车辆、非机动车辆、行人、障碍物等对象进行检测，避免发生碰撞。
卷积神经网络是一种特殊的神经网络结构，在人工智能场景中被广泛使用。基于卷积神经网络的检测和分割算法一般通过庞大的参数量组织一个复杂的计算模型来完成具体的任务，这样的计算模型往往对计算设备的性能有着极高的要求，并且实际应用中存在计算量大、功耗大、延迟高的问题，造成目标对象的检测过程较为复杂、计算量较大、耗时较长。
发明内容
有鉴于此，本公开至少提供一种目标对象检测方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种目标对象检测方法，包括：
获取雷达装置采集的目标场景的目标点云数据；
基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
采用上述方法，可以为获取到的目标点云数据生成对应的至少一个目标稀疏矩阵，该目标稀疏矩阵用于表征目标场景的不同位置处是否具有目标对象；这样，在基于目标稀疏矩阵和目标点云数据，确定目标对象的三维检测数据时，可以基于目标稀疏矩阵，确定存在的目标对象的目标位置，从而可以将与该目标位置对应的特征进行处理，将不同位置中除目标位置之外的其他位置对应的特征不进行处理，这样就减少了得到目标对象的三维检测数据的计算量，提高了检测效率。
一种可能的实施方式中，基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵，包括：
基于所述目标点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的目标稀疏矩阵。
上述实施方式下，可以基于目标点云数据，为神经网络的每一层卷积模块确定对应的目标稀疏矩阵，使得每一层卷积模块可以基于目标稀疏矩阵对输入的特征图进行处理。
一种可能的实施方式中，基于所述目标点云数据，确定所述神经网络中每一层卷积模块对应的目标稀疏矩阵，包括：
基于所述目标点云数据，生成初始稀疏矩阵；
基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵。
上述实施方式下，可以基于目标点云数据，生成初始稀疏矩阵，再基于初始稀疏矩阵，为神经网络的每一层卷积模块确定对应的目标稀疏矩阵，且每一层卷积模块对应的目标稀疏矩阵与输入至该层卷积模块的特征图的目标尺寸相匹配，使得每一层卷积模块可以基于目标稀疏矩阵对输入的特征图进行处理。
一种可能的实施方式中，基于所述目标点云数据，生成初始稀疏矩阵，包括：
确定所述目标点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；
基于所述目标点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；
基于每个栅格区域对应的矩阵元素值，生成所述目标点云数据对应的初始稀疏矩阵。
这里，可以基于目标点云数据，判断每个栅格区域中是否存在点云点，基于判断结果，确定每个栅格区域的矩阵元素值，比如，若栅格区域中存在点云点，则该栅格区域的矩阵元素值为1，表征该栅格区域存在目标对象，进而基于各个栅格区域对应的矩阵元素值，生成了初始稀疏矩阵，为后续确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵，包括：
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入目标稀疏矩阵和输出目标稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的目标稀疏矩阵。
上述实施方式中，设置多种方式，生成每一层卷积模块对应的目标稀疏矩阵，即目标稀疏矩阵可以为输入稀疏矩阵，也可以为输出稀疏矩阵，还可以为基于输入稀疏矩阵和输出稀疏矩阵生成的融合稀疏矩阵。
一种可能的实施方式中，所述基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，包括：
将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；
基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
上述方式中，可以将初始稀疏矩阵作为第一层卷积模块对应的输入稀疏矩阵，并依次确定得到每一层卷积模块的输入稀疏矩阵，进而可以基于该输入稀疏矩阵确定目标稀疏矩阵，为后续基于每一层卷积模块的目标稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，所述基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，包括：
基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；
基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；
基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
上述方式中，可以基于初始稀疏矩阵，确定输出稀疏矩阵，利用输出稀疏矩阵依次确定第n层卷积模块的输出稀疏矩阵、…、第一层卷积模块的输出稀疏矩阵，进而可以基于每一层的输出稀疏矩阵确定目标稀疏矩阵，为后续基于每一层卷积模块的目标稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图；
基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
一种可能的实施方式中，基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图，包括：
针对每个栅格区域，基于位于所述栅格区域内的点云点的目标点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述目标点云数据对应的目标区域划分生成的；
基于每个栅格区域对应的特征信息，生成所述目标点云数据对应的目标点云特征图。
在上述实施方式下，基于每个栅格区域对应的特征信息，生成了目标点云数据对应的目标点云特征图，目标点云特征图中包括每个点云点的位置信息，进而基于目标点云特征图和至少一个目标稀疏矩阵，可以较准确的确定目标场景中包括的目标对象的三维检测数据。
一种可能的实施方式中，基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述神经网络中第一层卷积模块对应的目标稀疏矩阵，确定所述目标点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述目标点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；
基于所述神经网络中第k层卷积模块对应的目标稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；
基于所述神经网络中第n层卷积模块对应的目标稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的目标稀疏矩阵和输入的特征图，确定待卷积特征信息，对待卷积特征信息进行卷积处理，对特征图中除待卷积特征信息之外的其他特征信息不进行卷积处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
一种可能的实施方式中，基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的目标稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；
基于最后一层卷积模块对应的目标稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的目标稀疏矩阵和输入的特征图，生成每一层卷积模块对应的卷积向量，该卷积向量中包括特征图中的待处理的特征信息，该待处理的特征信息为：与目标稀疏矩阵中指示的存在目标对象的三维检测数据的位置匹配的、特征图中的特征信息，对生成的卷积向量进行处理，而对特征图中除待处理的特征信息之外的其他特征信息不进行处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种目标对象检测装置，包括：
获取模块，用于获取雷达装置采集的目标场景的目标点云数据；
生成模块，用于基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
确定模块，用于基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的目标对象检测方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的目标对象检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种目标对象检测方法的流程示意图；
图2示出了本公开实施例所提供的一种目标对象检测方法中，基于目标点云数据，确定神经网络中每一层卷积模块对应的目标稀疏矩阵的具体方式的流程示意图；
图3示出了本公开实施例所提供的一种目标区域和该目标区域对应的初始稀疏矩阵的示意图；
图4示出了本公开实施例所提供的一种目标对象检测装置的架构示意图；
图5示出了本公开实施例所提供的一种电子设备500的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，基于卷积神经网络的物体检测与分割算法一般通过庞大的参数量组织一个复杂的计算模型来完成具体的任务，这样的计算模型往往对计算设备的性能有着极高的要求，并且实际应用中存在计算量大、功耗大、延迟高的问题，造成目标对象的检测过程较为复杂、计算量较大、耗时较长。
为了解决上述问题，本公开实施例提供了一种目标对象检测方法。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种目标对象检测方法进行详细介绍。
该方法的执行主体可以为服务器，也可以为终端设备，比如，终端设备可以为手机、平板电脑、车载电脑等。
参见图1所示，为本公开实施例所提供的一种目标对象检测方法的流程示意图，该方法包括S101～S103，其中：
S101，获取雷达装置采集的目标场景的目标点云数据。
S102，基于目标点云数据，生成目标点云数据对应的至少一个目标稀疏矩阵；目标稀疏矩阵用于表征目标场景的不同位置处是否具有目标对象。
S103，基于至少一个目标稀疏矩阵、和目标点云数据，确定目标场景中包括的目标对象的三维检测数据。
上述方法中，可以为获取到的目标点云数据生成对应的至少一个目标稀疏矩阵，该目标稀疏矩阵用于表征目标场景的不同位置处是否具有目标对象；这样，在基于目标稀疏矩阵和目标点云数据，确定目标对象的三维检测数据时，可以基于目标稀疏矩阵，确定存在的目标对象的目标位置，从而可以将与该目标位置对应的特征进行处理，将不同位置中除目标位置之外的其他位置对应的特征不进行处理，这样就减少了得到目标对象的三维检测数据的计算量，提高了检测效率。
针对S101：
其中，雷达装置可以为激光雷达、毫米波雷达等，本公开实施例以雷达装置为激光雷达装置为例进行说明。激光雷达装置通过实时的发射扫描线，采集得到目标场景的目标点云数据。其中，目标场景可以为任一场景，比如，目标场景可以为配置有激光雷达装置的车辆在行驶过程中遇到的实时场景。
针对S102：
在获取到目标场景的目标点云数据之后，可以基于目标点云数据，生成目标点云数据对应的至少一个目标稀疏矩阵。其中，目标稀疏矩阵可以表征目标场景的不同位置处是否具有目标对象。
这里，该稀疏矩阵可以为包括0和1的矩阵，该稀疏矩阵的元素值为0或1。比如，可以将目标场景中存在目标对象的位置处对应的矩阵元素值设置为1，可以将目标场景中不存在目标对象的位置处对应的矩阵元素值设置为0。
一种可选实施方式中，基于目标点云数据，生成目标点云数据对应的至少一个目标稀疏矩阵，可以包括：基于目标点云数据，确定用于检测目标对象的神经网络中，每一层卷积模块分别对应的目标稀疏矩阵。
这里，该神经网络可以为训练后的、用于对目标对象进行检测的网络，该神经网络中可以包括多层卷积模块，每层卷积模块中可以包括一层卷积层。具体实施时，可以为每层卷积模块确定对应的目标稀疏矩阵，即为每层卷积层确定对应的目标稀疏矩阵。或者，该神经网络中还可以包括多个网络模块block，每个网络模块中包括多层卷积层。具体实施时，可以为每个网络模块确定对应的目标稀疏矩阵，即为网络模块中包括的多层卷积层确定一个对应的目标稀疏矩阵。其中，用于检测目标对象的神经网络的结构可以根据需要进行设置，此处仅为示例性说明。
在确定已训练的用于检测目标对象的神经网络之后，可以基于目标点云数据，为神经网络中的每一层卷积模块确定对应的目标稀疏矩阵。
在对用于检测目标对象的神经网络进行训练时，可以获取训练样本数据，并基于训练样本数据，生成该训练样本数据对应的至少一个样本稀疏矩阵，进而可以基于训练样本数据，和对应的至少一个样本稀疏矩阵，训练该神经网络，得到训练后的神经网络。
上述实施方式下，可以基于目标点云数据，为神经网络的每一层卷积模块确定对应的目标稀疏矩阵，使得每一层卷积模块可以基于目标稀疏矩阵对输入的特征图进行处理。
一种可选实施方式中，参见图2所示，基于目标点云数据，确定神经网络中每一层卷积模块对应的目标稀疏矩阵，可以包括：
S201：基于目标点云数据，生成初始稀疏矩阵。
S202：基于初始稀疏矩阵，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵。
上述实施方式下，可以基于目标点云数据，生成初始稀疏矩阵，再基于初始稀疏矩阵，为神经网络的每一层卷积模块确定对应的目标稀疏矩阵，且每一层卷积模块对应的目标稀疏矩阵与输入至该层卷积模块的特征图的目标尺寸相匹配，使得每一层卷积模块可以基于目标稀疏矩阵对输入的特征图进行处理。
针对S201：
作为一可选实施方式，基于目标点云数据，生成初始稀疏矩阵，包括：
A1，确定目标点云数据对应的目标区域，并按照预设的栅格数量，将目标区域划分为多个栅格区域。
A2，基于目标点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值。
A3，基于每个栅格区域对应的矩阵元素值，生成目标点云数据对应的初始稀疏矩阵。
这里，可以基于目标点云数据，判断每个栅格区域中是否存在点云点，基于判断结果，确定每个栅格区域的矩阵元素值，比如，若栅格区域中存在点云点，则该栅格区域的矩阵元素值为1，表征该栅格区域位置处存在目标对象，进而基于各个栅格区域对应的矩阵元素值，生成了初始稀疏矩阵，为后续确定目标对象的三维检测数据提供了数据支持。
示例性的，目标点云数据对应的目标区域可以为：以激光雷达装置获取目标点云数据时的位置为起始位置，以激光雷达装置能够探测的最远距离为长度，确定得到的测量区域。其中，目标区域可以根据实际情况结合目标点云数据进行确定。
具体实施时，预设的栅格数量可以为N×M个，则可以将目标区域划分为N×M个栅格区域，N和M为正整数。其中，N和M的值可以根据实际需要进行设置。
具体实施时，目标点云数据中包括多个点云点的位置信息，可以基于每个点云点的位置信息，确定每个点云点所处的栅格区域，进而，可以针对每个栅格区域，在该栅格区域中存在对应的点云点时，则该栅格区域对应的矩阵元素值的可以为1；在该栅格区域中不存在对应的点云点时，则该栅格区域对应的矩阵元素值可以为0，故确定了每个栅格区域对应的矩阵元素值。
在确定了每个栅格区域对应的矩阵元素值之后，可以基于每个栅格区域对应的矩阵元素值，生成目标点云数据对应的初始稀疏矩阵，其中，该初始稀疏矩阵的行、列数与栅格数量对应，比如，若栅格数量为N×M个，则初始稀疏矩阵的行数为N，列数为M，即初始稀疏矩阵为N×M的矩阵。
参见图3所示，图中包括激光雷达装置31，以该激光雷达装置为中心，得到的目标区域32，并按照预设的栅格数量，将该目标区域划分为多个栅格区域，得到划分后的多个栅格区域321。再确定目标点云数据对应的多个点云点所处的栅格区域，将存在点云点的栅格区域(即图中存在黑色阴影的栅格区域)的矩阵元素值设置为1，将不存在点云点的栅格区域的矩阵元素值设置为0，得到了每个栅格区域的矩阵元素值。最后，基于每个栅格区域对应的矩阵元素值，生成目标点云数据对应的初始稀疏矩阵33。
针对S202：在得到了初始稀疏矩阵之后，可以基于初始稀疏矩阵，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵。
作为一可选实施方式，可以通过下述方式，确定与神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵：
方式一、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为目标稀疏矩阵。
方式二、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为目标稀疏矩阵。
方式三、基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将输入目标稀疏矩阵和输出目标稀疏矩阵进行融合，得到融合稀疏矩阵，将融合稀疏矩阵作为该层卷积模块对应的目标稀疏矩阵。
这里，目标稀疏矩阵可以为由输出稀疏矩阵得到的，也可以由输入稀疏矩阵得到的，或者，还可以为由输入稀疏矩阵和输出稀疏矩阵融合得到的。
上述实施方式中，设置多种方式，生成每一层卷积模块对应的目标稀疏矩阵，即目标稀疏矩阵可以为输入稀疏矩阵，也可以为输出稀疏矩阵，还可以为基于输入稀疏矩阵和输出稀疏矩阵生成的融合稀疏矩阵。
针对方式一，该方式是由输出稀疏矩阵得到目标稀疏矩阵。具体实施时，可以基于初始稀疏数据，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，该输出稀疏矩阵即为目标稀疏矩阵。其中，该输出稀疏矩阵可以用于表征神经网络每一层卷积模块的输出结果中，对应目标场景的不同位置处是否具有目标对象，比如，若神经网络每一层卷积模块的输出结果中，对应目标场景的位置A处具有目标对象时，则在稀疏矩阵中，与该位置A对应的位置处的矩阵元素值可以为1；若位置A处不具有目标对象时，则在稀疏矩阵中，与该位置A对应的位置处的矩阵元素值可以为0。
针对方式二，该方式是由输入稀疏矩阵得到目标稀疏矩阵。具体实施时，可以基于初始稀疏数据，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，该输入稀疏矩阵即为目标稀疏矩阵。其中，输入稀疏矩阵可以为表征神经网络每一层卷积模块的输入数据中，对应目标场景的不同位置处是否具有目标对象。
针对方式三，可以通过方式一确定每一层卷积模块对应的输出稀疏矩阵，并通过方式二确定每一层卷积模块对应的输入稀疏矩阵，将每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵进行融合，得到融合稀疏矩阵，将融合稀疏矩阵作为该层卷积模块对应的目标稀疏矩阵。
在具体实施时，可以将输入稀疏矩阵和输出稀疏矩阵取交集，得到融合稀疏矩阵；也可以将输入稀疏矩阵和输出稀疏矩阵取并集，得到融合稀疏矩阵。比如，若输入稀疏矩阵为：
Figure BDA0002597069490000121
若输出稀疏矩阵为：
Figure BDA0002597069490000122
则将输入稀疏矩阵和输出稀疏矩阵取交集，得到的融合稀疏矩阵为：
Figure BDA0002597069490000123
则将输入稀疏矩阵和输出稀疏矩阵取并集，得到的融合稀疏矩阵为：
Figure BDA0002597069490000124
一种可选实施方式中，基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输入稀疏矩阵，可以包括：
B1，将初始稀疏矩阵作为神经网络的第一层卷积模块对应的输入稀疏矩阵。
B2，基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为神经网络的卷积模块的层数。
这里，初始稀疏矩阵可以作为神经网络的第一层卷积模块对应的输入稀疏矩阵。第二层卷积模块对应的输入稀疏矩阵可以由第一卷积模块对应的输入稀疏矩阵得到，且第二层卷积模块对应的输入稀疏矩阵的行列数与输入至第二层卷积模块的特征图的目标尺寸一致。
示例性的，可以利用图像膨胀处理操作或图像腐蚀处理操作，对第一层卷积模块对应的输入稀疏矩阵进行处理，得到处理后的稀疏矩阵，将处理后的稀疏矩阵的行列数调整为与第二层卷积模块输入的特征图的目标尺寸匹配之后，得到第二层卷积模块的输入稀疏矩阵。依次类推，可以得到第一层卷积模块对应的输入稀疏矩阵、第二层卷积模块对应的输入稀疏矩阵、……、第n层卷积模块对应的输入稀疏矩阵(即神经网络最后一层卷积模块对应的输入稀疏矩阵)。
示例性的，可以预先确定膨胀处理范围，基于膨胀处理范围对输入稀疏矩阵进行图像膨胀处理，得到处理后的稀疏矩阵，其中，膨胀处理范围可以为基于目标对象的尺寸阈值确定的，也可以根据实际需要进行确定。
比如，若输入稀疏矩阵为：
Figure BDA0002597069490000131
则膨胀处理后的稀疏矩阵可以为：
Figure BDA0002597069490000132
其中，上述膨胀处理过程仅为示例性说明。
示例性的，输入稀疏矩阵的腐蚀处理过程为膨胀处理过程的逆过程，具体的，可以预先确定腐蚀处理范围，基于腐蚀处理范围对输入稀疏矩阵进行图像腐蚀处理，得到处理后的稀疏矩阵。其中，腐蚀处理范围可以为基于目标对象的尺寸阈值确定的，也可以根据实际需要进行确定。
比如，若输入稀疏矩阵为：
Figure BDA0002597069490000141
则腐蚀处理后的稀疏矩阵可以为：
Figure BDA0002597069490000142
其中，上述腐蚀处理过程仅为示例性说明。
在具体实施时，可以通过上采样或下采样的方式，将处理后的稀疏矩阵的行列数调整为与第二层卷积模块输入的特征图的目标尺寸匹配的矩阵，得到第二层卷积模块的输入稀疏矩阵，其中，对处理后的稀疏矩阵的行列数进行调整的过程有多种，此处仅为示例性说明。
在具体实施，还可以对稀疏矩阵的稀疏程度进行调整，比如，可以通过调整栅格的数量，对稀疏矩阵的稀疏程度进行调整；或者也可以通过腐蚀处理过程对稀疏矩阵的稀疏程度进行调整。其中，稀疏矩阵的稀疏程度为：稀疏矩阵中矩阵元素值为1的数量与稀疏矩阵中包括的全部矩阵元素值的总数的比值。
上述方式中，可以将初始稀疏矩阵作为第一层卷积模块对应的输入稀疏矩阵，并依次确定得到每一层卷积模块的输入稀疏矩阵，进而可以基于该输入稀疏矩阵确定目标稀疏矩阵，为后续基于每一层卷积模块的目标稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
一种可能的实施方式中，基于初始稀疏矩阵，确定神经网络中，每一层卷积模块对应的输出稀疏矩阵，可以包括：
C1，基于目标对象的尺寸阈值和初始稀疏矩阵，确定神经网络对应的输出稀疏矩阵。
C2，基于输出稀疏矩阵，生成第n层卷积模块对应的、与第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵。
C3，基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为神经网络的卷积模块的层数。
这里，可以先根据目标对象的尺寸阈值，确定膨胀处理范围，基于膨胀处理范围对初始稀疏矩阵进行膨胀处理，得到处理后的稀疏矩阵，该处理后的稀疏矩阵即为神经网络对应的输出稀疏矩阵。其中，膨胀处理过程可参考上述描述，此处不再进行赘述。
利用输出稀疏矩阵，确定神经网络第n层卷积模块(即神经网络最后一层卷积模块)的输出稀疏矩阵，依次类推，得到第n-1层卷积模块的输出稀疏矩阵、……、第二层卷积模块的输出稀疏矩阵、第一层卷积模块的输出稀疏矩阵。
示例性的，可以利用图像膨胀处理操作或图像腐蚀处理操作，对前一层卷积模块对应的输出稀疏矩阵进行处理，得到处理后的稀疏矩阵，将处理后的稀疏矩阵的行列数调整为与当前层卷积模块输入的特征图的目标尺寸匹配之后，得到当前层卷积模块的输出稀疏矩阵。其中，确定每一层卷积模块的输出稀疏矩阵的过程，可参考上述确定输入稀疏矩阵的过程，此处不再进行详细说明。
在神经网络的每一层卷积模块的目标稀疏矩阵是由输入稀疏矩阵和输出稀疏矩阵融合得到时，可以分别利用上述方法得到每一层卷积模块的输出稀疏矩阵和输入稀疏矩阵，将得到的输出稀疏矩阵和输入稀疏矩阵进行融合，得到每一卷积模块的目标稀疏矩阵。
上述方式中，可以基于初始稀疏矩阵，确定输出稀疏矩阵，利用输出稀疏矩阵依次确定第n层卷积模块的输出稀疏矩阵、…、第一层卷积模块的输出稀疏矩阵，进而可以基于每一层的输出稀疏矩阵确定目标稀疏矩阵，为后续基于每一层卷积模块的目标稀疏矩阵，确定目标对象的三维检测数据提供了数据支持。
针对S103：
在具体实施时，可以基于至少一个目标稀疏矩阵、目标点云数据、和用于检测目标对象的神经网络，确定目标场景中包括的目标对象的三维检测数据。该三维检测数据包括目标对象的检测框的中心点的坐标、检测框的三维尺寸、检测框的朝向角、检测框的类别、检测框的置信度、目标跟踪的ID、目标对象的速度、加速度以及时间戳等等中的一个或者多个。
这里，目标对象的三维检测框的位置不能超出目标区域的位置，即若三维检测框的中心点坐标为(X，Y，Z)，尺寸为长L、宽W、高H时，则满足以下条件：0≤X-2/L，X+2/L<Nmax，0≤Y-W/2，Y+W/2<Mmax，其中，Nmax和Mmax是目标区域的长度阈值和宽度阈值。
一种可选实施方式中，基于至少一个目标稀疏矩阵、和目标点云数据，确定目标场景中包括的目标对象的三维检测数据，包括：
步骤一、基于目标点云数据，生成目标点云数据对应的目标点云特征图。
步骤二、基于目标点云特征图和至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定目标场景中包括的目标对象的三维检测数据，其中，神经网络中包括多层卷积模块。
在具体实施时，可以将目标点云数据输入至神经网络中，对目标点云数据进行预处理，生成目标点云数据对应的目标点云特征图，在利用目标点云特征图、至少一个目标稀疏矩阵、和神经网络，确定目标场景中包括的目标对象的三维检测数据。
步骤一中，基于目标点云数据，生成目标点云数据对应的目标点云特征图，可以包括：
针对每个栅格区域，基于位于栅格区域内的点云点的目标点云数据所指示的坐标信息，确定栅格区域对应的特征信息；其中，栅格区域为按照预设的栅格数量，将目标点云数据对应的目标区域划分生成的。
基于每个栅格区域对应的特征信息，生成目标点云数据对应的目标点云特征图。
针对每个栅格区域，若该栅格区域中存在点云点时，则将各个点云点的目标点云数据所指示的坐标信息，构成该栅格区域对应的特征信息；若该栅格区域中不存在点云点时，则该栅格区域的特征信息可以为0。
基于每个栅格区域对应的特征信息，生成了目标点云数据对应的目标点云特征图。其中，目标点云特征图的尺寸可以为N×M×C，目标点云特征图的尺寸N×M与第一层卷积模块的目标稀疏矩阵的尺寸相一致，目标点云特征图的C可以为各个栅格区域中包括的点云点的数量最大值，比如，若各个栅格区域中栅格区域A中包括的点云点的数量最多，比如，栅格区域中包括50个点云点，则C的值为50，即目标点云特征图中包括50个尺寸为N×M的特征图，每个特征图中包括至少一个点云点的坐标信息。
在上述实施方式下，基于每个栅格区域对应的特征信息，生成了目标点云数据对应的目标点云特征图，目标点云特征图中包括每个点云点的位置信息，进而基于目标点云特征图和至少一个目标稀疏矩阵，可以较准确的确定目标场景中包括的目标对象的三维检测数据。
步骤二中，可以基于目标点云特征图、至少一个目标稀疏矩阵、和神经网路，确定目标场景中包括的目标对象的三维检测数据。
具体实施时，可以通过下述两种方式，确定目标场景中包括的目标对象的三维检测数据：
方式一：基于目标点云特征图和至少一个目标稀疏矩阵，确定目标场景中包括的目标对象的三维检测数据，包括：
一、基于神经网络中第一层卷积模块对应的目标稀疏矩阵，确定目标点云特征图中的待卷积特征信息，利用第一层卷积模块，对目标点云特征图中的待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图。
二、基于神经网络中第k层卷积模块对应的目标稀疏矩阵，确定输入至第k层卷积模块的特征图中的待卷积特征信息，利用神经网络的第k层卷积模块，对第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为神经网络的卷积模块的层数。
三、基于神经网络中第n层卷积模块对应的目标稀疏矩阵，确定输入至第n层卷积模块的特征图中的待卷积特征信息，利用神经网络的第n层卷积模块，对第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到目标场景中包括的目标对象的三维检测数据。
上述实施方式中，可以利用第一层卷积模块的目标稀疏矩阵，确定输入至第一层卷积模块中的目标点云特征图中的待卷积特征信息。具体的，可以确定目标稀疏矩阵中矩阵值为1的目标位置，将目标点云特征图中与目标位置对应的位置的特征信息，确定为待卷积特征信息。
进而利用第一层卷积模块，对目标点云特征图中的待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图。在接着利用第二层卷积模块的目标稀疏矩阵，确定输入至第二层卷积模块的特征图中的待卷积信息，并利用第二层卷积模块对第一层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第三层卷积模块的特征图，依次类推，得到输入至第n层卷积模块(神经网络中最后一层卷积模块)的特征图，通过确定第n层卷积模块的待卷积信息，并对第n层卷积模块的待卷积信息进行卷积处理，得到目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的目标稀疏矩阵和输入的特征图，确定待卷积特征信息，对待卷积特征信息进行卷积处理，对特征图中除待卷积特征信息之外的其他特征信息不进行卷积处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
方式二，基于目标点云特征图和至少一个目标稀疏矩阵，确定目标场景中包括的目标对象的三维检测数据，包括：
一、针对神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的目标稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的卷积向量，确定输入至下一层卷积模块的特征图。
二、基于最后一层卷积模块对应的目标稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的卷积向量，确定目标场景中包括的目标对象的三维检测数据。
上述实施方式中，还可以基于每一层卷积模块对应的目标输入矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量。比如，针对第一层卷积模块，可以确定第一层卷积模块的目标稀疏矩阵中矩阵值为1的目标位置，并确定目标点云特征图中与目标位置对应的位置的特征信息，提取与目标位置对应的特征信息，构成了第一层卷积模块对应的卷积向量。
进一步的，可以利用img2col和col2img技术，通过第一层卷积模块对对应的卷积向量进行矩阵乘法运算，得到输入至第二卷积模块的特征图。基于相同的处理过程，可以得到输入至最后一层卷积模块的特征图，基于最后一层卷积模块对应的目标稀疏矩阵和特征图，确定最后一层卷积模块对应的卷积向量，对最后一层卷积模块对应的卷积向量进行处理，确定目标场景中包括的目标对象的三维检测数据。
这里，可以基于每一层卷积模块的目标稀疏矩阵和输入的特征图，生成每一层卷积模块对应的卷积向量，该卷积向量中包括特征图中的待处理的特征信息，该待处理的特征信息为：与目标稀疏矩阵中指示的存在目标对象的三维检测数据的位置匹配的、特征图中的特征信息，对生成的卷积向量进行处理，而对特征图中除待处理的特征信息之外的其他特征信息不进行处理，减少了每一层卷积模块进行卷积处理的计算量，提高了每一层卷积模块的运算效率，进而可以减少神经网络的运算量，提高目标对象的检测效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种目标对象检测装置，参见图4所示，为本公开实施例提供的目标对象检测装置的架构示意图，包括获取模块401、生成模块402、确定模块403，具体的：
获取模块401，用于获取雷达装置采集的目标场景的目标点云数据；
生成模块402，用于基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
确定模块403，用于基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
一种可能的实施方式中，所述生成模块402，用于：
基于所述目标点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的目标稀疏矩阵。
一种可能的实施方式中，所述生成模块402，用于：
基于所述目标点云数据，生成初始稀疏矩阵；
基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵。
一种可能的实施方式中，所述生成模块402，在基于所述目标点云数据，生成初始稀疏矩阵时，用于：
确定所述目标点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；
基于所述目标点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；
基于每个栅格区域对应的矩阵元素值，生成所述目标点云数据对应的初始稀疏矩阵。
一种可能的实施方式中，所述生成模块402，在基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵时，用于：
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入目标稀疏矩阵和输出目标稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的目标稀疏矩阵。
一种可能的实施方式中，所述生成模块402，在基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵时，用于：
将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；
基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
一种可能的实施方式中，所述生成模块402，在基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵时，用于：
基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；
基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；
基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
一种可能的实施方式中，所述确定模块403，用于：
基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图；
基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
一种可能的实施方式中，所述确定模块403，在基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图时，用于：
针对每个栅格区域，基于位于所述栅格区域内的点云点的目标点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述目标点云数据对应的目标区域划分生成的；
基于每个栅格区域对应的特征信息，生成所述目标点云数据对应的目标点云特征图。
一种可能的实施方式中，所述确定模块403，在基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据时，用于：
基于所述神经网络中第一层卷积模块对应的目标稀疏矩阵，确定所述目标点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述目标点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；
基于所述神经网络中第k层卷积模块对应的目标稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；
基于所述神经网络中第n层卷积模块对应的目标稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
一种可能的实施方式中，所述确定模块403，在基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据时，用于：
针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的目标稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；
基于最后一层卷积模块对应的目标稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当电子设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：
获取雷达装置采集的目标场景的目标点云数据；
基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的目标对象检测方法的步骤。
本公开实施例所提供的目标对象检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的目标对象检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种目标对象检测方法，其特征在于，包括：
获取雷达装置采集的目标场景的目标点云数据；
基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
2.根据权利要求1所述的方法，其特征在于，基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵，包括：
基于所述目标点云数据，确定用于检测所述目标对象的神经网络中，每一层卷积模块分别对应的目标稀疏矩阵。
3.根据权利要求2所述的方法，其特征在于，基于所述目标点云数据，确定所述神经网络中每一层卷积模块分别对应的目标稀疏矩阵，包括：
基于所述目标点云数据，生成初始稀疏矩阵；
基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵。
4.根据权利要求3所述的方法，其特征在于，基于所述目标点云数据，生成初始稀疏矩阵，包括：
确定所述目标点云数据对应的目标区域，并按照预设的栅格数量，将所述目标区域划分为多个栅格区域；
基于所述目标点云数据对应的点云点所处的栅格区域，确定每个栅格区域对应的矩阵元素值；
基于每个栅格区域对应的矩阵元素值，生成所述目标点云数据对应的初始稀疏矩阵。
5.根据权利要求3或4所述的方法，其特征在于，基于所述初始稀疏矩阵，确定与所述神经网络的每一层卷积模块输入的特征图的目标尺寸匹配的目标稀疏矩阵，包括：
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输出稀疏矩阵，将该输出稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵，将该输入稀疏矩阵作为所述目标稀疏矩阵；或者，
基于所述初始稀疏矩阵，确定所述神经网络中，每一层卷积模块对应的输入稀疏矩阵和输出稀疏矩阵，将所述输入目标稀疏矩阵和输出目标稀疏矩阵进行融合，得到融合稀疏矩阵，将所述融合稀疏矩阵作为该层卷积模块对应的目标稀疏矩阵。
6.根据权利要求5所述的方法，其特征在于，所述基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输入稀疏矩阵，包括：
将所述初始稀疏矩阵作为所述神经网络的第一层卷积模块对应的输入稀疏矩阵；
基于第i-1层卷积模块对应的输入稀疏矩阵，确定第i层卷积模块对应的、与所述第i层卷积模块输入的特征图的目标尺寸匹配的输入稀疏矩阵；其中，i为大于1、且小于n+1的正整数，n为所述神经网络的卷积模块的层数。
7.根据权利要求5所述的方法，其特征在于，所述基于所述初始稀疏矩阵，确定所述神经网络中每一层卷积模块对应的输出稀疏矩阵，包括：
基于所述目标对象的尺寸阈值和所述初始稀疏矩阵，确定所述神经网络对应的输出稀疏矩阵；
基于所述输出稀疏矩阵，生成第n层卷积模块对应的、与所述第n层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵；
基于第j+1层卷积模块对应的输出稀疏矩阵，生成第j层卷积模块对应的、与所述第j层卷积模块输入的特征图的目标尺寸匹配的输出稀疏矩阵，其中，j为大于等于1、且小于n的正整数，n为所述神经网络的卷积模块的层数。
8.根据权利要求1～7任一所述的方法，其特征在于，基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图；
基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，其中，所述神经网络中包括多层卷积模块。
9.根据权利要求8所述的方法，其特征在于，基于所述目标点云数据，生成所述目标点云数据对应的目标点云特征图，包括：
针对每个栅格区域，基于位于所述栅格区域内的点云点的目标点云数据所指示的坐标信息，确定所述栅格区域对应的特征信息；其中，所述栅格区域为按照预设的栅格数量，将所述目标点云数据对应的目标区域划分生成的；
基于每个栅格区域对应的特征信息，生成所述目标点云数据对应的目标点云特征图。
10.根据权利要求8或9所述的方法，其特征在于，基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
基于所述神经网络中第一层卷积模块对应的目标稀疏矩阵，确定所述目标点云特征图中的待卷积特征信息，利用所述第一层卷积模块，对所述目标点云特征图中的所述待卷积特征信息进行卷积处理，生成输入至第二层卷积模块的特征图；
基于所述神经网络中第k层卷积模块对应的目标稀疏矩阵，确定输入至所述第k层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第k层卷积模块，对所述第k层卷积模块的特征图中的待卷积特征信息进行卷积处理，生成输入至第k+1层卷积模块的特征图，其中，k为大于1、小于n的正整数，n为所述神经网络的卷积模块的层数；
基于所述神经网络中第n层卷积模块对应的目标稀疏矩阵，确定输入至所述第n层卷积模块的特征图中的待卷积特征信息，利用所述神经网络的第n层卷积模块，对所述第n层卷积模块的特征图中的待卷积特征信息进行卷积处理，得到所述目标场景中包括的目标对象的三维检测数据。
11.根据权利要求8或9所述的方法，其特征在于，基于所述目标点云特征图和所述至少一个目标稀疏矩阵，利用检测目标对象的神经网络，确定所述目标场景中包括的目标对象的三维检测数据，包括：
针对所述神经网络中除最后一层卷积模块之外的其他每一层卷积模块，基于该层卷积模块对应的目标稀疏矩阵和输入至该层卷积模块的特征图，确定该层卷积模块对应的卷积向量；基于该层卷积模块对应的所述卷积向量，确定输入至下一层卷积模块的特征图；
基于最后一层卷积模块对应的目标稀疏矩阵和输入至最后一层卷积模块的特征图，确定最后一层卷积模块对应的卷积向量；基于最后一层卷积模块对应的所述卷积向量，确定所述目标场景中包括的目标对象的三维检测数据。
12.一种目标对象检测装置，其特征在于，包括：
获取模块，用于获取雷达装置采集的目标场景的目标点云数据；
生成模块，用于基于所述目标点云数据，生成所述目标点云数据对应的至少一个目标稀疏矩阵；所述目标稀疏矩阵用于表征所述目标场景的不同位置处是否具有目标对象；
确定模块，用于基于所述至少一个目标稀疏矩阵、和所述目标点云数据，确定所述目标场景中包括的目标对象的三维检测数据。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的目标对象检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的目标对象检测方法的步骤。
CN202010712645.3A 2020-07-22 2020-07-22 目标对象检测方法、装置、电子设备及存储介质 Pending CN113971734A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010712645.3A CN113971734A (zh) 2020-07-22 2020-07-22 目标对象检测方法、装置、电子设备及存储介质
PCT/CN2021/102684 WO2022017129A1 (zh) 2020-07-22 2021-06-28 目标对象检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010712645.3A CN113971734A (zh) 2020-07-22 2020-07-22 目标对象检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113971734A true CN113971734A (zh) 2022-01-25

Family

ID=79584945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010712645.3A Pending CN113971734A (zh) 2020-07-22 2020-07-22 目标对象检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113971734A (zh)
WO (1) WO2022017129A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237614B (zh) * 2023-11-10 2024-02-06 江西啄木蜂科技有限公司 基于深度学习的湖面漂浮物小目标检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN110222626B (zh) * 2019-06-03 2021-05-28 宁波智能装备研究院有限公司 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
CN110738194B (zh) * 2019-11-05 2023-04-07 电子科技大学中山学院 一种基于点云有序编码的三维物体识别方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2022017129A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
CN111144242B (zh) 一种三维目标检测方法、装置及终端
CN113674403B (zh) 一种三维点云上采样方法、系统、设备及介质
WO2022017131A1 (zh) 点云数据的处理方法、智能行驶控制方法及装置
CN111598112B (zh) 多任务的目标检测方法、装置、电子设备及存储介质
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN111882666A (zh) 三维网格模型的重建方法及其装置、设备、存储介质
CN112307978A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113269280B (zh) 文本检测方法、装置、电子设备及计算机可读存储介质
CN113971734A (zh) 目标对象检测方法、装置、电子设备及存储介质
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN114170231A (zh) 基于卷积神经网络的图像语义分割方法、装置及电子设备
CN111507999B (zh) 一种基于fdsst算法的目标追踪方法及装置
CN115862012A (zh) 点云数据语义分割方法、装置、电子设备及存储介质
CN115620017A (zh) 图像的特征提取方法、装置、设备及存储介质
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN113808077A (zh) 一种目标检测方法、装置、设备及存储介质
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置
CN113971694A (zh) 一种点云数据处理方法及装置
CN113052124B (zh) 一种起雾场景的识别方法、装置和计算机可读存储介质
CN112949656B (zh) 水下地形匹配定位方法、设备及计算机存储介质
CN115049895B (zh) 一种图像属性识别方法、属性识别模型训练方法及装置
CN112435293B (zh) 一种车道线的结构化参数表示确定方法及装置
CN116051925B (zh) 训练样本采集方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059200

Country of ref document: HK