CN110032962A - 一种物体检测方法、装置、网络设备和存储介质 - Google Patents

一种物体检测方法、装置、网络设备和存储介质 Download PDF

Info

Publication number
CN110032962A
CN110032962A CN201910267019.5A CN201910267019A CN110032962A CN 110032962 A CN110032962 A CN 110032962A CN 201910267019 A CN201910267019 A CN 201910267019A CN 110032962 A CN110032962 A CN 110032962A
Authority
CN
China
Prior art keywords
area
network
feature
point
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910267019.5A
Other languages
English (en)
Other versions
CN110032962B (zh
Inventor
杨泽同
孙亚楠
賈佳亞
戴宇榮
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910267019.5A priority Critical patent/CN110032962B/zh
Publication of CN110032962A publication Critical patent/CN110032962A/zh
Priority to PCT/CN2020/077721 priority patent/WO2020199834A1/zh
Application granted granted Critical
Publication of CN110032962B publication Critical patent/CN110032962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种物体检测方法、装置、网络设备和存储介质；本发明实施例可以从场景的点云中检测出前景点；基于前景点和预定尺寸构建前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对点云中的所有点进行特征提取，得到点云对应的特征集；基于特征集构建候选物体区域的区域特征信息；基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域以及优化后物体检测区域的定位信息。该方案可以提升物体检测的精确性。

Description

一种物体检测方法、装置、网络设备和存储介质
技术领域
本发明涉及图像技术领域，具体涉及一种物体检测方法、装置、网络设备和存储介质。
背景技术
物体检测是指的确定某个场景中物体的位置、类别等。目前物体检测技术已经广泛应用到各种场景中，比如，自动驾驶、无人机等场景。
目前的物体检测方案均是采集场景图像，从场景图像中提取特征，然后，基于提取的特征确定出场景中的位置和类别。然而，目前经过实践目标物体检测方案存在物体检测的精确性较低等问题，尤其在3D物体检测场景。
发明内容
本发明实施例提供一种物体检测方法、装置、网络设备和存储介质，可以提升物体检测的精确性。
本发明实施例提供一种物体检测方法，包括：
从场景的点云中检测出前景点；
基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；
基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；
基于所述特征集构建所述候选物体区域的区域特征信息；
基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；
基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域、以及优化后物体检测区域的定位信息。
相应的，本发明实施例还提供一种物体检测装置，包括：
检测单元，用于从场景的点云中检测出前景点；
区域构建单元，用于基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；
特征提取单元，用于基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；
特征构建单元，用于基于所述特征集构建所述候选物体区域的区域特征信息；
预测单元，用于基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；
优化单元，用于基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域、以及优化后物体检测区域的定位信息。
在一实施例中，所述检测单元，用于对场景的图像进行语义分割，得到前景像素；将场景的点云中与前景像素对应的点确定为前景点。
在一实施例中，所述区域构建单元，具体用于以前景点为中心点并按照预定尺寸生成所述前景点对应的物体区域。
在一实施例中，特征构建单元，具体包括：
选择子单元，用于在所述候选物体区域中选择多个目标点；
提取子单元，用于从所述特征集中提取所述目标点的特征，得到所述候选物体区域的第一部分特征信息；
构建子单元，用于基于所述目标点的位置信息构建所述候选物体区域的第二部分特征信息；
融合子单元，用于对所述第一部分特征信息与所述第二部分特征信息进行融合，得到所述候选区域的区域特征信息。
在一实施例中，所述特征构建单元，可以具体包括：
选择子单元，用于在所述候选物体区域中选择多个目标点；
提取子单元，用于从所述特征集中提取所述目标点的特征，得到所述候选物体区域的第一部分特征信息；
构建子单元，用于基于所述目标点的位置信息构建所述候选物体区域的第二部分特征信息；
融合子单元，用于对所述第一部分特征信息与所述第二部分特征信息进行融合，得到所述候选区域的区域特征信息。
在一实施例中，构建子单元，具体用于：
对所述目标点的位置信息进行标准化处理，得到目标点的标准化位置信息；
对所述第一部分特征信息和所述标准化位置信息进行融合，得到目标点的融合后特征信息；
对所述目标的融合后特征信息进行空间变换，得到变换后位置信息；
基于所述变换后位置信息，对所述目标点的标准化位置信息进行调整，得到候选物体区域的第二部分特征信息。
在一实施例中，述点云网络包括：第一采样网络、与所第一采样网络连接的第二采样网络；所述特征提取单元，可以包括：
降采样子单元，用于通过所述第一采样网络对所述点云中的所有点进行特征降采样操作，得到点云的初始特征；
上采样子单元，用于通过所述第二采样网络对所述初始特征进行上采样操作，得到点云的特征集。
在一实施例中，所述第一采样网络包括多个依次连接的集合抽象层，所述第二采样网络包括多依次连接、且与集合抽象层对应的特征传播层；
降采样子单元，具体用于：
通过所述集合抽象层依次对点云中的点进行局部区域划分，并提取局部区域中心点的特征，得到点云的初始特征；
将所述点云的初始特征输入至第二采样网络；
上采样子单元，具体用于：
将上一层的输出特征、以及当前特征传播层对应的集合抽象层的输出特征，确定为当前特征传播层的当前输入特征；
通过当前特征传播层对当前输入特征进行上采样操作，得到点云的特征集。
在一实施例中，所述区域预测网络包括特征提取网络、与采样网络连接的分类网络、以及与特征提取网络连接的回归网络；
所述预测单元，具体包括：
全局特征提取子单元，用于通过所述特征提取网络对所述区域特征信息进行特征提取，得到候选物体区域的全局特征信息；
分类子单元，用于基于所述分类网络和所述全局特征信息，对所述候选物体区域进行分类，得到候选区域的预测类型；
回归子单元，用于基于所述回归网络和所述全局特征信息，对所述候选物体区域的进行定位，得到候选区域的预测定位信息。
在一实施例中，所述特征提取网络包括：多个依次连接的集合抽象层，所述分类网络包括多个依次连接的全连接层、所述回归网络包括多个依次连接的全连接层；
所述全局特征提取子单元，用于通过特征提取网络中集合抽象层依次对区域特征信息进行特征提取，得到候选物体区域的全局特征信息。
在一实施例中，优化单元，可以具体包括：
筛选子单元，用于基于候选物体区域的预测类型对候选物体区域进行筛选，得到筛选后物体区域；
优化子单元，用于根据筛选后物体区域的预测定位信息对其初始定位信息进行优化调整，得到优化后物体检测区域及其定位信息。
本发明实施例还提供了一种网络设备，包括存储器和处理器；所述存储器存储有多条指令，所述处理器加载所述存储器内的指令，以执行本发明实施例提供的任一种物体检测方法中的步骤。
此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种物体检测方法中的步骤。
本发明实施例可以从场景的点云中检测出前景点；基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；基于所述特征集构建所述候选物体区域的区域特征信息；基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域以及优化后物体检测区域的定位信息。由于该方案可以采用场景的点云数据进行物体检测，并且还可以针对每个点生成候选检测区域，基于候选检测区域的区域特征对候选检测区域进行优化处理；因此，可以大大提升物体检测的精确性，尤其适用于3D物体检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的物体检测方法的场景示意图；
图1b是本发明实施例提供的物体检测方法的流程图；
图1c是本发明实施例提供的点云网络的结构示意图；
图1d是本发明实施例提供的PointNet++网络结构示意图；
图1e是本发明实施例提供的自动驾驶场景中物体检测效果示意图；
图2a是本发明实施例提供的图像语义分割示意图；
图2b是本发明实施例提供的点云分割示意图；
图2c是本发明实施例提供的候选区域生成示意图；
图3是本发明实施例提供的候选区域特征构建示意图；
图4a是本发明实施例提供的区域预测网络的结构示意图
图4b是本发明实施例提供的区域预测网络的另一结构示意图；
图5a是本发明实施例提供的物体检测的另一流程示意图；
图5b是本发明实施例提供的物体检测的架构图；
图5c是本发明实施例提供的测试实验结果示意图；
图6a是本发明实施例提供的物体检测装置的结构示意图；
图6b是本发明实施例提供的物体检测装置的另一结构示意图；
图6c是本发明实施例提供的物体检测装置的另一结构示意图；
图6d是本发明实施例提供的物体检测装置的另一结构示意图；
图6e是本发明实施例提供的物体检测装置的另一结构示意图；
图7是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种物体检测方法、装置、网络设备和存储介质。其中，该物体检测装置可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；比如，网络设备可以包括、车载设备、微型处理盒子等设备。
所谓物体检测，可以指的是指的确定或识别某个场景中物体的位置、类别等，比如，识别某个道路场景中物体的类别和位置，如路灯、车辆及其位置等。
参考图1a，本发明实施例提供了物体检测系统包括网络设备和采集设备等；网络设备与采集设备之间连接，比如，通过有线或无线网络连接等。在一实施例中，网络设备与采集设备可以集成在一台设备。
其中，采集设备，可以用于采集场景的点云数据或者图像数据等，在一实时汇率中采集设备可以将采集到的点云数据上传给网络设备进行处理。
网络设备，可以用于物体检测，具体地，可以从场景的点云中检测出前景点；基于前景点和预定尺寸构建前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对点云中的所有点进行特征提取，得到点云对应的特征集；基于特征集构建候选物体区域的区域特征信息；基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。实际应用中，在得到优化后物体检测的位置信息之后，可以根据位置信息在场景图像中标识检测到的物体，比如，以检测框的方式在图像中框选检测到的物体，在一实施例中，还可以在场景图像中标识检测到的物体的类型。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从物体检测装置的角度进行描述，该物体检测装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；其中，该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)、微型处理终端等设备。
本发明实施例提供的一种物体检测方法，该方法可以由网络设备的处理器执行，如图1b所示，该物体检测方法的具体流程可以如下：
101、从场景的点云中检测出前景点。
其中，点云为场景或目标表面特性的点集合，点云中的点可以包含点的位置信息如三维坐标，此外，还可以包括颜色信息(RGB)或反射强度信息(Intensity)。
点云可以通过激光测量原理或者摄影测量原理检测得到，比如，可以通过激光扫描仪、或者照相式扫描仪扫描得到物体的点云。激光检测点云的原理为：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。点云格式有*.las；*.pcd；*.txt等。
本发明实施例中，场景的点云数据可以由网络设备自己采集，也可以由其他设备采集，网络设备从其他设备获取，或者，从网络数据库中搜索等等。
其中，场景可以为多种，比如，可以自动驾驶中的道路场景、无人机飞行中的航空场景等等。
其中，前景点为前景点是相对于背景点的，一个场景可以划分为背景和前景，背景的点可以称为背景点、前景的点可以称为前景点。本发明实施例可以通过对场景的点云进行语义分割，以识别场景点云中的前景点。
本发明实施例中，从点云中检测出前景点的方式有多种，比如，可以直接对场景的点云进行语义分割，得到点云中的前景点。
其中，语义分割(Semantic Segmentation)可以指的是：对一个场景中的每个点进行分类，从而识别出某个类型的点。
其中，语义分割的方式可以有多种，比如，可以采用2D语义分割或者3D语义分割对点云进行语义分割。
又比如，为了能够检测到更多的前景点、提升前景点的检测可信度和准确性，在一实施例中，可以先对场景的图像进行语义分割，得到前景像素，然后，将前景像素映射到点云中，得到前景点。具体地，步骤“从场景的点云中检测出前景点”，可以包括：
对场景的图像进行语义分割，得到前景像素；
将场景的点云中与前景像素对应的点确定为前景点。比如，可以将前景像素映射到场景的点云中，得到点云中与前景像素对应的目标点(譬如，可以基于图像中像素与点云中点之间的映射关系如位置映射关系等实现映射)，将目标点确定为前景点。
在一实施例中，可以将点云中的点投影到场景的图像中，如通过点云与像素之间的映射关系矩阵或变换矩阵来将点投影到场景的图像中，然后，将点对应的图像中的分割结果(如前景像素、背景像素等)作为点的分割结果，基于点对应的分割结果从点云中确定前景点，具体地，当点的分割结果为前景像素时，确定该点为前景点。
为了提升语义分割的精确性，本发明实施例的语义分割可以通过基于深度学习的分割网络来实现，比如，可以了基于X-ception的DeepLabV3作为的分割网络，通过该分割网络对场景的图像进行分割，得到前景像素如自动驾驶中的车、行人、骑行的人的前景像素点。然后，将点云中的点投影到场景的图像中，然后将其对应的图片中的分割结果，作为这个点的分割结果，进而产生点云中的前景点。该方式可以精确地检测出点云中的前景点。
102、基于前景点和预定尺寸构建前景点对应的物体区域，得到候选物体区域的初始定位信息。
在得到前景点之后，本发明实施例可以基于前景点和预定尺寸构建每个前景点对应的物体区域，将前景点对应的物体区域作为候选物体区域。
其中，物体区域可以为二维区域即2D区域，也可以为三维区域即3D区域，具体可以根据实际需求来定。其中，预定尺寸可以根据实际需求设定，预定尺寸可以包括预定的尺寸参数，比如，在2D区域中包括长l*宽W，在3D区域中包括长l*宽W*高h。
比如，为了提升物体检测的准确性，可以以前景点为中心点并按照预定尺寸生成前景点对应的物体区域。
其中，候选物体区域的定位信息可以包括候选物体区域的位置信息、尺寸信息等等。
比如，在一实施例中，为了便于计算提升物体检测，候选物体区域的位置信息可以有区域中参考点的位置信息表示，也即候选物体区域的位置信息可以包括候选物体区域中参考点的位置信息，该参考点可以根据实际需求设定，比如，可以候选物体区域的中心点的位置信息。例如，以三维区域为例，候选物体区域的位置信息可以包括中心点的3D坐标如(x、y、z)。
其中，候选区域的尺寸信息可以包括区域的尺寸参数，比如，候选区域为2D区域中包括长l*宽W，候选区域为3D区域中包括长l*宽W*高h等。
此外，在一些场景中，物体的朝向也是比较重要的参考信息，因此，在一些实施例中候选物体区域的定位信息还可以包括候选物体区域的朝向，如向前、向后、向下、向上等，该候选物体区域的朝向表明了场景中的物体的朝向，在一些场景中，物体的朝向也是比较重要的信息。实际应用中，区域的朝向可以基于角度来表示，比如，可以定义两个朝向，分别为0°和90°。
在实际应用中，为了便于物体检测和用户观察，物体区域可以以框的形式标识，比如，2D检测框、3D检测框标识，这里检测框表示的是物体区域，候选检测框表示的是候选物体区域。
譬如，以行驶道路场景为例，参考图2a可以采用2D分割网络对图像进行语义分割，得到图像分割结果(包括前景像素等)；然后，参考图2b，将图像分割结果映射到点云中，得到点云分割结果(包含前景点)。接着，以每个前景点为中心，产生候选区域。候选区域生成示意图如图2c。以每个点为中心，生成一个人为规定大小的3D检测框，作为候选区域。候选区域以(x,y,z,l,h,w,angle)作为表示，其中x,y,z表示中心点的3D坐标，而l,h,w为我们设定的候选区域的长高宽。在实际实验中l＝3.8,h＝1.6,w＝1.5。angle表示3D候选区域的朝向，当生成候选区域的时候，本发明实施例采用了两个朝向，分别是0°和90°。
通过上述步骤本发明实施例可以针对每个前景点生成一个候选物体区域，如3D候选物体检测框。
103、基于点云网络对点云中的所有点进行特征提取，得到点云对应的特征集。
其中，点云网络可以为基于深度学习的网络，比如，可以为PointNet、PointNet++等点云网络。本发明实施例中步骤103与步骤102之间的时序不受序号限制，可以是步骤103执行在步骤102之前，也可以同时执行。
具体地，可以将点云中所有的点输入至点云网络，点云网络对输入的点进行特征提取，以得到点云的特征集。
下面以PointNet++为例来介绍点云网络，如图1c所示，点云网络可以包括第一采样网络和第二采样网络；其中，第一采样网络与第二采样网络连接。在实际应用中第一采样网络可以称为编码器，第二采样网络可以成为解码器。具体地，通过第一采样网络对点云中的所有点进行特征降采样操作，得到点云的初始特征；通过第二采样网络对初始特征进行上采样操作，得到点云的特征集。
参考图1d，第一采样网络包括多个依次连接的集合抽象层(SA，set
abstraction)，第二采样网络包括多依次连接、且与集合抽象层(SA)对应的特征传播层(FP，feature propagation)。SA和FP的相对应，数量可以根据实际需求设定，比如，包括三层SA、FP。
参考图1d，第一采样网络可以包括三次降采样操作(也即编码阶段包括三步降采样操作)，点的数量分别为1024，256，64；第二采样网络可以包括三次上采样操作(也即解码阶段包括三步上采样操作)，三步的点数为256，1024，N。点云网络提取特征过程如下：
将点云的所有点输入至第一采样网络，通过第一采样网络中集合抽象层(SA)依次对点云中的点进行局部区域划分，并提取局部区域中心点的特征，得到点云的初始特征；比如，参考图1d，通过输入为点云N×4经过三层SA降采样操作后，输出点云的特征为64×1024特征。
本发明实施例中，pointnet++使用了分层抽取特征的思想，把每一次叫做setabstraction。分为三部分：采样层、分组层、特征提取层。首先来看采样层，为了从稠密的点云中抽取出一些相对较为重要的中心点，采用FPS(farthest point sampling)最远点采样法，这些点并不一定具有语义信息。当然也可以随机采样；然后是分组层，在上一层提取出的中心点的某个范围内寻找最近个k近邻点组成patch；特征提取层是将这k个点通过小型pointnet网络进行卷积和pooling得到的特征作为此中心点的特征，再送入下一个分层继续。这样每一层得到的中心点都是上一层中心点的子集，并且随着层数加深，中心点的个数越来越少，但是每一个中心点包含的信息越来越多。
根据上述描述，本发明实施例中第一采样网络由多个SA层组成，在每个层次上，处理和抽象一组点以产生具有较少元素的新集合。集合抽象层由三个关键层组成：采样层(Sampling layer)、分组层(Grouping layer)、点云网络层(PointNet layer)。采样层从输入点选择一组点，这些点定义局部区域的质心。分组层通过找到质心周围的“相邻”点来构造局部区域集合。pointnet层使用一个微型点网将局部区域模式编码成特征向量。
在一实施例中，考虑到实际点云很少是均匀分布的，在采样的时候，对于密集的区域，应该使用小尺度采样，以深入细致的特征(finest details)，但在稀疏区域，应该使用大尺度采样，因为过小的尺度会导致稀疏处的采样不足。因此，本发明实施例提出了改良的SA层。具体地，在SA层中的分组层(Grouping layer)可以使用Multi-scale grouping(MSG，多尺度分组)，具体地，在分组时把每种半径下的局部特征都提取出来，然后组合到一起。其思想是在grouping layer中，采样多尺度的特征，concat(连接)起来。比如，参考图1d，在第一、二层SA层中使用MSG分组。
此外，在一实施例中，为了提升采样密度变化的稳健性，在SA中还可以采用单一尺度分组(SSG)，比如，在作为输出的SA层使用单一尺度分组(SSG)。
在第一采样网络输出点云的输出特征之后，可以将点云的初始特征输入至第二采样网络，通过第二采样网络对初始特征进行上采样操作如残差上采样操作。比如，参考图1d，经过第二采样网络的三层FP对64×1024特征进行上采样操作后，输出N×128的特征。
在一实施中，为了提升防止特征梯度变化、或者丢失，还可以第二采样网络进行上采样操作时还需要考虑到第一采样网络中各SA层输出的特征。具体地，步骤“通过第二采样网络对初始特征进行上采样操作，得到点云的特征集”，包括：
将上一层的输出特征、以及当前特征传播层对应的集合抽象层的输出特征，确定为当前特征传播层的当前输入特征；
通过当前特征传播层对当前输入特征进行上采样操作，得到点云的特征集。
其中，上一层的输出特征可以包括当前FP层上一层的SA层或FP层，比如，参考图1d，在输入64*1024点云特征至第一个FP层，第一个FP层将64*1024点云特征、以及第三个SA层输出的256*256特征确定为当前输入特征，对该特征进行上采样操作，将得到的特征输出至第二个FP层。第二个FP层将上一FP层的输出特征256*128特征、与第一个SA层输出的1024*128特征作为当前层输入特征，并对该特征进行上采样操作，得到1024*128特征输入值第三个FP层。第三个FP层将第二个FP层输出的1024*128特征、与原始输入的N*4特征作为当前层输入特征，并进行上采样操作，输出点云的最终特征。
通过上述步骤可以对点云中所有点进行特征提取，得到点云的特征集，防止信息丢失，提升了物体检测的准确性。
104、基于特征集构建候选物体区域的区域特征信息。
本发明实施例基于点云的特征集构建候选物体区域的特征信息的方式可以有多种，比如，可以从特征集中选择一些点的特征作为所属区域的特征信息；又比如，还可以从特征集中选择一些点的位置信息作为所属区域的特征信息。
又比如，为提升区域特征的提取精确性，还可以集合一些点的特征和位置信息来构建区域特征信息。具体地，步骤“基于特征集构建候选物体区域的区域特征信息”，可以包括：
在候选物体区域中选择多个目标点；
从特征集中提取目标点的特征，得到候选物体区域的第一部分特征信息；
基于目标点的位置信息构建候选物体区域的第二部分特征；
对第一部分特征信息与第二部分特征信息进行融合，得到候选区域的区域特征。
其中，目标点的数量和选择方式可以根据实际需求设定，比如，可以随机在候选物体区域中随机或者按照一定选择方式(如基于离中心点的距离来选择等)选择一定数量如512个点。
在从候选物体区域中选择目标点之后，可以从点云的特征集中提取目标点的特征，提取的目标点的特征作为候选物体区域的第一部分特征信息(可以用F1表示)。比如，在随机选择512个点后，可以从点云的特征图(即特征集)中提取512个点的特征组成第一部分特征信息F1。
譬如，参考图3，可以从点云的特征(B、N、C)中crop(裁剪)候选区域内目标点如512个的特征组成F1(B、M、C)，M为目标点数量，如M＝512，其中，N为点云中点的数量。
其中，基于目标点的位置信息构建区域的第二部分特征的方式可以有多种，比如，可以将目标点的位置信息直接作为区域的第二部分特征信息(可以用F2表示)。又比如，为了提升位置特征的提取精确性，还可以位置信息做一些变换后构建区域的第二部分特征。比如，步骤“基于目标点的位置信息构建候选物体区域的第二部分特征信息”，可以包括：
(1)、对目标点的位置信息进行标准化处理，得到目标点的标准化位置信息。
其中，目标点的位置信息可以包括目标点的坐标信息如3D坐标xyz，位置信息的标准化处理(Normalize)可以根据实际需求设定，比如，可以基于区域的中心点位置信息对目标点的位置信息进行调整。譬如，将目标点的3D坐标减去区域中心的3D坐标等。
(2)、对第一部分特征信息和标准化位置信息进行融合，得到目标点的融合后特征信息。
比如，参考图3，可以将M＝512个点的标准化位置信息(如3D坐标xyz)与第一部分特征F1进行融合，具体地，可以采用Concat(连接)方式对二者进行融合，得到融合后特征(B、N、C+3)。
(3)对目标的融合后特征信息进行空间变换，得到目标点的变换后位置信息。
为了进一步提升第二部分特征的提取准确性，还可以对融合后特征进行空间变换。
比如，在一实施例中，可以采用空间变换网络(STN)进行变换，譬如，可以采用受监督的空间变换网络如T-Net。参考图3可以通过T-Net对融合后特征(B、N、C+3)进行空间变换，得到变换后坐标(B、3)。
(4)、基于变换后位置信息，对目标点的标准化位置信息进行调整，得到候选物体区域的第二部分特征信息。
比如，可以将目标点的标准化位置值减去变换位置值，得到候选物体区域的第二部分特征F2。参考图3，可以将标准化处理(Normalize)的目标点3D坐标(B、N、3)减去变换后3D坐标(B、3)得到第二部分特征F2。
由于对特征进行空间变换，将位置特征减去变换后位置后，可以提升位置特征的几何稳定性或者空间不变性，从而提升特征提取的精确性。
通过上述方式可以得到每个候选物体区域的第一部分特征信息和第二部分特征信息，然后，将这两部分特征进行融合便可以得到每个候选物体区域的区域特征信息。比如，参考图3，可以将F1与F2连接(Concat)得到候选物体区域的连接后特征(B、N、C+3)，将该特征作为候选物体区域的区域特征。
105、基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息。
其中，区域预测网络，可以用于预测候选预测区域的类型和定位信息，比如，可以对候选物体区域进行分类和定位，得到候选预测区域的预测类型和定位信息，该网络可以为基于深度学习的区域预测网络，可以由样本物体的点云或图像训练而成。
其中，预测定位信息可以包括预测的位置信息如2D或3D坐标、尺寸如长宽高等，此外在一实施例中，还可以包括预测的朝向信息如0°或90°。
下面介绍区域预测网络的结构，参考图4a，区域预测网络可以包括特征提取网络、分类网络以及回归网络，分类网络与回归网络分别与特征提取网络连接。如下：
其中，特征提取网络，用于对输入信息进行特征信息，比如，对候选物体区域的区域特征信息进行特征提取，得到候选物体区域的全局特征信息。
分类网络，用于对区域进行分类，比如，可以基于候选物体区域的全局特征信息对候选物体区域进行分类，得到候选物体区域的预测类型。
回归网络，用于对区域进行定位，比如，对候选物体区域进行定位，得到候选物体区域的预测定位信息。由于用回归网络预测定位，因此输出的预测定位信息也可以称为回归信息，如预测回归信息。
比如，步骤“基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息”，可以包括：
通过特征提取网络对区域特征信息进行特征提取，得到候选物体区域的全局特征信息；
基于分类网络和全局特征信息，对候选物体区域进行分类，得到候选区域的预测类型；
基于回归网络和全局特征信息，对候选物体区域的进行定位，得到候选区域的预测定位信息。
为了提升预测的准确性，参考图4b，本发明实施例中特征提取网络可以包括：多个依次连接的集合抽象层即SA层；分类网络可以包括多个依次连接的全连接层(fc)，如图4b所示，包括用于分类的多个fc，如cls-fc1、cls-fc2、cls-pred。其中，回归网络包括多个依次连接的全连接层，如图4b所示，包括多个用于回归的fc，如reg-fc1、reg-fc2、reg-pred。本发明实施例中，SA层和fc层的数量可以根据实际需求设定。
本发明实施例中，区域的全局特征信息提取过程可以包括：通过特征提取网络中集合抽象层依次对区域特征信息进行特征提取，得到候选物体区域的全局特征信息。
其中，集合抽象层的结构可以参考上述的介绍，在一实施例中，SA层中分组可以采用单一尺度的方式分组，即采用SSG分组，提升全局特征提取的准确性和效率。
参考图4b，区域预测网络可以通过三个SA层依次对区域特征信息进行特征提取，如当输入特征input为M×131特征时，经过三个SA层特征提取，分别得到128×128、32×256等特征。在经过SA层特征提取后，得到全局特征，此时，可以将全局特征分别输入至分类网络和回归网络。
分类网络通过前两个cls-fc1、cls-fc2对特征进行降维处理，并最后一个cls-pred层进行分类预测，输出区域的预测类型。
回归网络通过前两个reg-fc1、reg-fc2对特征进行降维处理，并最后一个reg-pred层进行回归预测，得到区域的预测定位信息。
其中，区域的类型可以根据实际需求设定，比如，按区域内是否有物体可以划分为有物体、没有物体；或者按质量划分还可以划分为质量高、中、低。
通过上述步骤可以预测出每个候选物体区域的类型和定位信息。
106、基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域、以及优化后物体检测区域的定位信息。
其中，优化方式可以多种，比如，可以先基于预测定位信息对候选物体区域的定位信息进行调整，然后，再基于预测类型筛选候选物体区域。又比如，在一实施例中，可以先基于预测类型筛选选区域，然后，调整定位信息。
例如，步骤“基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息”，可以包括：
基于候选物体区域的预测类型对候选物体区域进行筛选，得到筛选后物体区域；
根据筛选后物体区域的预测定位信息对其初始定位信息进行优化调整，得到优化后物体检测区域及其定位信息。
例如，当预测类型包括有物体区域、空区域的情况下，可以将候选物体区域不包含物体的空区域过滤掉，然后，基于过滤后的区域的预测定位信息对其定位信息进行优化调整。
具体地，定位信息优化调整方式，比如，可以基于预测定位信息与初始定位信息之间的差异信息进行调整，譬如，区域3D坐标的差值、尺寸差值等。
又比如，还可以基于预测定位信息和初始定位信息确定一个最优的定位信息，然后，将候选物体区域的定位信息调整为该最优的定位信息。譬如，确定一个最优区域3d坐标和长宽高等。
在实际应用中，还可以基于优化后物体检测区域的定位信息在场景图像中标识出物体检测区域，比如，参考图1e，采用本发明实施例提供的物体检测方法可以在自动驾驶场景中准确地检测当前道路上的物体的位置、大小、以及方向，有利于自动驾驶的决策和判断。
本发明实施例提供的物体检测可以适用于各种场景，比如，自动驾驶、无人机、安全监控等场景。
由上可知，本发明实施例可以从场景的点云中检测出前景点；基于前景点和预定尺寸构建前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对点云中的所有点进行特征提取，得到点云对应的特征集；基于特征集构建候选物体区域的区域特征信息；基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域以及优化后物体检测区域的定位信息该方案采用场景的点云数据进行物体检测，可以提升物体检测的准确性。
并且该方案还可以针对每个点生成候选检测区域，可以避免信息丢失，同时针对每个前景点生成候选区域，也即对于任意一个物体，都会产生其对应的候选区域，因此，不会受到物体尺度变化以及严重遮挡的影响，提升了物体检测的有效性和成功率。
此外，该方案还可以基于候选检测区域的区域特征对候选检测区域进行优化处理；因此，可以进一步提升物体检测的精确性和质量。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该物体检测装置具体集成在网络设备为例进行说明。
(一)分别对语义分割网络、点云网络以及区域预测网络进行训练，具体可以如下：
1、语义分割网络的训练。
首先，网络设备可以获取语义分割网络的训练集，该训练集包括标注了像素类型(如前景像素、背景像素等)的样本图像。
其中，网络设备可以基于训练集合、损失函数对语义分割进行训练。具体地，可以通过语义分割网络对样本图像进行语义分割，得到样本图像的前景像素，然后，基于损失函数对分割得到的像素类型与标注的像素类型进行收敛，得到训练后的语义分割网络。
2、点云网络的训练。
网络设备获取点云网络的训练集，该训练集包括样本物体或场景的样本点云。网络设备可以基于样本点云训练集对点云网络进行训练。
3、区域预测网络
网络设备获取区域预测网络的训练集，该训练集可以包括标注了物体区域类型和定位信息的样本点云；通过该训练集对区域预测网络进行训练，具体地，预测样本点云的物体区域类型和的定位信息，将预测类型与真实类型进行收敛，将预测定位信息与真实定位信息进行收敛，得到训练后的区域预测网络。
上述网络训练可以由网络设备自己执行，也可以由其他设备训练完成后，网络设备获取应用。应当理解的是本发明实施例应用的网络不仅限于上述方式来训练，还可以通过其他方式来训练。
(二)通过该训练好的语义分割网络、点云网络以及区域预测网络，便可以基于点云进行物体检测，具体可参见图5a和图5b。
如图5a所示，一种物体检测方法，具体流程可以如下：
501、网络设备获取场景的图像和点云。
比如，网络设备可以分别从图像采集设备和点云采集设备获取场景的图像和点云
502、网络设备采用语义分割网络对场景的图像进行语义分割，得到前景像素。
参考图5b，以自动驾驶场景为例，可以先采集道路场景图像，可以采用2D语义分割网络对场景的图像进行分割，得到分割结果，包括前景像素、背景像素等。
503、网络设备将前景像素点映射到场景的点云中，得到点云中的前景点。
比如，可以了基于X-ception的DeepLabV3作为的分割网络，通过该分割网络对场景的图像进行分割，得到前景像素如自动驾驶中的车、行人、骑行的人的前景像素点。然后，将点云中的点投影到场景的图像中，然后将其对应的图片中的分割结果，作为这个点的分割结果，进而产生点云中的前景点。该方式可以精确地检测出点云中的前景点。
504、网络设备基于每个前景点和预定尺寸构建每个前景点对应的三维物体区域，得到候选物体区域的初始定位信息。
比如，以前景点为中心点并按照预定尺寸生成前景点对应的三维物体区域。
其中，候选物体区域的定位信息可以包括候选物体区域的位置信息、尺寸信息等等。
比如，参考图5b，可以在得到前景点后，通过以前景点为中心点并按照预定尺寸生成前景点对应的物体区域，即生成基于点的候选物体区域(Piont-Based ProposalGeneration)。
详细的候选物体区域可以参考图2a至图2b，以及上述的相关介绍。
505、网络设备通过点云网络对点云中的所有点进行特征提取，得到点云对应的特征集。
参考图5b，可以将点云(B，N，4)中所有点输入到PointNet++，通过PointNet++提取点云的特征，得到(B，N，C)。
具体的点云网络结构和特征提取过程可以参考上述实施例的描述。
506、网络设备基于特征集构建候选物体区域的区域特征信息。
参考图5b，在得到候选物体区域的定位信息、以及点云的特征后，网络设备可以基于点云的特征生成候选物体的区域特征信息(即Proposal Feature Generation)。
比如，网络设备在候选物体区域中选择多个目标点；从特征集中提取目标点的特征，得到候选物体区域的第一部分特征信息；对目标点的位置信息进行标准化处理，得到目标点的标准化位置信息；对第一部分特征信息和标准化位置信息进行融合，得到目标点的融合后特征信息；对目标的融合后特征信息进行空间变换，得到目标点的变换后位置信息；基于变换后位置信息，对目标点的标准化位置信息进行调整，得到候选物体区域的第二部分特征信息；对第一部分特征信息与第二部分特征信息进行融合，得到候选区域的区域特征。
具体地，区域特征生成可以参考上述实施例和图3的描述。
507、网络设备基于区域预测网络和区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息。
比如，参考图5b，可以通过边界预测网络(Box Prediction Net)对候选区域进行分类(cls)以及回归(reg)，从而预测候选区域的类型和回归参数，该回归参数即为预测定位信息，包括三维坐标、长宽高、朝向等参数如(x,y,z,l,h,w,angle)。
508、网络设备基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域以及优化后物体检测区域的定位信息。
比如，网络设备可以基于候选物体区域的预测类型对候选物体区域进行筛选，得到筛选后物体区域；根据筛选后物体区域的预测定位信息对其初始定位信息进行优化调整，得到优化后物体检测区域及其定位信息。
在实际应用中，还可以基于优化后物体检测区域的定位信息在场景图像中标识出物体检测区域，比如，参考图1e，采用本发明实施例提供的物体检测方法可以在自动驾驶场景中准确地检测当前道路上的物体的位置、大小、以及方向，有利于自动驾驶的决策和判断。
本发明实施例可以将全部的点云作为输入，然后使用一个PointNet++的结构为点云中的每一个点产生特征。然后以点云中的每一个点为锚点生成候选区域。之后，以每一个点的特征作为输入，优化候选区域，从而生成最后的检测结果。
并且，在一些数据集中测试了本发明实施例提供的算法能力，比如，在开源的自动驾驶数据集如KITTI数据集上测试了本发明实施例提供的算法的能力，其中KITTI数据集是一个自动驾驶数据集，同时拥有多种大小和距离的物体，非常具有挑战性。本发明实施例的算法在KITTI上超过了所有的现有的3D物体检测的算法，达到了一个全新的state-of-the-art，同时在其中的困难集上更是远超之前最好的算法。
在KITTI数据集上，测试了三类(汽车、行人和骑自行车)的7481训练图像的点云和7518的测试图像的点云。并采用最广泛实验的平均精度(AP)与其他方法进行度量比较，其他方法包括MV3D(Multi-View 3D object detection，多模态3D物体检测)、AVOD(Aggregate View Object Detection，多视图物体检测)、VoxelNet(3D像素网络)、F-PointNet(Frustum-PointNet，视锥点云网络)、AVOD-FPN(多视图物体检测-视锥点云网络)。如图5c所示为测试结果。从而结果来看本发明实施例提供的物体检测方法的精度明显高于其他方法。
为了更好地实施以上方法，相应的，本发明实施例还提供一种物体检测装置，该物体检测装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端、车载设备、无人机等设备，还可以为比如微型处理盒子等。
例如，如图6a所示，该物体检测装置可以包括检测单元601、区域构建单元602、特征提取单元603、特征构建单元604、预测单元605和优化单元606，如下：
检测单元601，用于从场景的点云中检测出前景点；
区域构建单元602，用于基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；
特征提取单元603，用于基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；
特征构建单元604，用于基于所述特征集构建所述候选物体区域的区域特征信息；
预测单元605，用于基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；
优化单元606，用于基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。
在一实施例中，检测单元601，可以用于：对场景的图像进行语义分割，得到前景像素；将场景的点云中与前景像素对应的点确定为前景点。
在一实施例中，区域构建单元602，可以具体用于以前景点为中心点并按照预定尺寸生成所述前景点对应的物体区域。
在一实施例中，参考图6b，特征构建单元604，可以具体包括：
选择子单元6041，用于在所述候选物体区域中选择多个目标点；
提取子单元6042，用于从所述特征集中提取所述目标点的特征，得到所述候选物体区域的第一部分特征信息；
构建子单元6043，用于基于所述目标点的位置信息构建所述候选物体区域的第二部分特征信息；
融合子单元6045，用于对所述第一部分特征信息与所述第二部分特征信息进行融合，得到所述候选区域的区域特征信息。
在一实施例中，构建子单元6043，可以具体用于：
对所述目标点的位置信息进行标准化处理，得到目标点的标准化位置信息；
对所述第一部分特征信息和所述标准化位置信息进行融合，得到目标点的融合后特征信息；
对所述目标的融合后特征信息进行空间变换，得到变换后位置信息；
基于所述变换后位置信息，对所述目标点的标准化位置信息进行调整，得到候选物体区域的第二部分特征信息。
在一实施例中，参考图6c，所述点云网络包括：第一采样网络、与所第一采样网络连接的第二采样网络；所述特征提取单元603，可以包括：
降采样子单元6031，用于通过所述第一采样网络对所述点云中的所有点进行特征降采样操作，得到点云的初始特征；
上采样子单元6032，用于通过所述第二采样网络对所述初始特征进行上采样操作，得到点云的特征集。
在一实施例中，所述第一采样网络包括多个依次连接的集合抽象层，所述第二采样网络包括多依次连接、且与集合抽象层对应的特征传播层；
降采样子单元6031，可以具体用于：
通过所述集合抽象层依次对点云中的点进行局部区域划分，并提取局部区域中心点的特征，得到点云的初始特征；
将所述点云的初始特征输入至第二采样网络；
上采样子单元6032，可以具体用于：
将上一层的输出特征、以及当前特征传播层对应的集合抽象层的输出特征，确定为当前特征传播层的当前输入特征；
通过当前特征传播层对当前输入特征进行上采样操作，得到点云的特征集。
在一实施例中，所述区域预测网络包括特征提取网络、与采样网络连接的分类网络、以及与特征提取网络连接的回归网络；参考图6d，预测单元605，可以具体包括：
全局特征提取子单元6051，用于通过所述特征提取网络对所述区域特征信息进行特征提取，得到候选物体区域的全局特征信息；
分类子单元6052，用于基于所述分类网络和所述全局特征信息，对所述候选物体区域进行分类，得到候选区域的预测类型；
回归子单元6053，用于基于所述回归网络和所述全局特征信息，对所述候选物体区域的进行定位，得到候选区域的预测定位信息。
在一实施例中，所述特征提取网络包括：多个依次连接的集合抽象层，所述分类网络包括多个依次连接的全连接层、所述回归网络包括多个依次连接的全连接层；所述全局特征提取子单元6051，用于通过特征提取网络中集合抽象层依次对区域特征信息进行特征提取，得到候选物体区域的全局特征信息。
在一实施例中，参考图6e，优化单元606，可以具体包括：
筛选子单元6061，用于基于候选物体区域的预测类型对候选物体区域进行筛选，得到筛选后物体区域；
优化子单元6062，用于根据筛选后物体区域的预测定位信息对其初始定位信息进行优化调整，得到优化后物体检测区域及其定位信息。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的物体检测装置可以通过检测单元601从场景的点云中检测出前景点；然后由区域构建单元602基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；由特征提取单元603基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；由特征构建单元604基于所述特征集构建所述候选物体区域的区域特征信息；由预测单元605基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；由优化单元606基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。由于该方案可以采用场景的点云数据进行物体检测，并且还可以针对每个点生成候选检测区域，基于候选检测区域的区域特征对候选检测区域进行优化处理；因此，可以大大提升物体检测的精确性，尤其适用于3D物体检测。
此外，本发明实施例还提供一种网络设备，如图7所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
网络设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
从场景的点云中检测出前景点；基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；基于所述特征集构建所述候选物体区域的区域特征信息；基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的网络设备从场景的点云中检测出前景点；基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；基于所述特征集构建所述候选物体区域的区域特征信息；基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。由于该方案可以采用场景的点云数据进行物体检测，并且还可以针对每个点生成候选检测区域，基于候选检测区域的区域特征对候选检测区域进行优化处理；因此，可以大大提升物体检测的精确性，尤其适用于3D物体检测。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种物体检测方法中的步骤。例如，该指令可以执行如下步骤：
从场景的点云中检测出前景点；基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；基于所述特征集构建所述候选物体区域的区域特征信息；基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种物体检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种物体检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种物体检测方法、装置、网络设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种物体检测方法，其特征在于，包括：
从场景的点云中检测出前景点；
基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；
基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；
基于所述特征集构建所述候选物体区域的区域特征信息；
基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；
基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域、以及优化后物体检测区域的定位信息。
2.如权利要求1所述的物体检测方法，其特征在于，从场景的点云中检测出前景点，包括：
对场景的图像进行语义分割，得到前景像素；
将场景的点云中与前景像素对应的点确定为前景点。
3.如权利要求1所述的物体检测方法，其特征在于，基于前景点和预定尺寸构建所述前景点对应的物体区域，包括：以前景点为中心点并按照预定尺寸生成所述前景点对应的物体区域。
4.如权利要求1所述的物体检测方法，其特征在于，基于所述特征集构建所述候选物体区域的区域特征信息，包括：
在所述候选物体区域中选择多个目标点；
从所述特征集中提取所述目标点的特征，得到所述候选物体区域的第一部分特征信息；
基于所述目标点的位置信息构建所述候选物体区域的第二部分特征信息；
对所述第一部分特征信息与所述第二部分特征信息进行融合，得到所述候选区域的区域特征信息。
5.如权利要求4所述的物体检测方法，其特征在于，基于所述目标点的位置信息构建所述候选物体区域的第二部分特征信息，包括：
对所述目标点的位置信息进行标准化处理，得到目标点的标准化位置信息；
对所述第一部分特征信息和所述标准化位置信息进行融合，得到目标点的融合后特征信息；
对所述目标的融合后特征信息进行空间变换，得到变换后位置信息；
基于所述变换后位置信息，对所述目标点的标准化位置信息进行调整，得到候选物体区域的第二部分特征信息。
6.如权利要求1所述的物体检测方法，其特征在于，所述点云网络包括：第一采样网络、与所第一采样网络连接的第二采样网络；
基于点云网络对所述点云中的所有点进行特征提取，得到点云的特征集，包括：
通过所述第一采样网络对所述点云中的所有点进行特征降采样操作，得到点云的初始特征；
通过所述第二采样网络对所述初始特征进行上采样操作，得到点云的特征集。
7.如权利要求6所述的物体检测方法，其特征在于，所述第一采样网络包括多个依次连接的集合抽象层，所述第二采样网络包括多依次连接、且与集合抽象层对应的特征传播层；
通过所述第一采样网络对所述点云中的所有点进行特征降采样操作，包括：
通过所述集合抽象层依次对点云中的点进行局部区域划分，并提取局部区域中心点的特征，得到点云的初始特征；
将所述点云的初始特征输入至第二采样网络；
通过所述第二采样网络对所述初始特征进行上采样操作，得到点云的特征集，包括：
将上一层的输出特征、以及当前特征传播层对应的集合抽象层的输出特征，确定为当前特征传播层的当前输入特征；
通过当前特征传播层对当前输入特征进行上采样操作，得到点云的特征集。
8.如权利要求1所述的物体检测方法，其特征在于，所述区域预测网络包括特征提取网络、与采样网络连接的分类网络、以及与特征提取网络连接的回归网络；
基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息，包括：
通过所述特征提取网络对所述区域特征信息进行特征提取，得到候选物体区域的全局特征信息；
基于所述分类网络和所述全局特征信息，对所述候选物体区域进行分类，得到候选区域的预测类型；
基于所述回归网络和所述全局特征信息，对所述候选物体区域的进行定位，得到候选区域的预测定位信息。
9.如权利要求8所述的物体检测方法，其特征在于，所述特征提取网络包括：多个依次连接的集合抽象层，所述分类网络包括多个依次连接的全连接层、所述回归网络包括多个依次连接的全连接层；
通过所述特征提取网络对所述区域特征信息进行特征提取，得到候选物体区域的全局特征信息，包括：通过特征提取网络中集合抽象层依次对区域特征信息进行特征提取，得到候选物体区域的全局特征信息。
10.如权利要求1所述的物体检测方法，其特征在于，基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域及其定位信息，包括：
基于候选物体区域的预测类型对候选物体区域进行筛选，得到筛选后物体区域；
根据筛选后物体区域的预测定位信息对其初始定位信息进行优化调整，得到优化后物体检测区域及其定位信息。
11.一种物体检测装置，其特征在于，包括：
检测单元，用于从场景的点云中检测出前景点；
区域构建单元，用于基于前景点和预定尺寸构建所述前景点对应的物体区域，得到候选物体区域的初始定位信息；
特征提取单元，用于基于点云网络对所述点云中的所有点进行特征提取，得到所述点云对应的特征集；
特征构建单元，用于基于所述特征集构建所述候选物体区域的区域特征信息；
预测单元，用于基于区域预测网络和所述区域特征信息，预测候选物体区域的类型和定位信息，得到候选物体区域的预测类型和预测定位信息；
优化单元，用于基于候选区域的初始定位信息、候选物体区域的预测类型和预测定位信息对候选物体区域进行优化处理，得到优化后物体检测区域以及优化后物体检测区域的定位信息。
12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的物体检测方法中的步骤。
13.一种网络设备，其特征在于，包括存储器和处理器；所述存储器存储有多条指令，所述处理器加载所述存储器内的指令，以执行权利要求1至10任一项所述的物体检测方法中的步骤。
CN201910267019.5A 2019-04-03 2019-04-03 一种物体检测方法、装置、网络设备和存储介质 Active CN110032962B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910267019.5A CN110032962B (zh) 2019-04-03 2019-04-03 一种物体检测方法、装置、网络设备和存储介质
PCT/CN2020/077721 WO2020199834A1 (zh) 2019-04-03 2020-03-04 一种物体检测方法、装置、网络设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910267019.5A CN110032962B (zh) 2019-04-03 2019-04-03 一种物体检测方法、装置、网络设备和存储介质

Publications (2)

Publication Number Publication Date
CN110032962A true CN110032962A (zh) 2019-07-19
CN110032962B CN110032962B (zh) 2022-07-08

Family

ID=67237387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267019.5A Active CN110032962B (zh) 2019-04-03 2019-04-03 一种物体检测方法、装置、网络设备和存储介质

Country Status (2)

Country Link
CN (1) CN110032962B (zh)
WO (1) WO2020199834A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400304A (zh) * 2019-07-25 2019-11-01 腾讯科技（深圳）有限公司 基于深度学习的物体检测方法、装置、设备及存储介质
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN110837789A (zh) * 2019-10-31 2020-02-25 北京奇艺世纪科技有限公司 一种检测物体的方法、装置、电子设备及介质
CN111145174A (zh) * 2020-01-02 2020-05-12 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统
CN111340766A (zh) * 2020-02-21 2020-06-26 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质
CN111444839A (zh) * 2020-03-26 2020-07-24 北京经纬恒润科技有限公司 一种基于激光雷达的目标检测方法及系统
CN111578951A (zh) * 2020-04-30 2020-08-25 北京百度网讯科技有限公司 一种用于生成信息的方法和装置
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
WO2021024805A1 (ja) * 2019-08-06 2021-02-11 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN112598635A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于对称点生成的点云3d目标检测方法
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
WO2021114773A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Target detection method, device, terminal device, and medium
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
WO2022062238A1 (zh) * 2020-09-27 2022-03-31 深圳市优必选科技股份有限公司 一种足球检测方法、装置、计算机可读存储介质及机器人
WO2022126523A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 物体检测方法、设备、可移动平台及计算机可读存储介质
CN114898094A (zh) * 2022-04-22 2022-08-12 湖南大学 点云上采样方法、装置、计算机设备和存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633376A (zh) * 2020-12-24 2021-04-09 南京信息工程大学 基于深度学习的点云数据地物分类方法、系统与存储介质
CN112766170B (zh) * 2021-01-21 2024-04-16 广西财经学院 基于簇类无人机图像的自适应分割检测方法及装置
CN112862017B (zh) * 2021-04-01 2023-08-01 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN113205531B (zh) * 2021-04-30 2024-03-08 北京云圣智能科技有限责任公司 三维点云分割方法、装置及服务器
CN113240656B (zh) * 2021-05-24 2023-04-07 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备
CN113674348B (zh) * 2021-05-28 2024-03-15 中国科学院自动化研究所 物体抓取方法、装置和系统
CN113256793A (zh) * 2021-05-31 2021-08-13 浙江科技学院 一种三维数据处理方法及系统
CN113807350A (zh) * 2021-09-13 2021-12-17 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
CN114372944B (zh) * 2021-12-30 2024-05-17 深圳大学 一种多模态和多尺度融合的候选区域生成方法及相关装置
CN114359561A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 一种目标检测方法及目标检测模型的训练方法、装置
CN114092478B (zh) * 2022-01-21 2022-04-29 合肥中科类脑智能技术有限公司 一种异常检测方法
CN114549958B (zh) * 2022-02-24 2023-08-04 四川大学 基于上下文信息感知机理的夜间和伪装目标检测方法
CN114820465B (zh) * 2022-04-06 2024-04-26 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质
CN115937644B (zh) * 2022-12-15 2024-01-02 清华大学 一种基于全局及局部融合的点云特征提取方法及装置
CN116229388B (zh) * 2023-03-27 2023-09-12 哈尔滨市科佳通用机电股份有限公司 基于目标检测网络的动车异物检测方法、系统及设备
CN116912488B (zh) * 2023-06-14 2024-02-13 中国科学院自动化研究所 基于多目相机的三维全景分割方法及装置
CN116912238B (zh) * 2023-09-11 2023-11-28 湖北工业大学 基于多维识别网络级联融合的焊缝管道识别方法及系统
CN117475397B (zh) * 2023-12-26 2024-03-22 安徽蔚来智驾科技有限公司 基于多模态传感器的目标标注数据获取方法、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155970A1 (en) * 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2526342A (en) * 2014-05-22 2015-11-25 Nokia Technologies Oy Point cloud matching method
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN109242951A (zh) * 2018-08-06 2019-01-18 宁波盈芯信息科技有限公司 一种脸部实时三维重建方法
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110032962B (zh) * 2019-04-03 2022-07-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155970A1 (en) * 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZETONG YANG ET.AL: "IPOD:Intensive Point-based Object Detector for Point Cloud", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN110400304A (zh) * 2019-07-25 2019-11-01 腾讯科技（深圳）有限公司 基于深度学习的物体检测方法、装置、设备及存储介质
CN110400304B (zh) * 2019-07-25 2023-12-12 腾讯科技（深圳）有限公司 基于深度学习的物体检测方法、装置、设备及存储介质
WO2021024805A1 (ja) * 2019-08-06 2021-02-11 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN110837789B (zh) * 2019-10-31 2023-01-20 北京奇艺世纪科技有限公司 一种检测物体的方法、装置、电子设备及介质
CN110837789A (zh) * 2019-10-31 2020-02-25 北京奇艺世纪科技有限公司 一种检测物体的方法、装置、电子设备及介质
WO2021114773A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Target detection method, device, terminal device, and medium
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111209840A (zh) * 2019-12-31 2020-05-29 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111209840B (zh) * 2019-12-31 2022-02-18 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111145174A (zh) * 2020-01-02 2020-05-12 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN111145174B (zh) * 2020-01-02 2022-08-09 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN110807461B (zh) * 2020-01-08 2020-06-02 深圳市越疆科技有限公司 一种目标位置检测方法
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统
CN111260773B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统
CN111340766A (zh) * 2020-02-21 2020-06-26 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质
CN111340766B (zh) * 2020-02-21 2024-06-11 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质
JP2022524262A (ja) * 2020-02-21 2022-05-02 北京市商▲湯▼科技▲開▼▲発▼有限公司 目標対象物の検出方法、目標対象物の検出装置、電子機器、記憶媒体及びコンピュータプログラム
WO2021164469A1 (zh) * 2020-02-21 2021-08-26 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN111444839B (zh) * 2020-03-26 2023-09-08 北京经纬恒润科技股份有限公司 一种基于激光雷达的目标检测方法及系统
CN111444839A (zh) * 2020-03-26 2020-07-24 北京经纬恒润科技有限公司 一种基于激光雷达的目标检测方法及系统
CN111578951A (zh) * 2020-04-30 2020-08-25 北京百度网讯科技有限公司 一种用于生成信息的方法和装置
WO2022062238A1 (zh) * 2020-09-27 2022-03-31 深圳市优必选科技股份有限公司 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
WO2022126523A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 物体检测方法、设备、可移动平台及计算机可读存储介质
CN112598635B (zh) * 2020-12-18 2024-03-12 武汉大学 一种基于对称点生成的点云3d目标检测方法
CN112598635A (zh) * 2020-12-18 2021-04-02 武汉大学 一种基于对称点生成的点云3d目标检测方法
WO2022141718A1 (zh) * 2020-12-31 2022-07-07 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
CN112734931B (zh) * 2020-12-31 2021-12-07 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
CN113312983B (zh) * 2021-05-08 2023-09-05 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN114898094A (zh) * 2022-04-22 2022-08-12 湖南大学 点云上采样方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110032962B (zh) 2022-07-08
WO2020199834A1 (zh) 2020-10-08

Similar Documents

Publication Publication Date Title
CN110032962A (zh) 一种物体检测方法、装置、网络设备和存储介质
CN110059608A (zh) 一种物体检测方法、装置、电子设备和存储介质
Xia et al. Geometric primitives in LiDAR point clouds: A review
Li et al. DeepMitosis: Mitosis detection via deep detection, verification and segmentation networks
Lafarge et al. Creating large-scale city models from 3D-point clouds: a robust approach with hybrid representation
US9741112B2 (en) Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images
Sithole Segmentation and classification of airborne laser scanner data
CN109978918A (zh) 一种轨迹追踪方法、装置和存储介质
CN109697434A (zh) 一种行为识别方法、装置和存储介质
US20140185891A1 (en) Generating Image-Based Diagnostic Tests By Optimizing Image Analysis and Data Mining Of Co-Registered Images
CN105096300B (zh) 对象检测方法和设备
CN110222686A (zh) 物体检测方法、装置、计算机设备和存储介质
CN111832489A (zh) 一种基于目标检测的地铁人群密度估计方法及系统
CN112257799A (zh) 一种生活垃圾目标检测的方法、系统及装置
KR20130083997A (ko) 신체 자세군 생성 장치 및 방법
CN109492596A (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN115346177A (zh) 一种新的路侧视角下目标检测系统及方法
CN112733815B (zh) 一种基于rgb室外道路场景图像的红绿灯识别方法
CN109033944A (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN112419306B (zh) 一种基于nas-fpn的肺结节检测方法
CN105976376A (zh) 一种基于部件模型的高分辨sar图像目标检测方法
CN109492606A (zh) 多光谱矢量图获取方法及系统、三维单体化方法及系统
CN101980251A (zh) 二叉树多类支持向量机遥感分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant