CN112651405B - 目标检测方法及装置 - Google Patents

目标检测方法及装置 Download PDF

Info

Publication number
CN112651405B
CN112651405B CN202011454846.4A CN202011454846A CN112651405B CN 112651405 B CN112651405 B CN 112651405B CN 202011454846 A CN202011454846 A CN 202011454846A CN 112651405 B CN112651405 B CN 112651405B
Authority
CN
China
Prior art keywords
target
feature
features
radar data
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011454846.4A
Other languages
English (en)
Other versions
CN112651405A (zh
Inventor
陈海波
秦华平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011454846.4A priority Critical patent/CN112651405B/zh
Publication of CN112651405A publication Critical patent/CN112651405A/zh
Application granted granted Critical
Publication of CN112651405B publication Critical patent/CN112651405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请提供一种目标检测方法及装置，该目标检测方法包括：对雷达数据进行统计特征表达，获取第一类特征；基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征；基于第一类特征和第二类特征，确定融合特征；将融合特征输入到目标检测模型，输出目标检测信息；目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。本申请提供的目标检测方法及装置，通过统计特征表达获取第一类特征，通过三维体素特征表达获取第二类特征，将第一类特征和第二类特征进行融合，使得融合数据更为全面，提高目标检测的效率和准确性。

Description

目标检测方法及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种目标检测方法及装置。
背景技术
随着计算机视觉技术的发展，通过环境感知装置感知周围环境，以进行物体检测已经在很多场景中使用，物体检测是指的确定某个场景中物体的位置、类别等。目前物体检测技术已经广泛应用到各种场景中，比如，自动驾驶、无人机等场景。
目前的物体检测方案均是采集场景图像，从场景图像中提取特征，然后，基于提取的特征确定出场景中的位置和类别。然而经过不同场景中的实践发现，现有物体检测方案的误差较大，无法准确地检测出目标信息。
发明内容
本申请提供一种目标检测方法及装置，以实现使得融合数据更为全面，且能保证较强的统计特征，能够保证推理速度，提高目标检测的效率和准确性。
本申请提供一种目标检测方法，包括：对雷达数据进行统计特征表达，获取第一类特征；基于预设的目标数量阈值确定表达通道的数量，并基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征；基于所述第一类特征和所述第二类特征，确定融合特征；将所述融合特征输入到目标检测模型，输出目标检测信息；其中，所述目标检测模型为，以融合特征样本数据为样本，以预先确定的与所述融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
根据本申请提供的一种目标检测方法，所述对雷达数据进行统计特征表达，获取第一类特征，包括：确定所述雷达数据的目标统计参数；基于所述目标统计参数，得到与所述目标统计参数对应的所述第一类特征。
根据本申请提供的一种目标检测方法，所述目标统计参数包括：所述雷达数据内空间点的最大高度、所述雷达数据内最高的空间点的强度、所述雷达数据内空间点的平均高度、所述雷达数据内空间点的平均强度和所述雷达数据内空间点的总数目中的至少一种。
根据本申请提供的一种目标检测方法，所述基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征，包括：将所述雷达数据分割为多个三维体素，并基于多个所述三维体素对应提取多个点云参考特征；将多个所述点云参考特征映射到多个所述表达通道上，得到所述第二类特征，所述三维体素的数量远小于所述表达通道的数量。
根据本申请提供的一种目标检测方法，所述基于多个所述三维体素对应提取多个点云参考特征，包括：从所述三维体素中筛选出多个目标点，对多个所述目标点进行点云预处理，得到多个点云单点特征；基于所述多个目标点，得到点云上下文特征；基于所述点云单点特征和所述点云上下文特征，得到所述点云参考特征。
根据本申请提供的一种目标检测方法，所述将所述融合特征输入到目标检测模型，输出目标检测信息，包括以下步骤中的至少一种：将所述融合特征输入到所述目标检测模型的第一检测子模块，输出目标类别信息；将所述融合特征输入到所述目标检测模型的第二检测子模块，输出目标大小信息；将所述融合特征输入到所述目标检测模型的第三检测子模块，输出目标位置信息。
根据本申请提供的一种目标检测方法，所述基于所述第一类特征和所述第二类特征，确定融合特征，包括：将所述第一类特征和所述第二类特征进行叠加，得到所述融合特征。
本申请还提供一种目标检测装置，所述目标检测装置包括：第一获取模块，用于对雷达数据进行统计特征表达，获取第一类特征；第二获取模块，用于基于预设的目标数量阈值确定表达通道的数量，并基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征；确定模块，用于基于所述第一类特征和所述第二类特征，确定融合特征；输出模块，用于将所述融合特征输入到目标检测模型，输出目标检测信息；其中，所述目标检测模型为，以融合特征样本数据为样本，以预先确定的与所述融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述目标检测方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
本申请提供的目标检测方法，通过统计特征表达获取第一类特征，通过三维体素特征表达，获取第二类特征，将第一类特征和第二类特征进行融合，使得融合数据更为全面，且能保证较强的统计特征，能够保证推理速度，提高目标检测的效率和准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的目标检测方法的流程示意图；
图2是本申请提供的目标检测方法中步骤110的实施方式的流程示意图；
图3是本申请提供的目标检测方法中步骤120的实施方式的流程示意图；
图4是本申请提供的目标检测方法中步骤121的实施方式的流程示意图；
图5是本申请提供的目标检测方法中步骤140的实施方式的流程示意图；
图6是本申请提供的目标检测装置的结构示意图；
图7是本申请提供的目标检测装置的第一获取模块的结构示意图；
图8是本申请提供的目标检测装置的第二获取模块的结构示意图；
图9是本申请提供的目标检测装置的第三获取子单元的结构示意图；
图10是本申请提供的目标检测装置的输出模块的结构示意图；
图11是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1-图11描述本申请的目标检测方法及装置。
该目标检测方法可以应用于无人驾驶或者辅助驾驶场景，可以利用雷达对车辆周围的环境进行检测，检测出目标信息，以控制车辆做出相应反馈，来确保车辆驾驶的安全性。
如图1所示，本申请提供一种目标检测方法，该目标检测方法包括：如下步骤110-步骤140。
步骤110、对雷达数据进行统计特征表达，获取第一类特征。
需要说明的是，将雷达安装在车辆的车身，对周围的环境进行检测，采集到雷达数据，雷达可以为激光雷达或者毫米波雷达。
激光雷达利用激光来进行对目标进行探测，通过每分钟600转或1200转的进行扫射，它能非常详细的获得一个实时的三维点云数据，包括目标的三维坐标、距离、方位角、反射激光的强度、激光编码和时间等等，常用的有单线、4线、16线、32线、64线和128线束的，是一个高精度的传感器，而且其稳定性好、鲁棒性高，然而激光雷达成本较高，另外，激光受大气及气象影响大，大气衰减和恶劣天气使作用距离降低，大气湍流会降低激光雷达的测量精度，激光束窄的情况难以搜索目标和捕获目标。一般先由其他设备实施大空域和快速粗捕目标，然后交由激光雷达对目标进行精密跟踪测量。
毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达，车载常用的工作频段一般为24GHz、77GHz和79GHz，波长1～10mm，介于微波和厘米波之间，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离，其全天候全天时以及准确的测速测距。兼具有微波雷达和光电雷达的一些优点，同超声波雷达相比，毫米波雷达的体积比超声波雷达的体积大，质量也大，毫米波雷达的感知范围、距离以及准确度比超声波雷达好。与红外、激光或摄像头等光学传感器相比，毫米波雷达穿透雾、烟或灰尘的能力强，具有全天候全天时的特点。另外，毫米波雷达的抗干扰能力也优于其他车载传感器。运用在车辆上的毫米波雷达的工作频率可以为24GHz和77GHz。
雷达数据实际上是点迹形式的点云数据，雷达的稀疏点云成像与稠密像素点的图像成像不同，点云都是连续的，图像是离散的；点云可以反应真实世界目标的形状、姿态信息，但是缺少纹理信息；图像是对真实世界的目标离散化后的表达，缺少目标的真实尺寸；图像可以直接作为卷积神经网络的输入，而稀疏点云则需要进行处理。
根据雷达的成像原理，可以基于旋转平面(即三维坐标系下的XY坐标平面)离散化，可以得到BEV图(Bird’s Eye View)。BEV图由激光雷达点云在XY坐标平面离散化后投影得到，其中需要人为规定离散化时的分辨率，即点云空间多大的长方体范围(Δl*Δw*Δh)对应离散化后的图像的一个像素点，或一组特征向量，如点云20cm*20cm*Δh的长方体空间，对应离散化后的图像的一个像素点。
此处对雷达数据进行统计特征表达，来获取第一类特征，统计特征表达实质上是通过一些手动选取的统计特征来完成对长方体模型中点云的特征表达，也就是直接根据要获取的特征种类来设计采集对象，根据仿照人类视觉的特点对特征的敏感度，来提取图像中有区分能力的特征，因此提取出来的特征中的每一维度往往都具有具体的物理含义。
换言之，此处的第一类特征是以人类视觉能够感知到的目标对象的物理特性为依据得出的，第一类特征能够用人类可感知的物理特性描述。
第一类特征可以包括：反应纹理特点的方向梯度类特征sift，surf，hog等，反应轮廓形状的shape context等，这些特征都是经过了反复试验对人眼敏感信息进行测试设计出来的，如果把所需检测的雷达数据换成视频数据，也同样需要把这些特征扩展到3D场景，比如HOG3D，3Dsurf。
步骤120、基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征。
其中，三维体素特征表达的过程可以包括：基于雷达数据的范围构建相应尺寸的体素块(如立方体的体素块)；对体素块进行划分，得到多个三维体素(Voxel)；将场景的点云映射到三维体素；基于三维体素中映射点的位置信息构建三维体素的特征信息。
其中，雷达数据的范围可以包括点云的范围、或者点云的采集范围(如雷达采集场景点云的采集范围)，该点云的范围或者采集范围均可以用尺寸标识，比如，前后5米，左右4米、上下3米等等。比如，可以基于雷达数据的空间尺寸构建相同尺寸的体素块。场景点云的尺寸可以包括点云的长宽高等。
其中，对体素块的划分方式可以有多种，比如，可以按照预定尺寸对体素块进行划分，比如，其中，预定尺寸为需要划分得到的三维体素的尺寸，该尺寸可以根据实际需求设定，体素的尺寸可以包括L(长)×W(宽)×H(高)，如预定三维体素的尺寸可以为0.2*0.2*0.1毫米等。
在划分得到三维体素之后，可以根据点云中点的位置信息将点映射到相应的三维体素。
在完成点云映射后，三维体素的特征信息可以基于映射到三维体素中的点的位置信息得到，也即三维体素内点的位置信息得到。比如，可以基于三维体素中映射点的位置信息构建三维体素的特征信息，换言之，当三维体素中存在映射点时，可以从映射点中选择目标映射点的位置信息作为三维体素的特征信息；当三维体素中不存在映射点时，可以将三维体素的特征信息设置为零。
比如，以点云为nx4(n个点的三维坐标加反射度)的向量为例，在点云映射后，对于有点的Voxel直接取其中的某个点的4维向量作为特征，对于没有点的Voxel特征均为0。
经过上述步骤可以将点云映射到三维体素表示，构建出三维体素的特征信息，其中，三维体素的特征信息可以包括体素内某个映射点的位置信息等信息，或者为零。
此处预设目标数量阈值，使得表达通道的数量不超过这个目标数量阈值，将上述获取到的三维体素的特征信息映射到表达通道中，进而，通过设定目标数量阈值，就限定了表达通道的数量，实际上就将三维体素的特征信息合并到少量的表达通道中，通过表达通道输出第二类特征，此处通过限定表达通道的数量，能够降低冗余的表达过程，只保留重要的第二类特征，能够提高推理速度。
此处第二类特征和第一类特征的区别点在于，第一类特征是以人体视觉可见为标准，而第二类特征是机器学习判断出来的特征，第二类特征比第一类特征更广，但是第一类特征的统计特征较强。
步骤130、基于第一类特征和第二类特征，确定融合特征。
值得一提的是，可以将第一类特征和第二类特征进行叠加，或者将第一类特征和第二类特征进行拼接，来确定融合特征。
由于第一类特征编码比较简单，统计特征较强，推理速度较快，缺点是提取的特征不够全面，第二类特征编码比较复杂，推理速度较慢，但是提取的特征比较全面。
此处将第一类特征和第二类特征进行融合，得到的融合数据就更为全面，且能保证较强的统计特征，由于在得到第二类特征的过程中对表达通道进行了限制，能够保证推理速度。
步骤140、将融合特征输入到目标检测模型，输出目标检测信息。
目标检测模型可以为一种卷积神经网络，还可以为残差神经网络，将融合特征输入到目标检测模型，目标检测模型能够对融合特征进行判别，输出目标检测信息，目标检测信息可以包括：目标距离信息、目标类别信息或者目标大小信息。
其中，目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
融合特征样本数据可以是人为选择的真实场景中提取到的融合特征样本数据，目标检测信息样本数据是真实场景中特征样本数据对应的真实值，通过真实值实现对目标检测模型的有监督学习，可以确保目标检测模型能准确输出目标检测信息。
基于目标检测模型输出的目标检测信息，可以对车辆前方的障碍物进行准确判断，可以根据障碍物的距离、类别或者大小进行避障或者控速等操作。
本申请实施例提供的目标检测方法，通过统计特征表达获取第一类特征，通过三维体素特征表达，获取第二类特征，将第一类特征和第二类特征进行融合，使得融合数据更为全面，且能保证较强的统计特征，能够保证推理速度，提高目标检测的效率和准确性。
如图2所示，在一些实施例中，步骤110、对雷达数据进行统计特征表达，获取第一类特征，包括：如下步骤111-步骤112。
步骤111、确定雷达数据的目标统计参数。
可以理解的是，目标统计参数可以是数据测量的属性参数，目标统计参数可以为人体可以识别的参数，可以根据仿照人类视觉的特点对特征的敏感度确定，目标统计参数可以为一个或者多个，可以由人为设定备选项，由计算机从备选项中选择符合目标检测场景的目标统计参数。
在一些实施例中，目标统计参数包括：雷达数据内空间点的最大高度、雷达数据内最高的空间点的强度、雷达数据内空间点的平均高度、雷达数据内空间点的平均强度和雷达数据内空间点的总数目中的至少一种。
雷达数据内空间点的最大高度是属于雷达数据的各空间点的竖坐标中最大的竖坐标，雷达数据内最高的空间点的强度，是属于该雷达数据的各空间点中竖坐标最大的空间点的雷达信号反射强度，雷达数据内空间点的平均高度，是属于该雷达数据的各空间点的竖坐标的平均值，雷达数据内空间点的平均强度，是属于该雷达数据的各空间点的激光反射强度的平均值，雷达数据内空间点的总数目是属于该雷达数据的各空间点的总个数。
步骤112、基于目标统计参数，得到与目标统计参数对应的第一类特征。
可以理解的是，在确定目标统计参数后，基于目标统计参数从雷达数据中搜索与目标统计参数对应的特征作为第一类特征，目标统计参数与第一类特征可以是一对一的关系，目标统计参数的种类数目与第一类特征的数目一致。
比如目标统计参数包括：雷达数据内空间点的最大高度、雷达数据内最高的空间点的强度、雷达数据内空间点的平均高度、雷达数据内空间点的平均强度和雷达数据内空间点的总数这5种时，针对任一雷达数据，可以得到与这5种目标统计参数分别对应的第一类特征。
如图3所示，在一些实施例中，上述步骤120：基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征，包括：如下步骤121-步骤122。
步骤121、将雷达数据分割为多个三维体素，并基于多个三维体素对应提取多个点云参考特征。
可以理解的是，如上述实施例所述，雷达数据可以被分割成多个Voxel，点云参考特征可以基于映射到三维体素中的点的位置信息得到，也即Voxel内点的位置信息得到。比如，当Voxel中存在映射点时，可以从映射点中选择目标映射点的位置信息作为点云参考特征；当三维体素中不存在映射点时，可以将点云参考特征设置为零。
步骤122、将多个点云参考特征映射到多个表达通道上，得到第二类特征，三维体素的数量远小于表达通道的数量。
可以理解的是，根据预设的目标数量阈值，确定表达通道的数量，将上述点云参考特征映射到多个表达通道上，这种映射可以为拼接，比如一个Voxel大小为20cm*20cm*40cm，其中Δh＝40cm，而BEV图的高度范围为400cm，从而在同一个XY坐标点，高度方向上也会产生多个Voxel，这种方式会增加后面网络的计算量。因此，可以在pointpillar中，增大Δh的值，减少pillar的数量，从而使得若干个个Voxel拼接到一个pillar上，如在pointpillar实验中，pillar高度为400cm，对应可以拼接10个Voxel，这样可以大大提高获取第二类特征的运算效率。
如图4所示，在一些实施例中，步骤121中，基于多个三维体素对应提取多个点云参考特征，包括如下步骤1211-步骤1213。
步骤1211、从三维体素中筛选出多个目标点，对多个目标点进行点云预处理，得到多个点云单点特征。
可以理解的是，在每个Voxel中筛选一定量的目标点，在目标点自身所携带的原始信息的基础上，提取一个相对位置信息，得到点云单点特征，点云单点特征和目标点一一对应，点云单点特征和目标点的数目相等。
步骤1212、基于多个目标点，得到点云上下文特征。
可以计算Voxel中筛选出来的多个目标点的max-pooling，从而得到点云上下文特征，点云上下文特征可以表示多个目标点之间的关系。
步骤1213、基于点云单点特征和点云上下文特征，得到点云参考特征。
可以将点云单点特征和点云上下文特征进行叠加，形成相互连接的数据整体，从而得到点云参考特征。
如图5所示，在一些实施例中，上述步骤140、将融合特征输入到目标检测模型，输出目标检测信息，可以包括如下步骤141-步骤143中的至少一种。
步骤141、将融合特征输入到目标检测模型的第一检测子模块，输出目标类别信息。
可以理解的是，第一检测子模块用于检测出目标类别信息。以自动驾驶领域为例，激光雷达通常扫描道路环境，据此可以确定目标类别信息分别为轿车、骑行的人、货车、行人、背景以及其他物体。
步骤142、将融合特征输入到目标检测模型的第二检测子模块，输出目标大小信息。
可以理解的是，第二检测子模块用于检测出目标大小信息，目标大小信息可以为障碍物的体积或者障碍物最大的横截面积。
步骤143、将融合特征输入到目标检测模型的第三检测子模块，输出目标位置信息。
可以理解的是，第三检测子模块用于检测出目标位置信息，目标位置信息可以为目标在雷达数据的坐标系中的具体三维坐标，经过和真实空间的坐标系换算，可以得到障碍物在真实空间中的三维坐标。
也就是说，步骤141、步骤142和步骤143可以同时存在，也可以仅有步骤141、步骤142和步骤143中的部分步骤，比如目标检测模型的输出可以为以下几种情况：(1)目标类别信息；(2)目标大小信息；(3)目标位置信息；(4)目标类别信息和目标大小信息；(5)目标类别信息和目标位置信息；(6)目标大小信息和目标位置信息；(7)目标类别信息、目标大小信息和目标位置信息。
本实施例对步骤141、步骤142和步骤143的执行顺序不进行限定，实际运用时既可以顺次执行，也可以同时执行，也可以仅执行部分步骤。
下面对本申请提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
如图6所示，本申请还提供一种目标检测装置，该目标检测装置包括：第一获取模块610、第二获取模块620、确定模块630和输出模块640。
第一获取模块610，用于对雷达数据进行统计特征表达，获取第一类特征。
第二获取模块620，用于基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征。
确定模块630，用于基于第一类特征和第二类特征，确定融合特征。
输出模块640，用于将融合特征输入到目标检测模型，输出目标检测信息。
其中，目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
如图7所示，在一些实施例中，第一获取模块610包括：第一获取子单元611和第二获取子单元612。
第一获取子单元611，用于确定雷达数据的目标统计参数。
第二获取子单元612，用于基于目标统计参数，得到与目标统计参数对应的第一类特征。
在一些实施例中，所述目标统计参数包括：所述雷达数据内空间点的最大高度、所述雷达数据内最高的空间点的强度、所述雷达数据内空间点的平均高度、所述雷达数据内空间点的平均强度和所述雷达数据内空间点的总数目中的至少一种。
如图8所示，在一些实施例中，第二获取模块620包括：
第三获取子单元621，用于将雷达数据分割为多个三维体素，并基于多个三维体素对应提取多个点云参考特征。
第四获取子单元622，用于将多个点云参考特征映射到多个表达通道上，得到第二类特征，三维体素的数量远小于表达通道的数量。
如图9所示，在一些实施例中，所述第三获取子单元621还包括：
点云单点特征获取单元6211，用于从所述三维体素中筛选出多个目标点，对多个所述目标点进行点云预处理，得到多个点云单点特征。
点云上下文特征获取单元6212，用于基于所述多个目标点，得到点云上下文特征。
点云参考特征获取单元6213，用于基于所述点云单点特征和所述点云上下文特征，得到所述点云参考特征。
如图10所示，在一些实施例中，所述输出模块640还包括：第一输出子单元641、第二输出子单元642和第三输出子单元643。
其中，第一输出子单元641，用于将所述融合特征输入到所述目标检测模型的第一检测子模块，输出目标类别信息。
第二输出子单元642，用于将所述融合特征输入到所述目标检测模型的第二检测子模块，输出目标大小信息。
第三输出子单元643，用于将所述融合特征输入到所述目标检测模型的第三检测子模块，输出目标位置信息。
在一些实施例中，确定模块640，还用于将所述第一类特征和所述第二类特征进行叠加，得到所述融合特征。
本申请实施例提供的目标检测装置用于执行上述目标检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)111、通信接口(Communications Interface)112、存储器(memory)113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。处理器111可以调用存储器113中的逻辑指令，以执行目标检测方法，该方法包括：对雷达数据进行统计特征表达，获取第一类特征；基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征；基于第一类特征和第二类特征，确定融合特征；将融合特征输入到目标检测模型，输出目标检测信息；其中，目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
此外，上述的存储器113中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器111可以调用存储器113中的逻辑指令，实现上述目标检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的目标检测方法可相互对应参照。
计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：对雷达数据进行统计特征表达，获取第一类特征；基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征；基于第一类特征和第二类特征，确定融合特征；将融合特征输入到目标检测模型，输出目标检测信息；其中，目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
本申请实施例提供的计算机程序产品被执行时，实现上述目标检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的目标检测方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的目标检测方法，该方法包括：对雷达数据进行统计特征表达，获取第一类特征；基于预设的目标数量阈值确定表达通道的数量，并基于表达通道对雷达数据进行三维体素特征表达，获取第二类特征；基于第一类特征和第二类特征，确定融合特征；将融合特征输入到目标检测模型，输出目标检测信息；其中，目标检测模型为，以融合特征样本数据为样本，以预先确定的与融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述目标检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种目标检测方法，其特征在于，包括：
对雷达数据进行统计特征表达，获取第一类特征；
基于预设的目标数量阈值确定表达通道的数量，并基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征；
基于所述第一类特征和所述第二类特征，确定融合特征；
将所述融合特征输入到目标检测模型，输出目标检测信息；
其中，所述目标检测模型为，以融合特征样本数据为样本，以预先确定的与所述融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到；
所述对雷达数据进行统计特征表达，获取第一类特征，包括：
确定所述雷达数据的目标统计参数；
基于所述目标统计参数，得到与所述目标统计参数对应的所述第一类特征；
所述目标统计参数包括：所述雷达数据内空间点的最大高度、所述雷达数据内最高的空间点的强度、所述雷达数据内空间点的平均高度、所述雷达数据内空间点的平均强度和所述雷达数据内空间点的总数目中的至少一种；
所述基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征，包括：
将所述雷达数据分割为多个三维体素，并基于多个所述三维体素对应提取多个点云参考特征；
将多个所述点云参考特征映射到多个所述表达通道上，得到所述第二类特征，所述三维体素的数量远小于所述表达通道的数量；
所述基于多个所述三维体素对应提取多个点云参考特征，包括：
从所述三维体素中筛选出多个目标点，对多个所述目标点进行点云预处理，得到多个点云单点特征；
基于所述多个目标点，得到点云上下文特征；
基于所述点云单点特征和所述点云上下文特征，得到所述点云参考特征。
2.根据权利要求1所述的目标检测方法，其特征在于，所述将所述融合特征输入到目标检测模型，输出目标检测信息，包括以下步骤中的至少一种：
将所述融合特征输入到所述目标检测模型的第一检测子模块，输出目标类别信息；
将所述融合特征输入到所述目标检测模型的第二检测子模块，输出目标大小信息；
将所述融合特征输入到所述目标检测模型的第三检测子模块，输出目标位置信息。
3.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述第一类特征和所述第二类特征，确定融合特征，包括：
将所述第一类特征和所述第二类特征进行叠加，得到所述融合特征。
4.一种目标检测装置，其特征在于，包括：
第一获取模块，用于对雷达数据进行统计特征表达，获取第一类特征；
第二获取模块，用于基于预设的目标数量阈值确定表达通道的数量，并基于所述表达通道对所述雷达数据进行三维体素特征表达，获取第二类特征；
确定模块，用于基于所述第一类特征和所述第二类特征，确定融合特征；
输出模块，用于将所述融合特征输入到目标检测模型，输出目标检测信息；
其中，所述目标检测模型为，以融合特征样本数据为样本，以预先确定的与所述融合特征样本数据对应的目标检测信息样本数据为样本标签进行训练得到；
所述第一获取模块包括：
第一获取子单元，用于确定所述雷达数据的目标统计参数；
第二获取子单元，用于基于所述目标统计参数，得到与所述目标统计参数对应的所述第一类特征；
所述目标统计参数包括：所述雷达数据内空间点的最大高度、所述雷达数据内最高的空间点的强度、所述雷达数据内空间点的平均高度、所述雷达数据内空间点的平均强度和所述雷达数据内空间点的总数目中的至少一种；
所述第二获取模块包括：
第三获取子单元，用于将所述雷达数据分割为多个三维体素，并基于多个所述三维体素对应提取多个点云参考特征；
第四获取子单元，用于将多个所述点云参考特征映射到多个所述表达通道上，得到所述第二类特征，所述三维体素的数量远小于所述表达通道的数量；
所述第三获取子单元具体用于：
从所述三维体素中筛选出多个目标点，对多个所述目标点进行点云预处理，得到多个点云单点特征；
基于所述多个目标点，得到点云上下文特征；
基于所述点云单点特征和所述点云上下文特征，得到所述点云参考特征。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述目标检测方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述目标检测方法的步骤。
CN202011454846.4A 2020-12-10 2020-12-10 目标检测方法及装置 Active CN112651405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011454846.4A CN112651405B (zh) 2020-12-10 2020-12-10 目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011454846.4A CN112651405B (zh) 2020-12-10 2020-12-10 目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112651405A CN112651405A (zh) 2021-04-13
CN112651405B true CN112651405B (zh) 2024-04-26

Family

ID=75353719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011454846.4A Active CN112651405B (zh) 2020-12-10 2020-12-10 目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112651405B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132007A1 (en) * 2022-01-05 2023-07-13 Nec Corporation Detection apparatus, model generation apparatus, detection method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166133A (zh) * 2018-07-14 2019-01-08 西北大学 基于关键点检测和深度学习的软组织器官图像分割方法
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
WO2020207166A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN111860695A (zh) * 2020-08-03 2020-10-30 上海高德威智能交通系统有限公司 一种数据融合、目标检测方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166133A (zh) * 2018-07-14 2019-01-08 西北大学 基于关键点检测和深度学习的软组织器官图像分割方法
WO2020207166A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111860695A (zh) * 2020-08-03 2020-10-30 上海高德威智能交通系统有限公司 一种数据融合、目标检测方法、装置及设备

Also Published As

Publication number Publication date
CN112651405A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US20220043449A1 (en) Multi-channel sensor simulation for autonomous control systems
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
US11593950B2 (en) System and method for movement detection
CN111223135B (zh) 通过使用雷达和运动数据的单目相机来增强距离估计的系统和方法
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN109946703B (zh) 一种传感器姿态调整方法及装置
CN113673282A (zh) 目标检测方法和装置
CN112184589A (zh) 一种基于语义分割的点云强度补全方法及系统
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN114782785A (zh) 多传感器信息融合方法及装置
CN112651405B (zh) 目标检测方法及装置
CN113777622A (zh) 轨道障碍物辨识的方法及装置
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN115131756A (zh) 一种目标检测方法及装置
CN114384486A (zh) 一种数据处理方法及装置
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
CN112766100A (zh) 一种基于关键点的3d目标检测方法
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant