CN113554643B - 一种目标检测方法、装置、电子设备及存储介质 - Google Patents

一种目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113554643B
CN113554643B CN202110929769.1A CN202110929769A CN113554643B CN 113554643 B CN113554643 B CN 113554643B CN 202110929769 A CN202110929769 A CN 202110929769A CN 113554643 B CN113554643 B CN 113554643B
Authority
CN
China
Prior art keywords
feature
target
image
cloud data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110929769.1A
Other languages
English (en)
Other versions
CN113554643A (zh
Inventor
张泽瀚
梁志栋
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202110929769.1A priority Critical patent/CN113554643B/zh
Publication of CN113554643A publication Critical patent/CN113554643A/zh
Application granted granted Critical
Publication of CN113554643B publication Critical patent/CN113554643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种目标检测方法、装置、电子设备及存储介质，涉及计算机技术领域，包括：对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得所述距离视图的第一特征图；获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；对所述第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图；利用所述鸟瞰特征图检测所述检测范围内的目标。应用本申请实施例提供的目标检测方案，可以提高目标检测的准确度。

Description

一种目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
在车辆行驶中，通常需要检测车辆前方的行人、障碍物、斑马线等目标，从而利用检测结果向司机预警，保障行驶安全。
相关技术中，一般利用相机采集车辆前方的图像，然后对相机采集的图像进行检测，实现对车辆前方目标的检测。
上述方案中，虽然可以实现目标检测，但由于相机采集的图像属于2D数据，所包含的信息量较少，从而导致基于相机采集的图像进行目标检测的准确度较低。
发明内容
本申请实施例的目的在于提供一种目标检测方法、装置、电子设备及存储介质，以提高目标检测的准确度。具体技术方案如下：
第一方面，本申请实施例提供了一种目标检测方法，所述方法包括：
对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得所述距离视图的第一特征图，其中，所述检测范围：依据所述激光雷达与图像采集设备的重合视场范围确定；
获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；
对所述第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；
沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，所述投影方向为：所述激光雷达的朝向所在的竖直平面中、与所述激光雷达的朝向垂直的方向；
利用所述鸟瞰特征图检测所述检测范围内的目标。
第二方面，本申请实施例提供了一种目标检测装置，所述装置包括：
距离视图获得模块，用于对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，其中，所述检测范围：依据所述激光雷达与图像采集设备的重合视场范围确定；
第一特征获得模块，用于获得所述距离视图的第一特征图；
第二特征获得模块，用于获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；
特征融合模块，用于对所述第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；
特征投影模块，用于沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，所述投影方向为：所述激光雷达的朝向所在的竖直平面中、与所述激光雷达的朝向垂直的方向；
目标检测模块，用于利用所述鸟瞰特征图检测所述检测范围内的目标。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的目标检测方法。
本申请实施例有益效果：
本申请实施例提供的方案中，可以对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图，其中，检测范围：依据激光雷达与图像采集设备的重合视场范围确定；获得图像采集设备针对检测范围所采集图像的第二特征图；对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；利用鸟瞰特征图检测检测范围内的目标。由于鸟瞰特征图为基于第一特征图和第二特征图得到的特征图，而第一特征图为基于激光雷达采集的点云数据获得的、第二特征图为基于图像采集设备所采集的图像获得的，因此鸟瞰特征图中包含的信息量较多，这样利用信息量较多的鸟瞰特征图进行目标检测，所得到的目标检测结果的准确度更高。由此可见，应用本申请实施例提供的目标检测方案，可以提高目标检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种目标检测方法的流程示意图；
图2为本申请实施例提供的一种获得不同精度的第三特征图的过程示意图；
图3为本申请实施例提供的一种目标分割模型的结构示意图；
图4为本申请实施例提供的一种检测特征提取网络的结构示意图；
图5为本申请实施例提供的一种目标检测框架的结构示意图；
图6为本申请实施例提供的一种目标检测装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了提高目标检测的准确度，本申请实施例提供了一种目标检测方法、装置、电子设备及存储介质，下面进行详细介绍。
参见图1，图1为本申请实施例提供的一种目标检测方法的流程示意图，该方法可以应用于图像采集设备、雷达、路测设备、计算机、服务器、车载设备等电子设备。如图1所示，目标检测方法可以包括如下步骤S101-S105：
S101，对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图。
其中，上述检测范围依据激光雷达与图像采集设备的重合视场范围确定，可以是激光雷达和图像采集设备的视场范围的重合范围，也可以是上述重合范围中预设的部分范围等，本申请实施例并不对此进行限定。
上述点云数据可以是点云在空间中的位置信息，该位置信息可以利用预设的空间坐标系中的空间坐标进行表示。除此之外，点云数据还可以包括深度值、信号强度值等，每一点云数据的深度值为：该点云数据对应的空间位置相对激光雷达的距离，上述信号强度值为：该激光雷达所发射的雷达信号到达该点云数据对应的空间位置后反射回来的回波信号的强度。
具体的，可以获得激光雷达采集的检测范围内点云的点云数据，然后对上述各个点云数据进行转换，得到距离视图，其中每一点云数据可以转换至距离视图中的一像素点，可以理解为，每一点云数据与距离视图中各个像素点存在一一对应关系，该距离视图可以反映点云数据在空间中的位置。在得到距离视图后，可以再对上述距离视图进行特征提取，从而得到第一特征图。
本申请的一个实施例中，距离视图中每一像素点的像素值可以包含至少三个通道，上述三个通道分别用于描述点云数据对应的空间坐标的三个分量。
除此之外，距离视图中每一像素点的像素值还可以包含强度通道、深度通道等，上述强度通道用于描述点云数据对应的信号强度值，上述深度通道用于描述点云数据对应的深度值。
本申请的一个实施例中，上述激光雷达可以安装于车辆、路口、停车场卡口等位置处。例如，在辅助驾驶场景中，该激光雷达可以安装于车辆的顶部、头部等位置处。
相应地，图像采集设备也可以安装于车辆、路口、停车场卡口等位置处。例如，在辅助驾驶场景中，该图像采集设备可以安装于车辆的顶部、头部等位置处。其中，上述激光雷达和图像采集设备可以分开安装，也可以安装在同一位置处等。
本申请的一个实施例中，在提取第一特征图时，可以使用2D卷积神经网络对距离视图进行特征提取，从而得到第一特征图。
其中，上述网络的整体结构为一个编码-解码结构，具体编码部分可以对距离视图进行逐步特征提取并进行池化，实现特征的降采样，然后解码部分可以再对上述特征进行上采样，最终提取得到第一特征图。
S102，获得图像采集设备针对检测范围所采集图像的第二特征图。
具体的，可以获得图像采集设备所采集的上述检测范围的图像，然后对所获得的图像进行特征提取，从而得到第二特征图。
S103，对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征。
具体的，由于第一特征图为基于距离视图所得到的特征图，而距离视图中的各个像素点与不同空间位置的各个点云数据之间一一对应，因此第一特征图中不同像素位置反映的特征与不同空间位置的点云数据之间也存在关联关系；
第二特征图为基于图像采集设备所采集的图像获得的特征图，由于该图像为图像采集设备对预设的检测区域进行采集得到的图像，所获得的点云数据也是上述检测区域的点云数据，因此该图像与点云数据之间也存在关联关系，从而第二特征图不同像素位置反映的特征与不同空间位置的点云数据之间也存在关联关系；
因此，针对每一点云数据，可以从第一特征图中确定与该点云数据存在关联的像素位置所反映的特征，并从第二特征图中确定该点云数据存在关联的像素位置所反映的特征，将上述所确定的特征作为与该点云数据存在关联的特征，从而对上述所确定的特征进行融合，得到该点云数据对应的融合特征。
本申请的一个实施例中，在进行特征融合时，可以对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行拼接，将拼接后的特征作为融合特征。
除此之外，也可以对上述特征进行数学运算，将运算后的特征作为融合特征，其中，上述数学运算可以包括相乘、相除、相加、相减等。
S104，沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图。
其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向。上述投影方向可以是指向上方的方向，也可以是指向下方的方向，本申请实施例并不对此进行限定。
具体的，针对每一点云数据，可以沿上述投影方向对该点云数据进行投影，确定该点云数据投影至鸟瞰特征图中的图像位置，然后将该点云数据对应的融合特征，作为该点云数据所投影至的鸟瞰特征图中图像位置处像素点的像素值，从而得到投影后特征的鸟瞰特征图。
S105，利用鸟瞰特征图检测检测范围内的目标。
其中，上述目标可以是行人、机动车辆、非机动车辆、交通标志、障碍物等。
具体的，由于鸟瞰特征图为基于第一图像特征和第二图像特征得到的特征图，而第一图像特征为基于检测范围内采集的点云数据得到的特征，第二图像特征为基于检测范围内采集的图像得到的特征，因此利用上述鸟瞰特征图，可以检测上述检测范围内的目标，得到目标的类别、位置等信息。
本申请的一个实施例中，在得到鸟瞰特征图后，可以进一步提取鸟瞰特征图的图像特征，利用所提取的图像特征进行目标检测。
上述实施例提供的方案中，可以对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图，其中，检测范围：依据激光雷达与图像采集设备的重合视场范围确定；获得图像采集设备针对检测范围所采集图像的第二特征图；对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；利用鸟瞰特征图检测检测范围内的目标。由于鸟瞰特征图为基于第一特征图和第二特征图得到的特征图，而第一特征图为基于激光雷达采集的点云数据获得的、第二特征图为基于图像采集设备所采集的图像获得的，因此鸟瞰特征图中包含的信息量较多，这样利用信息量较多的鸟瞰特征图进行目标检测，所得到的目标检测结果的准确度更高。由此可见，应用上述实施例提供的目标检测方案，可以提高目标检测的准确度。
本申请的一个实施例中，在上述步骤S101得到距离视图后，还可以获得各个点云数据与距离视图中各个第一像素点之间的第一对应关系。
其中，上述第一像素点为距离视图中的像素点。
具体的，由于距离视图中的每一像素点为基于每一点云数据转化得到的，也就是每一点云数据与距离视图中每一像素点存在对应关系，因此在获得距离视图后，可以记录上述点云数据与距离视图中各个像素点之间的对应关系，作为第一对应关系。
在上述方案的情况下，对于上述步骤S103在获得各个点云数据对应的融合特征时，可以确定各个点云数据与图像中各个第二像素点之间的第二对应关系；针对每一点云数据，按照第一对应关系，从第一特征图中确定第一目标像素点对应的第一目标特征，并按照第二对应关系，从第二特征图中确定第二目标像素点对应的第二目标特征，对第一目标特征和第二目标特征进行融合，得到该点云数据对应的融合特征。
其中，第一目标像素点为：该点云数据对应的第一像素点，第二目标像素点为：该点云数据对应的第二像素点。上述第二像素点为图像中的像素点。
具体的，上述图像为图像采集设备对预设的检测区域进行采集得到的，所获得的点云数据也是激光雷达所采集的上述检测区域的点云数据，因此该图像与点云数据之间也存在关联关系，从而可以确定各个点云数据与图像中各个第二像素点之间的对应关系，作为第二对应关系。
由于第一特征图为基于距离视图所得到的特征图，因此第一特征图中的像素点与距离视图中的像素点之间也存在对应关系；并且，由于第二特征图为基于图像采集设备所采集的图像获得的特征图，因此第二特征图中的像素点与图像的像素点之间也存在对应关系。
基于此，针对每一点云数据，可以按照第一对应关系确定该点云数据所对应的距离视图中的第一像素点，作为第一目标像素点，然后从第一特征图中确定上述第一目标像素点所对应的特征，作为第一目标特征，并按照第二对应关系确定该点云数据对应的图像中的第二像素点，作为第二目标像素点，然后从第二特征图中确定上述第二目标像素点所对应的特征，作为第二目标特征，最后可以对上述第一目标特征和第二目标特征进行融合，从而得到该点云数据对应的融合特征。
本申请的一个实施例中，在确定第二对应关系时，可以获得各个点云数据投影至图像中各个图像位置的像素点的投影矩阵，作为各个点云数据与图像中各个第二像素点之间的第二对应关系。
具体的，可以将各个点云数据向图像中各个图像位置的像素点进行投影，从而确定每一点云数据与该点云数据投影至的像素点之间的对应关系，得到各个点云数据与图像中各个第二像素点之间的第二对应关系。
本申请的一个实施例中，对于上述步骤S105在进行目标检测时，可以提取鸟瞰特征图不同精度的特征，得到不同精度的第三特征图；对不同精度的第三特征图进行级联，得到级联特征；利用级联特征检测检测范围内的目标。
其中，不同精度的第三特征图之间的尺度相同，上述尺度指：特征图的分辨率大小。
具体的，可以对上述特征鸟瞰图进行多次特征提取，从而得到不同精度的特征图，然后对不同精度的特征图进行尺度处理，以使得不同精度的特征图之间的尺度相同，从而得到不同精度的、尺度相同的第三特征图，然后对上述第三特征图进行级联，从而得到级联特征，最后利用级联特征检测上述检测范围的目标。
本申请的一个实施例中，在获得不同精度的第三特征图时，可以包括如下步骤A-步骤C：
步骤A，对鸟瞰特征图进行第一卷积，得到第一卷积结果，并对第一卷积结果进行第一反卷积，得到第三特征图。
其中，第一卷积所采用的卷积核大小可以是3×3，也可以是4×4、5×5等，所采用的步长可以是1、2、3等，本申请实施例并不对此进行限定。
具体的，可以对鸟瞰特征图进行第一卷积，从而得到一种精度下的第一卷积结果，然后再对第一卷积结果进行反卷积，实现调整第一卷积结果的尺度，最终得到一种精度的第三特征图。
步骤B，对第一卷积结果进行第二卷积，得到第二卷积结果，并对第二卷积结果进行第二反卷积，得到新的第三特征图。
其中，第三特征图与新的第三特征图的尺度相同。
第二卷积所采用的卷积核大小、步长可以与第一卷积相同，也可以不同，本申请实施例并不对此进行限定。
具体的，可以对上述第一卷积结果再次进行第二卷积，得到不同于步骤A中所得的第一卷积结果的精度的第二卷积结果，并对第二卷积结果进行反卷积，实现调整第二卷积结果的尺度，使得反卷积后第二卷积结果的尺度与上述第三特征图的尺度相同，最终与不同于步骤A中所得第三特征图之间精度不同、尺度相同的新的第三特征图。
步骤C，将第一卷积结果更新为第二卷积结果，返回步骤B，直至得到预设数量种不同精度的第三特征图。
其中，上述预设数量可以是3、5、10等，本申请实施例并不对此进行限定。
具体的，可以将第一卷积结果更新为第二卷积结果，然后重复执行上述步骤B，每执行一次步骤B，即可得到新的精度下的第三特征图，直至得到预设数量中不同精度下的第三特征图。
本申请的一个实施例中，可以利用特征级联网络获得上述级联特征，下面进行详细介绍：
特征级联网络包括第一卷积层、第二卷积层、第三卷积层、第一反卷积层、第二反卷积层、第三反卷积层、特征级联层，第一卷积层、第二卷积层、第三卷积层的卷积核大小相同、卷积步长相等；
在获得级联特征，可以：将鸟瞰特征图输入第一卷积层，得到第一卷积结果，利用第一反卷积层对第一卷积结果进行反卷积，得到第三特征图的第一子图；
将第一卷积结果输入第二卷积层，得到第二卷积结果，利用第二反卷积层对第二卷积结果进行反卷积，得到第三特征图的第二子图，其中，第二子图与第一子图的尺度相同；
将第二卷积结果输入第三卷积层，得到第三卷积结果，利用第三反卷积层对第三卷积结果进行反卷积，得到第三特征图的第三子图，其中，第三子图与第二子图的尺度相同；
将第一子图、第二子图、第三子图输入特征级联层，利用特征级联层对第一子图、第二子图、第三子图进行级联，得到级联特征。
参见图2，图2为本申请实施例提供的一种获得不同精度的第三特征图的过程示意图。如图2所示，方块表示鸟瞰特征图，鸟瞰特征图初始的尺度为H×W×C，其中H表示鸟瞰特征图的分辨率的纵向分量，W表示鸟瞰特征图的分辨率的横向分量，C表示鸟瞰特征图的通道数量，上述通道数量与鸟瞰特征图中每一像素点表征的特征相关。Conv表示卷积，Deconv表示反卷积，Conat表示特征级联。假设第一卷积、第二卷积所采用的卷积核大小、步长相等，卷积核大小均为3×3，卷积步长均为2，在得到H×W×C的鸟瞰特征图之后，可以先对该鸟瞰特征图进行卷积，得到H/2×W/2×C的第一卷积结果，然后对第一卷积结果进行反卷积，实现尺度恢复，得到H/2×W/2×2C的、一种精度下的第三特征图；
然后对上述H/2×W/2×C的第一卷积结果再次进行卷积，得到H/4×W/4×2C的第二卷积结果，然后对第二卷积结果进行反卷积，实现尺度恢复，得到H/2×W/2×2C的、另一种精度下的第三特征图；
再对上述H/4×W/4×2C的第二卷积结果再次进行卷积，得到H/8×W/8×4C的第三卷积结果，然后对第三卷积结果进行反卷积，实现尺度恢复，得到H/2×W/2×2C的、又一种精度下的第三特征图；
最后对上述三种精度下的第三特征图进行级联，从而得到H/2×W/2×6C的级联特征。
应用上述方案所得到的级联特征中，包含不同精度的特征图，这样在后续利用级联特征进行目标检测时，能够用于对不同尺度的目标进行检测，从而提高目标检测的准确度。
本申请的一个实施例中，对于上述步骤S102在获得第二特征图时，可以获得图像采集设备针对检测范围所采集的图像；提取图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含分割特征的第二特征图的一个子图，并提取图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含检测特征的第二特征图的另一子图。
具体的，可以首先获得图像采集设备针对检测范围采集的图像，然后提取该图像的分割特征，并提取该图像的检测特征，从而得到第二特征图，也就是，第二特征图包含两个子图，分别为：包含上述分割特征的子图、包含上述检测特征的子图。
本申请的一个实施例中，在提取分割特征时，可以利用分割特征提取网络提取图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含分割特征的第二特征图的一个子图。
其中，分割特征提取网络的网络参数通过以下方式获得：
获得第一样本图像，并对第一样本图像中的目标进行目标分割，得到第一样本图像的第一标注信息；利用第一样本图像和第一标注信息对预设的目标分割模型进行训练，调整目标分割模型中分割特征提取层和目标分割层的参数；将训练后目标分割模型中分割特征提取层的参数迁移至分割特征提取网络。
其中，上述第一样本图像可以是图像采集设备所采集的图像，也可以是从公开的图像数据平台获取的图像等，本申请实施例并不对此进行限定。
上述目标分割模型包括分割特征提取层和目标分割层。
具体的，可以获得第一样本图像，并对第一样本图像进行目标分割，确定第一样本图像中各个像素点所属的目标对象及类别，从而得到第一样本图像的标注信息，然后将上述第一样本图像输入待训练的目标分割模型，该模型中的分割特征提取层可以提取第一样本图像的分割特征，目标分割层可以基于所提取的分割特征预测第一样本图像中各个像素点所属的目标对象及类别，得到输出结果，然后可以计算该输出结果相对标注信息的损失，利用该损失调整目标分割模型中分割特征提取层和目标分割层的参数，实现模型训练。在模型训练完成后，可以获得训练后模型中分割特征提取层的参数，将该参数迁移至上述分割特征提取网络。这样所得到的分割特征提取网络能够提取图像内各个像素点的语义特征中用于进行目标分割的分割特征。
本申请的一个实施例中，目标分割层包括类别分支和掩膜分支，掩膜分支包括掩膜核子分支和掩膜特征子分支；
利用第一样本图像和第一标注信息对预设的目标分割模型进行训练，调整目标分割模型中分割特征提取层和目标分割层的参数，包括：
将第一样本图像输入分割特征提取层，得到分割特征提取层输出的第一样本图像的样本分割特征；
将样本分割特征输入类别分支，利用类别分支预测第一样本图像中各个像素点所属目标对象的类别，得到类别预测结果；
将样本分割特征输入掩膜分支中的掩膜核子分支，利用掩膜核子分支对样本分割特征进行卷积，得到分割特征卷积结果，将分割特征卷积结果输入掩膜分支中的掩膜特征子分支，利用掩膜特征子分支预测第一样本图像中各个像素点所属的目标对象，得到掩膜预测结果；
结合类别预测结果和掩膜预测结果，得到样本分割结果，计算样本分割结果相对第一标注信息的损失，利用损失调整目标分割模型中分割特征提取层和目标分割层的参数。
具体的，目标分割模型中的目标分割层可以分为类别分支和掩膜分支，类别分支用于根据所提取的分割特征预测图像中各个像素点所属目标对象的类别；掩膜分支包括掩膜核子分支和掩膜特征子分支，掩膜核子分支可以对分割特征进行进一步的卷积，将卷积结果输入掩膜特征子分支，掩膜特征子分支可以根据卷积结果预测图像中各个像素点所属的目标对象；
最后结合上述上述类别分支输出的类别预测结果和上述掩膜特征子分支输出的掩膜预测结果，可以得到图像中各个像素点所属的目标对象以及不同目标对象的类别，从而得到图像的实例分割结果，可以计算模型输出的分割结果相对标注信息的损失，然后利用该损失对模型中的分割特征提取层和目标分割层的参数进行调整，从而实现模型的训练。
参见图3，图3为本申请实施例提供的一种目标分割模型的结构示意图，该模型包括分割特征提取层FCN和目标分割层，上述目标分割层包括类别分支(Category Branch)和掩膜分支(Mask Branch)。上述目标分割模型可以将输入图像(Input image)在概念上分为SxS的网格单元，上述S的取值可以为5。从多个网格单元中选择用于描述图像中目标的目标单元；利用分割特征提取层FCN提取目标单元的语义特征中用于进行目标分割的分割特征，将所提取的分割特征分别输入类别分支和掩膜分支，该类别分支可以预测各个像素点的语义类别(Semantic category)，输出SxSxC形张量，其中C是所支持预测的目标的类别的数量；
上述掩模分支可以对图像中目标实例进行细分，掩模分支可以输出实例掩膜(Instance mask)，实例掩膜的规格为HxWxS2，最终结合上述语义类别和实例掩膜得到目标分割结果(Instance segmentation)，该结果表明输入图像中存在两个斑马(Zebra)。
这样可以借助标注信息对目标分割模型进行训练，获得训练后目标分割模型中的分割特征提取层的参数，并将上述参数迁移至上述分割特征提取网络，从而保证所得到的分割特征提取网络能够提取图像内各个像素点的语义特征中用于进行目标分割的分割特征。
本申请的一个实施例中，在提取检测特征时，可以利用检测特征提取网络提取图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含检测特征的第二特征图的另一子图。
其中，检测特征提取网络的网络参数通过以下方式获得：
获得第二样本图像，并对第二样本图像中的目标进行目标检测，得到第二样本图像的第二标注信息；利用第二样本图像和第二标注信息对预设的目标检测模型进行训练，调整目标检测模型中检测特征提取层和目标检测层的参数；将训练后目标检测模型中检测特征提取层的参数迁移至检测特征提取网络。
其中，上述第二样本图像可以是图像采集设备所采集的图像，也可以是从公开的图像数据平台获取的图像等，本申请实施例并不对此进行限定。
上述目标检测模型中可以包括：检测特征提取层和目标检测层。
具体的，可以获得第二样本图像，并对第二样本图像进行目标检测，确定第二样本图像中所包含目标的类别和位置，从而得到第二样本图像的标注信息，然后将上述第二样本图像输入待训练的目标检测模型，该模型中的检测特征提取层可以提取第二样本图像的检测特征，目标检测层可以基于所提取的检测特征预测第二样本图像中所包含目标的类别和位置，得到输出结果，然后可以计算该输出结果相对标注信息的损失，利用该损失调整目标检测模型中检测特征提取层和目标检测层的参数，实现模型训练。在模型训练完成后，可以获得训练后模型中检测特征提取层的参数，将该参数迁移至上述检测特征提取网络。这样所得到的检测特征提取网络能够提取图像的图像内容的语义特征中用于进行目标检测的检测特征。
参见图4，图4为本申请实施例提供的一种检测特征提取网络的结构示意图，该检测特征提取网络可以采用去除全连接层后的Darknet-53结构组成，如图4所示。上述检测特征提取网络由若干个DBL网络模块和RESN网络模块串联而成，例如，上述RESN网络模块包含RES1、RES2、RES8、RES4等模块，RESN网络模块中包含残差结构，单一的RES单元层res unit与DBL网络模块通过相加算法add连接，RESN网络模块与零填充层zero padding、DBL网络模块和多个res unit串联。DBL网络模块包括卷积网络CONV、批标准化BN层、激活Leaky relu层，利用上述检测特征提取网络，可以对所输入的图像实现32倍下采样，实现提取图像的检测特征。
这样可以借助标注信息对目标检测模型进行训练，获得训练后目标检测模型中的检测特征提取层的参数，并将上述参数迁移至上述检测特征提取网络，从而保证所得到的检测特征提取网络能够提取图像的图像内容的语义特征中用于进行目标检测的检测特征。
本申请的一个实施例中，对于上述步骤S101在获得距离视图时，可以：
按照以下公式对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图：
Figure BDA0003210908730000151
其中，x、y、z表示点云数据的空间位置的坐标分量，x表示各个点云数据的横坐标，横坐标为：与激光雷达的朝向平行的方向；y表示各个点云数据的纵坐标，纵坐标为：与激光雷达的朝向所在的竖直平面垂直的方向；z表示各个点云数据的竖坐标，竖坐标与上述横坐标、纵坐标垂直，为激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；
u、v表示距离视图中像素点所在图像位置的坐标分量，w为：距离视图的分辨率的横向分量，h为：距离视图的分辨率的纵向分量，r表示各个点云数据的深度值，r的取值可以表示为(x2+y2+z2)0.5；
fdown表示：激光雷达的垂直视场角的下限值，f表示：激光雷达的垂直视场角的垂直范围。
具体的，利用上述公式，可以将空间中的每一点云数据(x，y，z)转换至距离视图中的各个图像位置(u，v)的像素点中。
本申请的一个实施例中，对于上述步骤S104在获得鸟瞰特征图时，包括：
针对鸟瞰特征图中的每一图像位置，通过以下方式确定该图像位置的像素点的像素值：
当存在多个点云数据沿投影方向投影至该图像位置的情况下，确定多个点云数据对应的融合特征的统计值，作为该图像位置的像素点的像素值；
当仅存在1个点云数据沿投影方向投影至该图像位置的情况下，将该点云数据对应的融合特征作为该图像位置的像素点的像素值。
其中，上述统计值可以是算数平均值、加权平均值、中位数、众数等，本申请实施例并不对此进行限定。
具体的，当存在多个点云数据投影落入鸟瞰特征图的同一图像位置时，可以计算上述多个点云数据对应的融合特征的统计值，从而得到该图像位置的像素点的像素值，否则，可以直接将点云数据对应的融合特征作为该图像位置的像素点的像素值。
上述方案可以利用目标检测框架实现目标检测，下面进行详细介绍。
上述目标检测框架中可以包含视图特征提取网络、分割特征提取网络、检测特征提取网络、特征融合网络、特征级联网络和目标检测网络。
具体的，可以获得激光雷达采集的点云数据，然后对上述点云数据进行转化，得到距离视图，将距离视图输入上述视图特征提取网络，提取距离视图的图像特征，得到第一特征图；
将图像采集设备所采集的图像输入分割特征提取网络，利用分割特征提取网络提取图像的图像特征，得到分割特征图；
并将上述图像输入检测特征提取网络，利用检测特征提取网络提取图像的检测特征，得到检测特征图，上述分割特征图和检测特征图可以理解为第二特征图；
将上述第一特征图、第二特征图输入特征融合网络，针对每一点云数据，利用特征融合网络可以从第一特征图中确定该点云数据对应的第一目标特征，并从第二特征图中确定各个该点云数据对应的第二目标特征，对第一目标特征和第二目标特征进行融合，得到该点云数据对应的融合特征；并且上述特征融合网络还可以沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图；
将鸟瞰特征图输入特征级联网络，利用特征级联网络提取鸟瞰特征图3种不同精度的特征，得到不同精度的3种第三特征图；对不同精度的3种第三特征图进行级联，得到级联特征；
将级联特征输入目标检测网络，得到目标检测网络输出的目标检测结果。
参见图5，图5为本申请实施例提供的一种目标检测框架的结构示意图，如图5所示：
视图特征提取网络可以理解为一个编码-解码结构。编码部分，各个网络模块可以对距离视图进行逐步特征提取并进行池化，实现特征的降采样，然后解码部分，各个网络模块可以再对上述特征进行上采样，最终提取得到第一特征图提取特征，得到第一特征图，其中，上述网络模块可以是2D卷积残差网络模块；
分割特征提取网络可以提取图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含分割特征的第二特征图的一个子图，其中，上述分割特征提取网络的网络参数通过训练得到的目标分割模型的参数迁移得到，该参数迁移即为权值迁移；
检测特征提取网络可以提取图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含检测特征的第二特征图的另一子图，其中，上述检测特征提取网络的网络参数通过通过训练得到的目标检测模型的参数迁移得到，该参数迁移即为权值迁移；
特征融合网络可以对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行拼接，实现特征融合，得到各个点云数据对应的融合特征；并且上述特征融合网络还可以沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图；
特征级联网络可以对上述鸟瞰特征图分别进行3次卷积和反卷积，提取鸟瞰特征图3种不同精度的特征，得到不同精度的3种第三特征图；对不同精度的3种第三特征图进行级联，得到级联特征C；
将级联特征C输入目标检测网络，目标检测网络可以基于级联特征进行目标检测，得到目标的类别Class、所在的区域Box Reg以及检测结果的置信度Box Qual，作为目标检测网络输出的目标检测结果。
上述实施例提供的方案中，可以对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图，其中，检测范围：依据激光雷达与图像采集设备的重合视场范围确定；获得图像采集设备针对检测范围所采集图像的第二特征图；对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；利用鸟瞰特征图检测检测范围内的目标。由于鸟瞰特征图为基于第一特征图和第二特征图得到的特征图，而第一特征图为基于激光雷达采集的点云数据获得的、第二特征图为基于图像采集设备所采集的图像获得的，因此鸟瞰特征图中包含的信息量较多，这样利用信息量较多的鸟瞰特征图进行目标检测，所得到的目标检测结果的准确度更高。由此可见，应用上述实施例提供的目标检测方案，可以提高目标检测的准确度。
参见图6，图6为本申请实施例提供的一种目标检测装置的结构示意图，所述装置包括：
距离视图获得模块601，用于对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，其中，所述检测范围：依据所述激光雷达与图像采集设备的重合视场范围确定；
第一特征获得模块602，用于获得所述距离视图的第一特征图；
第二特征获得模块603，用于获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；
特征融合模块604，用于对所述第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；
特征投影模块605，用于沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，所述投影方向为：所述激光雷达的朝向所在的竖直平面中、与所述激光雷达的朝向垂直的方向；
目标检测模块606，用于利用所述鸟瞰特征图检测所述检测范围内的目标。
本申请的一个实施例中，所述装置还包括：对应关系获得模块，用于
在对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图之后，获得各个点云数据与所述距离视图中各个第一像素点之间的第一对应关系；
所述特征融合模块604，包括：
第二对应关系确定单元，用于确定各个点云数据与所述图像中各个第二像素点之间的第二对应关系；
特征融合单元，用于针对每一点云数据，按照所述第一对应关系，从所述第一特征图中确定第一目标像素点对应的第一目标特征，并按照所述第二对应关系，从所述第二特征图中确定第二目标像素点对应的第二目标特征，对所述第一目标特征和第二目标特征进行融合，得到该点云数据对应的融合特征，其中，所述第一目标像素点为：该点云数据对应的第一像素点，所述第二目标像素点为：该点云数据对应的第二像素点。
本申请的一个实施例中，所述第二对应关系确定单元，具体用于：
获得各个点云数据投影至所述图像中各个图像位置的像素点的投影矩阵，作为各个点云数据与所述图像中各个第二像素点之间的第二对应关系。
本申请的一个实施例中，所述目标检测模块606，包括：
特征提取单元，用于提取所述鸟瞰特征图不同精度的特征，得到不同精度的第三特征图；
特征级联单元，用于对所述不同精度的第三特征图进行级联，得到级联特征；
目标检测单元，用于利用所述级联特征检测所述检测范围内的目标。
本申请的一个实施例中，所述特征提取单元，具体用于：
对所述鸟瞰特征图进行第一卷积，得到第一卷积结果，并对所述第一卷积结果进行第一反卷积，得到第三特征图；
对所述第一卷积结果进行第二卷积，得到第二卷积结果，并对所述第二卷积结果进行第二反卷积，得到新的第三特征图，其中，所述第三特征图与所述新的第三特征图的尺度相同；
将所述第一卷积结果更新为所述第二卷积结果，返回所述对所述第一卷积结果进行第二卷积、得到第二卷积结果的步骤，直至得到预设数量种不同精度的第三特征图。
本申请的一个实施例中，所述第二特征获得模块603，包括：
图像获得单元，用于获得所述图像采集设备针对所述检测范围所采集的图像；
第一子图获得单元，用于提取所述图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含所述分割特征的所述第二特征图的一个子图；
第二子图获得单元，用于提取所述图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含所述检测特征的所述第二特征图的另一子图。
本申请的一个实施例中，所述第一子图获得单元，包括：
分割特征提取子单元，用于利用分割特征提取网络提取所述图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含所述分割特征的所述第二特征图的一个子图，其中，所述分割特征提取网络的网络参数通过以下方式获得：
标注信息获得子单元，用于获得第一样本图像，并对所述第一样本图像中的目标进行目标分割，得到所述第一样本图像的第一标注信息；
模型训练子单元，用于利用所述第一样本图像和第一标注信息对预设的目标分割模型进行训练，调整所述目标分割模型中分割特征提取层和目标分割层的参数；
参数迁移子单元，用于将训练后目标分割模型中分割特征提取层的参数迁移至所述分割特征提取网络。
本申请的一个实施例中，所述目标分割层包括类别分支和掩膜分支，所述掩膜分支包括掩膜核子分支和掩膜特征子分支；
所述模型训练子单元，用于：
将所述第一样本图像输入所述分割特征提取层，得到所述分割特征提取层输出的所述第一样本图像的样本分割特征；
将所述样本分割特征输入所述类别分支，利用所述类别分支预测所述第一样本图像中各个像素点所属目标对象的类别，得到类别预测结果；
将所述样本分割特征输入所述掩膜分支中的掩膜核子分支，利用所述掩膜核子分支对所述样本分割特征进行卷积，得到分割特征卷积结果，将所述分割特征卷积结果输入所述掩膜分支中的掩膜特征子分支，利用所述掩膜特征子分支预测所述第一样本图像中各个像素点所属的目标对象，得到掩膜预测结果；
结合所述类别预测结果和掩膜预测结果，得到样本分割结果，计算所述样本分割结果相对所述第一标注信息的损失，利用所述损失调整所述目标分割模型中分割特征提取层和目标分割层的参数。
本申请的一个实施例中，所述第二子图获得单元，具体用于：
利用检测特征提取网络提取所述图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含所述检测特征的所述第二特征图的另一子图，其中，所述检测特征提取网络的网络参数通过以下方式获得：
获得第二样本图像，并对所述第二样本图像中的目标进行目标检测，得到所述第二样本图像的第二标注信息；
利用所述第二样本图像和第二标注信息对预设的目标检测模型进行训练，调整所述目标检测模型中检测特征提取层和目标检测层的参数；
将训练后目标检测模型中检测特征提取层的参数迁移至所述检测特征提取网络。
本申请的一个实施例中，所述距离视图获得模块601，具体用于：
按照以下公式对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图：
Figure BDA0003210908730000211
其中，x、y、z表示点云数据的空间位置的坐标分量，u、v表示距离视图中像素点所在图像位置的坐标分量，所述w为：距离视图的分辨率的横向分量，所述h为：距离视图的分辨率的纵向分量，所述r表示各个点云数据的深度值，所述fdown表示：所述激光雷达的垂直视场角的下限值，所述f表示：所述激光雷达的垂直视场角的垂直范围。
本申请的一个实施例中，所述特征投影模块605，具体用于：
针对鸟瞰特征图中的每一图像位置，通过以下方式确定该图像位置的像素点的像素值：
当存在多个点云数据沿所述投影方向投影至该图像位置的情况下，确定所述多个点云数据对应的融合特征的统计值，作为该图像位置的像素点的像素值；
当仅存在1个点云数据沿所述投影方向投影至该图像位置的情况下，将该点云数据对应的融合特征作为该图像位置的像素点的像素值。
上述实施例提供的方案中，可以对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图，其中，检测范围：依据激光雷达与图像采集设备的重合视场范围确定；获得图像采集设备针对检测范围所采集图像的第二特征图；对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；利用鸟瞰特征图检测检测范围内的目标。由于鸟瞰特征图为基于第一特征图和第二特征图得到的特征图，而第一特征图为基于激光雷达采集的点云数据获得的、第二特征图为基于图像采集设备所采集的图像获得的，因此鸟瞰特征图中包含的信息量较多，这样利用信息量较多的鸟瞰特征图进行目标检测，所得到的目标检测结果的准确度更高。由此可见，应用上述实施例提供的目标检测方案，可以提高目标检测的准确度。
本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现目标检测的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一目标检测方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一目标检测方法。
上述实施例提供的方案中，可以对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得距离视图的第一特征图，其中，检测范围：依据激光雷达与图像采集设备的重合视场范围确定；获得图像采集设备针对检测范围所采集图像的第二特征图；对第一特征图、第二特征图中与同一空间位置的点云数据关联的特征进行融合，得到各个点云数据对应的融合特征；沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，投影方向为：激光雷达的朝向所在的竖直平面中、与激光雷达的朝向垂直的方向；利用鸟瞰特征图检测检测范围内的目标。由于鸟瞰特征图为基于第一特征图和第二特征图得到的特征图，而第一特征图为基于激光雷达采集的点云数据获得的、第二特征图为基于图像采集设备所采集的图像获得的，因此鸟瞰特征图中包含的信息量较多，这样利用信息量较多的鸟瞰特征图进行目标检测，所得到的目标检测结果的准确度更高。由此可见，应用上述实施例提供的目标检测方案，可以提高目标检测的准确度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种目标检测方法，其特征在于，所述方法包括：
对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，并获得所述距离视图的第一特征图，其中，所述检测范围：依据所述激光雷达与图像采集设备的重合视场范围确定；
获得各个点云数据与所述距离视图中各个第一像素点之间的第一对应关系；
获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；
确定各个点云数据与所述图像中各个第二像素点之间的第二对应关系；
针对每一点云数据，按照所述第一对应关系，从所述第一特征图中确定第一目标像素点对应的第一目标特征，并按照所述第二对应关系，从所述第二特征图中确定第二目标像素点对应的第二目标特征，对所述第一目标特征和第二目标特征进行融合，得到该点云数据对应的融合特征，其中，所述第一目标像素点为：该点云数据对应的第一像素点，所述第二目标像素点为：该点云数据对应的第二像素点；
沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，所述投影方向为：所述激光雷达的朝向所在的竖直平面中、与所述激光雷达的朝向垂直的方向；
利用所述鸟瞰特征图检测所述检测范围内的目标。
2.根据权利要求1所述的方法，其特征在于，所述确定各个点云数据与所述图像中各个第二像素点之间的第二对应关系，包括：
获得各个点云数据投影至所述图像中各个图像位置的像素点的投影矩阵，作为各个点云数据与所述图像中各个第二像素点之间的第二对应关系。
3.根据权利要求1所述的方法，其特征在于，所述利用所述鸟瞰特征图检测所述检测范围内的目标，包括：
提取所述鸟瞰特征图不同精度的特征，得到不同精度的第三特征图；
对所述不同精度的第三特征图进行级联，得到级联特征；
利用所述级联特征检测所述检测范围内的目标。
4.根据权利要求3所述的方法，其特征在于，所述提取所述鸟瞰特征图不同精度的特征，得到不同精度的第三特征图，包括：
对所述鸟瞰特征图进行第一卷积，得到第一卷积结果，并对所述第一卷积结果进行第一反卷积，得到第三特征图；
对所述第一卷积结果进行第二卷积，得到第二卷积结果，并对所述第二卷积结果进行第二反卷积，得到新的第三特征图，其中，所述第三特征图与所述新的第三特征图的尺度相同；
将所述第一卷积结果更新为所述第二卷积结果，返回所述对所述第一卷积结果进行第二卷积、得到第二卷积结果的步骤，直至得到预设数量种不同精度的第三特征图。
5.根据权利要求1所述的方法，其特征在于，所述获得所述图像采集设备针对所述检测范围所采集图像的第二特征图，包括：
获得所述图像采集设备针对所述检测范围所采集的图像；
提取所述图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含所述分割特征的所述第二特征图的一个子图，并提取所述图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含所述检测特征的所述第二特征图的另一子图。
6.根据权利要求5所述的方法，其特征在于，所述提取所述图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含所述分割特征的所述第二特征图的一个子图，包括：
利用分割特征提取网络提取所述图像内各个像素点的语义特征中用于进行目标分割的分割特征，得到包含所述分割特征的所述第二特征图的一个子图，其中，所述分割特征提取网络的网络参数通过以下方式获得：
获得第一样本图像，并对所述第一样本图像中的目标进行目标分割，得到所述第一样本图像的第一标注信息；
利用所述第一样本图像和第一标注信息对预设的目标分割模型进行训练，调整所述目标分割模型中分割特征提取层和目标分割层的参数；
将训练后目标分割模型中分割特征提取层的参数迁移至所述分割特征提取网络。
7.根据权利要求6所述的方法，其特征在于，所述目标分割层包括类别分支和掩膜分支，所述掩膜分支包括掩膜核子分支和掩膜特征子分支；
所述利用所述第一样本图像和第一标注信息对预设的目标分割模型进行训练，调整所述目标分割模型中分割特征提取层和目标分割层的参数，包括：
将所述第一样本图像输入所述分割特征提取层，得到所述分割特征提取层输出的所述第一样本图像的样本分割特征；
将所述样本分割特征输入所述类别分支，利用所述类别分支预测所述第一样本图像中各个像素点所属目标对象的类别，得到类别预测结果；
将所述样本分割特征输入所述掩膜分支中的掩膜核子分支，利用所述掩膜核子分支对所述样本分割特征进行卷积，得到分割特征卷积结果，将所述分割特征卷积结果输入所述掩膜分支中的掩膜特征子分支，利用所述掩膜特征子分支预测所述第一样本图像中各个像素点所属的目标对象，得到掩膜预测结果；
结合所述类别预测结果和掩膜预测结果，得到样本分割结果，计算所述样本分割结果相对所述第一标注信息的损失，利用所述损失调整所述目标分割模型中分割特征提取层和目标分割层的参数。
8.根据权利要求5所述的方法，其特征在于，所述提取所述图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含所述检测特征的所述第二特征图的另一子图，包括：
利用检测特征提取网络提取所述图像的图像内容的语义特征中用于进行目标检测的检测特征，得到包含所述检测特征的所述第二特征图的另一子图，其中，所述检测特征提取网络的网络参数通过以下方式获得：
获得第二样本图像，并对所述第二样本图像中的目标进行目标检测，得到所述第二样本图像的第二标注信息；
利用所述第二样本图像和第二标注信息对预设的目标检测模型进行训练，调整所述目标检测模型中检测特征提取层和目标检测层的参数；
将训练后目标检测模型中检测特征提取层的参数迁移至所述检测特征提取网络。
9.根据权利要求1所述的方法，其特征在于，所述对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，包括：
按照以下公式对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图：
Figure FDA0003863576660000041
其中，x、y、z表示点云数据的空间位置的坐标分量，u、v表示距离视图中像素点所在图像位置的坐标分量，所述w为：距离视图的分辨率的横向分量，所述h为：距离视图的分辨率的纵向分量，所述r表示各个点云数据的深度值，所述fdown表示：所述激光雷达的垂直视场角的下限值，所述f表示：所述激光雷达的垂直视场角的垂直范围。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，包括：
针对鸟瞰特征图中的每一图像位置，通过以下方式确定该图像位置的像素点的像素值：
当存在多个点云数据沿所述投影方向投影至该图像位置的情况下，确定所述多个点云数据对应的融合特征的统计值，作为该图像位置的像素点的像素值；
当仅存在1个点云数据沿所述投影方向投影至该图像位置的情况下，将该点云数据对应的融合特征作为该图像位置的像素点的像素值。
11.一种目标检测装置，其特征在于，所述装置包括：
距离视图获得模块，用于对激光雷达针对检测范围采集的点云数据进行数据转换，得到反映点云数据在空间中位置的距离视图，其中，所述检测范围：依据所述激光雷达与图像采集设备的重合视场范围确定；
对应关系获得模块，用于获得各个点云数据与所述距离视图中各个第一像素点之间的第一对应关系；
第一特征获得模块，用于获得所述距离视图的第一特征图；
第二特征获得模块，用于获得所述图像采集设备针对所述检测范围所采集图像的第二特征图；
特征融合模块，用于确定各个点云数据与所述图像中各个第二像素点之间的第二对应关系；针对每一点云数据，按照所述第一对应关系，从所述第一特征图中确定第一目标像素点对应的第一目标特征，并按照所述第二对应关系，从所述第二特征图中确定第二目标像素点对应的第二目标特征，对所述第一目标特征和第二目标特征进行融合，得到该点云数据对应的融合特征，其中，所述第一目标像素点为：该点云数据对应的第一像素点，所述第二目标像素点为：该点云数据对应的第二像素点；
特征投影模块，用于沿投影方向对各个点云数据对应的融合特征进行投影，得到包含投影后特征的鸟瞰特征图，其中，所述投影方向为：所述激光雷达的朝向所在的竖直平面中、与所述激光雷达的朝向垂直的方向；
目标检测模块，用于利用所述鸟瞰特征图检测所述检测范围内的目标。
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
CN202110929769.1A 2021-08-13 2021-08-13 一种目标检测方法、装置、电子设备及存储介质 Active CN113554643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110929769.1A CN113554643B (zh) 2021-08-13 2021-08-13 一种目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110929769.1A CN113554643B (zh) 2021-08-13 2021-08-13 一种目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113554643A CN113554643A (zh) 2021-10-26
CN113554643B true CN113554643B (zh) 2022-12-06

Family

ID=78105659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110929769.1A Active CN113554643B (zh) 2021-08-13 2021-08-13 一种目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113554643B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293237A (zh) * 2022-07-05 2022-11-04 天津理工大学 一种基于深度学习的车辆轨迹预测方法
CN114898357B (zh) * 2022-07-12 2022-10-18 深圳思谋信息科技有限公司 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN115116049B (zh) * 2022-08-29 2022-11-18 苏州魔视智能科技有限公司 目标检测的方法、装置、电子设备及存储介质
CN115797455B (zh) * 2023-01-18 2023-05-02 北京百度网讯科技有限公司 目标检测方法、装置、电子设备和存储介质
CN116129279B (zh) * 2023-04-14 2023-06-27 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及介质
CN117542042A (zh) * 2023-11-20 2024-02-09 北京百度网讯科技有限公司 三维对象检测方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347933A (zh) * 2020-11-06 2021-02-09 浙江大华技术股份有限公司 一种基于视频流的交通场景理解方法及装置
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765894B (zh) * 2019-09-30 2022-07-08 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111583337B (zh) * 2020-04-25 2023-03-21 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111783784A (zh) * 2020-06-30 2020-10-16 创新奇智(合肥)科技有限公司 建筑的空洞检测方法及装置、电子设备、存储介质
CN112580561B (zh) * 2020-12-25 2023-11-03 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347933A (zh) * 2020-11-06 2021-02-09 浙江大华技术股份有限公司 一种基于视频流的交通场景理解方法及装置
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法

Also Published As

Publication number Publication date
CN113554643A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN113554643B (zh) 一种目标检测方法、装置、电子设备及存储介质
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
US20190204094A1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN113033029A (zh) 自动驾驶仿真方法、装置、电子设备及存储介质
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN113421305B (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN111222395A (zh) 目标检测方法、装置与电子设备
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
KR20210043516A (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112753038B (zh) 识别车辆变道趋势的方法和装置
CN113012215B (zh) 一种空间定位的方法、系统及设备
WO2022217630A1 (zh) 一种车速确定方法、装置、设备和介质
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN113052159A (zh) 一种图像识别方法、装置、设备及计算机存储介质
US11699234B2 (en) Semantic segmentation ground truth correction with spatial transformer networks
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
CN114005110B (zh) 3d检测模型训练方法与装置、3d检测方法与装置
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN112212873B (zh) 一种高精地图的构建方法及装置
CN116824152A (zh) 基于点云的目标检测方法及装置、可读存储介质、终端
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant