CN113421305A - 目标检测方法、装置、系统、电子设备及存储介质 - Google Patents

目标检测方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113421305A
CN113421305A CN202110726245.2A CN202110726245A CN113421305A CN 113421305 A CN113421305 A CN 113421305A CN 202110726245 A CN202110726245 A CN 202110726245A CN 113421305 A CN113421305 A CN 113421305A
Authority
CN
China
Prior art keywords
point cloud
cloud data
image
visible light
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110726245.2A
Other languages
English (en)
Other versions
CN113421305B (zh
Inventor
张经纬
王宇龙
张明
赵显�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202110726245.2A priority Critical patent/CN113421305B/zh
Publication of CN113421305A publication Critical patent/CN113421305A/zh
Priority to PCT/CN2022/102025 priority patent/WO2023274254A1/zh
Application granted granted Critical
Publication of CN113421305B publication Critical patent/CN113421305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请实施例提供了目标检测方法、装置、系统、电子设备及存储介质，获取由相机采集的可见光图像；针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；获取由雷达采集的雷达点云数据；分别确定各帧雷达点云数据对应的伪可见光图像；针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；利用目标检测网络对融合特征进行分析，得到目标属性信息，其中，目标属性信息包括目标的位置信息，提高了目标检测的准确度。

Description

目标检测方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及目标检测方法、装置、系统、电子设备及存储介质。
背景技术
随着智能交通的发展，对传感器获取数据要求越来越高，交通目标的检测已成为智慧交通中一个关键环节，其中，交通目标可以为机动车、非机动车及行人等。尤其是在在无人驾驶技术中，目标检测的性能十分关键。相关技术中，目标检测主要依靠相机，其在目标分类及尺度估计等方面有较大优势，但是其易受光照等影响，并且针对目标位置的检测也存在一定误差。如何准确的进行目标检测，成为亟待解决的问题。
发明内容
本申请实施例的目的在于提供一种目标检测方法、装置、系统、电子设备及存储介质，以实现提高目标检测的准确性。具体技术方案如下：
第一方面，本申请实施例提供了一种目标检测方法，所述方法包括：
获取由相机采集的可见光图像；
针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；
获取由雷达采集的雷达点云数据；
分别确定各帧雷达点云数据对应的伪可见光图像；
针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；
针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；
利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
在一种可能的实施方式中，所述分别确定各帧雷达点云数据对应的伪可见光图像，包括：
针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据；
将该帧雷达点云数据对应的待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；
基于每个栅格中点的数量，进行可见光图像的通道映射，得到该帧雷达点云数据对应的伪可见光图像。
在一种可能的实施方式中，所述针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据，包括：
针对每一帧雷达点云数据，确定该帧雷达点云数据中静止目标的点云数据，得到该帧雷达点云数据的静止点云数据；
根据该帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；
对所述对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，得到所述对应帧号的雷达点云数据的补偿静止点云数据；
将该帧雷达点云数据的静止点云数据与所述对应帧号的雷达点云数据的补偿静止点云数据进行叠加，得到待检测雷达点云数据。
在一种可能的实施方式中，所述针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征，包括：
针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征；
将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征。
在一种可能的实施方式中，所述针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征，包括：
针对采集时间上对应的目标可见光图像与目标雷达点云数据，利用包括多个全连接层的全连接网络将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
在一种可能的实施方式中，所述针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征，包括：
针对每一帧雷达点云数据，利用第一特征提取网络对该帧雷达点云数据对应的伪可见光图像进行多种尺寸的下采样特征提取，得到该帧雷达点云数据对应的多种尺寸的雷达图像特征，其中，该帧雷达点云数据对应的图像特征包括该帧雷达点云数据对应的多种尺寸的雷达图像特征。
在一种可能的实施方式中，所述将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征，包括：
利用预设池化网络将所述目标可见光图像的转换后图像特征转换为多种尺寸的目标图像特征；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征分别输入到多个卷积层中，得到多个预设维度的卷积图像特征，将该目标图像特征的各卷积图像特征进行相加，得到该目标图像特征的空间注意力权重；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘得到融合特征，其中，该目标图像特征对应的雷达图像特征为所述目标雷达点云数据的雷达图像特征中与该目标图像特征的尺寸相同的雷达图像特征。
在一种可能的实施方式中，在所述针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征的步骤之前，所述方法还包括：
针对各帧可见光图像及各帧雷达点云数据，按照采集时刻差值最小的原则，建立可见光图像与雷达点云数在采集时间上的对应关系。
第二方面，本申请实施例提供了一种目标检测装置，所述装置包括：
可见光图像获取模块，用于获取由相机采集的可见光图像；
可见光图像分析模块，用于针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；
雷达数据获取模块，用于获取由雷达采集的雷达点云数据；
伪可见光图像确定模块，用于分别确定各帧雷达点云数据对应的伪可见光图像；
伪可见光图像分析模块，用于针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；
图像特征融合模块，用于针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；
融合特征分析模块，用于利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
在一种可能的实施方式中，所述伪可见光图像确定模块，包括：
预处理子模块，用于针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据；
点云投影子模块，用于将该帧雷达点云数据对应的待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；
通道映射子模块，用于基于每个栅格中点的数量，进行可见光图像的通道映射，得到该帧雷达点云数据对应的伪可见光图像。
在一种可能的实施方式中，所述预处理子模块，具体用于：
针对每一帧雷达点云数据，确定该帧雷达点云数据中静止目标的点云数据，得到该帧雷达点云数据的静止点云数据；
根据该帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；
对所述对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，得到所述对应帧号的雷达点云数据的补偿静止点云数据；
将该帧雷达点云数据的补偿静止点云数据与所述对应帧号的雷达点云数据的静止点云数据进行叠加，得到待检测雷达点云数据。
在一种可能的实施方式中，所述图像特征融合模块，包括：
图像特征转换子模块，用于针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征；
图像特征融合子模块，用于将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征。
在一种可能的实施方式中，所述图像特征转换子模块，具体用于：针对采集时间上对应的目标可见光图像与目标雷达点云数据，利用包括多个全连接层的全连接网络将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
在一种可能的实施方式中，所述伪可见光图像分析模块，具体用于：针对每一帧雷达点云数据，利用第一特征提取网络对该帧雷达点云数据对应的伪可见光图像进行多种尺寸的下采样特征提取，得到该帧雷达点云数据对应的多种尺寸的雷达图像特征，其中，该帧雷达点云数据对应的图像特征包括该帧雷达点云数据对应的多种尺寸的雷达图像特征。
在一种可能的实施方式中，所述图像特征融合模块，具体用于：
利用预设池化网络将所述目标可见光图像的转换后图像特征转换为多种尺寸的目标图像特征；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征分别输入到多个卷积层中，得到多个预设维度的卷积图像特征，将该目标图像特征的各卷积图像特征进行相加，得到该目标图像特征的空间注意力权重；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘得到融合特征，其中，该目标图像特征对应的雷达图像特征为所述目标雷达点云数据的雷达图像特征中与该目标图像特征的尺寸相同的雷达图像特征。
在一种可能的实施方式中，所述装置还包括：
采集时间对应模块，用于针对各帧可见光图像及各帧雷达点云数据，按照采集时刻差值最小的原则，建立可见光图像与雷达点云数在采集时间上的对应关系。
第三方面，本申请实施例提供了一种目标检测系统，包括：
雷达、相机及计算设备；
所述相机，用于采集的可见光图像；
所述雷达，用于采集的雷达点云数据
所述计算设备，用于在运行时实现本申请中任一所述的目标检测方法。
第四方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本申请中任一所述的目标检测方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的目标检测方法。
本申请实施例有益效果：
本申请实施例提供的目标检测方法、装置、系统、电子设备及存储介质，获取由相机采集的可见光图像；针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；获取由雷达采集的雷达点云数据；分别确定各帧雷达点云数据对应的伪可见光图像；针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；利用目标检测网络对融合特征进行分析，得到目标属性信息，其中，目标属性信息包括目标的位置信息。在该过程中，将可见光图像与雷达点云数据的图像特征进行融合得到融合特征，利用融合特征进行目标检测，结合了雷达特征与图像特征，提高了目标检测的准确度。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的目标检测方法的一种示意图；
图2为本申请实施例的图像特征提取网络的一种示意图；
图3为本申请实施例的相机及雷达安装位置的一种示意图；
图4为本申请实施例中步骤S104的一种可能的实现方式的示意图；
图5为本申请实施例的确定运动雷达点云过程的一种示意图；
图6为本申请实施例中步骤S106的一种可能的实现方式的示意图；
图7为本申请实施例的第一特征提取网络的一种示意图；
图8为本申请实施例的中步骤S1062的一种可能的实现方式的示意图；
图9为本申请实施例的目标检测装置的一种示意图；
图10为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
提高目标检测的准确性，本申请实施例提供了一种目标检测方法，参见图1，该方法包括：
S101，获取由相机采集的可见光图像。
本申请实施例的目标检测方法可以通过电子设备实现，该电子设备可以为智能手机、计算机、电路板或系统级芯片等。电子设备获取由相机采集的待处理的可见光图像。
S102，针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征。
针对每一帧待处理的可见光图像，利用图像特征提取网络对该帧可见光图像进行特征提取，从而得到该帧可见光图像的图像特征。图像特征提取网络的具体结构可以相关技术中的特征提取网络。一个例子中，图像特征提取网络可以采用去除全连接层的Darknet-53网络，其中，Darknet-53网络是YOLO v3(You Only Look Once第三版)网络中的一部分backbone(骨干)网络；图像特征提取网络的结构可以如图2所示，图像特征提取网络由若干个DBL模块和RESN模块串联而成，其中，DBL模块为YOLO v3基本组件，由Conv(卷积)+BN(Batch Normalization，批标准化)+leaky_relu(一种激活函数)构成，RESN模块中的n代表数字，有RES1，RES2，…，RES8等，表示这个模块里含有多少个res_unit，Res_unit的结构就是残差结构。通过图像特征提取网络可见光图像能够实现下采样，从而得到可见光图像的图像特征。
S103，获取由雷达采集的雷达点云数据。
电子设备获取由雷达采集的待处理的雷达点云数据。一个例子中，雷达可以为角毫米波雷达。一个例子中，相机为四个鱼眼相机，雷达为四个角毫米波雷达，如图3所示，四个鱼眼相机分别设置在车辆的前后左右四个方向，四个角毫米波雷达分别设置在车辆的四个角上，则由相机采集的可见光图像可以为四个鱼眼相机在同一时刻采集的图像的拼接图像，雷达采集的雷达点云数据可以为四个角毫米波雷达在同一时刻采集的点云数据的拼接数据。
S104，分别确定各帧雷达点云数据对应的伪可见光图像。
伪可见光图像是指与可见光图像具有相同的数据结构的数据；伪可见光图像并不是通过光学成像原理拍摄得到的，而是利用栅格投影等方式将点云数据转换为可见光图像的数据结构。一个例子中，可以将雷达点云数据投影到指定二维栅格平面上，然后根据二维栅格平面中各栅格中点的数量，得到该栅格的像素值，从而得到伪可见光图像。
S105，针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征。
可以利用预设特征提取网络对雷达点云数据的伪可见光图像进行特征提取，从而得到该帧雷达点云数据的图像特征。预设特征提取网络可以根据实际情况自定义选取，例如，预设特征提取网络可以为去除最后的预测卷积层的YOLO v3网络，预设特征提取网络还可以为上述图像特征提取网络等。
S106，针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征。
采集时间上对应的可见光图像与雷达点云数据可以为采集时间最接近的可见光图像与雷达点云数据。在一种可能的实施方式中，在步骤S106之前，上述方法还包括：针对各帧可见光图像及各帧雷达点云数据，按照采集时刻差值最小的原则，建立可见光图像与雷达点云数在采集时间上的对应关系。
相机与雷达的帧率(采样频率)可能存在差异，因此需要对可见光图像与雷达点云数据进行时间上的对齐，建立可见光图像与雷达点云数据的对应关系。一个例子中，可以帧率较大的设备(相机或雷达)的采集时刻作为基准，用另外一种设备的采集时刻来进行差值计算，按照采集时刻差值最小的原则，建立对应关系。
例如，多帧可见光图像的采集时刻的时间戳分别为：40毫秒(可见光图像A采集时刻)、80毫秒(可见光图像B采集时刻)、120毫秒(可见光图像C采集时刻)、160毫秒(可见光图像D采集时刻)、200毫秒(可见光图像E采集时刻)，多帧雷达点云数据的采集时刻的时间戳分别为：50毫秒(雷达点云数据a采集时刻、100毫秒(雷达点云数据b采集时刻)、150毫秒(雷达点云数据c)采集时刻、200毫秒(雷达点云数据d采集时刻)；则以可见光图像为基准，按照采集时刻差值最小的原则，建立可见光图像A与雷达点云数据a的对应关系，建立可见光图像B与雷达点云数据b的关联关系，建立可见光图像C与雷达点云数据b之间的对应关系，建立可见光图像D与雷达点云数据c之间的对应关系，建立可见光图像E与雷达点云数据d之间的对应关系。
将采集时间上对应的可见光图像与雷达点云数据的图像特征进行融合得到融合特征，图像特征融合的方式可以采用图像特征相加、相乘、权重相加、权重相乘等方式中的一种或多种。
S107，利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
目标检测网络用于对融合特征进行分析，从而得到目标属性信息，目标属性信息包括目标的位置信息，例如目标框；目标属性信息还可以包括目标的预测类别。目标检测网络的具体结构可以参见相关技术中的目标检测网络，例如，可以采用CNN(ConvolutionalNeural Networks，卷积神经网络)或RCNN(Regions with CNN features)等。一个例子中，目标检测网络主要由1*1的卷积组成，利用目标检测网络对融合特征进行目标的位置预测和类别预测。目标的类别由实际的应用场景决定，如针对自动驾驶场景，目标的类别可以包括机动车、非机动车、人等。目标的位置可以通过目标框表示，例如可以通过框的中心点坐标、长和宽、角度等信息进行表示。
在本申请实施例中，将可见光图像与雷达点云数据的图像特征进行融合得到融合特征，利用融合特征进行目标检测，结合了雷达特征与图像特征，提高了目标检测的准确度。
在一种可能的实施方式中，参见图4，所述分别确定各帧雷达点云数据对应的伪可见光图像，包括：
S1041，针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据。
预处理的可以为对雷达点云数据进行去噪及运动补偿等处理，一个例子中，可以将该帧雷达点云数据前采集的N帧雷达点云数据进行运动补偿，然后与该帧雷达点云数据进行融合，从而得到该帧雷达点云数据对应的待检测雷达点云数据。
在一种可能的实施方式中，所述针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据的待检测雷达点云数据，包括：
步骤一，针对每一帧雷达点云数据，确定该帧雷达点云数据中静止目标的点云数据，得到该帧雷达点云数据的静止点云数据。
静止目标是指在世界坐标系中静止的目标，而采集雷达点云数据的雷达相对于世界坐标系可能的运动的，一个例子中，可以根据雷达的运动速度及点云数据的多普勒速度，来判断该点云数据是否对应静止目标，例如图5所示，雷达点云速度为雷达点云相对于雷达波的径向多普勒速度，雷达所车辆的车速度为Vm，转角为α，则其在横向和纵向的分量为：Vx＝Vm*sinα，Vy＝Vm*cosα；把车速的分量转换到目标与雷达的径向分量，得到Vc＝Vx*cosβ+Vy*sinβ，再与雷达多普勒速度Vd进行比较，若|Vc-Vd|小于预设速度阈值，则认为该点云为静止目标的点云数据，否则认为该点云为运动目标的点云数据。
步骤二，根据该帧雷达点云数据的帧号，选择对应帧号的雷达点云数据。
例如，该帧雷达点云数据的帧号为M，则可以选取帧号为M-N至M-1的各帧雷达点云数据，其中N为小于M的正整数。
步骤三，对所述对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，得到所述对应帧号的雷达点云数据的补偿静止点云数据。
一个例子中，采集雷达点云数据的雷达是安装在车辆上的，可以根据该车辆的速度和横摆角速度，计算得到采集对应帧号的雷达点云数据的位置(历史位置)与采集当前帧雷达点云数据(当前位置)的位置差异，并根据位置差异，将对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，将位置补偿后的对应帧号的雷达点云数据中静止目标的点云数据，称为对应帧号的雷达点云数据的补偿静止点云数据。
步骤四，将该帧雷达点云数据的静止点云数据与所述对应帧号的雷达点云数据的补偿静止点云数据进行叠加，得到待检测雷达点云数据。
S1042，将该帧雷达点云数据对应的待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量。
指定方向可以根据实际情况自义定设置，一个例子中，指定方向可以为水平方向，待检测雷达点云数据为三维数据，可以将待检测雷达点云数据投影到水平面上，然后按照预设的栅格大小对水平面上相应的区域(此处相应的区域可以为待检测雷达点云数据的投影区域)进行栅格划分；也可以按照预设栅格数量(例如M×N)，将相应的区域划分为M×N个栅格。统计每一个栅格中点的数量。
S1043，基于每个栅格中点的数量，进行可见光图像的通道映射，得到该帧雷达点云数据对应的伪可见光图像。
一个例子中，可以将每个栅格视为一个像素，栅格中点的数量映射为可见光图像中相应像素的通道值，从而得到伪可见光图像。此处并不对可见光的通道类型进行限定，可以为RGB通道、YUV通道、或灰度通道等，均值本申请的保护范围内。以RGB通道为例，一个例子中，可以使用预设Color Bar列表进行映射，其中，Color bar列表中记录了RGB色彩值与指定单值(例如栅格中点的数量)的映射关系。
一个例子中，可以将各栅格中点的数量映射为矩阵的各元素值，并按照各栅格的排布位置对各元素值进行排布，得到点云密度矩阵。例如，M×N个栅格可以映射为M×N的点云密度矩阵，一个栅格对应一个元素，元素值即为对应栅格中点的数量，从而得到点云密度矩阵。对所述点云密度矩阵进行可见光图像的通道映射，得到伪可见光图像。一个例子中，点云密度矩阵中的一个元素对应可见光图像中的一个像素，元素值即为该元素的通道值。
在本申请实施例中，实现了将雷达点云数据转换为伪可见光图像，在此基础上实现雷达特征与可见光图像特征的融合，从而提高目标检测的准确度。并且针对静止目标，通过多帧叠加的方式可以得到目标较为完整的点云，能够提高伪可见光图像的可信度，更有利于提高目标检测的准确度。
在一种可能的实施方式中，参见图6，所述针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征，包括：
S1061，针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
目标可见光图像的图像特征是基于图像坐标系的，目标雷达点云数据对应的图像特征是基于二维栅格坐标系的。两者之间进行融合，需要进行空间维度的转换。
一个例子中，可以通过坐标转换的方式，将目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下。例如，获取相机的图像坐标系与雷达的雷达坐标系的坐标转换关系，然后获取雷达坐标系与二维栅格坐标系的坐标转换关，从而可以实现将目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，即将图像坐标系中的目标可见光图像的图像特征转换到二维栅格坐标系下。
一个例子中，可以通过神经网络的方式，将目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下。例如，针对采集时间上对应的目标可见光图像与目标雷达点云数据，利用包括多个全连接层的全连接网络将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
具体的，全连接网络可以由两层全连接层组成，输入的目标可见光图像的图像特征的宽高尺寸为W*H，channel(通道数)为C，期望得到的二维栅格坐标系下特征宽高尺寸为W1*H1，则全连接网络输入为(W*H)*C，输出为(W1*H1)*C，经过全连接网络，目标可见光图像的转换后图像特征，为下一步特征融合打下基础。
S1062，将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征。
在本申请实施例中，将目标可见光图像的图像特征转换到目标雷达点云数据的图像特征的空间维度下，建立了相机与雷达二者的图像特征的对应关系，使得融合特征的可信度更高，从而提高目标检测的准确度。
为了识别不同尺寸的目标，需要得到多个尺寸的融合特征，在一种可能的实施方式中，所述针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据的图像特征，包括：所述针对每一帧雷达点云数据，利用第一特征提取网络对该帧雷达点云数据对应的伪可见光图像进行多种尺寸的下采样特征提取，得到该帧雷达点云数据对应的多种尺寸的雷达图像特征，其中，该帧雷达点云数据对应的图像特征包括该帧雷达点云数据对应的多种尺寸的雷达图像特征。
第一特征提取网络的结构可以参见相关技术中的特征提取网络。一个例子中，参见图7，以第一特征提取网络为去除最后的预测卷积层的YOLO v3网络为例，伪可见光图像经过三个分支，分别实现8倍、16倍、32倍下采样，得到三种尺寸的雷达图像特征。
在一种可能的实施方式中，参见图8，所述将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据的图像特征进行融合得到融合特征，包括：
S10621，利用预设池化网络将所述目标可见光图像的转换后图像特征转换为多种尺寸的目标图像特征。
目标图像特征的尺寸与雷达图像特征的尺寸是一一对应的，预设池化网络包括多个池化层，可以通过不同数量的池化层，获得分别与各尺寸的雷达图像特征相适配的尺寸的目标图像特征。
S10622，针对所述目标可见光图像的每一目标图像特征，将该目标图像特征分别输入到多个卷积层中，得到多个预设维度的卷积图像特征，将该目标图像特征的各卷积图像特征进行相加，得到该目标图像特征的空间注意力权重。
S10623，针对所述目标可见光图像的每一目标图像特征，将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘得到融合特征，其中，该目标图像特征对应的雷达图像特征为所述目标雷达点云数据的雷达图像特征中与该目标图像特征的尺寸相同的雷达图像特征。
一个例子中，该目标图像特征尺寸为W*H*C1，该目标图像特征对应的雷达图像特征为W*H*C2，其中，W表示特征的宽，H表示特征的高，C1、C2均表示通道数，例如图8所示，该目标图像特征分别通过1*1卷积和3*3卷积，将该目标图像特征的通道数变换为C2，再进行相加的操作，获得该目标图像特征的空间注意力权重。将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘，便可以得到自适应的融合特征。
在本申请实施例中，实现了雷达数据与相机数据的自适应特征融合，使得不同模态数据(雷达数据与相机数据)的特征可以通过数据驱动方式获得特征通道重要性，从而得到高质量的融合特征，最终提高目标检测的准确性。
在本申请中的图像特征提取网络、第一特征提取网络、全连接网络、预设池化网络、目标检测网络等网络可以通过联合训练的方式进行训练，整体的输入为可见光图像与雷达点云数据的伪可见光图像，输出为预测的目标属性信息。利用真值目标属性信息与预测的目标属性信息计算损失，并根据损失反向条件各网络的网络参数，从而实现各网络的训练。
本申请实施例还提供了一种目标检测装置，参见图9，所述装置包括：
可见光图像获取模块11，用于获取由相机采集的可见光图像；
可见光图像分析模块12，用于针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；
雷达数据获取模块13，用于获取由雷达采集的雷达点云数据；
伪可见光图像确定模块14，用于分别确定各帧雷达点云数据对应的伪可见光图像；
伪可见光图像分析模块15，用于针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；
图像特征融合模块16，用于针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；
融合特征分析模块17，用于利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
在一种可能的实施方式中，所述伪可见光图像确定模块，包括：
预处理子模块，用于针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据；
点云投影子模块，用于将该帧雷达点云数据对应的待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；
通道映射子模块，用于基于每个栅格中点的数量，进行可见光图像的通道映射，得到该帧雷达点云数据对应的伪可见光图像。
在一种可能的实施方式中，所述预处理子模块，具体用于：
针对每一帧雷达点云数据，确定该帧雷达点云数据中静止目标的点云数据，得到该帧雷达点云数据的静止点云数据；
根据该帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；
对所述对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，得到所述对应帧号的雷达点云数据的补偿静止点云数据；
将该帧雷达点云数据的补偿静止点云数据与所述对应帧号的雷达点云数据的静止点云数据进行叠加，得到待检测雷达点云数据。
在一种可能的实施方式中，所述图像特征融合模块，包括：
图像特征转换子模块，用于针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征；
图像特征融合子模块，用于将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征。
在一种可能的实施方式中，所述图像特征转换子模块，具体用于：针对采集时间上对应的目标可见光图像与目标雷达点云数据，利用包括多个全连接层的全连接网络将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
在一种可能的实施方式中，所述伪可见光图像分析模块，具体用于：针对每一帧雷达点云数据，利用第一特征提取网络对该帧雷达点云数据对应的伪可见光图像进行多种尺寸的下采样特征提取，得到该帧雷达点云数据对应的多种尺寸的雷达图像特征，其中，该帧雷达点云数据对应的图像特征包括该帧雷达点云数据对应的多种尺寸的雷达图像特征。
在一种可能的实施方式中，所述图像特征融合模块，具体用于：
利用预设池化网络将所述目标可见光图像的转换后图像特征转换为多种尺寸的目标图像特征；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征分别输入到多个卷积层中，得到多个预设维度的卷积图像特征，将该目标图像特征的各卷积图像特征进行相加，得到该目标图像特征的空间注意力权重；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘得到融合特征，其中，该目标图像特征对应的雷达图像特征为所述目标雷达点云数据的雷达图像特征中与该目标图像特征的尺寸相同的雷达图像特征。
在一种可能的实施方式中，所述装置还包括：
采集时间对应模块，用于针对各帧可见光图像及各帧雷达点云数据，按照采集时刻差值最小的原则，建立可见光图像与雷达点云数在采集时间上的对应关系。
本申请实施例还提供了一种目标检测系统，包括：
雷达、相机及计算设备；
所述相机，用于采集的可见光图像；
所述雷达，用于采集的雷达点云数据
所述计算设备，用于在运行时实现本申请中任一所述的目标检测方法。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现本申请中任一所述的目标检测方法。
可选的，参见图10，除了上述处理器21及存储器23外，本申请实施例的电子设备还包括通信接口22和通信总线24，其中，处理器21，通信接口22，存储器23通过通信总线24完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现本申请中任一所述的目标检测方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一所述的目标检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、计算机程序产品、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种目标检测方法，其特征在于，所述方法包括：
获取由相机采集的可见光图像；
针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；
获取由雷达采集的雷达点云数据；
分别确定各帧雷达点云数据对应的伪可见光图像；
针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；
针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；
利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述分别确定各帧雷达点云数据对应的伪可见光图像，包括：
针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据；
将该帧雷达点云数据对应的待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；
基于每个栅格中点的数量，进行可见光图像的通道映射，得到该帧雷达点云数据对应的伪可见光图像。
3.根据权利要求2所述的方法，其特征在于，所述针对每一帧雷达点云数据，对该帧雷达点云数据进行预处理，得到该帧雷达点云数据对应的待检测雷达点云数据，包括：
针对每一帧雷达点云数据，确定该帧雷达点云数据中静止目标的点云数据，得到该帧雷达点云数据的静止点云数据；
根据该帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；
对所述对应帧号的雷达点云数据中静止目标的点云数据进行位置补偿，得到所述对应帧号的雷达点云数据的补偿静止点云数据；
将该帧雷达点云数据的静止点云数据与所述对应帧号的雷达点云数据的补偿静止点云数据进行叠加，得到待检测雷达点云数据。
4.根据权利要求1所述的方法，其特征在于，所述针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征，包括：
针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征；
将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征。
5.根据权利要求4所述的方法，其特征在于，所述针对采集时间上对应的目标可见光图像与目标雷达点云数据，将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征，包括：
针对采集时间上对应的目标可见光图像与目标雷达点云数据，利用包括多个全连接层的全连接网络将所述目标可见光图像的图像特征转换到所述目标雷达点云数据对应的图像特征的空间维度下，得到目标可见光图像的转换后图像特征。
6.根据权利要求4或5所述的方法，其特征在于，所述针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征，包括：
针对每一帧雷达点云数据，利用第一特征提取网络对该帧雷达点云数据对应的伪可见光图像进行多种尺寸的下采样特征提取，得到该帧雷达点云数据对应的多种尺寸的雷达图像特征，其中，该帧雷达点云数据对应的图像特征包括该帧雷达点云数据对应的多种尺寸的雷达图像特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述目标可见光图像的转换后图像特征与所述目标雷达点云数据对应的图像特征进行融合得到融合特征，包括：
利用预设池化网络将所述目标可见光图像的转换后图像特征转换为多种尺寸的目标图像特征；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征分别输入到多个卷积层中，得到多个预设维度的卷积图像特征，将该目标图像特征的各卷积图像特征进行相加，得到该目标图像特征的空间注意力权重；
针对所述目标可见光图像的每一目标图像特征，将该目标图像特征的空间注意力权重与该目标图像特征对应的雷达图像特征相乘得到融合特征，其中，该目标图像特征对应的雷达图像特征为所述目标雷达点云数据的雷达图像特征中与该目标图像特征的尺寸相同的雷达图像特征。
8.根据权利要求1所述的方法，其特征在于，在所述针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征的步骤之前，所述方法还包括：
针对各帧可见光图像及各帧雷达点云数据，按照采集时刻差值最小的原则，建立可见光图像与雷达点云数在采集时间上的对应关系。
9.一种目标检测装置，其特征在于，所述装置包括：
可见光图像获取模块，用于获取由相机采集的可见光图像；
可见光图像分析模块，用于针对每一帧可见光图像，对该帧可见光图像进行特征提取，得到该帧可见光图像的图像特征；
雷达数据获取模块，用于获取由雷达采集的雷达点云数据；
伪可见光图像确定模块，用于分别确定各帧雷达点云数据对应的伪可见光图像；
伪可见光图像分析模块，用于针对每一帧雷达点云数据，对该帧雷达点云数据对应的伪可见光图像进行特征提取，得到该帧雷达点云数据对应的图像特征；
图像特征融合模块，用于针对采集时间上对应的可见光图像与雷达点云数据，将该可见光图像的图像特征与该雷达点云数据对应的图像特征进行融合，得到融合特征；
融合特征分析模块，用于利用目标检测网络对所述融合特征进行分析，得到目标属性信息，其中，所述目标属性信息包括目标的位置信息。
10.一种目标检测系统，其特征在于，包括：
雷达、相机及计算设备；
所述相机，用于采集的可见光图像；
所述雷达，用于采集的雷达点云数据
所述计算设备，用于在运行时实现如权利要求1-8任一所述的目标检测方法。
11.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8任一所述的目标检测方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的目标检测方法。
CN202110726245.2A 2021-06-29 2021-06-29 目标检测方法、装置、系统、电子设备及存储介质 Active CN113421305B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110726245.2A CN113421305B (zh) 2021-06-29 2021-06-29 目标检测方法、装置、系统、电子设备及存储介质
PCT/CN2022/102025 WO2023274254A1 (zh) 2021-06-29 2022-06-28 目标检测方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110726245.2A CN113421305B (zh) 2021-06-29 2021-06-29 目标检测方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113421305A true CN113421305A (zh) 2021-09-21
CN113421305B CN113421305B (zh) 2023-06-02

Family

ID=77717184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110726245.2A Active CN113421305B (zh) 2021-06-29 2021-06-29 目标检测方法、装置、系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113421305B (zh)
WO (1) WO2023274254A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114295139A (zh) * 2021-12-14 2022-04-08 武汉依迅北斗时空技术股份有限公司 一种协同感知定位方法及系统
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
WO2023274254A1 (zh) * 2021-06-29 2023-01-05 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452422B (zh) * 2023-04-24 2024-02-20 上海几何伙伴智能驾驶有限公司 一种4d成像毫米波雷达的回环检测方法
CN117079416B (zh) * 2023-10-16 2023-12-26 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117173693B (zh) * 2023-11-02 2024-02-27 安徽蔚来智驾科技有限公司 3d目标检测方法、电子设备、介质以及驾驶设备
CN117809202A (zh) * 2024-02-28 2024-04-02 中国地质大学（武汉） 一种双模态目标检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
WO2019144581A1 (zh) * 2018-01-29 2019-08-01 江苏宇特光电科技股份有限公司 一种智能化红外图像场景增强方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
US20200296149A1 (en) * 2018-01-24 2020-09-17 Tencent Technology (Shenzhen) Company Limited Video description generation method and apparatus, video playing method and apparatus, and storage medium
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN111968064A (zh) * 2020-10-22 2020-11-20 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
CN111583337B (zh) * 2020-04-25 2023-03-21 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN113421305B (zh) * 2021-06-29 2023-06-02 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
US20200296149A1 (en) * 2018-01-24 2020-09-17 Tencent Technology (Shenzhen) Company Limited Video description generation method and apparatus, video playing method and apparatus, and storage medium
WO2019144581A1 (zh) * 2018-01-29 2019-08-01 江苏宇特光电科技股份有限公司 一种智能化红外图像场景增强方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112149550A (zh) * 2020-09-21 2020-12-29 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN111968064A (zh) * 2020-10-22 2020-11-20 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023274254A1 (zh) * 2021-06-29 2023-01-05 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114295139A (zh) * 2021-12-14 2022-04-08 武汉依迅北斗时空技术股份有限公司 一种协同感知定位方法及系统
CN114694123A (zh) * 2022-05-30 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN114694123B (zh) * 2022-05-30 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN115657012A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 图像目标与雷达目标的匹配方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023274254A1 (zh) 2023-01-05
CN113421305B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113421305A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN107545262B (zh) 一种在自然场景图像中检测文本的方法及装置
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN113673425B (zh) 一种基于Transformer的多视角目标检测方法及系统
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
US11645851B2 (en) Method of processing image data in a connectionist network
CN112580561B (zh) 目标检测方法、装置、电子设备及存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114862929A (zh) 三维目标检测方法、装置、计算机可读存储介质及机器人
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111489315B (zh) 一种光谱波段位置校正方法、装置及计算设备
CN116645502B (zh) 输电线路图像检测方法、装置及电子设备
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
KR100933304B1 (ko) 단일 카메라를 이용한 객체 정보 추정기, 그 방법, 상기 추정기를 포함하는 멀티미디어 기기 및 컴퓨터 기기, 및 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质
CN115205361A (zh) 深度图像补全方法、装置、设备及存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114373078A (zh) 目标检测方法、装置、终端设备及存储介质
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
CN110689513B (zh) 彩色图像融合方法、装置和终端设备
CN112800806B (zh) 物体位姿检测追踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant