CN114419572B - 多雷达目标检测方法、装置、电子设备及存储介质 - Google Patents

多雷达目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114419572B
CN114419572B CN202210327832.9A CN202210327832A CN114419572B CN 114419572 B CN114419572 B CN 114419572B CN 202210327832 A CN202210327832 A CN 202210327832A CN 114419572 B CN114419572 B CN 114419572B
Authority
CN
China
Prior art keywords
radar
data
target
monitoring
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210327832.9A
Other languages
English (en)
Other versions
CN114419572A (zh
Inventor
肖新华
於大维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Intelligent Control Beijing Technology Co Ltd
Original Assignee
Guoqi Intelligent Control Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Intelligent Control Beijing Technology Co Ltd filed Critical Guoqi Intelligent Control Beijing Technology Co Ltd
Priority to CN202210327832.9A priority Critical patent/CN114419572B/zh
Publication of CN114419572A publication Critical patent/CN114419572A/zh
Application granted granted Critical
Publication of CN114419572B publication Critical patent/CN114419572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请提供一种多雷达目标检测方法、装置、电子设备及存储介质，通过获取监测数据，监测数据包括至少两组雷达数据，每一组雷达数据分别对应一个监测区域；通过预训练的第一神经网络模型，处理监测数据，得到雷达数据对应的检测目标信息，其中，检测目标信息用于指示雷达数据对应的监测区域内的识别目标的空间位置；基于检测目标信息和监测数据进行数据融合，得到检测结果，检测结果用于显示目标监测区域内的识别目标，目标监测区域为各监测区域的并集。实现更大的监测区域内的目标识别，提高了路侧设备侧雷达的监测范围和目标识别效果。

Description

多雷达目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种多雷达目标检测方法、装置、电子设备及存储介质。
背景技术
当前，随着自动驾驶技术的快速发展，高级别的自动驾驶正成为人们努力追求的下一个目标。其中，雷达作为智能车辆感知周围环境的传感器，能够实现对车辆周围物体的感知，为实现自动驾驶或高级辅助驾驶发挥了不可或缺的作用。同时，随着雷达技术的不断发展，激光雷达、毫米波雷达等高精度雷达也不断投入使用，进一步地提高了车辆对周围环境的感知能力。
但同时，由于高精度雷达（例如激光雷达）的成本较高，无法大量配置在智能汽车上，现有技术中提供了一种技术方案，通过将高精度雷达固定设置在路侧设备上，由路侧设备对固定监测区域内经过的车辆进行感知，并将感知结果上传至云端进行处理后，由云端将处理结果同步智能汽车，从而实现智能车辆对周围环境的感知。
然而，现有技术中路侧雷达的监测方案，是基于单个雷达的雷达数据来进行目标识别的，导致目标识别范围小、识别效果差的问题。
发明内容
本申请提供一种多雷达目标检测方法、装置、电子设备及存储介质，用以解决基于路侧设备的雷达在识别目标时存在识别范围小、识别效果差的问题。
第一方面，本申请提供了一种多雷达目标检测方法，包括：
获取监测数据，所述监测数据包括至少两组雷达数据，每一组所述雷达数据分别对应一个监测区域；通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，其中，所述检测目标信息用于指示所述雷达数据对应的监测区域内的识别目标的空间位置；基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，所述检测结果用于显示目标监测区域内的识别目标，所述目标监测区域为各所述监测区域的并集。
在一种可能的实现方式中，所述第一神经网络模型包括第一处理网络，所述通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，包括：获取所述雷达数据对应的背景雷达帧，所述背景雷达帧表征所述雷达数据对应的监测区域内的静态背景；将所述雷达数据和对应的所述背景雷达帧输入所述第一处理网络，得到所述检测目标信息。
在一种可能的实现方式中，所述第一神经网络模型还包括第二处理网络，所述雷达数据包括至少两个雷达帧，所述获取所述雷达数据对应的背景雷达帧，包括：将所述至少两个雷达帧输入所述第二处理网络，得到所述第二处理网络输出的背景雷达帧，其中，所述第二处理网络用于基于多个雷达帧提取所述雷达帧内的静态背景。
在一种可能的实现方式中，所述检测目标信息包括所述识别目标的四维空间值，所述四维空间值表征所述识别目标的三维空间坐标和速度值。
在一种可能的实现方式中，所述雷达数据包括雷达帧；基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，包括：基于各所述雷达帧的重叠区域，对各所述雷达帧进行拼接，得到拼接雷达帧；基于各所述雷达帧的重叠区域，对各所述雷达帧对应的检测目标信息进行拼接，得到拼接目标信息；根据所述拼接目标信息和所述拼接雷达帧，得到所述检测结果。
在一种可能的实现方式中，所述雷达数据包括雷达帧；所述基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，包括：将所述检测目标信息和所述监测数据输入第二神经网络模型，得到检测结果，其中，所述第二神经网络模型中包括第一融合网络和第二融合网络；所述第一融合网络包括池化层和解卷积层，所述第一融合网络的池化层和解卷积层用于依次对各所述雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将所述解卷积层生成的特征图输入第二融合网络中对应的解卷积层；所述第二融合网络包括池化层和解卷积层，所述第二融合网络的池化层和解卷积层用于依次对各所述雷达帧进行处理对生成拼接雷达帧，并基于所述第一融合网络输入的特征图与拼接雷达帧进行融合，生成所述检测结果。
在一种可能的实现方式中，在所述得到检测结果之后，所述方法还包括：获取所述目标监测区域对应的地图图像；获取各所述雷达数据对应的监测区域的位置信息，所述位置信息表征所述监测区域在所述地图图像中的坐标；根据所述地图图像、各所述雷达数据对应的位置信息和所述检测结果，生成可视化地图数据，所述可视化地图数据用于在所述地图图像上显示所述识别目标。
在一种可能的实现方式中，所述方法还包括：获取目标终端设备的位置信息；根据所述位置信息，确定对应的目标可视化地图数据，并将所述目标可视化地图数据发送至所述目标终端设备。
在一种可能的实现方式中，所述获取监测数据，包括：与路侧设备通信，所述路侧设备包括激光雷达或毫米波雷达；接收所述激光雷达采集的激光雷达数据，或者，接收所述毫米波雷达采集的毫米波雷达数据。
第二方面，本申请提供了一种多雷达目标检测装置，包括：
获取模块，用于获取监测数据，所述监测数据包括至少两组雷达数据，每一组所述雷达数据分别对应一个监测区域；
处理模块，用于通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，其中，所述检测目标信息用于指示所述雷达数据对应的监测区域内的识别目标的空间位置；
融合模块，用于基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，所述检测结果用于显示目标监测区域内的识别目标，所述目标监测区域为各所述监测区域的并集。
在一种可能的实现方式中，所述第一神经网络模型包括第一处理网络，所述处理模块，具体用于：获取所述雷达数据对应的背景雷达帧，所述背景雷达帧表征所述雷达数据对应的监测区域内的静态背景；将所述雷达数据和对应的所述背景雷达帧输入所述第一处理网络，得到所述检测目标信息。
在一种可能的实现方式中，所述第一神经网络模型还包括第二处理网络，所述雷达数据包括至少两个雷达帧，所述处理模块在获取所述雷达数据对应的背景雷达帧时，具体用于：将所述至少两个雷达帧输入所述第二处理网络，得到所述第二处理网络输出的背景雷达帧，其中，所述第二处理网络用于基于多个雷达帧提取所述雷达帧内的静态背景。
在一种可能的实现方式中，所述检测目标信息包括所述识别目标的四维空间值，所述四维空间值表征所述识别目标的三维空间坐标和速度值。
在一种可能的实现方式中，所述雷达数据包括雷达帧；所述融合模块，具体用于：基于各所述雷达帧的重叠区域，对各所述雷达帧进行拼接，得到拼接雷达帧；基于各所述雷达帧的重叠区域，对各所述雷达帧对应的检测目标信息进行拼接，得到拼接目标信息；根据所述拼接目标信息和所述拼接雷达帧，得到所述检测结果。
在一种可能的实现方式中，所述雷达数据包括雷达帧；所述融合模块，具体用于：将所述检测目标信息和所述监测数据输入第二神经网络模型，得到检测结果，其中，所述第二神经网络模型中包括第一融合网络和第二融合网络；所述第一融合网络包括池化层和解卷积层，所述第一融合网络的池化层和解卷积层用于依次对各所述雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将所述解卷积层生成的特征图输入第二融合网络中对应的解卷积层；所述第二融合网络包括池化层和解卷积层，所述第二融合网络的池化层和解卷积层用于依次对各所述雷达帧进行处理对生成拼接雷达帧，并基于所述第一融合网络输入的特征图与拼接雷达帧进行融合，生成所述检测结果。
在一种可能的实现方式中，在所述得到检测结果之后，所述融合模块，还用于：获取所述目标监测区域对应的地图图像；获取各所述雷达数据对应的监测区域的位置信息，所述位置信息表征所述监测区域在所述地图图像中的坐标；根据所述地图图像、各所述雷达数据对应的位置信息和所述检测结果，生成可视化地图数据，所述可视化地图数据用于在所述地图图像上显示所述识别目标。
在一种可能的实现方式中，所述融合模块，还用于：获取目标终端设备的位置信息；根据所述位置信息，确定对应的目标可视化地图数据，并将所述目标可视化地图数据发送至所述目标终端设备。
在一种可能的实现方式中，所述获取模块，具体用于：与路侧设备通信，所述路侧设备包括激光雷达或毫米波雷达；接收所述激光雷达采集的激光雷达数据，或者，接收所述毫米波雷达采集的毫米波雷达数据。
第三方面，本申请提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请实施例第一方面任一项所述的多雷达目标检测方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一项所述的多雷达目标检测方法。
根据本申请实施例的第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面任一项所述的多雷达目标检测方法。
本申请提供的多雷达目标检测方法、装置、电子设备及存储介质，通过获取监测数据，所述监测数据包括至少两组雷达数据，每一组所述雷达数据分别对应一个监测区域；通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，其中，所述检测目标信息用于指示所述雷达数据对应的监测区域内的识别目标的空间位置；基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，所述检测结果用于显示目标监测区域内的识别目标，所述目标监测区域为各所述监测区域的并集。由于基于神经网络模型同时对至少两组雷达数据进行处理，并利用处理后得到的检测目标进行进一步地进行数据融合，从而实现更大的监测区域内的目标识别，提高了路侧设备侧雷达的监测范围和目标识别效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种多雷达目标检测方法的应用场景图；
图2为本申请一个实施例提供的多雷达目标检测方法的流程图；
图3为本申请实施例提供的一种检测目标信息对应的可视化示意图；
图4为图2所示实施例中步骤S102的实现步骤流程图；
图5为本申请实施例提供的一种背景雷达帧的提取过程示意图；
图6为本申请实施例提供的一种第一神经网络模型的模式示意图；
图7为图2所示实施例中步骤S103的实现步骤流程图；
图8为本申请实施例提供的一种生成检测结果的过程示意图；
图9为本申请另一个实施例提供的多雷达目标检测方法的流程图；
图10为本申请实施例提供的一种第二神经网络模型的示意图；
图11为本申请一个实施例提供的多雷达目标检测装置的结构示意图；
图12为本申请一个实施例提供的电子设备的示意图；
图13是本申请一个示例性实施例示出的一种终端设备的框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面对本申请实施例的应用场景进行解释：
图1为本申请实施例提供的一种多雷达目标检测方法的应用场景图，本申请实施例提供的多雷达目标检测方法可以应用于自动驾驶、高级辅助驾驶等场景下，其中，本实施例提供的多雷达目标检测方法可以应用于服务器或终端设备，服务器或终端设备作为执行主体与路侧设备通信连接。示例性地，如图1所示，本实施例中以云服务器作为执行主体进行介绍，更具体地，云服务器例如为中心云服务器或边缘云服务器。云服务器一方面与固定设置的路侧设备通信连接，另一方面与智能汽车通信连接。其中，路侧设备内设置有激光雷达（即路侧雷达），激光雷达通过向对应的监测范围发送激光束，并接收相应的反射光束，来实现对该监测范围内物体的探测。进一步地，路侧设备将通过激光雷达采集的雷达数据，上传至云服务器，云服务器利用本申请实施例提供的多雷达目标检测方法，对雷达数据进行处理后，得到表征监测区域内的识别目标以及相应位置的检测结果，并将检测结果发送至智能车辆，从而使智能车辆能够基于检测结果，确定车辆周围环境中的障碍物，进而实现自动驾驶或高级辅助驾驶功能。
当前，由于高精度雷达（例如激光雷达）的成本较高，无法大量配置在智能汽车上，因此现有技术中通过将高精度雷达固定设置在路侧设备上（即路侧雷达），由路侧设备对固定监测区域内经过的车辆进行感知，并将感知结果上传至云端（即云服务器）进行处理后，由云服务器将处理结果同步智能汽车，从而实现智能车辆对周围环境的感知。然而，由于雷达数据的数据特性，云服务器在接收到雷达数据后，仅能够基于每一组雷达数据进行独立分析处理，并分析处理的结果发送给智能汽车。同时，由于高精度雷达的检测覆盖范围较小，导致基于雷达数据进行障碍物识别和检测时，出现识别范围小、识别效果差的问题，影响后续智能车辆的自动驾驶控制和高级辅助驾驶控制功能的稳定性和安全性。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一个实施例提供的多雷达目标检测方法的流程图，如图2所示，本实施例提供的多雷达目标检测方法包括以下几个步骤：
步骤S101，获取监测数据，监测数据包括至少两组雷达数据，每一组雷达数据分别对应一个监测区域。
示例性地，本实施例提供的多雷达目标检测方法，可以应用于服务器，其中，服务器与路侧设备通信，具体可参见图1所示应用场景示意图。监测数据可以是由路侧设备发送的，具体地，例如，服务器可以是直接接收各路侧设备发送的雷达数据，从而获得该监测数据；也可以是路侧设备将雷达数据发送至其中间设备，再由中间设备转发至服务器，从而使服务器获得监测数据。具体实现方式可根据需要设置，此处不再赘述。其中，路侧设备可以包括激光雷达或毫米波雷达；获取监测数据，包括：服务器接收激光雷达采集的激光雷达数据，或者，接收毫米波雷达采集的毫米波雷达数据。中间设备可以包括路由设备、边缘云服务器以及其他可以起到缓存和转发功能的电子设备。
进一步地，路侧设备可以包括一个或多个雷达，更具体地，以激光雷达为例，服务器与路侧设备A和路侧设备B通信，其中，路侧设备A中设置有激光雷达A1、A2，路侧设备B中设备值有激光雷达B1。每一激光雷达（A1、A2、B1）对应一个监测区域，通过向该监测区域发送光波，并接收反射信号，形成雷达数据。因此对于每一组雷达数据，分别对应一个监测区域，并表征该监测区域的雷达探测结果，其中，由于雷达能够实现物体的空间位置探测，其所对应的监测区域，也是一个立体的空间区域。
步骤S102，通过预训练的第一神经网络模型，处理监测数据，得到雷达数据对应的检测目标信息，其中，检测目标信息用于指示雷达数据对应的监测区域内的识别目标的空间位置。
示例性地，第一神经网络模型为预训练的深度神经网络模型，能够对雷达数据进行处理，识别雷达数据中的识别目标的空间位置，例如，雷达数据所对应的监测区域内包括一辆汽车，则识别目标为该汽车，描述该汽车对应的空间位置的信息，即第一神经网络模型输出的检测目标信息。其中，可以通过待标注的雷达数据对第一神经网络模型进行预训练，从而使第一神经网络模型具有该能力，神经网络具体的训练过程为本领域技术人员执行的现有技术，此处不再赘述。
在一种可能的实现方式中，检测目标信息包括识别目标的四维空间值，四维空间值表征识别目标的三维空间坐标和速度值。图3为本申请实施例提供的一种检测目标信息对应的可视化示意图，如图3所示，检测目标信息包括识别目标的四维空间值，四维空间值包括描述识别目标（即如图的汽车、自行车及行人）的六面体边框的三维坐标点集，以及识别目标的速度值。通过四维空间值，即可确定识别目标的空间位置。
进一步地，示例性地，第一神经网络模型分别对监测数据中的每一组雷达数据进行处理，从而分别得到每一组雷达数据对应的检测目标信息。例如，监测数据中包括雷达数据{data_L1、data_L2、data_L3}。第一神经网络模型分别对雷达数据{data_L1、data_L2、data_L3}进行处理后，得到对应的检测目标信息{data_T1、data_T2、data_T3}。其中，data_T1表征data_L1中的识别目标（例如为行人）的空间位置；data_T2表征data_L2中的识别目标（例如为车辆）的空间位置；data_T3表征data_L3中的识别目标（例如为树木）的空间位置。
在一种可能的实现方式中，第一神经网络模型包括第一处理网络，如图4所示，步骤S102的具体实现步骤包括：
步骤S1021：获取雷达数据对应的背景雷达帧，背景雷达帧表征雷达数据对应的监测区域内的静态背景。
示例性地，雷达数据包括多个雷达帧。雷达帧可以为雷达脉冲对应的点云数据。背景雷达帧表征雷达数据对应的监测区域内的静态背景，例如，监测区域内的道路、树木、房屋等静态设置的物体。而相对应的，在监测区域内的车辆、行人等，则为待检测的识别目标。通过对雷达数据进行处理，可得到雷达数据对应的背景雷达帧。
在一种可能的实现方式中，获取雷达数据对应的背景雷达帧，包括：将至少两个雷达帧输入第二处理网络，得到第二处理网络输出的背景雷达帧，其中，第二处理网络用于基于多个雷达帧提取雷达帧内的静态背景。
示例性地，在基于步骤S101获得的监测数据后，针对每一组雷达数据，分别获得若干雷达帧，例如10帧雷达帧，之后将该若干雷达帧输入第二处理网络，第二处理网络卷积层（convolution）、池化层（pooling）对其进行叠加平均处理，从而得到每一组雷达数据对应的雷达帧内的静态背景。图5为本申请实施例提供的一种背景雷达帧的提取过程示意图，如图5所示，对于雷达数据A，其中包括雷达帧A1、A2、A3、…、A10。第二处理网络为预训练的神经网络，能够基于多帧雷达帧，提取雷达帧中的静态背景。将雷达帧A1-A10输入第二处理网络后，可以得到与A1-A10分别对应的10帧去除了动态的目标物体（即图中的汽车）的静态帧B1-B10，可将其中任一作为背景雷达帧。示例性地，第一神经网络模型中的神经网络是多尺度（multiple-scale）神经网络，所使用的基础网络是VGG16, Alexnet, Residualnetwork。
在另一种可能的实现方式中，在基于路侧雷达进行目标检测的场景下，路侧设备上设置的雷达所对应的监测区域是固定。因此，背景雷达帧通过上述方法生成后，预存在服务器内，在执行步骤S1021时，可直接获取预生成的背景雷达帧。
步骤S1022：将雷达数据和对应的背景雷达帧输入第一处理网络，得到检测目标信息。
进一步地，获得背景雷达帧后，将一个或多个雷达帧（雷达数据）和对应的背景雷达帧输入第一处理网络，第一处理网络能够基于背景雷达帧对雷达帧进行处理，从而确定出其中的非背景部分的物体，即待检测的识别目标。图6为本申请实施例提供的一种第一神经网络模型的模式示意图，如图6所示，将雷达数据输入第一神经网络模型后，在一种可能的情况下，第一神经网络模型中的第二处理网络基于雷达数据，生成背景雷达帧，第一神经网络模型中的第一处理网络再基于背景雷达帧和雷达数据，对识别目标进行定位，生成检测目标信息。
现有技术中基于路侧设备的目标检测，通常是基于摄像头实现的，即基于图像处理和图像识别技术，来实现对摄像头监测范围内的物体进行检测和识别。然而，与现有技术不同的是，本实施例中针对监测区域的目标检测，是基于雷达数据的。由于图像数据的训练样本获取更加容易，基础神经网络模型及训练方法均比较成熟，因此可实现较好的识别效果。而本实施例中基于雷达数据的目标检测，获取训练样本的成本更高、雷达数据的复杂性也更高，因此，使用常规的用于图像识别的神经网络，无法实现第一神经网络模型的技术效果。
本实施例中，通过在第一神经网络内构造第一处理网络和第二处理网络，通过对雷达数据进行处理，生成背景雷达帧，再基于雷达数据和对应的背景雷达帧作为输入，来进行目标检测，利用路侧设备的雷达监测区域固定的特点，基于背景雷达帧进行目标检测，实现了雷达数据的目标识别，提高雷达识别效果。
步骤S103，基于检测目标信息和监测数据进行数据融合，得到检测结果，检测结果用于显示目标监测区域内的识别目标，目标监测区域为各监测区域的并集。
示例性地，在得到用于表征识别目标的空间位置的检测目标信息后，与原始的监测数据进行融合，得到检测结果，其中，检测结果相当于是带有空间位置标注信息的多雷达数据。更具体地，即将目标信息和对应的雷达数据进行融合后，生成一组雷达数据对应的检查结果子集，之后将各组雷达数据对应的检查结果子集进行拼接，从而得到最终的检测结果。在一种可能的实现方式中，如图7所示，步骤S103的具体实现步骤包括：
步骤S1031：基于各雷达帧的重叠区域，对各雷达帧进行拼接，得到拼接雷达帧。
步骤S1032：基于各雷达帧的重叠区域，对各雷达帧对应的检测目标信息进行拼接，得到拼接目标信息。
步骤S1033：根据拼接目标信息和拼接雷达帧，得到检测结果。
图8为本申请实施例提供的一种生成检测结果的过程示意图，如图8所示，监测数据中包括雷达帧{data_L1、data_L2、data_L3}，其各自对应的检测目标信息{data_T1、data_T2、data_T3}。首先各雷达帧的重叠区域，将各雷达数据分别进行拼接，得到拼接雷达帧，同时，各雷达数据对应的检测目标信息也移动至同一坐标系下，完成检测目标信息的拼接，生成拼接目标信息。之后根据拼接目标信息和拼接雷达帧，生成监测数据的检测结果。该检测结果对应的目标监测区域，是各监测数据对应的监测区域的并集，且检测结果中标记出了多个识别目标的空间位置。基于该检测结果，进行相应处理后发送给智能汽车，即可使智能汽车实现障碍物躲避、速度控制等相关自动驾驶和高级辅助驾驶的功能。
同时，由于检测结果所对应的目标监测区域（多个雷达数据对应的监测区域之和），范围更大，包含的检测目标信息更多，因此，可以体现出识别目标与识别目标之间的空间位置关系，相比于现有技术中基于单个雷达数据生成的检测结果，有效信息的数据维度更高，在后续基于该检测结果运行自动驾驶或高级辅助驾驶功能时，可以提供更丰富的信息，提高车辆行驶的安全性和稳定性。
本实施例中，通过获取监测数据，监测数据包括至少两组雷达数据，每一组雷达数据分别对应一个监测区域；通过预训练的第一神经网络模型，处理监测数据，得到雷达数据对应的检测目标信息，其中，检测目标信息用于指示雷达数据对应的监测区域内的识别目标的空间位置；基于检测目标信息和监测数据进行数据融合，得到检测结果，检测结果用于显示目标监测区域内的识别目标，目标监测区域为各监测区域的并集。由于基于神经网络模型同时对至少两组雷达数据进行处理，并利用处理后得到的检测目标进行进一步地进行数据融合，从而实现更大的监测区域内的目标识别，提高了路侧设备侧雷达的监测范围和目标识别效果。
图9为本申请另一个实施例提供的多雷达目标检测方法的流程图，如图9所示，本实施例提供的多雷达目标检测方法在图2所示实施例提供的多雷达目标检测方法的基础上，对步骤S103进一步细化，并增加了生成可视化地图数据的步骤，则本实施例提供的多雷达目标检测方法包括步骤S201-步骤S207：
步骤S201，获取监测数据，监测数据包括至少两组雷达帧，每一组雷达帧分别对应一个监测区域。
步骤S202，通过预训练的第一神经网络模型，处理监测数据，得到每一组雷达帧对应的四维空间值，其中，四维空间值表征识别目标的三维空间坐标和速度值。
步骤S203，将每一组雷达帧和每一组雷达帧对应的四维空间值和输入第二神经网络模型，得到检测结果，其中，第二神经网络模型中包括第一融合网络和第二融合网络。
其中，第一融合网络包括池化层（Max Pooling）和解卷积层（Deconvlution），第一融合网络的池化层和解卷积层用于依次对各雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将解卷积层生成的特征图输入第二融合网络中对应的解卷积层；
第二融合网络包括池化层和解卷积层，第二融合网络的池化层和解卷积层用于依次对各雷达帧进行处理对生成拼接雷达帧，并基于第一融合网络输入的特征图与拼接雷达帧进行融合，生成检测结果。
在一种可能的实现方式中，生成检测结果的过程，可以通过预训练的第二神经网络模型实现。具体地，图10为本申请实施例提供的一种第二神经网络模型的示意图，如图10所示，第二神经网络模型中包括第一融合网络和第二融合网络，其中，第一融合网络和第二融合网络可以是层数相同的神经网络，具体地，第一融合网络包括池化层（P1、P2、P3）和解卷积层（D1、D2、D3），第一融合网络的池化层和解卷积层用于依次对各雷达帧（data_L1、data_L2）对应的检测目标信息（data_T1、data_T2）进行处理而生成拼接目标信息，本实施例中，拼接目标信息即各组雷达帧对应的四维空间值的拼接结果；通过第一融合网络的各池化层和解卷积层，逐渐实现对各组雷达帧对应的四维空间值的拼接，并在解卷积层（例如图中的D1、D2、D3）向第二融合网络对应的解卷积层输入特征图（Feature Map），从而使第一融合网络的处理过程中生成的四维空间值的拼接结果（拼接目标信息）添加至第二融合网络。相对应的，第二融合网络包括池化层（p1、p2、p3）和解卷积层（d1、d2、d3），第二融合网络的池化层和解卷积层用于依次对各雷达帧进行处理而生成拼接雷达帧，同时，通过接收第一融合网络中D1、D2、D3解卷积层输入的特征图，并将其融合在对应的拼接雷达帧中，最终输出融合有各雷达帧（雷达数据）和对应的四维空间值（检测目标信息）的检测结果。
本实施例中，在基于路侧雷达进行目标检测的应用场景下，通过雷达数据进行目标检测，需要使用背景雷达帧（详见图2所示实施例中的相关介绍），而各组雷达帧所对应的监控区域不同，因此对应的背景雷达帧也不同。因此，若先对雷达帧进行拼接，再进行目标识别（类似于现有技术中基于图像的目标识别的方案），则会导致拼接后的拼接雷达帧缺乏对应的背景雷达帧，因此无法实现基于背景雷达帧的目标识别，同时需要额外的网络模型训练过程，提高成本、降低目标识别的效果。而本实施例中，通过首先获得各雷达帧对应的四维空间值，再基于第二神经网络对多个雷达帧和对应的四维空间值进行数据融合，得到更大监测区域的检测结果，检测效果更好，效率更高。
步骤S204，获取目标监测区域对应的地图图像。
步骤S205，获取各雷达帧对应的监测区域的位置信息，位置信息表征监测区域在地图图像中的坐标。
步骤S206，根据地图图像、各雷达数据对应的位置信息和检测结果，生成可视化地图数据，可视化地图数据用于在地图图像上显示识别目标。
示例性地，在获得检测结果后，检测结果仍是点云形式的数据，用户无法直观的基于检测数据进行观测。因此，本实施例中，在获得检测结果后，获得目标监测区域对应的地图图像，其中，目标监测区域可以基于雷达数据确定，更具体地，可以基于上传雷达数据的路侧设备的标识确定，例如，上传雷达数据的路侧设备的标识为#device_001，则服务器通过预设的配置信息，可以获得标识#device_001对应的高清地图（地图图像），之后，获取该标识对应的路侧设备的位置信息，路侧设备的位置信息与高清地图对应的位置信息是关联的，即路侧设备的位置信息与高清地图对应的位置信息在一个坐标系内，最后根据地图图像、各雷达数据对应的位置信息和检测结果进行叠加，得到可视化地图数据。
步骤S207，获取目标终端设备的位置信息，并根据位置信息，将目标可视化地图数据发送至目标终端设备。
进一步地，基于不同位置的路侧设备，可视化地图数据也相应有多组，分别对应不同的路侧设备的设置位置。服务器在通过上述方式生成检测结果的同时，可以基于注册服务，实时的获取在服务器注册的例如车机设备等目标终端设备的实时位置信息，并基于目标终端设备的实时位置信息，调取对应的目标可视化地图，发送至目标终端设备，使目标终端设备一侧的用户，可以实时的获取当前所处环境下的可视化地图数据，实现基于路侧雷达的目标检测结果的数据同步，使智能汽车在不安装高精度雷达的情况下，也可以获得车辆周围的障碍物信息，在一个更具体地应用场景下，通过向终端设备发送可视化地图数据，可视实现终端设备一侧的车辆拥堵预警、路况远程查看等功能。
本实施例中，步骤S201-步骤S202的实现方式在本申请图2所示实施例中的步骤S101-步骤S102中的对应段落已进行介绍，在此不再一一赘述。
图11为本申请一个实施例提供的多雷达目标检测装置的结构示意图，如图11所示，本实施例提供的多雷达目标检测装置3包括：
获取模块31，用于获取监测数据，监测数据包括至少两组雷达数据，每一组雷达数据分别对应一个监测区域；
处理模块32，用于通过预训练的第一神经网络模型，处理监测数据，得到雷达数据对应的检测目标信息，其中，检测目标信息用于指示雷达数据对应的监测区域内的识别目标的空间位置；
融合模块33，用于基于检测目标信息和监测数据进行数据融合，得到检测结果，检测结果用于显示目标监测区域内的识别目标，目标监测区域为各监测区域的并集。
在一种可能的实现方式中，第一神经网络模型包括第一处理网络，处理模块32，具体用于：获取雷达数据对应的背景雷达帧，背景雷达帧表征雷达数据对应的监测区域内的静态背景；将雷达数据和对应的背景雷达帧输入第一处理网络，得到检测目标信息。
在一种可能的实现方式中，第一神经网络模型还包括第二处理网络，雷达数据包括至少两个雷达帧，处理模块32在获取雷达数据对应的背景雷达帧时，具体用于：将至少两个雷达帧输入第二处理网络，得到第二处理网络输出的背景雷达帧，其中，第二处理网络用于基于多个雷达帧提取雷达帧内的静态背景。
在一种可能的实现方式中，检测目标信息包括识别目标的四维空间值，四维空间值表征识别目标的三维空间坐标和速度值。
在一种可能的实现方式中，雷达数据包括雷达帧；融合模块33，具体用于：基于各雷达帧的重叠区域，对各雷达帧进行拼接，得到拼接雷达帧；基于各雷达帧的重叠区域，对各雷达帧对应的检测目标信息进行拼接，得到拼接目标信息；根据拼接目标信息和拼接雷达帧，得到检测结果。
在一种可能的实现方式中，雷达数据包括雷达帧；融合模块33，具体用于：将检测目标信息和监测数据输入第二神经网络模型，得到检测结果，其中，第二神经网络模型中包括第一融合网络和第二融合网络；第一融合网络包括池化层和解卷积层，第一融合网络的池化层和解卷积层用于依次对各雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将解卷积层生成的特征图输入第二融合网络中对应的解卷积层；第二融合网络包括池化层和解卷积层，第二融合网络的池化层和解卷积层用于依次对各雷达帧进行处理对生成拼接雷达帧，并基于第一融合网络输入的特征图与拼接雷达帧进行融合，生成检测结果。
在一种可能的实现方式中，在得到检测结果之后，融合模块33，还用于：获取目标监测区域对应的地图图像；获取各雷达数据对应的监测区域的位置信息，位置信息表征监测区域在地图图像中的坐标；根据地图图像、各雷达数据对应的位置信息和检测结果，生成可视化地图数据，可视化地图数据用于在地图图像上显示识别目标。
在一种可能的实现方式中，融合模块33，还用于：获取目标终端设备的位置信息；根据位置信息，确定对应的目标可视化地图数据，并将目标可视化地图数据发送至目标终端设备。
在一种可能的实现方式中，获取模块31，具体用于：与路侧设备通信，路侧设备包括激光雷达或毫米波雷达；接收激光雷达采集的激光雷达数据，或者，接收毫米波雷达采集的毫米波雷达数据。
其中，获取模块31、处理模块32和融合模块33依次连接。本实施例提供的多雷达目标检测装置可以执行如图2-图10任一所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图12为本申请一个实施例提供的电子设备的示意图，如图12所示，本实施例提供的电子设备4包括：处理器41，以及与处理器41通信连接的存储器42。
其中，存储器42存储计算机执行指令；
处理器41执行存储器42存储的计算机执行指令，以实现本申请图2-图10所对应的实施例中任一实施例提供的多雷达目标检测方法。
其中，存储器42和处理器41通过总线43连接。
相关说明可以对应参见图2-图10所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请图2-图10所对应的实施例中任一实施例提供的多雷达目标检测方法。
其中，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本申请一个实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请图2-图10所对应的实施例中任一实施例提供的多雷达目标检测方法。
图13是本申请一个示例性实施例示出的一种终端设备的框图，该终端设备800可以是车机设备，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
终端设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出（I/ O）接口812，传感器组件814，以及通信组件816。
处理组件802通常控制终端设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端设备800的操作。这些数据的示例包括用于在终端设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为终端设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为终端设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在终端设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当终端设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/ O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为终端设备800提供各个方面的状态评估。例如，传感器组件814可以检测到终端设备800的打开/关闭状态，组件的相对定位，例如组件为终端设备800的显示器和小键盘，传感器组件814还可以检测终端设备800或终端设备800一个组件的位置改变，用户与终端设备800接触的存在或不存在，终端设备800方位或加速/减速和终端设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于终端设备800和其他设备之间有线或无线方式的通信。终端设备800可以接入基于通信标准的无线网络，如WiFi，3G、4G、5G或其他标准通信网络，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，终端设备800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述本申请图2-图10所对应的实施例中任一实施例提供的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由终端设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备800能够执行上述本申请图2-图10所对应的实施例中任一实施例提供的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种多雷达目标检测方法，其特征在于，所述方法包括：
获取监测数据，所述监测数据包括至少两组雷达数据，每一组所述雷达数据分别对应一个监测区域；
通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，其中，所述检测目标信息用于指示所述雷达数据对应的监测区域内的识别目标的空间位置；
基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，所述检测结果用于显示目标监测区域内的识别目标，所述目标监测区域为各所述监测区域的并集；
所述雷达数据包括雷达帧；所述基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，包括：
将所述检测目标信息和所述监测数据输入第二神经网络模型，得到检测结果，其中，所述第二神经网络模型中包括第一融合网络和第二融合网络；
所述第一融合网络包括池化层和解卷积层，所述第一融合网络的池化层和解卷积层用于依次对各所述雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将所述解卷积层生成的特征图输入第二融合网络中对应的解卷积层；
所述第二融合网络包括池化层和解卷积层，所述第二融合网络的池化层和解卷积层用于依次对各所述雷达帧进行处理对生成拼接雷达帧，并基于所述第一融合网络输入的特征图与拼接雷达帧进行融合，生成所述检测结果。
2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括第一处理网络，所述通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，包括：
获取所述雷达数据对应的背景雷达帧，所述背景雷达帧表征所述雷达数据对应的监测区域内的静态背景；
将所述雷达数据和对应的所述背景雷达帧输入所述第一处理网络，得到所述检测目标信息。
3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型还包括第二处理网络，所述雷达数据包括至少两个雷达帧，所述获取所述雷达数据对应的背景雷达帧，包括：
将所述至少两个雷达帧输入所述第二处理网络，得到所述第二处理网络输出的背景雷达帧，其中，所述第二处理网络用于基于多个雷达帧提取所述雷达帧内的静态背景。
4.根据权利要求2所述的方法，其特征在于，所述检测目标信息包括所述识别目标的四维空间值，所述四维空间值表征所述识别目标的三维空间坐标和速度值。
5.根据权利要求1所述的方法，其特征在于，所述雷达数据包括雷达帧；基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，包括：
基于各所述雷达帧的重叠区域，对各所述雷达帧进行拼接，得到拼接雷达帧；
基于各所述雷达帧的重叠区域，对各所述雷达帧对应的检测目标信息进行拼接，得到拼接目标信息；
根据所述拼接目标信息和所述拼接雷达帧，得到所述检测结果。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述得到检测结果之后，所述方法还包括：
获取所述目标监测区域对应的地图图像；
获取各所述雷达数据对应的监测区域的位置信息，所述位置信息表征所述监测区域在所述地图图像中的坐标；
根据所述地图图像、各所述雷达数据对应的位置信息和所述检测结果，生成可视化地图数据，所述可视化地图数据用于在所述地图图像上显示所述识别目标。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取目标终端设备的位置信息；
根据所述位置信息，确定对应的目标可视化地图数据，并将所述目标可视化地图数据发送至所述目标终端设备。
8.根据权利要求1-5任一项所述的方法，其特征在于，所述获取监测数据，包括：
与路侧设备通信，所述路侧设备包括激光雷达或毫米波雷达；
接收所述激光雷达采集的激光雷达数据，或者，接收所述毫米波雷达采集的毫米波雷达数据。
9.一种多雷达目标检测装置，其特征在于，包括：
获取模块，用于获取监测数据，所述监测数据包括至少两组雷达数据，每一组所述雷达数据分别对应一个监测区域；
处理模块，用于通过预训练的第一神经网络模型，处理所述监测数据，得到所述雷达数据对应的检测目标信息，其中，所述检测目标信息用于指示所述雷达数据对应的监测区域内的识别目标的空间位置；
融合模块，用于基于所述检测目标信息和所述监测数据进行数据融合，得到检测结果，所述检测结果用于显示目标监测区域内的识别目标，所述目标监测区域为各所述监测区域的并集；
所述雷达数据包括雷达帧，所述融合模块，具体用于：
将所述检测目标信息和所述监测数据输入第二神经网络模型，得到检测结果，其中，所述第二神经网络模型中包括第一融合网络和第二融合网络；所述第一融合网络包括池化层和解卷积层，所述第一融合网络的池化层和解卷积层用于依次对各所述雷达帧对应的检测目标信息进行处理而生成拼接目标信息，并将所述解卷积层生成的特征图输入第二融合网络中对应的解卷积层；所述第二融合网络包括池化层和解卷积层，所述第二融合网络的池化层和解卷积层用于依次对各所述雷达帧进行处理对生成拼接雷达帧，并基于所述第一融合网络输入的特征图与拼接雷达帧进行融合，生成所述检测结果。
10.一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的多雷达目标检测方法。
CN202210327832.9A 2022-03-31 2022-03-31 多雷达目标检测方法、装置、电子设备及存储介质 Active CN114419572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210327832.9A CN114419572B (zh) 2022-03-31 2022-03-31 多雷达目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210327832.9A CN114419572B (zh) 2022-03-31 2022-03-31 多雷达目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114419572A CN114419572A (zh) 2022-04-29
CN114419572B true CN114419572B (zh) 2022-06-17

Family

ID=81263343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210327832.9A Active CN114419572B (zh) 2022-03-31 2022-03-31 多雷达目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114419572B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114802311B (zh) * 2022-06-28 2022-09-13 国汽智控(北京)科技有限公司 全局化车辆控制方法、装置、电子设备及存储介质
CN115327497B (zh) * 2022-08-12 2023-10-10 南京慧尔视软件科技有限公司 雷达检测范围确定方法、装置、电子设备及可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071881A (ja) * 2009-09-28 2011-04-07 Mitsubishi Engineering Plastics Corp ミリ波レーダー用カバー及びミリ波レーダー
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统
CN108961790A (zh) * 2018-07-24 2018-12-07 河北德冠隆电子科技有限公司 基于四维实景交通仿真的恶劣天气预警管理系统及方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN112099040A (zh) * 2020-09-15 2020-12-18 浙江省机电设计研究院有限公司 基于激光雷达网络的全程连续轨迹车辆追踪系统及方法
CN112212872A (zh) * 2020-10-19 2021-01-12 合肥工业大学 基于激光雷达和导航地图的端到端自动驾驶方法及系统
CN112616318A (zh) * 2020-01-03 2021-04-06 深圳市速腾聚创科技有限公司 激光雷达及自动驾驶设备
CN112946628A (zh) * 2021-02-08 2021-06-11 江苏中路工程技术研究院有限公司 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN114187759A (zh) * 2021-11-19 2022-03-15 东南大学 一种基于数据驱动模型的路侧单元驾驶辅助方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
FR3113145B1 (fr) * 2020-07-31 2022-09-30 Idemia Identity & Security France Procédé de contrôle de véhicule par plusieurs capteurs
CN113221957B (zh) * 2021-04-17 2024-04-16 南京航空航天大学 一种基于Centernet的雷达信息融合特征增强方法
CN113447902A (zh) * 2021-06-21 2021-09-28 南京信息职业技术学院 一种基于机器学习的对海监视雷达目标识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071881A (ja) * 2009-09-28 2011-04-07 Mitsubishi Engineering Plastics Corp ミリ波レーダー用カバー及びミリ波レーダー
CN107229690A (zh) * 2017-05-19 2017-10-03 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统
CN108961790A (zh) * 2018-07-24 2018-12-07 河北德冠隆电子科技有限公司 基于四维实景交通仿真的恶劣天气预警管理系统及方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN112616318A (zh) * 2020-01-03 2021-04-06 深圳市速腾聚创科技有限公司 激光雷达及自动驾驶设备
CN112099040A (zh) * 2020-09-15 2020-12-18 浙江省机电设计研究院有限公司 基于激光雷达网络的全程连续轨迹车辆追踪系统及方法
CN112212872A (zh) * 2020-10-19 2021-01-12 合肥工业大学 基于激光雷达和导航地图的端到端自动驾驶方法及系统
CN112946628A (zh) * 2021-02-08 2021-06-11 江苏中路工程技术研究院有限公司 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN114187759A (zh) * 2021-11-19 2022-03-15 东南大学 一种基于数据驱动模型的路侧单元驾驶辅助方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁晨晨等.基于雷达和摄像头传感器融合的辅助驾驶目标检测算法.《信息技术与信息化》.2021,全文. *

Also Published As

Publication number Publication date
CN114419572A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419572B (zh) 多雷达目标检测方法、装置、电子设备及存储介质
CN110543850B (zh) 目标检测方法及装置、神经网络训练方法及装置
CN113064135B (zh) 在3d雷达点云连续帧数据中检测障碍物的方法及装置
KR102547441B1 (ko) 차량 간 메시지 전송 장치 및 방법
CN111216127A (zh) 一种机器人控制方法、装置、服务器及介质
CN114312812B (zh) 基于动态感知的车辆控制方法、装置及电子设备
CN115408779A (zh) 代客泊车算法仿真测试方法、装置及存储介质
CN112712129A (zh) 多传感器融合方法、装置、设备及存储介质
CN110751336B (zh) 无人载具的避障方法、避障装置及无人载具
CN108881846B (zh) 信息融合方法、装置及计算机可读存储介质
CN115965935B (zh) 目标检测方法、装置、电子设备、存储介质和程序产品
CN113450459A (zh) 目标物的三维模型构建方法及装置
EP4261565A1 (en) Object detection method and apparatus for vehicle, device, vehicle and medium
CN115825979A (zh) 一种环境感知方法、装置、电子设备、存储介质及车辆
CN111832338A (zh) 对象检测方法及装置、电子设备和存储介质
CN111619556B (zh) 汽车的避障控制方法、装置及存储介质
CN116834767A (zh) 运动轨迹生成方法、装置、设备及存储介质
CN116052461A (zh) 虚拟车位确定方法、显示方法、装置、设备、介质及程序
CN114387622A (zh) 动物重识别方法及装置、电子设备和存储介质
CN114626462B (zh) 路面标识识别方法、装置、设备及存储介质
CN113450298B (zh) 基于多传感器的视野图处理方法、装置和设备
CN116434016B (zh) 图像信息增强方法、模型训练方法、装置、设备及介质
CN116883496B (zh) 交通元素的坐标重建方法、装置、电子设备及存储介质
CN116740158B (zh) 图像深度确定方法、装置和存储介质
CN115223384B (zh) 一种车辆数据显示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant