CN113887376A

CN113887376A - 目标检测方法、装置、介质及设备

Info

Publication number: CN113887376A
Application number: CN202111137606.6A
Authority: CN
Inventors: 李丰军; 周剑光; 曹哲
Original assignee: China Automotive Innovation Co Ltd
Current assignee: China Automotive Innovation Co Ltd
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2022-01-04

Abstract

本申请公开了目标检测方法、装置、介质及设备，涉及智慧交通技术领域，该方法包括：获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息；所述点云信息与所述图像信息符合预设的时间同步条件；基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像；将所述关键图像输入至图像检测模型，进行图像检测处理，确定目标以及在所述关键图像中所述目标对应的感兴趣区域；对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息。本申请提供的技术方案能够有效提升目标检测、目标类别识别以及目标运动状态检测的准确性和可靠性。

Description

目标检测方法、装置、介质及设备

技术领域

本申请涉及智慧交通技术领域，具体涉及目标检测方法、装置、介质及设备。

背景技术

随着智慧交通的发展，基于单一传感器所采集的数据进行道路目标检测的方式已经难以满足不断增长的智慧交通应用需求，因此研究重点转向了多传感器融合检测技术，以借此提升对交通环境的感知能力。

其中，多传感器融合检测技术主要以单目视觉传感器(如摄像头)和毫米波雷达的融合为主，但目前这种融合检测技术会同时依赖单目视觉传感器和毫米波雷达各自的目标检测算法，导致目标检测的准确性和可靠性不高。

发明内容

为了提高目标检测的准确性和可靠性，本申请提供了目标检测方法、装置、介质及设备。所述技术方案如下：

第一方面，本申请提供了一种目标检测方法，所述方法包括：

获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息；所述点云信息与所述图像信息符合预设的时间同步条件；

基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像；

将所述关键图像输入至图像检测模型，进行图像检测处理，确定目标以及在所述关键图像中所述目标对应的感兴趣区域；

对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息。

可选的，所述获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息，包括：

获取所述毫米波雷达基于第一时间周期进行采集得到的原始点云信息；所述原始点云信息携带有第一时间戳；

获取所述摄像头基于第二时间周期进行采集得到的原始图像信息；所述原始图像信息携带有第二时间戳；

根据所述第一时间周期和所述第二时间周期，确定处理周期；

基于所述处理周期、所述第一时间戳和所述第二时间戳，从所述原始点云信息中确定所述点云信息以及从所述原始图像信息中确定所述图像信息。

可选的，所述基于所述处理周期、所述第一时间戳和所述第二时间戳，从所述原始点云信息中确定所述点云信息以及从所述原始图像信息中确定所述图像信息，包括：

分别从所述原始点云信息和所述原始图像信息中对应确定处于同一个所述处理周期内的目标原始点云信息和目标原始图像信息；

根据所述目标原始点云信息的第一时间戳和所述目标原始图像信息的第二时间戳，确定时间戳差值；

在所述时间戳差值满足预设条件的情况下，将所述目标原始点云信息作为所述点云信息以及将所述目标原始图像信息作为所述图像信息。

可选的，所述方法还包括：

确定基于当前处理周期对应的第一关键图像得到的第一目标以及所述第一目标对应的第一感兴趣区域；

确定基于前一处理周期对应的第二关键图像得到的第二目标以及所述第二目标对应的第二感兴趣区域；

根据所述第一感兴趣区域和所述第二感兴趣区域，对所述第一目标和所述第二目标进行匹配，得到第三目标，所述第三目标接连出现在所述第二关键图像和所述第一关键图像中；

确定所述第三目标在所述当前处理周期和所述前一处理周期内的运动状态检测信息，以对所述第三目标进行跟踪。

可选的，所述方法还包括：

将所述目标的运动状态检测信息输入至扩展卡尔曼滤波器，对所述运动状态检测信息进行优化估算，得到所述目标的运动状态优化检测信息。

可选的，所述基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像，包括：

确定所述毫米波雷达和所述摄像头的空间位置信息；

基于所述空间位置信息确定坐标系转换关系；

根据所述坐标系转换关系，确定所述点云信息在所述像素坐标系下的点云数据；

确定所述图像信息在所述像素坐标系下的图像数据；

对所述点云数据和所述图像数据进行数据融合，得到关键图像。

可选的，所述对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息，包括：

获取预设的邻域半径阈值和密度阈值；

根据所述邻域半径阈值和所述密度阈值，对所述感兴趣区域内的点云信息进行密度聚类，得到一个或多个簇，所述簇为采样点的集合；

根据所述簇中的采样点对应的点云信息，计算得到所述目标的运动状态检测信息，所述运动状态检测信息至少包含位置信息、尺寸信息和行向信息中的一种。

第二方面，本申请提供了一种目标检测装置，所述装置包括：

信息获取模块，用于获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息；所述点云信息与所述图像信息符合预设的时间同步条件；

信息融合模块，用于基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像；

图像检测模块，用于将所述关键图像输入至图像检测模型，进行图像检测处理，确定目标以及在所述关键图像中所述目标对应的感兴趣区域；

运动状态检测模块，用于对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息。

第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种目标检测方法。

第四方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种目标检测方法。

本申请提供的目标检测方法、装置、介质及设备，具有如下技术效果：

本申请提供的技术方案首先获取时间上同步的点云信息和图像信息，点云信息可以通过毫米波雷达采集得到，图像信息可以通过摄像头采集得到，时间上的同步保证了后续检测结果的准确可靠；其次，将点云信息和图像信息映射在像素坐标系中，以对点云信息和图像信息进行像素级数据的融合，得到融合后的关键图像，先进行像素级数据的融合能够保留更丰富的采集数据，为目标检测提供更多信息，从而更充分地利用原始信息，提高检测的准确率和可靠性；接着，将该关键图像输入至基于深度学习的图像检测模型，检测得到符合模型检测类别的目标以及该目标在关键图像中的感兴趣区域，此为对目标及其类别的识别检测，利用基于深度学习的图像检测模型对关键图像进行识别和检测，实时性更好、检测精度更高，进一步有效提升对目标及其类别识别检测的精准性；最后，对感兴趣区域中包含的点云信息进行聚类计算，从而得到该目标的运动状态检测信息，也即在前一步模型检测结果的基础上完成对目标运动状态的检测，使得检测得到的目标位置、大小、行向等信息更为精准。

本申请提供的技术方案对像素级数据融合后的关键图像进行目标的识别检测以及基于关键图像中目标的感兴趣区域进行聚类计算完成对目标运动状态的检测，而不必依赖摄像头与毫米波雷达各自对应的目标检测算法，可以避免两部分目标检测结果不匹配时造成的目标丢失等问题。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种目标检测方法的实施环境示意图；

图2是本申请实施例提供的一种目标检测方法的流程示意图；

图3是本申请实施例提供的一种在极坐标系和毫米波雷达坐标系下的采样点的位置示意图；

图4是本申请实施例提供的一种获取时间同步的点云信息和图像信息的流程示意图；

图5是本申请实施例提供的另一种获取时间同步的点云信息和图像信息的流程示意图；

图6是本申请实施例提供的一种基于时间戳对原始点云信息和原始图像信息进行匹配的流程示意图；

图7是本申请实施例提供的一种基于像素坐标系进行数据融合的流程示意图；

图8是本申请实施例提供的一种摄像头和毫米波雷达的空间位置的示意图；

图9是本申请实施例提供的一种摄像头和毫米波雷达的工作姿势的示意图；

图10是本申请实施例提供的一种雷达坐标系向世界坐标系转换的示意图；

图11是本申请实施例提供的一种世界坐标系向像素坐标系转换的示意图；

图12是本申请实施例提供的一种基于密度聚类进行检测的流程示意图；

图13是本申请实施例提供的一种目标检测的效果示意图；

图14是本申请实施例提供的一种对目标持续检测的流程示意图；

图15是本申请实施例提供的一种对目标持续检测的效果示意图；

图16是本申请实施例提供的一种对目标持续检测和优化的流程示意图；

图17是本申请实施例提供的一种目标检测装置的示意图；

图18是本申请实施例提供的用于实现一种目标检测方法的设备的硬件结构示意图。

具体实施方式

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。

本申请实施例提供的方案涉及人工智能的计算机视觉(Computer Vision，CV)、深度学习(Deep Learning，DL)等技术。

其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容识别、行为识别、三维物体重建、三维技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

其中深度学习(Deep Learing，DL)是机器学习(Machine Learning，ML)领域中一个主要的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

智慧交通是在整个交通运输领域充分利用物联网、空间感知、云计算、移动互联网等新一代信息技术，综合运用交通科学、系统方法、人工智能、知识挖掘等理论与工具，以全面感知、深度融合、主动服务、科学决策为目标，通过建设实时的动态信息服务体系，深度挖掘交通运输相关数据，形成问题分析模型，实现行业资源配置优化能力、公共决策能力、行业管理能力、公众服务能力的提升，推动交通运输更安全、更高效、更便捷、更经济、更环保、更舒适的运行和发展，带动交通运输相关产业转型、升级。

本申请实施例提供的方案涉及智慧交通的车联网、自动驾驶等技术。

其中，车联网的概念源于物联网，即车辆物联网，是以行驶中的车辆为信息感知对象，借助新一代信息通信技术，实现车与X(即车与车、人、路、服务平台)之间的网络连接，提升车辆整体的智能驾驶水平，为用户提供安全、舒适、智能、高效的驾驶感受与交通服务，同时提高交通运行效率，提升社会交通服务的智能化水平。其中车与车间的通信是指车辆与车辆之间实现信息交流与信息共享，包括车辆位置、行驶速度等车辆状态信息，可用于判断道路车流状况；车与路间的通信是指借助地面道路固定通信设施实现车辆与道路间的信息交流，用于监测道路路面状况，引导车辆选择最佳行驶路径。

其中，自动驾驶中作为关键环节的环境信息获取和智能决策控制依赖于传感器技术、图像识别技术、电子与计算机技术与控制技术等一系列高新技术。随着机器视觉(如3D摄像头技术)、模式识别软件(如光学字符识别程序)和光达系统(已结合全球定位技术和空间数据)的进步，车载计算机可以通过将机器视觉、感应器数据和空间数据相结合来控制汽车的行驶。

本申请实施例提供的方案还可部署在云端，其中还涉及云技术等。

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称，可以组成资源池，按需所用，灵活便利。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，因此云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

为了提高目标检测的准确性和可靠性，本申请实施例提供了目标检测方法、装置、介质及设备。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解本申请实施例所述的技术方案及其产生的技术效果，本申请实施例对于涉及到的相关专业名词进行解释：

点云：Point Cloud，是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后得到的点的集合，称之为“点云”。

聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。

密度聚类：基于密度的聚类算法假设聚类结构能够通过样本分布的紧密程度确定，以数据集在空间分布上的稠密程度为依据进行聚类，即只要一个区域中的样本密度大于某个阈值，就把它划入与之相近的簇中。

DBSCAN：Density-Based Spatial Clustering ofApplications with Noise，具有噪声的基于密度的聚类方法，是基于一组邻域参数来描述样本分布的紧密程度，相比于基于划分的聚类方法和层次聚类方法，DBSCAN算法将簇定义为密度相连的样本的最大集合，能够将密度足够高的区域划分为簇，不需要给定簇数量，并可在有噪声的空间数据集中发现任意形状的簇。

卡尔曼滤波：Kalman filtering，是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。

扩展卡尔曼滤波器：Extend Kalman Filter，EKF，是标准卡尔曼滤波在非线性情形下的一种扩展形式，是一种高效率的递归滤波器。其基本思想是利用泰勒级数展开将非线性系统线性化，然后采用卡尔曼滤波框架对信号进行滤波。

匈牙利算法：是一种在多项式时间内求解任务分配问题的组合优化算法，并推动了后来的原始对偶方法。

请参阅图1，其为本申请实施例提供的一种目标检测方法的实施环境示意图，如图1所示，该实施环境可以至少包括毫米波雷达、摄像头和目标检测装置。所述摄像头和所述毫米波雷达可以安装在车辆，或者是道路路侧，所述目标检测装置可以相应地安装在道路路侧或者车辆，可以安置在远程服务器，所述摄像头、所述毫米波雷达与所述目标检测装置可以通过无线网络或有线网络连接。

以下介绍本申请提供的一种目标检测方法。图2是本申请实施例提供的一种目标检测方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图2，本申请实施例提供的一种目标检测方法可以包括如下步骤：

S210：获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息；所述点云信息与所述图像信息符合预设的时间同步条件。

可以理解的是，不论是车联网领域还是自动驾驶领域，环境感知能力都是关键的环节，基于传感器的采集数据感知周围环境，才能为决策和控制提供依据。在自动驾驶领域，目标检测是自动驾驶环境感知系统中必不可少的组成部分，其中基于毫米波雷达和摄像头的融合感知已成为研究重点。在行车环境中，以车辆感知为研究对象，通过检测周围行车环境中的车辆、行人、障碍物、道路标志等目标，为车辆控制与决策提供信息基础。在车联网领域，利用路侧端的感知系统可以实时准确监控交通运输状态，实现对交通的智能化管理，同时路侧端的感知结果可以传送给车辆，解放部分车载端感知系统计算能力，为行驶车辆提供更加精确和全面的环境信息。

在本申请实施例中，毫米波雷达和摄像头可以安装在车辆上，也可以安装在路侧龙门架、路灯及其他设施上，本申请实施例提供的方法可以由车载装置、设备或系统执行，也可以由道路路侧配置的有计算能力的模块或装置执行，也可以由远程服务器或云服务器执行，本申请对此不作限定。在本申请实施例中，通过毫米波雷达对交通道路进行数据采集，得到原始点云信息。毫米波雷达是工作在毫米波波段探测的雷达，通常毫米波是指30GHz～300GHz频域(波长为1mm～10mm)，车载雷达也会有分配的专属频段，毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点，此外毫米波导引头穿透雾、烟、灰尘的能力强。毫米波雷达主要是通过发送电磁波并接收回波来获得物体的距离、速度和角度等信息，物体表面采样点的位置数据可以是以毫米波雷达为原点的极坐标系下的坐标，也可以是以毫米波雷达为原点的三维空间坐标系下的坐标。在本申请实施例中，通过视觉传感器(也即摄像头)对交通道路进行数据采集，得到原始图像信息。摄像头可以是单目视觉传感器、双目视觉传感器、全景视觉或红外相机等，采集的图像可以涵盖视距范围内所有的道路环境信息，如车道线、交通标志、交通灯、行人和车辆等。

图3示出了示例性的一种毫米波雷达与采样点的相对位置，如图3所示，毫米波雷达处于Or，采样点为点P，毫米波雷达与采样点的径向距离为R，采样点与毫米波雷达的水平方位角为α。在极坐标系下，采样点的位置坐标可以表示为(R，α)。除了采用极坐标系，还可以采用以毫米波雷达自身位置为原点的自身坐标系XrOrYr，其中Xr轴指向毫米波的前向，也即探测的道路方向，Yr轴指向毫米波雷达的左侧方向，因此采样点在毫米波雷达坐标系XrOrYr中的坐标(xr，yr)可以如公式(1)和公式(2)所示：

xr＝R×cosα； (1)

yr＝R×sinα； (2)

在本申请实施例中，所述点云信息和所述图像信息是时间同步后的一组待融合数据，时间上的同步是后续融合数据以及目标检测的基础保证。不同的传感器数据采集频率存在差异且采集时间起点不同，一种方式是可以通过将毫米波雷达和视频检测器的时间同步，从而使二者描述相同时刻的信息，方便后续进行处理；另一种方式是对原始点云信息和原始图像信息进行筛选匹配，从而获得同步的所述点云信息和所述图像信息。

图4示出了示例性的一种获取同步的点云信息和图像信息的流程示意图，具体的，如图4所示，所述步骤S210可以包括以下步骤：

S211：获取毫米波雷达基于第一时间周期进行采集得到的原始点云信息；原始点云信息携带有第一时间戳。

S213：获取摄像头基于第二时间周期进行采集得到的原始图像信息；原始图像信息携带有第二时间戳。

S215：根据第一时间周期和第二时间周期，确定处理周期。

例如，处理周期可以是第一时间周期和第二时间周期的最小公倍数周期。

S217：基于处理周期、第一时间戳和第二时间戳，从原始点云信息中确定点云信息以及从原始图像信息中确定图像信息。

在一种可行的实施方式中，如图5所示，所述步骤S217还可以具体包括以下步骤：

S2171：分别从原始点云信息和原始图像信息中对应确定处于同一个处理周期内的目标原始点云信息和目标原始图像信息。

S2173：根据目标原始点云信息的第一时间戳和所述原始图像信息的第二时间戳，确定时间戳差值。

S2175：在时间戳差值满足预设条件的情况下，将目标原始点云信息作为点云信息以及将目标原始图像信息作为图像信息。

示例性的，如图6所示，处于同一处理周期内的点云信息包括四个周期(T0、T1、T2和T3)的数据，图像信息至少包括一帧图像(图6中仅示出一帧以作说明)，分别计算该帧图像与四个周期内的点云信息之间的时间戳差值，若该帧图像与T0周期对应的点云信息的时间戳差值最小同时不高于预设阈值，则将这二者作为一组待融合的信息。

可以理解的是，所谓的时间同步并不限定所述点云信息和所述图像信息的时间戳完全相同，也即绝对的时间同步，在实践中允许作为一组待融合数据的点云信息和图像信息之间的时间戳可以有一定的差值。

在本申请的一个示例性实施例中，在进行时间同步处理时，可以采用多线程方式，第一个线程使用vector(容器)接受毫米波雷达的原始点云信息，具体地，在接收每一周期第一帧报文的时候，加上本机的时间戳，并且周期性地向容器中推送采样点的点云信息，同时要检测容器内数据大小，当数据量大于1000则需要清空容器做保护措施；第二个线程用于实时保存一帧图像信息；第三个线程在根据保存的两类数据，对比时间戳，取出同一处理周期内时间戳差值不高于10ms的两类数据进行后续处理，待后续处理结束则可以清除雷达数据容器中之前的数据。可行的，还可以对时间同步后的点云信息和图像信息进行预处理，如过滤掉点云信息中的离群点、采用空间滤波技术去除图像中多余的噪声等。

上述实施例中，基于原始数据的采集时间戳，可以解决不同传感器之间时钟不同步的问题，为后续的数据融合和目标检测提供有效准确的数据，保证检测结果的准确性，同时从原始点云信息和原始图像信息确定点云信息和图像信息，用于后续的融合，使得融合后的数据能够保留更多原始、底层的数据，避免有效数据的丢失。

S230：基于像素坐标系，对点云信息和图像信息进行数据融合，得到关键图像。

可以理解的是，基于毫米波雷达和摄像头进行融合感知，除了时间上的同步以实现数据率的匹配，还需要进行空间的同步，也即将两类数据统一到同一坐标系下。时空同步后的数据融合才能充分发挥毫米波雷达和摄像头的双端优势，能够更充分地获取环境信息，能提供更多的信息以供目标检测，提高检测的准确率和可靠性。

在本申请的一个实施例中，在基于像素坐标系对点云信息和图像信息进行数据融合之前，需要将两类信息都转换至像素坐标系下，如图7所示，所述基于像素坐标系，对点云信息和所图像信息进行数据融合，得到关键图像，可以具体包括以下步骤：

S231：确定毫米波雷达和摄像头的空间位置信息。

具体地，可以根据毫米波雷达和摄像头安装的相对高度、间距等确定其空间位置信息。

S233：基于空间位置信息确定坐标系转换关系。

其中坐标系转换关系表征位置信息从一坐标系映射至另一坐标系时的转换系数。此外，坐标系转换关系还与各坐标系的原点、方向的设定有关。

S235：根据坐标系转换关系，确定点云信息在像素坐标系下的点云数据。

点云信息可以包括以毫米波雷达为原点的极坐标系下的位置数据，也可以包括以毫米波雷达为原点的毫米波雷达坐标系下的位置数据，而点云数据则是在像素坐标系下的坐标数据。像素坐标系是以图像左上角为原点建立以像素为单位的坐标系u-v，像素的横坐标u与纵坐标v分别是像素点在其图像数组中所在的列数与所在行数。

为了将毫米波雷达探测到的空间中一点，准确投影到摄像头采集到的图像平面中的点上，涉及到毫米波雷达坐标系、世界坐标系、相机坐标系、图像坐标系和像素坐标系共五个坐标系之间的转换。通过计算机视觉理论和相机模型，可得到与相机有关的四个坐标系之间的转换关系，并借助张正友相机标定法，获得转换关系中的相机内部参数与外部参数值，从而实现毫米波雷达坐标系到像素坐标系的转换。

S237：确定图像信息在像素坐标系下的图像数据。

图像信息可以包括像素点在图像坐标系下的位置信息，而图像数据则是在像素坐标系下的像素点位置信息。像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位为mm，属于物理单位，而像素坐标系的单位是pixel。

S239：对点云数据和图像数据进行数据融合，得到关键图像。

基于上述操作，即可完成空间上毫米波雷达点云信息匹配至视觉图像上，并在此基础上，将点云信息中的采样点的运动状态信息输出。

可行的，利用融合算法将点云数据和图像数据进行合成，得到关于像素点的一致性解释与描述。其中，融合算法可以是具有鲁棒性和并行处理能力，还可以满足其他的要求例如算法的运算速度和精度、与前续时空同步处理和后续目标识别的接口性能等。一般情况下，具有容错性、自适应性、联想记忆和并行处理能力的基于非线性的数学方法都可以用来作为融合方法。常用方法基本上可分为两大类：随机类和人工智能类，其中随机类可以包括加权平均法、卡尔曼滤波法、多贝叶斯估计法等，人工智能类可以包括模糊逻辑推理、神经网络法，本申请实施例对此不作限定。

上述实施例中，对点云信息和图像信息进行空间的同步，也即将两类数据统一到同一坐标系下。时空同步后的像素级数据融合能充分发挥毫米波雷达和摄像头的双端优势，除了能够更充分地获取环境信息，还可以消除单端的不确定因素、提供更为准确的观测结果和综合信息，进而可以提高检测的准确率和可靠性。

图8至图9示出了一种实施例中毫米波雷达和摄像头的空间位置的示意图，其中图8示出了安装在路侧龙门架横杆上的毫米波雷达和摄像头，其为水平并行安装，两设备相对地面的高度位置以及两设备之间的相对距离可以如图8所示；其中图9示出了毫米波雷达和摄像头进行数据采集时的方向角。基于此，图10示出了一种从毫米波雷达坐标系转换至世界坐标系的示意图，以前述实施例中采样点在毫米波雷达坐标系中的坐标(xr，yr)为例进行说明，xr与yr的数值可以如公式(1)和(2)所示，此处不再赘述。世界坐标系是客观三维世界的绝对坐标系，也称为客观坐标系，在图10-图11中以摄像头的位置为原点建立世界坐标系XwYwZw-Ow，h为毫米波雷达的安装高度，该毫米波雷达采样点在世界坐标系XwYwZw-Ow下的坐标(xw，yw，zw)可以如公式(3)至(5)所示：

xw＝-R×sinα； (3)

zw＝-h； (5)

图11示出了一种从世界坐标系转换至像素坐标系的示意图。在世界坐标系向像素坐标系转换中，如图10所示，其中α为相机坐标系XcYcZc-Ow相对与世界坐标系的俯仰角即绕Xw轴的旋转角，β为相机坐标系相对与世界坐标系的横摆角即绕Zw轴的旋转角，记s₁＝sinα，s₂＝sinβ，c₁＝cosα，c₂＝cosβ，f_u为相机的垂直方向焦距，f_v为相机的水平方向焦距，c_u和c_v表征图像中心点在像素坐标系中的位置，u和v是像素坐标系中的坐标值，P_i是采样点在像素坐标系中的位置，P_g是采样点在世界坐标系中的位置，基于上述公式(3)至(4)，P_g在世界坐标系下的坐标分量xg、yg、zg在数值上分别对应等同于xw、yw、zw，

表示世界坐标系到像素坐标系转换关系，各项表达式可以如下所示：

转换后可以得到每个采样点在像素坐标系下的坐标。

S250：将关键图像输入至图像检测模型，进行图像检测处理，确定目标以及在关键图像中目标对应的感兴趣区域。

在本申请实施例中，利用图像检测模型对目标进行检测、识别和分类，并圈定出目标的感兴趣区域。其中，待检测的目标可以包括但不限于车辆、行人、道路标志、道路线、障碍物等，目标的类别还可以做进一步地细分，如将车辆划分为卡车、轿车、摩托车等。其中，感兴趣区域(Region of Interest，ROI)是指在图像处理领域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，使用ROI圈定目标，可以减少处理时间，增加精度。可行的，在融后的图像处理部分采用了深度学习算法，相比于传统图像处理，实时性更好，检测精度更高。深度学习具有强大的特征学习能力，提取到的特征更为丰富，表达能力更强，得到的目标检测、识别、分类结果更为准确。

在本申请实施例中，可以通过融合后的历史关键图像样本以及样本中目标的标注信息对模型进行训练，得到所需的图像检测模型。示例性的，采用基于深度学习的YOLO5(You Only Look Once)模型，YOLO5模型的网络主要由三个主要组件组成：

(1)Backbone：为在不同图像细粒度上聚合并形成图像特征的卷积神经网络。

(2)Neck：为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。

(3)Output：对图像特征进行预测，生成边界框并预测类别。

进一步地，还可以根据应用的场景有针对性的选择特定的样本以及所需检测的目标类别进行模型的训练。

S270：对感兴趣区域内的点云信息进行聚类，得到目标的运动状态检测信息。

在本申请实施例中，利用图像检测模型这一过程的作用，得到目标的类别信息以及圈定出目标的感兴趣区域，并基于该感兴趣区域内的点云信息聚类计算得到该目标的运动状态检测信息，运动状态检测信息可以包括但不限于位置信息、尺寸信息、行向信息等。图像检测和聚类计算共同完成对目标的类别预测和运动状态的检测的过程。

在本申请实施例中，可以对多目标同时进行检测得到多个目标的类别信息和运动状态检测信息。以下以单个目标为例进行说明，本申请实施例不作赘述。

在本申请的一个实施例中，如图12所示，所述对感兴趣区域内的点云信息进行聚类，得到目标的运动状态检测信息，可以具体包括以下步骤：

S271：获取预设的邻域半径阈值和密度阈值。

S273：根据邻域半径阈值和密度阈值，对感兴趣区域内的点云信息进行密度聚类，得到一个或多个簇，簇为采样点的集合。

S275：根据簇中的采样点对应的点云信息，计算得到目标的运动状态检测信息，运动状态检测信息至少包含位置信息、尺寸信息和行向信息中的一种。

在一种可行的实施方式中，可以采用DBSCAN(Density-Based SpatialClustering of Applications with Noise)的密度聚类算法，该算法能够把密度足够高的区域划分为“簇”，并且可以在有“噪声”的数据中发现任意形状的聚类。

上述实施例中，采用基于密度聚类的方式计算得到目标的运动状态检测信息，从样本密度的角度进行考察目标感兴趣区域内点之间的可连接性，并不断扩展直到获得最终的聚类簇，能够发现任意形状的聚类，且对噪声数据不敏感，进而有效且准确地计算出目标的运动状态。

图13示出了一种对关键图像进行目标类别检测和运动状态检测的结果示意图，如图13中所示，本申请实施例所提供的方法可以有效识别出前方目标有货车truck和小汽车car，预测的目标感兴趣区域的宽高比分别为0.83和0.98，行驶速度分别为17.76m/s(米/每秒)和14.52m/s，径向距离分别为64.70米和29.07米。此外，图13中还可以检测出道路边界线。

在本申请的一个实施例中，可以对目标进行持续性的跟踪检测。图14示出了一种对目标进行持续检测跟踪的方法的流程示意图，如图14所示，本申请实施例提供的方法还可以包括以下步骤：

S310：获取当前处理周期对应的第一关键图像和前一处理周期对应的第二关键图像。

S330：基于当前处理周期对应的第一关键图像得到第一目标以及第一目标对应的第一感兴趣区域。

S350：基于前一处理周期对应的第二关键图像得到第二目标以及第二目标对应的第二感兴趣区域。

S370：根据第一感兴趣区域和第二感兴趣区域，对第一目标和第二目标进行匹配，得到第三目标，第三目标接连出现在第二关键图像和第一关键图像中。

S390：确定第三目标在当前处理周期和前一处理周期内的运动状态检测信息，以对第三目标进行跟踪。

在一种可行的实施方式中，可以基于感兴趣区域中预测的边框和真实的边框之间的IOU(Intersection over Union，交并比)对两个处理周期内的目标进行标记，进而可以采用匈牙利算法对两个处理周期的多个目标进行最大匹配，确定接连出现在两个处理周期内的同一个目标，也即完成对目标的一致性检测。进一步地，可以对目标检测结果中的IOU设定阈值，可以省去对道路线等目标作一致性检测。示例性的，将图13中的检测结果作为前一处理周期的检测结果，图15中的检测结果作为当前处理周期的检测结果，本申请实施例提供的方法可以对小汽车car实现跟踪检测。

上述实施例中，通过一致性检测，可以将多个处理周期内的运动状态检测信息合并，得到同一个目标的持续性检测信息，完成对目标的跟踪检测。

在本申请的另一个实施例中，利用相邻处理周期的检测结果可以进行结果的递归优化。示例性的，可以将目标的运动状态检测信息输入至扩展卡尔曼滤波器，对运动状态检测信息进行优化估算，得到目标的运动状态优化检测信息。也即，将运动状态检测信息作为测量值，基于卡尔曼增益对测量值进行调整优化。图16示出了一种结合了目标一致性检测和扩展卡尔曼滤波的目标检测方法的流程示意图，具体地，以前一处理周期和当前处理周期为例，通过对前一处理周期的检测结果(包含目标的类别检测信息和运动状态检测信息)和当前处理周期的检测结果进行一致性检测，确定能够进行持续性检测的目标，在扩展卡尔曼滤波器中，利用前一处理周期的检测结果的优化值，对当前处理周期的检测结果的测量值进行优化估算的，得到该目标在当前处理周期的检测结果的优化值并保存，以作为对下一处理周期的检测结果进行优化时的参考，如此递归循环，直至该目标消失。特殊的，若前一处理周期为启动后的第一处理周期，则可以直接将前一处理周期的检测结果的测量值作为优化值并保存。上述实施例中，经过扩展卡尔曼滤波器，对检测结果进行优化，能够使检测更为精准，且扩展卡尔曼滤波需要的内存少，计算速度快，更适合实时性情况与嵌入式设备的需要。

本申请实施例还提供了一种目标检测装置1700，如图17所示，所述装置1700可以包括：

信息获取模块1710，用于获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息；所述点云信息与所述图像信息符合预设的时间同步条件；

信息融合模块1720，用于基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像；

图像检测模块1730，用于将所述关键图像输入至图像检测模型，进行图像检测处理，确定目标以及在所述关键图像中所述目标对应的感兴趣区域；

运动状态检测模块1740，用于对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息。

在本申请的一个实施例中，所述信息获取模块1710可以包括：

原始点云信息获取单元，用于获取所述毫米波雷达基于第一时间周期进行采集得到的原始点云信息；所述原始点云信息携带有第一时间戳；

原始图像信息获取单元，用于获取所述摄像头基于第二时间周期进行采集得到的原始图像信息；所述原始图像信息携带有第二时间戳；

处理周期确定单元，用于根据所述第一时间周期和所述第二时间周期，确定处理周期；

信息确定单元，用于基于所述处理周期、所述第一时间戳和所述第二时间戳，从所述原始点云信息中确定所述点云信息以及从所述原始图像信息中确定所述图像信息。

在本申请的一个实施例中，所述信息确定单元可以包括：

信息划分子单元，用于分别从所述原始点云信息和所述原始图像信息中对应确定处于同一个所述处理周期内的目标原始点云信息和目标原始图像信息；

时间戳差值计算子单元，用于根据所述目标原始点云信息的第一时间戳和所述目标原始图像信息的第二时间戳，确定时间戳差值；

信息匹配子单元，用于在所述时间戳差值满足预设条件的情况下，将所述目标原始点云信息作为所述点云信息以及将所述目标原始图像信息作为所述图像信息。

在本申请的一个实施例中，所述装置1700还可以包括：

当前处理周期图像检测单元，用于确定基于当前处理周期对应的第一关键图像得到的第一目标以及所述第一目标对应的第一感兴趣区域；

前一处理周期图像检测单元，用于确定基于前一处理周期对应的第二关键图像得到的第二目标以及所述第二目标对应的第二感兴趣区域；

目标匹配单元，用于根据所述第一感兴趣区域和所述第二感兴趣区域，对所述第一目标和所述第二目标进行匹配，得到第三目标，所述第三目标接连出现在所述第二关键图像和所述第一关键图像中；

持续跟踪单元，用于确定所述第三目标在所述当前处理周期和所述前一处理周期内的运动状态检测信息，以对所述第三目标进行跟踪。

在本申请的一个实施例中，所述装置1700还可以包括：

优化单元，用于将所述目标的运动状态检测信息输入至扩展卡尔曼滤波器，对所述运动状态检测信息进行优化估算，得到所述目标的运动状态优化检测信息。

在本申请的一个实施例中，所述信息融合模块1720可以包括：

空间位置确定单元，用于确定所述毫米波雷达和所述摄像头的空间位置信息；

坐标系关系确定单元，用于基于所述空间位置信息确定坐标系转换关系；

第一坐标转换单元，用于根据所述坐标系转换关系，确定所述点云信息在所述像素坐标系下的点云数据；

第二坐标转换单元，用于确定所述图像信息在所述像素坐标系下的图像数据；

数据融合单元，用于对所述点云数据和所述图像数据进行数据融合，得到关键图像。

在本申请的一个实施例中，所述运动状态检测模块1740可以包括：

预设信息获取单元，用于获取预设的邻域半径阈值和密度阈值；

密度聚类单元，用于根据所述邻域半径阈值和所述密度阈值，对所述感兴趣区域内的点云信息进行密度聚类，得到一个或多个簇，所述簇为采样点的集合；

计算单元，用于根据所述簇中的采样点对应的点云信息，计算得到所述目标的运动状态检测信息，所述运动状态检测信息至少包含位置信息、尺寸信息和行向信息中的一种。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种目标检测方法。

图18示出了一种用于实现本申请实施例所提供的一种目标检测方法的设备的硬件结构示意图，所述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图18所示，设备10可以包括一个或多个(图中采用1002a、1002b，……，1002n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图18所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图18中所示更多或者更少的组件，或者具有与图18所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的一种目标检测方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种目标检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种目标检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种目标检测方法。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种目标检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的目标检测方法，其特征在于，所述获取毫米波雷达采集的点云信息，以及获取摄像头采集的图像信息，包括：

3.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述处理周期、所述第一时间戳和所述第二时间戳，从所述原始点云信息中确定所述点云信息以及从所述原始图像信息中确定所述图像信息，包括：

4.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的目标检测方法，其特征在于，所述基于像素坐标系，对所述点云信息和所述图像信息进行数据融合，得到关键图像，包括：

确定所述毫米波雷达和所述摄像头的空间位置信息；

基于所述空间位置信息确定坐标系转换关系；

确定所述图像信息在所述像素坐标系下的图像数据；

7.根据权利要求1所述的目标检测方法，其特征在于，所述对所述感兴趣区域内的点云信息进行聚类，得到所述目标的运动状态检测信息，包括：

获取预设的邻域半径阈值和密度阈值；

8.一种目标检测装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7中任一项所述的一种目标检测方法。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1至7中任一项所述的一种目标检测方法。