CN115327524A - 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 - Google Patents

基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 Download PDF

Info

Publication number
CN115327524A
CN115327524A CN202210905832.2A CN202210905832A CN115327524A CN 115327524 A CN115327524 A CN 115327524A CN 202210905832 A CN202210905832 A CN 202210905832A CN 115327524 A CN115327524 A CN 115327524A
Authority
CN
China
Prior art keywords
frame model
detection frame
detection
model
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210905832.2A
Other languages
English (en)
Inventor
李保江
冯博询
杨德钲
王明明
顾炎飚
岳玉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Original Assignee
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Depth Perception Technology Research Institute Co ltd filed Critical Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority to CN202210905832.2A priority Critical patent/CN115327524A/zh
Publication of CN115327524A publication Critical patent/CN115327524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及智能交通技术领域，具体公开了一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其中，包括：获取训练数据集；获得物理检测框模型、三维检测框模型以及图像检测框模型；将物理检测框模型和三维检测框模型进行融合，获得第一融合检测模型，以及将物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；将路侧端实时采集信息分别输入至第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果。本发明还公开了一种基于毫米波雷达与视觉融合的路侧端目标检测装置。本发明提供的基于毫米波雷达与视觉融合的路侧端目标检测方法能够提升路侧端目标检测的天气适应性。

Description

基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于毫米波雷达与视觉融合的路侧端目标检测方法及基于毫米波雷达与视觉融合的路侧端目标检测装置。
背景技术
近年来，车路协同成为了智能交通领域发展的热点之一，主要通过传感器融合等技术手段，实现对车、人、路信息的全面感知，以实现交通安全和高效。路侧端目标检测是精准感知的核心之一，也是一项重要的研究方向和极富挑战性的研究课题。
路侧端的目标检测要解决的问题是：对交通道路进行全域覆盖、全天候感知交通目标，包括车辆行人等的位置、距离信息，对精度和实时性要求较高。
传统的路侧端目标检测与分类多采用单一传感器的技术路线进行检测，不满足行业标准中全天候和高精度的要求。
例如，公开号为CN108830131B的中国专利公开了《基于深度学习的交通目标检测与测距方法》，其对交通图像数据先采用归一化方法再投入深度学习网络进行训练得到模型，并最终输出检测目标的类别、坐标、距离和置信度。但申请人发现，上述的目标检测方法只采用单一图像信息，其稳定性易受雨雪等恶劣天气影响。
又如，公开号为CN111898439B的中国专利公开了《基于深度学习的交通场景联合目标检测和语义分割方法》，其依然使用单一图像传感器，并且使用注意力模块提取区域特征，但是此方法需要规模较大的数据集以训练模型，整个结构的计算复杂度也较高，实时性较差。
在融合方面，由于摄像头与毫米波雷达视角(前景与鸟瞰景)、表征方式(RGB与XYZ)、存储方式(有序像素与无序点云)差异较大，导致深度融合效果一般较差，并且数据增强方面提升有限。
因此，如何能够提高交通目标检测的天气适应性以及准确度成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于毫米波雷达与视觉融合的路侧端目标检测方法及基于毫米波雷达与视觉融合的路侧端目标检测装置，解决相关技术中存在的交通目标检测天气适应性差的问题。
作为本发明的第一个方面，提供一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其中，包括：
获取训练数据集，其中所述训练数据集包括点云数据集和图像数据集，所述点云数据集被划分为物理数据集和三维特征集；
分别根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，以及根据所述图像数据集进行训练获得图像检测框模型；
将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；
将路侧端实时采集信息分别输入至所述第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果；
其中，当天气处于特定恶劣天气时，所述第一融合检测结果的置信度大于所述第二融合检测结果的置信度，反之所述第一融合检测结果的置信度小于或者等于所述第二融合检测结果的置信度。
进一步地，根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，包括：
对所述物理数据集进行聚类处理，得到多个聚类中心；
根据每个聚类中心建立聚类簇的最小3D包围框，获得物理检测框模型。
进一步地，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，包括：
根据激光点云算法对所述三维特征集进行训练，得到三维检测框模型。
进一步地，根据所述图像数据集进行训练获得图像检测框模型，包括：
根据目标检测算法对所述图像数据集进行训练，获得图像检测框模型。
进一步地，将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型，包括：
将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准；
将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，获得第一融合检测模型；
将所述物理检测框模型和所述三维检测框模型均从所述雷达坐标系中投影到所述图像坐标系中，并与所述图像检测框进行融合，获得第二融合检测模型。
进一步地，将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准，包括：
将所述图像坐标系进行旋转和平移处理，其中旋转和平移的计算公式为：
Figure BDA0003772449220000021
其中，(xr，yr，zr)表示图像坐标系，(xc，yc，zc)表示雷达坐标系，R表示3*3的转换矩阵，(t1，t2，t3)表示平移向量。
进一步地，将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，包括：
计算所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中的几何一致性；
判断所述雷达坐标系中的几何一致性的计算结果是否大于第一预设阈值；
若大于第一阈值阈值，则对所述物理检测框模型和所述三维检测框模型进行融合。
进一步地，将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，包括：
将所述物理检测框模型和所述三维检测框模型从所述雷达坐标系中投影至图像坐标系中；
计算所述物理检测框模型、三维检测框模型和图像检测框模型在所述图像坐标系中的几何一致性；
判断所述图像坐标系中的几何一致性的计算结果是否大于第二预设阈值；
若大于第二预设阈值，则对所述物理检测框模型、三维检测框模型和图像检测框模型进行融合。
进一步地，所述物理数据集包括散射截面积、相对速度、绝对速度和首次出现帧号，所述三维特征集包括XYZ坐标信息。
作为本发明的另一个方面，提供一种基于毫米波雷达与视觉融合的路侧端目标检测装置，其中，包括：存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并处理所述计算机指令，以实现前文所述的基于毫米波雷达与视觉融合的路侧端目标检测方法。
本发明提供的基于毫米波雷达与视觉融合的路侧端目标检测方法，通过将毫米波雷达的点云数据集划分为物理数据集和三维特征集，进而能够实现与图像数据集进行晚期融合，从而有效提升不同天气情况的检测适应性，极大提升算法的鲁棒性和抗干扰性。另外，本发明实施例的基于毫米波雷达与视觉融合的路侧端目标检测方法是在检测后进行的融合，架构上简单，能够大大降低算法的计算复杂度，且能够有效提升检测精度。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的基于毫米波雷达与视觉融合的路侧端目标检测方法的流程图。
图2为本发明提供的基于毫米波雷达与视觉融合的路侧端目标检测方法的具体实施方式流程图。
图3为本发明提供的目标从雷达坐标系转换为图像坐标系的示意图。
图4为本发明提供的基于毫米波雷达与视觉融合的路侧端目标检测装置的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于毫米波雷达与视觉融合的路侧端目标检测方法，图1是根据本发明实施例提供的基于毫米波雷达与视觉融合的路侧端目标检测方法的流程图，如图1所示，包括：
S100、获取训练数据集，其中所述训练数据集包括点云数据集和图像数据集，所述点云数据集被划分为物理数据集和三维特征集；
在本发明实施例中，为了便于后期进行基于两传感器分支一致性信息的晚期融合，因此使用同一场景的跨模态VoD数据集，其图像信息与雷达点云信息分别存储为图像数据集与点云数据集，其点云数据集带有七个维度的特征，再将其划分为三维特征集和物理数据集。
具体地，所述物理数据集包括散射截面积、相对速度、绝对速度和首次出现帧号，所述三维特征集包括XYZ坐标信息。
S200、分别根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，以及根据所述图像数据集进行训练获得图像检测框模型；
在本发明实施例中，根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，包括：
对所述物理数据集进行聚类处理，得到多个聚类中心；
根据每个聚类中心建立聚类簇的最小3D包围框，获得物理检测框模型。
具体地，对物理数据集进行DBSCAN聚类，建立聚类簇的最小3D包围框，认作TP，模型训练阶段结束。
下面对本发明实施例提供的DBSCAN聚类算法的具体实施过程进行详细描述。
1)首先根据预先确定聚类参数Eps(邻域阈值)和MinPts(点数阈值)对某个未处理的点进行判断，若其Eps邻域内数据点数量大于MinPts，则标记为核心点，并标记上对应的点群编号，同时将其Eps邻域内所有点标记为同一点群编号；若其半径Eps内数据点数量小于MinPts，但是该点落在某核心点的Eps邻域内，则称之为边界点，一个边界点可能同时落入一个或多个核心点的Eps邻域；若其Eps邻域内数据点数量小于MinPts，则将该点标记为噪声点，处理下一个点；
2)然后对该点邻域内点处理，各自判断是否为核心点，并将其中属于核心点的数据点的Eps邻域内点加入对应的点群中并进行核心点判断；
3)以步骤2)的方式不断扩张，直到该点群内所有点都处理完毕，从而得到一个包含核心点和边界点的最大化的点群。
4)之后再寻找下一个点群，重复步骤1)～3)，依次类推处理完毕所有数据点，则聚类完成，输出的每个数据点都标记上相应的点群编号或噪声点。
作为三维检测框模型获取的具体实施方式，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，包括：
根据激光点云算法对所述三维特征集进行训练，得到三维检测框模型。
具体地，根据PointPillars算法对所述三维特征集进行训练，得到候选目标3D检测框，并认作T3D。
作为图像检测框获取的具体实施方式，根据所述图像数据集进行训练获得图像检测框模型，包括：
根据目标检测算法对所述图像数据集进行训练，获得图像检测框模型。
具体地，根据YOLOv4算法对所述图像数据集进行训练，得到候选目标2D检测框，并认作T2D。
S300、将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；
在本发明实施例中，具体可以包括：
S310、将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准；
具体地，包括：
将所述图像坐标系进行旋转和平移处理，其中旋转和平移的计算公式为：
Figure BDA0003772449220000051
其中，(xr，yr，zr)表示图像坐标系，(xc，yc，zc)表示雷达坐标系，R表示3*3的转换矩阵，(t1，t2，t3)表示平移向量。
应当理解的是，毫米波雷达与相机坐标系的配准标准包括旋转和平移。
S320、将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，获得第一融合检测模型；
在本发明实施例中，具体可以包括：
计算所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中的几何一致性；
判断所述雷达坐标系中的几何一致性的计算结果是否大于第一预设阈值；
若大于第一阈值阈值，则对所述物理检测框模型和所述三维检测框模型进行融合。
S330、将所述物理检测框模型和所述三维检测框模型均从所述雷达坐标系中投影到所述图像坐标系中，并与所述图像检测框进行融合，获得第二融合检测模型。
在本发明实施例中，具体可以包括：
将所述物理检测框模型和所述三维检测框模型从所述雷达坐标系中投影至图像坐标系中；
计算所述物理检测框模型、三维检测框模型和图像检测框模型在所述图像坐标系中的几何一致性；
判断所述图像坐标系中的几何一致性的计算结果是否大于第二预设阈值；
若大于第二预设阈值，则对所述物理检测框模型、三维检测框模型和图像检测框模型进行融合。
S400、将路侧端实时采集信息分别输入至所述第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果；
其中，当天气处于特定恶劣天气时，所述第一融合检测结果的置信度大于所述第二融合检测结果的置信度，反之所述第一融合检测结果的置信度小于或者等于所述第二融合检测结果的置信度。
具体地，当天气处于特定恶劣天气时，以第一融合检测结果作为最终的路侧端目标检测结果，当天气正常时，即非恶劣天气时，以第二融合检测结果作为最终的路侧端检测结果。
此处需要说明的是，特定恶劣天气具体可以理解为能够影响视觉摄像头采集的天气，例如雨雪雾等天气。
应当理解的是，在将所述物理检测框模型和所述三维检测框模型从所述雷达坐标系中投影至图像坐标系中时，需要进行雷视坐标系转换，具体可以将将雷达坐标系中的目标点位置映射到图像坐标系；其中(Xc，Yc，Zc)为雷达坐标系，(Xr，Yr，Zr)为图像坐标系，如方程所示：
Figure BDA0003772449220000061
空间转换矩阵T为：
Figure BDA0003772449220000062
Figure BDA0003772449220000071
在进行训练时，可以将步骤S200中漏检和误检的样本作为“难例”，利用“难例”数据集再次训练以得到最终的模型。然后利用该模型对实时场景进行交通目标检测。
应当理解的是，如图2所示，当在正常天气时，可以通过雷达与视觉进行融合，以雷达和视觉融合后的结果作为检测结果；当在极端天气时(例如雨雪雾等)，摄像头由于极端天气的影响采集结果会受影响，因而仅以毫米波雷达的检测结果作为最终检测结果。
因此，在正常天气时，可以将2D几何一致性作为检测结果，在极端天气时，将3D几何一致性作为检测结果。
在具体实施时，正常天气情况下，将3D检测框模型和物理检测框模型均与2D检测框模型进行融合，即从雷达坐标系共同投影到图像坐标系中，计算3D检测框模型和物理检测框模型与2D检测框模型的几何一致性IOU2D，结果大于0.7的则认定为有效目标。如图3所示，IOU2D的计算方法具体如下：
有三矩形框面积分别为S1，S2，S3，则结果为：
Figure BDA0003772449220000072
此处S1、S2和S3分别表示3D检测框模型、物理检测框模型和2D检测框模型的矩形框面积。
当遇到极端天气时，由于摄像头的采集数据受极端天气影响会存在结果不准确的情况，因此，仅计算3D检测框模型与物理检测框模型在雷达坐标系中的几何一致性IOU3D，结果大于0.7的则认定为有效目标。如图3所示，IOU3D的计算方法具体如下：
有两柱体体积分别为V1和V2，则结果为：
Figure BDA0003772449220000073
此处V1和V2分别表示3D检测框模型柱体和物理检测框模型柱体的柱体体积。
需要说明的是，图3所示为目标从雷达坐标系转换为图像坐标系的示意图。图3示出了毫米波雷达和摄像头的相对位置，图中O-Xc-Yc-Zc表示摄像头坐标系，O-Xr-Yr-Zr表示雷达坐标系，O-U-V表示图像数组坐标系，原点为图像左上角。相机坐标系和雷达坐标系以米为测量单位，图像数组坐标系以像素数为基本单位。图3中点p代表目标点，p'为p对应的图像像素点。
本发明实施例提供的基于毫米波雷达与视觉融合的路侧端目标检测方法，通过将毫米波雷达的点云数据集划分为物理数据集和三维特征集，进而能够实现与图像数据集进行晚期融合，从而有效提升不同天气情况的检测适应性，极大提升算法的鲁棒性和抗干扰性。另外，本发明实施例的基于毫米波雷达与视觉融合的路侧端目标检测方法是在检测后进行的融合，架构上简单，能够大大降低算法的计算复杂度，且能够有效提升检测精度。
作为本发明的另一实施例，提供一种基于毫米波雷达与视觉融合的路侧端目标检测装置，包括：存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并处理所述计算机指令，以实现前文所述的基于毫米波雷达与视觉融合的路侧端目标检测方法。
在本发明实施例中，如图4所示，该基于毫米波雷达与视觉融合的路侧端目标检测装置可以包括：至少一个处理器41，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口43，存储器44，至少一个通信总线42。其中，通信总线42用于实现这些组件之间的连接通信。其中，通信接口43可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口43还可以包括标准的有线接口、无线接口。存储器44可以是高速RAM存储器(RandomAccess Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器44可选的还可以是至少一个位于远离前述处理器41的存储装置。其中，存储器44中存储应用程序，且处理器41调用存储器44中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线42可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线42可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器44可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器44还可以包括上述种类的存储器的组合。
其中，处理器41可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器41还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器44还用于存储程序指令。处理器41可以调用程序指令，实现如本发明图1实施例中所示的基于毫米波雷达与视觉融合的路侧端目标检测方法。
本发明实施例还提供了一种非暂态计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于毫米波雷达与视觉融合的路侧端目标检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其特征在于，包括：
获取训练数据集，其中所述训练数据集包括点云数据集和图像数据集，所述点云数据集被划分为物理数据集和三维特征集；
分别根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，以及根据所述图像数据集进行训练获得图像检测框模型；
将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；
将路侧端实时采集信息分别输入至所述第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果；
其中，当天气处于特定恶劣天气时，所述第一融合检测结果的置信度大于所述第二融合检测结果的置信度，反之所述第一融合检测结果的置信度小于或者等于所述第二融合检测结果的置信度。
2.根据权利要求1所述的方法，其特征在于，根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，包括：
对所述物理数据集进行聚类处理，得到多个聚类中心；
根据每个聚类中心建立聚类簇的最小3D包围框，获得物理检测框模型。
3.根据权利要求1所述的方法，其特征在于，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，包括：
根据激光点云算法对所述三维特征集进行训练，得到三维检测框模型。
4.根据权利要求1所述的方法，其特征在于，根据所述图像数据集进行训练获得图像检测框模型，包括：
根据目标检测算法对所述图像数据集进行训练，获得图像检测框模型。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型，包括：
将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准；
将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，获得第一融合检测模型；
将所述物理检测框模型和所述三维检测框模型均从所述雷达坐标系中投影到所述图像坐标系中，并与所述图像检测框进行融合，获得第二融合检测模型。
6.根据权利要求5所述的方法，其特征在于，将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准，包括：
将所述图像坐标系进行旋转和平移处理，其中旋转和平移的计算公式为：
Figure FDA0003772449210000021
其中，(xr，yr，zr)表示图像坐标系，(xc，yc，zc)表示雷达坐标系，R表示3*3的转换矩阵，(t1，t2，t3)表示平移向量。
7.根据权利要求5所述的方法，其特征在于，将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，包括：
计算所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中的几何一致性；
判断所述雷达坐标系中的几何一致性的计算结果是否大于第一预设阈值；
若大于第一阈值阈值，则对所述物理检测框模型和所述三维检测框模型进行融合。
8.根据权利要求5所述的方法，其特征在于，将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，包括：
将所述物理检测框模型和所述三维检测框模型从所述雷达坐标系中投影至图像坐标系中；
计算所述物理检测框模型、三维检测框模型和图像检测框模型在所述图像坐标系中的几何一致性；
判断所述图像坐标系中的几何一致性的计算结果是否大于第二预设阈值；
若大于第二预设阈值，则对所述物理检测框模型、三维检测框模型和图像检测框模型进行融合。
9.根据权利要求1所述的方法，其特征在于，所述物理数据集包括散射截面积、相对速度、绝对速度和首次出现帧号，所述三维特征集包括XYZ坐标信息。
10.一种基于毫米波雷达与视觉融合的路侧端目标检测装置，其特征在于，包括：存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并处理所述计算机指令，以实现权利要求1至9中任意一项所述的基于毫米波雷达与视觉融合的路侧端目标检测方法。
CN202210905832.2A 2022-07-29 2022-07-29 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 Pending CN115327524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905832.2A CN115327524A (zh) 2022-07-29 2022-07-29 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905832.2A CN115327524A (zh) 2022-07-29 2022-07-29 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN115327524A true CN115327524A (zh) 2022-11-11

Family

ID=83919319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905832.2A Pending CN115327524A (zh) 2022-07-29 2022-07-29 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN115327524A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN116824859A (zh) * 2023-07-21 2023-09-29 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN116824859A (zh) * 2023-07-21 2023-09-29 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析系统
CN116824859B (zh) * 2023-07-21 2024-04-05 佛山市新基建科技有限公司 一种基于物联网的智慧交通大数据分析系统

Similar Documents

Publication Publication Date Title
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
CN110348297B (zh) 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN115327524A (zh) 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
WO2020258297A1 (zh) 图像语义分割方法、可移动平台及存储介质
CN115082674A (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN112613344B (zh) 车辆占道检测方法、装置、计算机设备和可读存储介质
CN113935428A (zh) 基于图像识别的三维点云聚类识别方法及系统
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN114782787A (zh) 一种对点云与图像数据进行特征融合的处理方法和装置
CN111523439A (zh) 一种基于深度学习的目标检测的方法、系统、设备及介质
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN113657282A (zh) 自车道的提取方法、装置和电子设备
CN114792416A (zh) 一种目标检测方法及装置
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN114663598A (zh) 三维建模方法、装置和存储介质
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
WO2023131203A1 (zh) 语义地图更新方法、路径规划方法以及相关装置
CN111259709B (zh) 基于弹性多边形的停车位结构检测模型的训练方法
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN116824152A (zh) 基于点云的目标检测方法及装置、可读存储介质、终端
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination