CN114092778A - 基于表征学习的雷达摄像头数据融合系统及方法 - Google Patents

基于表征学习的雷达摄像头数据融合系统及方法 Download PDF

Info

Publication number
CN114092778A
CN114092778A CN202210081199.XA CN202210081199A CN114092778A CN 114092778 A CN114092778 A CN 114092778A CN 202210081199 A CN202210081199 A CN 202210081199A CN 114092778 A CN114092778 A CN 114092778A
Authority
CN
China
Prior art keywords
radar
data
module
camera
characterization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210081199.XA
Other languages
English (en)
Inventor
孙浩
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anngic Technology Co ltd
Original Assignee
Shenzhen Anngic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anngic Technology Co ltd filed Critical Shenzhen Anngic Technology Co ltd
Priority to CN202210081199.XA priority Critical patent/CN114092778A/zh
Publication of CN114092778A publication Critical patent/CN114092778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于表征学习的雷达摄像头数据融合系统及方法，包括采集模块、传输模块、接收模块、输出模块、表征学习网络模块和数据融合模块，所述采集模块控制连接有传输模块,传输模块控制连接有接收模块,接收模块控制连接有输出模块；融合方法，包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理；步骤四，提取表征向量；步骤五，数据融合；该发明，通过提出一种可扩展的、基于学习的雷达‑相机融合框架，适合在真实的自动驾驶应用中构建低成本、可生产的感知系统；通过表征学习发展了一种鲁棒性的模型，可以操作多种具有挑战性的场景，且提升了预测准确率，同时使用剪枝量化后的yolov3模型缩短了运行时间。

Description

基于表征学习的雷达摄像头数据融合系统及方法
技术领域
本发明涉及雷达摄像头数据融合系统技术领域，具体为基于表征学习的雷达摄像头数据融合系统及方法。
背景技术
虽然基于激光雷达的3D对象检测在高级自主性中非常受欢迎，但其广泛的采用仍受到一些未解决的问题的限制。首先，激光雷达容易受天气影响；第二，目前的激光雷达系统仍然表现出非常高的维护需求和成本；第三，激光雷达的大规模生产还没有准备好满足日益增长的需求。
汽车毫米波雷达还可以以相对精确的范围和速度估计提供一定水平的几何信息。此外，雷达作为汽车上几十年来广泛采用的传感器，其性能相对稳健、低成本、维护水平较低
传统上，雷达-照相机的融合是通过结合基于规则的关联算法和基于运动学模型的跟踪来实现的。关键是雷达和相机检测之间的数据关联。雷达检测的噪声和稀疏性以及单声道摄像机的深度模糊性使得这种关联问题非常具有挑战性。传统上，关联过程是基于最小化某些距离度量和一些启发式规则而手工制作的。它不仅需要大量的工程和调优，而且也难以适应不断增长的数据。
一个新兴的解决方案是使用基于学习的方法来取代基于规则的雷达-相机融合。最新的进展集中在结合雷达和摄像机数据作为输入的直接三维目标检测。这些方法都依赖于基于激光雷达的地面真相来建立雷达和照相机之间的联系。这在大多数公共数据集上是可行的，如nuScenes，Waymo等。然而，它不能用于大型商业自动驾驶汽车，通常只配备雷达和摄像头。
发明内容
本发明的目的在于提供基于表征学习的雷达摄像头数据融合系统及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于表征学习的雷达摄像头数据融合系统，包括采集模块、传输模块、接收模块、输出模块、表征学习网络模块和数据融合模块，所述采集模块控制连接有传输模块 ，所述采集模块用于采集相机和雷达检测到的信息方面的数据，传输模块控制连接有接收模块并用于对采集到的数据进行传输，所述接收模块用于接收传输模块传输的数据并控制连接有输出模块，所述输出模块用于根据所述采集模块采集到的数据经过处理形成多维输入数据，所述表征学习网络模块与所述输出模块连接，用于根据多维输入数据进行数据处理，得到特征图并从所述特征图中提取出表征向量，形成融合数据结果。
优选的，所述输出模块包括图像检测结果输出模块和雷达点检测结果输出模块，分别用于处理采集到的相机和雷达的数据并输出处理后的数据。
优选的，所述图像检测结果输出模块用于处理相机输出的图像数据并输出图像经目标检测后形成的数据信息，所述雷达点检测结果输出模块用于对一系列雷达点数据进行处理得到雷达处理数据，所述一系列雷达点数据是根据雷达返回信号进行后处理提到的，所述后处理包括将雷达返回信号进行滤波处理。
优选的，所述表征学习网络模块控制连接有数据融合模块，所述数据融合模块用于根据提取出的表征向量进行特征匹配，得到与雷达点数据匹配的融合数据。
优选的，所述多维输入数据包括相机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据。
优选的，所述三通道RGB图像经目标检测后的数据信息是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，运行时间为12ms，且运行速度为24-26ms，fps为40；所述雷达处理数据是根据雷达返回的一系列雷达点数据经滤波处理后，再结合雷达和相机安装的相对位置以及时间而得到的；其中，每个雷达点对应为障碍物，且除Heatmap外的雷达点数据值分别映射到图像平面对应的位置。
优选的，所述表征学习网络模块进一步基于Resnet-50方法进行学习，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；所述表征学习网络模块进一步根据提取到的表征向量，通过所述正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 977714DEST_PATH_IMAGE001
负样本的损失加和，得到排斥损失：
Figure 757451DEST_PATH_IMAGE002
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
物体在3D时间中的顺序通过检测框底部的相对距离次序来推测，计算额外的顺序损失：
Figure 152661DEST_PATH_IMAGE003
其中
Figure 904716DEST_PATH_IMAGE004
为正样本集的大小，
Figure 727178DEST_PATH_IMAGE005
为预测为正关联的正样本集，（i1，i2）为第i个 关联对，包含雷达针i1，检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标 系下雷达点的深度，ymax为检测框底部的y坐标，
Figure 994212DEST_PATH_IMAGE006
为激活函数，最后利用设置的数据融合 模块对数据进行融合计算总损失，且总损失计算公式为：
Figure 881527DEST_PATH_IMAGE007
式中，W ord 是预设的序列损失所占的比重。
以及，一种基于表征学习的雷达摄像头数据融合方法，包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理，形成多维输入数据；步骤四，生成特征图生成特征图，提取表征向量；步骤五，数据融合；
其中上述步骤一中，首先将相机和雷达分别安装在所需位置处；
其中上述步骤二中，将步骤一中安装的相机和雷达检测到的信息进行采集，随后对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据，所述后处理包括将雷达返回信号进行滤波处理；
其中上述步骤三中，包括以下过程：
接收步骤二中传输的数据，即接收经过相机输出的三通道RGB图像以及经过雷达后处理的雷达点数据，随后根据接收到的三通道RGB图像进行处理并输出，具体是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，亦可用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，同时运行时间为12ms，且该融合系统的运行速度为24-26ms，fps为40；
根据接收到的一系列雷达点数据，结合雷达和相机安装的相对位置以及时间得到雷达处理数据，其中，每个雷达点均对应为障碍物，且除Heatmap外的雷达点数据值映射到图像平面对应的位置处；所述多维输入数据包括机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据；并根据所述多维输入数据进行处理，得到特征图；
其中上述步骤四中，由于步骤三中得到的特征图中包括了雷达点和检测框的高维空间向量表征信息，每个雷达点和检测框都在特征图中具有独有的像素位置，随后根据像素位置利用设置的表征学习网络模块提取表征向量，同时表征学习网络模块基于Resnet-50方法进行学习，且雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；
其中上述步骤五中，根据步骤四中提取到的表征向量，利用正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 550406DEST_PATH_IMAGE008
负样本的损失加和，得到排斥损失：
Figure 481453DEST_PATH_IMAGE002
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
由于物体在3D时间中的顺序可以通过检测框底部的相对距离次序来推测，因此设计了一个额外的顺序损失：
Figure 422733DEST_PATH_IMAGE009
其中
Figure 159745DEST_PATH_IMAGE010
为正样本集的大小，
Figure 683130DEST_PATH_IMAGE011
为预测为正关联的正样本集，（i1，i2）为第i 个关联对，包含雷达针i1，检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐 标系下雷达点的深度，ymax为检测框底部的y坐标，
Figure 112975DEST_PATH_IMAGE012
为激活函数，最后对数据进行融合计 算总损失，且总损失计算公式为：
Figure 292283DEST_PATH_IMAGE013
随后即完成雷达摄像头的数据融合工作，式中，W ord 是预设的序列损失所占的比重。
优选的，所述步骤三中，检测框中的属性有h、w、c以及Heatmap，且h的具体含义为图像平面中的检测框的高度、w的具体含义为图像平面中的检测框的宽度、c的具体含义为检测到的目标类别，以及Heatmap的具体含义为相机图像的热图。
优选的，所述步骤三中，雷达数据值的属性有id、p、x、y、Vx、Vy以及Heatmap，同时id的具体含义为雷达点ID，p的具体含义为雷达点检测到的物体属于障碍物的概率，x的具体含义为雷达点在x方向上的坐标，y的具体含义为雷达点在y方向上的坐标，Vx的具体含义为雷达点在x方向上的速度，Vy的具体含义为雷达点在y方向上的速度，Heatmap的具体含义为雷达热图。
与现有技术相比，本发明的有益效果是：该发明，提出一种可扩展的、基于学习的雷达-相机融合框架，无需使用激光雷达的地面真实标签，适合在真实的自动驾驶应用中构建低成本、可生产的感知系统；通过表征学习发展了一种鲁棒性的模型，可以操作多种具有挑战性的场景，且提升了预测准确率，同时使用剪枝量化后的yolov3模型缩短了运行时间。
附图说明
图1为本发明实施例的整体模块示意图；
图2为本发明实施例的系统流程图；
图3为本发明实施例中的方法流程图；
图4为本发明实施例的Resnet-50+U-Net网络架构图；
图5为本发明实施例的方法工作原理架构图；
图中：1、采集模块；2、传输模块；3、接收模块；4、输出模块；5、表征学习网络模块；6、数据融合模块；401、图像检测结果输出模块；402、雷达点检测结果输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供的一种实施例：基于表征学习的雷达摄像头数据融合系统，包括采集模块1、传输模块2、接收模块3、输出模块4、表征学习网络模块5和数据融合模块6，采集模块1控制连接有传输模块2,传输模块2控制连接有接收模块3,接收模块3控制连接有输出模块4,输出模块4包括图像检测结果输出模块401和雷达点检测结果输出模块402，分别用于处理采集到的相机和雷达的数据并输出处理后的数据，输出模块4控制连接有表征学习网络模块5,表征学习网络模块5控制连接有数据融合模块6。
具体地，采集模块1用于采集相机和雷达检测到的信息方面的数据，传输模块2用于对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据，接收模块3用于接收传输模块2传输的数据，所述后处理包括将雷达返回信号进行滤波处理。所述输出模块4用于根据所述采集模块采集到的数据经过处理形成多维输入数据，所述表征学习网络模块5与所述输出模块4连接，用于根据多维输入数据进行数据处理，得到特征图并从特征图中提取出表征向量，经匹配后形成融合数据结果。
具体地，图像检测结果输出模块401用于根据接收到的三通道RGB图像进行输出，具体用于处理相机输出的图像数据并输出图像经目标检测后形成的数据信息，更优选地，图像检测结果输出模块401是根据使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，同时给检测框的每个属性单独分配一个通道，其中，yolov3模型优化至49层，同时运行时间为12ms，且运行速度为24-26ms，fps为40，若不考虑速度，用原版yolov3或其他目标检测网络；所述雷达点检测结果输出模块402用于对一系列雷达点数据进行处理得到雷达处理数据，所述一系列雷达点数据是根据雷达返回信号进行后处理得到的。具体为，雷达点检测结果输出模块402根据接收到的一系列雷达点数据，再结合雷达和相机安装的相对位置以及时间得到雷达处理数据；其中，每个雷达点均对应为障碍物，雷达点检测结果输出模块402还用于将除Heatmap外的雷达数据值映射到图像平面对应的位置处。所述多维输入数据包括相机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据。所述表征学习网络模块5根据多维输入数据进行数据处理，得到特征图并从特征图中提取出表征向量，所述数据融合模块6用于根据提取出的表征向量进行特征匹配，得到与雷达点数据匹配的融合数据。
具体地，表征学习网络模块5用于提取表征向量，同时基于Resnet-50方法进行学习，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；表征学习网络模块5进一步根据提取到的表征向量，通过正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 567407DEST_PATH_IMAGE014
负样本的损失加和，得到排斥损失：
Figure 210878DEST_PATH_IMAGE002
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
物体在3D时间中的顺序通过检测框底部的相对距离次序来推测，计算额外的顺序损失：
Figure 234460DEST_PATH_IMAGE016
其中
Figure 963381DEST_PATH_IMAGE017
为正样本集的大小，
Figure 42196DEST_PATH_IMAGE018
为预测为正关联的正样本集，（i1，i2）为第 i个关联对，包含雷达针i1和检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机 坐标系下雷达点的深度，ymax为检测框底部的y坐标，
Figure 540173DEST_PATH_IMAGE019
为激活函数，最后利用设置的数据 融合模块6对数据进行融合计算总损失，且总损失计算公式为：
Figure 249503DEST_PATH_IMAGE020
式中，W ord 是预设的序列损失所占的比重。
请参阅图3-4，本发明实施例另一方面提供的一种基于表征学习的雷达摄像头数据融合方法，上述基于表征学习的雷达摄像头数据融合系统中各模块的功能参照以下方法的步骤或过程或功能作用。
该方法包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理，形成多维输入数据；步骤四，生成特征图，提取表征向量；步骤五，数据融合；
其中上述步骤一中，首先将相机和雷达分别安装在所需位置处，且使用的相机具有120°的视场角，同时分辨率为1920*1080，使用的雷达为毫米波雷达；
其中上述步骤二中，利用采集模块1将步骤一中安装的相机和雷达检测到的信息进行采集，随后利用设置的传输模块2对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据；
其中上述步骤三中，包括以下过程：利用设置的接收模块3将步骤二中传输的数据进行接收，即接收经过相机输出的三通道RGB图像以及经过雷达后处理的雷达点数据，随后图像检测结果输出模块401根据接收到的三通道RGB图像进行处理并输出，且图像检测结果输出模块401是根据使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，同时给检测框的每个属性单独分配一个通道，若不考虑速度，亦可用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，同时运行时间为12ms，且通过前述融合系统操作，该系统的运行速度为24-26ms，fps为40。优选地，检测框中的属性有h、w、c以及Heatmap，且h的具体含义分别为图像平面中的检测框的高度、w的具体含义为图像平面中的检测框的宽度、c的具体含义为检测到的目标类别，如：轿车、新人、卡车以及其他目标，以及Heatmap的具体含义为相机图像的热图；根据接收到的一系列雷达点数据，结合雷达和相机安装的相对位置以及时间得到雷达处理数据，其中，每个雷达点均对应为障碍物，雷达点检测结果输出模块402将雷达数据值映射（除Heatmap外）到图像平面对应的位置处得到；所述多维输入数据包括机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据，表征学习网络模块5根据所述多维输入数据进行处理，生成特征图。优选地，雷达数据值的属性有id、p、x、y、Vx、Vy以及Heatmap，同时id的具体含义为雷达点ID，p的具体含义为雷达点检测到的物体属于障碍物的概率，x的具体含义为雷达点在x方向上的坐标，y的具体含义为雷达点在y方向上的坐标，Vx的具体含义为雷达点在x方向上的速度，Vy的具体含义为雷达点在y方向上的速度，Heatmap的具体含义为雷达热图。由此，利用图像检测结果输出模块401和雷达点检测结果输出模块402的工作，从而组成14个通道的多维输入，生成特征图，并进行下一步处理；
其中上述步骤四中，由于步骤三中得到的特征图中包括了雷达点和检测框的高维空间向量表征信息，每个雷达点和检测框都在特征图中具有独有的像素位置，随后根据像素位置利用设置的表征学习网络模块5提取表征向量，同时表征学习网络模块5基于Resnet-50方法进行学习，优选采用的Resnet-50+U-Net网络架构图如图4，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；
其中上述步骤五中，根据步骤四中提取到的表征向量，利用正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 200141DEST_PATH_IMAGE021
负样本的损失加和，得到排斥损失：
Figure 82647DEST_PATH_IMAGE002
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
由于物体在3D时间中的顺序可以通过检测框底部的相对距离次序来推测，因此设计了一个额外的顺序损失：
Figure 435131DEST_PATH_IMAGE022
其中
Figure 564630DEST_PATH_IMAGE023
为正样本集的大小，
Figure 2564DEST_PATH_IMAGE024
为预测为正关联的正样本集，（i1，i2）为第i 个关联对，包含雷达针i1和检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机 坐标系下雷达点的深度，ymax为检测框底部的y坐标，
Figure 423181DEST_PATH_IMAGE025
为激活函数，最后利用设置的数据 融合模块6对数据进行融合计算总损失，且总损失计算公式为：
Figure 895751DEST_PATH_IMAGE026
随后即可完成雷达摄像头的数据融合工作，式中，W ord 是预设的序列损失所占的比重，W ord 优选为0.1-0.3，更优选为0.2。
如图5所示，显示本发明实施例的具体实例的工作原理，首先，通过摄像头进行采集图像等方法的信息数据，摄像头（或相机）输出三通道RGB图像，再通过图像检测结果输出模块401得到目标检测模型，再进一步处理得到四通道图像伪图。而对于雷达，先进行信号处理，即滤波处理，经过雷达后处理，即滤波处理的雷达点数据，得到七通道雷达伪图，由此通过图像检测结果输出模块401和雷达点检测结果输出模块402的操作，将三通道RGB图像、四通道图像伪图、七通道雷达伪图组成14个通道的多维输入数据的图。然后，通过表征学习网络模块提取到表征向量，包括各雷达的点向量和各目标框向量，再进行特征匹配，提到匹配结果，即可完成雷达摄像头的数据融合工作。
基于上述，本发明的优点在于，通过使用剪枝量化后的yolov3模型，充分的缩短了运行时间，同时，提出了一种可扩展的、基于学习的雷达-相机融合框架，无需使用激光雷达的地面真实标签，适合在真实的自动驾驶应用中构建低成本、可生产的感知系统，增加了该发明的适用范围。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于表征学习的雷达摄像头数据融合系统，其特征在于，包括采集模块（1）、传输模块（2）、接收模块（3）、输出模块（4）、表征学习网络模块（5）和数据融合模块（6），所述采集模块（1）控制连接有传输模块（2），所述采集模块（1）用于采集相机和雷达检测到的信息方面的数据，传输模块（2）控制连接有接收模块（3）并用于对采集到的数据进行传输，所述接收模块（3）用于接收传输模块（2）传输的数据并控制连接有输出模块（4），所述输出模块（4）用于根据所述采集模块采集到的数据经过处理形成多维输入数据，所述表征学习网络模块（5）与所述输出模块（4）连接，用于根据多维输入数据进行数据处理，得到特征图并从特征图中提取出表征向量，经匹配后形成融合数据结果。
2.如权利要求1所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述输出模块（4）包括图像检测结果输出模块（401）和雷达点检测结果输出模块（402），分别用于处理采集到的相机和雷达的数据并输出处理后的数据。
3.如权利要求2所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述图像检测结果输出模块（401）用于处理相机输出的图像数据并输出图像经目标检测后形成的数据信息，所述雷达点检测结果输出模块（402）用于对一系列雷达点数据进行处理得到雷达处理数据，所述一系列雷达点数据是根据雷达返回信号进行后处理得到的，所述后处理包括将雷达返回信号进行滤波处理。
4.如权利要求3所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述表征学习网络模块（5）控制连接有数据融合模块（6），所述数据融合模块（6）用于根据提取出的表征向量进行特征匹配，得到与雷达点数据匹配的融合数据。
5.如权利要求3所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述多维输入数据包括相机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据。
6.如权利要求5所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述三通道RGB图像经目标检测后的数据信息是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，运行时间为12ms，且运行速度为24-26ms，fps为40；所述雷达处理数据是根据雷达返回的一系列雷达点数据经滤波处理后，再结合雷达和相机安装的相对位置以及时间而得到的；其中，每个雷达点对应为障碍物，且除Heatmap外的雷达点数据值分别映射到图像平面对应的位置。
7.如权利要求4所述的基于表征学习的雷达摄像头数据融合系统，其特征在于，所述表征学习网络模块（5）进一步基于Resnet-50方法进行学习，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；所述表征学习网络模块（5）进一步根据提取到的表征向量，通过所述正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 525524DEST_PATH_IMAGE001
负样本的损失加和，得到排斥损失：
Figure DEST_PATH_IMAGE003AAA
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
物体在3D时间中的顺序通过检测框底部的相对距离次序来推测，计算额外的顺序损失：
Figure 629615DEST_PATH_IMAGE004
其中
Figure 409353DEST_PATH_IMAGE005
为正样本集的大小，
Figure 804562DEST_PATH_IMAGE006
为预测为正关联的正样本集，（i1，i2）为第i个关联 对，包含雷达针i1，检测框i2；（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下 雷达点的深度，ymax为检测框底部的y坐标，
Figure 618934DEST_PATH_IMAGE007
为激活函数，最后利用设置的数据融合模块 （6）对数据进行融合计算总损失，且总损失计算公式为：
Figure 506643DEST_PATH_IMAGE008
式中，W ord 是预设的序列损失所占的比重。
8.一种基于表征学习的雷达摄像头数据融合方法，其特征在于，该方法包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理，形成多维输入数据；步骤四，生成特征图，提取表征向量；步骤五，数据融合；
其中上述步骤一中，首先将相机和雷达分别安装在所需位置处；
其中上述步骤二中，将步骤一中安装的相机和雷达检测到的信息进行采集，随后对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据，所述后处理包括将雷达返回信号进行滤波处理；
其中上述步骤三中，包括以下过程：
接收步骤二中传输的数据，即接收经过相机输出的三通道RGB图像以及经过雷达后处理的雷达点数据，随后根据接收到的三通道RGB图像进行处理并输出，具体是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，同时运行时间为12ms，且运行速度为24-26ms，fps为40；
根据接收到的一系列雷达点数据，结合雷达和相机安装的相对位置以及时间得到雷达处理数据，其中，每个雷达点均对应为障碍物，除Heatmap外的雷达点数据值映射到图像平面对应的位置处；所述多维输入数据包括机输出的三通道RGB图像、图像经目标检测后形成的数据信息以及雷达处理数据，根据所述多维输入数据进行处理，得到特征图；
其中上述步骤四中，由于步骤三中得到的特征图中包括了雷达点和检测框的高维空间向量表征信息，每个雷达点和检测框都在特征图中具有独有的像素位置，随后根据像素位置提取表征向量，同时基于Resnet-50技术进行表征学习，其中，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；
其中上述步骤五中，根据步骤四中提取到的表征向量，利用正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：
Figure 773676DEST_PATH_IMAGE009
负样本的损失加和，得到排斥损失：
Figure DEST_PATH_IMAGE003AAAA
其中POS和NGE分别为正样本集和负样本集，npos和nneg分别为POS中的关联数和NGE中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；hi1和hi2分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；
由于物体在3D时间中的顺序可以通过检测框底部的相对距离次序来推测，因此设计了一个额外的顺序损失：
Figure 34894DEST_PATH_IMAGE010
其中
Figure 703772DEST_PATH_IMAGE011
为正样本集的大小，
Figure 697136DEST_PATH_IMAGE012
为预测为正关联的正样本集，（i1，i2）为第i个关联 对，包含雷达针i1，检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下 雷达点的深度，ymax为检测框底部的y坐标，
Figure 451465DEST_PATH_IMAGE013
为激活函数，最后对数据进行融合计算总损 失，且总损失计算公式为：
Figure 250794DEST_PATH_IMAGE014
随后即完成雷达摄像头的数据融合工作，式中，W ord 是预设的序列损失所占的比重。
9.如权利要求8所述的基于表征学习的雷达摄像头数据融合方法，其特征在于，所述步骤三中，检测框中的属性有h、w、c以及Heatmap，且h的具体含义为图像平面中的检测框的高度、w的具体含义为图像平面中的检测框的宽度、c的具体含义为检测到的目标类别，以及Heatmap的具体含义为相机图像的热图。
10.如权利要求8所述的基于表征学习的雷达摄像头数据融合方法，其特征在于，所述步骤三中，雷达数据值的属性有id、p、x、y、Vx、Vy以及Heatmap，同时id的具体含义为雷达点ID，p的具体含义为雷达点检测到的物体属于障碍物的概率，x的具体含义为雷达点在x方向上的坐标，y的具体含义为雷达点在y方向上的坐标，Vx的具体含义为雷达点在x方向上的速度，Vy的具体含义为雷达点在y方向上的速度，Heatmap的具体含义为雷达热图。
CN202210081199.XA 2022-01-24 2022-01-24 基于表征学习的雷达摄像头数据融合系统及方法 Pending CN114092778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210081199.XA CN114092778A (zh) 2022-01-24 2022-01-24 基于表征学习的雷达摄像头数据融合系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210081199.XA CN114092778A (zh) 2022-01-24 2022-01-24 基于表征学习的雷达摄像头数据融合系统及方法

Publications (1)

Publication Number Publication Date
CN114092778A true CN114092778A (zh) 2022-02-25

Family

ID=80309209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210081199.XA Pending CN114092778A (zh) 2022-01-24 2022-01-24 基于表征学习的雷达摄像头数据融合系统及方法

Country Status (1)

Country Link
CN (1) CN114092778A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115236627A (zh) * 2022-09-21 2022-10-25 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
US20230305136A1 (en) * 2022-03-25 2023-09-28 Mitsubishi Electric Research Laboratories, Inc. System and Method for Radar Object Recognition with Cross-Frame Temporal Relationality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU DONG等: "Radar camera fusion via representation learning in autonomous driving", 《HTTPS://ARXIV.ORG/ABS/2103.07825》 *
巫婆塔里的工程师: "传感器融合：毫米波雷达+摄像头", 《ZHUANLAN.ZHIHU.COM/P/381927166》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230305136A1 (en) * 2022-03-25 2023-09-28 Mitsubishi Electric Research Laboratories, Inc. System and Method for Radar Object Recognition with Cross-Frame Temporal Relationality
US12105185B2 (en) * 2022-03-25 2024-10-01 Mitsubishi Electric Research Laboratories, Inc. System and method for radar object recognition with cross-frame temporal relationality
CN115236627A (zh) * 2022-09-21 2022-10-25 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法

Similar Documents

Publication Publication Date Title
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN114092778A (zh) 基于表征学习的雷达摄像头数据融合系统及方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN114913206A (zh) 一种基于多模态融合的多目标跟踪的方法和系统
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN114384486A (zh) 一种数据处理方法及装置
Dai et al. Enhanced Object Detection in Autonomous Vehicles through LiDAR—Camera Sensor Fusion.
Zhang et al. Depth Monocular Estimation with Attention-based Encoder-Decoder Network from Single Image
CN115457497A (zh) 一种基于3d目标检测和多目标追踪检测车辆速度的方法
CN115327529A (zh) 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
CN114882458A (zh) 一种目标跟踪方法、系统、介质及设备
Tamayo et al. Improving object distance estimation in automated driving systems using camera images, LiDAR point clouds and hierarchical clustering
Shen et al. YCANet: Target Detection for Complex Traffic Scenes Based on Camera-LiDAR Fusion
CN112766100A (zh) 一种基于关键点的3d目标检测方法
Huizong et al. 3D object detection and state estimation method based on stereo vision and LIDAR fusion
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
Giefer et al. State estimation of articulated vehicles using deformed superellipses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220225

RJ01 Rejection of invention patent application after publication