CN116664970A - 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统 - Google Patents

一种基于迁移学习的毫米波雷达稠密点云生成方法及系统 Download PDF

Info

Publication number
CN116664970A
CN116664970A CN202310480495.1A CN202310480495A CN116664970A CN 116664970 A CN116664970 A CN 116664970A CN 202310480495 A CN202310480495 A CN 202310480495A CN 116664970 A CN116664970 A CN 116664970A
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
network model
data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310480495.1A
Other languages
English (en)
Inventor
涂沛妍
杨智开
朱占宇
王槐生
章涛涛
华国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhixing Future Automobile Research Institute Co ltd
Suzhou University
Lianyungang Jierui Electronics Co Ltd
Original Assignee
Jiangsu Zhixing Future Automobile Research Institute Co ltd
Suzhou University
Lianyungang Jierui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhixing Future Automobile Research Institute Co ltd, Suzhou University, Lianyungang Jierui Electronics Co Ltd filed Critical Jiangsu Zhixing Future Automobile Research Institute Co ltd
Priority to CN202310480495.1A priority Critical patent/CN116664970A/zh
Publication of CN116664970A publication Critical patent/CN116664970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于迁移学习的毫米波雷达稠密点云生成方法及系统，该方法包括采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。本发明针对现有毫米波雷达输出点云数据稀疏的问题，实现基于迁移学习的毫米波雷达稠密点云生成技术，在避免大量实测数据采集的同时提高毫米波雷达感知性能，准确获得交通状况信息。

Description

一种基于迁移学习的毫米波雷达稠密点云生成方法及系统
技术领域
本发明涉及交通感知技术领域，尤其涉及一种基于迁移学习的毫米波雷达稠密点云生成方法及系统。
背景技术
近年来，随着私家车保有量的增加，交通环境逐渐复杂，促使我国关于智慧交通理念的不断发展。现有的交通状况检测主要采用两种实施方法，一种是依靠激光雷达检测，另一类则是依靠毫米波雷达检测。激光雷达精度高、分辨率高，获取的数据量远超于毫米波雷达，往往需要更高性能的处理器来处理数据，所以成本也相对更高；毫米波雷达抗干扰能力强，探测距离远，不受光照环境影响，价格优势显著，但是也存在目标随机散射的影响和探测点云稀疏的问题。对毫米波雷达检测而言，关键因素在于如何实现在保证低成本的同时达到和激光雷达一样的高精度稠密点云输出。
目前毫米波雷达广泛应用于高级辅助驾驶系统中，用于感知交通车辆所处的环境。在道路安装路测毫米波雷达，用于检测车辆的距离、速度、角度、轨迹、车流量、排队长度等，成为毫米波雷达交通检测在交通领域的潜在应用场景。然而，如何提高毫米波雷达探测精度成为当下研究的热点，如，W.Rui,G.Xin and W.Tao在文献“A Study for ObstacleDetermination fusing MMW Radar and Vision Sensor”(2021IEEE 2nd InternationalConference on Information Technology,Big Data and Artificial Intelligence(ICIBA))中提出基于融合视觉传感器和毫米波雷达实现导航任务的道路障碍物边界检测的鲁棒自适应方法。T.Akita and S.Mita在文献“Accurate Parking SceneReconstruction using High-Resolution Millimeter-Wave Radar”(2020IEEE 23rdInternational Conference on Intelligent Transportation Systems(ITSC))中开发24层卷积神经网络，计算出密集雷达反射图，并以车载传感器为数据集，生成相应的地面真实值。
基于光学图像方法的系统成本较低，结构简单，易于实现，但其受环境光照影响较大，且在无光照的环境中无法工作；使用激光雷达的方法获取的数据精度高，但系统造价昂贵，易受粉尘等恶劣环境影响。使用毫米波雷达实现交通感知，可以不受环境光照影响，且具有低成本优势，然而毫米波雷达在探测性能上与激光雷达还有一定差距，如毫米波输出的目标随机散射中心(点云)信息较少，亟需一种有效的方法解决此类问题。
发明内容
针对上述存在的不足，本发明申请的目的在于提供一种基于迁移学习的毫米波雷达稠密点云生成方法及系统，针对现有毫米波雷达输出点云数据稀疏的问题，实现基于迁移学习的毫米波雷达稠密点云生成技术，在避免大量实测数据采集的同时提高毫米波雷达感知性能，准确获得交通状况信息。
为了解决上述问题，本发明实施例提供一种基于迁移学习的毫米波雷达稠密点云生成方法，该方法包括：
S1：采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
S2：对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
S3：将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中步骤S3具体包括：
S31：将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
S32：将处理后的数据集按比例划分为训练集、验证集以及测试集；
S33：将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
S34：在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
S4：将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
优选地，在步骤S1中，使用多传感器交通仿真软件采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像。
优选地，在步骤S2中，对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集的方法为：
根据图像的空间位置对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行拼接，得到数据集。
优选地，在步骤S3中，所述循环生成对抗网络的结构采用两个生成对抗网络，包括生成器G、生成器F、判别器DX和判别器DY。
优选地，将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练的方法具体包括：
将毫米波雷达数据样本和激光雷达数据样本分别存放在X域图像集、Y域图像集中；
训练生成器G：所述生成器G用于训练X域图片向Y域图片的风格转换，即G(x)＝y′，其中x∈X，y′∈Y，x为X域图像集中的图片，y′为Y域图像集中的图片；
训练生成器F：所述生成器F用于训练Y域图片向X域图片的风格转换，即F(y)＝x′，其中，x′∈X，y∈Y，x′为X域图像集中的图片，y为Y域图像集中的图片；
训练判别器DY：所述判别器DY用于判断生成器G生成路况图的好坏，若生成器G生成的图片y′与Y域图像集相似度较低，此时判别器DY给该输出低分并判断该输出为假，反之若生成器G生成的图片y′与Y域图像集相似度较高，则判别器DY给该输出高分并判断该输出为真；
训练判别器DX，所述判别器DX用于判断生成器F生成路况图的好坏，若生成器F生成的图片x′与X域图像集相似度较低，此时判别器DX给该输出低分并判断该输出为假，反之若生成器F生成的图片x′与X域图像集相似度较高，则判别器DX给该输出高分并判断该输出为真。
优选地，在网络模型训练中，网络模型总的损失函数包括对抗损失函数和循环一致性损失函数，所述对抗损失函数包括生成器G的对抗损失函数和生成器F的对抗损失函数，其计算如下：
lGAN(G,DY,X,Y)＝Ey～data(y)[logDY(y)]+Ex～data(x)[log(1-DY(G(x)))]
lGAN(F,DX,Y,X)＝Ex～data(x)[logDX(x)]+Ey～data(y)[log(1-DX(F(y)))]
其中，lGAN为生成器G的对抗损失函数，lGAN为生成器F的对抗损失函数，在X、Y域图像集中分别存放毫米波雷达数据样本和激光雷达数据样本，DX、,DY为判别器，x为X域图像集中的图片，y为Y域图像集中的图片；
所述循环一致性损失函数，计算如下：
lcyc(G,F)＝Ey～data(y)[||G(F(Y))-y||1]+Ex～data(x)[||F(G(X))-x||1]
其中，lcyc为循环一致性损失函数，||·||1为L1范数；
网络模型总的损失函数，计算如下：
lCycleGAN(G,F,DX,DY)＝lGAN(G,DY,X,Y)+lGAN(F,DX,Y,X)+λlcyc(G,F)
其中，lCycleGAN为网络模型总的损失函数，λ为一个超参数。
优选地，在网络模型训练中，网络模型的优化目标函数为：
其中，arg min max为取值函数。
本发明实施例还提供了一种基于迁移学习的毫米波雷达稠密点云生成系统，该系统包括：
采集模块，用于采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
预处理模块，用于对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
网络训练模块，用于将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中所述网络训练模块具体包括：
将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
将处理后的数据集按比例划分为训练集、验证集以及测试集；
将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
稠密点云生成模块，用于将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
本发明实施例还提供了一种电子设备，包括上述所述的基于迁移学习的毫米波雷达稠密点云生成系统，用于提高毫米波雷达感知性能，使得毫米波雷达输出稠密点云结果。
本发明实施例还提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行上述任意一项所述的基于迁移学习的毫米波雷达稠密点云生成方法。
从以上技术方案可以看出，本发明申请具有以下优点：
本发明实施例提供一种基于迁移学习的毫米波雷达稠密点云生成方法及系统。本发明克服了毫米波输出的目标随机散射中心(点云)信息较少的缺点，还能使得检测结果不受环境光照影响，且具有低成本优势。使用多传感器交通仿真软件采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像，降低了数据的获取成本；将获取的数据输入到循环生成对抗网络模型中进行网络模型训练，得到训练好的网络模型，通过训练，使得网络模型输出的点云结果具有稠密特征。将训练好的网络模型部署到实际系统中，可以在只配备毫米波雷达的情况下进行交通检测，并且获得比原先质量更高的检测结果。本发明针对现有毫米波雷达输出点云数据稀疏的问题，实现基于迁移学习的毫米波雷达稠密点云生成技术，在避免大量实测数据采集的同时提高毫米波雷达感知性能，准确获得交通状况信息。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单说明，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1为根据实施例中提供的一种基于迁移学习的毫米波雷达稠密点云生成方法的流程图；
图2为实施例使用的循环生成对抗网络结构示意图；
图3为根据实施例中提供的一种基于迁移学习的毫米波雷达稠密点云生成系统的框图；
图4为实施例中使用的数据集；
图5为实施例中激光雷达路况图和毫米波雷达路况图；
图6为利用本发明方法最终输出的毫米波雷达建图结果。
具体实施方式
为使本发明实施例的目的、技术方案与优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提出一种基于迁移学习的毫米波雷达稠密点云生成方法，该方法包括：
S1：采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
S2：对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
S3：将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中步骤S3具体包括：
S31：将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
S32：将处理后的数据集按比例划分为训练集、验证集以及测试集；
S33：将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
S34：在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
S4：将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
本发明实施例提供了一种基于迁移学习的毫米波雷达稠密点云生成方法，本发明使用多传感器交通仿真软件采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像，降低了数据的获取成本；将获取的数据输入到循环生成对抗网络模型中进行网络模型训练，得到训练好的网络模型，通过训练，使得网络模型输出的点云结果具有稠密特征。本发明针对现有毫米波雷达输出点云数据稀疏的问题，实现基于迁移学习的毫米波雷达稠密点云生成技术，在避免大量实测数据采集的同时提高毫米波雷达感知性能，准确获得交通状况信息。
具体地，在使用多传感器交通仿真软件生成数据阶段，由于现实场景中采集数据作为训练集时间和人力成本较高，因此采用仿真软件生成仿真数据作为数据集。例如使用开源的自动驾驶仿真软件CARLA，它基于虚幻4引擎提供了一个用于仿真自动驾驶系统的高度可定制的模拟环境，能够设计出真实的3D场景和物理模拟，并且可以生成各种不同类型的道路、行人、交通车辆等。
其中，CARLA侧重于室外交通情况的仿真，在软件自带的十张地图中选取“Town02”地图，并在地图中开辟额外的空间搭建三个较为复杂的场景，为了更方便地录制数据以及生成地图，安装carla-ros-bridge软件包，使得CARLA与ROS之间能够进行联合仿真。因此，可以在CARLA搭建好的场景中调用ROS中的建图算法包进行建图。在仿真软件中驾驶搭载了激光雷达和毫米波雷达的车辆分别在三个场景中行驶，最终分别生成激光雷达地图和毫米波雷达地图，由于每张完整的地图过大，如果直接将完整的地图作为训练集图片，网络将难以学习局部的特征。因此，需要根据图像的空间位置对毫米波雷达感知数据图像和激光雷达感知数据图像进行拼接，得到数据集。
进一步地，在使用循环生成对抗网络模型对数据集进行训练前，为学习局部特征，将数据集中的路况图裁剪为256×256的小图片，在裁剪图片时保持相邻图片具有50％的重叠，并以6∶2∶2的比例划分为训练集、验证集以及测试集；然后将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练，通过设置训练参数，学习率为0.0002，网络模型保存频率为1，一次训练抓取的样本数量为1；最后在测试集上对训练后的网络模型进行测试，得到训练好的网络模型。
其中，循环生成对抗网络模型是一种生成对抗网络模型，用于在两个不同的图像空间之间进行图像转换。它在没有明确的对应关系的情况下实现对抗性转换，这是通过在两个生成器之间建立一个循环关系来实现的(参见图2)。循环生成对抗网络的结构采用两个生成对抗网络，包括生成器G、生成器F、判别器DX和判别器DY；所述生成器G用于训练X域图片向Y域图片的风格转换，即G(x)＝y′，其中x∈X，y′∈Y，x为X域图像集中的图片，y′为Y域图像集中的图片，在X、Y域图像集中分别存放毫米波雷达数据样本和激光雷达数据样本；所述生成器F用于训练Y域图片向X域图片的风格转换，即F(y)＝x′，其中，x′∈X，y∈Y，x′为X域图像集中的图片，y为Y域图像集中的图片；所述判别器DY用于判断生成器G生成路况图的好坏，若生成器G生成的图片y′与Y域图像集相似度较低，此时判别器DY给该输出低分并判断该输出为假，反之若生成器G生成的图片y′与Y域图像集相似度较高，则判别器DY给该输出高分并判断该输出为真；所述判别器DX用于判断生成器F生成路况图的好坏，若生成器F生成的图片x′与X域图像集相似度较低，此时判别器DX给该输出低分并判断该输出为假，反之若生成器F生成的图片x′与X域图像集相似度较高，则判别器DX给该输出高分并判断该输出为真。
在训练生成器时，判别器DX和判别器DY参数被固定，只有生成器G和生成器F的参数可调：调整生成器G的参数使得判别器DY对生成器G产生的数据G(x)的打分Dy(G(x))越高越好；调整生成器F的参数使得判别器DX对生成器F产生的数据F(y)的打分Dx(F(y))越高越好。
在网络模型训练中，网络模型总的损失函数包括对抗损失函数和循环一致性损失函数，最小化对抗损失函数的意义在于使生成的图像更加贴近于目标域图像，所述对抗损失函数包括生成器G的对抗损失函数和生成器F的对抗损失函数，其计算如下：
lGAN(G,DY,X,Y)＝Ey～data(y)[log DY(y)]+Ex～data(x)[log(1-DY(G(x)))]
lGAN(F,DX,Y,X)＝Ex～data(x)[log DX(x)]+Ey～data(y)[log(1-DX(F(y)))]
其中，lGAN为生成器G的对抗损失函数，lGAN为生成器F的对抗损失函数，在X、Y域图像集中分别存放毫米波雷达数据样本和激光雷达数据样本，DX、,DY为判别器，x为X域图像集中的图片，y为Y域图像集中的图片；
所述循环一致性损失函数，循环一致性损失的目的是使得最终通过模型还原的图像更佳接近于输入图像，计算如下：
lcyc(G,F)＝Ey～data(y)[||G(F(Y))-y||1]+Ex～data(x)[||F(G(X))-x||1]
其中，lcyc为循环一致性损失函数，||·||1为L1范数；
网络模型总的损失函数，计算如下：
lCycleGAN(G,F,DX,DY)＝lGAN(G,DY,X,Y)+lGAN(F,DX,Y,X)+λlcyc(G,F)
其中，lCycleGAN为网络模型总的损失函数，λ为一个超参数，用于调节两种损失函数的占比。
网络模型的优化目标函数为：
其中，arg min max为取值函数。
进一步地，将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
如图3所示，本发明提供一种基于迁移学习的毫米波雷达稠密点云生成系统，该系统包括：
采集模块100，用于采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
预处理模块200，用于对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
网络训练模块300，用于将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中所述网络训练模块300具体包括：
将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
将处理后的数据集按比例划分为训练集、验证集以及测试集；
将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
稠密点云生成模块400，用于将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
所述系统，用以实现上述所述的基于迁移学习的毫米波雷达稠密点云生成方法，为了避免冗余，在此不再赘述。
本发明实施例还提供了一种电子设备，包括上述所述的基于迁移学习的毫米波雷达稠密点云生成系统，用于提高毫米波雷达感知性能，使得毫米波雷达输出稠密点云结果。
具体地，将上述电子设备部署到实际系统中(物理系统)，实际系统中配置毫米波雷达，不配置激光雷达。在实际系统工作时，毫米波雷达采集数据并送往训练好的网络模型中，经过运算得到输出点云结果，所述点云结果具有稠密特征，其特征学习源于激光雷达特征。
接下来通过实验来验证本申请提出的一种基于迁移学习的毫米波雷达稠密点云生成方法及系统的有效性。
实验开始前，将配置好的毫米波雷达固定于路灯灯杆约2.5m的位置，毫米波雷达探测周围交通状况。该毫米波雷达稠密点云生成方法在保证低成本的同时达到了和激光雷达一样的高精度稠密点云输出。
图4(a)为多传感器交通仿真软件CARLA中开辟额外的空间搭建三个较为复杂的场景并仿真驾驶搭载毫米波雷达和激光雷达的车辆在场景中行驶并获取到毫米波雷达地图和激光雷达地图，图4(b)为毫米波雷达样本，图4(c)为激光雷达样本。
图5(a)，图5(b)所示分别为本发明实施例的路况的激光雷达路况图和毫米波雷达地图，图5(b)毫米波雷达地图，其整体观感是稀疏的，符合毫米波雷达的特点。
图6为利用本发明方法最终输出的毫米波雷达建图结果。经过网络模型之后优化的毫米波雷达地图优化效果十分明显，绝大部分稀疏的区域实现了稠密化转换，某些位置甚至较激光雷达地图更为稠密。由图6的实验结果可知：本发明提供的一种基于迁移学习的毫米波雷达稠密点云生成方法能够完成稠密点云生成。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，包括：
S1：采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
S2：对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
S3：将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中步骤S3具体包括：
S31：将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
S32：将处理后的数据集按比例划分为训练集、验证集以及测试集；
S33：将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
S34：在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
S4：将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
2.根据权利要求1所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，在步骤S1中，使用多传感器交通仿真软件采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像。
3.根据权利要求1所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，在步骤S2中，对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集的方法为：
根据图像的空间位置对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行拼接，得到数据集。
4.根据权利要求1所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，在步骤S3中，所述循环生成对抗网络的结构采用两个生成对抗网络，包括生成器G、生成器F、判别器DX和判别器DY。
5.根据权利要求1所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练的方法具体包括：
将毫米波雷达数据样本和激光雷达数据样本分别存放在X域图像集、Y域图像集中；
训练生成器G：所述生成器G用于训练X域图片向Y域图片的风格转换，即G(x)＝y′，其中x∈X，y′∈Y，x为X域图像集中的图片，y′为Y域图像集中的图片；
训练生成器F：所述生成器F用于训练Y域图片向X域图片的风格转换，即F(y)＝x′，其中，x′∈X，y∈Y，x′为X域图像集中的图片，y为Y域图像集中的图片；
训练判别器DY：所述判别器DY用于判断生成器G生成路况图的好坏，若生成器G生成的图片y′与Y域图像集相似度较低，此时判别器DY给该输出低分并判断该输出为假，反之若生成器G生成的图片y′与Y域图像集相似度较高，则判别器DY给该输出高分并判断该输出为真；
训练判别器DX，所述判别器DX用于判断生成器F生成路况图的好坏，若生成器F生成的图片x′与X域图像集相似度较低，此时判别器DX给该输出低分并判断该输出为假，反之若生成器F生成的图片x′与X域图像集相似度较高，则判别器DX给该输出高分并判断该输出为真。
6.根据权利要求1所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，在网络模型训练中，网络模型总的损失函数包括对抗损失函数和循环一致性损失函数，所述对抗损失函数包括生成器G的对抗损失函数和生成器F的对抗损失函数，其计算如下：
其中，为生成器G的对抗损失函数，/>为生成器F的对抗损失函数，在X、Y域图像集中分别存放毫米波雷达数据样本和激光雷达数据样本，DX、,DY为判别器，x为X域图像集中的图片，y为Y域图像集中的图片；
所述循环一致性损失函数，计算如下：
其中，为循环一致性损失函数，||·||1为L1范数；
网络模型总的损失函数，计算如下：
其中，为网络模型总的损失函数，λ为一个超参数。
7.根据权利要求6所述的基于迁移学习的毫米波雷达稠密点云生成方法，其特征在于，在网络模型训练中，网络模型的优化目标函数为：
其中，arg min max为取值函数。
8.一种基于迁移学习的毫米波雷达稠密点云生成系统，其特征在于，包括：
采集模块，用于采集交通场景下的毫米波雷达感知数据图像和激光雷达感知数据图像；
预处理模块，用于对所述毫米波雷达感知数据图像和所述激光雷达感知数据图像进行预处理，得到数据集；
网络训练模块，用于将所述数据集输入到预先构建好的循环生成对抗网络模型中进行训练，得到训练好的网络模型；
其中所述网络训练模块具体包括：
将数据集中的路况图片裁剪为设定尺寸的图片样本，在裁剪时保持相邻图片具有设定比例的重叠度；
将处理后的数据集按比例划分为训练集、验证集以及测试集；
将训练集、验证集中的毫米波雷达样本和激光雷达样本输入到循环生成对抗网络模型中进行网络模型训练；
在测试集上对训练后的网络模型进行测试，得到训练好的网络模型；
稠密点云生成模块，用于将毫米波雷达采集的路况数据输入所述训练好的网络模型中学习激光雷达特征，输出稠密点云结果。
9.一种电子设备，其特征在于，包括权利要求8所述的基于迁移学习的毫米波雷达稠密点云生成系统，用于提高毫米波雷达感知性能，使得毫米波雷达输出稠密点云结果。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行权利要求1至7任意一项所述的基于迁移学习的毫米波雷达稠密点云生成方法。
CN202310480495.1A 2023-04-28 2023-04-28 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统 Pending CN116664970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310480495.1A CN116664970A (zh) 2023-04-28 2023-04-28 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310480495.1A CN116664970A (zh) 2023-04-28 2023-04-28 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统

Publications (1)

Publication Number Publication Date
CN116664970A true CN116664970A (zh) 2023-08-29

Family

ID=87710267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310480495.1A Pending CN116664970A (zh) 2023-04-28 2023-04-28 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统

Country Status (1)

Country Link
CN (1) CN116664970A (zh)

Similar Documents

Publication Publication Date Title
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
WO2022000857A1 (zh) 数据集的建立方法、车辆和存储介质
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN108428254A (zh) 三维地图的构建方法及装置
WO2018066352A1 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
US20230177822A1 (en) Large scene neural view synthesis
WO2023231991A1 (zh) 交通信号灯感知方法、装置、设备及存储介质
Mai et al. Camera and LiDAR analysis for 3D object detection in foggy weather conditions
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN113536920A (zh) 一种半监督三维点云目标检测方法
Ennajar et al. Deep multi-modal object detection for autonomous driving
CN112507891A (zh) 自动化识别高速路口并构建路口向量的方法及装置
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN117036733A (zh) 一种城市道路场景特征线提取的方法
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN113435232A (zh) 一种物体的检测方法、装置、设备及存储介质
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
CN116664970A (zh) 一种基于迁移学习的毫米波雷达稠密点云生成方法及系统
CN115880659A (zh) 用于路侧系统的3d目标检测方法、装置及电子设备
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination