CN107862293B - 基于对抗生成网络的雷达生成彩色语义图像系统及方法 - Google Patents

基于对抗生成网络的雷达生成彩色语义图像系统及方法 Download PDF

Info

Publication number
CN107862293B
CN107862293B CN201711130653.1A CN201711130653A CN107862293B CN 107862293 B CN107862293 B CN 107862293B CN 201711130653 A CN201711130653 A CN 201711130653A CN 107862293 B CN107862293 B CN 107862293B
Authority
CN
China
Prior art keywords
point cloud
radar
data
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711130653.1A
Other languages
English (en)
Other versions
CN107862293A (zh
Inventor
牛建伟
欧阳真超
齐之平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Publication of CN107862293A publication Critical patent/CN107862293A/zh
Application granted granted Critical
Publication of CN107862293B publication Critical patent/CN107862293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于条件对抗生成网络的雷达生成彩色语义图像系统及方法，属于传感器和人工智能技术领域。所述的系统包括基于雷达点云和摄像头的数据采集模块，原始雷达点云上采样模块，基于条件对抗生成网络的模型训练模块和基于条件对抗生成网络的模型使用模块。本发明提供的方法，首先构建雷达点云‑RGB图像训练集，构建基于卷积神经网络的条件对抗生成网络进行模型训练，最终使得模型在仅利用稀疏的雷达点云数据和训练好的条件对抗生成网络模型实时的在车载环境下生成带有语义的彩色道路场景图像，并用于自动驾驶和辅助驾驶分析。本发明网络效率更高，能加速网络参数调整趋向更优结果，保证准确性和稳定性都相对较高。

Description

基于对抗生成网络的雷达生成彩色语义图像系统及方法
技术领域
本发明涉及一种基于对抗生成网络(Generative Adversarial Networks，cGANs)的雷达生成彩色语义图像系统及方法，属于传感器和人工智能技术领域。
背景技术
在无人驾驶领域，激光雷达(LIDAR)和光学摄像头是无人车辆对周边环境进行感知的主要传感器设备。车载激光雷达以点云的形式，如图1所示，对周边一定范围内的环境进行点云构建，感知范围在几十到二百米左右；而光学摄像头能够对周边环境成像得到彩色图片，如图2所示，感知精度和感知距离与光学成像原件相关，一般可达数百至上千米。
激光雷达按照固定预设角度通过快速的发射和接收反射回来的激光脉冲束来感知周边环境的障碍物，并构建地面数字高程模型(DEM)；单个激光束在遇到具备一定反射系数的障碍物时会及时返回，而在遇到反射系数低的物体可能由于穿透和吸收形成点云空洞。按激光雷达的发生脉冲数量可以分为单线雷达、4线雷达、8线雷达、16线雷达、32线雷达和64线雷达，按雷达的感知区域可以分为前向雷达和360度周身雷达。受预定的激光张角和感知区域影响，激光雷达对周边环境扫描所形成的点云形态不一；由于光的直线传播和光速固定，所形成的地面数字高程模型具有精准的距离信息。受雷达本身固有特性影响，车载激光雷达的感知距离相对有限；同时，不同脉冲线的雷达所能够获取的点云稀疏度也不相同，如64线雷达可获取宽为64、长度随扫描环境距离不等的点云；一般情况下，激光雷达的点云稠密度要远低于光学相机获取的彩色图像，且不具备彩色语义信息。最后，受天气和空气密度影响，激光脉冲的有效感知距离会下降，甚至失效。
光学相机被动感知环境光照进行成像，具有较高密度的像数值和相对丰富的语义信息，是无人车辆最常用的环境感知传感器之一。但受限于相机光学原件成像原理，在环境光照恶劣，摆放位置，镜头干扰等因素影响下，如迎光、夜间行车、错车、进出涵洞、雨雪天气等情况下，会影响相机成像效果，甚至失效。且摄像头成像数据无法获取精准的距离信息，虽然通过双目或与标定的摄像头阵列能够利用视距算法推算目标距离，但估算精度随目标距离衰减严重，一般仅适用于室内场景。
在无人驾驶领域，基于单一类型传感器(特别是摄像头)进行环境感知，摄像头和车载激光雷达均存在一定的劣势，但由于激光雷达的主动感知特性，感知性能不受环境光影响，感知精度要高于摄像头所获取的图像数据；另一方面，基于多传感器数据融合的方法要对不同传感器感知数据进行不同方式的数据融合感知，需要考虑运算资源消耗量大、置信度动态判别分析建模(如夜间摄像头画质低劣和成像质量较高情况的分析)和融合算法复杂的问题。由此，具备低计算复杂度、高感知精度，并能够对道路场景障碍物目标和周边环境目标的距离信息和语义信息的获取的传感器感知算法在无人驾驶领域十分重要。
目前无人驾驶领域的环境感知方法依照所利用的传感器类型可以分为单一类传感器感知和多传感器融合，其中单一传感器感知按感知设备可以分为：1)基于激光雷达的环境感知，按激光雷达类型可以分为单类型目标障碍无识别(单线sick)、前向场景检测(4线和8线)、360度环境感知(16线、32线和64线车载雷达)；2)基于摄像头的环境感知：单目摄像头成像(彩色/灰度)、双目摄像头成像(彩色/灰度)和替他类型摄像头阵列。3)基于毫米波雷达的环境感知：不同频率毫米波波段对近距离(二十米左右)的动态目标检测追踪。而基于多传感器融合，视传感器数量和具体使用的融合数据源各不相同。单一传感器受以上所述自身固有特性影响，所能感知的道路环境信息各有优劣；而通过多传感器数据融合的道路环境信息虽然较单一传感器更加精准和完备，但需要额外的数据融合策略和计算资源，对无人驾驶车辆续航和计算芯片负荷增大。
目前生成道路场景，需要通过手工对道路信息进行语义分割标记构建数据库，而手工图片的语义分割标注(segmentation)是一项十分耗时耗力、且标注语义有限的方式。例如，可能由于精度原因，部分电线杆不进行标注，而该部分生成结果就与背景信息融合。
发明内容
本发明针对目前单一图像传感器所能感知的道路环境信息不完备(距离信息)、融合多传感器数据需要额外的数据融合策略和计算资源，对无人驾驶车辆续航和计算芯片负荷增大的问题，以及目前生成道路场景需要手工标注且精度不精准的问题，提供了一种基于对抗生成网络的雷达生成彩色语义图像系统及方法。
本发明提供了一种基于对抗生成网络的雷达生成彩色语义图像系统，包括：
基于雷达点云和摄像头的数据采集模块，利用标定好的车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据采集，获取同步时间戳的雷达点云数据和彩色图；
原始雷达点云上采样模块，利用双因滤波器对原始雷达点云数据进行上采样，得到对应的灰度图；
基于条件对抗生成网络的模型训练模块，利用获取的成对的相同时间戳的雷达点云数据的灰度图和摄像头彩色图形成的训练数据集，对条件对抗生成网络进行训练，输出训练好的深度卷积网络模型；所述的条件对抗生成网络包含生成器和判别器两个网络，两个网络之间互相竞争，使得目标函数达到最优；其中，生成器用于根据雷达点云数据的灰度图生成彩色图，判别器计算原始彩色图和由生成器生成的彩色图之间的差别；
基于条件对抗生成网络的模型使用模块，对激光雷达采集的实时数据进行上采样得到雷达点云灰度图，将灰度图输入训练好的深度卷积网络模型，进行实时道路场景生成和重建。
相应地，本发明提供的一种基于对抗生成网络的雷达生成彩色语义图像方法，包括以下步骤：
步骤1，利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；本步骤是在光照环境良好情况下采集图像数据，以用于训练深度卷积网络模型；
步骤2，对雷达点云数据进行上采样，获取对应的稠密化的灰度图；
步骤3，将雷达点云数据的灰度图和相同时间戳的彩色图作为一对训练数据，利用该数据形成的训练数据集对条件对抗生成网络进行训练，输出一个训练好的深度卷积网络模型；
所述的条件对抗生成网络包含生成器和判别器两个网络，两个网络之间互相竞争，使得目标函数达到最优；其中，生成器用于根据雷达点云数据的灰度图生成彩色图，判别器计算原始彩色图和由生成器生成的彩色图之间的差别；
步骤4，在实时运行时，仅需车载雷达单独运行，对实时采集的雷达点云数据进行上采样得到灰度图，将灰度图输入训练好的深度卷积网络模型，输出对应的彩色道路场景图像。
所述的步骤3中，所述的条件对抗生成网络包含生成器和判别器两个网络，两个网络之间互相竞争，使得如下目标函数LcGAN达到最优：min(G)max(D)LcGAN；函数LcGAN如下式：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z)))]
其中，G、D分别表示生成器和判别器；data为训练数据集，(u,y)为其中的一对图像，u为雷达点云数据的灰度图，y为彩色图；判别器D(u,y)为在观测灰度图u条件下，D判断图片y为真实图片的概率；生成器G(u,z)为学习观测灰度图u的条件下生成假图片；(1-D(u,G(u,z)))为D判断G(u,z)生成假图片的概率；E是判别器在整个训练数据集上的总体判别期望均值。
本发明的优点和积极效果在于：
(1)通过激光雷达点云数据进行道路场景恢复和重建能够有效避免传统摄像头受环境光照影响带来的成像不确定性和不稳定性，特别是在夜间成像效果不佳和迎光行驶时，摄像头成像几乎失效，将导致基于光学的摄像头传感器对无人驾驶道路场景的感知能力完全丧失。
(2)通过优选的数据集，即在光照条件优秀情况下进行训练集采集，能够进一步消除路面阴影的影响。
(3)利用条件对抗生成网络进行雷达点云与彩色RGB图像的内在潜在关联进行学习，比传统深度学习网络效率更高，且生成网络和判别网络之间存在相互竞争，能够加速网络参数调整趋向更优结果。
(4)保留了原始的雷达点云数据对道路场景及相关障碍物目标的实际距离信息，结合生成的丰富彩色语义信息，能够为其它无人驾驶模块，如目标识别和检测，可行区域检测，路径规划等提供精准的信息。
(5)本发明基于智能设备传感器数据融合和机器学习实现图像检测，只需要调用普通智能设备中的陀螺仪和加速度传感器，不受天气、光线等环节因素的影响；通过将设备固定在车辆刚体结构，形成相对惯性坐标系；通过不同车辆采集的大量数据，能够有效保证训练集的完备性和全面性；同时模型能够迭代更新优化，保证准确性和稳定性都相对较高。
附图说明
图1为本发明使用的车载激光雷达原始点云数据示意图；
图2为本发明使用的同一场景下摄像头的彩色RGB图像的灰度示意图；
图3为本发明方法进行道路场景生成的流程示意图；
图4为本发明中条件对抗生成网络中生成器和判别器相互竞争示意图；
图5为本发明中U-Net架构的编码-解码网络示意图；
图6为本发明中64线激光雷达安装示意图；
图7为本发明中使用的棋盘标定摄像头的示意图；
图8为本发明中对包含阴影和不包含阴影数据集训练模型生成结果对比示意图；
图9为本发明中不同窗口的双因滤波器上采样对比图；
图10为本发明中训练好的模型生成结果(左)与实际摄像头图像(右)对比图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明的雷达生成彩色语义图像系统及方法，基于对抗生成网络，使用了机器学习和深度学习算法。机器学习和深度学习算法一方面依赖于模型架构，但更大的因素是对问题规约的是否完备。本发明解决了一个尚未被考虑的彩色语义道路场景重建问题，这种问题规约的方案尚未在学术界被研究。本发明选定一个能够对目标问题规约的对抗生成网络架构，利用标定好的雷达数据，进行上采样能够尽可能获取道路深度信息。而同时，通过上采样的雷达点云和彩色RGB形成图对的问题规约，对后期深度学习模型能够训练达到收敛，以及获得较为显著的还原图像是至关重要的。
本发明利用条件对抗生成网络架构设计的深度卷积神经网络模型，通过装配有车载机关雷达和摄像头的无人驾驶车辆在良好的光照的各种道路环境进行数据采集和标定，形成海量的点云—图像数据对数据库；利用条件对抗生成网络对现实当中光照条件良好的行车激光雷达点云数据和摄像头彩色图像数据对之间内在关联进行学习和训练，得到一个训练好的模型；模型在实时运行的过程中，仅需要车载激光雷达的点云数据作为输入，达到还原出对应的道路场景的彩色RGB图像的目的，并保留雷达所获取的目标距离信息，用于相关的无人驾驶目标检测和识别，可行区域检测和路径规划等功能。
本发明提出的基于对抗生成网络的雷达生成彩色语义图像方法，主要用于无人驾驶领域的车载传感器道路环境感知与重建，仅在数据集构建时需要同时利用车载激光雷达和摄像头，而在实时运行时仅需车载激光雷达从而避免环境光对传感器环境感知能力的影响，在利用条件对抗生成网络恢复和重建彩色道路场景的同时，保留了激光雷达获取的场景环境的精准距离信息。
本发明的基于对抗生成网络的雷达生成彩色语义图像方法，主要步骤如图3所示，下面结合一个具体实施例来说明。
步骤1，车载道路场景数据采集：通过固定在车辆顶部的激光雷达和车辆内部的摄像头进行数据采集，同步时间戳后调节采样频率为10Hz；数据采集在光照环境良好情况下进行。
步骤2，雷达点云数据上采样：对步骤1获取的雷达原始点云数据进行双因滤波器上采样，得到对应灰度图；并与RGB彩图进行标定。
本发明对雷达原始点云数据进行的上采样，实现主要是利用双因滤波器(Bilateral filter)对原始雷达点云依次进行处理。由于上采样算法，也就是双因滤波器是非线性，计算复杂度随所选定的预设窗口有关。需要通过对不同窗口大小情况下的上采样效果进行评估，以选取最佳采样效果和计算法复杂度尽量低的结果应用于无人驾驶和驾驶辅助的车载环境。
双因滤波器主要考虑点云之间的关系进行点云稠密化和平滑，对选定的基本处理窗口单元，主要考虑当前窗口内的点云之间的平均距离和点云深度信息，每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果。
Figure BDA0001469257890000051
Figure BDA0001469257890000052
其中，x为当前遍历计算的点云坐标，1/Wp为归一化项，Ω为所选定的窗口大小，该窗口以x为中心，xi表示当前窗口内第i个位置的点云坐标，I(xi)表示位置xi的雷达点云强度信息，由雷达直接获得。BF(x)表示双因过滤器对以x为中心的窗口内图像RGB数值的处理结果，Wp表示当前图片p计算窗口内所有点信息的归一化项。fr和gs分别是考虑窗口内点云平均深度信息和平均距离的核函数。||.||表示计算欧式距离。
本发明利用雷达点云间的坐标信息和雷达强度(距离)信息，采用双因滤波器对雷达点云数据进行上采样，在过滤器使用时，从左上角坐标开始，依次从左向右，从上向下遍历所有的雷达点云数据。在遍历时，在以当前坐标点为中心的窗口Ω内，对其中的点采用公式(1)进行计算，将雷达强度信息在局部展开，到达稠密化的目的。
步骤3，条件对抗生成网络训练：由步骤2构建的上采样灰度图--RGB图对的训练集，对条件对抗生成网络进行训练，并通过卷积核、核函数、网络架构等场所调节进行网络优化。
训练过程利用海量的雷达点云灰度图--彩色图像数据对所得到的上采样灰度图--彩色图像数据对进行训练。条件对抗生成网络包含两个模块，生成网络/生成器(Generator，简写表示为G)和判别网络/判别器(Discriminator，简写表示为D)，两个网络之间互相竞争，如图4所示，使得目标函数LcGAN达到最优：min(G)max(D)LcGAN。函数LcGAN如下式：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z)))] (3)
其中，G、D分别表示生成器和判别器。设训练数据集为data，(u,y)为其中的一对图像，u为雷达点云数据的灰度图，y为彩色图。生成器G学习观测灰度图u条件下高斯白噪声生成数据与彩色图y之间的映射关系。判别器D(u,y)为在观测灰度图u条件下，D判断图片y为真实图片的概率。
生成器G(u,z)为学习观测灰度图u的条件下生成假图片。(1-D(u,G(u,z)))为D判断G(u,z)生成假图片的概率。E是判别器在整个训练数据集上的总体判别期望均值。
D和G由多层感知卷积网络生成。与传统GAN不同的是，cGAN考虑从初始观测u和高斯白噪声数据z结合进行模型训练，而GAN仅考虑高斯白噪声。初始的高斯白噪声相当于一个生成种子，是作为网络的输入数据存在，网络通过某个目标数据集训练的参数对初始的高斯白噪声数据进行调整，生成目标图像。
生成器由一个U-Net的编码器-解码器(encoder-decoder)构成，如图5所示，先直接利用所观测到的灰度图进行编码分解，通过多层卷积操作展开为n×1的一维向量，然后通过逆向卷积生成3通道的RGB彩色图像，n为正整数，数值由卷积网络结构决定。同时，在对称网络层结构上添加了直连，增加信息通量，从而避免在卷积过程中丢失部分有效信息，如图5所示，在相应的编码层和解码层添加直连的信息通道。
判别器计算原始RGB彩图和由生成器生成的彩图之间的差别，判别器结构与U-Net的生成器结构相似，但只包含前半部分的卷积展开的编码器，通过分别对两个输入的展开求解差别系数。
生成网络和判别网络模块的卷积函数架构如表1所示，C(Convolution)表示卷积，Dc(Deconvolution)表示逆卷积，数字为卷积核数量；R(Resize)表示自适应图片放缩。
表1生成网络和判别网络架构
Figure BDA0001469257890000061
表中64、128等数字，代表所在网络层卷积/逆卷积核函数的个数。
表1是对一个真实数据集调节获取的一个效果较好的网络架构，计算平台基于intel core i7+nvidia titan X等硬件，符合自驾驶采样频率10Hz需求。条件对抗生成网络能够通过卷积和逆卷积学习雷达灰度图和彩图之间的关系，具体生成器和判别器的网络参数数值，与输入图像和预期的时间复杂度相关，还会受到摄像头镜头和采样质量、输入图像的像素值、激光雷达点云规模、硬件计算能力、自动驾驶车载处理需求等因素影响。
步骤4，将步骤3中训练好的模型进行装配，实时行车过程中，利用步骤2对原始雷达数据进行上采样，并输入到训练好的模型，即可实时得到重建的道路场景图像。
实时运行时，同样利用步骤2的上采样算法，通过双因过滤器对每一帧的原始点云数据进行预处理，得到对应的灰度图；然后输入给训练好的生成网络。在本步骤中，传感器方面不再需要摄像头；数据方面，不需要对应的彩色RGB图像；而网络架构也不再需要判别网络。生成网络通过步骤2训练得到的卷积网络模型内部的U-Net的编解码器得到彩色图像结果。
本发明提供的基于对抗生成网络的雷达生成彩色语义图像系统，包括基于雷达点云和摄像头的数据采集模块、原始雷达点云上采样模块、基于条件对抗生成网络的模型训练模块和基于条件对抗生成网络的模型使用模块。
基于雷达点云和摄像头的数据采集模块，利用车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取。原始雷达点云上采样模块，利用双因滤波器对原始雷达数据进行上采样，得到对应的上采样灰度图。基于条件对抗生成网络的模型训练模块，利用获取的上采样灰度图和摄像头采集的RGB彩图进行U-Net的编码--解码的深度卷积网络模型训练。基于条件对抗生成网络的模型使用模块，对激光雷达采集的实时数据进行上采样得到点云灰度图，将灰度图输入训练好的深度卷积网络模型，进行实时道路场景生成和重建。
如图6所示，数据采集模块，为车载雷达和摄像头。首先对车载雷达和摄像头装配与标定。本发明系统当前利用Velodyne64线雷达，扫描范围为车身周边360度，扫描距离在100米左右范围，传感器装配在车辆顶部。摄像头视角为车辆行车前方140度左右，悬挂安装在车辆前挡风玻璃后方。摄像头通过棋盘法标定计算镜头扭曲，如图7所示，并通过摄像头视野边界标定雷达扫描区域。
由于车载激光雷达和摄像头的数据量不同，通常情况下激光雷达采样最高工作频率20Hz，摄像头为30Hz。统一为无人驾驶车载环境需求的10Hz进行数据采集。同时，由于条件对抗生成网络学习的映射关系受现有训练集影响，而激光雷达受光照影响不大，摄像头受环境光照影响剧烈。如，训练集的彩色RGB图像在包含阴影时，生成的图像也会带有随机阴影，如图8所示。为保证训练模型的生成结果不受摄像头采集的图像影响，尽量选择在光照条件良好，路面区域不带阴影的数据对构成训练集，并保证数据量足够充分。
原始雷达点云上采样模块，首先通过图像标定的对应点云数据进行截取，再通过双因过滤器对截取的点云数据进行遍历处理，通过当前遍历点和公式(1)和(2)计算预设窗口内的点云数值；最后将所有计算结果映射到0-255范围，保存为灰度图。如图9所示，为采用不同大小窗口的双因滤波器进行上采样的示意图。图9测试了不同窗口大小上采样效果，当采用较大的窗口时，得到的灰度图中所存在的空洞(黑色的区域较小，数值255)越少，对后期的模型映射关系学习有利。但是用较大窗口进行计算时，时间复杂度会持续上升，导致处理时延增大。具体窗口的大小，需要在学习效率和处理时间之间进行折中，以满足自动驾驶的时延需求。
基于条件对抗生成网络的模型训练模块中，以雷达点云上采样得到的灰度图和彩色RGB图片为输入，训练条件生成对抗网络，本发明实施例在linux16.06+tensorflow1.0环境进行。以网络中的生成模型和判别模型总体的loss函数衰减为训练目标，同时进行网络参数和卷积核函数调节，使得最终网络快速收敛，且能够获取较好的彩色图像生成结果。
基于条件对抗生成网络的模型使用模块中，将上一步得到的条件对抗生成网络所训练好的生成网络(G)装配到车载计算机，相关环境与训练相同。车载激光雷达采样频率设定为10Hz，并首先通过上采样算法对原始点云数据进行稠密化操作得到灰度图；然后，输入生成网络模型，生成网络模型通过U-Net的编码--解码器对灰度图进行卷积和逆卷积操作，恢复得到近似真实场景的RGB彩色图像。
为了充分验证本发明方法的性能，利用64线雷达和摄像头采集的真实道路场景数据上进行了实验，整个数据集划分为训练集和测试机(交集为空)，并用测试集生成的道路重建场景与真实摄像头数据进行对比。最终训练好的模型利用上采样后的激光雷达得到的重建图像如图10所示，每个图对的左边为本发明生成的结果，右边为对应的摄像头采集的结果。
本发明方法主要利用能够获取精准障碍物距离信息，且受环境光照影响较小的激光雷达点云数据进行道路场景重建，还原出带有丰富语义和色彩的道路场景；同时，消除摄像头原件，以及摄像头数据带来的数据处理和融合计算带来的资源消耗。为无人驾驶决策和路径规划等提供精准和丰富的环境信息。本发明提供的技术是一种能够用于无人驾驶和高级驾驶辅助系统(ADAS)中的车载雷达环境感知的基础性技术。

Claims (7)

1.一种基于对抗生成网络的雷达生成彩色语义图像系统，其特征在于，包括以下模块：
基于雷达点云和摄像头的数据采集模块，利用标定好的车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据采集，获取同步时间戳的雷达点云数据和彩色图；
原始雷达点云上采样模块，利用双边滤波器对原始雷达点云数据进行上采样，得到稠密化的像素矩阵，然后映射到0-255范围得到对应的灰度图；
基于条件对抗生成网络的模型训练模块，利用获取的成对的相同时间戳的雷达点云数据的灰度图和彩色图形成的训练数据集，对条件对抗生成网络进行训练，输出训练好的深度卷积网络模型；所述的条件对抗生成网络包含生成器和判别器两个网络，两个网络之间互相竞争，使得目标函数达到最优；其中，生成器用于根据雷达点云数据的灰度图生成彩色图，判别器计算原始彩色图和由生成器生成的彩色图之间的差别；训练好的深度卷积网络模型是指训练好的生成器；
基于条件对抗生成网络的模型使用模块，对激光雷达采集的实时数据进行上采样得到灰度图，将灰度图输入训练好的深度卷积网络模型，进行实时道路场景生成和重建。
2.根据权利要求1所述的系统，其特征在于，所述的车载激光雷达和摄像头传感器，设置采样的工作频率均为10Hz。
3.一种基于对抗生成网络的雷达生成彩色语义图像方法，其特征在于，包括步骤如下：
步骤1，利用车载激光雷达和摄像头传感器采集在光照环境良好情况下车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；
步骤2，对雷达点云数据进行上采样，得到稠密化的像素矩阵，然后映射到0-255范围获取对应的灰度图；
步骤3，由雷达点云数据的灰度图和相同时间戳的彩色图作为一对训练数据，将所形成的训练数据集对条件对抗生成网络进行训练，输出训练好的深度卷积网络模型；
所述的条件对抗生成网络包含生成器和判别器两个网络，两个网络之间互相竞争，使得目标函数达到最优；其中，生成器用于根据雷达点云数据的灰度图生成彩色图，判别器计算原始彩色图和由生成器生成的彩色图之间的差别；训练好的深度卷积网络模型是指训练好的生成器；
步骤4，在实时运行时，仅需车载雷达单独运行，对实时采集的雷达点云数据进行上采样得到灰度图，将灰度图输入训练好的深度卷积网络模型，输出对应的彩色道路场景图像。
4.根据权利要求3所述的方法，其特征在于，所述的步骤2中，利用雷达点云坐标和雷达强度信息，采用双边滤波器对雷达点云数据进行上采样。
5.根据权利要求3所述的方法，其特征在于，所述的步骤3中，训练条件对抗生成网络时使得目标函数LcGAN达到最优：min(G)max(D)LcGAN；函数LcGAN如下式：
LcGAN(G,D)＝Eu,y∈data(u,y)[logD(u,y)]+Eu∈data(u),z[log(1-D(u,G(u,z)))]
其中，G、D分别表示生成器和判别器；data为训练数据集，(u,y)为其中的一对图像，u为雷达点云数据的灰度图，y为彩色图；判别器D(u,y)为在观测灰度图u条件下，D判断图片y为真实图片的概率；生成器G(u,z)为学习观测灰度图u的条件下生成假图片；(1-D(u,G(u,z)))为D判断G(u,z)生成假图片的概率；E是判别器在整个训练数据集上的总体判别期望均值。
6.根据权利要求3或5所述的方法，其特征在于，所述的步骤3中，生成器由一个U-Net的编码器-解码器构成。
7.根据权利要求3或4所述的方法，其特征在于，所述的步骤2中，利用双边滤波器进行上采样时，对选定的处理窗口单元，利用下面公式计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果；
Figure FDA0002920473030000021
Figure FDA0002920473030000022
其中，x为当前遍历计算的点云坐标，Ω为所选定的窗口大小，该窗口以x为中心，xi表示当前窗口内第i个位置的点云坐标，I(xi)表示位置xi的雷达点云强度信息；BF(x)表示双边过滤器对以x为中心的窗口内图像RGB数值的处理结果；Wp表示当前图片p计算窗口内所有点信息的归一化项；fr和gs分别是考虑窗口内点云平均深度信息和平均距离的核函数；||.||表示计算欧式距离。
CN201711130653.1A 2017-09-14 2017-11-15 基于对抗生成网络的雷达生成彩色语义图像系统及方法 Active CN107862293B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710826856 2017-09-14
CN2017108268568 2017-09-14

Publications (2)

Publication Number Publication Date
CN107862293A CN107862293A (zh) 2018-03-30
CN107862293B true CN107862293B (zh) 2021-05-04

Family

ID=61701927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711130653.1A Active CN107862293B (zh) 2017-09-14 2017-11-15 基于对抗生成网络的雷达生成彩色语义图像系统及方法

Country Status (1)

Country Link
CN (1) CN107862293B (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
KR20200144543A (ko) 2018-03-20 2020-12-29 피씨엠에스 홀딩스, 인크. 우선 변환에 기반한 동적 포인트 클라우드를 최적화하는 시스템 및 방법
CN108491889A (zh) * 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
CN108537790B (zh) * 2018-04-13 2021-09-03 西安电子科技大学 基于耦合翻译网络的异源图像变化检测方法
CN108564126B (zh) * 2018-04-19 2022-04-19 郑州大学 一种融合语义控制的特定场景生成方法
CN108764298B (zh) * 2018-04-29 2022-03-08 天津大学 基于单分类器的电力图像环境影响识别方法
CN108681706A (zh) * 2018-05-15 2018-10-19 哈尔滨工业大学 一种双源遥感数据语义分割方法
CN108711138B (zh) * 2018-06-06 2022-02-11 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN108961272B (zh) * 2018-07-02 2021-10-26 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN110379020B (zh) * 2018-07-04 2023-05-30 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置
CN109034162B (zh) * 2018-07-13 2022-07-26 南京邮电大学 一种图像语义分割方法
CN109271880B (zh) * 2018-08-27 2021-08-24 深圳一清创新科技有限公司 车辆检测方法、装置、计算机设备和存储介质
CN109345448B (zh) * 2018-09-25 2023-05-05 广东工业大学 一种轮廓图上色方法及装置
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
EP3864579A4 (en) * 2018-10-11 2022-06-08 Bayerische Motoren Werke Aktiengesellschaft SNAPSHOT TRAINING A STREET MODEL
CN109474851A (zh) * 2018-10-30 2019-03-15 百度在线网络技术（北京）有限公司 视频转换方法、装置及设备
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN109584257B (zh) * 2018-11-28 2022-12-09 中国科学院深圳先进技术研究院 一种图像处理方法及相关设备
CN109670411B (zh) * 2018-11-30 2020-08-07 武汉理工大学 基于生成对抗网络的船舶点云深度图像处理方法和系统
EP3895431A1 (en) 2018-12-14 2021-10-20 PCMS Holdings, Inc. System and method for procedurally colorizing spatial data
CN109674471A (zh) * 2018-12-18 2019-04-26 中国科学技术大学 一种基于生成对抗网络的电阻抗成像方法及系统
CN109815833A (zh) * 2018-12-29 2019-05-28 江苏集萃智能制造技术研究所有限公司 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN109831352B (zh) * 2019-01-17 2022-05-17 柳州康云互联科技有限公司 一种用于互联网检测中基于对抗生成网络的检测样本生成系统及方法
CN109858437B (zh) * 2019-01-30 2023-05-30 苏州大学 基于生成查询网络的行李体积自动分类方法
CN109859562A (zh) * 2019-01-31 2019-06-07 南方科技大学 数据生成方法、装置、服务器及存储介质
CN110045729B (zh) * 2019-03-12 2022-09-13 北京小马慧行科技有限公司 一种车辆自动驾驶方法及装置
CN109978807B (zh) * 2019-04-01 2020-07-14 西北工业大学 一种基于生成式对抗网络的阴影去除方法
CN109917440B (zh) * 2019-04-09 2021-07-13 广州小鹏汽车科技有限公司 一种组合导航方法、系统及车辆
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备
US20200393558A1 (en) * 2019-06-13 2020-12-17 Wisense Technologies Ltd. System and method of enhancing a performance of an electromagnetic sensor
CN110428473B (zh) * 2019-06-18 2022-06-14 南昌大学 一种基于辅助变量的对抗生成网络的彩色图像灰度化方法
CN110244734B (zh) * 2019-06-20 2021-02-05 中山大学 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法
CN110346808B (zh) * 2019-07-15 2023-01-31 上海点积实业有限公司 一种激光雷达的点云数据处理方法和系统
CN110414593B (zh) * 2019-07-24 2022-06-21 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
CN110660128B (zh) * 2019-09-23 2023-08-11 云南电网有限责任公司电力科学研究院 一种基于生成对抗网络的三维语义场景重建方法
EP3832341A1 (en) * 2019-11-21 2021-06-09 NVIDIA Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
CN111007496B (zh) * 2019-11-28 2022-11-04 成都微址通信技术有限公司 基于神经网络关联雷达的穿墙透视方法
CN111210483B (zh) * 2019-12-23 2023-04-18 中国人民解放军空军研究院战场环境研究所 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法
CN111127701B (zh) * 2019-12-24 2022-02-11 武汉光庭信息技术股份有限公司 车辆失效场景检测方法及系统
CN110796398A (zh) * 2020-01-03 2020-02-14 杭州皓智天诚信息科技有限公司 一种智能评测系统
CN111724478B (zh) 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN111681183A (zh) * 2020-06-05 2020-09-18 兰州理工大学 一种壁画图像色彩还原方法及装置
CN111815698A (zh) * 2020-07-20 2020-10-23 广西安良科技有限公司 人工智能单目3d点云生成方法、装置、终端及存储介质
CN111862289B (zh) * 2020-08-04 2022-04-19 天津大学 一种基于gan网络的点云上采样方法
CN112198506B (zh) * 2020-09-14 2022-11-04 桂林电子科技大学 一种超宽带穿墙雷达学习成像的方法、装置、系统和可读存储介质
CN112307594B (zh) * 2020-09-22 2023-03-28 中国汽车技术研究中心有限公司 道路数据采集和模拟场景建立一体化系统及方法
CN112184589B (zh) 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112256589B (zh) * 2020-11-11 2022-02-01 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN112365582B (zh) * 2020-11-17 2022-08-16 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112329799A (zh) * 2020-12-01 2021-02-05 上海大学 一种点云彩色化算法
CN112816982A (zh) * 2020-12-31 2021-05-18 中国电子科技集团公司第十四研究所 一种雷达目标检测方法
CN112837270B (zh) * 2021-01-11 2023-04-07 成都圭目机器人有限公司 一种自带语义注释的道面图像的合成方法和网络模型
CN112907528B (zh) 2021-02-09 2021-11-09 南京航空航天大学 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
CN113205140B (zh) * 2021-05-06 2022-11-15 中国人民解放军海军航空大学 基于生成式对抗网络的半监督式特定辐射源个体识别方法
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统
CN117813621A (zh) * 2021-08-06 2024-04-02 Oppo广东移动通信有限公司 点云处理方法和装置
CN113947729A (zh) * 2021-11-12 2022-01-18 华南农业大学 基于竞争网络的植株点云数据深度图像处理方法及系统
CN115186814B (zh) * 2022-07-25 2024-02-13 南京慧尔视智能科技有限公司 对抗生成网络的训练方法、装置、电子设备和存储介质
CN115965749B (zh) * 2023-03-16 2023-06-23 联易云科(北京)科技有限公司 一种基于雷视融合的三维重建设备
CN116449807B (zh) * 2023-06-14 2023-09-01 北京市计量检测科学研究院 一种物联网汽车操控系统仿真测试方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN104181546A (zh) * 2014-08-25 2014-12-03 中国科学院武汉物理与数学研究所 彩色三维扫描激光雷达颜色信息采集显示方法
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
US10582121B2 (en) * 2016-01-12 2020-03-03 Mitsubishi Electric Research Laboratories, Inc. System and method for fusing outputs of sensors having different resolutions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN104181546A (zh) * 2014-08-25 2014-12-03 中国科学院武汉物理与数学研究所 彩色三维扫描激光雷达颜色信息采集显示方法
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Colorful Image Colorization";Zhang R等;《Computer Vision–ECCV 2016》;20161217;全文 *
"Fast robust monocular depth estimation for Obstacle Detection with fully convolutional networks";M. Mancini等;《2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20161201;全文 *
"基于Kinect的多视点立体成像系统";黄浩;《中国优秀硕士学位论文全文数据库·信息科技辑》;20150515;第2015年卷(第5期);全文 *
"基于深度卷积神经网络的室外场景理解研究";文俊;《中国优秀硕士学位论文全文数据库·信息科技辑》;20170415;第2017年卷(第4期);全文 *

Also Published As

Publication number Publication date
CN107862293A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107862293B (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN112435325B (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
CN111797716A (zh) 一种基于Siamese网络的单目标跟踪方法
CN111201451A (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN102507592B (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
US11210801B1 (en) Adaptive multi-sensor data fusion method and system based on mutual information
CN110070025B (zh) 基于单目图像的三维目标检测系统及方法
CN110223377A (zh) 一种基于立体视觉系统高精度的三维重建方法
CN111209840B (zh) 一种基于多传感器数据融合的3d目标检测方法
CN111967373B (zh) 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及系统
CN112561996A (zh) 一种自主水下机器人回收对接中目标检测方法
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN115471749A (zh) 地外探测无监督学习的多视角多尺度目标识别方法及系统
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
CN116630528A (zh) 基于神经网络的静态场景重建方法
CN115359067A (zh) 一种基于连续卷积网络的逐点融合点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant