CN110379020B - 一种基于生成对抗网络的激光点云上色方法和装置 - Google Patents

一种基于生成对抗网络的激光点云上色方法和装置 Download PDF

Info

Publication number
CN110379020B
CN110379020B CN201810723551.9A CN201810723551A CN110379020B CN 110379020 B CN110379020 B CN 110379020B CN 201810723551 A CN201810723551 A CN 201810723551A CN 110379020 B CN110379020 B CN 110379020B
Authority
CN
China
Prior art keywords
point cloud
network
color
judging
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810723551.9A
Other languages
English (en)
Other versions
CN110379020A (zh
Inventor
李艳丽
孙晓峰
赫桂望
蔡金华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810723551.9A priority Critical patent/CN110379020B/zh
Publication of CN110379020A publication Critical patent/CN110379020A/zh
Application granted granted Critical
Publication of CN110379020B publication Critical patent/CN110379020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Optical Communication System (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于生成对抗网络的激光点云上色方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取样本集；其中，样本集包括激光点云以及彩色点云；输入激光点云以及彩色点云至生成对抗网络中，以对生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；基于训练后的网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。该实施方式不需要搭建任何摄像头硬件装置，且不受天气、环境等因素的影响，操作简单、成本低、占用内存小，并能够获取完整的点云上色结果。

Description

一种基于生成对抗网络的激光点云上色方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于生成对抗网络的激光点云上色方法和装置。
背景技术
激光点云是由激光雷达向目标发射激光束，并对反射激光进行检测和分析，以获取点云数据，其属性包括三维空间坐标位置X、Y、Z和反射强度Intensity。
激光点云具有采集密度高，对环境光照鲁棒和测距精准等优点，因而随着自动驾驶技术的开展，基于激光点云的场景理解技术是不可或缺的手段之一。
然而激光点云的点云数据属性过于单一，难以表达文理色彩丰富的现实场景，为此，各种车载系统往往搭建若干摄像头，来配合激光雷达获取带有颜色R、G、B的激光数据。这种由采集视频对激光点云上色的主要流程为：
1)预先对激光雷达和摄像头进行位置标定，建立激光雷达和摄像头的相对几何关系；
2)在采集过程中同步采集点云束和视频帧，并对同一时刻所采集的点云束和视频帧进行匹配；
3)在统一坐标系下，根据预定的相对几何关系，将点云束投影到所匹配的视频帧中，用视频帧中的投影点像素颜色对点云上色。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
1)操作复杂：需要搭建复杂的激光和摄像头系统，并对两者进行标定和同步；
2)使用局限：在清洗场景下所拍摄的视频具有较高的识别率，但在模糊场景下，比如因天气原因、光线变化所引起的图像模糊、夜间场景下，所获取的视频质量偏低，难以保证高质量点云上色；
3)成本高：为对点云进行完整的高质量上色，还需要高品质的全景摄像头，所耗成本较高，还可能存在数据存储量大等问题。
发明内容
有鉴于此，本发明实施例提供一种基于生成对抗网络的激光点云上色方法和装置，至少能够解决现有点云上色方式操作复杂、成本高、环境要求高、完成效果不佳等缺点。
为实现上述目的，根据本发明实施例的一个方面，提供了一种基于生成对抗网络的激光点云上色方法，包括：
获取样本集；其中，样本集包括激光点云以及彩色点云；
输入激光点云以及彩色点云至生成对抗网络中，以对生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；
基于训练后的网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
可选的，输入激光点云以及彩色点云至生成对抗网络中，以对生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型，包括：
输入激光点云至生成网络，得到对应的第一上色点云，通过判别网路判别第一上色点云为真的概率，确定生成网络的损失函数值；
通过判别网络判别彩色点云为真的概率，结合所判别的第一上色点云为真的概率，确定判别网络的损失函数值；
根据反向传递方式，分别最小化生成网络和判别网络的损失函数值，以迭代更新生成网络以及判别网络的参数，得到网络模型。
可选的，通过判别网路判别第一上色点云为真的概率包括：通过判别网络，对第一上色点云进行点云位置以及颜色属性切分，以提取第一上色点云的几何特征以及颜色特征，判别颜色特征在几何特征下为真的概率。
可选的，通过判别网络，对第一上色点云进行点云位置以及颜色属性切分，以提取第一上色点云的几何特征以及颜色特征，还包括：
根据预定几何变换方式，对第一上色点云的点云位置进行坐标变换，以提取坐标变换后第一上色点云的几何特征；以及
根据预定属性变换方式，对第一上色点云的颜色属性进行属性变换，以提取属性变换后第一上色点云的颜色特征。
可选的，迭代更新生成网络以及判别网络的参数，包括：
当生成网络的参数更新迭代次数达到第一预定次数阈值时，停止对生成网络的参数更新；和
当判别网络的参数更新迭代次数达到第二预定次数阈值时，停止对判别网络的参数更新。
可选的，获取样本集，还包括：
对样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本；其中，样本包括激光点云和彩色点云；和/或
分析样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；和/或
获取样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云。
为实现上述目的，根据本发明实施例的另一方面，提供了一种基于生成对抗网络的激光点云上色装置，包括：
样本获取模块，用于获取样本集；其中，样本集包括激光点云以及彩色点云；
网络训练模块，用于输入激光点云以及彩色点云至生成对抗网络中，以对生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；
点云上色模块，用于基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
可选的，所述网络训练模块，用于：
输入激光点云至生成网络，得到对应的第一上色点云，通过判别网路判别第一上色点云为真的概率，确定生成网络的损失函数值；
通过判别网络判别彩色点云为真的概率，结合所判别的第一上色点云为真的概率，确定判别网络的损失函数值；
根据反向传递方式，分别最小化生成网络和判别网络的损失函数值，以迭代更新生成网络以及判别网络的参数，得到网络模型。
可选的，所述网络训练模块，用于：通过判别网络，对第一上色点云进行点云位置以及颜色属性切分，以提取第一上色点云的几何特征以及颜色特征，判别颜色特征在几何特征下为真的概率。
可选的，所述网络训练模块，还用于：
根据预定几何变换方式，对第一上色点云的点云位置进行坐标变换，以提取坐标变换后第一上色点云的几何特征；以及
根据预定属性变换方式，对第一上色点云的颜色属性进行属性变换，以提取属性变换后第一上色点云的颜色特征。
可选的，所述网络训练模块，用于：
当生成网络的参数更新迭代次数达到第一预定次数阈值时，停止对生成网络的参数更新；和
当判别网络的参数更新迭代次数达到第二预定次数阈值时，停止对判别网络的参数更新。
可选的，所述样本获取模块，还用于：
对样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本；其中，样本包括激光点云和彩色点云；和/或
分析样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；和/或
获取样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云。
为实现上述目的，根据本发明实施例的再一方面，提供了一种基于生成对抗网络的激光点云上色电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的基于生成对抗网络的激光点云上色方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的基于生成对抗网络的激光点云上色方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：不需要搭建任何摄像头装置，只需要预先获取大量带有颜色的点云，对其输入的(X,Y,Z,Intensity)和输入颜色(R,G,B)进行神经网络学习即可，同时网络模型可以迭代更新优化，所得上色结果较为准确和全面。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种基于生成对抗网络的激光点云上色方法的主要流程示意图；
图2是根据本发明实施例的一种可选的基于生成对抗网络的激光点云上色方法的流程示意图；
图3是根据本发明实施例的另一种可选的基于生成对抗网络的激光点云上色方法的流程示意图；
图4是根据本发明实施例的又一种可选的基于生成对抗网络的激光点云上色方法的流程示意图；
图5是根据本发明实施例的又一种可选的基于生成对抗网络的激光点云上色方法的流程示意图；
图6是根据本发明实施例的一种基于生成对抗网络的激光点云上色装置的主要模块示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在学术上，能够将生成对抗网络结合不同的领域进行应用，例如，图像上色、图像风格化、图像增强、文本生成图像和场景解析等。但因为针对应用场景的不同，所需的网络模型、输入输出数据等都是不同的，由此本发明所提供的技术，跟图片上色等是有区别的。
本发明所提供的方法，同样可适用于多种场景，例如三维街景重构、语义场景解析、自动驾驶仿真等方面：
1)在三维街景重构中，将带色点云三角面片化可以合成面片街景，相比纯色模型更真实；
2)在语义场景解析中，给原始点云额外增强3个通道，实验表明，融合更多通道能提高解析精度；
3)在自动驾驶仿真中，合成带色道路面和道路线的高清地图有助提高车辆行为决策的准确性。
对于本发明所涉及的名词，做解释如下：
点云(Point Cloud)：在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”。其属性包括：空间分辨率，点位精度，表面法向量等。
鲁棒：意思就是适合更多场合。
标定：是指使用标准的计量仪器对所使用仪器的准确度(精度)进行检测是否符合标准，一般大多用于精密度较高的仪器。
视频帧：视频都是由静止的画面组成的,这些静止的画面被称为帧。
PointNet：Deep Learning on Point Sets for 3D Classification andSegmentation(点云分割)。其本质就是一种网络结构，按一定的规则输入点云数据，经过一层层地计算，得出分类结果或者分割结果。
RGB：代表红、绿、蓝三个通道的颜色，通过这三种颜色的叠加可以得到各种各样的颜色。这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
LAB(颜色模型)：基于人对颜色的感觉。LAB中的数值描述正常视力的人能够看到的所有颜色。
参见图1，示出的是本发明实施例提供的一种基于生成对抗网络的激光点云上色方法的主要流程图，包括如下步骤：
S101：获取样本集；其中，所述样本集包括激光点云以及彩色点云；
S102：输入所述激光点云以及所述彩色点云至生成对抗网络中，以对所述生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；
S103：基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
上述实施方式中，对于步骤S101，对于生成对抗网络的训练，需依据大量的样本，包括激光点云以及彩色点云，其中，激光点云仅包括点云位置和辐射度标注，彩色点云包括点云位置、辐射度和颜色标注。
1)对于激光点云的获取，仅仅依靠现有激光点云技术即可，所获取的点云数据是未上色的。
2)对于彩色点云的获取，可以使用现有公开数据集或者车载激光摄像头采集装置，捕获大量彩色点云数据；
例如，对于车载激光摄像头采集装置，可以通过固定在车辆顶部的激光雷达和车辆内部的摄像头进行数据采集，同步时间戳的激光点云与视频帧，得到激光点云。
需要说明的是，为降低后续筛选流程，该数据采集过程，可以在光照环境良好、噪音低的情况下进行，以进一步消除不良样本对于训练模型的不良影响，提高网络模型训练精度。
进一步的，由于点云数量众多，可以对点云设置标识码，便于后续查询。例如，激光点云1的标识码为A1，处于同一时间戳的彩色点云为B1，后续生成网络根据A1激光点云所生成的上色点云为C1，这就建立A1-B1-C1的关联，其他还有A2-B2-C2，便于对生成对抗网络的监督训练。
对于步骤S102，生成对抗网络(Generative Adversarial Networks，GANs)包括生成网络G和判别网络D。其中，生成网络G根据观测信息z(例如激光点云、灰度图像)生成虚假样本G(z)(例如带颜色的点云、图像颜色)，判别网络对虚假样本G(z)和真实样本x进行真假预测。
理想的生成网络应具有超强的造假能力，制作出的虚假样本让判别网络识别不出来。反之，理想的判别网络应具有超强的判伪能力，能精确判定真实和虚假样本的真伪，因此这是两者的博弈问题。本发明所提供的目标函数minGmaxD V(D,G)为(不考真假样本的噪声分布)：
minGmaxD V(D,G)＝Ex log(D(x))+Ez[1-D(G(z))]
使用迭代策略对生成网络和判别网络进行联合优化，最终优化后的生成网络可以高仿真的虚假样本，判别网络可以识别出不够真实的虚假样本。
借鉴点云分类网络PointNet(CVPR2017)，本发明对PointNet网络模型进行了拆分和扩展，提出了新的生成网络和判别网络，并将其应用在点云上色问题中。具体参见图2所示，为生成对抗网络结构的概述，其中，图2(a)为生成网络，图2(b)为对抗网络。
关于生成对抗网络中生成网络以及判别网络的训练过程描述，具体参见图3所示；关于两者的结构描述，具体参见图4所示。
对于步骤S103，在获取训练好的网络模型后，根据训练模型对输入的激光点云进行上色即可，此时所得上色点云结果较为真实，且成本较低。
需要说明的是，虽然本发明提供的激光点云上色结果不是真实的，而是大量样本训练出来的虚拟结果，例如，阴雨天的灰色树叶可能赋值为绿色树叶、夜光下采集的黑色马路标示线可能是白色。然而这种虚构上色的点云，在三维街景重构、语义场景解析、自动驾驶仿真等方面，都有广泛应用前景，本方案可视为是对真实点云上色的一种有益补充。
上述实施例所提供的方法，基于生成对抗网络对激光点云进行上色处理，不需要搭建任何摄像头硬件装置，且不受天气、环境等因素的影响，操作简单、成本低，并能够获取完整的点云上色结果。
参见图3，示出了根据本发明实施例的一种可选的基于生成对抗网络的激光点云上色方法流程示意图，包括如下步骤：
S301：获取样本集；其中，所述样本集包括激光点云以及彩色点云；
S302：输入所述激光点云至所述生成网络，得到对应的第一上色点云，通过所述判别网路判别所述第一上色点云为真的概率，确定所述生成网络的损失函数值；
S303：通过所述判别网络判别所述彩色点云为真的概率，结合所判别的所述第一上色点云为真的概率，确定所述判别网络的损失函数值；
S304：根据反向传递方式，分别最小化所述生成网络和所述判别网络的损失函数值，以迭代更新所述生成网络以及所述判别网络的参数，得到所述网络模型；
S305：基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
上述实施方式中，对于步骤S301、S305可分别参见图1所示步骤S101、S103的描述，在此不再赘述。
判别网络所得判别结果，是带有两维度的结点，代表所测样本属于真、假的概率，其概率和为1，例如[0.8,0.2]，即表示测试样本为真。
上述实施方式中，对于步骤S302～S304，对于生成对抗网络的训练，包括生成网络以及判别网路的单独交替训练，具体为：
1)初始化生成网络和判别网络的参数；其中，初始化方式包括但不限于是设定随机数值、将现有网络模型的参数传递过来；
2)生成网络参数更新：输入激光点云至生成网络中，得到假样本上色点云；
采用反向传递法，例如，BP反向算法(error BackPropagation)，迭代N次更新生成网络的参数，并在每次更新中都根据当前参数下的生成网络获取假样本上色点云(简称假样本)，赋值所生成的假样本为真来混淆判别网络，即依据生成网络的损失函数
Figure BDA0001719047210000111
更新生成网络的参数；其中，z为假样本上色点云，p(z)为假样本的噪声分布，[1-D(G(z))]为判别网络D判别生成网络G生成假样本的概率，Ez为判别网络在假样本上的总体判别期望均值。
需要说明的是，对于迭代次数等参数可以按照经验值进行事先设定：
1)对于Ez，所确定方式可以有多种：例如，判别网络历史判别假样本的成功概率为0.8，则设置Ez为经验值0.8；也可以本领域技术人员所知的其他方式，本发明在此不做限制。
2)对于迭代次数，所确定方式同样可以有多种：
①根据经验值进行设定；例如，交替迭代到50次后停止即可。
②根据判别网络的判别正确率进行设定；例如，判别网络判别假样本的正确率为0.8，则可将迭代次数适当提升，由经验值50次提升至60次。
需要说明的是，在生成网络的训练过程中，需要保持判别网络参数不发生变化。且，对于生成网络所生成的假样本，判别真假以及真假概率值，仍是依据判别网络进行的，因此在训练生成网络时，需要联合判别网络一起才能达到训练的目的。
3)判别网络的参数更新：在训练完成生成网络之后，可以根据训练好的生成模型，对原先样本集中的激光点云进行上色，得到新的假样本，并且训练后的假样本较之生成网络未训练结束之前更为真实；
对本次所得假样本上色点云，同样是通过反向传递法，迭代M次更新判别网络的参数，并在每次更新时都赋予真样本为真、假样本为假(例如，添加真假标签)来提升判别网络的判别能力，即用真假上色点云(生成网络所生成的上色点云、以及样本集中的彩色点云)同时基于损失函数：
Figure BDA0001719047210000121
更新判别网络的参数；其中，x为真样本彩色点云(简称真样本)，data为训练数据集，pdata(x)为真样本的噪声分布，D(x)为判别器判别x来自真样本的概率，Ex为判别网络在真样本上的总体判别期望均值，具体设定参照Ez。
综上可知，训练是用真假上色点云对两个网络的训练，都要改变网络参数，只不过是用假样本训练生成网络，用真假样本训练判别网络，即构造出一个minimax问题：
Figure BDA0001719047210000122
该式包含了判别网络的优化，以及生成网络以假乱真的优化。
进一步的，可以不考虑真假样本的噪声分布，所得目标函数为：
minGmaxD V(D,G)＝Ex log(D(x))+Ez[1-D(G(z))]
生成网络想要骗过判别网络，因此希望D(G(z))尽可能接近1，而判别网络则极力提高自身的鉴别能力，希望D(x)接近1，同时D(G(z))接近0。
两个网络不断训练，能力互相提高，例如，生成网络不断生成新的假样本进行尝试，直到生成网络所生成的人造样本看起来与原始样本没有区别，或者判别网络识别为真。
上述实施例所提供的方法，利用生成对抗网络进行激光点云与RGB图像的潜在关联进行学习判别，相较传统深度学习网络效率更高，且生成网络和对抗网络之间存在相互竞争，能够加速两者参数趋向更优，得到更为优化的生成对抗网络。
参见图4所示，示出了根据本发明实施例的另一种可选的基于生成对抗网络的激光点云上色方法流程示意图，包括如下步骤：
S401：获取样本集；其中，所述样本集包括激光点云以及彩色点云；
S402：输入所述激光点云至所述生成网络，得到对应的第一上色点云；
S403：通过所述判别网络，对所述第一上色点云进行点云位置以及颜色属性切分，以提取所述第一上色点云的几何特征以及颜色特征，判别所述颜色特征在所述几何特征下为真的概率。
S404：通过所述判别网络判别所述彩色点云为真的概率，结合所判别的所述第一上色点云为真的概率，确定所述判别网络的损失函数值。
S405：根据反向传递方式，分别最小化所述生成网络和所述判别网络的损失函数值，以迭代更新所述生成网络以及所述判别网络的参数，得到所述网络模型。
S406：基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
上述实施方式中，对于步骤S401、S406可分别参见图1所示步骤S101、S103的描述，步骤S402、S405可参见图3所示步骤S302、S304的描述，在此不再赘述。
上述实施方式中，对于步骤S402，生成网络对样本集中原始激光点云进行点云上色，其具体训练过程，具体参见图3所示描述。
此处仅说明生成网络的结构，具体参见图2(a)所示，n为激光点云的点云数，输入(nx4)为4通道的(X,Y,Z,Intensity)的原始激光点云，输出(nx3)为3通道(R,G,B)的上色点云。
生成网络包括网络层和数据层，其中：
1)网络层，包括卷积层、下采样Pooling层和级联Concat层，
①卷积层，即图中4x64、64x64、1x1024、1088x512等。
全卷积层是数据公用的，即每个点云的数据层跟同一卷积核进行卷积操作，所输出为该点云点的下一个数据层，例如，(nx4)*(4x64)*(64x64)＝(nx64)，将4通道点云数据转换为64通道点云数据；
所谓“通道转换”，其实就是卷积操作。卷积操作的作用是提取更有效的特征，经过层层卷积就能逐步提取底层、中层和高层的特征，从而获取更有效的描述。通常，卷积层越深越有效，例如，152层的卷积效果比只有5层的卷积优异。
②下采样Pooling层：对指定通道下的点云数据取最大值，例如，1/2/3/9取9；
③级联Concat层：首先将(1x1024)的点云数据膨胀成(nx1024)，然后跟(nx64)串联成(nx1088)数据层。
所谓“膨胀”，即将原先一个1个点云，复制黏贴为n个。级联Concat层的目的，在于将全局特征复制给每个点云点，这样每个点云点都拥有点云集合的全局属性了。例如，假设(1*1024)为全局点云属于1024类的概率，膨胀后，就是标识了每个点云属于1024类的概率。
需要说明的是，只有图中有Pooling层的点云数据，才进行池化和膨胀，其余部分仅进行数据通道转换即可。
2)数据层，例如，图中的(nx64)、(nx1024)、(nx1088)和(nx128)分别为64、1024、1088和128通道的数据层。
对于步骤S403，判别网络单独判别真样本以及假样本的真假概率，其具体过程参见图3所示描述，在此不再赘述。
结合图2(b)，对判别网络的结构(包括网络层和数据层)进行具体描述，对其训练过程进行进一步阐述。其中的n为真样本或假样本的点云数，输入(nx6)为6通道(X,Y,Z,R,G,B)的真样本或假样本，输出(1x2)为点云是真(标识为1))和假(标识为0)的概率：
1)网络层，包括切分层Split，卷积层(3x64、64x64等)，下采样Pooling层，几何变换层T-Net，级联Concat层和分类层，其中：
①卷积层、下采样Pooling层和级联Concat层的具体定义如同生成网络一样，在此不再赘述；
②切分层Split：将所输入6通道(X,Y,Z,R,G,B)的颜色点云(真样本或假样本)，切分为点云位置和颜色属性两部分；
需要说明的是，由于点云位置以及颜色是两个不同的属性，且每个属性都是3通道，其度量、范围、单位等都有区分，所以需要在底层切分以分别进行特征提取，然后再从高层特征上进行融合；
例如，树木点云根据点云位置能得到一组属于不同类的64维特征，根据树木颜色也能得到一组属于不同类的64维特征，在高层上具有属性、度量和范围一致性，可以进行融合。反之，如果在底层进行融合，通道混淆计算(如颜色+位置)，所得到结果没有意义。
③T-Net层为全卷积：作用是对切分后的点云位置、颜色属性进行几何变换、属性变换、特征变换等；
其中，几何变换是一种类似于仿射变换的矩阵相乘，这样可以将点云变换坐标系，使得转换坐标后的点云提取更有效特征；例如，原先位于y轴的点云，几何变换后移至x轴；
属性变换，可以是针对颜色属性；例如，将原先RGB颜色转换为LAB；
特征变换是几何变换的一种维度扩展，作用也是提取更有效特征。类似于PCA主成分分析，经过训练提取了主成分后，测试时候在主成分作用下使得线性相关特征变成线性无关特征，新特征用于分类的效果更好。
④分类层：可以是多种分类方式，例如，Softmax分类、二分类等。
以二分类为例，从点云中提取一个1024维的特征，然后用SVM(Support VectorMachine，支持向量机)进行二分类即可。
对于Softmax，可以基于公式f(xi)＝exp(xi)/∑jexp(xj)，确定真假点云的误差值。
2)数据层，例如图中中部的(nx64)和(nx1024)分别为64和1024通道的数据层，另外，还包括(nx128)128通道数据层(图中为标出)。
对于步骤S404，判别网络判别彩色点云为真的概率方式，同样参见步骤S403的描述，在此不再赘述。
上述实施例所提供的方法，提供了一种新型的生成网络以及判别网络的结构，以针对性对真假样本进行颜色、点云位置的特征提取以及判别，较之现有技术，所得结果更为精准。
参见图5，示出了根据本发明实施例的又一种可选的基于生成对抗网络的激光点云上色方法流程示意图，包括如下步骤：
S501：获取样本集；其中，所述样本集包括激光点云以及彩色点云；
S502：对所述样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本，得到第一样本集；
S503：获取第一样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云，得到第二样本集；
S504：分析第二样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；
S505：输入所述激光点云以及所述彩色点云至生成对抗网络中，以对所述生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型。
S506：基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
上述实施方式中，步骤S501、S506可分别参见图1所示步骤S101以及S103的描述，步骤S505可参见图3所示步骤S302～S304的描述，也可以参见图4所示步骤S402以及S403的描述，在此不再赘述。
上述实施方式中，对于步骤S502～S504，由于有些样本无助于生成对抗网络模型的训练，因此，在训练之前，可以先对样本进行预处理操作，具体有：噪声剔除处理、数据增强处理、界面无效点处理，这些处理方式可以人工+机器结合处理。
1)噪声剔除等样本筛选：样本获取时，由于受外界环境等的影响，有些样本无助于模型的训练，可能还会造成训练迭代次数的增加等不良影响，这些样本需删除；
需要说明的是，这里的噪声，是无效样本的意思，所以不存在噪声值，而是靠人为主观评测是噪声样本，该过程主要依赖人工完成。例如，人工删除有行人或车辆严重遮挡的点云样本。
2)数据增强等数据提升：对点云进行小部分剪切、对点云进行全局缩放、对点云进行旋转或平移变换等手段来提升点云数量。
需要说明的是，这里的数据增强，为点云样本数据量的增加，该过程主要依据机器完成。比如，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理方法。其中的增强参数例如剪切比例也是经验设定的。
另外，这里的点云量阈值，可以设置偏向无穷远的值，假若通常点云数量以万为单位，则将点云量阈值设定于亿位数，此时，需要针对所有样本进行数据增强。
3)另外，还可以有其他点云筛选手段，用于过滤掉点云中的一些无效点。例如，由于激光点云设备精度问题，可能采集到无限远的若干无效点，因此对于道路类，可以设置一个道路路面阈值h，当点云中的z>h时，表明该点是道路上的干扰点，可以将该点云去除。又例如，点云中包含采集设备，可以将该采集设备点云去除。
本发明主要采用串行处理方式，即噪声样本筛选—无效点云过滤—点云数据增强，以此减少无用操作，提高有效点云样本的获取效率。
需要说明的是，上述这三个预处理操作——样本筛选、点云数据增强以及无效点云过滤，可以串行进行，也可以仅选取其中的一个或两个执行，具体依据需求进行设定，例如，仅选取噪声预处理以及数据增强操作，或者仅进行数据增强操作。
上述实施例所提供的方法，在训练模型之前，对样本集中样本的预处理操作，以保证训练样本的完备性和全面性；通过优选的样本集，可以降低因无效样本需模型需多次迭代的不良影响，进而提高样本训练、模型生成效率和精度。
本发明对于生成对抗网络的训练包括广义以及狭义训练两个过程。广义训练包括数据采集、数据处理等操作流程，狭义训练是指对网络参数的优化。
就狭义训练而言，本发明对于生成对抗网络的训练算法是反向传递法，是深度学习方法的通用解法；就广义训练而言，包含对样本集的预处理、生成网络以及判别网络的参数迭代更新，具体参见图1～图5所示描述。
本发明实施例所提供的方法，不需要搭建任何摄像头装置，只需要预先获取大量带有颜色的点云，对其输入的(X,Y,Z,Intensity)和输入颜色(R,G,B)进行神经网络学习即可，同时网络模型可以迭代更新优化。另外，所式方法操作简单、成本低、不受环境影响，对于需上色的激光点云，所得到的点云上色结果，其准确性、完整性、稳定性都相对较高。
参见图6，示出了本发明实施例提供的一种基于生成对抗网络的激光点云上色装置600的主要模块示意图，包括：
样本获取模块601，用于获取样本集；其中，所述样本集包括激光点云以及彩色点云；
网络训练模块602，用于输入所述激光点云以及所述彩色点云至生成对抗网络中，以对所述生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；
点云上色模块603，用于基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
本发明实施装置中，所述网络训练模块602，用于：
输入所述激光点云至所述生成网络，得到第一上色点云，通过所述判别网路判别所述第一上色点云为真的概率，确定所述生成网络的损失函数值；
通过所述判别网络判别所述彩色点云为真的概率，结合所判别的所述第一上色点云为真的概率，确定所述判别网络的损失函数值；
根据反向传递方式，分别最小化所述生成网络和所述判别网络的损失函数值，以迭代更新所述生成网络以及所述判别网络的参数，得到所述网络模型。
本发明实施装置中，所述网络训练模块602，用于：通过所述判别网络，对所述第一上色点云进行点云位置以及颜色属性切分，以提取所述第一上色点云的几何特征以及颜色特征，判别所述颜色特征在所述几何特征下为真的概率。
本发明实施装置中，所述网络训练模块602，还用于：
根据预定几何变换方式，对所述第一上色点云的点云位置进行坐标变换，以提取坐标变换后所述第一上色点云的几何特征；以及
根据预定属性变换方式，对所述第一上色点云的颜色属性进行属性变换，以提取属性变换后所述第一上色点云的颜色特征。
本发明实施装置中，所述网络训练模块602，用于：
当所述生成网络的参数更新迭代次数达到第一预定次数阈值时，停止对所述生成网络的参数更新；和
当所述判别网络的参数更新迭代次数达到第二预定次数阈值时，停止对所述判别网络的参数更新。
本发明实施装置中，所述样本获取模块601，还用于：
对所述样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本；其中，所述样本包括所述激光点云和所述彩色点云；和/或
分析所述样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；和/或
获取所述样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云。
另外，在本发明实施例中所述的基于生成对抗网络的激光点云上色装置的具体实施内容，在上面所述基于生成对抗网络的激光点云上色方法中已经详细说明了，故在此重复内容不再说明。
本发明实施例所提供的装置，不需要搭建任何摄像头装置，只需要预先获取大量带有颜色的点云，对其输入的(X,Y,Z,Intensity)和输入颜色(R,G,B)进行神经网络学习即可，同时网络模型可以迭代更新优化。另外，所式装置操作简单、成本低、不受环境影响，对于需上色的激光点云，所得到的点云上色结果，其准确性、完整性、稳定性都相对较高。
图7示出了可以应用本发明实施例的基于生成对抗网络的激光点云上色方法或基于生成对抗网络的激光点云上色装置的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的基于生成对抗网络的激光点云上色方法一般由服务器705执行，相应地，基于生成对抗网络的激光点云上色装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括样本获取模块、网络训练模块、点云上色模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，网络训练模块还可以被描述为“对生成网络和判别网络进行训练的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
获取样本集；其中，所述样本集包括激光点云以及彩色点云；
输入所述激光点云以及所述彩色点云至生成对抗网络中，以对所述生成对抗网络中的生成网络以及判别网络进行相互竞争的参数迭代训练，得到训练后的网络模型；
基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
根据本发明实施例的技术方案，不需要搭建任何摄像头装置，只需要预先获取大量带有颜色的点云，对其输入的(X,Y,Z,Intensity)和输入颜色(R,G,B)进行神经网络学习即可，同时网络模型可以迭代更新优化。另外，整体操作简单、成本低、不受环境影响，对于需上色的激光点云，所得到的点云上色结果，其准确性、完整性、稳定性都相对较高。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种基于生成对抗网络的激光点云上色方法，其特征在于，包括：
获取样本集；其中，所述样本集包括激光点云以及彩色点云；
输入所述激光点云至生成对抗网络中的生成网络，得到对应的第一上色点云，通过生成对抗网络中的判别网络判别所述第一上色点云为真的概率，确定所述生成网络的损失函数值；
通过所述判别网络判别所述彩色点云为真的概率，结合所判别的所述第一上色点云为真的概率，确定所述判别网络的损失函数值；
根据反向传递方式，分别最小化所述生成网络和所述判别网络的损失函数值，以迭代更新所述生成网络以及所述判别网络的参数，得到训练后的网络模型；
基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
2.根据权利要求1所述的方法，其特征在于，所述通过所述判别网路判别所述第一上色点云为真的概率包括：
通过所述判别网络，对所述第一上色点云进行点云位置以及颜色属性切分，以提取所述第一上色点云的几何特征以及颜色特征，判别所述颜色特征在所述几何特征下为真的概率。
3.根据权利要求2所述的方法，其特征在于，所述通过所述判别网络，对所述第一上色点云进行点云位置以及颜色属性切分，以提取所述第一上色点云的几何特征以及颜色特征，还包括：
根据预定几何变换方式，对所述第一上色点云的点云位置进行坐标变换，以提取坐标变换后所述第一上色点云的几何特征；以及
根据预定属性变换方式，对所述第一上色点云的颜色属性进行属性变换，以提取属性变换后所述第一上色点云的颜色特征。
4.根据权利要求1所述的方法，其特征在于，迭代更新所述生成网络以及所述判别网络的参数，包括：
当所述生成网络的参数更新迭代次数达到第一预定次数阈值时，停止对所述生成网络的参数更新；和
当所述判别网络的参数更新迭代次数达到第二预定次数阈值时，停止对所述判别网络的参数更新。
5.根据权利要求1所述的方法，其特征在于，所述获取样本集，还包括：
对所述样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本；其中，所述样本包括所述激光点云和所述彩色点云；和/或
分析所述样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；和/或
获取所述样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云。
6.一种基于生成对抗网络的激光点云上色装置，其特征在于，包括：
样本获取模块，用于获取样本集；其中，所述样本集包括激光点云以及彩色点云；
网络训练模块，用于输入所述激光点云至生成对抗网络中的生成网络，得到对应的第一上色点云，通过生成对抗网络中的判别网络判别所述第一上色点云为真的概率，确定所述生成网络的损失函数值；
通过所述判别网络判别所述彩色点云为真的概率，结合所判别的所述第一上色点云为真的概率，确定所述判别网络的损失函数值；
根据反向传递方式，分别最小化所述生成网络和所述判别网络的损失函数值，以迭代更新所述生成网络以及所述判别网络的参数，得到训练后的网络模型；
点云上色模块，用于基于训练后的所述网络模型，对待上色激光点云进行上色和判别，得到对应的上色点云。
7.根据权利要求6所述的装置，其特征在于，所述网络训练模块，用于：
通过所述判别网络，对所述第一上色点云进行点云位置以及颜色属性切分，以提取所述第一上色点云的几何特征以及颜色特征，判别所述颜色特征在所述几何特征下为真的概率。
8.根据权利要求7所述的装置，其特征在于，所述网络训练模块，还用于：
根据预定几何变换方式，对所述第一上色点云的点云位置进行坐标变换，以提取坐标变换后所述第一上色点云的几何特征；以及
根据预定属性变换方式，对所述第一上色点云的颜色属性进行属性变换，以提取属性变换后所述第一上色点云的颜色特征。
9.根据权利要求6所述的装置，其特征在于，所述网络训练模块，用于：
当所述生成网络的参数更新迭代次数达到第一预定次数阈值时，停止对所述生成网络的参数更新；和
当所述判别网络的参数更新迭代次数达到第二预定次数阈值时，停止对所述判别网络的参数更新。
10.根据权利要求6所述的装置，其特征在于，所述样本获取模块，还用于：
对所述样本集中的样本进行噪声预处理，剔除目标点被遮挡的样本；其中，所述样本包括所述激光点云和所述彩色点云；和/或
分析所述样本集中样本的点云数量，对点云数量低于预定点云量阈值的样本进行数据增强预处理；和/或
获取所述样本集中样本的点云位置，去除样本中点云位置超出预定点云位置阈值的点云。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201810723551.9A 2018-07-04 2018-07-04 一种基于生成对抗网络的激光点云上色方法和装置 Active CN110379020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810723551.9A CN110379020B (zh) 2018-07-04 2018-07-04 一种基于生成对抗网络的激光点云上色方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810723551.9A CN110379020B (zh) 2018-07-04 2018-07-04 一种基于生成对抗网络的激光点云上色方法和装置

Publications (2)

Publication Number Publication Date
CN110379020A CN110379020A (zh) 2019-10-25
CN110379020B true CN110379020B (zh) 2023-05-30

Family

ID=68243749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810723551.9A Active CN110379020B (zh) 2018-07-04 2018-07-04 一种基于生成对抗网络的激光点云上色方法和装置

Country Status (1)

Country Link
CN (1) CN110379020B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111627A (zh) * 2020-01-13 2021-07-13 北京京东乾石科技有限公司 一种文本合成点云的方法和装置
CN111460422B (zh) * 2020-02-11 2021-10-01 北京京东尚科信息技术有限公司 生成验证码的方法和装置
CN113496238A (zh) * 2020-03-20 2021-10-12 北京京东叁佰陆拾度电子商务有限公司 模型训练方法、点云数据风格化方法、装置、设备及介质
CN111311614B (zh) * 2020-03-27 2021-10-29 西安电子科技大学 基于分割网络和对抗网络的三维点云语义分割方法
CN111612891B (zh) * 2020-05-22 2023-08-08 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法
CN112365582B (zh) * 2020-11-17 2022-08-16 电子科技大学 一种对抗点云生成方法、存储介质和终端
CN112329799A (zh) * 2020-12-01 2021-02-05 上海大学 一种点云彩色化算法
CN113936806B (zh) * 2021-09-18 2024-03-08 复旦大学 脑刺激响应模型构建方法、响应方法、装置及电子设备
CN114119607B (zh) * 2022-01-20 2022-05-13 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114612740A (zh) * 2022-03-01 2022-06-10 京东科技信息技术有限公司 模型生成方法、点云分类方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571228B1 (en) * 2000-08-09 2003-05-27 Po-Tong Wang Hybrid neural networks for color identification
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571228B1 (en) * 2000-08-09 2003-05-27 Po-Tong Wang Hybrid neural networks for color identification
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置

Also Published As

Publication number Publication date
CN110379020A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN109614935B (zh) 车辆定损方法及装置、存储介质及电子设备
CN112233124B (zh) 基于对抗式学习与多模态学习的点云语义分割方法及系统
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN111222395A (zh) 目标检测方法、装置与电子设备
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN115457531A (zh) 用于识别文本的方法和装置
CN105574848A (zh) 用于对象的自动分割的方法和装置
CN109472193A (zh) 人脸检测方法及装置
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN109523558A (zh) 一种人像分割方法及系统
CN114279433A (zh) 地图数据自动化生产方法、相关装置及计算机程序产品
CN112052730A (zh) 一种3d动态人像识别监控设备及方法
CN115423946A (zh) 大场景弹性语义表征与自监督光场重建方法及装置
CN112819008B (zh) 实例检测网络的优化方法、装置、介质及电子设备
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN116095363B (zh) 基于关键行为识别的移动端短视频高光时刻剪辑方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant