CN112329799A - 一种点云彩色化算法 - Google Patents

一种点云彩色化算法 Download PDF

Info

Publication number
CN112329799A
CN112329799A CN202011388120.5A CN202011388120A CN112329799A CN 112329799 A CN112329799 A CN 112329799A CN 202011388120 A CN202011388120 A CN 202011388120A CN 112329799 A CN112329799 A CN 112329799A
Authority
CN
China
Prior art keywords
point cloud
obtaining
data
countermeasure network
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011388120.5A
Other languages
English (en)
Inventor
李晓强
刘吉涛
戴松民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202011388120.5A priority Critical patent/CN112329799A/zh
Publication of CN112329799A publication Critical patent/CN112329799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种点云彩色化算法，首先将三维数据的格式由网格转变为点云，然后对点云使用均匀采样的方式获取4096个点，并保留点云中的颜色和坐标信息，首先会将点云的三维坐标输入到生成对抗网络的生成器中，通过一系列的卷积运算，得到是否为真实的概率，两个网络相互对抗，不断调整参数，最终得到判别器无法分辨真假的彩色化点云。通过生成对抗网络的性质，使得生成的颜色越来越符合真实世界并且令判别器无法辨别真假。本发明旨在解决点云彩色化问题，即对点云数据进行上色，并且颜色符合于真实世界。

Description

一种点云彩色化算法
技术领域
本发明涉及一种将无色点云彩色化的算法，特别涉及一种点云彩色化算法。
背景技术
点云数据是一个三维系统中的一组向量的集合，通常以X,Y,Z三维坐标的形式表示，一般主要用来代表一个物体的形状。点云可以将现实世界原子化，通过高精度的点云数据可以还原现实世界。主要是通过三维激光扫描仪进行数据采集获取点云数据，其次通过二维影像进行三维重建，在重建过程中获取点云数据，另外还有一些，通过三维模型来计算获取点云。点云的应用极其广泛，可用于测绘、自动驾驶、医疗等。
点云是一种重要的几何数据结构。由于其不规则的格式，大多数研究人员将这些数据转换为常规3D体素网格或图像集合。然而，这会使数据不必要地大量增加并导致问题。Qi等人设计了一种新型神经网络，它直接利用点云，并且很好地尊重输入点的置换不变性。为从对象分类，部件分割到场景语义分析等应用提供统一的体系结构。
二维图像彩色化问题是如今计算机视觉的一个热门领域。为了生成高质量的着色方案，Cheng等人受近年来卷积神经网络的成功启发，重新阐述了彩色化问题，使深度学习技术可以直接应用于大规模数据的建模。为了确保无伪影问题，提出了一个基于双边过滤的联合后处理步骤。从而进一步发展了一种自适应的图像聚类技术来融合全局图像信息。而Phillip等人提出的基于生成对抗网络的图像彩色化方案指出，图像颜色的预测本质上是多模态的，也就是说，许多对象可以进行几种合理的着色，因此该方案不一定恢复对象的原始颜色信息，而是生成符合真实世界的合理颜色。为了确保颜色的真实，将黑白图像输入至生成对抗网络的生成器，通过不断与判别器对抗从而获得真实的彩色图像。
当前图像彩色化方案仅仅适用于二维图像，无法直接应用于点云数据。Cheng等人提出的图像彩色化方案只能应用于二维图像，由于点云与图像数据结构的差异，无法直接将现有的结构应用于点云数据彩色化。Qi等人设计的直接处理点云的结构目前仅仅可以为对象分类、部件分割到场景语义分析等应用提供统一的体系结构，在点云彩色化应用中得不到令人满意的结果。
发明内容
本发明的目的在于提供一种点云彩色化算法，基于生成对抗网络的方法模仿已有的点云样本，生成出颜色符合真实世界的彩色点云，可以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种点云彩色化算法，包括如下步骤：
步骤1：三维数据的预处理；
首先将三维数据的格式由网格转变为点云，然后对点云使用均匀采样的方式获取4096个点，并保留点云中的颜色和坐标信息；
步骤2：训练可以得到真实颜色的生成对抗网络
使用生成对抗网络来实现点云彩色化的目标，首先会将点云的三维坐标输入到生成对抗网络的生成器中，通过一系列的卷积运算，得到对应于输入坐标(x,y,z)的颜色信息(r`,g`,b`)，将得到的颜色信息(r`,g`,b`)与生成器的输入(x,y,z)一同送入生成对抗网络的判别器中，经过一系列的卷积运算得到是否为真实的概率，与此同时将真实的颜色信息(r,g,b)与生成器的输入(x,y,z)也一同送入生成对抗网络的判别器中，经过一些列卷积运算得到是否为真实的概率，两个网络相互对抗，不断调整参数，最终得到判别器无法分辨真假的彩色化点云。
卷积神经网络:卷积神经网络是一种前馈神经网络，可利用多层级的计算将数据量庞大的图像信息降维，使其能被训练成稳定的模型。卷积神经网络的训练过程主要有向前传播和向后传播两部分。向前传播的目的是进行特征提取，主要由卷积操作与池化操作实现。在反向传播过程中，首先对前向传播的输出值与既定的样本标签作误差运算，然后通过梯度运算来更新卷积核。神经网络的每一次训练迭代中，通过极小化误差的方法不断调整网络各层的权重，以得到稳定有效的卷积神经网络模型。
生成对抗网络：生成对抗网络是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。该方法由伊恩·古德费洛等人于2014年提出。生成对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗，不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
进一步地，步骤2中生成对抗网络中的生成器有五个卷积层，一个池化层，四个反卷积层。
进一步地，五个卷积层通过逐步提高数据的维度，从而保留更多数据的特征，紧接着池化层使用最大池化的操作选择最能代表每一个点对应的全局特征。
进一步地，得到点云的全局特征之后，将前面每个卷积层的结果与全局特征拼接起来，从而达到了局部特征与全局特征的融合，可以更多地保留点云数据中每一个点的信息，反卷积层通过逐步减少数据的维度，最后得到对应于每一个点的颜色值。
进一步地，生成对抗网络中的判别器五个卷积层，一个池化层，三个全连接层。
与现有技术相比，本发明的有益效果是：
本发明使用生成对抗网络，将点云的坐标信息作为输入，生成对应坐标的颜色信息，再将生成的颜色信息与其对应的坐标信息一同送入判别器，使得判别器判别其为假。与此同时，将正确的颜色信息与其对应的坐标信息一同送入判别器，使得判别器为真。通过生成对抗网络的性质，使得生成的颜色越来越符合真实世界并且令判别器无法辨别真假。本发明旨在解决点云彩色化问题，即对点云数据进行上色，并且颜色符合于真实世界。
附图说明
图1为本发明的算法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1，本发明基于生成对抗网络的点云彩色化框架，首先对三维数据进行预处理，然后使用生成对抗网络将点云坐标作为输入，生成对应坐标的颜色信息，最后在生成对抗网络的不断对抗学习中获得符合真实世界的点云颜色。具体步骤如下：
步骤1：三维数据的预处理；
由于本发明的输入格式为点云，目前公开数据集的格式为网格格式，因此首先将三维数据的格式由网格转变为点云，然后对点云使用均匀采样的方式获取4096个点，并保留点云中的颜色和坐标信息；
步骤2：训练可以得到真实颜色的生成对抗网络
本发明使用生成对抗网络来实现点云彩色化的目标，由于需要得到匹配原样本的颜色分布或符合真实世界的颜色，本发明使用了生成对抗网络中的条件生成对抗网络，该网络的优点是在产生足够真实的结果的同时，也不会得到不符合真实世界的颜色分布。因此本发明将条件生成对抗网络作为主要框架，首先会将点云的三维坐标输入到生成对抗网络的生成器中，通过一系列的卷积运算，得到对应于输入坐标(x,y,z)的颜色信息(r`,g`,b`)，将得到的颜色信息(r`,g`,b`)与生成器的输入(x,y,z)一同送入生成对抗网络的判别器中，经过一系列的卷积运算得到是否为真实的概率，与此同时将真实的颜色信息(r,g,b)与生成器的输入(x,y,z)也一同送入生成对抗网络的判别器中，经过一些列卷积运算得到是否为真实的概率，两个网络相互对抗，不断调整参数，最终得到判别器无法分辨真假的彩色化点云。
本发明使用的生成对抗网络中的生成器有五个卷积层，一个池化层，四个反卷积层。五个卷积层通过逐步提高数据的维度，从而保留更多数据的特征，紧接着池化层使用最大池化的操作选择最能代表每一个点对应的全局特征。得到点云的全局特征之后，将前面每个卷积层的结果与全局特征拼接起来，从而达到了局部特征与全局特征的融合，可以更多地保留点云数据中每一个点的信息，反卷积层通过逐步减少数据的维度，最后得到对应于每一个点的颜色值。
本发明使用的生成对抗网络中的判别器五个卷积层，一个池化层，三个全连接层。与生成器类似，五个卷积层通过逐步提高数据的维度，从而保留每个点的坐标和其颜色之间的信息，池化层使用最大池化的方法来获取点云坐标与颜色值的全局特征。将得到的全局特征通过三个全连接层来得到输入的彩色点云是否为真实的概率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种点云彩色化算法，其特征在于，包括如下步骤：
步骤1：三维数据的预处理；
首先将三维数据的格式由网格转变为点云，然后对点云使用均匀采样的方式获取4096个点，并保留点云中的颜色和坐标信息；
步骤2：训练可以得到真实颜色的生成对抗网络
使用生成对抗网络来实现点云彩色化的目标，首先会将点云的三维坐标输入到生成对抗网络的生成器中，通过一系列的卷积运算，得到对应于输入坐标(x,y,z)的颜色信息(r`,g`,b`)，将得到的颜色信息(r`,g`,b`)与生成器的输入(x,y,z)一同送入生成对抗网络的判别器中，经过一系列的卷积运算得到是否为真实的概率，与此同时将真实的颜色信息(r,g,b)与生成器的输入(x,y,z)也一同送入生成对抗网络的判别器中，经过一些列卷积运算得到是否为真实的概率，两个网络相互对抗，不断调整参数，最终得到判别器无法分辨真假的彩色化点云。
2.如权利要求1所述的点云彩色化算法，其特征在于，步骤2中生成对抗网络中的生成器有五个卷积层，一个池化层，四个反卷积层。
3.如权利要求2所述的点云彩色化算法，其特征在于，五个卷积层通过逐步提高数据的维度，从而保留更多数据的特征，紧接着池化层使用最大池化的操作选择最能代表每一个点对应的全局特征。
4.如权利要求3所述的点云彩色化算法，其特征在于，得到点云的全局特征之后，将前面每个卷积层的结果与全局特征拼接起来，从而达到了局部特征与全局特征的融合，可以更多地保留点云数据中每一个点的信息，反卷积层通过逐步减少数据的维度，最后得到对应于每一个点的颜色值。
5.如权利要求1所述的点云彩色化算法，其特征在于，生成对抗网络中的判别器五个卷积层，一个池化层，三个全连接层。
CN202011388120.5A 2020-12-01 2020-12-01 一种点云彩色化算法 Pending CN112329799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388120.5A CN112329799A (zh) 2020-12-01 2020-12-01 一种点云彩色化算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388120.5A CN112329799A (zh) 2020-12-01 2020-12-01 一种点云彩色化算法

Publications (1)

Publication Number Publication Date
CN112329799A true CN112329799A (zh) 2021-02-05

Family

ID=74309788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388120.5A Pending CN112329799A (zh) 2020-12-01 2020-12-01 一种点云彩色化算法

Country Status (1)

Country Link
CN (1) CN112329799A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393597A (zh) * 2022-10-31 2022-11-25 之江实验室 基于脉冲神经网络与激光雷达点云的语义分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置
US20200013205A1 (en) * 2018-07-05 2020-01-09 Adobe Inc. Colorizing Vector Graphic Objects
CN110910390A (zh) * 2019-11-11 2020-03-24 大连理工大学 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN111444811A (zh) * 2020-03-23 2020-07-24 复旦大学 一种三维点云目标检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置
US20200013205A1 (en) * 2018-07-05 2020-01-09 Adobe Inc. Colorizing Vector Graphic Objects
CN110910390A (zh) * 2019-11-11 2020-03-24 大连理工大学 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN111444811A (zh) * 2020-03-23 2020-07-24 复旦大学 一种三维点云目标检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. LIU, ET AL.: "PCCN:POINT Cloud Colorization Network", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, pages 3716 - 3720 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393597A (zh) * 2022-10-31 2022-11-25 之江实验室 基于脉冲神经网络与激光雷达点云的语义分割方法及装置
CN115393597B (zh) * 2022-10-31 2023-01-24 之江实验室 基于脉冲神经网络与激光雷达点云的语义分割方法及装置

Similar Documents

Publication Publication Date Title
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
CN111161364B (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
CN111797716A (zh) 一种基于Siamese网络的单目标跟踪方法
CN109410321A (zh) 基于卷积神经网络的三维重建方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN112927357A (zh) 一种基于动态图网络的3d物体重建方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN110827295A (zh) 基于体素模型与颜色信息耦合的三维语义分割方法
CN113066171B (zh) 一种基于三维人脸形变模型的人脸图像生成方法
CN110766786A (zh) 基于生成对抗网络的草图到浅浮雕模型生成的方法
CN112686898A (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN114463492B (zh) 一种基于深度学习的自适应通道注意力三维重建方法
CN114549537A (zh) 基于跨模态语义增强的非结构化环境点云语义分割方法
CN112598775A (zh) 一种基于对比学习的多视图生成方法
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
Daihong et al. Facial expression recognition based on attention mechanism
Gadasin et al. Application of Convolutional Neural Networks for Three-Dimensional Reconstruction of the Geometry of Objects in the Image
CN112329799A (zh) 一种点云彩色化算法
He Application of local color simulation method of landscape painting based on deep learning generative adversarial networks
Chen et al. Image haze removal by adaptive CycleGAN
CN116863053A (zh) 一种基于知识蒸馏的点云渲染增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination