CN111899328A - 一种基于rgb数据与生成对抗网络的点云三维重建方法 - Google Patents
一种基于rgb数据与生成对抗网络的点云三维重建方法 Download PDFInfo
- Publication number
- CN111899328A CN111899328A CN202010662679.6A CN202010662679A CN111899328A CN 111899328 A CN111899328 A CN 111899328A CN 202010662679 A CN202010662679 A CN 202010662679A CN 111899328 A CN111899328 A CN 111899328A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- image
- discriminator
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于RGB数据与生成对抗网络的点云三维重建方法,为了解决上述背景技术中出现的点云数据获取复杂、价格昂贵和三维重建技术操作复杂的问题,本发明设计一种单一RGB图像生成点云数据的方法,并完成深度学习点云三维重建。首先使用便宜的普通相机捕获二维图像,通过生成对抗网络从单个RGB图像生成深度图像估计。通过生成训练数据深度相机的参数生成深度图像估计,根据深度计算得到三维点云数据。通过球面映射得到粗略表面模型,最后使用判别器对模型判别以得到完整的三维模型。
Description
技术领域
本发明属于点云数据处理研究领域,涉及一种基于RGB数据与生成对抗网络的点云三维重建方法,主要涉及到点云数据生成、深度学习、生成对抗网络(GAN)、三 维重建等技术。
背景技术
近年来,随着人工智能技术的发展,三维重建技术广泛应用于生活的方方面面,如:人脸识别、大型文物重建、地理测绘、自动驾驶、激光SLAM等。点云数据的获 取通常是三维重建中最关键的一步。
传统点云数据的获取通常是从激光扫描仪获得,但有时成本过高。因此,研究使用更廉价便捷的设备和方法获取点云数据极具现实意义。此外,对于三维重建技术而 言,传统点云三维重建技术需要多角度、多方位测量后进行配准、映射、拼接完成。 一些被测物体由于形状复杂存在遮挡等问题,导致三维重建效果不够好。
每个摄像机都有能够进行估算的内在参数。卷积神经网络(CNN)、人工神经网 络(ANN)、循环神经网络(RNN)、生成对抗网络(GAN)等深度学习网络的发展为点云数 据的获取及三维重建提供了新的方向。
CN111145453A公开了一种通过图像分割和网格特征点提取算法生成
3D点云的方法,该方法包括CT图像序列组合成3D图像;区域生长自动分割; 使用移动立方体方法进行三维重建,生成PLY格式的网格模型;用特征点提取算法从 PLY模型中提取特征点构成3D点云模型最后着色完成重建。但是该方法使用图像序 列点云生成及三维重建方法操作复杂,生成的模型表明粗糙。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于RGB数据与生成对抗网络的点云三维重建方法,使用点云数据生成、深度学习、生成对抗网络(GAN)、三维重 建等技术,提供一种RGB二维数据通过生成对抗网络生成三维点云数据的方法,并使 用深度学习技术,构建算法网络完成点云三维重建,以解决所述背景技术中提出的问 题。
技术方案
一种基于RGB数据与生成对抗网络的点云三维重建方法,其特征在于步骤如下:
步骤1、通过生成网络创建深度图像:对GAN网络中的pix2pixHD进行修改,将 RGB图像通过修改后的pix2pixHD转换为相应的深度图像;
所述修改后的pix2pixHD:生成器G包括三个组件:一个卷积前端,一组残差块 和一个转置的卷积后端;鉴别符D分解为两个子鉴别符D1和D2,其中判别器D1为 处理发生器生成的全分辨率合成图像,为深度图像的全局视图以引导生成器G创建全 局一致的图像;鉴别符D2为处理半比例合成图像,引导生成器G创建清晰而准确的 图像;
所述鉴别符D2采用minimax函数为给定RGB输入图像的深度图像的条件分布建模:
其中:L1和L2分别是公式2和公式3中定义的损失函数,其中L1对应于条件GAN 的目标函数,而L2定义了特征匹配损失函数,μ权重特征匹配损失,Dk表示次鉴别 器,属于鉴别符D2中的条件分布函数;在公式3中,Dk (i)是鉴别器Dk的第i层特征 提取器,并且T和Ni分别表示鉴别器Dk中的层数和每层的元素数(鉴别器属于鉴别 符的一部分);在公式3中选择L1距离;
步骤2、从生成的深度图像中估计目标物体相应的三维点云:采用相机校准技术的方法,以拍摄相机的固有参数和二维位置Q处的深度,确定三维空间中的点P,将 步骤1得到的深度图像转换为相应的三维点云;
三维空间点云P(px,py,pz)和对应的二维深度图像上的点Q(qu,qv)之间的 关系为:
其中,fu,fv;cu和cv代表深度相机的固有参数。fu和fv分别是相机沿u和v轴的 焦距,而cu和cv代表是图像平面的中心坐标;
通过公式4逆变换得到(qu,qv)处的像素转换后的三维点(px,py,pz)
步骤3、将三维点云转换为点云球面,再投影转化为物体粗略三维表面信息:
采用立方体算法将三维点云转换为表面信息点云球面
f(px,py,pz)=a0+a1px+a2py+a3pz+a4pxpy+a5pypz+a6pzpx+a7pxpypz (5)
其中:P(px,py,pz)是立方体中的任意一点,系数ai(i=0,1,2……7)代表立方体八个顶点的函数值;
当等值面阈值为c,则通过方程组公式6得到等值面与立体边界的交线:
将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。
有益效果
本发明提出的一种基于RGB数据与生成对抗网络的点云三维重建方法,为了解决上述背景技术中出现的点云数据获取复杂、价格昂贵和三维重建技术操作复杂的问题, 本发明设计一种单一RGB图像生成点云数据的方法,并完成深度学习点云三维重建。 首先使用便宜的普通相机捕获二维图像,通过生成对抗网络从单个RGB图像生成深度 图像估计。通过生成训练数据深度相机的参数生成深度图像估计,根据深度计算得到 三维点云数据。通过球面映射得到粗略表面模型,最后使用判别器对模型判别以得到 完整的三维模型。
本方法使用普通相机采集二维RGB数据,通过深度学习神经网络算法完成点云数据生成及三维重建,操作方便,且系统对电脑硬件较低。不仅降低了成本,且能通过 二维图像完成三维重建。
本发明所采用的点云生成和点云三维重建方法数据采集方便,点云生成过程处理方便,硬件设备要求低等特点,为研究人员对三维点云数据生成及三维重建的深入研 究提供了方向。
附图说明
图1为系统整体框图;
图2为GAN点云生成神经网络框架图,属于图1中点云生成部分;
图3为坐标系和相机模型特征,属于图1中深度图像到点云转换部分。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
实施例技术方案
步骤1:通过生成网络创建深度图像。
为将RGB图像转换为相应的深度图像,GAN网络中生成网络部分使用修改后的pix2pixHD,使其从RGB图像创建高质量的合成深度图像,并降低计算机硬件要求。
将pix2pixHD模型使用单个全局生成器。其中生成器G包括三个组件:一个卷积 前端,一组残差块和一个转置的卷积后端。鉴别符D分解为两个子鉴别符D1和D2。 判别器D1处理发生器生成的全分辨率合成图像,而D2处理半比例合成图像。因此, 鉴别器D1提供深度图像的全局视图,以引导生成器G创建全局一致的图像,而鉴别 器D2引导生成器G创建清晰而准确的图像。使用对抗鉴别器D产生无法与地面真相 区分开的深度图像,该鉴别器D经过训练可以检测生成器G创建的合成深度图像。
此外,D2防止生成器G检索合成深度图像上的重复图案。使用以下minimax函 数为给定RGB输入图像的深度图像的条件分布建模:
其中L1和L2分别是公式(2)和(3)中定义的损失函数,其中L1对应于条件GAN 的目标函数,而L2定义了特征匹配损失函数,μ权重特征匹配损失,Dk表示次鉴别 器。在公式(3)中,Dk (i)是鉴别器Dk的第i层特征提取器,并且T和Ni分别表示 鉴别器Dk中的层数和每层的元素数。在公式(3)中选择L1距离。
最终目的是让G目标最小化,而对抗性D试图使目标最大化。
步骤2:从生成的深度图像中估计目标物体相应的三维点云。
基于相机校准技术的特性,我们能够将深度图像转换为相应的三维点云。使用拍摄相机的固有参数和二维位置Q处的深度,则可以精确确定三维空间中的点P。
三维空间点云P(px,py,pz)和对应的二维深度图像上的点Q(qu,qv)之间的 关系见公式(4)。
其中,fu,fv;cu和cv代表深度相机的固有参数。fu和fv分别是相机沿u和v轴的 焦距,而cu和cv代表是图像平面的中心坐标。
通过公式(4)逆变换得到(qu,qv)处的像素转换后的三维点(px,py,pz)。
步骤3:点云球面投影转化为物体粗略三维表面信息。
针对于前一步生成的点云数据,用立方体算法将它们转换成表面信息点云球面数据。
假设P(px,py,pz)是立方体中的任意一点,根据线性插值,可得该处的函数值, 见公式(5)。
f(px,py,pz)=a0+a1px+a2py+a3pz+a4pxpy+a5pypz+a6pzpx+a7pxpypz (5)
其中系数ai(i=0,1,2……7)代表立方体八个顶点的函数值,如果等值面阈值为c, 则通过方程组公式(6)即可得到等值面与立体边界的交线。
将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。
步骤4:判别器判别以得到最终完整三维模型。
判别器设置使用卷积层构成判别网络,并加入正则惩罚项,对合成的模型进行判别以提升模型的泛化能力。
具体实施例采用硬件:普通RGB相机做图像采集;GTX1060笔记本做整体计算, 操作系统Ubuntu16.04。
采用软件:Python,PyTorch0.4.0。
参照附图1-3对本发明做进一步的详细说明:
基于RGB数据GAN网络生成点云的三维重建方法包括以下步骤:
步骤1:训练二维数字图像,通过生成网络合成人工深度图像。
参照附图1中二维图像通过生成网络得到人工深度图像。使用普通相机,采集目标物体的二维RGB图像。设置分辨率为640×480像素的图像成训练集。
参照附图2模型,将深度图转化为点。将训练数据输入生成网络。每次迭代后, 我们都对网络G和D={D1,D2}进行微调,使得G和D准确率更高。训练后,我们使 用生成器G从单个RGB图像中检索深度图像。
步骤2:将深度图像转换为三维点云。
参照前文技术方案第二步和附图2,将得到的深度图像使用相机参数估计三维数据。前文公式(4)逆变换得到如下公式(1)
其中,参数d是相对于摄像机(qu,qv)位置的深度信息,而s是比例因子。
为确定点P在空间中的坐标,通过将深度d与比例因子s相乘来计算点P的z轴 值pz,使用上述公式中的相应方程计算px和py。
最终得到P(px,py,pz)三维点云数据。
步骤3:对生成的点云先进行粗略三维模型重建。
已知P(px,py,pz)三维点云数据,使用前文立方体算法将点云转换成表面信息。 将得到的表面信息进行球面投影,使得单位球面的每个U轴和V轴投射到球体中心生 成球面表示。
步骤4:判别器判别以得到最终完整三维模型。
对生成的粗略模型进行判别,判别模块使用如下损失函数(2),损失函数经过训练数值减小,以恢复更多三维信息。
Claims (1)
1.一种基于RGB数据与生成对抗网络的点云三维重建方法,其特征在于步骤如下:
步骤1、通过生成网络创建深度图像:对GAN网络中的pix2pixHD进行修改,将RGB图像通过修改后的pix2pixHD转换为相应的深度图像;
所述修改后的pix2pixHD:生成器G包括三个组件:一个卷积前端,一组残差块和一个转置的卷积后端;鉴别符D分解为两个子鉴别符D1和D2,其中判别器D1为处理发生器生成的全分辨率合成图像,为深度图像的全局视图以引导生成器G创建全局一致的图像;鉴别符D2为处理半比例合成图像,引导生成器G创建清晰而准确的图像;
所述鉴别符D2采用minimax函数为给定RGB输入图像的深度图像的条件分布建模:
其中:L1和L2分别是公式2和公式3中定义的损失函数,其中L1对应于条件GAN的目标函数,而L2定义了特征匹配损失函数,μ权重特征匹配损失,Dk表示次鉴别器,属于鉴别符D2中的条件分布函数;在公式3中,Dk (i)是鉴别器Dk的第i层特征提取器,并且T和Ni分别表示鉴别器Dk中的层数和每层的元素数(鉴别器属于鉴别符的一部分);在公式3中选择L1距离;
步骤2、从生成的深度图像中估计目标物体相应的三维点云:采用相机校准技术的方法,以拍摄相机的固有参数和二维位置Q处的深度,确定三维空间中的点P,将步骤1得到的深度图像转换为相应的三维点云;
三维空间点云P(px,py,pz)和对应的二维深度图像上的点Q(qu,qv)之间的关系为:
其中,fu,fv;cu和cv代表深度相机的固有参数;fu和fv分别是相机沿u和v轴的焦距,而cu和cv代表是图像平面的中心坐标;
通过公式4逆变换得到(qu,qv)处的像素转换后的三维点(px,py,pz)
步骤3、将三维点云转换为点云球面,再投影转化为物体粗略三维表面信息:
采用立方体算法将三维点云转换为表面信息点云球面
f(px,py,pz)=a0+a1px+a2py+a3pz+a4pxpy+a5pypz+a6pzpx+a7pxpypz (5)
其中:P(px,py,pz)是立方体中的任意一点,系数ai代表立方体八个顶点的函数值;i=0,1,2……7;
当等值面阈值为c,则通过方程组公式6得到等值面与立体边界的交线:
将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010662679.6A CN111899328B (zh) | 2020-07-10 | 2020-07-10 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010662679.6A CN111899328B (zh) | 2020-07-10 | 2020-07-10 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899328A true CN111899328A (zh) | 2020-11-06 |
CN111899328B CN111899328B (zh) | 2022-08-09 |
Family
ID=73192262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010662679.6A Expired - Fee Related CN111899328B (zh) | 2020-07-10 | 2020-07-10 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111899328B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581597A (zh) * | 2020-12-04 | 2021-03-30 | 上海眼控科技股份有限公司 | 三维重建方法、装置、计算机设备和存储介质 |
CN112967379A (zh) * | 2021-03-03 | 2021-06-15 | 西北工业大学深圳研究院 | 一种基于感知一致生成对抗网络的三维医学图像重建方法 |
CN113076615A (zh) * | 2021-04-25 | 2021-07-06 | 上海交通大学 | 基于对抗式深度强化学习的高鲁棒性机械臂操作方法及系统 |
CN113192204A (zh) * | 2021-01-29 | 2021-07-30 | 哈尔滨工程大学 | 单幅倾斜遥感图像中建筑物的三维重建方法 |
CN113313828A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 基于单图片本征图像分解的三维重建方法与系统 |
CN113593043A (zh) * | 2021-08-19 | 2021-11-02 | 中山大学 | 一种基于生成对抗网络的点云三维重建方法与系统 |
CN113920020A (zh) * | 2021-09-26 | 2022-01-11 | 中国舰船研究设计中心 | 一种基于深度生成模型的人体点云实时修复方法 |
CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
CN116258835A (zh) * | 2023-05-04 | 2023-06-13 | 武汉大学 | 基于深度学习的点云数据三维重建方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
CN110689008A (zh) * | 2019-09-17 | 2020-01-14 | 大连理工大学 | 一种面向单目图像的基于三维重建的三维物体检测方法 |
CN110866969A (zh) * | 2019-10-18 | 2020-03-06 | 西北工业大学 | 基于神经网络与点云配准的发动机叶片重构方法 |
US20200088851A1 (en) * | 2018-09-18 | 2020-03-19 | Velodyne Lidar, Inc. | Multi-Channel LIDAR Illumination Driver |
US20200151940A1 (en) * | 2018-11-13 | 2020-05-14 | Nec Laboratories America, Inc. | Pose-variant 3d facial attribute generation |
-
2020
- 2020-07-10 CN CN202010662679.6A patent/CN111899328B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200088851A1 (en) * | 2018-09-18 | 2020-03-19 | Velodyne Lidar, Inc. | Multi-Channel LIDAR Illumination Driver |
US20200151940A1 (en) * | 2018-11-13 | 2020-05-14 | Nec Laboratories America, Inc. | Pose-variant 3d facial attribute generation |
CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
CN110689008A (zh) * | 2019-09-17 | 2020-01-14 | 大连理工大学 | 一种面向单目图像的基于三维重建的三维物体检测方法 |
CN110866969A (zh) * | 2019-10-18 | 2020-03-06 | 西北工业大学 | 基于神经网络与点云配准的发动机叶片重构方法 |
Non-Patent Citations (4)
Title |
---|
MUHAMMAD SARMAD 等: "RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
MUHAMMAD SARMAD 等: "RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2019 (2019-12-31), pages 5891 - 5900 * |
缪永伟 等: "基于生成对抗网络的点云形状保结构补全", 《中国科学:信息科学》 * |
缪永伟 等: "基于生成对抗网络的点云形状保结构补全", 《中国科学:信息科学》, vol. 50, no. 5, 17 April 2020 (2020-04-17), pages 675 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581597A (zh) * | 2020-12-04 | 2021-03-30 | 上海眼控科技股份有限公司 | 三维重建方法、装置、计算机设备和存储介质 |
CN113192204A (zh) * | 2021-01-29 | 2021-07-30 | 哈尔滨工程大学 | 单幅倾斜遥感图像中建筑物的三维重建方法 |
CN112967379A (zh) * | 2021-03-03 | 2021-06-15 | 西北工业大学深圳研究院 | 一种基于感知一致生成对抗网络的三维医学图像重建方法 |
CN113076615A (zh) * | 2021-04-25 | 2021-07-06 | 上海交通大学 | 基于对抗式深度强化学习的高鲁棒性机械臂操作方法及系统 |
CN113313828A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 基于单图片本征图像分解的三维重建方法与系统 |
CN113313828B (zh) * | 2021-05-19 | 2022-06-14 | 华南理工大学 | 基于单图片本征图像分解的三维重建方法与系统 |
CN113593043A (zh) * | 2021-08-19 | 2021-11-02 | 中山大学 | 一种基于生成对抗网络的点云三维重建方法与系统 |
CN113593043B (zh) * | 2021-08-19 | 2024-03-08 | 中山大学 | 一种基于生成对抗网络的点云三维重建方法与系统 |
CN113920020A (zh) * | 2021-09-26 | 2022-01-11 | 中国舰船研究设计中心 | 一种基于深度生成模型的人体点云实时修复方法 |
CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
CN116258835A (zh) * | 2023-05-04 | 2023-06-13 | 武汉大学 | 基于深度学习的点云数据三维重建方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111899328B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111899328B (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
CN112396703B (zh) | 一种单图像三维点云模型重建方法 | |
CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
CN110458939A (zh) | 基于视角生成的室内场景建模方法 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
CN112132876B (zh) | 2d-3d图像配准中的初始位姿估计方法 | |
CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
CN115147709B (zh) | 一种基于深度学习的水下目标三维重建方法 | |
CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
CN117115359B (zh) | 一种基于深度图融合的多视图电网三维空间数据重建方法 | |
CN116958434A (zh) | 多视图三维重建方法、测量方法及系统 | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
CN118196306A (zh) | 基于点云信息和高斯云团的3d建模重建系统、方法及装置 | |
CN114782357A (zh) | 一种用于变电站场景的自适应分割系统及方法 | |
CN117994480A (zh) | 一种轻量化手部重建与驱动的方法 | |
Tao et al. | SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields for Robotic Inspection | |
CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
CN117132651A (zh) | 一种融合彩色图像和深度图像的三维人体姿态估计方法 | |
Buck et al. | Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps | |
Jisen | A study on target recognition algorithm based on 3D point cloud and feature fusion | |
CN116310228A (zh) | 一种针对遥感场景的表面重建与新视图合成方法 | |
CN116704112A (zh) | 一种用于对象重建的3d扫描系统 | |
Hussain et al. | Experimental Validation of Photogrammetry based 3D Reconstruction Software | |
CN117593618B (zh) | 基于神经辐射场和深度图的点云生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220809 |