CN110223387A - 一种基于深度学习的三维模型重建技术 - Google Patents
一种基于深度学习的三维模型重建技术 Download PDFInfo
- Publication number
- CN110223387A CN110223387A CN201910409036.8A CN201910409036A CN110223387A CN 110223387 A CN110223387 A CN 110223387A CN 201910409036 A CN201910409036 A CN 201910409036A CN 110223387 A CN110223387 A CN 110223387A
- Authority
- CN
- China
- Prior art keywords
- registration
- value
- image
- voxel
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 238000005516 engineering process Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的三维模型重建技术，通过Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像，对深度图像进行去噪和修复等图像增强过程，获得深度图像的二维信息，对深度图像进行点云计算，以场景的公共部分为基准对深度图像依次进行粗糙配准、精细配准、全局配准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，同时消除冗余信息，经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，对点云数据进行融合处理，以获得更加精细的重建模型，计算机视觉知识推到出现实中物体的三维信息。
Description
技术领域
本发明涉及三维重建技术领域，特别涉及一种基于深度学习的三维模型重建技术。
背景技术
在计算机视觉和计算机图形学中，三维重建是捕捉真实物体形状和外观的过程，这个过程可以通过主动或被动方法完成。三维模型经常用三维建模工具这种专门的软件生成，但是也可以用其它方法生成。作为点和其它信息集合的数据，三维模型可以手工生成，也可以按照一定的算法生成。尽管通常按照虚拟的方式存在于计算机或者计算机文件中，但是在纸上描述的类似模型也可以认为是三维模型。三维模型广泛用任何使用三维图形的地方。实际上，它们的应用早于个人电脑上三维图形的流行。许多计算机游戏使用预先渲染的三维模型图像作为sprite用于实时计算机渲染。
发明内容
本发明的主要目的在于提供一种基于深度学习的三维模型重建技术，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种基于深度学习的三维模型重建技术，通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推到出现实中物体的三维信息；
包括如下步骤：
步骤一：旋转Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像；
步骤二：对获取的深度图像进行去噪和修复等图像增强过程，获取深度图像的二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的距离，以毫米为单位；
步骤三：摄像机成像原理为基础，世界坐标系与图像像素坐标系之间具有下式的转换关系：
由于fdx和fdy始终在一起
步骤四：提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显示特征，也可以是自定义的符号、旋转图形、轴心等类型的特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内，通过自动记录坐标，的到粗匹配初始值；
经过前一步粗配准，得到了变换估计值，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义；
通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准，这两种配准方式分别称为序列配准和同步配准，配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果；
步骤五：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，需要对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素，通过为所有体素赋予SDF 值，来隐式的模拟表面；
SDF值等于此体素到重建表面的最小距离值，当SDF值大于零，表示该体素在表面前，当SDF小于零时，表示该体素在表面后，当SDF值越接近于零，表示该体素越贴近于场景的真实表面；
鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能；
步骤六：表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据，移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处，对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点；
然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域，最后连接此数据场中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面。
附图说明
图1为本发明一种基于深度学习的三维模型重建技术的整体结构示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，一种基于深度学习的三维模型重建技术，通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推到出现实中物体的三维信息；
包括如下步骤：
步骤一：旋转Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像；
步骤二：对获取的深度图像进行去噪和修复等图像增强过程，获取深度图像的二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的距离，以毫米为单位；
步骤三：摄像机成像原理为基础，世界坐标系与图像像素坐标系之间具有下式的转换关系：
由于fdx和fdy始终在一起
步骤四：提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显示特征，也可以是自定义的符号、旋转图形、轴心等类型的特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内，通过自动记录坐标，的到粗匹配初始值；
经过前一步粗配准，得到了变换估计值，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义；
通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准，这两种配准方式分别称为序列配准和同步配准，配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果；
步骤五：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，需要对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素，通过为所有体素赋予SDF 值，来隐式的模拟表面；
SDF值等于此体素到重建表面的最小距离值，当SDF值大于零，表示该体素在表面前，当SDF小于零时，表示该体素在表面后，当SDF值越接近于零，表示该体素越贴近于场景的真实表面；
鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能；
步骤六：表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据，移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处，对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点；
然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域，最后连接此数据场中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种基于深度学习的三维模型重建技术，其特征在于：通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推到出现实中物体的三维信息；
包括如下步骤：
步骤一：旋转Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像；
步骤二：对获取的深度图像进行去噪和修复等图像增强过程，获取深度图像的二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的距离，以毫米为单位；
步骤三：摄像机成像原理为基础，世界坐标系与图像像素坐标系之间具有下式的转换关系：
由于fdx和fdy始终在一起
步骤四：提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显示特征，也可以是自定义的符号、旋转图形、轴心等类型的特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内，通过自动记录坐标，的到粗匹配初始值；
经过前一步粗配准，得到了变换估计值，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义；
通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准，这两种配准方式分别称为序列配准和同步配准，配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果；
步骤五：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，需要对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素，通过为所有体素赋予SDF值，来隐式的模拟表面；
SDF值等于此体素到重建表面的最小距离值，当SDF值大于零，表示该体素在表面前，当SDF小于零时，表示该体素在表面后，当SDF值越接近于零，表示该体素越贴近于场景的真实表面；
鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能；
步骤六：表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据，移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处，对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点；
然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域，最后连接此数据场中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910409036.8A CN110223387A (zh) | 2019-05-17 | 2019-05-17 | 一种基于深度学习的三维模型重建技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910409036.8A CN110223387A (zh) | 2019-05-17 | 2019-05-17 | 一种基于深度学习的三维模型重建技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110223387A true CN110223387A (zh) | 2019-09-10 |
Family
ID=67821218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910409036.8A Withdrawn CN110223387A (zh) | 2019-05-17 | 2019-05-17 | 一种基于深度学习的三维模型重建技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223387A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028335A (zh) * | 2019-11-26 | 2020-04-17 | 浙江大学 | 一种基于深度学习的点云数据的分块面片重建方法 |
| CN111199579A (zh) * | 2020-01-02 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 一种目标物的三维模型构建方法、装置、设备及介质 |
| CN111583388A (zh) * | 2020-04-28 | 2020-08-25 | 光沦科技(深圳)有限公司 | 一种三维扫描系统的扫描方法及设备 |
| CN112115954A (zh) * | 2020-09-30 | 2020-12-22 | 广州云从人工智能技术有限公司 | 一种特征提取方法、装置、机器可读介质及设备 |
| CN112365589A (zh) * | 2020-12-01 | 2021-02-12 | 东方梦幻虚拟现实科技有限公司 | 一种虚拟三维场景展示方法、装置及系统 |
| CN112884878A (zh) * | 2019-11-29 | 2021-06-01 | 北京航空航天大学 | 一种用于显示积云三维模型的方法 |
| CN113012293A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技（深圳）有限公司 | 石刻模型构建方法、装置、设备及存储介质 |
| CN113487739A (zh) * | 2021-05-19 | 2021-10-08 | 清华大学 | 一种三维重建方法、装置、电子设备及存储介质 |
| CN113610869A (zh) * | 2021-08-06 | 2021-11-05 | 成都易瞳科技有限公司 | 基于gis系统的全景监控显示方法 |
| CN113759338A (zh) * | 2020-11-09 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN114627250A (zh) * | 2022-05-13 | 2022-06-14 | 武汉纺织大学 | 一种基于Kinect的人体站姿三维重建与测量的方法 |
| CN114693862A (zh) * | 2020-12-29 | 2022-07-01 | 北京万集科技股份有限公司 | 三维点云数据模型重建方法、目标重识别方法及装置 |
| CN115731365A (zh) * | 2022-11-22 | 2023-03-03 | 广州极点三维信息科技有限公司 | 基于二维图像的网格模型重建方法、系统、装置及介质 |
| CN117994444A (zh) * | 2024-04-03 | 2024-05-07 | 浙江华创视讯科技有限公司 | 复杂场景的重建方法、设备及存储介质 |
| CN118172451A (zh) * | 2024-02-05 | 2024-06-11 | 深圳萌想文化传播有限公司 | 交互式三维动画生成方法及系统 |
-
2019
- 2019-05-17 CN CN201910409036.8A patent/CN110223387A/zh not_active Withdrawn
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028335A (zh) * | 2019-11-26 | 2020-04-17 | 浙江大学 | 一种基于深度学习的点云数据的分块面片重建方法 |
| CN111028335B (zh) * | 2019-11-26 | 2021-10-29 | 浙江大学 | 一种基于深度学习的点云数据的分块面片重建方法 |
| CN112884878A (zh) * | 2019-11-29 | 2021-06-01 | 北京航空航天大学 | 一种用于显示积云三维模型的方法 |
| CN111199579A (zh) * | 2020-01-02 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 一种目标物的三维模型构建方法、装置、设备及介质 |
| US12014461B2 (en) | 2020-01-02 | 2024-06-18 | Tencent Technology (Shenzhen) Company Limited | Method for constructing three-dimensional model of target object and related apparatus |
| CN111199579B (zh) * | 2020-01-02 | 2023-01-24 | 腾讯科技（深圳）有限公司 | 一种目标物的三维模型构建方法、装置、设备及介质 |
| CN111583388A (zh) * | 2020-04-28 | 2020-08-25 | 光沦科技(深圳)有限公司 | 一种三维扫描系统的扫描方法及设备 |
| CN111583388B (zh) * | 2020-04-28 | 2023-12-08 | 光沦科技(深圳)有限公司 | 一种三维扫描系统的扫描方法及设备 |
| CN112115954A (zh) * | 2020-09-30 | 2020-12-22 | 广州云从人工智能技术有限公司 | 一种特征提取方法、装置、机器可读介质及设备 |
| CN113759338A (zh) * | 2020-11-09 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN113759338B (zh) * | 2020-11-09 | 2024-04-16 | 北京京东乾石科技有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN112365589B (zh) * | 2020-12-01 | 2024-04-26 | 东方梦幻虚拟现实科技有限公司 | 一种虚拟三维场景展示方法、装置及系统 |
| CN112365589A (zh) * | 2020-12-01 | 2021-02-12 | 东方梦幻虚拟现实科技有限公司 | 一种虚拟三维场景展示方法、装置及系统 |
| CN114693862A (zh) * | 2020-12-29 | 2022-07-01 | 北京万集科技股份有限公司 | 三维点云数据模型重建方法、目标重识别方法及装置 |
| CN113012293B (zh) * | 2021-03-22 | 2023-09-29 | 平安科技（深圳）有限公司 | 石刻模型构建方法、装置、设备及存储介质 |
| CN113012293A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技（深圳）有限公司 | 石刻模型构建方法、装置、设备及存储介质 |
| CN113487739A (zh) * | 2021-05-19 | 2021-10-08 | 清华大学 | 一种三维重建方法、装置、电子设备及存储介质 |
| CN113610869A (zh) * | 2021-08-06 | 2021-11-05 | 成都易瞳科技有限公司 | 基于gis系统的全景监控显示方法 |
| CN114627250A (zh) * | 2022-05-13 | 2022-06-14 | 武汉纺织大学 | 一种基于Kinect的人体站姿三维重建与测量的方法 |
| CN115731365A (zh) * | 2022-11-22 | 2023-03-03 | 广州极点三维信息科技有限公司 | 基于二维图像的网格模型重建方法、系统、装置及介质 |
| CN118172451A (zh) * | 2024-02-05 | 2024-06-11 | 深圳萌想文化传播有限公司 | 交互式三维动画生成方法及系统 |
| CN117994444A (zh) * | 2024-04-03 | 2024-05-07 | 浙江华创视讯科技有限公司 | 复杂场景的重建方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223387A (zh) | 一种基于深度学习的三维模型重建技术 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| WO2022121645A1 (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN108230435B (zh) | 采用立方图纹理的图形处理 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| US11790610B2 (en) | Systems and methods for selective image compositing | |
| US9437034B1 (en) | Multiview texturing for three-dimensional models | |
| US20110050685A1 (en) | Image processing apparatus, image processing method, and program | |
| CN113345063B (zh) | 基于深度学习的pbr三维重建方法、系统与计算机存储介质 | |
| CN114998515B (zh) | 一种基于多视角图像的3d人体自监督重建方法 | |
| CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
| Zhang et al. | Real-time bas-relief generation from a 3D mesh | |
| CN106447763A (zh) | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 | |
| WO2018133119A1 (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| KR20120104071A (ko) | 입체영상 시각효과 처리 방법 | |
| CN116822100B (zh) | 一种数字孪生建模方法及其仿真试验系统 | |
| CN109461197B (zh) | 一种基于球面uv和重投影的云实时绘制优化方法 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN104517313A (zh) | 基于屏幕空间的环境光遮蔽的方法 | |
| CN115861570A (zh) | 基于光度一致性匹配和优化算法的多视角人体重建方法 | |
| CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
| CN116681839B (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190910 |
|
| WW01 | Invention patent application withdrawn after publication |