CN107845130A - 一种环境三维重构方法 - Google Patents

一种环境三维重构方法 Download PDF

Info

Publication number
CN107845130A
CN107845130A CN201711384289.1A CN201711384289A CN107845130A CN 107845130 A CN107845130 A CN 107845130A CN 201711384289 A CN201711384289 A CN 201711384289A CN 107845130 A CN107845130 A CN 107845130A
Authority
CN
China
Prior art keywords
matrix
dimensional
point
depth camera
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711384289.1A
Other languages
English (en)
Inventor
郑国将
张翔
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cooking Culture & Technology Co Ltd
Original Assignee
Zhejiang Cooking Culture & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cooking Culture & Technology Co Ltd filed Critical Zhejiang Cooking Culture & Technology Co Ltd
Priority to CN201711384289.1A priority Critical patent/CN107845130A/zh
Publication of CN107845130A publication Critical patent/CN107845130A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种环境三维重构方法，包括以下步骤：A、通过深度摄像机进行场景数据的采集，深度摄像机将环境中的动态场景、静态场景的数据采集；B、通过深度摄像机采集的场景数据来计算投影矩阵；C、通过得到的投影矩阵来计算空间三维点；D、计算得到的空间三维点通过图像生成软件重构生成三维图像，并通过计算机显示出来，本发明采用代数、几何的方法直接采用矩阵对采集的数据进行计算，在该计算方法中的旋转矩阵以及位移矢量可以为任意值，因此深度摄像机在环境中的位置不受拘束，只需深度摄像机采集的数据点够多，就可以将环境重构出来，这是一个非常有用的环境三维重构技术。

Description

一种环境三维重构方法
技术领域
本发明涉及三维重构技术领域，具体为一种环境三维重构方法。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。
真实世界环境的三维计算机模型在各种各样的应用中是有用的。例如，这样的模型可以用在诸如沉浸式游戏、增强现实、建筑 / 规划、机器人技术、以及工程原型制作等应用中。
深度相机可以生成真实世界环境的实时深度图。这些深度图中的每一像素与由相机从环境中的 3D 点捕捉到的离散的距离测量相对应。这意味着这些相机以实时速率提供包括未经排序的一组点 的深度图。
然而，使用深度相机提供的深度图来生成环境的有用 3D 模型是复杂的。在具有许多深度相机的情况下，每一个单独的深度图具有太低的分辨率并且具有太高的噪声以至于无法生成足够准确和详细的 3D 模型。此外，许多应用利用感测到的环境的表面而不是点云来重构。例如，重构的 3D 表面模型可以在物理模拟中用来对虚拟物体和深度相机在环境中感测到的真实物体之间的物理交互的效果建模。在这种情况下，点云不能起到很好的作用，因为模型中都是洞，这是由于在点云中的各个点之间缺少连接。
本发明与三维重构技术有关，特别是关于一种环境三维重构方法。
发明内容
本发明的目的在于提供一种环境三维重构方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种环境三维重构方法,包括以下步骤：
A、通过深度摄像机进行场景数据的采集，深度摄像机将环境中的动态场景、静态场景的数据采集；
B、通过深度摄像机采集的场景数据来计算投影矩阵；
C、通过得到的投影矩阵来计算空间三维点；
D、计算得到的空间三维点通过图像生成软件重构生成三维图像，并通过计算机显示出来。
优选的，设A、B分别为相机投影中心，在C1和C2时获得的影像，则A和B为一个像对，将空间三维点M的坐标为(X,Y,Z),相机投影中心位置C1到C2的位移矢量为t，旋转矩阵为R，而在两位置时对应的相机内参数分别为K1、K2，三维点M在A及B上的投影为，，变换矩阵为，到点的投影矩阵为，则：,
假设为三维空间坐标系的参考原点，且过的相机主光轴为Z轴，则投影矩阵和可分别表达为：,。
优选的，利用像对之间的核线几何关系以及摄影几何理论，可以推出对应像点和之间满足的关系：，其中F为基本矩阵，F表达了两个影像间的核线几何关系，基本矩阵F将影像点变换到影像B上过其核点的直线上，可由基本矩阵F求得本质矩阵E：，本质矩阵E可分解为:
对本质矩阵E进行分解即可得到投影矩阵，得到投影矩阵，后即可求得三空间维点M。
与现有技术相比，本发明的有益效果是：
本发明采用代数、几何的方法直接采用矩阵对采集的数据进行计算，在该计算方法中的旋转矩阵以及位移矢量可以为任意值，因此深度摄像机在环境中的位置不受拘束，只需深度摄像机采集的数据点够多，就可以将环境重构出来，这是一个非常有用的环境三维重构技术。 具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种环境三维重构方法,包括以下步骤：
A、通过深度摄像机进行场景数据的采集，深度摄像机对环境中的固定物体与活动物体的景象进行信息的采集，将采集的数据上传至控制器，控制器将数据转换后传送至计算机。
B、通过深度摄像机采集的场景数据来计算投影矩阵；
C、通过得到的投影矩阵来计算空间三维点；
D、计算得到的空间三维点通过图像生成软件重构生成三维图像，并通过计算机显示出来。
设A、B分别为相机投影中心，在C1和C2时获得的影像，则A和B为一个像对，将空间三维点M的坐标为(X,Y,Z),相机投影中心位置C1到C2的位移矢量为t，旋转矩阵为R，而在两位置时对应的相机内参数分别为K1、K2，三维点M在A及B上的投影为,，变换矩阵为，到点的投影矩阵为，则：,
假设为三维空间坐标系的参考原点，且过的相机主光轴为Z轴，则投影矩阵和可分别表达为：,。
本发明中，利用像对之间的核线几何关系以及摄影几何理论，可以推出对应像点和之间满足的关系：，其中F为基本矩阵，F表达了两个影像间的核线几何关系，基本矩阵F将影像点变换到影像B上过其核点的直线上，可由基本矩阵F求得本质矩阵E：，本质矩阵E可分解为:
对本质矩阵E进行分解即可得到投影矩阵，得到投影矩阵，后即可求得三空间维点M。
通过计算机计算得到的空间三维点M，通过图像生成软件将三维点M重构生成三维图像，并通过计算机显示出来。
本发明采用代数、几何的方法直接采用矩阵对采集的数据进行计算，在该计算方法中的旋转矩阵以及位移矢量可以为任意值，因此深度摄像机在环境中的位置不受拘束，只需深度摄像机采集的数据点够多，就可以将环境重构出来，这是一个非常有用的环境三维重构技术。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种环境三维重构方法,其特征在于：包括以下步骤：
A、通过深度摄像机进行场景数据的采集，深度摄像机将环境中的动态场景、静态场景的数据采集；
B、通过深度摄像机采集的场景数据来计算投影矩阵；
C、通过得到的投影矩阵来计算空间三维点；
D、计算得到的空间三维点通过图像生成软件重构生成三维图像，并通过计算机显示出来。
2.根据权利要求1所述的一种环境三维重构方法,其特征在于：还包括如下步骤：设A、B分别为相机投影中心，在C1和C2时获得的影像，则A和B为一个像对，将空间三维点M的坐标为(X,Y,Z),相机投影中心位置C1到C2的位移矢量为t，旋转矩阵为R，而在两位置时对应的相机内参数分别为K1、K2，三维点M在A及B上的投影为,，变换矩阵为，到点的投影矩阵为，则：,
假设为三维空间坐标系的参考原点，且过的相机主光轴为Z轴，则投影矩阵和可分别表达为：,。
3.根据权利要求2所述的一种环境三维重构方法,其特征在于：利用像对之间的核线几何关系以及摄影几何理论，可以推出对应像点和之间满足的关系：，其中F为基本矩阵，F表达了两个影像间的核线几何关系，基本矩阵F将影像点变换到影像B上过其核点的直线上，可由基本矩阵F求得本质矩阵E：
本质矩阵E可分解为:
对本质矩阵E进行分解即可得到投影矩阵，得到投影矩阵，后即可求得三空间维点M。
CN201711384289.1A 2017-12-20 2017-12-20 一种环境三维重构方法 Pending CN107845130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711384289.1A CN107845130A (zh) 2017-12-20 2017-12-20 一种环境三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711384289.1A CN107845130A (zh) 2017-12-20 2017-12-20 一种环境三维重构方法

Publications (1)

Publication Number Publication Date
CN107845130A true CN107845130A (zh) 2018-03-27

Family

ID=61684240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711384289.1A Pending CN107845130A (zh) 2017-12-20 2017-12-20 一种环境三维重构方法

Country Status (1)

Country Link
CN (1) CN107845130A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781661A (zh) * 2021-09-13 2021-12-10 太仓中科信息技术研究院 面向沉浸式场景的多投影空间布局评估方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104939793A (zh) * 2015-07-06 2015-09-30 上海理工大学 基于液体透镜的可调焦3-d胶囊内窥镜系统
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN106296718A (zh) * 2016-09-22 2017-01-04 西北工业大学 基于立体视觉导航系统的相机阵列快速标定方法
US20170076754A1 (en) * 2015-09-11 2017-03-16 Evergig Music S.A.S.U. Systems and methods for matching two or more digital multimedia files

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104939793A (zh) * 2015-07-06 2015-09-30 上海理工大学 基于液体透镜的可调焦3-d胶囊内窥镜系统
US20170076754A1 (en) * 2015-09-11 2017-03-16 Evergig Music S.A.S.U. Systems and methods for matching two or more digital multimedia files
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN106296718A (zh) * 2016-09-22 2017-01-04 西北工业大学 基于立体视觉导航系统的相机阵列快速标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙敏: "多视几何与传统摄影测量理论", 《北京大学学报( 自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781661A (zh) * 2021-09-13 2021-12-10 太仓中科信息技术研究院 面向沉浸式场景的多投影空间布局评估方法和系统

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN109461180A (zh) 一种基于深度学习的三维场景重建方法
CN103021017B (zh) 基于gpu加速的三维场景重建方法
CN102129708A (zh) 增强现实环境中快速多层次虚实遮挡处理方法
CN108513123B (zh) 一种集成成像光场显示的图像阵列生成方法
CN105279789B (zh) 一种基于图像序列的三维重建方法
US20130127827A1 (en) Multiview Face Content Creation
CN104376552A (zh) 一种3d模型与二维图像的虚实配准算法
CN103345771A (zh) 一种基于建模的图像高效渲染方法
CN104902255B (zh) 一种基于体扫描三维显示系统的数据源生成方法
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
JP2023514289A (ja) ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
US8577202B2 (en) Method for processing a video data set
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN103077546A (zh) 二维图形的三维透视变换方法
CN113034571A (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
Yuan et al. Presim: A 3d photo-realistic environment simulator for visual ai
CN112700548A (zh) 一种bim模型在可视化变电站中与视频信息的融合方法
CN107845130A (zh) 一种环境三维重构方法
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
KR102375135B1 (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
Chessa et al. Virtual reality to simulate visual tasks for robotic systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327