CN106530395A - 深度及彩色成像一体式手持三维建模装置 - Google Patents

深度及彩色成像一体式手持三维建模装置 Download PDF

Info

Publication number
CN106530395A
CN106530395A CN201611251768.1A CN201611251768A CN106530395A CN 106530395 A CN106530395 A CN 106530395A CN 201611251768 A CN201611251768 A CN 201611251768A CN 106530395 A CN106530395 A CN 106530395A
Authority
CN
China
Prior art keywords
unit
sensor
dimensional
data
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611251768.1A
Other languages
English (en)
Inventor
王兆仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Touch Sea Technology (beijing) Co Ltd
Original Assignee
Touch Sea Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touch Sea Technology (beijing) Co Ltd filed Critical Touch Sea Technology (beijing) Co Ltd
Priority to CN201611251768.1A priority Critical patent/CN106530395A/zh
Publication of CN106530395A publication Critical patent/CN106530395A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及三维成像和建模设备领域,具体涉及一种深度及彩色成像一体式手持三维建模装置,包括深度传感器和彩色传感器、图像处理单元、传感器姿态估算单元、三维模型重建单元、体素流化存储单元、以及触摸显示屏;通过数据总线,深度传感器和彩色传感器与图像处理单元连接,图像处理单元再同时与传感器姿态估算单元以及三维模型重建单元连接,三维模型重建单元和触摸显示屏连接,传感器姿态估算单元和三维模型重建单元之间相互连接,三维模型重建单元和体素数据流化存储单元之间相互连接。本装置体积小易携带,可对大场景进行实时、高精度的三维建模,并输出带有彩色纹理的三维网格数据。

Description

深度及彩色成像一体式手持三维建模装置
技术领域
本发明涉及一种三维成像和建模设备,尤其是一种基于深度成像和彩色成像的三维建模装置。
背景技术
现有的三维成像和建模设备,根据成像传感器的不同大致可分为三类。一类基于深度传感器,例如激光扫描成像或者结构光成像;这类设备通常成本昂贵体积偏大,虽然三维建模的精度较高,但难以重建物体表面的色彩信息。另一类基于彩色图像传感器,并利用计算机视觉算法重建物体的三维几何和色彩信息;这类设备成本较低,其主要缺点是精度不高,目前实用化较困难。
第三类是同时利用深度和彩色成像的建模设备,其中的深度传感器通常利用红外线结构光的原理,PrimeSense传感器以及微软公司的Kinect就是这类传感器的代表;这一类设备的成本适中,精度较好,是目前性价比很高的一类方案。例如,公告号为CN106204718A的中国发明专利,公开了“一种基于单个Kinect的简易高效三维人体重建方法”;公告号为CN106023308A的中国发明专利,公开了“一种体感交互快速三维建模辅助系统及其方法”;公告号为CN104657103A的中国发明专利,公开了“基于深度摄像机的手持CAVE投影系统”。
这些已有专利的共同点是基于类似Kinect的设备,将采集到的深度和彩色图像传输到计算机上进行处理;整个系统包括Kinect、计算机等多个独立的部分,组装和使用都不太方便;特别是不便于移动,当需要对一个大的场景(例如上百平米的房间)进行三维建模时,基于这些专利的系统会显得比较笨重。由于现有的三维建模算法复杂度高,运算量大,因此需要性能较强的计算机来运算,这是整个系统难以小型化的原因之一。
发明内容
为了克服现有的三维成像和建模设备体积较大,不便于在移动中使用,不便于对大场景进行三维建模的技术问题,本发明提供了一种采用嵌入式并行计算技术的一体式三维建模装置,将深度和彩色成像以及三维建模运算单元集成到一个手持装置中,不需要外接计算机或服务器,整个装置体积小易携带,能对所拍摄的大场景进行实时、高精度的三维建模。
本发明解决其技术问题所采用的技术方案是:一种深度及彩色成像一体式手持三维建模装置,包括深度传感器、彩色传感器,同时包括图像处理单元、传感器姿态估算单元、三维模型重建单元、体素流化存储单元、以及触摸显示屏,另外还包括支持手持移动操作所需的辅助单元;其中深度和彩色传感器通过数据总线和图像处理单元连接,后者通过数据总线同时与传感器姿态估算单元以及三维模型重建单元连接;三维模型重建单元通过数据总线和触摸显示屏连接;传感器姿态估算单元和三维模型重建单元之间通过数据总线相互连接,可双向传递数据;三维模型重建单元和体素数据流化存储单元之间也通过数据总线相互连接,可双向传递数据。
上述的深度及彩色成像一体式手持三维建模装置,所述深度传感器和彩色传感器,是指满足手持设备工作需要的小型化成像设备;作为本发明的优选方案,深度成像可采用基于红外线结构光的深度传感器,其结构包括红外发射探头和红外接收探头;彩色成像可采用基于CMOS芯片的彩色传感器;深度传感器和彩色传感器还可集成为一体以进一步满足小型化需求,例如使用PrimeSense传感器、或者Intel公司的RealSense传感器。
上述的深度及彩色成像一体式手持三维建模装置,所述图像处理单元,由图像标定元件以及图像校正元件按顺序串联组成,其中图像校正元件包括并联的数值校正元件以及畸变校正元件;所述的图像标定元件是对深度和彩色传感器的镜头焦距、像元尺寸、畸变系数等内参数进行标定,该元件在三维建模正式启动之前先行工作,并存储标定好的内参数,供正式三维建模时调用;所述的数值校正元件是对深度/彩色图像进行自适应降噪等像素级操作;所述的畸变校正元件是对传感器镜头的径向畸变和切向畸变进行校正;作为本发明的优选方案,所述图像处理单元可以基于ISP(Image Signal Processing)芯片来实施。
上述的深度及彩色成像一体式手持三维建模装置,所述传感器姿态估算单元将接收当前时刻由图像处理单元传来的深度/彩色图像数据,同时接收当前时刻之前已经重建好的三维模型数据,通过将图像-模型配准元件、以及姿态方程解算元件按顺序串联来计算传感器相对于所拍摄场景的6自由度姿态数据;其中图像-模型配准元件包括深度图像与模型几何网格的配准,以及彩色图像与模型表面纹理的配准,配准之后将建立以姿态参数为未知数的姿态方程,再通过姿态方程解算元件来求解;由于初始时刻并不存在已经重建的三维模型,此时可将传感器姿态数据设定为某组初始值,例如设在所拍摄场景的中心;所述传感器姿态估算单元是串行运算单元,作为本发明的一种优选方案,该单元可以基于ARM芯片来实施。
上述的深度及彩色成像一体式手持三维建模装置,所述三维模型重建单元将接收当前时刻由图像处理单元传来的深度/彩色图像数据,同时接收当前时刻由传感器姿态估算单元传来的姿态数据,通过将体素稀疏分配元件、体素动态更新元件、以及三维表面提取元件按顺序串联来重建场景的三维模型;三维模型重建单元的工作原理是假设把所拍摄的场景空间划分为细密的三维网格,其中的每个网格点都称为一个体素(Voxel),一个体素对应着本发明装置上的一个物理内存,其中存储的数据是该体素与所拍摄的三维表面之间的距离,提取那些距离值为零的体素即提取了待重建的三维表面;对于大场景来说体素的数量巨大,必须有效降低体素的数量才能使计算可行;所述的体素稀疏分配元件就是利用体素的稀疏性来有效分配体素内存,即首先利用输入的传感器姿态数据和深度图像来计算当前所拍摄表面在场景空间中的位置,然后只为距离三维表面较近的体素动态分配内存,而大量距离远的体素均被忽略;所述的体素动态更新元件则是利用当前的距离值来更新被分配的体素内存,如果该体素曾经被分配过并已存储了距离值,则与当前的距离值进行加权融合,以使最终重建的三维表面足够平滑;所述的三维表面提取元件就是提取距离值为零的体素,然后构建三角面片网格并依据输入的彩色图像做纹理映射,最终输出的结果是带有彩色纹理的三维网格数据,该输出结果将直接发送到触摸显示屏上进行显示,同时发送到传感器姿态估算单元,用来估算下一个时刻的传感器姿态;所述三维模型重建单元是针对每个体素的嵌入式并行运算单元,作为本发明的优选方案,该单元可以基于GPU芯片或者FPGA芯片来实施。
上述的深度及彩色成像一体式手持三维建模装置,所述体素流化存储单元将以流化的方式从三维模型重建单元接收当前时刻移出传感器视野的体素,同时以流化的方式向三维模型重建单元发送在当前时刻之前已经被分配过,并在当前时刻重新进入传感器视野的体素;该单元的作用是降低三维模型重建单元的计算负载,同时通过不断地移出和移入体素,实现对大场景的三维建模;作为本发明的优选方案,该单元可以基于RAM芯片来实施,例如基于DDR SDRAM芯片。
上述的深度及彩色成像一体式手持三维建模装置,所述触摸显示屏采用本领域公知的标准器件来实施;所述支持手持移动操作所需的辅助单元,包括锂电池、电源管理模块、固态硬盘、壳体等,这些辅助单元均可采用本领域公知的标准器件来实施;所述数据总线可采用本领域公知的、满足国际标准的总线技术来实施。
本发明的有益效果是,在本发明中集成了三维模型重建等单元,从而使本发明可以直接输出带有彩色纹理的三维网格模型,实现了装置的一体化和小型化;三维模型重建单元采用体素级并行计算架构,提高了运算速度,可进行实时三维重建;三维模型重建单元中采用了对场景空间作细密划分的体素,从而实现了高精度的三维建模;通过体素流化存储单元以及三维模型重建单元中的体素稀疏分配元件,可有效降低当前时刻待处理的体素数量,实现了大场景的三维建模。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明装置构造示意图;
图2为本发明装置各单元连接关系图;
图3为图像处理单元的内部结构和工作流程图;
图4为传感器姿态估算单元的内部结构和工作流程图;
图5为三维模型重建单元的内部结构和工作流程图;
图中1.深度传感器,2.彩色传感器,3.图像处理单元,4.传感器姿态估算单元,5.三维模型重建单元,6.体素流化存储单元,7.触摸显示屏、8.图像标定元件,9.数值校正元件,10.畸变校正元件,11.图像-模型配准元件,12.姿态方程解算元件,13.体素稀疏分配元件,14.体素动态更新元件,15.三维表面提取元件。
具体实施方式
【实施例1】
深度及彩色成像一体式手持三维建模装置包括深度传感器1(由红外发射探头和红外接收探头构成)、彩色传感器2、图像处理单元3、传感器姿态估算单元4、三维模型重建单元5、体素流化存储单元6、以及触摸显示屏7;如图2,深度传感器1和彩色传感器2分别和图像处理单元3连接,后者同时与传感器姿态估算单元4以及三维模型重建单元5连接,三维模型重建单元5和触摸显示屏7连接;传感器姿态估算单元4和三维模型重建单元5之间相互连接,三维模型重建单元5和体素数据流化存储单元6之间相互连接。
图像处理单元3接收深度传感器1和彩色传感器2输出的深度和彩色图像,如图3所示,该单元由图像标定元件8以及图像校正元件按顺序串联组成,其中校正元件包括并联的数值校正元件9以及畸变校正元件10;图像处理单元3可以基于ISP芯片来实施。
如图4所示,传感器姿态估算单元4接收当前时刻由图像处理单元3传来的深度/彩色图像数据,同时接收当前时刻之前已经重建好的三维模型数据,通过图像-模型配准元件11、以及姿态方程解算元件12按顺序串联来计算传感器相对于所拍摄场景的6自由度姿态数据;传感器姿态估算单元4是串行运算单元,可以基于ARM芯片来实施。
如图5所示,三维模型重建单元5接收当前时刻由图像处理单元3传来的深度/彩色图像数据,同时接收当前时刻由传感器姿态估算单元4传来的传感器姿态数据,通过体素稀疏分配元件13、体素动态更新元件14、以及三维表面提取元件15按顺序串联来重建场景的三维模型,最终输出的结果是带有彩色纹理的三维网格数据;该输出结果将直接发送到触摸显示屏7进行显示,同时发送到传感器姿态估算单元4,用来估算下一个时刻的传感器姿态;三维模型重建单元5是针对每个体素的并行运算单元,可以基于GPU芯片来实施。
如图2和图5所示,体素流化存储单元6将以流化的方式从三维模型重建单元5接收当前时刻移出传感器视野的体素,同时以流化的方式向三维模型重建单元5发送在当前时刻之前已经被分配过,并在当前时刻重新进入传感器视野的体素;体素流化存储单元6可基于DDR SDRAM芯片来实施。
【实施例2】
深度传感器1和彩色传感器2可以集成为一体,例如采用Intel公司的RealSense传感器来实施,该传感器再与图像处理单元3连接;三维模型重建单元5作为本发明最核心的并行运算单元,也可以基于FPGA芯片来实施。
触摸显示屏7可采用本领域公知的标准器件来实施,例如采用与平板电脑通用的电容式触摸屏;其它的如锂电池等辅助单元也均可采用与平板电脑相通用的标准器件。

Claims (5)

1.一种深度及彩色成像一体式手持三维建模装置,包括深度传感器(1)、彩色传感器(2),其特征在于:同时包括图像处理单元(3)、传感器姿态估算单元(4)、三维模型重建单元(5)、体素流化存储单元(6)、以及触摸显示屏(7),深度传感器(1)和彩色传感器(2)通过数据总线和图像处理单元(3)连接,图像处理单元(3)通过数据总线同时与传感器姿态估算单元(4)以及三维模型重建单元(5)连接,三维模型重建单元(5)通过数据总线和触摸显示屏(7)连接,传感器姿态估算单元(4)和三维模型重建单元(5)之间通过数据总线相互连接,三维模型重建单元(5)和体素数据流化存储单元(6)之间通过数据总线相互连接。
2.根据权利要求1所述的深度及彩色成像一体式手持三维建模装置,其特征在于:所述图像处理单元(3)由图像标定元件(8)以及图像校正元件按顺序串联组成,其中图像校正元件包括并联的数值校正元件(9)以及畸变校正元件(10)。
3.根据权利要求1所述的深度及彩色成像一体式手持三维建模装置,其特征在于:所述传感器姿态估算单元(4)由图像-模型配准元件(11)、以及姿态方程解算元件(12)按顺序串联组成;传感器姿态估算单元(4)接收图像处理单元(3)发来的图像数据以及三维模型重建单元(5)发来的当前时刻之前已经重建好的三维模型数据,再把计算得到的传感器6自由度姿态数据发送到三维模型重建单元(5)。
4.根据权利要求1所述的深度及彩色成像一体式手持三维建模装置,其特征在于:所述三维模型重建单元(5)是由体素稀疏分配元件(13)、体素动态更新元件(14)、以及三维表面提取元件(15)按顺序串联组成;三维模型重建单元(5)是针对每个体素的嵌入式并行运算单元,该单元接收图像处理单元(3)和传感器姿态估算单元(4)发来的数据,再把计算得到的带有彩色纹理的三维网格数据发送到触摸显示屏(7)进行显示,同时发送到传感器姿态估算单元(4)以便估算下一时刻的传感器姿态。
5.根据权利要求1所述的深度及彩色成像一体式手持三维建模装置,其特征在于:所述体素流化存储单元(6)以流化的方式从三维模型重建单元(5)接收当前时刻移出传感器视野的体素数据,同时以流化的方式向三维模型重建单元(5)发送在当前时刻之前已经被分配过,并且在当前时刻重新进入传感器视野的体素数据。
CN201611251768.1A 2016-12-30 2016-12-30 深度及彩色成像一体式手持三维建模装置 Pending CN106530395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611251768.1A CN106530395A (zh) 2016-12-30 2016-12-30 深度及彩色成像一体式手持三维建模装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611251768.1A CN106530395A (zh) 2016-12-30 2016-12-30 深度及彩色成像一体式手持三维建模装置

Publications (1)

Publication Number Publication Date
CN106530395A true CN106530395A (zh) 2017-03-22

Family

ID=58335556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611251768.1A Pending CN106530395A (zh) 2016-12-30 2016-12-30 深度及彩色成像一体式手持三维建模装置

Country Status (1)

Country Link
CN (1) CN106530395A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971418A (zh) * 2017-04-28 2017-07-21 碰海科技(北京)有限公司 手持式家居建材凹凸表面质感重建装置
WO2019101061A1 (en) * 2017-11-22 2019-05-31 Huawei Technologies Co., Ltd. Three-dimensional (3d) reconstructions of dynamic scenes using reconfigurable hybrid imaging system
CN111179332A (zh) * 2018-11-09 2020-05-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104680520A (zh) * 2015-02-06 2015-06-03 周晓辉 一种现场三维信息勘验方法及系统
CN105427293A (zh) * 2015-11-11 2016-03-23 中国科学院深圳先进技术研究院 室内场景扫描重建的方法及装置
CN105453559A (zh) * 2013-04-16 2016-03-30 点积公司 手持式便携光学扫描器及其使用方法
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
US20120194516A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Three-Dimensional Environment Reconstruction
CN102938142A (zh) * 2012-09-20 2013-02-20 武汉大学 基于Kinect的室内LiDAR缺失数据填补方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN105453559A (zh) * 2013-04-16 2016-03-30 点积公司 手持式便携光学扫描器及其使用方法
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104680520A (zh) * 2015-02-06 2015-06-03 周晓辉 一种现场三维信息勘验方法及系统
CN105427293A (zh) * 2015-11-11 2016-03-23 中国科学院深圳先进技术研究院 室内场景扫描重建的方法及装置
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971418A (zh) * 2017-04-28 2017-07-21 碰海科技(北京)有限公司 手持式家居建材凹凸表面质感重建装置
WO2019101061A1 (en) * 2017-11-22 2019-05-31 Huawei Technologies Co., Ltd. Three-dimensional (3d) reconstructions of dynamic scenes using reconfigurable hybrid imaging system
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
CN111179332A (zh) * 2018-11-09 2020-05-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质
CN111179332B (zh) * 2018-11-09 2023-12-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109737974B (zh) 一种3d导航语义地图更新方法、装置及设备
CN107223269B (zh) 三维场景定位方法和装置
CN110599540B (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN109118569B (zh) 基于三维模型的渲染方法和装置
CN107067469B (zh) 获取损伤零件缺损部位模型的系统
Eder et al. Pano popups: Indoor 3d reconstruction with a plane-aware network
WO2019109336A1 (en) Stereo camera depth determination using hardware accelerator
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
CN104380729A (zh) 摄像机参数的上下文驱动调整
SG189284A1 (en) Rapid 3d modeling
CN110544294B (zh) 一种基于全景视频的稠密三维重构方法
CN104077808A (zh) 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN104851127B (zh) 一种基于交互的建筑物点云模型纹理映射方法及装置
Kersten et al. Potential of automatic 3D object reconstruction from multiple images for applications in architecture, cultural heritage and archaeology
JP6762570B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113689535B (zh) 基于无人机影像的建筑物模型的生成方法和装置
CN106530395A (zh) 深度及彩色成像一体式手持三维建模装置
EP3756164B1 (en) Methods of modeling a 3d object, and related devices and computer program products
CN109754463A (zh) 三维建模融合方法及装置
WO2020208976A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
CN206961190U (zh) 深度及彩色成像一体式手持三维建模装置
US20200202624A1 (en) Methods, devices and computer program products for generation of mesh in constructed 3d images
Wiemann et al. Automatic Map Creation For Environment Modelling In Robotic Simulators.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322