CN108537879A - 三维模型重建系统及方法 - Google Patents

三维模型重建系统及方法 Download PDF

Info

Publication number
CN108537879A
CN108537879A CN201810270335.3A CN201810270335A CN108537879A CN 108537879 A CN108537879 A CN 108537879A CN 201810270335 A CN201810270335 A CN 201810270335A CN 108537879 A CN108537879 A CN 108537879A
Authority
CN
China
Prior art keywords
subject
image data
point cloud
acquisition
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810270335.3A
Other languages
English (en)
Inventor
徐正君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua Zhi Ye (beijing) Technology Development Co Ltd
Original Assignee
Donghua Zhi Ye (beijing) Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua Zhi Ye (beijing) Technology Development Co Ltd filed Critical Donghua Zhi Ye (beijing) Technology Development Co Ltd
Priority to CN201810270335.3A priority Critical patent/CN108537879A/zh
Publication of CN108537879A publication Critical patent/CN108537879A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维模型重建系统及方法,包括:环形图像采集装置,包括环绕被拍摄对象的支撑设备和安装在支撑设备上的多个摄像头和多个三维扫描仪,被配置用于分别通过所述多个摄像头和所述多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括由所述多个摄像头采集的二维图像数据和所述多个三维扫描仪采集的点云数据;中央处理设备,被配置用于控制所述环形图像采集装置对被拍摄对象的目标图像数据进行采集,并对采集得到的目标图像数据进行处理以完成三维模型的重建。本发明解决了拍摄过程中单一摄像头的视角限制问题和手持式拍摄的抖动问题,实现了对透明和高反光物体的三维模型的快速扫描和重建。

Description

三维模型重建系统及方法
技术领域
本发明涉及三维模型重建技术领域,更具体地讲,涉及一种三维模型重建系统及方法。
背景技术
随着三维建模技术的快速发展,三维模型重建成为三维建模技术中相对活跃的研究领域。三维模型重建包括主动式的“基于深度传感器的三维重建”和被动式的“基于图像的三维重建”,其中,基于深度传感器的三维重建是利用深度传感器发射激光,不受环境光照影响的特性,能够准确获取物体的深度信息(物体与传感器之间的距离),为后续的模型重建提供有效帮助,基于图像的三维重建是利用摄像机拍摄物体表面反射的环境光,也就是常见的照片来重建模型。由于“基于深度传感器的三维重建”技术的深度传感器对物体色彩信息获取较弱,难以恢复物体的真实色彩,因此,基于图像的三维重建技术相对来说应用更为广泛,例如在文物数字化、虚拟现实系统、3D打印、影视游戏等众多领域中,且基于图像的三维重建技术具备处理周期短、自动化程度高、重建效果好等优点。
但是,现有技术中的基于图像的三维重建技术存在着一定的局限性,其中,在数据获取方面,该技术在拍摄目标图像数据时对光照条件的要求较高,对透明和高反光物体的目标图像数据进行拍摄时均会产生较大的误差,而影响数据处理使三维重建效果差。另外,在拍摄过程中,该技术还要求物体保持静止,且单一摄像头由于视角的限制也无法获取足够的图像数据。
发明内容
本发明针对现有技术存在的问题,提出了一种基于三维扫描仪和摄像头相结合的三维重建系统及方法。
根据本发明的一方面,提供了一种三维模型重建系统,包括:环形图像采集装置,包括环绕被拍摄对象的支撑设备和安装在支撑设备上的多个摄像头和多个三维扫描仪,被配置用于分别通过所述多个摄像头和所述多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括由所述多个摄像头采集的二维图像数据和所述多个三维扫描仪采集的点云数据;中央处理设备,被配置用于控制所述环形图像采集装置对被拍摄对象的目标图像数据进行采集,并对采集得到的目标图像数据进行处理以完成三维模型的重建。
优选地,所述支撑设备为360度环形放置的立体设备,所述多个三维扫描仪为多个拍照式三维扫描仪,所述中央处理设备预先设置有用于所述多个摄像头的固定拍摄参数和用于三维模型重建的固定建模参数。
优选地,所述中央处理设备被配置为分别控制所述多个摄像头和所述多个三维扫描仪对被拍摄对象的目标图像数据进行采集;实时接收并存储采集得到的目标图像数据;通过对目标图像数据进行处理以完成被拍摄对象的三维模型的重建,并导出完整的被拍摄对象的三维模型。
优选地,所述通过对目标图像数据进行处理以完成被拍摄对象的三维模型的重建,并导出完整的被拍摄对象的三维模型包括:对多个摄像头采集的二维图像数据进行特征点提取与匹配,并使用运动回复结构SFM算法和散列图像聚簇CMVS算法重建点云;以及对多个三维扫描仪采集的点云数据进行三维立体拼接以得出点云骨架;将所述重建点云和所述点云骨架进行融合以得出被拍摄对象的点云模型;采用纹理映射算法对点云模型进行纹理映射以完成被拍摄对象的三维模型的重建;根据指定文件格式导出完整的被拍摄对象的三维模型。
优选地,所述支撑设备为360度环形放置的多个柱体柜,其中,所述柱体柜面向被拍摄对象的一侧设有多个安装孔,所述多个摄像头分别安装在多个柱体柜内并透过对应的安装孔来采集被拍摄对象的二维图像数据,所述多个三维扫描仪安装在柱体柜的一侧和/或柱体柜与柱体柜之间来采集被拍摄对象的点云数据。
优选地,所述环形图像采集装置还包括照明设备、两个供电电源和稳压源,其中,所述照明设备安装在支撑设备上,被配置为多个灯管和/或多个灯泡,所述照明设备为所述多个摄像头和多个三维扫描仪进行目标图像数据的采集提供所需照明条件,所述两个供电电源分别有线连接所述照明设备以及所述多个摄像头和多个三维扫描仪,所述稳压源与两个供电电源有线连接。
本发明的另一方面提供了一种基于如上所述系统的三维模型重建方法,所述方法包括以下步骤:分别通过多个摄像头和多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括多个摄像头采集的二维图像数据和多个三维扫描仪采集的点云数据;将采集的二维图像数据和点云数据实时传输至中央处理设备;通过中央处理设备分别对采集的二维图像数据和点云数据进行处理完成三维模型的重建。
本发明的又一方面提供了一种环形图像采集装置,包括拍摄设备和用于安装所述拍摄设备的支撑设备,其中,所述支撑设备为环形放置的立体设备以使被拍摄对象位于其中,所述拍摄设备包括多个摄像头和多个三维扫描仪,所述多个摄像头被配置用于采集被拍摄对象的二维图像数据,所述多个三维扫描仪被配置用于采集被拍摄对象的点云数据。
优选地,所述支撑设备为360度环形放置的多个柱体柜,所述柱体柜面向被拍摄对象的一侧设有多个安装孔,所述多个摄像头分别安装在多个柱体柜内并透过对应的安装孔来采集被拍摄对象的二维图像数据,所述多个三维扫描仪安装在柱体柜的一侧和/或柱体柜与柱体柜之间来采集被拍摄对象的点云数据。
优选地,所述多个柱体柜中包括至少一个可移动柱体柜,所述可移动柱体柜的底部设置有滑轮。
本发明解决了三维模型重建中对透明和高反光物体的目标图像数据进行拍摄时容易产生误差的问题,还解决了在拍摄过程中单一摄像头的视角限制问题和手持式拍摄的抖动问题,不仅提高了数据获取的质量,加快了数据处理的速度,还扩大了适用范围,实现了对三维模型的快速扫描和重建。
附图说明
下面将结合附图进行本发明的详细描述,本发明的上述特征和其它目的、特点和优点将会变得更加清楚,其中:
图1是本发明的实施例的三维模型重建系统的框图;
图2是本发明的实施例的三维模型重建系统的环形图像采集装置的框图;
图3是本发明的示例性实施例的由360度环形放置的32个柱体柜组成的环形图像采集装置的示意图;
图4是本发明的实施例的三维模型重建方法的流程图;
图5是本发明的实施例的三维模型重建方法中生成点云模型的流程图;
图6是本发明的实施例的环形图像采集装置的框图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。其中,相同的标号始终表示相同的部件。
1、SFM算法
运动恢复结构SFM(structure-from-motion)算法是一种相机标定算法。该算法首先由尺度不变特征变换SIFI算法来提取匹配图像上的特征点,一系列匹配点从每两幅图像中搜索到后,便被纳入轨迹中。而轨迹为多视图间匹配点的连通集,用多于两个特征点一致的轨迹进行重构来回复每幅图像的相机参数和每个匹配轨迹的三维位置信息。SFM算法中每幅图像由外参旋转矩阵R和平移坐标t以及内参焦距F等参数确定。该算法一般用最优的两个相机来估计初始参数,然后渐进式的每次递增一个相机并优化,以避免所有相机位置和匹配点轨迹对于三维场景点被同时估计,最后利用集束调整法整体优化意见重构的所有三维场景点和相机参数,如此重复迭代,直到观察不到足够多重构出的三维点的相机为止。
2、CMVS算法
散列图像聚簇CMVS算法是通过对图像集聚簇以减少重建过程的数据量的一种算法。聚簇需要满足密集性、簇的大小和覆盖三个约束条件,其中,密集性是指去除簇中冗余的图像,簇的大小是指为了使每个簇都能重构,簇需要保持足够小,覆盖是指图像簇重构的结果应尽量使图像细节保持完整性。
图1是示出本发明的实施例的三维模型重建系统的框图。
如图1所示,根据本发明的实施例的三维模型重建系统100,包括环形图像采集装置101和中央处理设备102。根据本发明的实施例,三维模型重建系统100可通过各种计算装置(例如,计算机、服务器、工作站等)和各种图像采集装置来实现。具体地,环形图像采集装置101包括环绕被拍摄对象的支撑设备和安装在支撑设备上的多个摄像头和多个三维扫描仪,被配置用于分别通过所述多个摄像头和所述多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括由所述多个摄像头采集的二维图像数据和所述多个三维扫描仪采集的点云数据。中央处理设备102被配置用于控制环形图像采集装置101对被拍摄对象的目标图像数据进行采集,并对采集得到的目标图像数据进行处理以完成三维模型的重建。根据本发明的实施例,环形图像采集装置101接收中央处理设备102发出的控制信号来采集被拍摄对象的目标图像数据,中央处理设备102实时接收和存储环形图像采集装置101采集的目标图像数据,并通过对目标图像数据进行数据处理以完成被拍摄对象的三维模型重建并导出被拍摄对象的三维模型数据。其中,环形图像采集装置101与中央处理设备102之间通过无线连接进行数据传输。
下面将参照图2来详细说明三维模型重建系统100的环形图像采集装置 101。
图2是示出本发明的实施例的三维模型重建系统100的环形图像采集装置101的框图。
如图2所示,环形图像采集装置101包括支撑设备201、多个摄像头202、多个三维扫描仪203、照明设备204、供电电源1、供电电源2和稳压源3。根据本发明的实施例,具体地,多个摄像头202、多个三维扫描仪203和照明设备204安装在支撑设备201上,支撑设备201被配置为360度环形放置的立体设备,多个摄像头202采集被拍摄对象的二维图像数据,多个三维扫描仪203采集被拍摄对象的点云数据,照明设备204为多个摄像头202和多个三维扫描仪203在采集目标图像数据时提供所需的照明条件。
根据本发明的实施例,支撑设备201被配置为360度环形放置的立体设备。支撑设备201可以是例如360度环形放置的多个柱体柜、360度环形放置的多个支架或者一个完整的360度环形支架网等。在以下说明中,以支撑设备201为360度环形放置的多个柱体柜作为示例进行说明。根据本发明的示例性实施例,360度环形放置的多个柱体柜中包括至少一个可移动柱体柜,其中,在该可移动柱体柜的底部设置有用于移动的滑轮,以方便使该可移动柱体柜在被拍摄对象进出环形图像采集装置101时随时进行开合。应理解,在采用其它形式的环形放置的立体设备的情况下,也可以设置适合于供被拍摄对象进入环形内部的出口。多个摄像头202采集被拍摄对象的二维图像数据,其中,多个摄像头202对透明和高反光物体进行拍摄时,由于反光等光线因素的影响,将会影响拍摄得到的二维图像数据。多个三维扫描仪203采集被拍摄对象的点云数据,其中,三维扫描仪是一种用来侦测并分析现实世界中物体或环境的形状(几何构造)与外观数据(如颜色、表面反照率等性质)的科学仪器,三维扫描仪对透明和高反光物体进行拍摄时不受光线因素的影响。三维扫描仪大体分为接触式三维扫描仪和非接触式三维扫描仪两种,其中,非接触式三维扫描仪又分为拍照式三维扫描仪和激光扫描仪。照明设备204安装在支撑设备201上,用于为多个摄像头202和多个三维扫描仪203 提供采集目标图像数据时所需的照明条件。照明设备204为多个灯管和/或多个灯泡,可通过中央处理设备102的无线和/或有线控制方式进行开启和/或关闭,也可以通过人工手动的方式进行开启和/或关闭。根据本发明的实施例,照明设备204、多个摄像头202和多个三维扫描仪203均安装在支撑设备201 面向被拍摄对象的一侧。应理解,上述对于支撑设备的举例仅是示例性举例,本发明可采用的支撑设备不限于此。
根据本发明的实施例,环形图像采集装置101还包括供电电源1、供电电源2和稳压源3。其中,稳压源3分别与供电电源1和供电电源2有线连接,用于使环形图像采集装置101的电压维持在恒定电压状态,供电电源1 有线连接照明设备204,供电电源2有线连接多个摄像头202和多个三维扫描仪203,供电电源1和供电电源2分别为照明设备204、多个摄像头202和多个三维扫描仪203提供电源。根据本发明的实施例,供电电源1和供电电源2可选择为两个UPS为照明设备204、多个摄像头202和多个三维扫描仪 203供电,其中,UPS为不间断供电电源,能够为外部设备提供持续、稳定、不间断的电源供应。
下面将参照图3来详细说明当支撑设备为360度环形放置的多个柱体柜时的三维模型重建系统的环形图像采集装置101。
图3是示出本发明的示例性的实施例的由360度环形放置的32个柱体柜组成的环形图像采集装置的示意图。
如图3所示,支撑设备201由360度环形放置的32个柱体柜组成,且 32个柱体柜环形紧密排列,其中1个柱体柜为可移动柱体柜,其余31个柱体柜固定在地面上为不可移动柱体柜。可移动柱体柜底部设置有滑轮,例如 2个或者4个万向轮等,可使该可移动柱体柜在被拍摄对象进出支撑设备时随时移动。另外,360度环形放置的32个柱体柜的每个柱体柜面向被拍摄对象的一侧分别设置有6个安装孔,每个安装孔对应的柱体柜内位置处安装有相应的零部件用以安装多个摄像头202,例如,单反相机等拍摄设备。根据本发明的实施例,多个摄像头202分别透过相应的安装孔来采集被拍摄对象的二维图像数据,多个三维扫描仪203安装在360度环形放置的32个柱体柜的面向被拍摄对象的一侧,用来采集被拍摄对象的点云数据,其中,多个三维扫描仪203为拍照式三维扫描仪,分别安装在柱体柜的一侧和/或柱体柜与柱体柜之间的位置,例如,悬挂在单个柱体柜的安装孔处等。另外,所需摄像头和拍照式三维扫描仪的数量以及位置是依据被拍摄对象的大小和形状来确定的,例如,在每个柱体柜的任意5个安装孔内分别安装分辨率为 2448*3246的摄像头,分别在单个柱体柜上任意一个安装孔上悬挂安装一个拍照式三维扫描仪,则共计安装160个摄像头和32个拍照式三维扫描仪。环形图像采集装置101在进行目标图像数据采集时,可依据被拍摄对象的大小和形状选择全部开启或者部分开启摄像头和拍照式三维扫描仪来分别采集被拍摄对象的二维图像数据和点云数据。根据本发明的实施例,照明设备为多个灯管,安装在360度环形放置的32个柱体柜的面向被拍摄对象的一侧,且多个灯管可安装在单个柱体柜的不同位置处或者柱体柜与柱体柜之间的位置处,例如,分别在单个柱体柜的上下不同位置处安装2个灯管,则共计安装 64个灯管来为环形图像采集装置101进行目标图像数据的采集提供所需照明条件。
返回图2,支撑设备201还可以是360度环形放置的多个支架或者一个完整的360度环形支架网。当支撑设备是360度环形放置的多个支架时,360 度环形放置的多个支架紧密排列且包括至少一个可移动支架,且可移动支架的底部设置有滑轮,多个支架面向被拍摄对象的一侧分别安装有多个摄像头 202、多个三维扫描仪203和照明设备204,其中,多个摄像头202和多个拍照式三维扫描仪203的数量以及位置是依据被拍摄对象的大小、形状以及建模要求来进行设定并安装的,照明设备204分别安装在单个支架上的不同位置处或者两个支架之间的不同位置处等,例如在每个支架的上下不同位置处安装灯泡或者挂放灯管等。应理解,上述对于照明设备安装的方式的举例仅是示例性举例,本发明可采用的照明设备的安装方式不限于此。当支撑设备是一个完整的360度环形支架网时,则该360度环形支架网可在被拍摄对象进出环形图像采集装置101时随时进行开合,例如,在360度环形支架网上设置一个或多个适合于供被拍摄对象进出的方形门出口等,且该360度环形支架网的面向被拍摄对象的一侧安装有多个摄像头202、多个三维扫描仪203 和照明设备204,其中,多个摄像头202和多个拍照式三维扫描仪203的数量以及位置依然是依据被拍摄对象的大小、形状以及建模要求进行设定并安装。应理解,上述对于方形门的举例仅是示例性举例,本发明可采用的适合于供被拍摄对象进出的出口不限于此。
返回图1,中央处理设备102为安装在距离环形图像采集装置101一定范围内的计算机,且该计算机内安装有用于三维模型重建的建模软件。根据本发明的实施例,假设中央处理设备102是一台配置为Windows 10系统、Intel i7-7700k、16.0GB内存、GTX 1070TiGPU的计算机,其中,GPU是图形处理器(Graphics Processing Unit),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。具体地,中央处理设备102控制环形图像采集装置101采集被拍摄对象的目标图像数据,并实时接收和存储环形图像采集装置101采集的目标图像数据,然后,中央处理设备102通过对目标图像数据进行数据处理以完成被拍摄对象的三维模型重建并导出被拍摄对象的三维模型。由于计算机内安装的建模软件中预先设置有用于多个摄像头的固定拍摄参数和用于三维模型重建的固定建模参数,所以,在环形图像采集装置101获取目标图像数据后,无需对目标图像数据进行处理便可直接将目标图像数据从环形图像采集装置101中无线传输至中央处理设备102,且中央处理设备102在进行被拍摄对象的三维模型重建时也无需配置模型重建的参数。其中,固定拍摄参数为多个摄像头采集被拍摄对象的二维图形数据时所设置的参数,例如等效焦距、照片内容重合率、光学畸变等,固定建模参数是中央处理设备102对采集的目标图像数据进行三维建模时所设置的参数,例如点云的生成参数、特征点数量、匹配精度等。中央处理设备102 使用户无需掌握专业拍照技术和建模知识就可以熟练的操作使用该三维模型重建系统。应理解,上述对于固定拍摄参数和固定建模参数的举例仅是示例性举例,本发明预先设置的固定拍摄参数和固定建模参数不限于此。
根据本发明的实施例,中央处理设备102与环形图像采集装置101之间通过无线连接进行数据传输,例如采用WIFI或者蓝牙等数据传输方式,其中,中央处理设备102无线控制多个摄像头和多个三维扫描仪,还可以无线和/或有线控制照明设备。根据本发明的实施例,中央处理设备102还根据被拍摄对象的大小、形状以及建模要求来控制多个摄像头和多个三维扫描仪所需开启的数量以及选择开启的多个摄像头和多个三维扫描仪的相应的位置。
图4是示出本发明的实施例的三维模型重建方法的流程图。
如图4所示,在步骤S401,分别通过多个摄像头和多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括多个摄像头采集的二维图像数据和多个三维扫描仪采集的点云数据。根据本发明的实施例,具体地,多个摄像头采集被拍摄对象的二维图像数据,多个三维扫描仪采集被拍摄对的点云数据。假设根据被拍摄对象的大小和形状,设置开启的摄像头和拍照式三维扫描仪的数量为128个摄像头和32个拍照式三维扫描仪,则采集得到的目标图像数据为128张二维图像照片和32个带有点云数据的文件。
在步骤S402,将采集的二维图像数据和点云数据实时传输至中央处理设备。根据本发明的实施例,具体地,将采集的二维图像数据和点云数据无线传输至中央处理设备,然后,中央处理设备对获取的二维图像数据和点云数据进行存储。
在步骤S402,通过中央处理设备分别对采集的二维图像数据和点云数据进行处理完成三维模型的重建。根据本发明的实施例,具体地,中央处理设备对多个摄像头采集的二维图像数据进行特征点提取与匹配,并使用运动回复结构SFM算法和散列图像聚簇CMVS算法重建点云,对多个三维扫描仪采集的点云数据进行三维立体拼接以得出点云骨架,然后,将重建的点云和点云骨架进行融合,得出被拍摄对象的点云模型,最后,采用纹理映射算法对点云模型进行纹理映射以完成被拍摄对象的三维模型的重建,并根据指定文件格式导出完整的被拍摄对象的三维模型。下面将参照图5来详细说明中央处理设备对接收的二维图像数据和点云数据进行处理的具体流程。
图5是示出本发明的实施例的三维模型重建方法中生成点云模型的流程图。
如图5所示,在步骤S501,对多个摄像头采集的二维图像数据进行特征点提取与匹配,并使用运动回复结构SFM算法和散列图像聚簇CMVS算法重建点云。根据本发明的实施例,具体地,对获取的二维图像数据进行特征点提取与匹配,然后,利用SFM算法对匹配结果进行稀疏重建以得到三维模型重建的稀疏点云,最后,使用CMVS算法对稀疏点云进行稠密重建,以得到重建后的稠密点云。根据上述举例,对获取的128张二维图像照片数据进行特征点提取与匹配,利用SFM算法匹配图像上的特征点,并重构相应的三维场景点来恢复每幅图像的相机参数和每个特征点的三维位置信息。具体地,用最优的两个相机来估计初始参数,然后渐进式的每次递增一个相机并优化,以避免所有相机位置和匹配点轨迹对于三维场景点被同时估计,再利用集束调整法整体优化重构的所有三维场景点和相机参数,如此重复迭代,获取三维模型重建的稀疏点云,其中,SFM算法中每幅图像由相机内参数和外参数来确定,例如旋转矩阵R、平移坐标t和焦距F等。
根据本发明的实施例,将SFM算法获取的稀疏点云先利用散列图像聚簇 CMVS算法根据视角对图像序列进行聚簇以减少数据量,再基于PMVS贴片重构法进行匹配、膨胀、过滤,在局部光度一致性和全局可见性约束下完成稠密重建。具体地,先根据对局部领域SFM特征点的可视信息取各领域位置的平均值以实现SFM筛选,减少SFM算法得到的稀疏点云的数量。将图像分辨率按照从低到高的顺序逐渐搜索,剔除低分辨率图像,删除不符合覆盖约束的图像。然后,根据图像标准分割算法,忽略覆盖约束,对大小符合条件的图像进行图像分割,并为没有纳入的SFM特征点构造图像簇。重复上述图像分割和构造图像簇的操作直至得到的稀疏重建结果都符合覆盖约束条件和大小约束条件。最后,采用PMVS贴片重构法独立地对CMVS算法获取的每个图像簇进行匹配、膨胀、过滤以完成稠密重建。
在步骤S502,对多个三维扫描仪采集的点云数据进行三维立体拼接以得出点云骨架。根据本发明的实施例,具体地,根据获取的点云数据对三维扫描仪进行空间标定,并对多个三维扫描仪获取得到的多组点云进行三维立体拼接以完成多组点云的融合。三维立体拼接技术包括需要合理初始位置的ICP 算法和直接求解变换矩阵法,其中,ICP算法是以两片点云之间的距离最小为目标,不断的迭代更新直至两片点云融合在一起,ICP算法包括多测量头法、旋转拼接法和双经纬仪法等多种算法。应理解,上述对于ICP算法的举例仅是示例性举例,本发明中的ICP算法不限于此。根据上述举例,提取32 个带有点云数据的文件中的32组点云数据,对32组点云数据中全部点云进行精简和去噪,确定原始对应点集并去除错误的对应点对,然后,再利用多测量头法将32组点云进行空间标定,并拼接得出点云骨架。其中,多测量头法采用多个三维扫描仪同时测量被拍摄对象的不同侧面,在根据多个三维扫描仪之间固定的空间关系进行坐标转换,该方法的操作简单、处理速度快,广泛用于人体测量中。
在步骤S503,将所述重建点云和所述点云骨架进行融合以得出被拍摄对象的点云模型。根据本发明的实施例,具体地,将步骤S501得到的稠密重建的点云和步骤S502得到的点云骨架进行融合得到一个点云数据,假设采用基于法向量约束的点云融合法对点云P和点云Q进行融合,则先精确的计算得到点云P和点云Q的重叠区域,点云P的所有点在点云Q的KD树内查找最近距离在平均距离内的点,同理对点云Q也太阳的进行计算,最后对两个点云P和Q的重叠区域进行融合,便得到一个完整的点云模型。其中,KD树 (k-dimensional树的简称)是一种分割k维数据空间的数据结构,主要应用于多维空间关键数据的搜索。
在步骤S504,采用纹理映射算法对点云模型进行纹理映射以完成被拍摄对象的三维模型的重建。根据本发明的实施例,具体地,采用纹理映射算法对步骤S503中得到的点云模型进行纹理映射,最终完成被拍摄对象的三维模型的重建,其中,纹理映射是将纹理空间中的纹理像素映射到屏幕空间中的像素的过程。
在步骤S505,根据指定文件格式导出完整的被拍摄对象的三维模型。根据本发明的实施例,具体地,将最终重建的三维模型导出时,可根据需要选择例如obj文件格式、fbx文件格式或者dae文件格式等指定的文件格式进行导出。应理解,上述对于指定文件格式的举例仅是示例性举例,本发明可采用的指定文件格式不限于此。
图6是示出本发明的实施例的环形图像采集装置的框图。
如图6所示,环形图像采集装置600包括拍摄设备601和用于安装所述拍摄设备601的支撑设备602。根据本发明的实施例,支撑设备602为环形放置的立体设备以使被拍摄对象位于其中,拍摄设备601包括多个摄像头和多个三维扫描仪,其中,多个摄像头用于采集被拍摄对象的二维图像数据,多个三维扫描仪用于采集被拍摄对象的点云数据。具体地,支撑设备602 为360度环形放置的多个柱体柜,柱体柜面向被拍摄对象的一侧设有多个安装孔,多个摄像头分别安装在多个柱体柜内并透过对应的安装孔来采集被拍摄对象的二维图像数据,多个三维扫描仪安装在柱体柜的一侧和/或柱体柜与柱体柜之间来采集被拍摄对象的点云数据。其中,多个柱体柜中包括至少一个可移动柱体柜,可移动柱体柜的底部设置有用于使该可移动柱体柜在被拍摄对象进出支撑设备402时随时可进行移动的滑轮。
根据本发明的实施例的一种三维模型重建系统及方法能够解决在三维模型重建中对透明和高反光物体的目标图像数据进行拍摄时容易产生误差的问题,还解决了拍摄过程中单一摄像头的视角限制问题和手持式拍摄的抖动问题,不仅提高了数据获取的质量,加快了数据处理的速度,还扩大了适用范围,实现了三维模型的快速扫描和重建。
尽管已经参照本发明的特定示例性实施例显示和描述了本发明,但是本领域技术人员将理解,在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下,可进行各种形式和细节上的各种改变。

Claims (10)

1.一种三维模型重建系统,其特征在于,包括:
环形图像采集装置,包括环绕被拍摄对象的支撑设备和安装在支撑设备上的多个摄像头和多个三维扫描仪,被配置用于分别通过所述多个摄像头和所述多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括由所述多个摄像头采集的二维图像数据和所述多个三维扫描仪采集的点云数据;
中央处理设备,被配置用于控制所述环形图像采集装置对被拍摄对象的目标图像数据进行采集,并对采集得到的目标图像数据进行处理以完成三维模型的重建。
2.如权利要求1所述的系统,其特征在于,所述支撑设备为360度环形放置的立体设备,所述多个三维扫描仪为多个拍照式三维扫描仪,所述中央处理设备预先设置有用于所述多个摄像头的固定拍摄参数和用于三维模型重建的固定建模参数。
3.如权利要求1所述的系统,其特征在于,所述中央处理设备被配置为:
分别控制所述多个摄像头和所述多个三维扫描仪对被拍摄对象的目标图像数据进行采集;
实时接收并存储采集得到的目标图像数据;
通过对目标图像数据进行处理以完成被拍摄对象的三维模型的重建,并导出完整的被拍摄对象的三维模型。
4.如权利要求3所述的系统,其特征在于,所述通过对目标图像数据进行处理以完成被拍摄对象的三维模型的重建,并导出完整的被拍摄对象的三维模型包括:
对多个摄像头采集的二维图像数据进行特征点提取与匹配,并使用运动回复结构SFM算法和散列图像聚簇CMVS算法重建点云;以及
对多个三维扫描仪采集的点云数据进行三维立体拼接以得出点云骨架;
将所述重建点云和所述点云骨架进行融合以得出被拍摄对象的点云模型;
采用纹理映射算法对点云模型进行纹理映射以完成被拍摄对象的三维模型的重建;
根据指定文件格式导出完整的被拍摄对象的三维模型。
5.如权利要求2所述的系统,其特征在于,所述支撑设备为360度环形放置的多个柱体柜,其中,所述柱体柜面向被拍摄对象的一侧设有多个安装孔,所述多个摄像头分别安装在多个柱体柜内并透过对应的安装孔来采集被拍摄对象的二维图像数据,所述多个三维扫描仪安装在柱体柜的一侧和/或柱体柜与柱体柜之间来采集被拍摄对象的点云数据。
6.如权利要求1所述的系统,其特征在于,所述环形图像采集装置还包括照明设备、两个供电电源和稳压源,其中,所述照明设备安装在支撑设备上,被配置为多个灯管和/或多个灯泡,所述照明设备为所述多个摄像头和多个三维扫描仪进行目标图像数据的采集提供所需照明条件,所述两个供电电源分别有线连接所述照明设备以及所述多个摄像头和多个三维扫描仪,所述稳压源与两个供电电源有线连接。
7.一种基于权利要求1至6中任一项所述系统的三维模型重建方法,其特征在于,所述方法包括以下步骤:
分别通过多个摄像头和多个三维扫描仪来采集被拍摄对象的目标图像数据,其中,所述目标图像数据包括多个摄像头采集的二维图像数据和多个三维扫描仪采集的点云数据;
将采集的二维图像数据和点云数据实时传输至中央处理设备;
通过中央处理设备分别对采集的二维图像数据和点云数据进行处理完成三维模型的重建。
8.一种环形图像采集装置,其特征在于,包括拍摄设备和用于安装所述拍摄设备的支撑设备,
其中,所述支撑设备为环形放置的立体设备以使被拍摄对象位于其中,所述拍摄设备包括多个摄像头和多个三维扫描仪,所述多个摄像头被配置用于采集被拍摄对象的二维图像数据,所述多个三维扫描仪被配置用于采集被拍摄对象的点云数据。
9.如权利要求8所述的环形图像采集装置,其特征在于,所述支撑设备为360度环形放置的多个柱体柜,所述柱体柜面向被拍摄对象的一侧设有多个安装孔,所述多个摄像头分别安装在多个柱体柜内并透过对应的安装孔来采集被拍摄对象的二维图像数据,所述多个三维扫描仪安装在柱体柜的一侧和/或柱体柜与柱体柜之间来采集被拍摄对象的点云数据。
10.如权利要求8所述的环形图像采集装置,其特征在于,所述多个柱体柜中包括至少一个可移动柱体柜,所述可移动柱体柜的底部设置有滑轮。
CN201810270335.3A 2018-03-29 2018-03-29 三维模型重建系统及方法 Pending CN108537879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810270335.3A CN108537879A (zh) 2018-03-29 2018-03-29 三维模型重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270335.3A CN108537879A (zh) 2018-03-29 2018-03-29 三维模型重建系统及方法

Publications (1)

Publication Number Publication Date
CN108537879A true CN108537879A (zh) 2018-09-14

Family

ID=63482368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270335.3A Pending CN108537879A (zh) 2018-03-29 2018-03-29 三维模型重建系统及方法

Country Status (1)

Country Link
CN (1) CN108537879A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058211A (zh) * 2019-03-21 2019-07-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN110533774A (zh) * 2019-09-09 2019-12-03 江苏海洋大学 一种基于智能手机的三维模型重建方法
CN111231302A (zh) * 2020-01-07 2020-06-05 河北科技大学 一种基于激光测距的三维重建和切片式3d打印装置及方法
CN111419152A (zh) * 2019-01-10 2020-07-17 柯惠有限合伙公司 增强视差的内镜成像
CN111754556A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111833451A (zh) * 2020-07-13 2020-10-27 林嘉恒 一种区块化的可见光数据重组立体扫描重构的方法
CN112015041A (zh) * 2020-09-03 2020-12-01 壹贰三维(北京)科技有限公司 一种用于物体表面数据采集的辅助装置及拍摄方法
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
CN112085839A (zh) * 2020-09-16 2020-12-15 华中科技大学鄂州工业技术研究院 一种灵活、多功能的三维重建方法及装置
CN112258636A (zh) * 2020-10-26 2021-01-22 中铁八局集团第一工程有限公司 一种建筑用利用二维建立三维模型的方法
CN113040751A (zh) * 2021-03-12 2021-06-29 国家康复辅具研究中心 一种定制矫形头盔的测量方法及获得的矫形头盔
WO2022041119A1 (zh) * 2020-08-28 2022-03-03 深圳市大疆创新科技有限公司 三维点云处理方法及装置
CN114777671A (zh) * 2022-04-25 2022-07-22 武汉中观自动化科技有限公司 工件模型处理方法、服务器、前端设备及三维扫描系统
CN114938446A (zh) * 2022-05-16 2022-08-23 中国科学院深圳先进技术研究院 一种动物行为重建系统、方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
KR101644087B1 (ko) * 2015-11-11 2016-08-11 공간정보기술 주식회사 다시점 원샷 촬영 영상을 이용한 3차원 스캐너 시스템
CN106500627A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
CN107170037A (zh) * 2016-03-07 2017-09-15 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建方法和系统
CN107170035A (zh) * 2017-07-12 2017-09-15 朱培恒 一种高反光物体扫描方法及其系统
CN206905709U (zh) * 2017-07-06 2018-01-19 杭州思看科技有限公司 手持式大尺度三维测量扫描仪
US9892666B1 (en) * 2012-06-20 2018-02-13 Amazon Technologies, Inc. Three-dimensional model generation
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN208705936U (zh) * 2018-03-29 2019-04-05 东华智业(北京)科技发展有限公司 三维模型重建系统以及用于该系统的环形图像采集装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892666B1 (en) * 2012-06-20 2018-02-13 Amazon Technologies, Inc. Three-dimensional model generation
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
KR101644087B1 (ko) * 2015-11-11 2016-08-11 공간정보기술 주식회사 다시점 원샷 촬영 영상을 이용한 3차원 스캐너 시스템
CN107170037A (zh) * 2016-03-07 2017-09-15 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建方法和系统
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN106500627A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
CN206905709U (zh) * 2017-07-06 2018-01-19 杭州思看科技有限公司 手持式大尺度三维测量扫描仪
CN107170035A (zh) * 2017-07-12 2017-09-15 朱培恒 一种高反光物体扫描方法及其系统
CN208705936U (zh) * 2018-03-29 2019-04-05 东华智业(北京)科技发展有限公司 三维模型重建系统以及用于该系统的环形图像采集装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTIE DENNIS 等: "3D Reconstruction of Dynamic Vehicles using Sparse 3D-Laser-Scanner and 2D Image Fusion", 《2016 INTERNATIONAL CONFERENCE ON INFORMATICS AND COMPUTING(ICIC)》, 24 April 2017 (2017-04-24), pages 61 - 65 *
全思博 等: "移动高光对三维场景重建的影响与消除", 《光学精密工程》, vol. 25, no. 7, 31 July 2017 (2017-07-31), pages 1900 - 1908 *
刘倩倩: "基于激光点云与图像信息融合的三维场景重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2017, no. 03, 15 March 2017 (2017-03-15), pages 138 - 4551 *
闫涛 等: "基于多景深融合模型的显微三维重建方法", 《计算机辅助设计与图形学学报》, vol. 29, no. 9, 30 September 2017 (2017-09-30), pages 1613 - 1623 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111419152A (zh) * 2019-01-10 2020-07-17 柯惠有限合伙公司 增强视差的内镜成像
CN110058211A (zh) * 2019-03-21 2019-07-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN110533774A (zh) * 2019-09-09 2019-12-03 江苏海洋大学 一种基于智能手机的三维模型重建方法
CN110533774B (zh) * 2019-09-09 2023-04-07 江苏海洋大学 一种基于智能手机的三维模型重建方法
CN111231302A (zh) * 2020-01-07 2020-06-05 河北科技大学 一种基于激光测距的三维重建和切片式3d打印装置及方法
CN111754556A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111754556B (zh) * 2020-06-23 2024-06-28 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111833451B (zh) * 2020-07-13 2023-01-17 林嘉恒 一种区块化的可见光数据重组立体扫描重构的方法
CN111833451A (zh) * 2020-07-13 2020-10-27 林嘉恒 一种区块化的可见光数据重组立体扫描重构的方法
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
WO2022041119A1 (zh) * 2020-08-28 2022-03-03 深圳市大疆创新科技有限公司 三维点云处理方法及装置
CN112015041A (zh) * 2020-09-03 2020-12-01 壹贰三维(北京)科技有限公司 一种用于物体表面数据采集的辅助装置及拍摄方法
CN112085839A (zh) * 2020-09-16 2020-12-15 华中科技大学鄂州工业技术研究院 一种灵活、多功能的三维重建方法及装置
CN112258636B (zh) * 2020-10-26 2022-10-25 中铁八局集团第一工程有限公司 一种应用于建筑领域的利用二维图形建立三维模型的方法
CN112258636A (zh) * 2020-10-26 2021-01-22 中铁八局集团第一工程有限公司 一种建筑用利用二维建立三维模型的方法
CN113040751A (zh) * 2021-03-12 2021-06-29 国家康复辅具研究中心 一种定制矫形头盔的测量方法及获得的矫形头盔
CN114777671A (zh) * 2022-04-25 2022-07-22 武汉中观自动化科技有限公司 工件模型处理方法、服务器、前端设备及三维扫描系统
CN114938446A (zh) * 2022-05-16 2022-08-23 中国科学院深圳先进技术研究院 一种动物行为重建系统、方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108537879A (zh) 三维模型重建系统及方法
US20210004973A1 (en) Image processing method, apparatus, and storage medium
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
Bernardini et al. Building a digital model of Michelangelo's Florentine Pieta
CN104240289B (zh) 一种基于单个相机的三维数字化重建方法及系统
CN103021017B (zh) 基于gpu加速的三维场景重建方法
US6930685B1 (en) Image processing method and apparatus
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN108919944A (zh) 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109544679A (zh) 管道内壁的三维重建方法
CN107507274A (zh) 一种基于云计算的公安案件现场三维实景快速还原方法
CN109934935B (zh) 一种服装与人体图像穿帮、匹配迁移的方法与系统
CN107862718B (zh) 4d全息视频捕捉方法
CN208705936U (zh) 三维模型重建系统以及用于该系统的环形图像采集装置
CN110363061A (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
CN108320330A (zh) 基于深度视频流的实时三维模型重建方法及系统
CN110049304A (zh) 一种稀疏相机阵列瞬时三维成像的方法及其装置
CN110428501A (zh) 全景影像生成方法、装置、电子设备及可读存储介质
CN208705935U (zh) 三维模型重建系统以及用于该系统的环形图像采集装置
CN108447042A (zh) 城市景观影像数据的融合方法及系统
CN115205491A (zh) 一种手持多视图三维重建的方法及装置
CN114998507A (zh) 一种基于自监督学习的光度立体三维重建方法
Inzerillo et al. High quality texture mapping process aimed at the optimization of 3d structured light models
CN106604016A (zh) 立体视频采集系统
US11302073B2 (en) Method for texturing a 3D model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination