CN109215109A - 一种基于深度摄像模组的三维重建方法及装置 - Google Patents

一种基于深度摄像模组的三维重建方法及装置 Download PDF

Info

Publication number
CN109215109A
CN109215109A CN201710548653.7A CN201710548653A CN109215109A CN 109215109 A CN109215109 A CN 109215109A CN 201710548653 A CN201710548653 A CN 201710548653A CN 109215109 A CN109215109 A CN 109215109A
Authority
CN
China
Prior art keywords
data
subject
dimensional
obtains
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710548653.7A
Other languages
English (en)
Inventor
杜晶
范懿文
陈清甫
张弦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visual Interactive (beijing) Technology Co Ltd
Original Assignee
Visual Interactive (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Interactive (beijing) Technology Co Ltd filed Critical Visual Interactive (beijing) Technology Co Ltd
Priority to CN201710548653.7A priority Critical patent/CN109215109A/zh
Publication of CN109215109A publication Critical patent/CN109215109A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明技术方案提供了一种基于深度摄像模组的三维重建方法及装置,涉及三维采集、重建领域。包括:通过至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息进行拍摄进而得到三维点云数据集合;处理器获取被摄物体的三维测量数据,进而得到三维数据模型。对三维点云数据集合和三维数据模型进行复合得到被摄物体的贴图点云重建模型,并将其同时进行显示。本发明技术方案用以解决无法高效,实时的获取建筑复原模型的问题。

Description

一种基于深度摄像模组的三维重建方法及装置
技术领域
本发明涉及三维采集、重建领域,尤其涉及一种基于深度摄像模组的三维重建方法及装置。
背景技术
古建筑经历了数千年发展,形成了独特而稳定的建筑体系。在保护古建筑的工作中,离不开对古建筑的修缮以及重建。中国古代建筑,外形古朴、华美,但形制结构非常复杂。一座单体建筑,往往由成千上万个构件组成,木构件之间通常是榫卯交接;其屋面曲线除多呈抛物线外,还常有很多种兽形饰件,这就使从古建图纸的绘制到三维模型重建都有很大的难度。
古建筑修缮重建的传统方法是利用二维图纸,实体建筑由技术人员手工量测后,将古建筑的各种信息绘制、记录、归纳成集。这种方法不仅耗时耗力,而且精确度较低,缺乏将记录的建筑信息直观表达的能力。
古建筑修缮重建,首先就是需要原始资料,所以古建筑测绘成为建筑保护的重中之重。目前,在修缮和重建也运用一些先进的测绘技术为古建筑保护提供快速、高质量的原始资料,比如:近景摄影测量和三维激光扫描技术。
近景摄影测量系统的作业方式是:对被拍摄物体的周围环境进行考察,采用高分辨率的双数码相机平行同轴拍摄,在保证重叠度和交会角等条件下,对测量对象拍摄大量影像。采用摄影全站仪系统测量极少数的像控点,作为以影像进行摄影测量的初始数据。经过测量的室外作业后,还要通过室内作业处理图像数据,通过对大量图像的数据分析得到建筑复原模型。
三维激光扫描系统主要由三维激光扫描仪和系统软件组成,三维激光扫描仪获取近距离静态物体的空间三维坐标,建立三维立体模型。同时,数码相机在扫描同时进行连续跟拍,与其相应的系统软件对三维立体模型和数码照片进行进一步的分析、数据处理,得到建筑复原模型。
以上方法均需要先进行室外作业获取数据,再进行室内作业对数据进行处理,通过大量作业后的到建筑复原模型,在这过程中,耗费的非常多的人力物力,同时效率不高。由于不能实时验证获取的数据是否有效,经常会出现数码照片或者扫描数据不合格的问题,导致了无法一次得到模型结果,需要二次甚至三次的重复工作的问题。
所以,无法高效,实时的获取建筑复原模型成为亟待解决的问题。
发明内容
本发明提供一种基于深度摄像模组的三维重建方法及装置,用以解决无法高效,实时的获取建筑复原模型的问题。
为实现上述目的,本发明技术方案提供了一种基于深度摄像模组的三维重建方法,所述方法包括:至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行拍摄,获取被摄物体信息,对被摄物体信息进行数据处理得到被摄物体的三维点云数据集合;与至少一组深度摄像模组分别对应的处理器获取被摄物体的三维测量数据,并对三维测量数据进行数据处理得到被摄物体的三维数据模型;处理器将所述三维点云数据集合和三维数据模型进行数据复合得到被摄物体的贴图点云重建模型,并同时将贴图点云重建模型进行显示;其中,所述一组深度摄像模组含有至少两个图像获取装置。
作为上述技术方案的优选,在获取三维点云数据集合之前,所述方法包括:选取被摄物体,根据被摄物体的特征确定基线长度;根据基线长度设置被摄物体的参考点,根据参考点对被摄物体进行拍摄,得到拍摄结果,此结果为参考点信息;其中,所述被摄物体的特征是在选取被摄物体时获取的。
作为上述技术方案的优选,所述方法包括:对三维测量数据进行数据建立,得到被摄物体的初始物体;对初始物体进行持续数据跟踪,得到三维数据模型。
作为上述技术方案的优选,所述方法还包括:对初始物体进行跟踪线程数据处理,得到线程数据结果;同时,对初始物体进行建图线程数据处理,得到建图线程数据结果;将线程数据结果和建图线程数据结果进行整合,得到三维数据模型。
作为上述技术方案的优选,所述方法还包括:处理器对三维点云数据集合与三维数据模型进行匹配,得到匹配结果;处理器根据匹配结果,将三维点云数据集合与三维数据模型进行数据对应,得到对应结果;处理器根据对应结果,将三维点云数据集合数据贴合在三维数据模型上,得到被摄物体的贴图点云重建模型;处理器将得到的贴图点云重建模型同时进行显示。
本发明技术方案还提供了一种基于深度摄像模组的三维重建装置,所述装置包括:三维点云数据集合获取单元,用于至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行拍摄,获取被摄物体信息,对被摄物体信息进行数据处理得到被摄物体的三维点云数据集合;三维数据模型获取单元,用于与至少一组深度摄像模组分别对应的处理器获取被摄物体的三维测量数据,并对三维测量数据进行数据处理得到被摄物体的三维数据模型;重建模型获取单元,用于述三维点云数据集合获取单元获取的三维点云数据集合和三维数据模型获取单元获取的三维数据模型进行数据复合得到被摄物体的贴图点云重建模型;显示单元,用于,当重建模型获取单元获取了贴图点云重建模型,同时在屏幕上对贴图点云重建模型进行显示;其中,所述一组深度摄像模组含有至少两个图像获取装置。
作为上述技术方案的优选,在所述三维点云数据集合获取单元之前,包括:基线确定单元,用于选取被摄物体,根据被摄物体的特征确定基线长度;设置单元,用于根据基线确定单元确定的基线长度设置被摄物体参考点,根据参考点对被摄物体进行拍摄,得到拍摄结果,扫描结果为参考点信息;其中,所述被摄物体的特征是在选取被摄物体时获取的。
作为上述技术方案的优选,所述装置,包括:初始物体建立模块,用于对被摄物体的三维测量数据进行数据建立,得到被摄物体的初始物体;三维数据模型模块,用于对初始物体建立模块建立得到的初始物体进行持续数据跟踪,从而得到被摄物体的三维数据模型。
作为上述技术方案的优选,所述装置,包括:跟踪线程模块,用于对被摄物体的初始物体进行跟踪线程数据处理,得到跟踪线程数据结果;建图线程模块,用于与跟踪线程模块同时对初始物体进行建图线程数据处理,得到建图线程数据结果;模型整合模块,用于将跟踪线程模块跟踪得到的跟踪线程数据结果和建图线程模块建图得到的建图线程数据结果进行模型整合,得到被摄物体的三维数据模型。
作为上述技术方案的优选,所述装置,还包括:匹配模块,用于对三维点云数据集合获取单元获取的三维点云数据集合与三维数据模型获取单元获取的三维数据模型进行匹配,得到匹配结果;数据对应模块,用于根据匹配模块得到的匹配结果,将三维点云数据集合与三维数据模型进行数据对应,得到对应结果;数据贴合模块,用于根据数据对应模块得到的对应结果,将三维点云数据集合中的数据贴合在三维数据模型上,得到被摄物体的贴图点云重建模型。
本发明技术方案提供了一种基于深度摄像模组的三维重建方法,通过至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行拍摄,对拍摄结果进行进行数据处理得到三维点云数据集合;同时,与深度摄像模组分别对应的处理器获取被摄物体的三维测量数据,并对其进行数据处理得到三维数据模型。处理器将三维点云数据集合和三维数据模型进行数据复合得到所述被摄物体的贴图点云重建模型,并将所述贴图点云重建模型同时进行显示。本发明技术方案还提供了一种基于深度摄像模组的三维重建装置,包括:三维点云数据集合获取单元,用于至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行拍摄并对拍摄结果进行数据处理得到被摄物体的三维点云数据集合;三维数据模型获取单元,用于获取被摄物体的三维测量数据,并对三维测量数据进行数据处理得到三维数据模型;重建模型获取单元,用于将之前获取的三维点云数据集合和三维数据模型进行数据复合得到被摄物体的贴图点云重建模型;显示单元,用于,当重建模型获取单元获取了贴图点云重建模型,同时在屏幕上对其进行显示。
本发明的优点是:通过深度摄像模组获取被摄物体信息,处理器对被摄物体信息进行处理,获得的被摄物体的重建模型实时进行显示。由于能够实时看到重建模型,所以当拍摄出现问题导致首次获得的重建模型不合格时,能够及时的进行纠正,更改,并重复建模过程,直到得到合格的重建模型。这样,在一般情况下,对于目标建筑的复原模型的获取在一次室外作业中即可完成,大大提高了获取建筑复原模型的效率。解决了现有技术中无法高效,实时的获取建筑复原模型的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于深度摄像模组的三维重建方法的流程图;
图2为本发明实施例二提供的一种基于深度摄像模组的三维重建方法的流程图一;
图3为本发明实施例二提供的一种基于深度摄像模组的三维重建方法的流程图二;
图4为本发明实施例二中使用的LoG-PTAMM算法的流程图;
图5为本发明实施例二中使用的跟踪线程数据处理过程的流程图;
图6为本发明实施例二中使用的建图线程数据处理过程的流程图;
图7为本发明实施例三提供的一种基于深度摄像模组的三维重建装置的结构示意图;
图8为本发明实施例三提供的一种基于深度摄像模组的三维重建装置的结构示意图二;
图9为图7所示的三维数据模型获取单元72的结构示意图;
图10为图9所示的三维数据模型模块92的结构示意图;
图11为图7所示的重建模型获取单元73的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的一种基于深度摄像模组的三维重建方法的流程图,如图1所示,包括:
步骤101:选取被摄物体,根据其特征确定基线长度。
步骤102:根据基线长度设置被摄物体的参考点,并拍摄,得到参考点信息。
其中,被摄物体的特征是在选取被摄物体时获取的。
步骤103:至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息得到三维点云数据集合。
具体的,此组深度摄像模组根据参考点信息对被摄物体进行拍摄获取被摄物体信息,与此组深度摄像模组对应的处理器对被摄物体信息进行数据处理,从而得到三维点云数据集合。
其中,一组深度摄像模组含有至少两个图像获取装置。
步骤104:与至少一组深度摄像模组分别对应的处理器获取所述被摄物体的三维测量数据。
步骤105:处理器对三维测量数据进行数据建立,得到初始物体。
步骤106:对初始物体进行持续数据跟踪,得到三维数据模型。
具体的,处理器对初始物体进行跟踪线程数据处理,得到跟踪线程数据结果。与此同时,对所述初始物体进行建图线程数据处理,得到建图线程数据结果。将跟踪线程数据结果和建图线程数据结果进行整合,得到三维数据模型。
步骤107:处理器将三维点云数据集合和三维数据模型进行数据复合得到被摄物体的贴图点云重建模型。
步骤108:将贴图点云重建模型进行显示。
本发明技术方案提供了一种基于深度摄像模组的三维重建方法,通过至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行扫描,对扫描结果进行进行数据处理得到三维点云数据集合;同时,与深度摄像模组分别对应的处理器获取被摄物体的三维测量数据,并对其进行数据处理得到三维数据模型。处理器将所述三维点云数据集合和所述三维数据模型进行数据复合得到所述被摄物体的贴图点云重建模型,并将所述贴图点云重建模型同时进行显示。解决了现有技术中无法高效,实时的获取建筑复原模型的问题。
现用一具体实施例描述本发明技术方案,在本实施例中,以一组深度摄像模组,一组深度摄像模组包含两个个体摄像头为例进行说明。并非用以对深度摄像模组的组数进行限制,也并非对每一组深度摄像模组所包含的个体摄头数量进行限制。在本实施例中,以此组深度摄像模组中的两个个体摄头分别放置在眼镜两侧对称的位置为例进行说明。并非用以对深度摄像模组的放置位置进行限制。本实施例中,将眼镜的镜片作为显示贴图点云重建模型的屏幕,对本发明技术方案进行说明。
图2为本发明实施例二提供的一种基于深度摄像模组的三维重建方法的流程图,如图2所示:
步骤201:选取建筑,深度摄像模组识别其建筑特征。
其中,一组深度摄像模组含有至少两个图像获取装置。具体的,在本发明实施例二中,以深度摄像模组含有摄像头一和摄像头二为例对发明方案进行详细说明,但并非用以限制所述至少两个图像获取装置所代表的具体设备。
进一步的,为了保持拍摄的稳定,深度摄像模组还可以包括用于测量物体三轴姿态角(或角速率)以及加速度的装置IMU(Inertial measurement unit,惯性测量单元)。
选取的建筑为古代建筑,一般选取其屋面曲线,屋脊、岔脊、梁柱等作为其特征。若选取的建筑为现代建筑,一般选取其框架结构作为其特征。
步骤202:数据信息处理器根据建筑特征确定基线长度,并设置参考点。
其中,数据信息处理器包括:GPU(Graphic Processing Unit,图形处理器),CPU(Central Processing Unit,中央处理器),EMMC(Embedded Multi Media Card,嵌入式多媒体存储卡),DDR(Double Data Rate,双倍速率同步动态随机存储器)。图3为数据信息处理器设置参考点的流程图,如图3所示:
步骤301:GPU获取识别的建筑特征。
步骤302:GPU将建筑特征传递至CPU。
步骤303:CPU从EMMC中拷贝预输入的基线长度算法,和参考点设置规则到DDR中进行处理。
其中,CPU将建筑特征也发送至DDR。
步骤304:DDR得到基线长度并根据参考点设置规则设置参考点,将结果反馈至CPU。
步骤203:摄像头一和摄像头二根据参考点对建筑进行三维影像拍摄,得到视图一和视图二。
三维影像拍摄,主要扫拍摄筑各个方向的影像。其中,深度摄像模组包含的两个个体摄像头分别为摄像头一,摄像头二。拍摄的动作是摄像头一,摄像头二同时进行的。由于摄像头一与摄像头二分别放置在眼镜两侧对称的位置,其扫描过程类似于人眼“看”这一动作,众所周知,人的左右眼是具有视差的,所以在扫描过程中,摄像头一和摄像头二扫描得出图像也是具有视差差别的。
其中,视差是从有一定距离的两个点上观察同一个目标所产生的方向差异。
步骤204:数据信息处理器根据视差算法,对视图一和视图二进行数据处理得到视图三。
具体的,数据信息处理器中的GPU获取视图一和视图二,CPU从EMMC中拷贝视差图像处理算法至DDR,同时GPU也将视图一和视图二发送至DDR。DDR根据算法对视图一和视图二进行数据处理,整合得到视图三。
其中,步骤204中的视差算法通过TOF(Time of flight,飞行时间测距法)实现。
步骤205:数据信息处理器根据视图三得到建筑三维点云数据集合。
与步骤203同时的,步骤206:摄像头一和摄像头二对建筑进行多角度扫描,得到扫描结果。
其中,扫描结果为一个三维坐标数据集合,建筑的中心点为三维坐标的零点。
步骤207:根据扫描结果,进行数据整合,得到建筑三维测量数据。
其中,数据整合这一动作是数据信息处理器中的CPU进行的。
步骤208:数据信息处理器根据三维重构算法模型得到建筑三维数据模型。
具体的,本实施例中三维重构算法模型具体使用LoG-PTAMM算法。图4为本发明实施例二中使用的LoG-PTAMM算法的流程图,需要说明的是,本发明实施例二仅以LoG-PTAMM算法为例对本发明方案进行说明,并不局限于LoG-PTAMM算法,也可以是与此算法能够达到相同目的的其他算法,如图所示:
步骤401:对三维测量数据依据三维坐标进行数据建立,得到初始物体。
步骤402:对初始物体进行跟踪线程数据处理,得到跟踪线程数据结果。具体的,图5为本发明实施例二中使用的跟踪线程数据处理过程的流程图,如图所示:
步骤501:等待初始地图构建与新关键帧到来。
步骤502:使用算法中的优化模型构建基于LoG变换的图像金字塔。
步骤503:对图像金字塔每一层检测FAST特征点。
步骤504:将地图点投影至图像坐标系。
步骤505:调用基于AFAS和ASL的补丁匹配方法获取匹配的特征点集。
步骤506:计算并更新摄头姿态。
步骤507:判断摄头姿态是否符合关键帧生成标准,若符合执行步骤509,否则执行步骤508。
步骤508:重新定位摄头姿态,或者切换物体。
步骤509:将当前帧提供给建图线程构建关键帧,并从步骤501开始新一轮循环。
步骤403:对初始物体进行建图线程数据处理,得到建图线程数据结果。
图6为本发明实施例二中使用的建图线程数据处理过程的流程图,如图所示:
步骤601:从摄像头一和摄像头二的视角执行立体匹配建立初始物体图。
步骤602:等待跟踪线程激活或者建立另一个物体图。
步骤603:判断跟踪线程发送的候选关键帧是否被接收,若没有接收执行步骤604,否则执行步骤607。
步骤604:更新现有的数据关联。
步骤605:从关键帧序列中相邻2个视角中计算新的三维物体图点。
步骤606:使用LoG优化模型的重定位方法生成Ils。
步骤607:处理器判断重投影误差是全局收敛还是局部收敛,若是局部收敛步骤608,否则执行步骤609。
步骤608:执行局部捆绑调整,之后执行步骤602。
步骤609:执行全局捆绑调整,之后执行步骤602。
步骤404:线程数据结果和建图线程数据结果进行整合,得到三维数据模型。
步骤209:数据信息处理器中的DDR对建筑三维点云数据集合和建筑三维数据模型进行数据匹配,得到匹配结果。
具体的,数据匹配根据三维坐标进行。
步骤210、DDR根据匹配结果进行数据复合得到建筑重建模型并发送给CPU。
CPU从EMMC中拷贝视差图像处理算法至DDR
步骤211:CPU将收到的建筑重建模型实时在镜片上进行显示。
具体的,建筑重建模型可以在电子屏幕上进行显示,也可以投影在幕布上、甚至于投影在人的视网膜上进行显示。
本发明技术方案提供了一种基于深度摄像模组的三维重建方法,通过一组含有两个个体摄像头的深度摄像模组同时获取建筑物的特征,分别拍摄视图一和视图二。数据信息处理器根据建筑特征设置参考点,并根据视差算法对视图一和视图二进行数据处理得到视图三。数据信息处理器对视图三进行数据处理最终生成建筑重建模型并进行实时显示。解决了现有技术中无法高效,实时的获取建筑复原模型的问题。
本发明技术方案还提供了一种基于深度摄像模组的三维重建装置,包含至少一组深度摄像模组,一组深度摄像模组含有至少两个图形获取装置。图7为本发明实施例三提供的一种基于深度摄像模组的三维重建装置的结构示意图,如图所示:
三维点云数据集合获取单元71:用于至少一组深度摄像模组同时获取被摄物体的参考点信息,根据参考点信息对被摄物体进行拍摄获取被摄物体信息,对被摄物体信息进行数据处理得到被摄物体的三维点云数据集合。
三维数据模型获取单元72,用于与至少一组深度摄像模组分别对应的处理器获取所述被摄物体的三维测量数据,并对三维测量数据进行数据处理得到被摄物体的三维数据模型。
重建模型获取单元73,用于将三维点云数据集合获取单元71获取的三维点云数据集合和三维数据模型获取单元72获取的三维数据模型进行数据复合得到被摄物体的贴图点云重建模型。
显示单元74,用于,实时显示重建模型获取单元73获取的贴图点云重建模型。
如图8所示,在三维点云数据集合获取单元71,之前,包括:
基线确定单元81,用于选取被摄物体,根据被摄物体的特征确定基线长度。
设置单元82,用于根据基线确定单元81确定的基线长度设置被摄物体参考点,根据参考点对被摄物体进行拍摄,得到拍摄结果,所述拍摄结果为所述参考点信息。
其中,被摄物体的特征是在选取被摄物体时获取的。
如图9所示,三维数据模型获取单元72,包括:
初始物体建立模块91,用于对被摄物体的三维测量数据进行数据建立,得到与其对应的初始物体。
三维数据模型模块92,用于对初始物体建立模块91建立得到的初始物体进行持续数据跟踪,从而得到被摄物体的三维数据模型。
如图10所示,三维数据模型模块92,包括:
跟踪线程模块1001,用于对初始物体建立模块91建立得到的初始物体进行跟踪线程数据处理,得到跟踪线程数据结果。
建图线程模块1002,用于与跟踪线程模块1001同时对初始物体建立模块91建立得到的初始物体进行建图线程数据处理,得到建图线程数据结果。
模型整合模块1003,用于对所述跟踪线程模块1001跟踪得到的跟踪线程数据结果和建图线程模块1002建图得到的建图线程数据结果进行模型整合,得到被摄物体的三维数据模型。
如图11所示,重建模型获取单元73,包括:
匹配模块1101,用于将三维点云数据集合获取单元71获取的三维点云数据集合与所述三维数据模型获取单元72获取的三维数据模型进行匹配,得到匹配结果。
数据对应模块1102,用于根据匹配模块1101得到的匹配结果,将三维点云数据集合与三维数据模型进行数据对应,得到对应结果。
数据贴合模块1103,用于根据数据对应模块1102得到的对应结果,将三维点云数据集合中的数据贴合在三维数据模型上,得到被摄物体的贴图点云重建模型。
综上所述,本发明实施例还提供了一种基于深度摄像模组的三维重建装置。
三维点云数据集合获取单元通过深度摄像模组对被摄物体进行拍摄,得到被摄物体信息,根据此信息进一步得到与被摄物对应的三维点云数据集合。三维数据模型获取单元通过与深度摄像模组对应的处理器获取所述被摄物体的三维测量数据,并对其进行数据处理得到相应的三维数据模型。进一步的,重建模型获取单元将三维点云数据集合与三维数据模型进行数据复合得到被摄物体的贴图点云重建模型,之后显示单元对此贴图点云重建模型进行实时显示。解决了现有技术中无法高效,实时的获取建筑复原模型的问题。
在本发明提供的技术方案中,深度摄像模组可以是仅仅获取图像的摄头,也可是装有红外线装置的红外线摄头,还可以是装有其他辅助装置的图像获取装置。在获取建筑复原模型后,由使用者决定是否将此模型上传至云端数据库或者仅储存在本地。上传至云端数据库这一动作的传输方式,可以是无线传输也可以是有线传输。本发明提供的技术方案可以应用于HMD(Head Mount Display,头戴式显示设备),例如:VR设备(VirtualReality,虚拟现实)、AR(Augmented Reality,增强现实)设备、MR(Mixed Reality,混合现实)设备等,但对于HMD的数量不做限制。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于深度摄像模组的三维重建方法,其特征在于,所述方法包括:
至少一组深度摄像模组同时获取被摄物体的参考点信息,根据所述参考点信息对所述被摄物体进行拍摄,获取被摄物体信息,对所述被摄物体信息进行数据处理得到所述被摄物体的三维点云数据集合;
与所述至少一组深度摄像模组分别对应的处理器获取所述被摄物体的三维测量数据,并对所述三维测量数据进行数据处理得到所述被摄物体的三维数据模型;
所述处理器将所述三维点云数据集合和所述三维数据模型进行数据复合得到所述被摄物体的贴图点云重建模型,并将所述贴图点云重建模型同时进行显示;
其中,所述一组深度摄像模组含有至少两个图像获取装置。
2.根据权利要求1所述的方法,其特征在于,所述至少一组深度摄像模组同时获取被摄物体的参考点信息,根据所述参考点信息对所述被摄物体进行拍摄,获取被摄物体信息,对所述被摄物体信息进行数据处理得到所述被摄物体的三维点云数据集合,之前包括:
选取被摄物体,根据所述被摄物体的特征确定基线长度;
根据所述基线长度设置所述被摄物体的参考点,根据所述参考点对所述被摄物体进行拍摄,得到拍摄结果,所述拍摄结果为所述参考点信息;
其中,所述被摄物体的特征是在选取被摄物体时获取的。
3.根据权利要求1所述的方法,其特征在于,所述与所述至少一组深度摄像模组分别对应的处理器获取所述被摄物体的三维测量数据,并对所述三维测量数据进行数据处理得到所述被摄物体的三维数据模型,包括:
对所述三维测量数据进行数据建立,得到所述被摄物体的初始物体;
对所述初始物体进行持续数据跟踪,得到所述三维数据模型。
4.根据权利要求3所述的方法,其特征在于,所述对所述初始物体进行持续数据跟踪,得到所述三维数据模型,包括:
对所述初始物体进行跟踪线程数据处理,得到跟踪线程数据结果;
同时,对所述初始物体进行建图线程数据处理,得到建图线程数据结果;
将所述线程数据结果和所述建图线程数据结果进行整合,得到所述三维数据模型。
5.根据权利要求1所述的方法,其特征在于,所述处理器将所述三维点云数据集合和所述三维数据模型进行数据复合得到所述被摄物体的贴图点云重建模型,并将所述贴图点云重建模型同时进行显示,包括:
所述处理器对所述三维点云数据集合与所述三维数据模型进行匹配,得到匹配结果;
所述处理器根据所述匹配结果,将所述三维点云数据集合与所述三维数据模型进行数据对应,得到对应结果;
所述处理器根据所述对应结果,将所述三维点云数据集合中的数据贴合在所述三维数据模型上,得到所述被摄物体的贴图点云重建模型;
所述处理器将得到的所述贴图点云重建模型同时进行显示。
6.一种基于深度摄像模组的三维重建装置,其特征在于,所述装置包括:
三维点云数据集合获取单元,用于至少一组深度摄像模组同时获取被摄物体的参考点信息,根据所述参考点信息对所述被摄物体进行拍摄,获取被摄物体信息,对所述被摄物体信息进行数据处理得到所述被摄物体的三维点云数据集合;
三维数据模型获取单元,用于与所述至少一组深度摄像模组分别对应的处理器获取所述被摄物体的三维测量数据,并对所述三维测量数据进行数据处理得到所述被摄物体的三维数据模型;
重建模型获取单元,用于将所述三维点云数据集合获取单元获取的所述三维点云数据集合和所述三维数据模型获取单元获取的所述三维数据模型进行数据复合得到所述被摄物体的贴图点云重建模型;
显示单元,用于,当所述重建模型获取单元获取了贴图点云重建模型,同时在屏幕上对所述贴图点云重建模型进行显示;
其中,所述一组深度摄像模组含有至少两个图像获取装置。
7.根据权利要求6所述的装置,其特征在于,在所述三维点云数据集合获取单元,之前,包括:
基线确定单元,用于选取被摄物体,根据所述被摄物体的特征确定基线长度;
设置单元,用于根据所述基线确定单元确定的所述基线长度设置被摄物体参考点,根据所述参考点对所述被摄物体进行拍摄,得到拍摄结果,所述拍摄结果为所述参考点信息;
其中,所述被摄物体的特征是在选取被摄物体时获取的。
8.根据权利要求6所述的装置,其特征在于,所述三维数据模型获取单元,包括:
初始物体建立模块,用于对所述被摄物体的三维测量数据进行数据建立,得到所述被摄物体的初始物体;
三维数据模型模块,用于对所述初始物体建立模块建立得到的所述初始物体进行持续数据跟踪,从而得到所述被摄物体的三维数据模型。
9.根据权利要求8所述的装置,其特征在于,所述三维数据模型模块,包括:
跟踪线程模块,用于对所述被摄物体的初始物体进行跟踪线程数据处理,得到跟踪线程数据结果;
建图线程模块,用于与所述跟踪线程模块同时对所述初始物体进行建图线程数据处理,得到建图线程数据结果;
模型整合模块,用于将所述跟踪线程模块跟踪得到的跟踪线程数据结果和所述建图线程模块建图得到的所述建图线程数据结果进行模型整合,得到所述被摄物体的三维数据模型。
10.根据权利要求6所述的装置,其特征在于,所述重建模型获取单元,包括:
匹配模块,用于对所述三维点云数据集合获取单元获取的所述三维点云数据集合与所述三维数据模型获取单元获取的所述三维数据模型进行匹配,得到匹配结果;
数据对应模块,用于根据所述匹配模块得到的所述匹配结果,将所述三维点云数据集合与所述三维数据模型进行数据对应,得到对应结果;
数据贴合模块,用于根据所述数据对应模块得到的所述对应结果,将所述三维点云数据集合中的数据贴合在所述三维数据模型上,得到所述被摄物体的贴图点云重建模型。
CN201710548653.7A 2017-07-06 2017-07-06 一种基于深度摄像模组的三维重建方法及装置 Pending CN109215109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710548653.7A CN109215109A (zh) 2017-07-06 2017-07-06 一种基于深度摄像模组的三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710548653.7A CN109215109A (zh) 2017-07-06 2017-07-06 一种基于深度摄像模组的三维重建方法及装置

Publications (1)

Publication Number Publication Date
CN109215109A true CN109215109A (zh) 2019-01-15

Family

ID=64991000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710548653.7A Pending CN109215109A (zh) 2017-07-06 2017-07-06 一种基于深度摄像模组的三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN109215109A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058211A (zh) * 2019-03-21 2019-07-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104282041A (zh) * 2014-09-30 2015-01-14 小米科技有限责任公司 三维建模方法及装置
CN106204727A (zh) * 2016-07-11 2016-12-07 北京大学深圳研究生院 一种足部三维扫描重建的方法及装置
CN106683068A (zh) * 2015-11-04 2017-05-17 北京文博远大数字技术有限公司 一种三维数字化图像采集方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104282041A (zh) * 2014-09-30 2015-01-14 小米科技有限责任公司 三维建模方法及装置
CN106683068A (zh) * 2015-11-04 2017-05-17 北京文博远大数字技术有限公司 一种三维数字化图像采集方法及设备
CN106204727A (zh) * 2016-07-11 2016-12-07 北京大学深圳研究生院 一种足部三维扫描重建的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058211A (zh) * 2019-03-21 2019-07-26 北京申信达成科技有限公司 一种车载LiDAR测量系统检校初值的获取方法及装置
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置

Similar Documents

Publication Publication Date Title
US10977862B2 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
US6434278B1 (en) Generating three-dimensional models of objects defined by two-dimensional image data
Grün et al. Photogrammetric reconstruction of the great Buddha of Bamiyan, Afghanistan
WO2019219013A1 (zh) 联合优化人体体态与外观模型的三维重建方法及系统
CN107247834B (zh) 一种基于图像识别的三维环境模型重构方法、设备及系统
Bernardini et al. Building a digital model of Michelangelo's Florentine Pieta
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN109285215A (zh) 一种人体三维模型重建方法、装置和存储介质
CN110163903A (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
US20160125638A1 (en) Automated Texturing Mapping and Animation from Images
CN109461208A (zh) 三维地图处理方法、装置、介质和计算设备
CN107705355A (zh) 一种基于多张图片的3d人体建模方法及装置
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN108898661A (zh) 三维图像构建的方法、装置及具有存储功能的装置
CN108225328A (zh) 一种室内三维数据采集方法
CN110428501A (zh) 全景影像生成方法、装置、电子设备及可读存储介质
CN106780573A (zh) 一种全景图特征匹配精度优化的方法及系统
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN109215109A (zh) 一种基于深度摄像模组的三维重建方法及装置
CN112513713B (zh) 用于地图构建的系统和方法
CN207587003U (zh) 一种基于深度摄像模组的三维重建装置
Gabellone et al. A quick method for the texture mapping of meshes acquired by laser scanner
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN115100257A (zh) 套管对准方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190115