CN110070607A - 三维重建系统以及方法 - Google Patents

三维重建系统以及方法 Download PDF

Info

Publication number
CN110070607A
CN110070607A CN201910260415.5A CN201910260415A CN110070607A CN 110070607 A CN110070607 A CN 110070607A CN 201910260415 A CN201910260415 A CN 201910260415A CN 110070607 A CN110070607 A CN 110070607A
Authority
CN
China
Prior art keywords
cloud
wide range
image
phase machine
photographing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910260415.5A
Other languages
English (en)
Inventor
周予立
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201910260415.5A priority Critical patent/CN110070607A/zh
Publication of CN110070607A publication Critical patent/CN110070607A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维重建系统以及方法，系统包括主相机，主相机包括用于共同采集大范围图像的可拆卸摄像模块和固定摄像装置，可拆卸摄像模块可从主相机中分离出来并可单独采集细节图像；其中，可拆卸摄像模块包括主处理单元，主处理单元用于获取并根据大范围图像与细节图像进行三维重建，在需要对整体空间大致重建的情况，可利用主相机的可拆卸摄像模块和固定摄像装置共同采集大范围图像，当要对小物件连续扫描时，可以直接将可拆卸摄像模块从主相机中分离出来使用，单独利用可拆卸摄像模块采集细节图像，最后再由可拆卸摄像模块中的主处理单元根据大范围图像与细节图像进行三维重建，如此在正常室内扫描后，利用可拆卸摄像模块扫描细节、填补漏洞。

Description

三维重建系统以及方法
技术领域
本发明涉及三维重建领域，尤其涉及一种三维重建系统以及方法。
背景技术
一般情况下，三维重建中对细节的恢复程度依赖于点云密度和深度值估计的精度。点云密度主要依赖于两帧间的重叠程度。一般情况下，深度值估计的精度与物体到采集设备的距离成反比，即距离越远精度越低误差越大。目前的室内三维重建方案由于高度固定、设备便利性等原因无法在对整体空间大致重建的情况下同时对桌面、书架、杯子等细节进行很好的恢复。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种三维重建系统以及方法。
本发明解决其技术问题所采用的技术方案是：构造一种三维重建系统，包括主相机，所述主相机包括用于共同采集大范围图像的可拆卸摄像模块和固定摄像装置，所述可拆卸摄像模块可从所述主相机中分离出来并可单独采集细节图像；
其中，所述可拆卸摄像模块包括主处理单元，所述主处理单元用于获取并根据所述大范围图像与所述细节图像进行三维重建。
优选地，所述主相机包括与所述固定摄像装置连接的第一通讯模块；所述可拆卸摄像模块包括所述主处理单元以及所述主处理单元连接的摄像头、电池以及第二通讯模块，所述电池用于给所述可拆卸摄像模块供电，所述第二通讯模块用于与所述第一通讯模块建立通讯连接，当所述第二通讯模块与所述第一通讯模块建立通讯连接后，所述主处理单元可对所述固定摄像装置与所述摄像头进行控制以获取所述大范围图像。
优选地，所述第一通讯模块与所述第二通讯模块为相互匹配的一对无线通讯模块和/或一对有线通讯接口，所述可拆卸摄像模块组装回到所述主相机中时，所述一对有线通讯接口相互配合。
优选地，所述系统还包括支架以及安装于所述支架上的转台，所述主相机安装于所述转台上，所述转台可绕所述支架转动以带动所述主相机绕所述支架旋转，进而采集所述大范围图像；
所述主相机还包括电机驱动模块和供电模块，所述供电模块用于给所述主相机供电，所述电机驱动模块与所述第一通讯模块连接，当所述第二通讯模块与所述第一通讯模块建立通讯连接后，所述电机驱动模块可在所述主处理单元的控制下驱动所述转台转动。
优选地，所述的根据所述大范围图像与所述细节图像进行三维重建包括：将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云；将选取的各细节图像转换为点云，拼接所有点云后得到局部点云；将所有的局部点云融合到大范围点云中。
本发明另一方面还构造了一种基于前述系统的三维重建方法，方法包括：
主处理单元获取所述可拆卸摄像模块和固定摄像装置采集的大范围图像；以及，主处理单元获取从所述主相机中分离出来的可拆卸摄像模块单独采集的细节图像；
主处理单元根据所述大范围图像与所述细节图像进行三维重建。
优选地，所述的根据所述大范围图像与所述细节图像进行三维重建，包括：
将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云；
将选取的各细节图像转换为点云，拼接所有点云后得到局部点云；
将所有的局部点云融合到大范围点云中。
优选地，所述的将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云，包括：
将单圈扫描到的各大范围图像进行预处理；
将预处理后的图像转换成点云；
估计相邻朝向的点云的位姿并进行位姿优化；
根据所有相邻朝向的点云的位姿，拼接所有相邻朝向的点云以得到单圈扫描对应的大范围点云。
优选地，所述的将选取的各细节图像转换为点云，拼接所有点云后得到局部点云，包括：
从连续拍摄的细节图像中，按照一定的拍摄时间间隔选取多个关键帧；
对关键帧进行预处理；
将预处理后的关键帧转换成点云，并进行下采样以降低点云密度；
估计相邻关键帧的点云的位姿；
针对每一个关键帧，判断是否存在回环，如果存在回环，则建立相应优化约束；
将所有的相邻关键帧的位姿进行优化；
根据所有相邻关键帧的点云的位姿，拼接所有相邻关键帧的点云以得到所述局部点云。
优选地，所述的将所有的局部点云融合到大范围点云中，包括：
对于每一个局部点云，获取其与所述大范围点云的初始位姿；
基于所述初始位姿重新估计局部点云与所述大范围点云的精确位姿，并根据所述精确位姿将局部点云拼接到所述大范围点云中；
对拼接区域进行下采样以降低点云密度。
本发明的三维重建系统以及方法，具有以下有益效果：在需要对整体空间大致重建的情况，可以利用主相机的可拆卸摄像模块和固定摄像装置共同采集大范围图像，当需要对小物件连续扫描时，可以直接将可拆卸摄像模块从主相机中分离出来使用，单独利用可拆卸摄像模块采集细节图像，最后再由可拆卸摄像模块中的主处理单元根据所述大范围图像与所述细节图像进行三维重建，如此在正常室内扫描后，利用可拆卸摄像模块扫描细节、填补漏洞。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图：
图1是本发明一实施例中的三维重建系统的电路原理图；
图2是本发明另一实施例中的三维重建系统的电路原理图；
图3是本发明一实施例中的三维重建方法的流程图；
图4是根据大范围图像与细节图像进行三维重建的主要流程图；
图5是图4中步骤S201的详细流程图；
图6是图4中步骤S202的详细流程图；
图7是图4中步骤S203的详细流程图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本说明书中使用的“第一”、“第二”等包含序数的术语可用于说明各种构成要素，但是这些构成要素不受这些术语的限定。使用这些术语的目的仅在于将一个构成要素区别于其他构成要素。例如，在不脱离本发明的权利范围的前提下，第一构成要素可被命名为第二构成要素，类似地，第二构成要素也可以被命名为第一构成要素。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明总的思路是：构造一种三维重建系统以及方法，系统包括主相机，所述主相机包括用于共同采集大范围图像的可拆卸摄像模块和固定摄像装置，所述可拆卸摄像模块可从所述主相机中分离出来并可单独采集细节图像；其中，所述可拆卸摄像模块包括主处理单元，所述主处理单元用于获取并根据所述大范围图像与所述细节图像进行三维重建。如此，在需要对整体空间大致重建的情况，可以利用主相机的可拆卸摄像模块和固定摄像装置共同采集大范围图像，当需要对小物件连续扫描时，可以直接将可拆卸摄像模块从主相机中分离出来使用，单独利用可拆卸摄像模块采集细节图像，最后再由可拆卸摄像模块中的主处理单元根据所述大范围图像与所述细节图像进行三维重建，如此在正常室内扫描后，利用可拆卸摄像模块扫描细节、填补漏洞。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
参考图1，本发明实施例的三维重建系统包括主相机，所述主相机包括用于共同采集大范围图像的可拆卸摄像模块和固定摄像装置，所述可拆卸摄像模块可从所述主相机中分离出来并可单独采集细节图像。
其中，固定摄像装置可以包括一个或者多个固定摄像头。本实施例中优选为两个固定摄像头。
本实施例中，所述系统还包括支架以及安装于所述支架上的转台，所述主相机安装于所述转台上，所述转台可绕所述支架转动以带动所述主相机绕所述支架进行360°旋转，进而采集单圈的大范围图像。
相应的，所述主相机还包括：电机驱动模块、与所述固定摄像装置连接的第一通讯模块、供电模块，所述供电模块用于给所述主相机供电，所述电机驱动模块与所述第一通讯模块连接。
具体的，所述可拆卸摄像模块包括：主处理单元、摄像头、电池以及第二通讯模块，摄像头以及第二通讯模块分别与主处理单元连接。
其中，所述电池用于在可拆卸摄像模块分离出来后单独给所述可拆卸摄像模块供电。当然，在可拆卸摄像模块组装回到从主相机中时，也可以利用主相机中的供电模块为可拆卸摄像模块进行供电，参考图2，此时需要在主相机中设计供电接口，并同时在可拆卸摄像模块中设计相应的取电接口，然后利用供电接口与取电接口对接实现供电。当然，供电接口和第一通讯模块还可以集成设计成一个接头。同理，取电接口可以与第二通讯模块集成设计成一个接头。
所述第二通讯模块用于与所述第一通讯模块建立通讯连接，第一通讯模块与所述第二通讯模块主要是实现主处理单元对电机驱动模块的控制，以及对固定摄像头的控制和数据获取。当然，第一、第二通讯模块两者也可同时各自拆分成两个通讯模块，其中一个通讯模块负责实现主处理单元对电机驱动模块的控制，另一个通讯模块负责实现主处理单元对固定摄像头的控制和数据获取。
具体的，所述第一通讯模块与所述第二通讯模块为相互匹配的一对无线通讯模块和/或一对有线通讯接口。其中，无线通讯模块可以采用但不限于WiFi。所述可拆卸摄像模块组装回到所述主相机时，所述一对有线通讯接口相互配合，有线通讯接口可以采用但不限于USB接口。
当可拆卸摄像模块组装回到主相机中时，在所述第二通讯模块与所述第一通讯模块建立通讯连接后：一方面，所述电机驱动模块可在所述主处理单元的控制下驱动所述转台转动；另一方面，所述主处理单元可对所述固定摄像装置与所述摄像头同时进行控制以获取所述大范围图像。
当可拆卸摄像模块从主相机中分离出来后，主处理单元可以控制摄像头工作以采集细节图片。
主处理单元在获取所述大范围图像与所述细节图像之后，再根据所述大范围图像与所述细节图像进行三维重建。
另外，整个系统由控制端控制，为此，可拆卸摄像模块中需要设置与控制端通讯的无线通讯模块，该无线通讯模块也可以是与主相机中的第一通讯模块无线通讯的模块。
本实施例中的主处理单元设置在可拆卸摄像模块中，承担主要的数据处理和数据存储功能，可以独立地处理数据和融合图像。可拆卸摄像模块除了包含主处理单元外，还包含承担单独摄像需要的必要功能，如数据采集、数据记录或传输、子电池等。本实施例在拍摄时首先使用主相机进行拍摄获取大范围图片，对需要细化的部分或主相机无法拍摄到的部分(高处、床下、遮挡物)利用可拆卸摄像模块进行拍摄获取细节图片。由于可拆卸摄像模块本身具备数据处理的能力，在拍摄过程中，可以自动对主相机和可拆卸摄像模块分别拍摄的图像进行处理，不需要等到细节图像完成后再进行数据的传输和整合处理，节省了操作步骤和时间。可拆卸摄像模块单独具备数据处理功能也使得其单独拍摄的细节图像可以更加清晰，对提高整体的三维图像采集质量有较大的帮助。
本实施例中，主处理单元根据所述大范围图像与所述细节图像进行三维重建，包括如下三个步骤：
1)将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云。该步骤具体如下：
将单圈扫描到的各大范围图像进行预处理，本实施例中，图像具体为RGBD图像，RGBD图像本身包含深度信息。预处理包括裁剪和滤波等。
将预处理后的图像转换成点云；
利用ICP估计相邻朝向的点云的位姿并进行位姿优化；
根据所有相邻朝向的点云的位姿，拼接所有相邻朝向的点云以得到单圈扫描对应的大范围点云。
2)将选取的各细节图像转换为点云，拼接所有点云后得到局部点云。该步骤具体包括：
从连续拍摄的细节图像中，按照一定的拍摄时间间隔选取多个关键帧，比如一共拍摄了100帧，可以选取第1、3、5、7等作为关键帧。
对关键帧进行预处理，包括裁剪和滤波等。
将预处理后的关键帧转换成点云，并进行下采样以降低点云密度；
利用ICP估计相邻关键帧的点云的位姿；
针对每一个关键帧，判断是否存在回环，如果存在回环，则建立相应优化约束。判断是否存在回环具体如下：比较每个关键帧的特征点，如果某两个关键帧的特征点相似度符合要求，则认为该两个关键帧是同一帧，也即存在回环。比如说，假设有现在有1-6号关键帧，假如通过比较特征点发现6号关键帧与1号关键帧是同一帧，则丢掉6号关键帧，同时建立回环的优化约束条件是1号关键帧替代6号关键帧与5号关键帧拼接。
将所有的相邻关键帧的位姿进行优化；
根据所有相邻关键帧的点云的位姿，拼接所有相邻关键帧的点云以得到所述局部点云。
另外，在其他方式中，也可以不利用点云拼接方式得到局部点云，而是利用特征点先拼接细节图像，然后将拼接后的图像转换为点云，即可得到局部点云。
3)将所有的局部点云融合到大范围点云中，具体包括：
对于每一个局部点云，获取其与所述大范围点云的初始位姿，初始位姿的获取方式，可以是用户在控制端手动设置，也可以是可以利用特征点得到。
基于所述初始位姿重新估计局部点云与所述大范围点云的精确位姿(即进行精配准)，并根据所述精确位姿将局部点云拼接到所述大范围点云中；
对拼接区域进行下采样以降低点云密度。
另外，需要说明的是，上述步骤1)-3)，可以在拍摄过程中同步执行，也可以等数据全部获取并全部存储下来之后，再调用存储的图片执行上述步骤1)-3)。
上述步骤1)-3)中，提到的位姿实际上是指的两个点云之间的变换关系，比如转换矩阵。求两个点云之间的转换矩阵，比如旋转平移矩阵(rigid transform or euclideantransform刚性变换或欧式变换)，也称之为点云配准过程。基于旋转平移矩阵，可以将源点云(source cloud)变换到目标点云(target cloud)相同的坐标系下。可以表示为以下方程：pt＝R·ps+T。其中，p_{t}、p_{s}就是目标点云与源点云中的一对对应点，我们要求的就是其中的R与T组成的旋转平移矩阵。
配准分为粗配准和精配准两步。粗配准就是在两个点云差距非常远或者完全不知道相对位置关系的情况下，先通过某种方式找到一个大致的运动关系，即一个近似的变换矩阵。精配准则是在已知一个变换初始值(即已知初始位姿)的情况下(可能由粗配准获得)，进一步计算得到更加精确的变换矩阵。
常用的精配准算法选择一般为ICP算法及其变种。ICP(Iterative Closest Point迭代最近点)算法由Besl and McKay 1992,Method for registration of 3-D shapes文章提出。常见的变种算法不仅考虑了点集与点集之间的配准，还有点集到模型、模型到模型的配准等。ICP算法的核心是最小化目标函数：
就是一对对应点，总共有Np对对应点。这个目标函数实际上就是所有对应点之间的欧式距离的平方和。算法的流程大致是：a)寻找最近点。在有变换初始值(即已知初始位姿)的情况下，用变换初始值对源点云进行变换，得到的一个变换后的点云，然后将这个变换后的点云与目标点云进行比较，只要两个点云中存在距离小于一定阈值，我们就认为这两个点就是对应点；b)进行位姿优化。对于找到的最近点对，估计位姿，然后采用最小二乘法进行非线性数值优化；c)迭代。优化过的位姿变换导致了a)步骤中最近点的匹配发生了变化，因此需要回到a)步骤重新寻找点对再进行一次位姿优化。整个算法就不断迭代，直到目标函数达到某个条件阈值。
另外，精配准的算法在给定初始值相对准确的情况下，能收敛到一个接近全局最小值的局部极小值中。但如果给定初始值不准确时，则可能陷入一个离全局最小值相差很远的局部最小当中。尤其在不知道两个点云位置关系的时候，我们不容易确定这个初始值。粗配准的目的即是计算出这个初始值。一般来说，我们可以采用常见的搜索策略，如RANSAC或4Point Congruent等方法。我们也可以参考二维图像匹配中使用的特征点方法，将其推广到三维问题中，寻找和匹配三维特征点来计算初始位姿。此类方法包括PFH,FPFH,VFH等。此外，我们也可以利用深度学习或其他几何方法，对点云本身进行高层次的语义理解，用点云的语义分割结果来实现。此类方法包括能够对稀疏点云直接处理的PointNet及其衍生算法。
考虑到本系统的产品特征，对于将细节点云配准到大范围点云的配准过程中，如果选取的粗配准算法不能得到有效的初始值时，系统的主处理单元可以提示用户在控制端手动旋转、平移相关点云进行大致配准，系统再将其结果作为粗配准的结果输入到精配准步骤当中，从而实现比较精确的点云配准。
另外需要说明的是，在图片采集的顺序上，既可以是先采集大范围图像后采集细节图像，也可以反过来，先采集细节图像后采集大范围图像。
基于同一发明构思，本发明还提供一种三维重建方法，基于上述系统实施例实现。参考图3，一个具体实施例中，所述方法包括：
S100、主处理单元获取所述可拆卸摄像模块和固定摄像装置采集的大范围图像；以及，主处理单元获取从所述主相机中分离出来的可拆卸摄像模块单独采集的细节图像；
同理，在图片采集的顺序上，既可以是先采集大范围图像后采集细节图像，也可以反过来，先采集细节图像后采集大范围图像。所以该步骤中的“以及”实际上包括前面提到的两种情形。
获取大范围图像时，需要将可拆卸摄像模块组装回到主相机中，获取细节图片时，需要将可拆卸摄像模块从主相机中分离出来。
S200、主处理单元根据所述大范围图像与所述细节图像进行三维重建。
参考图4，具体的，步骤S200中所述的根据所述大范围图像与所述细节图像进行三维重建，包括：
S201、将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云；
S202、将选取的各细节图像转换为点云，拼接所有点云后得到局部点云；
S203、将所有的局部点云融合到大范围点云中。
参考图5，更具体的，步骤S201具体包括：
S2011)将单圈扫描到的各大范围图像进行预处理，本实施例中，图像具体为RGBD图像，其本身包含深度信息。预处理包括裁剪和滤波等。
S2012)将预处理后的图像转换成点云；
S2013)利用ICP估计相邻朝向的点云的位姿并进行位姿优化；
S2014)根据所有相邻朝向的点云的位姿，拼接所有相邻朝向的点云以得到单圈扫描对应的大范围点云。
参考图6，更具体的，步骤S202具体包括：
S2021)从连续拍摄的细节图像中，按照一定的拍摄时间间隔选取多个关键帧，比如一共拍摄了100帧，可以选取第1、3、5、7等作为关键帧。
S2022)对关键帧进行预处理，包括裁剪和滤波等。
S2023)将预处理后的关键帧转换成点云，并进行下采样以降低点云密度；
S2024)利用ICP估计相邻关键帧的点云的位姿；
S2025)针对每一个关键帧，判断是否存在回环，如果存在回环，则建立相应优化约束。判断是否存在回环具体如下：比较每个关键帧的特征点，如果某两个关键帧的特征点相似度符合要求，则认为该两个关键帧是同一帧，也即存在回环。比如说，假设有现在有1-6号关键帧，假如通过比较特征点发现6号关键帧与1号关键帧是同一帧，则丢掉6号关键帧，同时建立回环的优化约束条件是1号关键帧替代6号关键帧与5号关键帧拼接。
S2026)将所有的相邻关键帧的位姿进行优化；
S2027)根据所有相邻关键帧的点云的位姿，拼接所有相邻关键帧的点云以得到所述局部点云。
另外，在其他方式中，也可以不利用点云拼接方式得到局部点云，而是利用特征点先拼接细节图像，然后将拼接后的图像转换为点云，即可得到局部点云。
参考图7，更具体的，步骤S203具体包括：
S2031)对于每一个局部点云，获取其与所述大范围点云的初始位姿，初始位姿的获取方式，可以是用户在控制端手动设置，也可以是可以利用特征点得到。
S2032)基于所述初始位姿重新估计局部点云与所述大范围点云的精确位姿(即进行精配准)，并根据所述精确位姿将局部点云拼接到所述大范围点云中；
S2033)对拼接区域进行下采样以降低点云密度。
其他更多内容可以参考上述系统实施例部分，此处不再赘述。
综上所述，本发明的三维重建系统以及方法，具有以下有益效果：在需要对整体空间大致重建的情况，可以利用主相机的可拆卸摄像模块和固定摄像装置共同采集大范围图像，当需要对小物件连续扫描时，可以直接将可拆卸摄像模块从主相机中分离出来使用，单独利用可拆卸摄像模块采集细节图像，最后再由可拆卸摄像模块中的主处理单元根据所述大范围图像与所述细节图像进行三维重建，如此在正常室内扫描后，利用可拆卸摄像模块扫描细节、填补漏洞。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种三维重建系统，其特征在于，包括主相机，所述主相机包括用于共同采集大范围图像的可拆卸摄像模块和固定摄像装置，所述可拆卸摄像模块可从所述主相机中分离出来并可单独采集细节图像；
其中，所述可拆卸摄像模块包括主处理单元，所述主处理单元用于获取并根据所述大范围图像与所述细节图像进行三维重建。
2.根据权利要求1所述的系统，其特征在于，所述主相机包括与所述固定摄像装置连接的第一通讯模块；所述可拆卸摄像模块包括所述主处理单元以及所述主处理单元连接的摄像头、电池以及第二通讯模块，所述电池用于给所述可拆卸摄像模块供电，所述第二通讯模块用于与所述第一通讯模块建立通讯连接，当所述第二通讯模块与所述第一通讯模块建立通讯连接后，所述主处理单元可对所述固定摄像装置与所述摄像头进行控制以获取所述大范围图像。
3.根据权利要求2所述的系统，其特征在于，所述第一通讯模块与所述第二通讯模块为相互匹配的一对无线通讯模块和/或一对有线通讯接口，所述可拆卸摄像模块组装回到所述主相机中时，所述一对有线通讯接口相互配合。
4.根据权利要求2所述的系统，其特征在于，所述系统还包括支架以及安装于所述支架上的转台，所述主相机安装于所述转台上，所述转台可绕所述支架转动以带动所述主相机绕所述支架旋转，进而采集所述大范围图像；
所述主相机还包括电机驱动模块和供电模块，所述供电模块用于给所述主相机供电，所述电机驱动模块与所述第一通讯模块连接，当所述第二通讯模块与所述第一通讯模块建立通讯连接后，所述电机驱动模块可在所述主处理单元的控制下驱动所述转台转动。
5.根据权利要求1所述的系统，其特征在于，所述的根据所述大范围图像与所述细节图像进行三维重建包括：将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云；将选取的各细节图像转换为点云，拼接所有点云后得到局部点云；将所有的局部点云融合到大范围点云中。
6.一种基于权利要求1-5任一项所述系统的三维重建方法，其特征在于，方法包括：
主处理单元获取所述可拆卸摄像模块和固定摄像装置采集的大范围图像；以及，主处理单元获取从所述主相机中分离出来的可拆卸摄像模块单独采集的细节图像；
主处理单元根据所述大范围图像与所述细节图像进行三维重建。
7.根据权利要求6所述的方法，其特征在于，所述的根据所述大范围图像与所述细节图像进行三维重建，包括：
将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云；
将选取的各细节图像转换为点云，拼接所有点云后得到局部点云；
将所有的局部点云融合到大范围点云中。
8.根据权利要求7所述的方法，其特征在于，所述的将选取的单圈扫描到的各大范围图像转换为点云，拼接所有点云后得到单圈扫描对应的大范围点云，包括：
将单圈扫描到的各大范围图像进行预处理；
将预处理后的图像转换成点云；
估计相邻朝向的点云的位姿并进行位姿优化；
根据所有相邻朝向的点云的位姿，拼接所有相邻朝向的点云以得到单圈扫描对应的大范围点云。
9.根据权利要求7所述的方法，其特征在于，所述的将选取的各细节图像转换为点云，拼接所有点云后得到局部点云，包括：
从连续拍摄的细节图像中，按照一定的拍摄时间间隔选取多个关键帧；
对关键帧进行预处理；
将预处理后的关键帧转换成点云，并进行下采样以降低点云密度；
估计相邻关键帧的点云的位姿；
针对每一个关键帧，判断是否存在回环，如果存在回环，则建立相应优化约束；
将所有的相邻关键帧的位姿进行优化；
根据所有相邻关键帧的点云的位姿，拼接所有相邻关键帧的点云以得到所述局部点云。
10.根据权利要求7所述的方法，其特征在于，所述的将所有的局部点云融合到大范围点云中，包括：
对于每一个局部点云，获取其与所述大范围点云的初始位姿；
基于所述初始位姿重新估计局部点云与所述大范围点云的精确位姿，并根据所述精确位姿将局部点云拼接到所述大范围点云中；
对拼接区域进行下采样以降低点云密度。
CN201910260415.5A 2019-04-02 2019-04-02 三维重建系统以及方法 Pending CN110070607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910260415.5A CN110070607A (zh) 2019-04-02 2019-04-02 三维重建系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910260415.5A CN110070607A (zh) 2019-04-02 2019-04-02 三维重建系统以及方法

Publications (1)

Publication Number Publication Date
CN110070607A true CN110070607A (zh) 2019-07-30

Family

ID=67366963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910260415.5A Pending CN110070607A (zh) 2019-04-02 2019-04-02 三维重建系统以及方法

Country Status (1)

Country Link
CN (1) CN110070607A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910493A (zh) * 2019-11-29 2020-03-24 广州极飞科技有限公司 三维重建方法、装置及电子设备
CN111189415A (zh) * 2020-01-10 2020-05-22 华中科技大学鄂州工业技术研究院 一种基于线结构光的多功能三维测量重建系统及方法
CN113409301A (zh) * 2021-07-12 2021-09-17 上海精劢医疗科技有限公司 一种基于点云分割的股骨颈配准方法、系统及介质
CN113554559A (zh) * 2021-06-21 2021-10-26 中国人民解放军空军工程大学 带有多重复杂曲面旋转对称模型的三维重建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN106899783A (zh) * 2015-12-18 2017-06-27 北京大国慧谷科技有限公司 一种全景拍摄装置
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技（北京）有限公司 多深度摄像头紧凑型全景扫描设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
CN106899783A (zh) * 2015-12-18 2017-06-27 北京大国慧谷科技有限公司 一种全景拍摄装置
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技（北京）有限公司 多深度摄像头紧凑型全景扫描设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴浩然等: "基于点云的部件识别和姿态估计方法研究", 《电力与能源》 *
辛冠希: ""基于RGB-D摄像机的同步定位与建图研究"", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910493A (zh) * 2019-11-29 2020-03-24 广州极飞科技有限公司 三维重建方法、装置及电子设备
CN110910493B (zh) * 2019-11-29 2021-05-14 广州极飞科技股份有限公司 三维重建方法、装置及电子设备
CN111189415A (zh) * 2020-01-10 2020-05-22 华中科技大学鄂州工业技术研究院 一种基于线结构光的多功能三维测量重建系统及方法
CN113554559A (zh) * 2021-06-21 2021-10-26 中国人民解放军空军工程大学 带有多重复杂曲面旋转对称模型的三维重建方法及装置
CN113554559B (zh) * 2021-06-21 2023-03-10 中国人民解放军空军工程大学 带有多重复杂曲面旋转对称模型的三维重建方法及装置
CN113409301A (zh) * 2021-07-12 2021-09-17 上海精劢医疗科技有限公司 一种基于点云分割的股骨颈配准方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110070607A (zh) 三维重建系统以及方法
CN113099208B (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
Agin et al. Representation and description of curved objects
CN102737406B (zh) 三维建模装置及方法
EP2026279B1 (en) Method and system for aligning three-dimensional surfaces
CN108344397B (zh) 基于倾斜摄影技术的自动化建模方法、系统及其辅助装置
Nuchter et al. Automatic model refinement for 3D reconstruction with mobile robots
CN102656605B (zh) 图像处理装置、图像处理方法
US20050089213A1 (en) Method and apparatus for three-dimensional modeling via an image mosaic system
CN106910217A (zh) 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
US20110148875A1 (en) Method and apparatus for capturing motion of dynamic object
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN112233056B (zh) 一种多源数据的点云融合方法、装置和存储介质
CN109754459A (zh) 一种用于构建人体三维模型的方法及系统
CN112907737A (zh) 基于隐函数融合的动态人体三维重建方法和装置
Maimone et al. A photo-realistic 3-D mapping system for extreme nuclear environments: Chernobyl
Fleischer et al. Video mosaicking along arbitrary vehicle paths
CN109993828A (zh) 三维重建系统以及方法
CN111612829B (zh) 一种高精度地图的构建方法、系统、终端和存储介质
JP2007323616A (ja) 画像処理装置及びその処理方法
CN111242184A (zh) 图像特征提取模型的训练方法和图像检索方法
Zha et al. Next best viewpoint (NBV) planning for active object modeling based on a learning-by-showing approach
CN114119973A (zh) 一种基于图像语义分割网络的空间距离预测方法及系统
Okatani et al. Reconstructing shape from shading with a point light source at the projection center: Shape reconstruction from an endoscope image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication