CN110910493A - 三维重建方法、装置及电子设备 - Google Patents

三维重建方法、装置及电子设备 Download PDF

Info

Publication number
CN110910493A
CN110910493A CN201911205169.XA CN201911205169A CN110910493A CN 110910493 A CN110910493 A CN 110910493A CN 201911205169 A CN201911205169 A CN 201911205169A CN 110910493 A CN110910493 A CN 110910493A
Authority
CN
China
Prior art keywords
sub
image
dimensional
matching
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911205169.XA
Other languages
English (en)
Other versions
CN110910493B (zh
Inventor
邓杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN201911205169.XA priority Critical patent/CN110910493B/zh
Publication of CN110910493A publication Critical patent/CN110910493A/zh
Application granted granted Critical
Publication of CN110910493B publication Critical patent/CN110910493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种三维重建方法、装置及电子设备。其中，上述三维重建方法包括：依据待重建图像之间的匹配权重，将多张待重建图像划分为多个子图集合；依次基于每一子图集合及对应的目标相机参数进行三维重建，以得到每一子图集合对应的局部三维点云；其中，对应的目标相机参数包括：对与子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；根据每一子图集合对应的局部三维点云，生成目标三维模型。如此，不仅能够避免待重建图像的数量过多时，出现重建失败的问题，还无需预先标定相机参数，在逐个进行三维重建的过载中相机参数也越来越优，确保三维重建的效果。

Description

三维重建方法、装置及电子设备
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种三维重建方法、装置及电子设备。
背景技术
三维重建技术是基于二维图像在计算机中重建出真实物体的三维虚拟模型，并于计算机屏幕上展示的技术。三维重建一直是计算机视觉技术领域中的研究热点。然而，三维重建中需要估计每一张照片的位姿和三维点，不准确的相机参数会影响特征的匹配，从而导致重建效果差。故相关技术中，进行三维重建之前还需要对相机参数进行标定，使得三维重建流程繁琐。此外，三维重建时还需要将所有的图像加载到同一程序进行计算，如此，在面对大规模的照片重建问题时，将会面临计算量大，内存不够的情况，进而导致三维重建失败。
发明内容
有鉴于此，本发明的目的在于提供一种三维重建方法、装置及电子设备。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种三维重建方法，应用于电子设备，所述三维重建方法包括：获取多张待重建图像；依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合；依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
第二方面，本发明实施例提供一种三维重建装置，应用于电子设备，所述三维重建装置包括：
获取模块，用于获取多张待重建图像；
划分模块，用于依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合；
重建模块，用于依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；
合并模块，用于根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。
与现有技术相比，本发明实施例提供的三维重建方法通过先依据获得的多组待重建图像之间的匹配权重，将多张待重建图像划分为多个子图集合，以便依次基于每一个子图集合中的图像进行三维重建，避免待重建图像的数量过多时，出现重建失败的问题。此外，重建过程中，依次基于每一子图集合及对应的目标相机参数进行三维重建，以得到每一子图集合对应的局部三维点云。其中，子图集合中的起始子图集合所用的目标相机参数为预设的初始参数，子图集合中的其他子图集合所用的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数。如此，无需预先标定相机参数，在逐个进行三维重建的过载中相机参数也越来越优，确保三维重建的效果。最后，根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的示意图。
图2示出了本发明实施例提供的三维重建方法的步骤流程图之一。
图3为图2中步骤S103的子步骤流程图之一。
图4为图2中步骤S103的子步骤流程图之二。
图5示出了本发明实施例提供的三维重建方法的步骤流程图之二。
图6示出了本发明实施例提供的三维重建方法的步骤流程图的另一部分。
图7示出了本发明实施例提供的三维重建方法的步骤流程图之三。
图8为图7中步骤S401的子步骤流程图。
图9为图2中步骤S104的子步骤流程图。
图10示出了本发明实施例提供的三维重建装置的示意图。
图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；600-三维重建装置；601-获取模块；602-划分模块；603-重建模块；604-合并模块；605-处理模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
相关技术中，三维重建中需要估计每一张照片的位姿和三维点。通用的方案是采用SfM(structure from motion)。具体地，首先会提取照片的特征，对照片两两之间进行鲁棒匹配，选择两张图片初始化场景，然后根据匹配关系逐个照片计算其在该场景中的位姿和三维点，当所有照片加入场景后用Bundle Adjustment全局优化，使其重投影误差最小。然而，传统的三维重建需要将所有的待重建图像一起进行计算，如此，在面对大规模的待重建图像重建时，将会碍于系统资源有限，导致三维重建失败。此外，不准确的相机参数会影响特征的匹配，从而导致全局优化时难以收敛，造成重建的精度差。即便是提前标定好了相机参数，但是，面对实际的重建任务时，标定好了相机参数依然可能具有一定偏差。
因此，本发明实施例提供了一种三维重建方法、装置及电子设备，旨在解决上述问题。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于个人电脑(personal computer，PC)、服务器、分布式部署的计算机等等。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。
电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口102(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。
总线104可以是ISA总线、PCI总线或EISA总线等。图2中仅用一个双向箭头表示，但并不表示仅有一根总线104或一种类型的总线104。
其中，存储器101用于存储程序，例如图10所示的三维重建装置600。该三维重建装置600包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的三维重建方法。
处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器103，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参考图2，图2示出了本发明实施例提供的一种三维重建方法。上述三维重建方法应用于上述电子设备100。如图2所示，上述三维重建方法包括以下步骤：
步骤S101，获取多张待重建图像。
上述待重建图像可以是采集到的用于三维重建的二维图像。可以理解地，上述待重建图像中可以包括需被重建的真实的目标物体的一部分或者全部，也就是，通过多张待重建图像重建出真实的目标物体的目标三维模型。
在本发明实施例中，获取多张待重建图像的方式可以根据实际场景确定。作为一种实施方式，可以是从已有的图像数据库中获得。作为另一种实施方式，还可以利用采集设备采集获得。
以构建三维地图这一场景为例，可以采用无人机按照预设航线飞行，并在飞行过程中，按照预设采集频率对地面进行图像采集，以得到多张待重建图像，每张待重建图像还可以具有无人机执行图像采集时所属的位置信息。
步骤S102，依据待重建图像之间的匹配权重，将多张待重建图像划分为多个子图集合。
上述匹配权重用于表征两张待重建图像之间的匹配程度。可以理解地，两张待重建图像之间相同的图像对象所占的图像区域越大，则上述两张待重建图像之间的匹配程度越高。
步骤S103，依次基于每一子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云。
上述目标相机参数可以是子图集合中的待重建图像进行三维重建时采用的相机参数。在本发明实施例中，划分出的多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数。划分出的多个子图集合中的其他子图集合对应的目标相机参数为：对与子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数。可以理解地，局部三维点云进行处理后得到的优化参数除了得到优化参数之外还可以得到优化后的局部三维点云模型。
上述起始子图集合可以是随机从多个子图集合中确定出来第一个执行三维重建的子图集合。
上述其他子图集合可以是划分出的多个子图集合中除了起始子图集合之外的子图集合。
在本发明实施例中，上述依次基于每一子图集合及对应的目标相机参数进行三维重建的方式可以包括：
方式一，上述依次基于每一子图集合及对应的目标相机参数进行三维重建的方式可以是：对多个子图集合进行排序，按照排列顺序，依次对每一个子图集合进行三维重建。
方式二，上述依次基于每一子图集合及对应的目标相机参数进行三维重建的方式还可以是：每一轮三维重建时，随机从还未进行过三维重建的子图集合中选出一子图集合作为本轮三维重建的子图集合。
上述与子图集合相邻的上一子图集合可以是：在该子图集合之前进行三维重建的子图集合。比如，在采用方式一实现依次对每一子图集合进行三维重建时，上述与子图集合相邻的上一子图集合可以是：与该子图集合相邻且排列于该子图集合之前的子图集合。再比如，在采用方式二实现依次对每一子图集合进行三维重建时，上述与子图集合相邻的上一子图集合可以是：相邻上一轮进行三维重建时被选中的子图集合。
步骤S104，根据每一子图集合对应的局部三维点云，生成目标三维模型。
在本发明实施例中，将每一个子图集合对应的局部三维点云进行融合，得到目标三维模型。可选地，子图集合对应的局部三维点云可以是利用对应目标相机参数对子图集合中的待重建图像进行三维重建之后又经过全局优化得到的局部三维点云。
在本发明实施例中，上述步骤S102的目的在于：依据待重建图像之间的匹配权重将多张待重建图像划分为多个子图集合，使每个子图集合内的待重建图像之间存在匹配关系，以便能够基于每个子图集合内的图像进行三维重建。再通过步骤S102和步骤S103之间的配合，避免单次三维重建时待重建图像的数量较多，超过电子设备100的系统资源的支持能力，进而避免出现三维重建失败的问题。
在本发明实施例中，上述步骤S103的目的在于：在对子图集合逐个进行三维重建的过程中，逐步优化相机参数，省去单独进行相机标定的步骤。可以理解地，在三维重建后，对三维重建结果进行全局优化处理而生成的相机参数优于本次三维重建所用的相机参数。基于这一原理，在首个进行三维重建的初始子图集合利用初始参数进行三维重建之后，其他子图集合三维重建时所用的目标相机参数都是对相邻上一个子图集合重建得到的局部三维点云进行全局优化处理后生成的优化参数。如此，随着被重建的子图集合的增加，得到的相机参数更准确，三维重建质量越好。
在本发明实施例中，上述步骤S104的目的在于：将各个对子图集合对应的局部三维点云合并，得到最终所需的呈现的目标三维模型。
下面对本方案实现的具体过程和细节进行介绍。
在一些实施例中，每一个子图集合对应的目标相机参数不同。
比如，起始子图集合对应的目标相机参数为预设的初始参数，而其他子图集合对应的目标相机参数却不再是初始参数。因此，本发明实施例中，如图3所示，上述步骤S103可以包括以下子步骤：
子步骤S103-1，判断子图集合是否为起始子图集合。
在一些实施例中，可以是通过检测该子图集合是否为划分子图集合后第一个被执行三维重建的集合，以判定其是否为起始子图集合。在起始子图集合之外的子图集合均判定为其他子图集合。
子步骤S103-2，若是起始子图集合，将初始参数作为目标相机参数。同时流程进入步骤S103-3。
子步骤S103-3，利用目标相机参数对起始子图集合进行三维重建，以得到对应的所述局部三维点云。
在本发明实施例中，根据上述目标相机参数及起始子图集合中所包含的待重建图像，进行三维重建，以生成起始子图集合对应的所述局部三维点云。可以理解地，三维重建后不仅能够得到局部三维点云，还可以得到每个视图的投影矩阵。
再比如，每一个其他子图集合对应的目标相机参数均是基于相邻的上一个子图集合的三维重建结果确定出的优化参数。可见，各个其他子图集合的目标相机参数之间可能存在差异，且随着其他子图集合逐个完成三维重建，被采用的目标相机参数也越来越准确。因此，如图4所示，在图3的基础上，上述步骤S103还可以包括以下子步骤：
子步骤S103-4，若不是起始子图集合，获取相邻的上一子图集合对应的局部三维点云及相邻的上一子图集合三维重建所用的第一相机参数。
上述第一相机参数可以是相邻的上一子图集合对应的目标相机参数，即相邻的上一子图集合进行三维重建时采用的相机参数。可以理解地，可以利用第一相机参数结合相邻的上一子图集合中的待重建图像进行三维重建，以得到一对应的局部三维点云和投影矩阵。
在本发明实施例中，若子图集合不是起始子图集合，即表示其为其他子图集合，那么获取与该子图集合相邻的上一个子图集合的局部三维点云及第一相机参数。并在获得后，控制流程进入步骤S103-5。
子步骤S103-5，基于获取的局部三维点云及第一相机参数进行全局优化处理，得到优化参数。
在本发明实施例中，将经过全局优化处理后得到的优化参数作为本轮三维重建所需的目标相机参数。作为一种实施方式，上述基于获取的局部三维点云及第一相机参数进行全局优化处理，以得到重投影误差函数。再采用非线性优化LM算法使重投影误差最小，从而得到优化校正后的相机参数及优化后的局部三维点云。比如，基于获取到的局部三维点云、第一相机参数、位置信息及角度信息，利用公式：
Figure BDA0002296769940000111
得到重投影误差函数，再利用非线性优化LM算法使重投影误差最小，从而依据上式得到优化后的相机参数(简称：优化参数)，以作为本次对子图集合进行三维重建采用的目标相机参数。其中，上述
Figure BDA0002296769940000112
代表重投影误差函数，上述U和K均为第一相机参数，上述U为相机畸变参数，K为相机内参。Ri代表采集设备采集第i张待重建图像时的角度信息，Ci代表采集设备采集第i张待重建图像时的位置信息；第i张待重建图像属于相邻的上一个子图集合。代表上述获取到的局部三维点云中的三维点。若局部三维点云中的第J个三维点XJ若能通过投影矩阵Pi重投影到视图上，则σiJ＝1，否则σiJ＝0。可以理解地，上述投影矩阵为对重建节点进行三维重建后得到的。可选地，投影矩阵为Pi＝K[Ri|-RiCi]。其重投影后的图像归一化齐次坐标为
Figure BDA0002296769940000113
s为齐次坐标转为非齐次坐标的缩放因子，ΦU()是与相机畸变参数U相关的用于去除特征点畸变的函数。
如此，相较于现有技术中，仅在目标三维模型重建完成后，才进行一次全局优化而言，本发明实施例中，通过逐个对子图集合重建得到的局部三维点云进行全局优化，使在没有预先对相机参数进行标定的前提下，相机参数也会随着三维重建次数的增加而越来越准确，提高三维重建的重建质量。
子步骤S103-6，依据目标相机参数对子图集合中的待重建图像进行三维重建，以得到对应的局部三维点云。
由于划分子图集合时所依据的匹配权重是在对待重建图像进行匹配后得到。因此，划分好的子图集合中的待重建图像之间已经完成了匹配。故，在第一种实施方式中，上述子步骤S103-6可以是直接利用目标相机参数对子图集合中的待重建图像进行三维重建。
当然，相机参数越准确其恢复的相对位姿就越准确。相对位姿越准确，待重建图像之间的匹配越精准。而待重建图像之间的匹配越精准，进行三维重建后的重建效果越好。然而，在一些实施例中，划分子图集合时所用的相机参数为初始参数，为了使最终三维重建的鲁棒性越高，重建效果越好，在第二种实施方式中，上述子步骤S103-6可以包括以下步骤：
(1)依据目标相机参数对子图集合中的待重建图像重新进行图像匹配。
可以理解地，依据子图集合中待重建图像之间的匹配的特征点，利用八点法可以计算出基本矩阵F进行ransac估计，得到匹配内点，然后利用公式：
(ΦU(p′))TFΦU(p)＝0，
E＝KTFK
计算得到本质矩阵E。其中，K为相机内参，U为相机畸变参数，p′和p一对匹配的特征点的齐次坐标。ΦU()是与相机畸变参数U相关的用于去除特征点畸变的函数。可以理解地，本质矩阵能够恢复出两张待重建图像的相对位姿。依据上式可见，相机参数越准确其恢复的相对位姿就越准确。
因此，利用对应的目标相机参数对子图集合再一次进行图像匹配，能够提高鲁棒性，增加识别出的匹配内点，相对位姿的计算也更加准确。
(2)基于目标相机参数，对子图集合中匹配后的待重建图像进行三维重建，以得到局部三维点云。基于准确的相机参数进行三维重建，能够提高三维重建的效果，鲁棒性更高。
在所有的子图集合均执行完一轮三维重建后，由于初始子图集合进行三维重建时所用的相机参数为初始参数，而初始参数可能不是最准确的相机参数。因此，为了提高最终三维重建的效果，如图5所示，在图2的基础上，上述三维重建方法还包括以下步骤：
步骤S201，获取多个子图集合中的终止子图集合对应的局部三维点云及终止子图集合进行三维重建所采用的第二相机参数。
上述终止子图集合可以是多个子图集合中最后一个进行三维重建的子图集合。上述第二相机参数可以是终止子图集合对应的目标相机参数。在基于第二相机参数及终止子图集合中的待重建图像进行三维重建后，得到对应的局部三维点云和投影矩阵。
步骤S202，基于获取的局部三维点云及第二相机参数进行全局优化处理，得到第三相机参数。
可以理解地，其原理与上述子步骤S103-5相同，在此不再赘述。
步骤S203，利用第三相机参数，对初始子图集合中的待重建图像重新进行三维重建，以得到初始子图集合对应的更新后的局部三维点云。
在本发明实施例中，根据第三相机参数及初始子图集合中的待重建图像重新进行三维重建，得到新的局部三维点云，以替换步骤S103中利用初始参数重建得到的局部三维点云。
可选地，上述步骤S203可以是依据第三相机参数，对初始子图集合中的待重建图像进行图像匹配。基于第三相机参数，对所述初始子图集合中匹配后的待重建图像进行处理，以得到更新后的所述局部三维点云。可以理解地，其原理同子步骤S103-6，在此不再赘述。
由上可知，对三维重建结果进行全局优化处理后，都能得到更加准确的相机参数。故在多次的三维重建以及全局优化后，所用的相机参数也越来越准确。因此，本发明实施例中，无需预先对采集设备进行标定，在多次三维重建完成后即可得到最终的标定相机参数，以方便以后进行三维重建时使用。
可选地，为了在多次三维重建后得到最终的标定相机参数，如图6所示，上述三维重建方法还包括以下步骤：
步骤S301，获取初始子图集合更新后的局部三维点云及第三相机参数。
步骤S302，基于初始子图集合更新后的局部三维点云及第三相机参数进行全局优化处理，得到所述优化参数，并作为最终的标定相机参数。
在本发明实施例中，通过上述步骤S301和步骤S302的配合，对第三相机参数进一步地优化，以得到更优的相机参数作为最终的标定相机参数。可以理解地，步骤S302的实现原理与上述子步骤S103-5相同，在此不再赘述。
在一些实施例中，如图7所示，上述三维重建方法还可以包括：
步骤S401，依据初始参数对待重建图像进行图像匹配，得到匹配图集合及匹配图集合中各组匹配图对应的匹配权重。
作为一种实施方式，如图8所示，上述步骤S401可以包括以下子步骤：
子步骤S401-1，提取每张待重建图像的特征数据。
可选地，提取特征数据的方式可以是，但不限于是，SIFT、FAST、AKAZE等方式。作为一个实例，从待重建图像中提取到的特征数据包括关键点所处的图像坐标及特征点的特征描述向量。比如，第i张照片的第t个特征数据记为
Figure BDA0002296769940000151
X＝(u，v)T为用于表征特征点在待重建图像的图像坐标的向量，
Figure BDA0002296769940000152
代表第i张照片的第t个特征点的特征描述向量。
子步骤S401-2，依据每张待重建图像的特征数据，判断任意两张待重建图像之间是否具有匹配关系，以得到具有匹配关系的待选图组。
在本发明实施例中，将任意两张待重建图像中的特征数据进行比较。可选地，可以是将特征数据中的特征描述向量进行比较，确定任意两张待重建图像之间的匹配的特征点。比如，可以是利用KD树对两张待重建图像中的特征描述向量进行匹配，确定两张待重建图像中的匹配的特征点。可选地，在匹配的特征点的数量不低于预设的第二阈值时，判断上述两张待重建图像之间具有匹配关系。将具有匹配关系的两张待重建图像作为一待选图组。可以理解地，同一待重建图像可以分别与多张其他的待重建图像组成待选图组。
子步骤S401-3，基于初始参数，确定各组待选图组的匹配内点。
在本发明实施例中，可以依次获取每组待选图组中的匹配的特征点，再从匹配的特征点中判定出匹配内点，得到匹配内点集。比如，可以是采用八点法先计算基本矩阵F进
Figure BDA0002296769940000161
ransac估计，通过使其满足极限约束，得到匹配内点集。
子步骤S401-4，将匹配内点不低于预设的第一阈值的待选图组确定为匹配图，从而得到匹配图集合及匹配图集中匹配图对应的匹配权重。并将作为匹配图的待选图组之间的匹配权重设置为预设数据(比如，预设数据可以是第一阈值)，将其他待选图组之间的匹配权重设置为0。不属于待选图组的任意两张待重建图像之间不存在匹配权重，也可以理解为其匹配权重也为0。
为了提高匹配权重表征匹配程度的准确性，作为另一种实施方式，在子步骤S401-4将匹配内点不低于预设的第一阈值的待选图组确定为匹配图后，还可以选择以下任意一种方式计算匹配权重：
第一种方式，基于各组匹配图对应的匹配内点，生成各组所述匹配图的匹配权重。可选地，可以依据各组匹配图对应的匹配内点计算匹配图之间的重叠比例，以作为匹配权重。可选地，可以是依据匹配图中待重建图像的特征数据，获取匹配图之间匹配的特征数据(也即，匹配的特征点)的第一数量。获取匹配图对应的匹配内点的第二数量。根据第一数量及第二数量，计算匹配图之间的重叠比例，以作为匹配权重。比如，可以是将第二数量与第一数量之比作为匹配权重。
第二种方式，在待重建图像均具有位置信息的前提下，可以根据位置信息，计算匹配图中对应的两张待重建图像之间距离值，并将该距离值转化为匹配权重。可以理解地，距离越近对应的匹配权重值越高。
继续参考图7，在通过步骤S401得到多组匹配图并计算出匹配图之间的匹配权重后，上述步骤S102的实现方式可以包括：
根据各组匹配图之间的匹配权重及电子设备100支持重建的图像数量阈值，利用谱聚类切割模型，将匹配图集合划分为多个子图集合。
可以理解地，在划分子图集合时，利用匹配权重配合谱聚类切割模型进行集合划分可以确保属于同一子图集合的待重建图像之间的匹配权重较高，属于不同子图集合的待重建图像之间的匹配权重相对较低。从而，确保每个子图集合均能够进行三维重建。
可以理解地，在划分子图集合时，还可以将电子设备100支持重建的图像数量阈值评估项。从而，使划分后得到子图集合中的待重建图像的数量不超过该电子设备100所支持重建的图像数量阈值。从而，避免由于子图集合中待重建图像的数量过多而出现重建失败。
在对划分得到的子图集合分别进行三维重建得到对应的局部三维点云之后，为了得到最终需要呈现的目标三维模型，还需要将每个子图集合对应的三维点云融合。可选地，如图9所示，上述步骤S104的步骤包括：
子步骤S104-1，判断任意两个局部三维点云之间是否存在相同的目标三维点。
上述局部三维点云可以是每个子图集合对应的局部三维点云。可以理解地，如果同一子图集合进行过多次三维重建，那么将最新重建得到的局部三维点云作为该子图集合对应的局部三维点云。
在本发明实施例中，检查任意两个局部三维点云之间是否有公共点对(即两个局部三维点云中表征同一特征的三维点对)，如果有，判断这两个局部三维点云之间存在相同的目标三维点。
子步骤S104-2，若两个局部三维点云之间存在目标三维点，基于目标三维点，对两个局部三维点云进行对其合并，以便得到目标三维模型。
在本发明实施例中，可以先基于目标三维点计算七参数(包括旋转、位移和缩放因
Figure BDA0002296769940000181
等)的变换关系，经过变换关系处理后，就可以对这两个局部三维点云进行对其合并。将多个局部三维点云合并后，便可得到用于呈现的目标三维模型。
下面以三维重建地形图的实例来说明本发明实施例提供的方法。
S1，接收无人机在目标地形区域内沿着指定航线飞行采集到的多帧待重建图像。
S2，基于初始参数对多帧待重建图像进行图像匹配，生成匹配图集合，并得到匹配图集合中每个匹配图对应的匹配权重。
S3，依据匹配图对应的匹配权重及最大重建图像数量，采用谱聚类的NCut方法，将匹配图集合划分为多个子图集合gi。
以使划分出的子图集合中待重建图像的数量不超过最大重建图像数量，以及确保同一子图集合中的待重建图像之间的匹配权重较高。
其中，最大重建图像数量为执行三维重建的设备三维重建时可支持的图像数量。i的取值范围为1到N，N为划分得到的子图集合的总数。为了方便描述，本实例中，以N＝4为例进行描述。即先将匹配图集合划分为两个子集合，再分别将划分出来的两个子集一分为二，得到4个子图集合。
S4，基于初始的相机参数(以下简称：M0)及g1中的待重建图像，进行三维重建，得到对应的局部三维点云X1及投影矩阵P1。
S5，基于局部三维点云X1、M0及投影矩阵P1，进行Bundle Adjustment全局优化，得到优化的相机参数(以下简称：M1)及优化后的局部三维点云X1 1。
S6，基于M1及g2中的待重建图像，进行三维重建，得到对应的局部三维点云X2及投影矩阵P2。
S7，基于局部三维点云X2、M1及投影矩阵P2，进行Bundle Adjustment全局优化，得到优化的相机参数(以下简称：M2)及优化后的局部三维点云X1 2。
S8，基于M2及g3中的待重建图像，进行三维重建，得到对应的局部三维点云X3及投影矩阵P3。
S9，基于局部三维点云X3、M2及投影矩阵P3，进行Bundle Adjustment全局优化，得到优化的相机参数(以下简称：M3)及优化后的局部三维点云X1 3。
S10，基于M3及g4中的待重建图像，进行三维重建，得到对应的局部三维点云X4及投影矩阵P4。
S11，基于局部三维点云X4、M3及投影矩阵P4，进行Bundle Adjustment全局优化，得到优化的相机参数(以下简称：M4)及优化后的局部三维点云X1 4。
S12，基于M4及g1中的待重建图像，进行三维重建，得到用于替代X1和P1的局部三维点云X5和投影矩阵P5。
S13，基于局部三维点云X5、M4及投影矩阵P5，进行Bundle Adjustment全局优化，得到最终的标定相机参数及优化后的局部三维点云X1 5。
S14，将局部三维点云X1 5、X1 2、X1 3及X1 4合并，得到最终呈现的地形三维模型。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种三维重建装置600的实现方式，可选地，该三维重建装置600可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图10，图10为本发明实施例提供的一种三维重建装置600的功能模块图。需要说明的是，本实施例所提供的三维重建装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该三维重建装置600包括：获取模块601、划分模块602、重建模块603、合并模块604及处理模块605。
获取模块601，用于获取多张待重建图像。
划分模块602，用于依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合。
重建模块603，用于依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数。
可选地，重建模块603可以包括判断子模块、确定子模块及重建子模块。其中，判断子模块，用于判断所述子图集合是否为所述起始子图集合；确定子模块，用于若是所述起始子图集合，将所述初始参数作为所述目标相机参数；重建子模块，用于利用所述目标相机参数对所述起始子图集合进行三维重建，以得到对应的所述局部三维点云。
可选地，上述重建模块603还用于若所述子图集合不是所述起始子图集合，获取所述相邻的上一子图集合对应的所述局部三维点云及所述相邻的上一子图集合三维重建所用的第一相机参数；基于获取的所述局部三维点云及所述第一相机参数进行全局优化处理，得到所述优化参数，并将所述优化参数作为所述目标相机参数；依据所述目标相机参数对所述子图集合中的所述待重建图像进行三维重建，以得到对应的所述局部三维点云。
可选地，上述重建子模块还用于：依据所述目标相机参数对所述子图集合中的所述待重建图像重新进行图像匹配；基于所述目标相机参数，对所述子图集合中匹配后的待重建图像进行处理，以得到所述局部三维点云。
合并模块604，用于根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
上述获取模块601，还用于获取所述多个子图集合中的终止子图集合对应的局部三维点云及所述终止子图集合进行三维重建所采用的第二相机参数。
上述处理模块605，用于基于获取的所述局部三维点云及所述第二相机参数进行全局优化处理，得到第三相机参数。
上述重建模块603，还用于利用所述第三相机参数，对所述初始子图集合中的待重建图像重新进行三维重建，以得到所述初始子图集合对应的更新后的所述局部三维点云。
可选地，上述重建模块603还用于：依据所述第三相机参数，对所述初始子图集合中的待重建图像进行图像匹配；基于所述第三相机参数，对所述初始子图集合中匹配后的待重建图像进行处理，以得到更新后的所述局部三维点云。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。
综上所述，本发明实施例提供的一种三维重建方法、装置及电子设备。其中，上述三维重建方法包括：获取多张待重建图像；依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合；依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。不仅能够避免待重建图像的数量过多时，出现重建失败的问题，而且无需预先标定相机参数，通过多次计算相机参数，使其更加逼近真值，相较于传统方法只是优化一次参数方式，能够使相机参数更优，更优的相机参数保证位姿估计的准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种三维重建方法，其特征在于，应用于电子设备，所述三维重建方法包括：
获取多张待重建图像；
依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合；
依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；
根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
2.根据权利要求1所述的三维重建方法，其特征在于，所述依次基于每一所述子图集合及对应的目标相机参数进行三维重建的步骤包括：
判断所述子图集合是否为所述起始子图集合；
若是所述起始子图集合，将所述初始参数作为所述目标相机参数；
利用所述目标相机参数对所述起始子图集合进行三维重建，以得到对应的所述局部三维点云。
3.根据权利要求2所述的三维重建方法，其特征在于，所述依次基于每一所述子图集合及对应的目标相机参数进行三维重建的步骤还包括：
若不是所述起始子图集合，获取所述相邻的上一子图集合对应的所述局部三维点云及所述相邻的上一子图集合三维重建所用的第一相机参数；
基于获取的所述局部三维点云及所述第一相机参数进行全局优化处理，得到所述优化参数，并将所述优化参数作为所述目标相机参数；
依据所述目标相机参数对所述子图集合中的所述待重建图像进行三维重建，以得到对应的所述局部三维点云。
4.根据权利要求3所述的三维重建方法，其特征在于，所述依据所述目标相机参数对所述子图集合中的所述待重建图像进行三维重建包括：
依据所述目标相机参数对所述子图集合中的所述待重建图像重新进行图像匹配；
基于所述目标相机参数，对所述子图集合中匹配后的待重建图像进行处理，以得到所述局部三维点云。
5.根据权利要求2所述的三维重建方法，其特征在于，在所述依次基于每一所述子图集合及对应的目标相机参数进行三维重建之后，所述三维重建方法还包括：
获取所述多个子图集合中的终止子图集合对应的局部三维点云及所述终止子图集合进行三维重建所采用的第二相机参数；
基于获取的所述局部三维点云及所述第二相机参数进行全局优化处理，得到第三相机参数；
利用所述第三相机参数，对所述初始子图集合中的待重建图像重新进行三维重建，以得到所述初始子图集合对应的更新后的所述局部三维点云。
6.根据权利要求5所述的三维重建方法，其特征在于，所述利用所述第三相机参数，对所述初始子图集合中的待重建图像重新进行三维重建的步骤包括：
依据所述第三相机参数，对所述初始子图集合中的待重建图像进行图像匹配；
基于所述第三相机参数，对所述初始子图集合中匹配后的待重建图像进行处理，以得到更新后的所述局部三维点云。
7.根据权利要求5所述的三维重建方法，其特征在于，所述三维重建方法还包括：
获取所述初始子图集合更新后的所述局部三维点云及所述第三相机参数；
基于所述初始子图集合更新后的所述局部三维点云及第三相机参数进行全局优化处理，得到所述优化参数，并作为最终的标定相机参数。
8.根据权利要求1所述的三维重建方法，其特征在于，
所述三维重建方法还包括：依据所述初始参数对所述待重建图像进行图像匹配，得到匹配图集合及所述匹配图集合中各组匹配图对应的匹配权重；
所述依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合的步骤包括：根据各组所述匹配图之间的所述匹配权重及所述电子设备支持重建的图像数量阈值，利用谱聚类切割模型，将所述匹配图集合划分为多个所述子图集合。
9.根据权利要求8所述的三维重建方法，其特征在于，所述依据所述初始参数对所述待重建图像进行图像匹配，得到匹配图集合及所述匹配图集合中各组匹配图对应的匹配权重的步骤包括：
提取每张所述待重建图像的特征数据；
依据每张所述待重建图像的所述特征数据，判断任意两张所述待重建图像之间是否具有匹配关系，以得到具有匹配关系的待选图组；
基于所述初始参数，确定各组所述待选图组的匹配内点；
将所述匹配内点不低于预设的第一阈值的所述待选图组确定为所述匹配图，以得到所述匹配图集；
基于各组所述匹配图对应的所述匹配内点，生成各组所述匹配图的所述匹配权重。
10.根据权利要求9所述的三维重建方法，其特征在于，所述生成各组所述匹配图的所述匹配权重的步骤包括：
依据所述匹配图中所述待重建图像的所述特征数据，获取所述匹配图之间匹配的特征数据的第一数量；
获取所述匹配图对应的所述匹配内点的第二数量；
根据第一数量及第二数量，计算所述匹配图之间的重叠比例，以作为所述匹配权重。
11.根据权利要求10所述的三维重建方法，其特征在于，所述根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型的步骤包括：
判断任意两个所述局部三维点云之间是否存在相同的目标三维点；
若两个所述局部三维点云之间存在所述目标三维点，基于所述目标三维点，对两个所述局部三维点云进行对其合并，以便得到所述目标三维模型。
12.一种三维重建装置，其特征在于，应用于电子设备，所述三维重建装置包括：
获取模块，用于获取多张待重建图像；
划分模块，用于依据所述待重建图像之间的匹配权重，将多张所述待重建图像划分为多个子图集合；
重建模块，用于依次基于每一所述子图集合及对应的目标相机参数进行三维重建，以得到每一所述子图集合对应的局部三维点云；其中，所述多个子图集合中的起始子图集合对应的目标相机参数为预设的初始参数；所述多个子图集合中的其他子图集合对应的目标相机参数为：对与所述子图集合相邻的上一子图集合对应的局部三维点云进行处理后得到的优化参数；
合并模块，用于根据每一所述子图集合对应的所述局部三维点云，生成目标三维模型。
13.根据权利要求12所述的三维重建装置，其特征在于，所述重建模块还包括：
判断子模块，用于判断所述子图集合是否为所述起始子图集合；
确定子模块，用于若是所述起始子图集合，将所述初始参数作为所述目标相机参数；
重建子模块，用于利用所述目标相机参数对所述起始子图集合进行三维重建，以得到对应的所述局部三维点云。
14.根据权利要求13所述的三维重建装置，其特征在于，所述重建模块还用于：
若所述子图集合不是所述起始子图集合，获取所述相邻的上一子图集合对应的所述局部三维点云及所述相邻的上一子图集合三维重建所用的第一相机参数；
基于获取的所述局部三维点云及所述第一相机参数进行全局优化处理，得到所述优化参数，并将所述优化参数作为所述目标相机参数；
依据所述目标相机参数对所述子图集合中的所述待重建图像进行三维重建，以得到对应的所述局部三维点云。
15.根据权利要求14所述的三维重建装置，其特征在于，所述重建子模块还用于：
依据所述目标相机参数对所述子图集合中的所述待重建图像重新进行图像匹配；
基于所述目标相机参数，对所述子图集合中匹配后的待重建图像进行处理，以得到所述局部三维点云。
16.根据权利要求13所述的三维重建装置，其特征在于，所述三维重建装置还包括：
所述获取模块，还用于获取所述多个子图集合中的终止子图集合对应的局部三维点云及所述终止子图集合进行三维重建所采用的第二相机参数；
处理模块，用于基于获取的所述局部三维点云及所述第二相机参数进行全局优化处理，得到第三相机参数；
所述重建模块，还用于利用所述第三相机参数，对所述初始子图集合中的待重建图像重新进行三维重建，以得到所述初始子图集合对应的更新后的所述局部三维点云。
17.根据权利要求16所述的三维重建装置，其特征在于，所述重建模块还用于：
依据所述第三相机参数，对所述初始子图集合中的待重建图像进行图像匹配；
基于所述第三相机参数，对所述初始子图集合中匹配后的待重建图像进行处理，以得到更新后的所述局部三维点云。
18.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-11任一所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的方法。
CN201911205169.XA 2019-11-29 2019-11-29 三维重建方法、装置及电子设备 Active CN110910493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205169.XA CN110910493B (zh) 2019-11-29 2019-11-29 三维重建方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205169.XA CN110910493B (zh) 2019-11-29 2019-11-29 三维重建方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110910493A true CN110910493A (zh) 2020-03-24
CN110910493B CN110910493B (zh) 2021-05-14

Family

ID=69820799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205169.XA Active CN110910493B (zh) 2019-11-29 2019-11-29 三维重建方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110910493B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258604A (zh) * 2020-11-18 2021-01-22 广州极飞科技有限公司 悬空线缆重建方法、装置及电子设备
CN112396107A (zh) * 2020-11-18 2021-02-23 广州极飞科技有限公司 重建图像选取方法、装置及电子设备
CN112446951A (zh) * 2020-11-06 2021-03-05 杭州易现先进科技有限公司 三维重建方法、装置、电子设备及计算机存储介质
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
CN112767541A (zh) * 2021-01-15 2021-05-07 浙江商汤科技开发有限公司 三维重建方法及装置、电子设备和存储介质
CN113554741A (zh) * 2020-04-24 2021-10-26 北京达佳互联信息技术有限公司 一种对象三维重建的方法、装置、电子设备及存储介质
CN114170366A (zh) * 2022-02-08 2022-03-11 荣耀终端有限公司 基于点线特征融合的三维重建方法及电子设备
CN114332351A (zh) * 2021-11-29 2022-04-12 清华大学 一种基于多视角相机的小鼠运动重建方法及装置
CN115661495A (zh) * 2022-09-28 2023-01-31 中国测绘科学研究院 一种紧凑划分及多层次合并策略的大规模SfM方法
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备
CN116843824A (zh) * 2023-03-17 2023-10-03 瞰景科技发展(上海)有限公司 三维模型实时重建方法、装置及系统
CN114332351B (zh) * 2021-11-29 2024-07-05 清华大学 一种基于多视角相机的小鼠运动重建方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292949A (zh) * 2017-05-25 2017-10-24 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109087344A (zh) * 2018-07-18 2018-12-25 四川华雁信息产业股份有限公司 三维重建中的图像选择方法及装置
CN110070607A (zh) * 2019-04-02 2019-07-30 深圳市掌网科技股份有限公司 三维重建系统以及方法
CN110189400A (zh) * 2019-05-20 2019-08-30 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置
US10438366B2 (en) * 2015-12-29 2019-10-08 The United States Of America As Represented By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
US10445895B2 (en) * 2014-11-21 2019-10-15 Apple Inc. Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
CN110458897A (zh) * 2019-08-13 2019-11-15 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445895B2 (en) * 2014-11-21 2019-10-15 Apple Inc. Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US10438366B2 (en) * 2015-12-29 2019-10-08 The United States Of America As Represented By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
CN107292949A (zh) * 2017-05-25 2017-10-24 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109087344A (zh) * 2018-07-18 2018-12-25 四川华雁信息产业股份有限公司 三维重建中的图像选择方法及装置
CN110070607A (zh) * 2019-04-02 2019-07-30 深圳市掌网科技股份有限公司 三维重建系统以及方法
CN110189400A (zh) * 2019-05-20 2019-08-30 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置
CN110458897A (zh) * 2019-08-13 2019-11-15 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554741A (zh) * 2020-04-24 2021-10-26 北京达佳互联信息技术有限公司 一种对象三维重建的方法、装置、电子设备及存储介质
CN113554741B (zh) * 2020-04-24 2023-08-08 北京达佳互联信息技术有限公司 一种对象三维重建的方法、装置、电子设备及存储介质
CN112446951B (zh) * 2020-11-06 2024-03-26 杭州易现先进科技有限公司 三维重建方法、装置、电子设备及计算机存储介质
CN112446951A (zh) * 2020-11-06 2021-03-05 杭州易现先进科技有限公司 三维重建方法、装置、电子设备及计算机存储介质
CN112258604B (zh) * 2020-11-18 2023-02-14 广州极飞科技股份有限公司 悬空线缆重建方法、装置及电子设备
CN112258604A (zh) * 2020-11-18 2021-01-22 广州极飞科技有限公司 悬空线缆重建方法、装置及电子设备
CN112396107A (zh) * 2020-11-18 2021-02-23 广州极飞科技有限公司 重建图像选取方法、装置及电子设备
CN112396107B (zh) * 2020-11-18 2023-02-14 广州极飞科技股份有限公司 重建图像选取方法、装置及电子设备
WO2022147976A1 (zh) * 2021-01-11 2022-07-14 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
JP7453470B2 (ja) 2021-01-11 2024-03-19 浙江商▲湯▼科技▲開▼▲発▼有限公司 ３次元再構成及び関連インタラクション、測定方法及び関連装置、機器
CN112767538B (zh) * 2021-01-11 2024-06-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
CN112767541A (zh) * 2021-01-15 2021-05-07 浙江商汤科技开发有限公司 三维重建方法及装置、电子设备和存储介质
CN114332351A (zh) * 2021-11-29 2022-04-12 清华大学 一种基于多视角相机的小鼠运动重建方法及装置
CN114332351B (zh) * 2021-11-29 2024-07-05 清华大学 一种基于多视角相机的小鼠运动重建方法及装置
CN114170366A (zh) * 2022-02-08 2022-03-11 荣耀终端有限公司 基于点线特征融合的三维重建方法及电子设备
CN115661495A (zh) * 2022-09-28 2023-01-31 中国测绘科学研究院 一种紧凑划分及多层次合并策略的大规模SfM方法
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备
CN116704152B (zh) * 2022-12-09 2024-04-19 荣耀终端有限公司 图像处理方法和电子设备
CN116843824A (zh) * 2023-03-17 2023-10-03 瞰景科技发展(上海)有限公司 三维模型实时重建方法、装置及系统

Also Published As

Publication number Publication date
CN110910493B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110910493B (zh) 三维重建方法、装置及电子设备
US10593108B2 (en) Converting digital aerial images into a three-dimensional representation utilizing processing clusters
CN111951397B (zh) 一种多机协同构建三维点云地图的方法、装置和存储介质
CN110910483B (zh) 三维重建方法、装置及电子设备
US11682170B2 (en) Generating three-dimensional geo-registered maps from image data
CN112197764B (zh) 实时位姿确定方法、装置及电子设备
CN107907111B (zh) 一种自动分布式空中三角测量解算方法
US20220277514A1 (en) Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
CN108876828A (zh) 一种无人机图像批处理三维重建方法
CN105809658A (zh) 关心区域设定方法及装置
KR20100124748A (ko) 매끄러운 정사영 이미지 생성 플랫폼
CA3209009A1 (en) Computer vision systems and methods for supplying missing point data in point clouds derived from stereoscopic image pairs
CN111538799A (zh) 热力图构建方法、设备、存储介质及装置
CN112950710A (zh) 位姿确定方法、装置、电子设备和计算机可读存储介质
CN114092326A (zh) 一种Web地图瓦片更新处理方法及装置
US11127199B2 (en) Scene model construction system and scene model constructing method
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN115272248A (zh) 一种风机姿态的智能检测方法以及电子设备
CN111739102B (zh) 电子设备的内外参标定方法、装置和计算机设备
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN114359045A (zh) 图像数据的处理方法及其处理装置、无人设备
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: XAG Co., Ltd.

Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant