CN112270748A - 基于图像的三维重建方法及装置 - Google Patents
基于图像的三维重建方法及装置 Download PDFInfo
- Publication number
- CN112270748A CN112270748A CN202011293212.5A CN202011293212A CN112270748A CN 112270748 A CN112270748 A CN 112270748A CN 202011293212 A CN202011293212 A CN 202011293212A CN 112270748 A CN112270748 A CN 112270748A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- images
- subsequent
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 56
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本公开具体涉及基于图像的三维重建方法及装置。方法包括：按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；在图像序列中选取第一图像及后序的连续多帧后序图像，对第一图像与各后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；基于第一图像对应的第一图像匹配对和第二匹配对的图像匹配关系构建全局匹配关系；并基于全局匹配关系对所述图像序列进行三维重建。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备。
背景技术
在计算机视觉领域，三维重建是一个研究重点。一般来说，现有技术中常用的三维重建算法包括：SFM(Structure from motion，运动恢复结构)技术、Dynamic Fusion(动态融合)算法、Bundle Fusion(捆绑融合)算法等等。在相关技术中，大多采用基于图像特征进行匹配筛选的方式，比较依赖图像特征描述子的鲁棒性。然而对于局部相似纹理，图像特征并不能有效解决此种场景重建。例如，相同的标志牌或logo出现在不同地方时，可能会出现错误匹配；即，将不属于同一处地方的图片相互关联，这会严重降低三维重建的精度，甚至导致建图失败。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备，能够有效的避免图像误匹配的情况，提升重建地图的精度。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种基于图像的三维重建方法，包括：
按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域；
在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；
基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
根据本公开的第二方面，提供一种基于图像的三维重建装置，包括：
数据采集模块，用于按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域；
第一匹配模块，用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
回环匹配模块，用于根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；
重建模块，用于基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于图像的三维重建方法。
根据本公开的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的基于图像的三维重建方法。
本公开的一种实施例所提供的基于图像的三维重建方法，通过在采集图像时标记各图像对应的采集时间，能够利用各图像之后的连续多帧后续图像进行匹配图像的筛选并建立匹配关系；在建立上述的匹配关系之后，再根据图像的采集时间确定对应的回环采集区域和该区域对应的图像，从而只需对少量的图像进行匹配来实现图像的回环匹配，实现了利用先验信息直接确定回环帧的位置，从而得到更准确的全局匹配关系；进而极大减少了错误回环匹配，提升了建图精度以及鲁棒性。并且能够降低图像匹配的数据量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种基于图像的三维重建方法的流程示意图；
图2示意性示出本公开示例性实施例中一种图像特征匹配方法的流程示意图；
图3示意性示出本公开示例性实施例中一种图像序列的示意图；
图4示意性示出本公开示例性实施例中一种基于图像的三维重建装置的组成示意图；
图5示意性示出本公开示例性实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在计算机视觉的相关技术中，通常使用SFM技术来恢复三维环境的空间结构。传统的SFM算法一般包括：特征提取与匹配、计算初始匹配对及点云、光束平差、然后重复添加新的图像帧数据再结合一定策略进行光束平差等步骤依次进行来实现三维重建。对于序列化的图像输入在特征匹配环节常见的方法主要有两种：一种为序列化匹配，另一种则为全局暴力匹配。其中序列化匹配在大尺度环境下会由于累计误差积累过大导致无法形成回环。为了保证最终地图在一个大尺度环境下仍与实际地图保持一致，常使用暴力搜索对所有的图像进行特征的匹配计算，来增加一些回环图像对，减少累计误差。但这样的方式使得计算量较大、耗时较长。基于此，现有的方法通常还是基于图像特征进行匹配筛选，比较依赖图像特征描述子的鲁棒性，并且对于局部相似纹理，图像特征不能有效解决此种场景重建。如相同的标志牌或logo等出现在不同地方时，可能会出现错误匹配，即将不属于同一处地方的图片相互关联，这会严重降低三维重建的精度，甚至导致建图失败。
针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种基于图像的三维重建方法。参考图1中所示，上述的基于图像的三维重建方法可以包括以下步骤：
S11，按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域；
S12，在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
S13，根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；
S14，基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
本示例实施方式所提供的图像处理方法中，通过预先规则路线，并在路线中设定基本采集路线和对应的回环采集路线，并在采集图像时标记各图像对应的采集时间；一方面，能够首先利用各图像之后的连续多帧后续图像进行匹配图像的筛选并第一次建立匹配关系；另一方面，在建立上述的匹配关系之后，再根据图像的采集时间确定对应的回环采集区域和该区域对应的图像，从而只需对少量的图像进行匹配来实现图像的回环匹配。实现了利用先验信息直接确定回环帧的位置，从而得到更准确的全局匹配关系；进而极大减少了错误回环匹配，提升了建图精度以及鲁棒性。并且能够降低图像匹配的数据量。
下面，将结合附图及实施例对本示例实施方式中的基于图像的三维重建方法的各个步骤进行更详细的说明。
在步骤S11中，按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域。
本示例实施方式中，上述的方法可以应用于带有拍摄功能的终端设备，例如配置有后置摄像头的手机、平板电脑等智能终端设备；例如，可以应用于对室内环境或者室外环境进行图像的采集。
具体来说，上述步骤S11可以包括：
步骤S111，按预设规则对所述目标环境进行路线规划，以获取多个基本采集路程；以及
步骤S112，为各所述基本采集路程配置至少一个回环采集区域；并为各所述回环采集区域配置对应的区域标识。
具体的，对于指定的目标环境，可以根据对应的电子地图进行路线规划。例如，路线规划的具体规则可以包括以下条件：(1)规划的路线必须能够遍历该电子地图中的所有可行走区域；(2)路线设计应尽可能简单，保证最短路径最大遍历；(3)每经过一段基本采集路程必须设计一次回环，且回环采集区域尽可能设置在纹理丰富的区域中。
基于上述的规则，可以首先对目标环境在电子地图中规划多个基本采集路线，各基本采集路线之间可以存在一定比例的重叠路线；各基本采集路线的起点和终点可以是首尾相连的；通过该些基本采集路线能够遍历全部的可行走区域。在划分基本采集路程之后，再根据已划分的基本采集路程配置对应的回环采集区域。可以分别为各回环采集区域配置对应的区域标识。
本示例实施方式中，在完成路线规划之后，便可以按照规划的路线进行图像的采集，获取图像序列；同时，在图像采集时，标记各图像的采集时间。在图像采集的过程中，可以标记进入及离开各区域的时间。具体来说，上述的方法还可以包括：标记进入、离开所述回环采集区域的时间以生成时间对，以利用所述时间对和各图像的采集时间确定各所述回环采集区域对应的第二图像集合。
例如，采集图像数据时，当进入预先设计的回环采集区域时，在对应的区域编号下标记当前的采集时间，当离开该回环采集区域时再次在对应的区域编号下标记当前的采集时间。这样每个回环采集区域会记录下一个或多个采集时间对，每个时间对包括一次回环采集区域采集的开始时间以及结束时间。如下表所示，Ln代表不同的回环采集区域，每个区域中的时间对S1代表第一次进入该区域的采集时刻，E1代表第一次离开该区域的采集时刻，这样可以得到S1时刻到E1时刻的图像均为L1回环采集区域对应的图像。
表1
或者，在本公开的其他示例性实施例中，由于采集图像采集的时刻与标记进出回环采集区域的时间点不同步，便可以根据回环采集区域的进入时刻筛选时间间隔最小的一帧图像，作为图像集合的起始，将与回环采集区域离开时刻间隔最小的一帧图像，作为图像集合的终止。从而筛选出一个时间对对应的图像集合。
在步骤S12中，在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系。
本示例实施方式中，在完成图像采集和图像采集时刻的标记后，可以通过离线的方式对图像序列进行处理。具体来说，对于图像序列而言，可以按顺序依次选取各帧图像作为第一图像；同时，选取第一图像之后的连续的k帧图像作为第一图像的后序图像。其中，k为正整数，例如可以配置为5、7、8、9或者10、11等数值。本公开对k的具体数值不做特殊限定。然后，便可以对第一图像和对应的后序图像集合进行特征匹配。实现对图像序列中的各图像进行序列化计算图像间的匹配关系。
具体来说，上述的步骤S12中所述的对所述第一图像与所述后序图像进行特征点匹配，以筛选所述第一图像匹配的后序图像，并建立所述第一图像与所述后序图像的匹配关系，参考图2所示，具体可以包括：
步骤S121，对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；
步骤S122，利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；
步骤S123，基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；
步骤S124，若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。
具体来说，对于图像序列而言，可以由第一帧图像开始进行序列化匹配。例如，初始将图像序列中的第一帧图像作为第一图像，然后选取后序的连续6帧图像作为后序图像。对于选取的第一图像和多帧后序图像，可以分别计算第一图像与各帧后序图像之间的匹配关系。
具体的，可以对第一图像与各后序图像的进行特征点提取，以计算对应的二维特征点及其特征描述子信息。利用特征描述子信息计算两张图像之间各特征点的距离；若小于特征点之前的距离小于预设的阈值，便可以判定两特征点构成一对特征点匹配对。这样，每两张图片之间都可以得到多对二维特征点匹配对。
在得到两张图像之间的全部特征点匹配对之后，再利用RANSAC算法(RandomSample Consensus，随机抽样一致性算法)对两图像之间的特征点匹配对进行筛选，删除误匹配的特征点匹配对。具体来说，可以首先利用两图像的特征点信息构建基础矩阵，使用基础矩阵对这些图片间的匹配点对进行RANSAC筛选。若筛选后两张图像间的特征点匹配点对的数量仍大于一预设的阈值，则判定为两张图片匹配，构成图像匹配对；并将两图像的匹配关系保存在数据库中，且记录筛选后的特征点匹配对。随机抽样一致性算法采用常规方法即可完成对特征点匹配的筛选，其具体过程不再赘述。
通过上述的方式遍历图像序列，完成对图像序列中各图像的第一次匹配，得到各图像对应的图像匹配结果及匹配关系。实现序列化计算当图像序列中各图像的匹配关系。
或者，在本公开的一些示例性实施例中，也可以在图像采集完成后，便对图像序列中的全部图像进行特征提取，计算各图像的二维特征点及对应的特征描述子，并存储在预设数据库中。例如，可以利用SIFT算法(Scale-invariant features transform，尺度不变特征变换)进行特征提取。
在步骤S13中，根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系。
本示例实施方式中，在根据图像特征进行第一次图像匹配的同时，或者在完成上述的第一次图像匹配之后，可以根据图像采集时间及各回环采集区域的时间对进行第二次匹配。各回环采集区域对应有至少一个所述第二图像集合；具体来说，上述的对所述第二图像集合中的图像进行暴力匹配可以包括：对所述回环采集区域对应的全部第二图像集合中的全部图像，任意选取两图像进行特征匹配，以根据特征匹配结果筛选所述回环采集区域对应的第二图像匹配对。
具体的，相同位置采集的图片，在整个采样时间内，即使在不同时刻采集的图像之间也存在匹配关系。参考图3所示的图像序列，以回环采集区域L1内的图像进行说明，计算不同时刻的匹配对所有可能情况包括：
图像集合A与图像集合B之间的图像对：(A1，B1)、(A1，B2)；(A2，B1)、(A2，B2)；(A3，B1)、(A3，B2)；
图像集合A与图像集合C之间的图像对：(A1，C1)、(A1，C2)、(A1，C3)；(A2，C1)、(A2，C2)、(A2，C3)；(A3，C1)、(A3，C2)、(A3，C3)；
图像集合B与图像集合C之间的图像对：(B1，C1)、(B1，C2)、(B1，C3)；(B2，C1)、(B2，C2)、(B2，C3)。
对于上述的各图像对，便可以利用上述的步骤S121-步骤S124的方法，利用特征信息对第一图像和第二图像集合中的各图像再次进行特征匹配，计算对应的匹配关系；即，首先计算两图像之间的特征点匹配对，再对特征点匹配对进行筛选得到图像对匹配结果。
若经过再次匹配建立匹配关系，则认为产生了回环匹配。至此，完成第一次匹配和第二次匹配。
在步骤S14中，基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
本示例实施方式中，可以利用上述的步骤S12、S13的方法遍历图像序列，从而得到各帧图像之间的匹配关系。基于该些匹配关系，可以构建图像序列的全局匹配关系，并利用该全局匹配关系和图像序列进行三维重建。例如，可以利用SFM(Structure from motion)算法进行三维重建。一般来说，利用SFM算法进行三维重建时，其输入可以为二维图像序列；可以通过上述的全局匹配关系推断出相机的各项参数。例如，SFM算法的过程可以包括：首先从图片中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA，然后循环添加新的图片进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束。得到相机估计参数和场景几何信息，即稀疏的3D点云。其中两幅图片之间的bundleadjust用的是稀疏光束平差法sba软件包，稀疏光束平差法是一种非线性最小二乘的优化目标函数算法。
当然，在本公开的其他示例性实施例中，在构建全局匹配关系后，也可以利用其他算法进行三维重建。例如，基于Deep learning的深度估计和结构重建算法等。
基于上述内容，在本公开的其他示例性实施方式中，在进行图像采集时，还可以采集各图像对应的位置信息。具体的，在构建全局匹配关系之后，或者在步骤S13获取各图像之间的全部匹配关系后，上述的方法还可以包括：基于所述图像的位置信息对所述全局匹配关系进行验证，以删除错误的匹配关系。
举例来说，在采集图像时，可以同时标记各图像的采集时间和位置信息。由于采集的是序列化图像，因此时间上连续的图片所采集的位置一定连续。对于各图像匹配对而言，若采集时间相邻或接近，由于图像采集的频率稳定，相机的运动速度保持稳定，则两图像之间的距离也应当接近。若图像匹配对的两图像之间采集时间接近，而距离相差较大，则说明匹配关系错误，此时便可以删除对应的匹配对。举例而言，可以首先读取各图像匹配对中各图像的采集时间，若两采集时间之间的时间差小于预设的时间差阈值，便读取对应的定位信息，计算两定位信息之间的欧式距离。若该欧式距离小于预设的距离阈值，便判定为匹配对准确；若计算的欧式距离大于或等于预设的距离阈值，则判定为匹配错误，便删除该图像匹配对。其中，距离阈值可以根据相机的运动速度进行设定。
基于上述内容，在本公开的其他示例性实施例中，所述采集图像序列时，上述的方法还可以包括：对所述图像之间的匹配特征点进行解析，以获取姿态信息和特征点的三维坐标；，基于匹配的所述图像对应的姿态信息和特征点的三维坐标对相机进行姿态校正。
具体来说，在构建全局匹配关系之后，或者，也可以在图像序列的采集过程中；可以对图像序列中任意相邻的两图像之间进行特征点匹配，并对匹配的特征点进行解析，从而计算得到相机的位置和姿态信息。以及，求解图像中的二维特征点在三维空间中的位置坐标。基于该些信息，可以生成对相机姿态的校正信息，从而在后序图像的拍摄之前，实时的对相机的姿态进行校正，进而保证后序拍摄图像的姿态信息保持一致。
本公开实施例所提供的三维重建方法，可以应用于离线形式的三维重建过程中。应用于室内外定位导航解决方案中，例如AR导航等。对于图像特征不可靠的场景，例如重复纹理较多、光照变化、弱纹理的场景中，能够极大提升地图精度。同时，由于本方案的方法由于在数据采集阶段就确定了回环区域的图像，避免了在图像匹配检索时的全局暴力匹配，能够大大节省运算时间。避免了图像误匹配情况，能够极大增加建图的成功率。区别于传统方法，充分利用数据采集的先验信息直接确定回环帧的位置，得到更为准确的全局图像连通图，为三维重建的后续步骤提供了很好的输入。并且该方案操作简便，亦可作为对已有的三维重建方案的补充，与其他回环筛选手段相结合。相比其它案例具有较大的使用优势。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图4所示，本示例的实施方式中还提供一种基于图像的三维重建装置40，包括：数据采集模块401、第一图像匹配模块402第二图像匹配模块403和重建模块404。其中，
所述数据采集模块401可以用于用于按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域。
所述第一图像匹配模块402可以用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系。
所述第二图像匹配模块403可以用于根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系。
所述重建模块404可以用于基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
在本公开的一种示例中，所述装置40还可以包括：路线规划模块(图中未示出)。
所述路线规划模块可以用于按预设规则对所述目标环境进行路线规划，以获取多个基本采集路程；以及为各所述基本采集路程配置至少一个回环采集区域；并为各所述回环采集区域配置对应的区域标识。
在本公开的一种示例中，所述第一图像匹配模块402可以用于对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。
在本公开的一种示例中，所述数据采集模块401还可以用于在按预设路线进行图像采集时，标记进入、离开所述回环采集区域的时间以生成时间对，以利用所述时间对和各图像的采集时间确定各所述回环采集区域对应的第二图像集合。
在本公开的一种示例中，所述回环采集区域对应有至少一个所述第二图像集合；所述第二图像匹配模块403还可以用于：对所述回环采集区域对应的全部第二图像集合中的全部图像，任意选取两图像进行特征匹配，以根据特征匹配结果筛选所述回环采集区域对应的第二图像匹配对。
在本公开的一种示例中，所述数据采集模块401还可以用于采集各所述图像对应的位置信息。
在本公开的一种示例中，所述装置40还可以包括：数据校验模块(图中未示出)。
所述数据校验模块可以用于
基于所述图像的位置信息对所述全局匹配关系进行验证，以删除错误的匹配关系。
上述的基于图像的三维重建装置中各模块的具体细节已经在对应的基于图像的三维重建方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图5示出了适于用来实现本发明实施例的电子设备的示意图。
需要说明的是，图5示出的电子设备500仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500包括中央处理单元(Central Processing Unit，CPU)501，其可以根据存储在只读存储器(Read-Only Memory，ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory，RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。
具体来说，上述的电子设备可以是手机、平板电脑或者笔记本电脑等智能移动终端设备。或者，上述的电子设备也可以是台式电脑等智能终端设备。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
需要说明的是，作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1或图2所示的各个步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种基于图像的三维重建方法，其特征在于，包括：
按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域；
在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；
基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
2.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述方法还包括：
按预设规则对所述目标环境进行路线规划，以获取多个基本采集路程；以及
为各所述基本采集路程配置至少一个回环采集区域；并为各所述回环采集区域配置对应的区域标识。
3.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述对所述第一图像与所述后序图像进行特征点匹配，以筛选所述第一图像匹配的后序图像，并建立所述第一图像与所述后序图像的匹配关系，包括：
对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；
利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；
基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；
若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。
4.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述按预设路线进行图像采集时，所述方法还包括：
标记进入、离开所述回环采集区域的时间以生成时间对，以利用所述时间对和各图像的采集时间确定各所述回环采集区域对应的第二图像集合。
5.根据权利要求4所述的基于图像的三维重建方法，其特征在于，所述回环采集区域对应有至少一个所述第二图像集合；
所述对所述第二图像集合中的图像进行暴力匹配，包括：
对所述回环采集区域对应的全部第二图像集合中的全部图像，任意选取两图像进行特征匹配，以根据特征匹配结果筛选所述回环采集区域对应的第二图像匹配对。
6.根据权利要求1所述的基于图像的三维重建方法，其特征在于，所述按预设路线进行图像采集以获取图像序列时，所述方法还包括：
采集各所述图像对应的位置信息。
7.根据权利要求6所述的基于图像的三维重建方法，其特征在于，所述构建全局匹配关系之后，所述方法还包括：
基于所述图像的位置信息对所述全局匹配关系进行验证，以删除错误的匹配关系。
8.一种基于图像的三维重建装置，其特征在于，包括：
数据采集模块，用于按预设路线进行图像采集以获取图像序列，并标记各图像的采集时间；其中，所述预设路线包括基本采集路程，以及对应的回环采集区域；
第一匹配模块，用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及
回环匹配模块，用于根据所述图像的采集时间获取各所述回环采集区域对应的第二图像集合，并对所述第二图像集合中的图像进行暴力匹配，以获取所述的第二图像集合中第二图像匹配对并建立对应的匹配关系；
重建模块，用于基于所述第一图像对应的第一图像匹配对和所述第二匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于图像的三维重建方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于图像的三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011293212.5A CN112270748B (zh) | 2020-11-18 | 2020-11-18 | 基于图像的三维重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011293212.5A CN112270748B (zh) | 2020-11-18 | 2020-11-18 | 基于图像的三维重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270748A true CN112270748A (zh) | 2021-01-26 |
| CN112270748B CN112270748B (zh) | 2024-03-19 |
Family
ID=74339638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011293212.5A Active CN112270748B (zh) | 2020-11-18 | 2020-11-18 | 基于图像的三维重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270748B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706592A (zh) * | 2021-08-24 | 2021-11-26 | 北京百度网讯科技有限公司 | 一种定位信息的修正方法、装置、电子设备和存储介质 |
| WO2024032668A1 (zh) * | 2022-08-10 | 2024-02-15 | 先临三维科技股份有限公司 | 三维重建方法及装置、系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017128934A1 (zh) * | 2016-01-29 | 2017-08-03 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| US20200043189A1 (en) * | 2017-01-13 | 2020-02-06 | Zhejiang University | Simultaneous positioning and dense three-dimensional reconstruction method |
| CN111174799A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 地图构建方法及装置、计算机可读介质、终端设备 |
| CN111833447A (zh) * | 2020-07-13 | 2020-10-27 | Oppo广东移动通信有限公司 | 三维地图构建方法、三维地图构建装置及终端设备 |
-
2020
- 2020-11-18 CN CN202011293212.5A patent/CN112270748B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017128934A1 (zh) * | 2016-01-29 | 2017-08-03 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| US20200043189A1 (en) * | 2017-01-13 | 2020-02-06 | Zhejiang University | Simultaneous positioning and dense three-dimensional reconstruction method |
| CN111174799A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 地图构建方法及装置、计算机可读介质、终端设备 |
| CN111833447A (zh) * | 2020-07-13 | 2020-10-27 | Oppo广东移动通信有限公司 | 三维地图构建方法、三维地图构建装置及终端设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706592A (zh) * | 2021-08-24 | 2021-11-26 | 北京百度网讯科技有限公司 | 一种定位信息的修正方法、装置、电子设备和存储介质 |
| WO2024032668A1 (zh) * | 2022-08-10 | 2024-02-15 | 先临三维科技股份有限公司 | 三维重建方法及装置、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270748B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Stage-wise salient object detection in 360 omnidirectional image via object-level semantical saliency ranking | |
| Schöning et al. | Evaluation of multi-view 3D reconstruction software | |
| US11816810B2 (en) | 3-D reconstruction using augmented reality frameworks | |
| CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| EP3998582A1 (en) | Three-dimensional model generation method and three-dimensional model generation device | |
| Zhao et al. | RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap | |
| CN112258647B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| CN110378995A (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN113052880A (zh) | 一种sfm稀疏重建方法、系统及应用 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| CN110849380A (zh) | 一种基于协同vslam的地图对齐方法及系统 | |
| CN112288817A (zh) | 基于图像的三维重建处理方法及装置 | |
| CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
| Halperin et al. | Clear Skies Ahead: Towards Real‐Time Automatic Sky Replacement in Video | |
| Masiero et al. | An ISVD-based Euclidian structure from motion for smartphones | |
| CN114332174A (zh) | 轨迹图像对齐方法、装置、计算机设备以及存储介质 | |
| Boukamcha et al. | A real-time auto calibration technique for stereo camera | |
| Rastgar | Robust self-calibration and fundamental matrix estimation in 3D computer vision | |
| Onyango | Multi-resolution automated image registration | |
| Lorenz Wendt et al. | Markerless outdoor localisation based on sift descriptors for mobile applications | |
| Masher | Accurately scaled 3-D scene reconstruction using a moving monocular camera and a single-point depth sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |