CN112106113A - 三维重建中图像的位姿信息确定方法和装置 - Google Patents
三维重建中图像的位姿信息确定方法和装置 Download PDFInfo
- Publication number
- CN112106113A CN112106113A CN201980030549.6A CN201980030549A CN112106113A CN 112106113 A CN112106113 A CN 112106113A CN 201980030549 A CN201980030549 A CN 201980030549A CN 112106113 A CN112106113 A CN 112106113A
- Authority
- CN
- China
- Prior art keywords
- frame image
- current frame
- pose information
- image
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004590 computer program Methods 0.000 claims description 11
- 230000036544 posture Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种三维重建中图像的位姿信息确定方法和装置，该方法包括：获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中可移动平台包括用于测量可移动平台的位置信息和云台的姿态信息的传感器(S110)；当对当前帧图像重定位失败时，提取上一帧图像的特征点，并确定当前帧图像和上一帧图像对应的特征点匹配对(S120)；当特征点匹配对满足预设匹配成功的条件时，根据特征点匹配对确定当前帧图像相对于上一帧图像的相对位姿信息，并根据相对位姿信息和拍摄当前帧图像时传感器测量的位置信息和姿态信息确定当前帧图像的位姿信息(S130)。上述三维重建中图像的位姿信息确定方案有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。
Description
技术领域
本发明总体涉及三维重建技术领域，更具体地涉及一种三维重建中图像的位姿信息确定方法和装置。
背景技术
目前，实时三维重建同步进行两个模块算法，分别为前端跟踪线程和后端建图线程。前端跟踪线程的一个重要作用是实时确定拍摄装置在拍摄图像时的位姿信息，后端建图线程利用所述位姿信息来建图，如果跟踪过程不能给出相应的位置和姿态则重建失败，因此实时三维重建的鲁棒性极大地依赖同步定位与建图算法的鲁棒性。
在传统的前端跟踪线程中，分为三个阶段：初始化、跟踪和重定位，当当前帧图像的跟踪失败时就会启动重定位过程，即对全局地图中所有的图像帧(例如关键帧图像)进行相似度搜索找到与当前帧图像最匹配的图像帧，使用找到的图像帧再次进行跟踪计算当前帧图像对应的拍摄装置的位信息姿。然而，在某些情况中，重定位过程中找不到符合要求的图像帧，无法确定当前帧图像的位姿信息，这样会导致实时三维重建将无法继续进行或者当前帧图像无法利用。
发明内容
为了解决上述问题而提出了本发明。本发明提供一种三维重建中图像的位姿信息确定方案，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。下面简要描述本发明提出的三维重建中图像的位姿信息确定方案，更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面，提供了一种三维重建中图像的位姿信息确定方法，所述方法包括：获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
根据本发明另一方面，提供了一种三维重建中图像的位姿信息确定装置，所述装置包括存储装置和处理器，其中，所述存储装置，用于存储程序代码，所述处理器，执行所述程序代码，当所述程序代码执行时，用于：获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
根据本发明再一方面，提供了一种可移动平台，所述可移动平台包括如上所述的三维重建中图像的位姿信息确定装置。
根据本发明又一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如上所述的三维重建中图像的位姿信息确定方法。
根据本发明实施例的三维重建中图像的位姿信息确定方法、装置、可移动平台和存储介质在对当前帧图像重定位失败的情况下，基于当前帧图像和上一帧图像之间的特征匹配得到当前帧图像相对于上一帧图像的相对位姿信息，并基于该相对位姿信息和拍摄图像的拍摄装置所位于的可移动平台上的传感器位姿信息确定当前帧图像的位姿信息，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。
附图说明
图1示出根据本发明实施例的三维重建中图像的位姿信息确定方法的示意性流程图；
图2示出根据本发明另一实施例的三维重建中图像的位姿信息确定方法的示意性流程图；
图3示出根据本发明再一实施例的三维重建中图像的位姿信息确定方法的示意性流程图；
图4示出根据本发明又一实施例的三维重建中图像的位姿信息确定方法的示意性流程图；
图5示出根据本发明实施例的三维重建中图像的位姿信息确定装置的示意性框图；以及
图6示出根据本发明实施例的可移动平台的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明提出的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
下面参照图1描述根据本发明实施例的三维重建中图像的位姿信息确定方法。图1示出根据本发明实施例的三维重建中图像的位姿信息确定方法100的示意性流程图。如图1所示，三维重建中图像的位姿信息确定方法100可以包括如下步骤：
在步骤S110，获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器。
在本发明的实施例中，在步骤S110所获取的图像是通过承载在可移动平台(诸如无人机)的云台上的拍摄装置拍摄得到的。为了基于拍摄到的图像进行三维重建，需要获取每一帧图像的位姿信息，该位姿信息是拍摄装置拍摄该帧图像时的位置信息和姿态信息。一般地，在获取到当前帧图像之后，可以首先对当前帧图像执行跟踪，如果跟踪失败，则对当前帧图像进行重定位。下面描述跟踪和重定位的过程。
跟踪的过程可以为如下：将上一帧图像的特征点中得到三维点(即空间中的地图点)的三维位置的特征点在当前帧图像确定对应匹配的特征点，即在所述当前帧图像中找到同名特征点，这是一个3D-2D的跟踪过程。其中，一种实现的方式是对当前帧图像进行特征提取，得到当前帧图像的特征点。接着，可以将上一帧图像的特征点中得到三维点的特征点与当前帧图像的特征点进行匹配。另外一种实现方式是：对上一帧图像的特征点中得到三维点(即空间中的地图点)三维位置的特征点实施KLT算法以在当前帧图像确定对应匹配的特征点。一方面，如果得到的特征点匹配对满足预设匹配成功的条件(例如得到的特征点匹配对的数目达到预定阈值)，则根据假定的当前帧图像的位姿信息(该假定的当前帧图像的位姿信息例如可以基于上一帧图像的位姿信息预测得到)将基于上一帧图像得到的三维点投影至当前帧图像，以得到与所述三维点对应的二维点。接着，并基于二维点与当前帧图像的特征点的匹配关系计算视觉重投影误差，以最小化重投影误差的方式计算得到当前帧图像的位姿信息。另一方面，如果得到的特征点匹配对不满足预设匹配成功的条件(例如得到的特征点匹配对的数目达不到预定阈值)，则表示对当前帧图像的跟踪失败。如果对当前帧图像的跟踪失败，则对当前帧图像进行重定位。可以理解的是，上一帧图像的特征点中得到三维点，所述三维点是至少是所述上一帧图像和所述上一帧图像的上一帧图像共同观测到的。如果上一帧图像的特征点中得到三维点三维位置的特征点在当前帧图像找到了对应匹配的特征点，则要求当前帧图像、上一帧图像和所述上一帧图像的上一帧图像共同观测到所述三维点。然而在某些情况中，当前帧图像、上一帧图像和所述上一帧图像的上一帧图像不能共同观测到所述三维点，这样会导致跟踪失败。重定位的过程可以为如下：对所述上一帧图像之前的图像进行相似度搜索，以搜索与当前帧图像最相似的帧，并基于搜索到的帧对当前帧图像再次进行上述跟踪过程，来计算当前帧图像的位姿信息。如果未搜到与当前帧图像相似的帧，则表示重定位失败。在传统的方案中，如果重定位失败，则无法给出当前帧图像的位姿信息，而使得三维重建无法继续进行。
在本申请的方案中，如果重定位失败，仍有相应的处理方案，如下面的步骤将描述的。
在步骤S120，当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对。
在步骤S130，当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在本发明的实施例中，当对当前帧图像重定位失败时，可以再次将当前帧图像与上一帧图像的特征点进行匹配，与前述跟踪中进行匹配不同的是，此处的特征点匹配不是将上一帧图像的特征点中得到三维点的特征点与当前帧图像的特征点进行匹配，而是将上一帧图像的所有的特征点与当前帧图像的特征点进行匹配，即2D-2D跟踪或者二维跟踪。为了将其与前述的跟踪过程相区分，将重定位失败后的此处操作称为二维跟踪。也就是说，在本发明的实施例中，当对当前帧图像重定位失败时，可以对当前帧图像进行二维跟踪，二维跟踪的过程可以为如下：将上一帧图像的所有特征点与当前帧图像的特征点进行匹配，对上一帧图像的特征点执行特征点匹配算法以确定当前帧图像和上一帧图像对应的特征点匹配对。如果当前帧图像和上一帧图像对应的特征点匹配对满足预设匹配成功的条件(例如得到的特征点匹配对的数目达到预定阈值)，则可以根据所述特征点匹配对确定当前帧图像相对于上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器(即可移动平台上包括的、用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器)测量的可移动平台的位置信息和云台的姿态信息(为了描述方便，传感器测量的可移动平台的位置信息和云台的姿态信息在下文中可以简称为传感器位姿信息)确定所述当前帧图像的位姿信息。其中，此处的传感器可以包括用于测量所述可移动平台的位置信息的实时动态载波相位差分(RTK)定位装置。基于上面的描述，现有技术中的跟踪，要求当前帧图像、上一帧图像和所述上一帧图像的上一帧图像共同观测到所述三维点。本发明实施例中，根据本发明实施例的三维重建中图像的位姿信息确定方法100在对当前帧图像重定位失败的情况下，基于当前帧图像和上一帧图像之间的特征匹配得到当前帧图像相对于上一帧图像的相对位姿信息，并基于该相对位姿信息和拍摄图像的拍摄装置所位于的可移动平台上的传感器位姿信息确定当前帧图像的位姿信息。本发明实施例中只要求当前帧图像和上一帧图像共同观测到三维点，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。
下面参照图2描述根据本发明另一实施例的三维重建中图像的位姿信息确定方法。图2示出根据本发明另一实施例的三维重建中图像的位姿信息确定方法200的示意性流程图。如图2所示，三维重建中图像的位姿信息确定方法200可以包括如下步骤：
在步骤S210，获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器。
在步骤S220，当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对。
在步骤S230，当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在步骤S240，当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
在参考图2描述的根据本申请实施例的三维重建中图像的位姿信息确定方法200中的步骤S210到步骤S230与参考图1描述的根据本申请实施例的三维重建中图像的位姿信息确定方法100中的步骤S110到步骤S130类似，为了简洁，此处不再赘述。与参考图1描述的根据本申请实施例的三维重建中图像的位姿信息确定方法100不同的是，在参考图2描述的根据本申请实施例的三维重建中图像的位姿信息确定方法200还包括步骤S240，即当所述当前帧图像和所述上一帧图像对应的特征点匹配对不满足所述预设匹配成功的条件(例如得到的特征点匹配对的数目达不到预定阈值)时，将拍摄所述当前帧图像时所述传感器测量的可移动平台的位置信息和云台的姿态信息(即传感器位姿信息)确定为所述当前帧图像的位姿信息。
如果当前帧图像和上一帧图像对应的特征点匹配对不满足预设匹配成功的条件，意味着对当前帧图像进行二维跟踪也失败。在本发明的实施例中，当对当前帧图像进行二维跟踪也失败时，可以将拍摄当前帧图像时传感器测量的可移动平台的位置信息和云台的姿态信息(即传感器位姿信息)确定为当前帧图像的位姿信息。由于传感器测量的可移动平台的位置信息和云台的姿态信息总是存在的，因此，根据本发明实施例的三维重建中图像的位姿信息确定方法300无论在任何情况下均能获得当前帧图像的位姿信息。
基于上面的描述，根据本发明实施例的三维重建中图像的位姿信息确定方法300在对当前帧图像重定位失败的情况下，基于当前帧图像和上一帧图像之间的特征匹配得到当前帧图像相对于上一帧图像的相对位姿信息，并基于该相对位姿信息和拍摄图像的拍摄装置所位于的可移动平台上的传感器位姿信息确定当前帧图像的位姿信息，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。此外，根据本发明实施例的三维重建中图像的位姿信息确定方法300在对当前帧图像二维跟踪也失败的情况下，将拍摄当前帧图像时传感器测量的可移动平台的位置信息和云台的姿态信息(即传感器位姿信息)确定为当前帧图像的位姿信息，因而无论在任何情况下均能获得当前帧图像的位姿信息，进一步提高了实时三维重建的鲁棒性。
在本发明进一步的实施例中，在获取当前帧图像的位姿信息后，可以接着获取下一帧图像，根据当前帧图像的位姿信息获取方式的不同，对下一帧图像的处理方式也可以不同。
下面参照图3描述根据本发明再一实施例的三维重建中图像的位姿信息确定方法。图3示出根据本发明再一实施例的三维重建中图像的位姿信息确定方法300的示意性流程图。如图3所示，三维重建中图像的位姿信息确定方法300可以包括如下步骤：
在步骤S310，获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器。
在步骤S320，当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对。
在步骤S330，当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在步骤S340，获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像，确定所述下一帧图像和所述当前帧图像对应的特征点匹配对，并根据所述下一帧图像和所述当前帧图像的特征点匹配对确定所述下一帧图像的位姿信息。
在参考图3描述的根据本申请实施例的三维重建中图像的位姿信息确定方法300中的步骤S310到步骤S330与参考图1描述的根据本申请实施例的三维重建中图像的位姿信息确定方法100中的步骤S110到步骤S130类似，为了简洁，此处不再赘述。与参考图1描述的根据本申请实施例的三维重建中图像的位姿信息确定方法100不同的是，在参考图3描述的根据本申请实施例的三维重建中图像的位姿信息确定方法300还包括步骤S340，即获取下一帧图像，确定下一帧图像和当前帧图像对应的特征点匹配对，并根据下一帧图像和当前帧图像的特征点匹配对确定下一帧图像的位姿信息。此处，应注意，本文中提到的当前帧图像均为第i帧图像，上一帧图像均为第i-1帧图像，下一帧图像均为第i+1帧图像，i为自然数。
在该实施例中，当对当前帧图像进行二维跟踪成功后，得到了当前帧图像的位姿信息，因此可以基于当前帧图像的位姿信息和当前帧图像的上一帧图像对应的特征点匹配对重建出三维点。基于此，在获取当前帧图像的下一帧图像后，可以对下一帧图像进行跟踪，即对下一帧图像进行特征提取，得到下一帧图像的特征点。接着，可以将当前帧图像的特征点中得到三维点的特征点与下一帧图像的特征点进行匹配。一方面，如果得到的特征点匹配对满足预设匹配成功的条件(例如得到的特征点匹配对的数目达到预定阈值)，则根据假定的下一帧图像的位姿信息(该假定的下一帧图像的位姿信息例如可以基于当前帧图像的位姿信息以及可移动平台的移动速度而得到)将基于当前帧图像得到的三维点投影至下一帧图像，以得到与所述三维点对应的二维点。接着，将这些二维点与下一帧图像的特征点进行匹配，并基于匹配关系计算视觉重投影误差，以最小化重投影误差的方式计算得到下一帧图像的位姿信息。另一方面，如果得到的特征点匹配对不满足预设匹配成功的条件(例如得到的特征点匹配对的数目达不到预定阈值)，则表示对下一帧图像的跟踪失败。如果对下一帧图像的跟踪失败，则对下一帧图像进行重定位。如果对下一帧图像重定位失败，则对下一帧图像进行上述的二维跟踪。如果对下一帧图像二维跟踪也失败，则采用传感器位姿信息作为下一帧图像的位姿信息。
下面参照图4描述根据本发明又一实施例的三维重建中图像的位姿信息确定方法。图4示出根据本发明又一实施例的三维重建中图像的位姿信息确定方法400的示意性流程图。如图4所示，三维重建中图像的位姿信息确定方法400可以包括如下步骤：
在步骤S410，获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器。
在步骤S420，当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对。
在步骤S430，当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在步骤S440，当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
在步骤S450，获取下一帧图像，并对所述下一帧图像进行重定位。
在参考图4描述的根据本申请实施例的三维重建中图像的位姿信息确定方法400中的步骤S410到步骤S440与参考图2描述的根据本申请实施例的三维重建中图像的位姿信息确定方法200中的步骤S210到步骤S240类似，为了简洁，此处不再赘述。与参考图2描述的根据本申请实施例的三维重建中图像的位姿信息确定方法200不同的是，在参考图4描述的根据本申请实施例的三维重建中图像的位姿信息确定方法400还包括步骤S450，即获取下一帧图像，并对所述下一帧图像进行重定位。
在该实施例中，当对当前帧图像进行二维跟踪失败后，将传感器位姿信息确定为了当前帧图像的位姿信息，二维跟踪的失败意味着当前帧图像和上一帧图像之间的特征点匹配对不足以建立新的三维点，因此在获取下一帧图像之后，无法对下一帧图像进行跟踪，只能对下一帧图像进行重定位，即对所述当前帧图像之前的图像进行相似度搜索，以搜索与下一帧图像最相似的帧，并基于搜索到的帧对下一帧图像再次进行上述跟踪过程，来计算下一帧图像的位姿信息。如果未搜到与下一帧图像相似的帧，则表示重定位失败。如果对下一帧图像重定位失败，则对下一帧图像进行二维跟踪，如果二维跟踪也失败，则将传感器位姿信息作为下一帧图像的位姿信息。
以上结合图1到图2描述了根据本发明实施例的三维重建中图像的位姿信息确定方法关于对当前帧图像的位姿信息的确定方式，并结合图3到图4描述了在当前帧图像的位姿信息的不同确定方式下，对下一帧图像的位姿信息的确定方式。下面描述当前帧的位姿信息确定之后的操作。
在本发明进一步的实施例中，如果当前帧图像的位姿信息是根据当前帧图像与上一帧图像之间的相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的可移动平台的位置信息和云台的姿态信息确定的(即当前帧图像的位姿信息是通过二维跟踪方式确定的)，则可以基于当前帧图像的位姿信息确定当前帧图像和上一帧图像对应的特征点匹配对对应的地图点(即进行三维点的重建)。如果当前帧图像的位姿信息是被确定为拍摄所述当前帧图像时所述传感器测量的可移动平台的位置信息和云台的姿态信息(即当前帧图像的位姿信息被确定为是传感器位姿信息)，则由于传感器位姿信息的精度有限，可以根据当前帧图像的后续图像对当前帧图像的位姿信息进行优化。
具体地，可以获取所述当前帧图像之后所述拍摄装置拍摄的后续图像，并确定所述后续图像和所述当前帧图像对应的特征点匹配对，并根据所述后续图像和所述当前帧图像对应的特征点匹配对对所述当前帧图像的位姿信息进行优化。进一步地，该后续图像可以是当前帧图像之后的全部图像，也可以是当前帧图像之后的部分图像(诸如某些关键帧图像)。进一步地，在获取所述后续图像之后，可以先获取所述后续图像的位姿信息，并根据所述后续图像的位姿信息确定预设区域范围。如果所述当前帧图像是在所述预设区域范围内拍摄，则可以确定所述后续图像和所述当前帧图像对应的特征点匹配对；如果所述当前帧图像不是在所述预设区域范围内拍摄，则可能无法确定出所述后续图像和所述当前帧图像对应的特征点匹配对，或所确定的特征点匹配对不满足预设匹配成功的条件。总之，可以根据后续图像对当前帧图像的位姿信息进行优化，以进一步提高三维重建的鲁棒性。
以上示例性地描述了根据本发明实施例的三维重建中图像的位姿信息确定方法。基于上面的描述，根据本发明实施例的三维重建中图像的位姿信息确定方法在对当前帧图像重定位失败的情况下，基于当前帧图像和上一帧图像之间的特征匹配得到当前帧图像相对于上一帧图像的相对位姿信息，并基于该相对位姿信息和拍摄图像的拍摄装置所位于的可移动平台上的传感器位姿信息确定当前帧图像的位姿信息，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。此外，根据本发明实施例的三维重建中图像的位姿信息确定方法在对当前帧图像二维跟踪也失败的情况下，将拍摄当前帧图像时传感器测量的可移动平台的位置信息和云台的姿态信息(即传感器位姿信息)确定为当前帧图像的位姿信息，因而无论在任何情况下均能获得当前帧图像的位姿信息，进一步提高了实时三维重建的鲁棒性。进一步地，根据本发明实施例的三维重建中图像的位姿信息确定方法还可以根据后续图像对当前帧图像的位姿信息进行优化，以进一步提高三维重建的鲁棒性。
下面结合图5描述根据本发明另一方面提供的三维重建中图像的位姿信息确定装置。图5示出了根据本发明实施例的三维重建中图像的位姿信息确定装置500的示意性框图。三维重建中图像的位姿信息确定装置500包括存储装置510以及处理器520。
其中，存储装置510存储用于实现根据本发明实施例的三维重建中图像的位姿信息确定方法中的相应步骤的程序代码。处理器520用于运行存储装置510中存储的程序代码，以执行根据本发明实施例的三维重建中图像的位姿信息确定方法的相应步骤。本领域技术人员可以参照图1到图4结合前文关于图1到图4的描述理解根据本发明实施例的三维重建中图像的位姿信息确定装置500中处理器520的详细操作，为了简洁，此处仅简要描述处理器520的主要操作。
在一个实施例中，在所述程序被处理器520运行时使得三维重建中图像的位姿信息确定装置500执行以下步骤：获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在一个实施例中，在所述程序被处理器520运行时还使得三维重建中图像的位姿信息确定装置500执行以下步骤：当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
在一个实施例中，在所述程序被处理器520运行时还使得三维重建中图像的位姿信息确定装置500执行以下步骤：获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；以及当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，对所述下一帧图像进行重定位。
在一个实施例中，在所述程序被处理器520运行时还使得三维重建中图像的位姿信息确定装置500执行以下步骤：获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，确定所述下一帧图像和所述当前帧图像对应的特征点匹配对；以及根据所述下一帧图像和所述当前帧图像的特征点匹配对确定所述下一帧图像的位姿信息。
在一个实施例中，当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，所述当前帧图像的位姿信息用于确定所述当前帧图像和所述上一帧图像对应的特征点匹配对对应的地图点。
在一个实施例中，当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，在所述程序被处理器520运行时还使得三维重建中图像的位姿信息确定装置500执行以下步骤：获取所述当前帧图像之后所述拍摄装置拍摄的后续图像，并确定所述后续图像和所述当前帧图像对应的特征点匹配对；以及根据所述后续图像和所述当前帧图像对应的特征点匹配对对所述当前帧图像的位姿信息进行优化。
在一个实施例中，在所述程序被处理器520运行时还使得三维重建中图像的位姿信息确定装置500执行以下步骤：在确定所述后续图像和所述当前帧图像对应的特征点匹配对之前，获取所述后续图像的位姿信息，并根据所述后续图像的位姿信息确定预设区域范围；以及确定所述当前帧图像是否在所述预设区域范围内拍摄，如果确定所述当前帧图像是在所述预设区域范围内拍摄，则确定所述后续图像和所述当前帧图像对应的特征点匹配对。
在一个实施例中，所述传感器包括用于测量所述可移动平台的位置信息的实时动态载波相位差分定位装置。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的三维重建中图像的位姿信息确定方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时可以执行根据本发明实施例的三维重建中图像的位姿信息确定方法。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；以及当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，对所述下一帧图像进行重定位。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，确定所述下一帧图像和所述当前帧图像对应的特征点匹配对；以及根据所述下一帧图像和所述当前帧图像的特征点匹配对确定所述下一帧图像的位姿信息。
在一个实施例中，当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，所述当前帧图像的位姿信息用于确定所述当前帧图像和所述上一帧图像对应的特征点匹配对对应的地图点。
在一个实施例中，当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：获取所述当前帧图像之后所述拍摄装置拍摄的后续图像，并确定所述后续图像和所述当前帧图像对应的特征点匹配对；以及根据所述后续图像和所述当前帧图像对应的特征点匹配对对所述当前帧图像的位姿信息进行优化。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：在确定所述后续图像和所述当前帧图像对应的特征点匹配对之前，获取所述后续图像的位姿信息，并根据所述后续图像的位姿信息确定预设区域范围；以及确定所述当前帧图像是否在所述预设区域范围内拍摄，如果确定所述当前帧图像是在所述预设区域范围内拍摄，则确定所述后续图像和所述当前帧图像对应的特征点匹配对。
在一个实施例中，所述传感器包括用于测量所述可移动平台的位置信息的实时动态载波相位差分定位装置。
此外，根据本发明实施例，还提供了一种可移动平台，所述可移动平台可以包括前述的根据本发明实施例的三维重建中图像的位姿信息确定装置。下面结合图6描述根据本发明另一方面提供的可移动平台。图6示出了根据本发明实施例的可移动平台600的示意性框图。如图6所示，可移动平台600包括云台610、拍摄装置620、传感器630和三维重建中图像的位姿信息确定装置640。其中，拍摄装置620用于搭载在可移动平台600的云台610上，并在可移动平台600的移动中对目标测区拍摄图像。三维重建中图像的位姿信息确定装置640用于基于拍摄装置600拍摄的图像以及传感器630采测量的可移动平台600的位置信息和云台610的姿态信息来确定每帧图像的位姿信息。本领域技术人员可以参照图5结合前文关于图5的描述理解根据本发明实施例的可移动平台600中的三维重建中图像的位姿信息确定装置640的详细操作，为了简洁，此处不再赘述。
以上示例性地描述了根据本发明实施例的三维重建中图像的位姿信息确定方法、装置、存储介质和可移动平台。基于上面的描述，根据本发明实施例的三维重建中图像的位姿信息确定方法、装置、存储介质和可移动平台在对当前帧图像重定位失败的情况下，基于当前帧图像和上一帧图像之间的特征匹配得到当前帧图像相对于上一帧图像的相对位姿信息，并基于该相对位姿信息和拍摄图像的拍摄装置所位于的可移动平台上的传感器位姿信息确定当前帧图像的位姿信息，有效避免了重定位失败则无法三维重建的问题，提高了实时三维重建的鲁棒性。此外，根据本发明实施例的三维重建中图像的位姿信息确定方法、装置、存储介质和可移动平台在对当前帧图像二维跟踪也失败的情况下，将拍摄当前帧图像时传感器测量的可移动平台的位置信息和云台的姿态信息(即传感器位姿信息)确定为当前帧图像的位姿信息，因而无论在任何情况下均能获得当前帧图像的位姿信息，进一步提高了实时三维重建的鲁棒性。进一步地，根据本发明实施例的三维重建中图像的位姿信息确定方法、装置、存储介质和可移动平台还可以根据后续图像对当前帧图像的位姿信息进行优化，以进一步提高三维重建的鲁棒性。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (18)
1.一种三维重建中图像的位姿信息确定方法，其特征在于，所述方法包括：
获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；
当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及
当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；以及
当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，对所述下一帧图像进行重定位。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；
当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，确定所述下一帧图像和所述当前帧图像对应的特征点匹配对；以及
根据所述下一帧图像和所述当前帧图像的特征点匹配对确定所述下一帧图像的位姿信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，所述当前帧图像的位姿信息用于确定所述当前帧图像和所述上一帧图像对应的特征点匹配对对应的地图点。
6.根据权利要求1-4中的任一项所述的方法，其特征在于，当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，所述方法还包括：
获取所述当前帧图像之后所述拍摄装置拍摄的后续图像，并确定所述后续图像和所述当前帧图像对应的特征点匹配对；以及
根据所述后续图像和所述当前帧图像对应的特征点匹配对对所述当前帧图像的位姿信息进行优化。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在确定所述后续图像和所述当前帧图像对应的特征点匹配对之前，获取所述后续图像的位姿信息，并根据所述后续图像的位姿信息确定预设区域范围；以及
确定所述当前帧图像是否在所述预设区域范围内拍摄，如果确定所述当前帧图像是在所述预设区域范围内拍摄，则确定所述后续图像和所述当前帧图像对应的特征点匹配对。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述传感器包括用于测量所述可移动平台的位置信息的实时动态载波相位差分定位装置。
9.一种三维重建中图像的位姿信息确定装置，其特征在于，所述装置包括存储装置和处理器，其中，
所述存储装置，用于存储程序代码；
所述处理器，执行所述程序代码，当所述程序代码执行时，用于：
获取承载在可移动平台的云台上的拍摄装置拍摄的当前帧图像，其中，所述可移动平台包括用于测量所述可移动平台的位置信息和所述云台的姿态信息的传感器；
当对所述当前帧图像重定位失败时，提取所述当前帧图像的上一帧图像的特征点，并根据所述上一帧图像的特征点执行特征点匹配算法以确定所述当前帧图像和所述上一帧图像对应的特征点匹配对；以及
当所述特征点匹配对满足预设匹配成功的条件时，根据所述特征点匹配对确定所述当前帧图像相对于所述上一帧图像的相对位姿信息，并根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定所述当前帧图像的位姿信息。
10.根据权利要求9所述的装置，其特征在于，所述处理器还用于：
当所述特征点匹配对不满足所述预设匹配成功的条件时，将拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定为所述当前帧图像的位姿信息。
11.根据权利要求10所述的装置，其特征在于，所述处理器还用于：
获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；以及
当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，对所述下一帧图像进行重定位。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述处理器还用于：
获取所述拍摄装置拍摄的所述当前帧图像的下一帧图像；
当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，确定所述下一帧图像和所述当前帧图像对应的特征点匹配对；以及
根据所述下一帧图像和所述当前帧图像的特征点匹配对确定所述下一帧图像的位姿信息。
13.根据权利要求9-12任一项所述的装置，其特征在于，当所述当前帧图像的位姿信息是根据所述相对位姿信息以及拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息确定的时，所述当前帧图像的位姿信息用于确定所述当前帧图像和所述上一帧图像对应的特征点匹配对对应的地图点。
14.根据权利要求9-12中的任一项所述的装置，其特征在于，当所述当前帧图像的位姿信息是拍摄所述当前帧图像时所述传感器测量的所述位置信息和所述姿态信息时，所述处理器还用于：
获取所述当前帧图像之后所述拍摄装置拍摄的后续图像，并确定所述后续图像和所述当前帧图像对应的特征点匹配对；以及
根据所述后续图像和所述当前帧图像对应的特征点匹配对对所述当前帧图像的位姿信息进行优化。
15.根据权利要求14所述的装置，其特征在于，所述处理器还用于：
在确定所述后续图像和所述当前帧图像对应的特征点匹配对之前，获取所述后续图像的位姿信息，并根据所述后续图像的位姿信息确定预设区域范围；以及
确定所述当前帧图像是否在所述预设区域范围内拍摄，如果确定所述当前帧图像是在所述预设区域范围内拍摄，则确定所述后续图像和所述当前帧图像对应的特征点匹配对。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述传感器包括用于测量所述可移动平台的位置信息的实时动态载波相位差分定位装置。
17.一种可移动平台，其特征在于，所述可移动平台包括权利要求9-16中的任一项的三维重建中图像的位姿信息确定装置。
18.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-8中的任一项所述的三维重建中图像的位姿信息确定方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/105923 WO2021051227A1 (zh) | 2019-09-16 | 2019-09-16 | 三维重建中图像的位姿信息确定方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112106113A true CN112106113A (zh) | 2020-12-18 |
Family
ID=73748378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980030549.6A Pending CN112106113A (zh) | 2019-09-16 | 2019-09-16 | 三维重建中图像的位姿信息确定方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112106113A (zh) |
| WO (1) | WO2021051227A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950710A (zh) * | 2021-02-24 | 2021-06-11 | 广州极飞科技股份有限公司 | 位姿确定方法、装置、电子设备和计算机可读存储介质 |
| CN113409388A (zh) * | 2021-05-18 | 2021-09-17 | 深圳市乐纯动力机器人有限公司 | 扫地机位姿确定方法、装置、计算机设备和存储介质 |
| CN116758157A (zh) * | 2023-06-14 | 2023-09-15 | 深圳市华赛睿飞智能科技有限公司 | 一种无人机室内三维空间测绘方法、系统及存储介质 |
| CN117726687A (zh) * | 2023-12-29 | 2024-03-19 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种融合实景三维与视频的视觉重定位方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080239279A1 (en) * | 2007-03-28 | 2008-10-02 | Honeywell International Inc. | Ladar-based motion estimation for navigation |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| CN108648235A (zh) * | 2018-04-27 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置及存储介质 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| CN110068335A (zh) * | 2019-04-23 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种gps拒止环境下无人机集群实时定位方法及系统 |
-
2019
- 2019-09-16 WO PCT/CN2019/105923 patent/WO2021051227A1/zh active Application Filing
- 2019-09-16 CN CN201980030549.6A patent/CN112106113A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080239279A1 (en) * | 2007-03-28 | 2008-10-02 | Honeywell International Inc. | Ladar-based motion estimation for navigation |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| CN108648235A (zh) * | 2018-04-27 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置及存储介质 |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| CN110068335A (zh) * | 2019-04-23 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种gps拒止环境下无人机集群实时定位方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950710A (zh) * | 2021-02-24 | 2021-06-11 | 广州极飞科技股份有限公司 | 位姿确定方法、装置、电子设备和计算机可读存储介质 |
| CN113409388A (zh) * | 2021-05-18 | 2021-09-17 | 深圳市乐纯动力机器人有限公司 | 扫地机位姿确定方法、装置、计算机设备和存储介质 |
| CN116758157A (zh) * | 2023-06-14 | 2023-09-15 | 深圳市华赛睿飞智能科技有限公司 | 一种无人机室内三维空间测绘方法、系统及存储介质 |
| CN116758157B (zh) * | 2023-06-14 | 2024-01-30 | 深圳市华赛睿飞智能科技有限公司 | 一种无人机室内三维空间测绘方法、系统及存储介质 |
| CN117726687A (zh) * | 2023-12-29 | 2024-03-19 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种融合实景三维与视频的视觉重定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021051227A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112106113A (zh) | 三维重建中图像的位姿信息确定方法和装置 | |
| US10088294B2 (en) | Camera pose estimation device and control method | |
| CN102640185B (zh) | 图像序列中对象实时表示的混合跟踪的方法和设备 | |
| US8452080B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
| CN108986164B (zh) | 基于图像的位置检测方法、装置、设备及存储介质 | |
| US9330471B2 (en) | Camera aided motion direction and speed estimation | |
| CN104487915B (zh) | 维持扩增的连续性 | |
| EP2915138B1 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
| JP5722502B2 (ja) | モバイルデバイスのための平面マッピングおよびトラッキング | |
| do Monte Lima et al. | Model based markerless 3D tracking applied to augmented reality | |
| US9805331B2 (en) | Smartphone-based asset management system | |
| US20170263003A1 (en) | Tracking objects between images | |
| CN111445526B (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| US10545031B2 (en) | Portable terminal device, recording medium, and correction method | |
| US9064171B2 (en) | Detection device and method for transition area in space | |
| KR20170113122A (ko) | 정보 처리장치 및 그 제어방법 | |
| CN113190120B (zh) | 位姿获取方法、装置、电子设备及存储介质 | |
| CN113743177A (zh) | 关键点检测方法、系统、智能终端和存储介质 | |
| JP2010044448A (ja) | 画像処理装置および画像処理方法 | |
| CN110728172B (zh) | 基于点云的人脸关键点检测方法、装置、系统及存储介质 | |
| JP7028729B2 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
| CN108734721B (zh) | 追踪系统以及追踪方法 | |
| Lima et al. | Model based 3d tracking techniques for markerless augmented reality | |
| CN113567149B (zh) | 用户拍摄意图的识别方法、装置及设备 | |
| CN116862979A (zh) | 重定位方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201218 |