CN112529848B - 全景图更新方法、装置、可读介质以及设备 - Google Patents

全景图更新方法、装置、可读介质以及设备 Download PDF

Info

Publication number
CN112529848B
CN112529848B CN202011354675.8A CN202011354675A CN112529848B CN 112529848 B CN112529848 B CN 112529848B CN 202011354675 A CN202011354675 A CN 202011354675A CN 112529848 B CN112529848 B CN 112529848B
Authority
CN
China
Prior art keywords
panorama
matched
image
projection image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011354675.8A
Other languages
English (en)
Other versions
CN112529848A (zh
Inventor
李虎民
郭家斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202011354675.8A priority Critical patent/CN112529848B/zh
Publication of CN112529848A publication Critical patent/CN112529848A/zh
Application granted granted Critical
Publication of CN112529848B publication Critical patent/CN112529848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种全景图更新方法、装置、可读介质以及设备，该方法通过获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像；将新全景图的投影图像分别与旧全景图的投影图像进行特征匹配，确定出相匹配投影图组；选取出一组相匹配投影图组；利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息。本申请中只需要新全景图和旧全景图即可完成全景图更新，相较于现有的全景图更新方法更为便捷、高效率、且成本更低。

Description

全景图更新方法、装置、可读介质以及设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种全景图更新方法、装置、可读介质以及设备。
背景技术
现有的虚拟现实(Virtual Reality，VR)技术中，为了增加VR全景图的立体感、以及准确显示VR全景图中的透视关系，通常会将VR全景图显示至一个三维的模型中，该模型通过传感器扫描场景构建得到。而将VR全景图放置到模型中时，需要利用VR全景图相对于模型的六自由度位姿信息，实现准确放置VR全景图。由于初次建立模型时，拍摄VR全景图的相机与构建模型的传感器的位置一致，因此通过构建模型的传感器的位置就能够确定出VR全景图的六自由度位姿信息。然而，当在其他位置拍摄VR全景图时，则需要重新获取新VR全景图相对于原本构建的模型的六自由度位姿，进而才能准确的将新VR全景图放置在模型中，实现VR全景图的更新。
现有的全景图更新方法中，通常需要将构建模型的传感器移动至拍摄新VR全景图的点位处，重新扫描场景，构建一个新的模型，然后利用新构建的模型与原本构建的模型之间的关联性，得到新全景图在原本构建的模型中的六自由度位姿，实现将新VR全景图放置至原本构建好的模型中。由于每一次更新VR全景图都需要将构建模型的传感器移动至相应的拍摄点位以及重新扫描构建模型，使得更新VR全景图的过程过于繁琐，不能满足用户想要快速便捷的更新VR全景图的需求。
发明内容
基于上述现有技术的不足，本申请提供了一种全景图更新方法、装置、可读介质以及设备，以实现不需要构建新模型的情况下，快速便捷的得到新全景图在模型中的六自由度位姿。
本申请第一方面公开了一种全景图更新方法，包括：
获取新全景图进行投影后的多张投影图像、以及所述新全景图对应的旧全景图进行投影后的多张投影图像；
将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组；其中，所述特征点为能够表征图像特征的像素点；
从确定出的至少一组所述相匹配投影图组中，选取出一组所述相匹配投影图组；
利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在所述模型中的最终六自由度位姿信息；其中，所述新全景图在所述模型中的最终六自由度位姿信息用于确定出所述新全景图在所述模型中的实际放置位姿。
可选地，在上述全景图更新方法中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息的确定方法，包括：
利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的深度、以及所述旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，计算得到所述旧全景图的投影图像中的每一个所述相匹配的特征点在所述模型中的三自由度位置信息。
可选地，在上述全景图更新方法中，所述旧全景图的投影图像中的每一个相匹配的特征点的深度的确定方法，包括：
针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息以及所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
可选地，在上述全景图更新方法中，所述利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在所述模型中的最终六自由度位姿信息之后，还包括：
利用所述相匹配投影图组计算得到的所述新全景图在所述模型中的最终六自由度位姿信息、以及确定出的每一组所述相匹配投影图组中所述旧全景图的投影图像的每一个所述相匹配的特征点在所述模型中的三自由度位置信息，计算得到新全景图的投影图像中的每一个所述相匹配的特征点的估计二自由度位置信息；
将每一组所述相匹配投影图组中，所述新全景图的投影图像中的每一个所述相匹配的特征点的二自由度位置信息，分别与计算得到的所述新全景图的投影图像中每一个所述相匹配的特征点的估计二自由度位置信息作差，得到每一个所述相匹配的特征点的误差值；
利用每一个所述相匹配的特征点的误差值，对所述新全景图在所述模型中的最终六自由度位姿信息进行调整，得到所述新全景图在所述模型中的优化后的最终六自由度位姿信息；其中，所述优化后的最终六自由度位姿信息用于作为所述新全景图放置在所述模型中的实际放置位姿。
可选地，在上述全景图更新方法中，所述将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组，包括：
对每一张所述新全景图的投影图像以及每一张所述旧全景图的投影图像分别进行特征提取，确定出每一张所述新全景图的投影图像中的每一个特征点、以及每一张所述旧全景图的投影图像中的每一个特征点；
针对每一组待匹配投影图组，将所述待匹配投影图组中所述新全景图的投影图像中的每一个特征点，分别与所述待匹配投影图组中所述旧全景图的投影图像的每一个特征点进行匹配，确定出所述待匹配投影图组中相匹配的特征点；其中，所述待匹配投影图组，包括：一张所述新全景图的投影图像和一张所述旧全景图的投影图像；
针对每一组所述待匹配投影图组，若所述待匹配投影图组中相匹配的特征点的数目大于或等于匹配数目阈值，则将所述待匹配投影图组确定为相匹配投影图组。
可选地，在上述全景图更新方法中，所述针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息以及所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度，包括：
针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息，将所述旧全景图的投影图像中的每一个像素点反向投影至所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
可选地，在上述全景图更新方法中，所述针对每一组待匹配投影图组，将所述待匹配投影图组中所述新全景图的投影图像中的每一个特征点，分别与所述待匹配投影图组中所述旧全景图的投影图像的每一个特征点进行匹配，确定出所述待匹配投影图组中相匹配的特征点，包括：
针对每一组待匹配投影图组，识别所述待匹配投影图组中的所述新全景图的投影图像和所述旧全景图的投影图像之间是否存在有描述子一致的特征点，并将识别结果为描述子一致的特征点确定为所述待匹配投影图组中相匹配的特征点。
本申请第二方面公开了一种全景图更新装置，包括：
获取单元，用于获取新全景图进行投影后的多张投影图像、以及所述新全景图对应的旧全景图进行投影后的多张投影图像；
匹配单元，用于将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组；其中，所述特征点为能够表征图像特征的像素点；
选取单元，用于从确定出的至少一组所述相匹配投影图组中，选取出一组所述相匹配投影图组；
确定单元，用于利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在所述模型中的最终六自由度位姿信息；其中，所述新全景图在所述模型中的最终六自由度位姿信息用于确定出所述新全景图在所述模型中的实际放置位姿。
可选地，在上述全景图更新装置中，还包括：
第一计算单元，用于利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的深度、以及所述旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，计算得到所述旧全景图的投影图像中的每一个所述相匹配的特征点在所述模型中的三自由度位置信息。
可选地，在上述全景图更新装置中，还包括：
第二计算单元，用于针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息以及所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
可选地，在上述全景图更新装置中，还包括：
第三计算单元，用于利用所述相匹配投影图组计算得到的所述新全景图在所述模型中的最终六自由度位姿信息、以及确定出的每一组所述相匹配投影图组中所述旧全景图的投影图像的每一个所述相匹配的特征点在所述模型中的三自由度位置信息，计算得到新全景图的投影图像中的每一个所述相匹配的特征点的估计二自由度位置信息；
误差单元，用于将每一组所述相匹配投影图组中，所述新全景图的投影图像中的每一个所述相匹配的特征点的二自由度位置信息，分别与计算得到的所述新全景图的投影图像中每一个所述相匹配的特征点的估计二自由度位置信息作差，得到每一个所述相匹配的特征点的误差值；
调整单元，用于利用每一个所述相匹配的特征点的误差值，对所述新全景图在所述模型中的最终六自由度位姿信息进行调整，得到所述新全景图在所述模型中的优化后的最终六自由度位姿信息；其中，所述优化后的最终六自由度位姿信息用于作为所述新全景图放置在所述模型中的实际放置位姿。
可选地，在上述全景图更新装置中，所述匹配单元，包括：
特征提取子单元，用于对每一张所述新全景图的投影图像以及每一张所述旧全景图的投影图像分别进行特征提取，确定出每一张所述新全景图的投影图像中的每一个特征点、以及每一张所述旧全景图的投影图像中的每一个特征点；
匹配子单元，用于针对每一组待匹配投影图组，将所述待匹配投影图组中所述新全景图的投影图像中的每一个特征点，分别与所述待匹配投影图组中所述旧全景图的投影图像的每一个特征点进行匹配，确定出所述待匹配投影图组中相匹配的特征点；其中，所述待匹配投影图组，包括：一张所述新全景图的投影图像和一张所述旧全景图的投影图像；
确定子单元，用于针对每一组所述待匹配投影图组，若所述待匹配投影图组中相匹配的特征点的数目大于或等于匹配数目阈值，则将所述待匹配投影图组确定为相匹配投影图组。
可选地，在上述全景图更新装置中，所述第二计算单元，包括：
投影子单元，用于针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息，将所述旧全景图的投影图像中的每一个像素点反向投影至所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
可选地，在上述全景图更新装置中，所述匹配子单元，包括：
识别子单元，用于针对每一组待匹配投影图组，识别所述待匹配投影图组中的所述新全景图的投影图像和所述旧全景图的投影图像之间是否存在有描述子一致的特征点，并将识别结果为描述子一致的特征点确定为所述待匹配投影图组中相匹配的特征点。
本申请第三方面公开了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述第一方面中任一所述的方法。
本申请第四方面公开了一种设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。
从上述技术方案可以看出，本申请实施例提出的全景图更新方法中，通过获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像，然后针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息以及模型，计算出旧全景图的投影图像中每一个像素点的深度，并将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。然后从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。由于本申请中可以利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息，进而可利用新全景图在模型中的最终六自由度位姿信息用于确定出新全景图在模型中的放置位姿，即只需要新全景图和旧全景图即可完成全景图更新，而不再需要通过重新扫描构建新的模型的方式更新全景图，相较于现有的全景图更新方法更为便捷、高效率，且成本更低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提出的一种全景图更新方法的流程示意图；
图2为图像中的特征点匹配示意图；
图3为本申请实施例提出的一种相匹配投影图组的确定方法的流程示意图；
图4a为一张旧全景图的投影图像；
图4b为图4a示出的旧全景图的投影图像对应的深度图；
图5为本申请实施例提出的另一种全景图更新方法的流程示意图；
图6为本申请实施例提出的一种全景图更新装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，本申请实施例公开了一种全景图更新方法，具体包括以下步骤：
S101、获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像。
其中，新全景图和旧全景图均是一种VR全景图。新全景图和旧全景图均可通过相机等传感器拍摄得到。新全景图和旧全景图是同一场景不同拍摄视角下拍摄得到的VR全景图。由于VR全景图通常为球形图，因此需要投影成多张平面图像，以便后续进行特征提取、计算深度等处理。
对新全景图和旧全景图进行投影的方式有很多，例如等角投影、圆柱投影、双鱼眼投影、以及立方体投影等等。需要说明的是，本申请实施例中，新全景图和旧全景图的投影方式需相同，进而得到的新全景图的投影图像数目与旧全景图的投影图像数目相同。
可选地，在本申请一具体实施例中，执行步骤S101的一种实施方式，包括：
分别对新全景图以及新全景图对应的旧全景图，采用立方体投影的方式进行投影，得到多张新全景图的投影图像、以及多张旧全景图的投影图像。
由于立方体投影的方式可以得到畸变较小的图像，利于后续进行特征匹配，因此在执行步骤S101时，可以选择立方体投影的方式，分别对新全景图和旧全景图进行投影，分别得到6个方向的张新全景图的投影图像，以及6个方向的旧全景图的投影图像。
可选地，可以从得到的多张投影图像中，选取出包含的信息量较多的几张用于后续执行步骤S102至S104。例如，可以选取新全景图对应的前后左右4个方向的投影图像、以及旧全景图对应的前后左右4个方向的投影图像来执行后续的步骤S102至S104。
S102、将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。
其中，特征点为能够表征图像特征的像素点。能够实现特征匹配的方法有很多，例如快速特征点提取和描述的算法(Oriented FAST and Rotated BRIEF，ORB)，尺度不变特征变换算法(Scale-invariant feature transform，SIFT)，加速稳健特征算法(SpeededUp Robust Features，SURF)等等。
将一张新全景图的投影图像与一张旧全景图的投影图像进行特征匹配的过程为，首先分别对新全景图的投影图像和旧全景图的投影图像进行特征点提取，即提取出新全景图的投影图像中能够表征图像特征的特征点，以及提取旧全景的投影图像中能够表征图像特征的特征点。然后将新全景图的投影图像中的每一个特征点分别与旧全景图的投影图像中的每一个特征点进行匹配，得到两个投影图像之间相匹配的多个特征点。若旧全景图的投影图像中的某一个特征点与新全景图的投影图像中的某一个特征点相匹配，则说明这两个特征点在图像中的特征描述是一致的，可以认为这两个点是相同场景中的相同位置上的同一个点。例如图2所示，图2中包括有多条线段，同一条线段上的两个端点为相匹配的两个特征点。从图2可看出，同一条线段上的两个端点是相同场景中相同位置处的两个点。
其中，将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，指的是针对每一张新全景图的投影图像，将该新全景图的投影图分别与每一张旧全景图的投影图像进行特征匹配。若两张投影图像之间相匹配的特征点较多，则证明这两张投影图像进行拍摄的视点位置比较接近，拍摄到了近似的场景图像，可以认为是一组相匹配投影图组。而如果两张投影图像之间相匹配的特征点较少甚至没有，则认为这两张投影图像拍摄的视点位置不相同。具体的，可以设置一个匹配数目阈值，来确定是否为一组相匹配投影图组。例如，当两张投影图像的相匹配特征点的数目大于或等于匹配数目阈值，则认为两张投影图像之间相匹配的特征点的数目较多，可确定为一组相匹配投影图组。而当两张投影图像的相匹配特征点的数目小于匹配数目阈值，则认为两张投影图像之间相匹配的特征点的数较少，不为相匹配投影图组。
需要说明的是，一组相匹配投影图组中包括的是一张旧全景图的投影图像以及与其特征匹配的一张新全景图的投影图像。而一张新全景图的投影图像可以匹配一张或多张旧全景图的投影图像。例如，新全景图的投影图像一共有图A、图B、图C以及图D，而新全景图的投影图像一共有图E、图F、图G、以及图H。经过步骤S103执行特征匹配后，可以确定出图A和图E相匹配，图A和图C相匹配，图D和图F相匹配，那么最终确定出的相匹配投影图组就有3组，分别为图A和图E、图A和图C、以及图D和图F。
由于相匹配投影图组意味着图组中的旧全景图的投影图像与新全景图的投影图像之间具有多个相匹配的特征点，而相匹配的特征点意味着图组中的旧全景图的投影图像与新全景图的投影图像之间拍摄到了多个同一场景中同一个位置的点(即相匹配的特征点)，因此可以将相匹配的特征点作为旧全景图和新全景图之间的联系，计算出新全景图在模型中的六自由度位姿，而不再需要建立新的模型，按照新模型和旧模型之间的联系来确定出新全景图在旧模型中的六自由度位姿，简化了更新全景图的过程。
可选地，参阅图3，在本申请一具体实施例中，执行步骤S102的一种实施方式，包括：
S301、对每一张新全景图的投影图像以及每一张旧全景图的投影图像分别进行特征提取，确定出每一张新全景图的投影图像中的每一个特征点、以及每一张旧全景图的投影图像中的每一个特征点。
具体的，执行步骤S301的过程是，使用特征提取算法，提取出每一张新全景图的投影图像以及每一张旧全景图的投影图像中的特征点。由于特征点是能够表征图像特征的点。因此进行特征提取的过程，就是将能够表征图像特征，使该图像区别于其他图像的点找出来。
能够实现特征提取的方式有很多，除了上述提及的ORB、SIFT、SURF等具有特征提取算法，还有神经网络模型等也可以实现特征提取。提取特征点的方式的不同不影响本申请实施例的实现。
S302、针对每一组待匹配投影图组，将待匹配投影图组中新全景图的投影图像中的每一个特征点，分别与待匹配投影图组中旧全景图的投影图像的每一个特征点进行匹配，确定出待匹配投影图组中相匹配的特征点。
其中，待匹配投影图组，包括：一张新全景图的投影图像和一张旧全景图的投影图像。执行步骤S302的过程中，先将每一张新全景图的投影图像分别和每一张旧全景图的投影图像进行组合，得到每一组待匹配投影图组。然后再针对每一组待匹配投影图组，将待匹配投影图组中新全景图的投影图像中的每一个特征点，分别与待匹配投影图组中旧全景图的投影图像的每一个特征点进行匹配，若两个特征点之间所表征的特征是一致的，就确定出是相匹配的特征点。
需要说明的是，两个特征点之间表征的特征一致并不代表着在图像中的位置也是一致的，即新全景图的投影图像中的A点和旧全景图的投影图像中的B点只要表征的特征是一致的，即可认为A点和B点是相匹配的特征点，A点在新全景图的投影图像中的位置与B点在旧全景图的投影图像的位置可以不一致。
可选地，在本申请一具体实施例中，执行步骤S302的一种实施方式，包括：
针对每一组待匹配投影图组，识别待匹配投影图组中的新全景图的投影图像和旧全景图的投影图像之间是否存在有描述子一致的特征点，并将识别结果为描述子一致的特征点确定为待匹配投影图组中相匹配的特征点。
描述子用于描述特征点，描述子具体描述特征点的特征向量和/或角点。若两个特征点的描述子一致，就说明这两个特征点相匹配，所表征的特征一致。因此，可以将待匹配投影图组中的旧全景图的投影图像与新全景图的投影图像之间描述子一致的特征点，确定为待匹配投影图组中相匹配的特征点。
S303、针对每一组待匹配投影图组，若待匹配投影图组中相匹配的特征点的数目大于或等于匹配数目阈值，则将待匹配投影图组确定为相匹配投影图组。
由于本申请实施例中，是通过找出旧全景图的投影图像与新全景图的投影图像的联系，来确定出新全景图在模型中的六自由度位姿的。而旧全景图的投影图像与新全景图的投影图像的联系为相匹配的特征点，因此若相匹配的特征点的数目过少，即旧全景图的投影图像与新全景图的投影图像之间的联系过少，难以确定出新全景图的六自由度位姿。因此需要按照人为经验设置一个匹配数目阈值，只选用相匹配的特征点的数目大于或等于匹配数目阈值的待匹配投影图组确定为相匹配投影图组。
需要说明的是，步骤S303确定出的相匹配投影图组可以有一组或多组。还需要说明的是，确定出相匹配投影图组的方式有很多，例如还可以将待匹配投影图组中相匹配的特征点的数目占比大于阈值的待匹配投影图组确定为相匹配投影图组，确定出相匹配投影图组的方式包括但不限于本申请实施例所提出的内容。
S103、从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。
由于本申请实施例中，只要通过旧全景图的投影图像与新全景图的投影图像之间的特征点联系，即可确定出新全景图在模型中的六自由度位姿。因此仅需要一组相匹配投影图组，即可确定出新全景图在模型中的六自由度位姿。当然，也可以选取出多组相匹配投影图组，分别对其执行步骤S104，最终步骤S104所得到的新全景图在模型中的六自由度位姿会是比较相近的。
而选取出一组相匹配投影图组的方式有很多，例如可以任意选取一组相匹配投影图组，也可以是选取出匹配的特征点的数目最多的相匹配投影图组。由于匹配的特征点的数目越多，证明相匹配投影图组的两张图像之间相关的联系越多，更能够准确的确定出新全景图在模型中的六自由度位姿。
S104、利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在所述模型中的最终六自由度位姿信息。
其中，新全景图在模型中的最终六自由度位姿信息用于确定出新全景图在模型中的实际放置位姿。具体可以将最终六自由度位姿作为实际放置位姿，实现放置新全景图至模型中，完成新全景图的更新。也可以是将最终六自由度位姿再进行优化，提高准确度之后，再作为实际放置位姿，完成新全景图的更新。
选取出的相匹配投影图组中，旧全景图的投影图像和新全景图的投影图像之间的联系为多个相匹配的特征点。旧全景图的投影图像与新全景图的投影图像之间相匹配的特征点在模型中的三自由度位置信息是一致的，即在模型中的xyz轴坐标系下的坐标一致。因此通过相匹配投影图组中相匹配特征点之间的联系，结合旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，可以确定出新全景图在模型中的最终六自由度位姿信息。
选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息相当于是新全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息。例如相匹配投影图组中，旧全景图的投影图像中的A点与新全景图的投影图像B点是相匹配的特征点，那么A点在模型中的三自由度位置信息与B点在模型中的三自由度位置信息就是一致的。因此，根据旧全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息，相当于是根据新全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息。而由于新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息是由拍摄新全景图的传感器所拍摄确定出的。因此结合新全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，就可以得到新全景图的拍摄中心在模型中的位置，即新全景图在模型中的最终六自由度位姿信息。
具体的，将旧全景图的投影图像中的每一个相匹配的特征点在模型的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息代入至位姿估计算法(Perspective n Points，PnP)和随机抽样一致算法(Random SampleConsensus，RANSAC)中，即可计算出新全景图在模型中的最终六自由度位姿。
可选地，在本申请一具体实施例中，执行步骤S104之后，还可以再选取出步骤S102中确定出的其他的相匹配投影图组，并对其他相匹配投影图组执行步骤S104，得到多个最终六自由度位姿。然后将每一组相匹配投影图组所得到的最终六自由度位姿进行加权处理、或者平均计算处理等等，得到最终的更为精准的新全景图在模型中的实际放置位姿，然后按照实际放置位姿在模型中放置新全景图，实现新全景图在模型中的更新。
相较于现有技术中扫描构建新模型，通过新模型和旧模型之间的联系，使用新全景图、旧全景图、新模型以及旧模型的信息得到新全景图在旧模型中的六自由度位姿的过程，本申请实施例得到新全景图在模型中的最终六自由度位姿信息过程更为简便，不需要重新在拍摄新全景图的位置扫描构建新的模型，并且计算六自由度位姿时所需要的信息也更少，因此本申请实施例中实现更新全景图的方式的效率会更高。
可选地，在本申请一具体实施例中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息的确定方法，包括：
利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的深度、以及旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，计算得到旧全景图的投影图像中的每一个相匹配的特征点在所述模型中的三自由度位置信息。
旧全景图的投影图像中的相匹配的特征点的深度代表着拍摄旧全景的投影图像的传感器与该相匹配的特征点之间的距离。而拍摄旧全景图的传感器是与扫描构建模型的传感器的位置是一致的，因此旧全景图的投影图像中的每一个相匹配的特征点的深度、以及旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，能够计算得到旧全景图的投影图像中的每一个相匹配的特征点在模型中的三自由度位置信息。
可选地，在本申请一具体实施例中，旧全景图的投影图像中的每一个相匹配的特征点的深度的确定方法，包括：
针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息以及模型，计算出旧全景图的投影图像中每一个像素点的深度。
旧全景图在模型中的六自由度位姿信息其实是指拍摄旧全景图时最中心相机相对于模型的位置。由于拍摄旧全景图时的相机拍摄位置与传感器扫描构建模型的位置是一致的，因此可以知道旧全景图在模型中的六自由度位姿，进而也能知道旧全景图的投影图像在模型中的六自由度位姿。六自由度位姿中的六自由度指的是xyz轴所指示的三自由度位置以及rpy三自由度朝向。
像素点的深度是图像采集器到场景中像素点的距离。由于旧全景图的投影图像在模型中的六自由度位姿信息、以及模型是已知的，进而可以计算出旧全景图的投影图像中每一个像素点的深度。
可选地，在本申请一具体实施例中，执行针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息以及模型，计算出旧全景图的投影图像中每一个像素点的深度的一种实施方式，包括：
针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息，将旧全景图的投影图像中的每一个像素点反向投影至模型，计算出旧全景图的投影图像中每一个像素点的深度。
由于像素点的深度指的是图像采集器到场景中像素点的距离，因此只需从旧全景图的投影图像在模型中的六自由度位姿出发，将旧全景图的投影图像中的每一个像素点反向投影至与模型相交，即可得到每一个像素点位到图像采集器之间的距离，即得到了旧全景图的投影图像中每一个像素点的深度。
可选地，可以使用旧全景图的投影图像对应的深度图来表示图像中每一个像素点的深度。例如图4a和图4b所示，图4b为图4a的深度图，图4b中使用不同的颜色深浅来表示深度值的大小，进而展示出图4a中每一个像素点的深度。
需要说明的是，获取到每一张旧全景图的投影图像中的每一个像素点的深度的方法有很多，例如激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等等，获取像素点的深度的方式的不同不影响本申请实施例的实现。
本申请实施例提出的全景图更新方法中，通过获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像，然后针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息以及模型，计算出旧全景图的投影图像中每一个像素点的深度，并将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。然后从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。由于本申请中可以利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息，进而可利用新全景图在模型中的最终六自由度位姿信息用于确定出新全景图在模型中的放置位姿，即只需要新全景图和旧全景图即可完成全景图更新，而不再需要通过重新扫描构建新的模型的方式更新全景图，相较于现有的全景图更新方法更为便捷、高效率，且成本更低。
可选地，参阅图5，本申请实施例提出了另一种全景图更新方法，具体包括以下步骤：
S501、获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像。
其中，步骤S501的原理和执行过程与图1示出的步骤S101相同，可参见，此处不再赘述。
S502、将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。
其中，步骤S502的原理和执行过程与图1示出的步骤S102相同，可参见，此处不再赘述。
S503、从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。
其中，步骤S503的原理和执行过程与图1示出的步骤S103相同，可参见，此处不再赘述。
S504、利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在所述模型中的最终六自由度位姿信息。
其中，新全景图在模型中的最终六自由度位姿信息用于确定出新全景图在模型中的实际放置位姿。
其中，步骤S504的原理和执行过程与图1示出的步骤S104相同，可参见，此处不再赘述。
S505、利用相匹配投影图组计算得到的新全景图在模型中的最终六自由度位姿信息、以及确定出的每一组相匹配投影图组中旧全景图的投影图像的每一个相匹配的特征点在模型中的三自由度位置信息，计算得到新全景图的投影图像中的每一个相匹配的特征点的估计二自由度位置信息。
具体的，针对每一组相匹配投影图组中新全景图的投影图像中的每一个相匹配的特征点，根据旧全景图的投影图像的该相匹配的特征点在模型中的三自由度位置信息，以及新全景图在模型中的最终六自由度位姿信息，可计算得到新全景图的投影图像中该相匹配的特征点的估计二自由度位置信息。该相匹配的特征点的估计二自由度位置信息是通过六自由度位置信息估计出的该相匹配的特征点在新全景图的投影图像中的二自由度位置。举例说明，相匹配投影图组中旧全景图的投影图像中的A点与新全景图的投影图像的B点是相匹配的特征点，那么根据旧全景图的投影图像的A点在模型中的三自由度位置信息，以及新全景图在模型中的最终六自由度位姿信息，可计算得到新全景图的投影图像中B点的估计二自由度位置信息。
可选地，在本申请一具体实施例中，针对每一组相匹配投影图组中新全景图的投影图像中的每一个相匹配的特征点，将旧全景图的投影图像的该相匹配的特征点在模型中的三自由度位置信息，以及新全景图在模型中的最终六自由度位姿信息代入至公式一中，计算得到新全景图的投影图像中相匹配的特征点的估计二自由度位置信息。
公式一为：P＝K*(T-delat*T-ci-w*Pw)。其中，P为新全景图的投影图像中的相匹配的特征点的估计二自由度位置信息，K为拍摄新全景图的相机的内参，T-delat为新全景图的投影图像与新全景图在模型中的最终六自由度位姿之间的朝向角度偏移量，T-ci-Pw为新全景图在模型中的最终六自由度位姿信息，Pw为将旧全景图的投影图像的该相匹配的特征点在模型中的三自由度位置信息。
S506、将每一组相匹配投影图组中，新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，分别与计算得到的新全景图的投影图像中每一个相匹配的特征点的估计二自由度位置信息作差，得到每一个相匹配的特征点的误差值。
由于计算出的最终六自由度位姿可能不够准确，因此会导致使用最终六自由度位姿估计得到的新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，与实际中新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息之间存在偏差。因此，针对每一组相匹配投影图组中每一个新全景图的投影图像中的每一个相匹配的特征点，将相匹配的特征点的二自由度位置信息与该相匹配的特征点的估计二自由度位置信息作差，得到该相匹配的特征点的误差值。
S507、利用每一个相匹配的特征点的误差值，对新全景图在模型中的最终六自由度位姿信息进行调整，得到新全景图在模型中的优化后的最终六自由度位姿信息。
其中，优化后的最终六自由度位姿信息用于作为新全景图放置在模型中的实际放置位姿。
执行步骤S507的过程中，可以将每一个相匹配的特征点的误差值累加，作为新全景图在模型中的最终六自由度位姿信息的误差，对新全景图在模型中的最终六自由度位姿信息进行调整，得到新全景图在模型中的优化后的最终六自由度位姿信息。
由于新全景图在模型中的优化后的最终六自由度位姿信息，是根据最终六自由度位姿信息所确定出的新全景图中的每一个相匹配的特征点的估计二自由度位置信息与实际的新全景图中的每一个相匹配的特征点的二自由度位置信息的误差，对最终六自由度位姿信息进行优化调整得到的，因此相较于最终六自由度位姿信息准确度更高。将优化后的最终六自由度位姿信息用于作为新全景图放置在模型中的实际放置位姿，可以更为准确的在模型中放置新全景图，实现精准的更新全景图。
参阅图6，基于上述本申请实施例提出的全景图更新方法，本申请实施例对应公开了一种全景图更新装置，包括：获取单元601、匹配单元602、选取单元603以及确定单元604。
获取单元601，用于获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像。
可选地，在本申请一具体实施例中，获取单元601，包括：
获取子单元，用于分别对新全景图以及新全景图对应的旧全景图，采用立方体投影的方式进行投影，得到多张新全景图的投影图像、以及多张旧全景图的投影图像。
匹配单元602，用于将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。其中，特征点为能够表征图像特征的像素点。
可选地，在本申请一具体实施例中，匹配单元602，包括：特征提取子单元、匹配子单元以及确定子单元。
特征提取子单元，用于对每一张新全景图的投影图像以及每一张旧全景图的投影图像分别进行特征提取，确定出每一张新全景图的投影图像中的每一个特征点、以及每一张旧全景图的投影图像中的每一个特征点。
匹配子单元，用于针对每一组待匹配投影图组，将待匹配投影图组中新全景图的投影图像中的每一个特征点，分别与待匹配投影图组中旧全景图的投影图像的每一个特征点进行匹配，确定出待匹配投影图组中相匹配的特征点。其中，待匹配投影图组，包括：一张新全景图的投影图像和一张旧全景图的投影图像。
确定子单元，用于针对每一组待匹配投影图组，若待匹配投影图组中相匹配的特征点的数目大于或等于匹配数目阈值，则将待匹配投影图组确定为相匹配投影图组。
选取单元603，用于从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。
确定单元604，用于利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在所述模型中的最终六自由度位姿信息。其中，新全景图在所述模型中的最终六自由度位姿信息用于确定出新全景图在模型中的实际放置位姿。
可选地，在本申请一具体实施例中，全景图更新装置中还包括：
第一计算单元，用于利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的深度、以及旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，计算得到旧全景图的投影图像中的每一个相匹配的特征点在模型中的三自由度位置信息。
可选地，在本申请一具体实施例中，全景图更新装置中，还包括：
第二计算单元，用于针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息以及模型，计算出旧全景图的投影图像中每一个像素点的深度。
可选地，在本申请一具体实施例中，第二计算单元，包括：
投影子单元，用于针对每一张旧全景图的投影图像，利用旧全景图的投影图像在模型中的六自由度位姿信息，将旧全景图的投影图像中的每一个像素点反向投影至模型，计算出旧全景图的投影图像中每一个像素点的深度。
可选地，在本申请一具体实施例中，全景图更新装置中，还包括：第三计算单元、误差单元以及调整单元。
第三计算单元，用于利用相匹配投影图组计算得到的新全景图在模型中的最终六自由度位姿信息、以及确定出的每一组相匹配投影图组中旧全景图的投影图像的每一个相匹配的特征点在模型中的三自由度位置信息，计算得到新全景图的投影图像中的每一个相匹配的特征点的估计二自由度位置信息。
误差单元，用于将每一组相匹配投影图组中，新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，分别与计算得到的新全景图的投影图像中每一个相匹配的特征点的估计二自由度位置信息作差，得到每一个相匹配的特征点的误差值。
调整单元，用于利用每一个相匹配的特征点的误差值，对新全景图在模型中的最终六自由度位姿信息进行调整，得到新全景图在所述模型中的优化后的最终六自由度位姿信息。其中，优化后的最终六自由度位姿信息用于作为新全景图放置在模型中的实际放置位姿。
上述本申请实施例公开的全景图更新装置中的各个单元具体的原理和执行过程，与上述本申请实施例公开的全景图更新方法相同，可参见上述本申请实施例公开的全景图更新方法中相应的部分，这里不再进行赘述。
本申请实施例提出的全景图更新装置中，通过获取单元601获取新全景图进行投影后的多张投影图像、以及新全景图对应的旧全景图进行投影后的多张投影图像，然后匹配单元602将每一张新全景图的投影图像分别与每一张旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组。然后选取单元603从确定出的至少一组相匹配投影图组中，选取出一组相匹配投影图组。由于本申请中确定单元604可以利用选取出的相匹配投影图组中，旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出新全景图在模型中的最终六自由度位姿信息，进而可利用新全景图在模型中的最终六自由度位姿信息用于确定出新全景图在模型中的放置位姿，即只需要新全景图和旧全景图即可完成全景图更新，而不再需要通过重新扫描构建新的模型的方式更新全景图，相较于现有的全景图更新方法更为便捷、高效率，且成本更低。
本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现以上各方法实施例提供的全景图更新方法。
本申请实施例提供了一种设备，包括：一个或多个处理器，存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现以上各方法实施例提供的全景图更新方法。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种全景图更新方法，其特征在于，包括：
获取新全景图进行投影后的多张投影图像、以及所述新全景图对应的旧全景图进行投影后的多张投影图像；
将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组；其中，所述特征点为能够表征图像特征的像素点；
从确定出的至少一组所述相匹配投影图组中，选取出一组所述相匹配投影图组；
利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在模型中的最终六自由度位姿信息；其中，所述新全景图在所述模型中的最终六自由度位姿信息用于确定出所述新全景图在所述模型中的实际放置位姿。
2.根据权利要求1所述的方法，其特征在于，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息的确定方法，包括：
利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的深度、以及所述旧全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，计算得到所述旧全景图的投影图像中的每一个所述相匹配的特征点在所述模型中的三自由度位置信息。
3.根据权利要求2所述的方法，其特征在于，所述旧全景图的投影图像中的每一个相匹配的特征点的深度的确定方法，包括：
针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息以及所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
4.根据权利要求1所述的方法，其特征在于，所述利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在模型中的最终六自由度位姿信息之后，还包括：
利用选取出的所述相匹配投影图组计算得到的所述新全景图在所述模型中的最终六自由度位姿信息、以及确定出的每一组所述相匹配投影图组中所述旧全景图的投影图像的每一个所述相匹配的特征点在所述模型中的三自由度位置信息，计算得到新全景图的投影图像中的每一个所述相匹配的特征点的估计二自由度位置信息；
将每一组所述相匹配投影图组中，所述新全景图的投影图像中的每一个所述相匹配的特征点的二自由度位置信息，分别与计算得到的所述新全景图的投影图像中每一个所述相匹配的特征点的估计二自由度位置信息作差，得到每一个所述相匹配的特征点的误差值；
利用每一个所述相匹配的特征点的误差值，对所述新全景图在所述模型中的最终六自由度位姿信息进行调整，得到所述新全景图在所述模型中的优化后的最终六自由度位姿信息；其中，所述优化后的最终六自由度位姿信息用于作为所述新全景图放置在所述模型中的实际放置位姿。
5.根据权利要求1所述的方法，其特征在于，所述将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组，包括：
对每一张所述新全景图的投影图像以及每一张所述旧全景图的投影图像分别进行特征提取，确定出每一张所述新全景图的投影图像中的每一个特征点、以及每一张所述旧全景图的投影图像中的每一个特征点；
针对每一组待匹配投影图组，将所述待匹配投影图组中所述新全景图的投影图像中的每一个特征点，分别与所述待匹配投影图组中所述旧全景图的投影图像的每一个特征点进行匹配，确定出所述待匹配投影图组中相匹配的特征点；其中，所述待匹配投影图组，包括：一张所述新全景图的投影图像和一张所述旧全景图的投影图像；
针对每一组所述待匹配投影图组，若所述待匹配投影图组中相匹配的特征点的数目大于或等于匹配数目阈值，则将所述待匹配投影图组确定为相匹配投影图组。
6.根据权利要求3所述的方法，其特征在于，所述针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息以及所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度，包括：
针对每一张所述旧全景图的投影图像，利用所述旧全景图的投影图像在模型中的六自由度位姿信息，将所述旧全景图的投影图像中的每一个像素点反向投影至所述模型，计算出所述旧全景图的投影图像中每一个像素点的深度。
7.根据权利要求5所述的方法，其特征在于，所述针对每一组待匹配投影图组，将所述待匹配投影图组中所述新全景图的投影图像中的每一个特征点，分别与所述待匹配投影图组中所述旧全景图的投影图像的每一个特征点进行匹配，确定出所述待匹配投影图组中相匹配的特征点，包括：
针对每一组待匹配投影图组，识别所述待匹配投影图组中的所述新全景图的投影图像和所述旧全景图的投影图像之间是否存在有描述子一致的特征点，并将识别结果为描述子一致的特征点确定为所述待匹配投影图组中相匹配的特征点。
8.一种全景图更新装置，其特征在于，包括：
获取单元，用于获取新全景图进行投影后的多张投影图像、以及所述新全景图对应的旧全景图进行投影后的多张投影图像；
匹配单元，用于将每一张所述新全景图的投影图像分别与每一张所述旧全景图的投影图像进行特征匹配，并将特征匹配的结果是具有多个相匹配的特征点的新全景图的投影图像和旧全景图的投影图像确定为一组相匹配投影图组；其中，所述特征点为能够表征图像特征的像素点；
选取单元，用于从确定出的至少一组所述相匹配投影图组中，选取出一组所述相匹配投影图组；
确定单元，用于利用选取出的所述相匹配投影图组中，所述旧全景图的投影图像中的每一个相匹配的特征点的三自由度位置信息、以及所述新全景图的投影图像中的每一个相匹配的特征点的二自由度位置信息，确定出所述新全景图在模型中的最终六自由度位姿信息；其中，所述新全景图在所述模型中的最终六自由度位姿信息用于确定出所述新全景图在所述模型中的实际放置位姿。
9.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至7中任一所述的方法。
10.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。
CN202011354675.8A 2020-11-27 2020-11-27 全景图更新方法、装置、可读介质以及设备 Active CN112529848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011354675.8A CN112529848B (zh) 2020-11-27 2020-11-27 全景图更新方法、装置、可读介质以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011354675.8A CN112529848B (zh) 2020-11-27 2020-11-27 全景图更新方法、装置、可读介质以及设备

Publications (2)

Publication Number Publication Date
CN112529848A CN112529848A (zh) 2021-03-19
CN112529848B true CN112529848B (zh) 2023-10-24

Family

ID=74994132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011354675.8A Active CN112529848B (zh) 2020-11-27 2020-11-27 全景图更新方法、装置、可读介质以及设备

Country Status (1)

Country Link
CN (1) CN112529848B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895693A (zh) * 2010-06-07 2010-11-24 北京高森明晨信息科技有限公司 生成全景图像的方法及装置
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310987B2 (en) * 2013-08-19 2016-04-12 Google Inc. Projections to fix pose of panoramic photos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895693A (zh) * 2010-06-07 2010-11-24 北京高森明晨信息科技有限公司 生成全景图像的方法及装置
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Also Published As

Publication number Publication date
CN112529848A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN107705333B (zh) 基于双目相机的空间定位方法及装置
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP2008506953A5 (zh)
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
US20120162387A1 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN109443305B (zh) 一种测距方法及装置
CN110738703A (zh) 定位方法及装置、终端、存储介质
CN115546379A (zh) 一种数据处理方法、装置和计算机设备
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
US11475629B2 (en) Method for 3D reconstruction of an object
CN112529848B (zh) 全景图更新方法、装置、可读介质以及设备
CN109990756B (zh) 一种双目测距方法及系统
CN110675349B (zh) 内窥镜成像方法及装置
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN111462337A (zh) 一种图像处理方法、设备及计算机可读存储介质
CN110319776B (zh) 一种基于slam的三维空间距离测量方法及装置
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
CN113870354B (zh) 一种基于深度学习的变压器油箱的测量方法及系统
CN113034617B (zh) 相机的焦距的获取方法及装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant