CN114022619B - 图像位姿优化方法和装置、设备、存储介质和程序产品 - Google Patents

图像位姿优化方法和装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN114022619B
CN114022619B CN202111425414.5A CN202111425414A CN114022619B CN 114022619 B CN114022619 B CN 114022619B CN 202111425414 A CN202111425414 A CN 202111425414A CN 114022619 B CN114022619 B CN 114022619B
Authority
CN
China
Prior art keywords
images
image
reconstruction model
gaussian
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111425414.5A
Other languages
English (en)
Other versions
CN114022619A (zh
Inventor
程谟方
胡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202111425414.5A priority Critical patent/CN114022619B/zh
Publication of CN114022619A publication Critical patent/CN114022619A/zh
Application granted granted Critical
Publication of CN114022619B publication Critical patent/CN114022619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例公开了一种图像位姿优化方法和装置、设备、存储介质和程序产品，其中，方法包括：获取第一重建模型和至少两张第一图像；获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点；分别获取至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔；基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；获取至少两个位姿优化的高斯金字塔中的底层图像用于第一重建模型渲染。本公开实施例能够避免在图像接缝处有较明显的错位的情况，有助于提升重建模型的渲染效果。

Description

图像位姿优化方法和装置、设备、存储介质和程序产品
技术领域
本公开涉及图像处理技术，尤其是一种图像位姿优化方法和装置、设备、存储介质和程序产品。
背景技术
在大场景的三维重建技术领域，通过将大场景的多张图像映射到大场景的重建模型表面以对重建模型进行渲染，能够使重建模型看起来更加真实。在对重建模型进行渲染时，由于多张图像之间的位姿误差，导致当多张图像映射到大场景的重建模型表面时，会出现在图像接缝处有较明显的错位的情况。
因此，如何优化图像的位姿，使得大场景的多张图像的位姿能够保持一致，以避免在图像接缝处有较明显的错位的情况，是目前亟待解决的问题。
发明内容
本公开实施例提供一种图像位姿优化方法和装置、设备、存储介质和程序产品，能够避免在图像接缝处有较明显的错位的情况，有助于提升重建模型的渲染效果。
本公开实施例的一个方面，提供一种图像位姿优化方法，包括：
获取第一重建模型和至少两张第一图像，其中，所述第一重建模型为目标场景的重建模型，所述至少两张第一图像为对所述目标场景进行拍摄得到的至少两张图像；
获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点；
分别获取所述至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中，所述高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数；
基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；
获取所述至少两个位姿优化的高斯金字塔中的底层图像用于所述第一重建模型渲染。
本公开实施例的一个方面，提供一种图像位姿优化装置，包括：
第一获取模块，用于获取第一重建模型和至少两张第一图像，其中，所述第一重建模型为目标场景的重建模型，所述至少两张第一图像为对所述目标场景进行拍摄得到的至少两张图像；
第二获取模块，用于获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点；
第三获取模块，用于分别获取所述至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中，所述高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数；
位姿优化模块，用于基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；
渲染模块，用于获取所述至少两个位姿优化的高斯金字塔中的底层图像用于所述第一重建模型渲染。
本公开实施例的又一个方面，提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的图像位姿优化方法。
本公开实施例的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例所述的图像位姿优化方法。
本公开实施例的再一个方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开上述任一实施例所述的图像位姿优化方法。
基于本公开上述实施例提供的图像位姿优化方法和装置、设备、存储介质和程序产品，首先获取第一重建模型和至少两张第一图像，然后获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，并分别获取至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中的高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数，进而基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔，并获取至少两个位姿优化的高斯金字塔中的最底层图像用于第一重建模型渲染。由此，可以基于重建模型在至少两张图像中的每两张图像上的共同可见顶点，实现对至少两张图像中的每张图像的高斯金字塔，从低分辨率到高分辨率逐层对各层图像进行图像位姿优化，图像位姿优化后的各高斯金字塔的底层图像之间的位姿具有更好的一致性，将位姿优化后的各高斯金字塔的底层图像用于重建模型渲染，能够避免在图像接缝处有较明显的错位的情况，有助于提升重建模型的渲染效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1a-1b为现有重建模型的一个渲染效果示意图；
图2为本公开图像位姿优化方法一个实施例的流程图；
图3为本公开图像位姿优化方法另一个实施例的流程图；
图4a-4b为执行本公开图像位姿优化方法后可实现重建模型的渲染效果示意图；
图5为本公开图像位姿优化装置一个实施例的结构示意图；
图6为本公开图像位姿优化装置另一个实施例的结构示意图；
图7为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1a-1b为现有重建模型的一个渲染效果示意图。在实现本公开的过程中，发明人发现，将大场景的多张图像映射到大场景的重建模型表面以对重建模型进行渲染时，位姿误差会导致渲染后的重建模型表面的图像接缝处存在明显的错位，如图1a-1b中白色线圈圈出部分所示。现有的图像位姿优化方法大致可以划分为两类：(1)仅利用图像的二维信息，基于SFM(Structure From Motion，运动恢复结构)方法通过图像之间稀疏特征点的匹配信息，进行图像位姿优化，进一步可以配合BA(Bundle Adjustment，光束平差法)方法，对图像位姿进行全局优化；(2)利用图像的二维信息，及点云的三维信息，以ICP(iterativeclosest point，迭代最近点算法)方法对图像位姿进行优化。这两类方法的优化目标都是使得三维点云和二维图像保持位姿一致，但由于在通过三维点云重建网格模型后，所得重建模型的位姿会有一定的精度损失，从而导致位姿优化后的二维图像与重建模型之间并不能保持位姿一致，进而导致渲染后的重建模型表面会存在明显的错位。
因此，如何优化图像位姿，使得大场景的多张图像的位姿能够保持一致，以避免在图像接缝处有较明显的错位的情况，是目前亟待解决的问题。
图2为本公开图像位姿优化方法一个实施例的流程图。本实施例可应用在电子设备上，如图2所示，该实施例的方法包括：
步骤202，获取第一重建模型和至少两张第一图像。
本公开实施例中的第一重建模型为目标场景的重建模型，该第一重建模型可以是利用预设表面重建方法或预设表面重建工具对目标场景的三维点云进行表面重建得到的网格模型，目标场景的三维点云可以是利用3D扫描设备(如激光雷达、立体摄像头等)对目标场景进行扫描得到的点云。需要说明的是，本公开实施例对预设表面重建方法和预设表面重建工具不做具体限定，例如预设表面重建方法可以是泊松重建、MC(MarchingCube，移动立方体)，三角剖分Delaunay，等表面重建方法中的任意一项，预设表面重建工具可以是网格模型处理软件MeshLab、PCL(PointCloudLibrary，点云库)等表面重建工具中的任意一项。
本公开实施例中的目标场景可以是任何室内场景、室外场景等，例如，在房产领域，目标场景可以为任一房间内场景，本公开实施例对目标场景的具体范围和类型不做限制。
本公开实施例中的至少两张第一图像为利用图像采集装置(也可以称为图像采集设备)对目标场景进行拍摄得到的至少两张第一图像，该至少两张第一图像中，每两张第一图像间可以包含相同图像区域。
本公开实施例中，该至少两张第一图像可以是针对目标场景的多个目标区域分别拍摄得到的，将该至少两张图像拼接在一起可以得到用于描述整个目标场景的图像。一个可选示例中，可以预先将目标场景划分为多个目标区域，然后利用图像采集装置针对多个目标区域分别拍摄，得到至少两张第一图像。需要说明的是，目标场景的多个目标区域中，每两个目标区域间可以包含相同区域，本领域技术人员可以采用各种区域划分方式，将目标场景划分为多个目标区域，本公开实施例对目标场景的具体区域划分方式不做限定。
步骤204，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
本公开实施例中，可以先获取第一重建模型在至少两张第一图像中的每张第一图像上的可见顶点，然后确定第一重建模型在每两张第一图像上的共同可见顶点。需要说明的是，本公开实施例对第一重建模型在每张第一图像上的可见顶点的数量，及第一重建模型在每两张第一图像上的共同可见顶点的数量不做限定。
本公开实施例中，在获取第一重建模型在每张第一图像上的可见顶点时，还可以获取每张第一图像上与该可见顶点对应的像素点的像素值(例如灰度值、RGB值、HSV值等)，作为该可见顶点的属性值。
本公开实施例中，第一重建模型在每两张第一图像上的共同可见顶点可以有两个属性值，该两个属性值为共同可见顶点在两张第一图像上分别对应的像素点的像素值，该两个属性值的大小可以相同，也可以不同。
步骤206，分别获取至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔。
本公开实施例中，对于每张第一图像，可以通过高斯平滑和亚采样获得每张第一图像的高斯金字塔，该高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数。
本公开实施例中，可以将高斯金字塔中分辨率最小的最顶层图像作为高斯金字塔的第0层图像，将高斯金字塔中分辨率最大的最底层图像作为高斯金字塔的第N-1层图像。
本公开实施例中，针对每张第一图像，可以将第一图像作为该第一图像的高斯金字塔的最底层(第N-1层)图像，然后通过对第N-1层图像的高斯平滑和亚采样，确定高斯金字塔的第N-2层图像，通过对第N-2层图像的高斯平滑和亚采样，确定高斯金字塔的第N-3层图像，以此类推，确定高斯金字塔的其它层图像。
步骤208，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔。
本公开实施例中，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，可以是对至少两个高斯金字塔中各层图像，从第0层图像开始，至第N-1层图像结束，分别对至少两个高斯金字塔中的每层图像进行位姿优化。
一个可选示例中，可以通过图像旋转，和/或图像平移实现对至少两个高斯金字塔中的每层图像进行位姿优化。
本公开实施例中，在对至少两个高斯金字塔中各层图像进行自上而下的位姿优化时，可以将至少两个高斯金字塔中当前层图像位姿优化后的位姿，作为至少两个高斯金字塔中下一层图像的初始位姿。
本公开实施例中，对于第一重建模型在任一第一图像上的任一可见顶点，在第一图像位姿优化前后，第一图像上与可见顶点对应的像素点可能会发生变化，因而第一图像位姿优化前后，可见顶点的属性值也可能会发生变化。基于此，本公开实施例可以将第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点的属性值的差异最小化，作为至少两个高斯金字塔中各层图像的位姿优化目标。
一个可选示例中，上述共同可见顶点的属性值的差异的度量方式可以是SSD(Sumof Squared Differences，平方差之和)、NCC(normalized cross correlation，归一化互相关)等度量方式中的任一项，本公开实施例对上述共同可见顶点的属性值的差异的度量方式不做限定。
一个可选示例中，可以设定第一预设阈值，若至少两个高斯金字塔中当前层图像位姿优化后，上述共同可见顶点的属性值的差异小于第一预设阈值，可以确定共同可见顶点的属性值的差异最小化，至少两个高斯金字塔中当前层图像位姿优化完成；若至少两个高斯金字塔中当前层图像位姿优化后，上述共同可见顶点的属性值的差异不小于第一预设阈值，可以改变各高斯金字塔中当前层图像的位姿变换参数，进一步对至少两个高斯金字塔中当前层图像进行位姿优化。需要说明的是，本领域技术人员可以根据实际需要设定第一预设阈值，本公开实施例对第一预设阈值的具体大小不做限定。
步骤210，获取至少两个位姿优化的高斯金字塔中的底层图像用于第一重建模型渲染。
本公开实施例中，可以获取至少两个位姿优化的高斯金字塔中的最底层图像用于第一重建模型渲染。
作为一个示例，图4a-4b示出了执行本公开图像位姿优化方法后重建模型的渲染效果，将图4a-4b中白色线圈圈出部分，与图1a-1b中白色线圈圈出部分进行对比，可以发现执行本公开图像位姿优化方法后，渲染后的重建模型表面的错位问题得到了明显改善。
基于本公开上述实施例提供的图像位姿优化方法，首先获取第一重建模型和至少两张第一图像，然后获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，并分别获取至少两张第一图像中的每张第一图像的高斯金字塔，共获取至少两个高斯金字塔，其中的高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数，进而基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔，并获取至少两个位姿优化的高斯金字塔中的底层图像用于第一重建模型渲染。由此，可以基于重建模型在至少两张图像中的每两张图像上的共同可见顶点，实现对至少两张图像中的每张图像的高斯金字塔，从低分辨率到高分辨率逐层对各层图像进行图像位姿优化，图像位姿优化后的各高斯金字塔的底层图像之间的位姿具有更好的一致性，将位姿优化后的各高斯金字塔的底层图像用于重建模型渲染，能够避免在图像接缝处有较明显的错位的情况，有助于提升重建模型的渲染效果。
可选地，在本公开其中一些可能的实现方式中，上述步骤208中，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔时，可以选取至少两个高斯金字塔中的任一高斯金字塔作为参照高斯金字塔，然后可以针对至少两个高斯金字塔中自上而下的第M层，其中M的取值依次为1、2、…、N-1，将参照高斯金字塔中第M层图像作为参照图像，将至少两个高斯金字塔中除参照高斯金字塔以外的其他高斯金字塔中第M层图像作为浮动图像，以其他高斯金字塔中第M-1层图像的位姿作为其他高斯金字塔中第M层图像的初始位姿，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中第M层图像进行位姿优化，得到其他高斯金字塔中位姿优化后的第M层图像。
该可能的实现方式中，在对至少两个高斯金字塔中第M层图像进行位姿优化时，可以固定第M层的参照图像位姿不变，通过改变第M层的各浮动图像的位姿，对至少两个高斯金字塔中第M层图像进行位姿优化。
一个可选示例中，固定第M层的参照图像位姿不变，可以是将参照高斯金字塔对应的第一图像的位姿作为第M层的参照图像的初始位姿，并将第M层的参照图像的位姿变换矩阵确定为单位矩阵。
一个可选示例中，改变第M层的各浮动图像的位姿，可以是将第M-1层的各浮动图像的位姿分别作为第M层的各浮动图像的初始位姿，并改变第M层的各浮动图像的位姿变换矩阵中的位姿变换参数。
基于该可能的实现方式，可以选取至少两个高斯金字塔中的任一高斯金字塔作为参照金字塔，进而可以确定参照高斯金字塔中的各层图像作为参照图像，其他高斯金字塔中的各层图像作为浮动图像，在对至少两个高斯金字塔中任一层图像进行位姿优化时，可以通过固定该任一层图像中参照图像位姿不变，改变该任一层图像中各浮动图像的位姿，实现对该任一层图像的位姿优化，可以降低位姿优化的计算复杂度，从而有助于节省计算资源，提高图像位姿优化效率。
可选地，在本公开其中一些可能的实现方式中，上述步骤208中，还可以针对至少两个高斯金字塔中自上而下的最上层，将参照高斯金字塔中最上层图像作为参照图像，将至少两个高斯金字塔中除参照高斯金字塔以外的其他高斯金字塔中最上层图像作为浮动图像，以其他高斯金字塔对应的第一图像的位姿别分别作为浮动图像的初始位姿，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中最上层图像进行位姿优化，得到其他高斯金字塔中位姿优化后的最上层图像。
该可能的实现方式中，对于至少两个高斯金字塔中的最上层图像，无法获得更上一层图像的位姿作为最上层图像的初始位姿。
基于此，在对至少两个高斯金字塔中最上层图像进行位姿优化时，对于最上层的参照图像，可以确定参照高斯金字塔对应的第一图像的位姿作为最上层的参照图像的初始位姿，并将最上层的参照图像的位姿变换矩阵确定为单位矩阵；对于最上层的各浮动图像，可以将各浮动图像所在的各高斯金字塔对应的各第一图像的位姿分别作为最上层的各浮动图像的初始位姿，并将最上层的各浮动图像的位姿变换矩阵确定为位姿变换参数可以改变的矩阵。
基于该可能的实现方式，可以实现至少两个高斯金字塔中最上层图像的位姿优化，进而可以将至少两个高斯金字塔中最上层图像的优化后的位姿，作为至少两个高斯金字塔中第1层图像的初始位姿，有助于提高图像位姿优化的准确度，能够进一步避免在图像接缝处有较明显的错位的情况，提升重建模型的渲染效果。
可选地，在本公开其中一些可能的实现方式中，上述步骤208中，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中第M层图像进行位姿优化时，可以基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，利用预设相似性度量方式，获取至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失；将至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失相加，获取至少两个高斯金字塔中第M层图像之间的第二损失；基于至少两个高斯金字塔中第M层图像之间的第二损失，利用预设参数优化方式，获取其他高斯金字塔中第M层图像的位姿变化，并基于其他高斯金字塔中第M层图像的位姿变化对其他高斯金字塔中第M层图像进行位姿优化。
该可能的实现方式中，预设相似性度量方式可以是SSD(Sum of SquaredDifferences，平方差之和)、NCC(normalized cross correlation，归一化互相关)等度量方式中的任一项，本公开实施例对预设相似性度量方式不做具体限定。
该可能的实现方式中，预设参数优化方式可以是高斯牛顿法、梯度下降法、LM(levenberg-marquardt，麦夸尔特法)等迭代优化方法中的任一项，本公开实施例对预设参数优化方式不做具体限定。
一个可选示例中，可以采用如下公式(1)，实现基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中第M层图像进行自上而下的位姿优化：
Figure BDA0003378170840000121
其中，n为用于第一重建模型渲染的第一图像的数量；Ii为第i张第一图像的高斯金字塔中第M层图像(也可以称为第i张第一图像的第M层图像)；Ij为第j张第一图像的高斯金字塔中第M层图像(也可以称为第j张第一图像的第M层图像)；D为Ii和Ij之间的第一损失；f为至少两个高斯金字塔中第M层图像之间的第二损失，{Vij}为第一重建模型在第i张第一图像和第j张第一图像Ij上的共同可见顶点；s.t：用于说明公式(1)的限定条件(也可以成为约束条件)，限定条件ΔTp＝I表示第p张第一图像的高斯金字塔的第M层图像作为参照图像，位姿变换矩阵为单位矩阵I，即固定其位姿不变；∏i为Ii的投影矩阵或内参矩阵，ΔTi为Ii的位姿变换矩阵，Ti为Ii的位姿；∏j为Ij的投影矩阵或内参矩阵，ΔTj为Ij的位姿变换矩阵，Tj为Ij的位姿；Ii(Πi(ΔTiTivk))表示Ii上与任一共同可见点vk对应的像素点的像素值；Ij(Πj(ΔTjTjvk))表示Ij上与任一共同可见点vk对应的像素点的像素值。
一个可选示例中，图像的位姿变换矩阵可以为线性化近似矩阵(例如，李代数)，以Ii为例，其位姿变换矩阵可以表示为
Figure BDA0003378170840000131
其中，
Figure BDA0003378170840000132
βi，γi为旋转变换参数，ai，bi，ci为平移变换参数。
基于该可能的实现方式，可以利用预设相似性度量方式和预设参数优化方式，实现对至少两个高斯金子塔中自上而下的各层图像的位姿优化，位姿优化后的各高斯金字塔的底层图像之间的位姿具有更好的一致性，有助于获得更准确的图像位姿优化的结果，能够进一步避免在图像接缝处有较明显的错位的情况，提升重建模型的渲染效果。
本公开实施例中，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中最上层图像进行位姿优化的实现方式，可以与对其他高斯金字塔中第M层图像进行位姿优化的实现方式相同，在此不再赘述。可选地，在本公开其中一些可能的实现方式中，在获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点时，可以基于第一重建模型中的全部顶点，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，或者，还可以基于第一重建模型对应的三维点云，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
一个可选示例中，上述步骤204中，可以通过以下操作实现基于第一重建模型中的全部顶点，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点：操作a，针对至少两张第一图像中的任一张第一图像，确定经过任一张第一图像的相机中心点和第一重建模型中的各顶点的多条直线，其中多条直线的数量与第一重建模型中的顶点的数量相等；操作b，针对多条直线中的每条直线，确定直线是否穿过第一重建模型中的除顶点所在三角形以外的其他三角形，若直线未穿过其他三角形，可以确定顶点为第一重建模型在任一张第一图像上的可见顶点；否则，若直线穿过其他三角形，可任意确定顶点为第一重建模型在任一张第一图像上的不可见顶点；操作c，基于第一重建模型在至少两张第一图像中的每张第一图像上的可见顶点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
另一个可选示例中，上述步骤204中，还可以通过以下操作实现基于第一重建模型对应的三维点云，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点：操作d，获取与第一重建模型对应的三维点云，这里的与第一重建模型对应的三维点云可以是经由表面重建得到第一重建模型的三维点云；操作e，基于第一重建模型与三维点云之间的对应关系，在三维点云上标记多个目标点云集合，多个目标点云集合分别与第一重建模型上的各三角形对应，多个目标点云集合的数量与第一重建模型中的三角形的数量相等，这里的第一重建模型与三维点云之间的对应关系，可以是第一重建模型中的各顶点与三维点云中的各点之间的位置对应关系；操作f，针对多个目标点云集合中的每个目标点云集合，确定目标点云集合在至少两张第一图像中的任一第一图像上是否可见，若目标点云集合在任一第一图像上可见，确定第一重建模型上与目标点云集合对应的三角形的三个顶点为第一重建模型在任一第一图像上的可见顶点；否则，若目标点云集合在任一第一图像上不可见，确定第一重建模型上与目标点云集合对应的三角形的三个顶点为第一重建模型在任一第一图像上的不可见顶点；操作g，基于第一重建模型在至少两张第一图像中的每张第一图像上的可见顶点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
上述操作e中，基于第一重建模型与三维点云之间的对应关系，在三维点云上标记多个目标点云集合可以包括：分别针对第一重建模型中的任一三角形，根据任一三角形的三个顶点确定任一三角形的中心点，根据任一三角形的中心点和第二预设阈值确定一个目标区域，将三维点云上位于目标区域内的点组成的集合作为目标点云集合。需要说明的是，本领域技术人员可以根据实际需要设定第二预设阈值，本公开实施例对第二预设阈值的具体大小不做限定。
上述操作f中，确定目标点云集合在至少两张第一图像中的任一第一图像上是否可见可以包括：针对至少两张第一图像中的任一第一图像，确定经过任一第一图像的相机中心点和目标点云集合中的各点的多条直线；确定多条直线是否穿过其他目标点云集合，若多条直线未穿过其他目标点云集合，可以确定目标点云集合在任一第一图像上是可见的；否则，若多条直线中一条或多条直线穿过其他目标点云集合，可以确定目标点云集合在任一第一图像上是不可见的。
基于该可能的实现方式，可以选择基于第一重建模型中的全部顶点，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，或者，也可以选择基于第一重建模型对应的三维点云，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，具有较好的灵活性；同时，在第一重建模型中三角形的数量较多时，可以基于第一重建模型对应的三维点云，和至少两张第一图像中各第一图像的相机中心点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，不需要分别针对每条直线遍历第一重建模型中的每个三角形，来确定每条直线是否穿过每个三角形，可以减少由多次遍历第一重建模型中的每个三角形造成的计算资源开销，从而有助于节省计算资源，提高图像位姿优化效率。
可选地，在本公开其中一些可能的实现方式中，上述步骤202中，获取至少两张第一图像时，可以获取至少两张第二图像。然后可以对至少两张第二图像进行图像位姿优化，得到图像位姿优化后的至少两张第二图像作为至少两张第一图像。
该可选的实现方式中，可以利用预设位姿优化方法对至少两张第二图像进行图像位姿优化，在至少两张第二图像中的每两张第二图像的共同特征点的差异小于第三预设阈值时，得到图像位姿优化后的至少两张第二图像作为至少两张第一图像。
需要说明的是，该可能的实现方式中，预设位姿优化方法可以为基于SFM(Structure From Motion，运动恢复结构)方法通过图像之间稀疏特征点的匹配信息，进行图像位姿优化，也可以为基于SFM方法，并配合BA(Bundle Adjustment，光束平差法)方法，对图像位姿进行全局优化，本公开实施例对预设位姿优化方法不做限定。另外，本领域技术人员可以根据实际需要对第三预设阈值进行设定，本公开实施例对第三预设阈值的大小不做限定。
基于该可能的实现方式，可以利用预设位姿优化方法对用于重建模型渲染的至少两张第二图像进行初步地图像位姿优化，得到图像位姿优化后的至少两张第二图像作为至少两张第一图像，使得至少两张第一图像间的初始位姿的误差较小，可以加快执行本公开图像位姿优化方法的速度，提高图像位姿优化效率；同时，将预设位姿优化方法配合本公开图像位姿优化方法用于图像位姿优化，有助于提高图像位姿优化的准确度，能够进一步避免在图像接缝处有较明显的错位的情况，提升重建模型的渲染效果。
图3为本公开图像位姿优化方法另一个实施例的流程图。如图3所示，在图2所示实施例的基础上，上述步骤202可以包括：
步骤202-1，获取第二重建模型。
步骤202-2，对第二重建模型进行网格细分，得到网格细分后的第二重建模型作为第一重建模型。
本公开实施例中，可以利用预设网格细分方法对第二重建模型进行网格细化，其中的预设网格细分方法可以为Catmull-Clark细分、Loop细分等网格细分方法中的任一项，本公开实施例对此不做限定。
本公开实施例中，可以预先设定第四预设阈值，该第四预设阈值可以用于确定网格细分后的第二重建模型的是否网格稠密度符合要求。具体地，若网络细分后的第二重建模型中最长边的边长不大于第四预设阈值，可以确定网格细分后第二重建模型符合网格稠密度要求，并可以将网格细分后的第二重建模型作为第一重建模型；若网络细分后的第二重建模型中最长边的边长大于第四预设阈值，可以确定网格细分后第二重建模型不符合网格稠密要求，可以进一步利用预设网格细分方法对第二重建模型进行网格细分，直至网格细分后的第二重建模型符合要求。
需要说明的是，本领域技术人员可以根据实际需要设定第四预设阈值，例如，可以设定第四预设阈值为10cm，本公开实施例对第四预设阈值的大小不做具体限定。
基于本公开图像位姿优化方法，在进行图像位姿优化前，可以先对重建模型进行网格细分，使得重建模型更稠密，重建模型中顶点和三角形的数量更多，有助于提高获取重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点的准确度，进而提高图像位姿优化的准确度，能够进一步避免在图像接缝处有较明显的错位的情况，提升重建模型的渲染效果。
下面对本公开的图像位姿优化方法作进一步说明：
操作A，获取至少两张第二图像，可以对至少两张第二图像进行图像位姿优化，并将图像位姿优化后的至少两张第二图像作为至少两张第一图像，也可以将至少两张第二图像直接作为至少两张第一图像。
操作B，获取第二重建模型，可以对第二重建模型进行网格细分，并将网格细分后的第二重建模型作为第一重建模型，也可以将第二重建模型直接作为第一重建模型。
操作C，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
操作D，分别获取至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中的高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数。
操作E，将至少两个高斯金字塔中第M层的第p张图像为参照图像，利用上述公式(1)，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中第M层的其他图像进行位姿优化。
操作F，应用上述预设参数优化方式，求解至少两个高斯金字塔中第M层的其他图像的位姿变换矩阵中的旋转变换参数和平移变换参数，并基于第M层的其他图像的位姿变换矩阵，确定位姿优化后的第M层的其他图像的位姿。
操作G，将高斯金字塔中第M层图像的位姿，作为第M+1层图像的初始位姿，重复操作E和F，其中第M层图像的分辨率低于第M+1层图像的分辨率。
操作H，获取位姿优化后的至少两个的高斯金字塔中的最底层图像用于第一重建模型渲染。
本公开实施例提供的任一种图像位姿优化方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种图像位姿优化方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种图像位姿优化方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本公开图像位姿优化装置一个实施例的结构示意图。该实施例的图像位姿优化装置可用于实现本公开上述各图像位姿优化方法实施例。如图5所示，该实施例的装置包括：第一获取模块502，第二获取模块504，第三获取模块506，位姿优化模块508、渲染模块510。其中：
第一获取模块502，用于获取第一重建模型和至少两张第一图像，其中，第一重建模型为目标场景的重建模型，至少两张第一图像为对目标场景进行拍摄得到的至少两张图像；
第二获取模块504，用于获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点；
第三获取模块506，用于分别获取至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中，高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数；
位姿优化模块508，用于基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；
渲染模块510，用于获取至少两个位姿优化的高斯金字塔中的底层图像用于第一重建模型渲染。
基于本公开上述实施例提供的图像位姿优化装置，在进行图像位姿优化时，可以基于重建模型在至少两张图像中的每两张图像上的共同可见顶点，实现对至少两张图像中的每张图像的高斯金字塔，从低分辨率到高分辨率逐层对各层图像进行图像位姿优化，图像位姿优化后的各高斯金字塔的底层图像之间的位姿具有更好的一致性，将位姿优化后的各高斯金字塔的底层图像用于重建模型渲染，能够避免在图像接缝处有较明显的错位的情况，有助于提升重建模型的渲染效果。
可选地，在本公开其中一些可能的实现方式中，上述位姿优化模块508，可以包括：选取单元和第一位姿优化单元。其中：
选取单元，用于选取至少两个高斯金字塔中的任一高斯金字塔作为参照高斯金字塔；
第一位姿优化单元，用于针对至少两个高斯金字塔中自上而下的第M层，其中M的取值依次为1、2、…、N-1，将参照高斯金字塔中第M层图像作为参照图像，将至少两个高斯金字塔中除参照高斯金字塔以外的其他高斯金字塔中第M层图像作为浮动图像，以其他高斯金字塔中第M-1层图像的位姿作为其他高斯金字塔中第M层图像的初始位姿，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中第M层图像进行位姿优化，得到其他高斯金字塔中位姿优化后的第M层图像。
可选地，在本公开其中一些可能的实现方式中，上述位姿优化模块508，还可以包括：第二位姿优化单元。该第二位姿优化单元，用于针对至少两个高斯金字塔中自上而下的最上层，将参照高斯金字塔中最上层图像作为参照图像，将至少两个高斯金字塔中除参照高斯金字塔以外的其他高斯金字塔中最上层图像作为浮动图像，以其他高斯金字塔对应的第一图像的位姿别分别作为浮动图像的初始位姿，基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中最上层图像进行位姿优化，得到其他高斯金字塔中位姿优化后的最上层图像。
可选地，在本公开其中一些可能的实现方式中，上述基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，对其他高斯金字塔中第M层图像进行位姿优化可以包括：
基于第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点，利用预设相似性度量方式，获取至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失；
将至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失相加，获取至少两个高斯金字塔中第M层图像之间的第二损失；
基于至少两个高斯金字塔中第M层图像之间的第二损失，利用预设参数优化方式，获取其他高斯金字塔中第M层图像的位姿变化，并基于其他高斯金字塔中第M层图像的位姿变化对其他高斯金字塔中第M层图像进行位姿优化。
可选地，在本公开其中一些可能的实现方式中，上述第二获取模块504，可以包括：第一确定单元、第二确定单元、第三确定单元和第一获取单元。其中：
第一确定单元，用于针对至少两张第一图像中的任一张第一图像，确定经过任一张第一图像的相机中心点和第一重建模型中的各顶点的多条直线；其中，多条直线的数量与第一重建模型中的顶点的数量相等；
第二确定单元，用于针对多条直线中的每条直线，确定直线是否穿过第一重建模型中的除顶点所在三角形以外的其他三角形；
第三确定单元，用于根据第二确定单元的确定结果，若直线未穿过其他三角形，确定顶点为第一重建模型在任一张第一图像上的可见顶点；否则，若直线穿过其他三角形，确定顶点为第一重建模型在任一张第一图像上的不可见顶点；
第一获取单元，用于基于第一重建模型在至少两张第一图像中的每张第一图像上的可见顶点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
可选地，在本公开其中一些可能的实现方式中，上述第二获取模块504，可以包括：第二获取单元、标记单元、第四确定单元、第五确定单元和第三获取单元。其中：
第二获取单元，用于获取与第一重建模型对应的三维点云；
标记单元，用于基于第一重建模型与三维点云之间的对应关系，在三维点云上标记多个目标点云集合，其中，多个目标点云集合分别与第一重建模型上的各三角形对应，多个目标点云集合的数量与第一重建模型中的三角形的数量相等；
第四确定单元，用于针对多个目标点云集合中的每个目标点云集合，确定目标点云集合在至少两张第一图像中的任一第一图像上是否可见；
第五确定单元，用于根据第四确定单元的确定结果，若目标点云集合在所述任一第一图像上可见，确定第一重建模型上与目标点云集合对应的三角形的三个顶点为第一重建模型在任一第一图像上的可见顶点；否则，若目标点云集合在任一第一图像上不可见，确定第一重建模型上与目标点云集合对应的三角形的三个顶点为第一重建模型在任一第一图像上的不可见顶点；
第三获取单元，用于基于第一重建模型在至少两张第一图像中的每张第一图像上的可见顶点，获取第一重建模型在至少两张第一图像中的每两张第一图像上的共同可见顶点。
可选地，在本公开其中一些可能的实现方式中，上述第一获取模块502，可以包括：第五获取单元和第三位姿优化单元。其中：
第五获取单元，用于获取至少两张第二图像；
第三位姿优化单元，用于对至少两张第二图像进行图像位姿优化，得到图像位姿优化后的至少两张第二图像作为至少两张第一图像。
图6为本公开图像位姿优化装置另一个实施例的结构示意图。如图6所示，在图5所示实施例的基础上，上述第一获取模块502可以包括第四获取单元502-1和网格细分单元502-2。其中：
第四获取单元502-1，用于获取第二重建模型；
网格细分单元502-2，用于对所述第二重建模型进行网格细分，得到网格细分后的第二重建模型作为所述第一重建模型。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的图像位姿优化方法。
图7为本公开电子设备一个应用实施例的结构示意图。下面，参考图7来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图7所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像位姿优化方法以及/或者其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的图像位姿优化方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的图像位姿优化方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像位姿优化方法，其特征在于，包括：
获取第一重建模型和至少两张第一图像，其中，所述第一重建模型为对目标场景的三维点云进行表面重建得到的网格模型，所述至少两张第一图像为对所述目标场景进行拍摄得到的至少两张图像；
获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点；
分别获取所述至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中，所述高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数；
基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；
获取所述至少两个位姿优化的高斯金字塔中的底层图像用于所述第一重建模型渲染。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔，包括：
选取所述至少两个高斯金字塔中的任一高斯金字塔作为参照高斯金字塔；
针对所述至少两个高斯金字塔中自上而下的第M层，其中M的取值依次为1、2、…、N-1，将所述参照高斯金字塔中第M层图像作为参照图像，将所述至少两个高斯金字塔中除所述参照高斯金字塔以外的其他高斯金字塔中第M层图像作为浮动图像，以所述其他高斯金字塔中第M-1层图像的位姿作为所述其他高斯金字塔中第M层图像的初始位姿，基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述其他高斯金字塔中第M层图像进行位姿优化，得到所述其他高斯金字塔中位姿优化后的第M层图像。
3.根据权利要求2所述的方法，其特征在于，还包括：
针对所述至少两个高斯金字塔中自上而下的最上层，将所述参照高斯金字塔中最上层图像作为参照图像，将所述至少两个高斯金字塔中除所述参照高斯金字塔以外的其他高斯金字塔中最上层图像作为浮动图像，以所述其他高斯金字塔对应的第一图像的位姿别分别作为所述浮动图像的初始位姿，基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述其他高斯金字塔中最上层图像进行位姿优化，得到所述其他高斯金字塔中位姿优化后的最上层图像。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述他高斯金字塔中第M层图像进行位姿优化包括：
基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，利用预设相似性度量方式，获取所述至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失；
将所述至少两个高斯金字塔中的每两个高斯金字塔中第M层图像之间的第一损失相加，获取所述至少两个高斯金字塔中第M层图像之间的第二损失；
基于所述至少两个高斯金字塔中第M层图像之间的第二损失，利用预设参数优化方式，获取所述其他高斯金字塔中第M层图像的位姿变化，并基于所述其他高斯金字塔中第M层图像的位姿变化对所述其他高斯金字塔中第M层图像进行位姿优化。
5.根据权利要求1所述的方法，其特征在于，所述获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，包括：
针对所述至少两张第一图像中的任一张第一图像，确定经过所述任一张第一图像的相机中心点和所述第一重建模型中的各顶点的多条直线；其中，所述多条直线的数量与所述第一重建模型中的顶点的数量相等；
针对所述多条直线中的每条直线，确定所述直线是否穿过所述第一重建模型中的除所述顶点所在三角形以外的其他三角形；
若所述直线未穿过所述其他三角形，确定所述顶点为所述第一重建模型在所述任一张第一图像上的可见顶点；否则，若所述直线穿过所述其他三角形，确定所述顶点为所述第一重建模型在所述任一张第一图像上的不可见顶点；
基于所述第一重建模型在所述至少两张第一图像中的每张第一图像上的可见顶点，获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点。
6.根据权利要求1所述的方法，其特征在于，所述获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，包括：
获取与所述第一重建模型对应的三维点云；
基于所述第一重建模型与所述三维点云之间的对应关系，在所述三维点云上标记多个目标点云集合，其中，所述多个目标点云集合分别与所述第一重建模型上的各三角形对应，所述多个目标点云集合的数量与所述第一重建模型中的三角形的数量相等；
针对所述多个目标点云集合中的每个目标点云集合，确定所述目标点云集合在所述至少两张第一图像中的任一第一图像上是否可见；
若所述目标点云集合在所述任一第一图像上可见，确定所述第一重建模型上与所述目标点云集合对应的三角形的三个顶点为所述第一重建模型在所述任一第一图像上的可见顶点；否则，若所述目标点云集合在所述任一第一图像上不可见，确定所述第一重建模型上与所述目标点云集合对应的三角形的三个顶点为所述第一重建模型在所述任一第一图像上的不可见顶点；
基于所述第一重建模型在所述至少两张第一图像中的每张第一图像上的可见顶点，获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点。
7.根据权利要求1所述的方法，其特征在于，所述获取第一重建模型，包括：
获取第二重建模型；
对所述第二重建模型进行网格细分，得到网格细分后的第二重建模型作为所述第一重建模型。
8.根据权利要求1-7任一所述的方法，其特征在于，所述获取所述至少两张第一图像，包括：
获取至少两张第二图像；
对所述至少两张第二图像进行图像位姿优化，得到图像位姿优化后的至少两张第二图像作为所述至少两张第一图像。
9.一种图像位姿优化装置，其特征在于，包括：
第一获取模块，用于获取第一重建模型和至少两张第一图像，其中，所述第一重建模型为对目标场景的三维点云进行表面重建得到的网格模型，所述至少两张第一图像为对所述目标场景进行拍摄得到的至少两张图像；
第二获取模块，用于获取所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点；
第三获取模块，用于分别获取所述至少两张第一图像中的每张第一图像的高斯金字塔，得到至少两个高斯金字塔，其中，所述高斯金字塔包括从上至下分辨率依次变大的N个图像，N为大于1的整数；
位姿优化模块，用于基于所述第一重建模型在所述至少两张第一图像中的每两张第一图像上的共同可见顶点，对所述至少两个高斯金字塔中各层图像进行自上而下的位姿优化，得到至少两个位姿优化的高斯金字塔；
渲染模块，用于获取所述至少两个位姿优化的高斯金字塔中的底层图像用于所述第一重建模型渲染。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-8任一所述的图像位姿优化方法。
CN202111425414.5A 2021-11-26 2021-11-26 图像位姿优化方法和装置、设备、存储介质和程序产品 Active CN114022619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111425414.5A CN114022619B (zh) 2021-11-26 2021-11-26 图像位姿优化方法和装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111425414.5A CN114022619B (zh) 2021-11-26 2021-11-26 图像位姿优化方法和装置、设备、存储介质和程序产品

Publications (2)

Publication Number Publication Date
CN114022619A CN114022619A (zh) 2022-02-08
CN114022619B true CN114022619B (zh) 2022-09-23

Family

ID=80066897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111425414.5A Active CN114022619B (zh) 2021-11-26 2021-11-26 图像位姿优化方法和装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN114022619B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US7636700B2 (en) * 2004-02-03 2009-12-22 Hrl Laboratories, Llc Object recognition system incorporating swarming domain classifiers
CN108648270B (zh) * 2018-05-12 2022-04-19 西北工业大学 实时同步定位与地图构建的无人机实时三维场景重建方法
CN112102171B (zh) * 2020-09-18 2021-10-08 贝壳找房(北京)科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN112435206B (zh) * 2020-11-24 2023-11-21 北京交通大学 利用深度相机对物体进行三维信息重建的方法

Also Published As

Publication number Publication date
CN114022619A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
JP7311204B2 (ja) ３次元オブジェクトモデリング方法、画像処理方法、画像処理装置
CN110675314B (zh) 图像处理和三维对象建模方法与设备、图像处理装置及介质
US9483703B2 (en) Online coupled camera pose estimation and dense reconstruction from video
CN107566688B (zh) 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置
CN114399597B (zh) 场景空间模型的构建方法、装置以及存储介质
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN107851332B (zh) 经由拓扑知晓表面跟踪的一致细分
CN111563950A (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
da Silveira et al. 3d scene geometry estimation from 360 imagery: A survey
CN112102199A (zh) 深度图像的空洞区域填充方法、装置和系统
JP2024508024A (ja) 画像データの処理方法及び装置
EP4107650A1 (en) Systems and methods for object detection including pose and size estimation
GB2567245A (en) Methods and apparatuses for depth rectification processing
WO2022208440A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
CN113592706A (zh) 调整单应性矩阵参数的方法和装置
CN114022619B (zh) 图像位姿优化方法和装置、设备、存储介质和程序产品
US20230169755A1 (en) Apparatus and method with image processing
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
JP2023056466A (ja) グローバル測位装置及び方法
US11665330B2 (en) Dynamic-baseline imaging array with real-time spatial data capture and fusion
CN116188349A (zh) 图像处理方法、装置、电子设备及存储介质
US11550387B2 (en) Stereo correspondence search
Tanács et al. Collaborative mobile 3d reconstruction of urban scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant