CN116129031A - 用于三维重建的方法、系统和存储介质 - Google Patents

Abstract

本公开内容涉及用于三维重建的方法、系统和存储介质。描述了关于三维重建的各种实施例。在一个实施例中，用于三维重建的方法包括：获得通过拍摄目标对象本体及其镜像得到的复合图像；以及利用复合图像和表示产生镜像的镜面相对于进行拍摄的相机的位置和姿态的相对位置姿态信息，对所述目标对象进行三维重建。

Description

用于三维重建的方法、系统和存储介质

技术领域

本公开一般地涉及三维重建技术，并且具体地涉及基于深度神经网络的三维重建技术。

背景技术

高精度的三维重建能够在诸如工业自动化、医疗辅助应用、虚拟现实应用、视觉导航等一些平面视觉难以解决甚至无法解决的场合起到重要的作用。

传统的高精度的三维重建技术需要获取目标对象在多视角下的图像信息或深度信息，通常情况下，三维重建的精度与角度的稠密程度直接相关。角度越稀疏，三维重建的精度越低，甚至无法建模。

发明内容

本公开的一个方面涉及用于三维重建的方法。根据本公开的实施例，用于三维重建的方法包括：获得通过拍摄目标对象本体及其镜像得到的复合图像；以及利用复合图像和表示产生镜像的镜面相对于进行拍摄的相机的位置和姿态的相对位置姿态信息，对目标对象进行三维重建。

本公开的一个方面涉及用于三维重建的系统。根据本公开的实施例，用于三维重建的系统包括：信息处理装置，被配置为执行根据本公开实施例的各方法的步骤。

本公开的一个方面涉及包括一个或多个平面镜单元的平面镜组。根据本公开的实施例，平面镜组包括设置在上面的位置姿态获取模块，该位置姿态获取模块被配置为获得并发送与平面镜组的位置姿态相关的信息。

本公开的再一个方面涉及电子设备，包括：存储器和耦接至存储器的处理器，该处理器被配置为基于存储在存储器中的指令，执行根据本公开实施例的用于三维重建的方法。

本公开的再一个方面涉及非瞬态计算机可读存储介质，其上存储有一个或多个指令，该指令在由处理器执行时，使处理器执行根据本公开实施例的用于三维重建的方法。

本公开的再一个方面涉及计算机程序产品，包括一个或多个指令，该指令在由处理器执行时，使处理器执行根据本公开实施例的用于三维重建的方法。

提供上述概述是为了总结一些示例性的实施例，以提供对本文所描述的主题的各方面的基本理解。因此，上述特征仅仅是例子并且不应该被解释为以任何方式缩小本文所描述的主题的范围或精神。本文所描述的主题的其他特征、方面和优点将从以下结合附图描述的具体实施方式而变得明晰。

附图说明

当结合附图考虑实施例的以下具体描述时，可以获得对本公开内容更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用来例示说明本公开的实施例和解释本公开的原理和优点。其中：

图1是示出根据本公开实施例的用于三维重建的系统的配置的示例的示意图。

图2A是示出根据本公开实施例的平面镜组及平面镜单元的配置的示例的示意图。

图2B示出了根据本公开实施例的平面镜组的布置方式的示例的示意图。

图2C示出了根据本公开实施例的平面镜组的布置方式的又一示例的示意图。

图3是示出根据本公开实施例的用于三维重建的方法的步骤的示例的流程图。

图4是示出根据本公开实施例的用于三维重建的方法的部分步骤的子步骤的示例的流程图。

图5A是示出根据本公开实施例的提取全局特征的步骤的示例的流程图。

图5B是示出根据本公开实施例的建立几何关联的步骤的示例的流程图。

图6是示出根据本公开实施例的获得复合图像的示例的示意图。

图7是示出根据本公开实施例的电子设备的示例的框图。

虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式，但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是，应当理解，附图以及对其的详细描述不是要将实施例限定到所公开的特定形式，而是相反，目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。

具体实施方式

以下描述根据本公开的设备和方法等各方面的代表性应用。这些例子的描述仅是为了增加上下文并帮助理解所描述的实施例。因此，对本领域技术人员而言明晰的是，以下所描述的实施例可以在没有具体细节当中的一些或全部的情况下被实施。在其他情况下，众所周知的过程步骤没有详细描述，以避免不必要地模糊所描述的实施例。其他应用也是可能的，本公开的方案并不限制于这些示例。

下面结合图1示例性地描述根据本公开实施例的用于三维重建的系统的配置的示例。

根据本公开的实施例，用于三维重建的系统100可以包括信息处理装置110。

信息处理装置110用于进行三维重建。特别地，信息处理装置110可以被配置为执行稍后将描述的用于三维重建的方法的步骤中的至少一部分。

在一些实施例中，用于三维重建的系统100还可以包括平面镜组120。具体地，每个平面镜组120可以提供一个镜面。系统100中的平面镜组120的数量L可以根据需要进行选择。L为正整数。

根据镜面成像原理，平面镜组120的镜面可以产生目标对象140的镜像。申请人认识到，与目标对象本体一样，目标对象在镜面中的镜像也可以包括目标对象在特定视角下的特征信息。因此，本公开提出利用单个或多个相机结合平面镜组的配置来提供三维重建目标对象所需的多视角图像，从而减少对相机数量的要求和依赖。

在一些实施例中，平面镜组120可以由一个或多个平面镜单元形成。例如，可以将多个平面镜单元拼接在一起，将多个平面镜单元邻近放置在一起，或者将多个平面镜单元放置在例如“田”字、“井”字或蜂窝状的单元格中等等。

图2A示意性地示出了根据本公开实施例的平面镜组的配置的示例，其中的局部放大图中示意性地示出了构成平面镜组的平面镜单元的配置的示例。

如图所示，在一些实施例中，每个平面镜组120可以包括一个或多个平面镜单元210。平面镜单元210可以包括平面镜214，任一平面镜组所包括的所有平面镜单元中的平面镜可以共同构成该平面镜组的镜面。

如图所示，在一些实施例中，平面镜单元210可以通过接合构件212进行拼接。例如，根据一些实施例的接合构件212可以设置在平面镜单元210的四个侧边处，如图2A中所示。利用这种布置，平面镜单元210可以根据需要在四个方向上任意扩展，并且几乎不影响平面镜组的成像。本领域的技术人员应当理解，对于接合构件212的布置位置和接合方式没有特别的限制，而是可以根据实际应用进行选择，只要接合构件212能够将平面镜单元拼接成平面镜组以提供更大的镜面并减少对镜面成像的影响即可。

有利地，使用可拼接的平面镜单元来提供平面镜组能够使平面镜组可拆装、易扩展，灵活适应于不同的需求。

特别地，在一些实施例中，以下中的至少一部分可以根据需要调整：平面镜组的数量、至少部分平面镜组相对于相机的位置或姿态。

下面结合图2B和图2C分别示出的根据本公开实施例的平面镜组的布置方式的示例来说明平面镜组的布置方式的调整。在图2B所示的布置方式的示例中，使用了两个平面镜组，它们以两种不同的位置姿态对目标对象进行镜像成像，其中每个平面镜组由四个平面镜单元拼接而成，平面镜组的尺寸较大。经过调整，在图2C所示的布置方式的示例中，使用了四个平面镜组，它们以四种不同的位置姿态对目标对象进行镜像成像，其中每个平面镜组只包括一个平面镜单元，平面镜组的尺寸较小。本领域的技术人员应当理解，对于平面镜组的布置方式没有特别的限制，而是可以根据实际应用进行设计和调整。

在一些实施例中，系统100还可以包括定位装置(未示出)，用于执行上述平面镜组120的布置和稍后将描述的相机130的布置中的至少一部分。例如，定位装置可以被配置为调整一个或多个平面镜组相对于相机的位置或姿态。在一些实施例中，定位装置可以使用例如机械臂实现。

在一些实施例中，定位装置可以从信息处理装置110获取与布置相关的信息，并基于该信息控制平面镜组和相机的布置。其中，与布置相关的信息可以例如根据以下方式中的一个或多个产生：针对应用场景设计、根据经验选择或预先设定等。

可替代地，在一些实施例中，平面镜组和相机的布置中的至少一部分可以由操作者手动进行。

本领域的技术人员应当理解，虽然附图例示了由一个或多个平面镜单元拼接形成平面镜组的情况，但本申请不限于此。例如，在一些实施例中，平面镜组也可以用整块的平面镜来实现。

在本公开的一些实施例中，平面镜组120包括设置在上面的位置姿态获取模块220。

在一些实施例中，位置姿态获取模块220可以被配置为获得并发送与平面镜组的位置姿态相关的信息。例如，位置姿态获取模块220可以将与平面镜组的位置姿态相关的信息发送给信息处理装置110。其中，与平面镜组的位置姿态相关的信息(平面镜组的位置姿态相关信息)可以直接或者间接地指示平面镜组的位置姿态。在一些实施例中，位置姿态获取模块220可以包括用于感测位置和姿态相关参数的感测元件(未示出)，从而获得平面镜组的位置姿态相关信息。位置姿态获取模块220还可以包括用于通信的通信元件(未示出)，从而发送平面镜组的位置姿态相关信息。位置姿态获取模块220可以主动报告平面镜组的位置姿态相关信息。或者，位置姿态获取模块220可以在收到询问时回复平面镜组的位置姿态相关信息。

在这些实施例中，位置姿态获取模块220可以设置在平面镜组的边缘处或者背面，以减少对镜面成像的影响。

在另一些实施例中，位置姿态获取模块220可以被配置为利用特定图案标定平面镜组的位置姿态信息。例如，位置姿态获取模块220可以被配置为在平面镜组上提供包含标记特征的特定图案，诸如条形码、二维码或棋盘格。一旦拍摄到这些特定图案，就可以识别出平面镜组相对于相机的位置和姿态，即，相对位置姿态信息。

在这些实施例中，位置姿态获取模块220可以设置在构成平面镜组的各个平面镜单元的边缘处(特别是四个角处)，以构成合适的图案并减少对镜面成像的影响。

可替代地，在一些实施例中，平面镜组120的位置姿态信息可以被预先确定。

在一些实施例中，用于三维重建的系统100还可以包括相机130。相机130可以被配置为拍摄目标对象130的本体及其镜像，从而获得复合图像。本申请所述的复合图像指的是由相机130捕捉的、同时包含目标对象的本体和至少一部分镜像的图像。如图1所示，来自相机130的信息可以被传送给信息处理装置110。

相机130可以包括位置姿态获取模块(未示出)。例如，结合相机130和平面镜组120各自的位置姿态获取模块所发送的信息，可以确定平面镜组120相对于相机130的位置和姿态，即，相对位置姿态信息。或者，相机130可以被预先标定。

在一些实施例中，信息处理装置110可以部署在相机130(平面镜组120)附近。可替代地，在一些实施例中，信息处理装置110中的至少一部分可以与相机130分开部署。例如，在一些实施例中，信息处理装置110中的至少一部分可以部署在远程的服务器处。可替代地，在一些实施例中，信息处理装置110还可以与相机或定位装置集成为同一设备或模块。本领域的技术人员应当理解，对于信息处理装置110与相机130的位置关系没有特别的限制，而是可以根据实际应用进行选择，只要信息处理装置110能够获取待处理的信息即可。

虽然图1中例示的系统100包括平面镜组120和相机130，本领域的技术人员应当理解，系统100本身可以不包括平面镜组120和/或相机130，而是可以代替地使用由系统外部的平面镜组120和/或相机130。例如，系统100可以直接使用由系统外部的相机拍摄的复合图像。

下面参考图3、图4、图5A-图5B以及图6来示例性地描述根据本公开实施例的用于三维重建的方法。该方法可应用于任何具有处理能力的电子设备中。上面结合图1、图2A-图2C所描述的内容也可以适用于对应的特征。例如，以上描述的平面镜组的全部或任意部分特征也可以适用于下面描述的用于三维重建的方法或执行该方法的系统。

如图3所示，根据本公开的实施例，用于三维重建的方法300可以主要包括以下步骤：

在步骤306，获得通过拍摄目标对象本体及其镜像得到的复合图像；以及

在步骤308，利用复合图像和表示产生镜像的镜面相对于进行拍摄的相机的位置和姿态的相对位置姿态信息，对目标对象进行三维重建。

在一些实施例中，用于三维重建的方法还可以包括布置相机和提供镜面的平面镜组中的至少一部分，使得相机的拍摄范围覆盖目标对象以及镜面。这里，“布置”可以指代“安装”、“替换”、“调整”等。“布置”的基本要求是使得相机的拍摄范围覆盖目标对象以及至少部分镜面，从而使得相机能够拍摄到目标对象本体及其在镜面中的至少部分镜像。

在一些实施例中，布置相机和平面镜组中的至少一部分可以包括发送指令，并基于指令中包括的与布置相关的信息来控制平面镜组和相机的布置。例如，可以控制定位装置来调整一个或多个平面镜组相对于相机的位置或姿态。其中，定位装置可以利用例如机械臂实现。

在一些实施例中，与布置相关的信息可以根据以下方式中的一个或多个产生：针对应用场景设计、根据经验选择或预先设定等。

可替代地，在一些实施例中，在执行用于三维重建的方法之前，由操作者手动布置相机和平面镜组中的至少一部分。

在一些实施例中，布置相机和平面镜组中的至少一部分可以包括根据需要调整以下中的至少一项：平面镜组的数量、至少部分平面镜组相对于相机的位置或姿态等。上面已经结合图2B-图2C地描述了这种调整的示例，这里不再重复。根据应用需求和场景特点相应地布置相机和平面镜组可以有利地实现提高性能和降低成本中的至少一者。

可替代地，在一些实施例中，相机和平面镜组被预先设置在合适的位置处，因此不需要执行布置。例如，在某个应用场景下，相机和平面镜组可能已经被预先安装调试好。在这种情况下，无需布置相机和平面镜组就可以直接执行对目标对象的三维重建。

在一些实施例中，用于三维重建的方法还可以包括对相机和镜面中的至少一个进行标定，以获取指示镜面相对于相机的位置和姿态的相对位置姿态信息(步骤304)。

例如，在一些实施例中，可以结合相机和提供镜面的平面镜组各自的位置姿态获取模块所发送的信息，确定镜面相对于相机的位置和姿态，即，相对位置姿态信息。或者，在一些实施例中，可以在平面镜组上布置包含标记特征的特定图案，诸如条形码、二维码或棋盘格。通过用相机拍摄这些特定图案，可以识别出相对位置姿态信息。又或者，在一些实施例中，相机和镜面中的一者被预先标定，仅使用另一者上的位置姿态获取模块，就可以获取相对位置姿态信息。

可替代地，在一些实施例中，相机和镜面的相对位置和姿态被预先设定并且已知，因此不需要执行步骤304。例如，在某个应用场景下，一旦安装好相机和镜面，可以在不改变二者的布置方式的前提下执行多次三维重建。在这种情况下，无需在每次三维重建中重新获取相对位置姿态信息。

但是，如果进行布置改变了相机和镜面的相对位置和姿态，则需要重新进行标定。

在步骤306中，获得通过拍摄目标对象本体及其镜像得到的复合图像。

在现有技术中，为了对目标对象进行3D重建，需要多个相机从多个视角捕捉图像。如上所述，目标对象的镜像相当于在一个或甚至几个特定视角下“拍摄”的目标对象的像，即，相当于每个镜面代替了现有技术的一个或者多个相机(下文中称为镜面虚拟相机)。通过相机和镜面的适当布置，如图6所示，目标对象本体及其在镜面中的镜像可以被拍摄到同一张图像(本文中称为复合图像)上。由此，利用复合图像就可以获得三维重建目标对象所需的多视角图像信息。

在相关的三维重建技术中，三维建模的精度和相机数量直接相关，因此一般需要使用多个相机来获得多视角图像。本申请利用拍摄目标对象本体及其镜像得到的复合图像进行三维建模，可以减少对相机数量的要求和依赖，用较低的成本实现高精度的处理。

在步骤308，利用复合图像和表示镜面相对于相机的位置和姿态的相对位置姿态信息，进行三维重建。

下面结合图4详细描述根据本公开实施例的进行三维重建(步骤308)的子步骤的示例。

如图4所例示的，可以对包括目标对象的给定三维空间内的点进行随机采样(步骤402)。

在一些实施例，包括目标对象的给定三维空间可以被适当地限制，以提高采样的效率。另外，采样点的数量N可以根据需要进行选择。其中N为正整数。

随后，可以从复合图像中提取与采样点对应的全局特征(步骤404)。

图5详细例示了根据本公开实施例从复合图像中提取与采样点对应的全局特征的具体步骤的示例。

如图5所例示的，在步骤502，对复合图像进行特征提取，获得全局特征图。

具体地，在一些实施例中，可以将复合图像输入到特征提取器中进行特征提取。

在一些实施例中，特征提取器可以包括但不限于神经网络、自动编解码、SIFT、HOG等中的任意一个或组合。

作为特征提取器的输出，可以获得针对复合图像的全局特征图。

在一些实施例中，全局特征图可以由特征元素组成。各个特征元素可以采取多维向量的形式表示。全局特征图中的特征元素可以分别与图像上的像素点对应。这里，特征元素与像素点的“对应”指该特征元素可以表示对应像素点的特征。本领域技术人员容易理解，图像的分辨率越高或像素点越小，提取得到的全局特征图就越能准确地表示图像，但相应的工作量就越大。

在一些实施例中，为了避免巨大的计算开销，对图像进行全局特征提取还包括在将图像输入到特征提取器之前对图像进行诸如降采样之类的预处理，以降低图像的分辨率。例如，在一些实施例中，在将图像输入到特征提取器之前，可以将分辨率为512*512的图像压缩为分辨率为64*64的图像。

在步骤504，确定采样点与复合图像的像素点之间的几何关联。由此，可以确定世界坐标系与图像坐标系的对应关系。

复合图像中与采样点对应的像素点可以不仅包括通过拍摄目标对象本体得到的像素点(下文中称为本体像素点)，还包括通过拍摄目标对象的镜像得到的像素点(下文中称为镜像像素点)。因此，建立采样点与复合图像的像素点之间的几何关联可以具体地包括：确定采样点与本体像素点之间的几何关联(子步骤510)，以及确定采样点与镜像像素点之间的几何关联(子步骤520)。

在一些实施例中，可以通过计算本体相机(真实相机)的投影矩阵以及镜面虚拟相机(镜面提供的虚拟相机)的投影矩阵来确定采样点与复合图像的各个像素点之间的几何关联。本体相机投影矩阵以及镜面虚拟相机投影矩阵可以利用系统已知的或者通过步骤304获得的相对位置姿态信息来计算。

下面结合图5B，解释投影矩阵的确定方法的示例。

为了便于计算和描述，可以将相机C₀的位置设定为世界坐标系的原点O。利用相对位置姿态信息，可以获得平面镜组W₁的法线向量n＝(n_x,n_y,n_z)以及平面镜组W₁所在平面到相机C₀的距离d。

相机C₀关于平面镜组W₁的镜像的位置可以被表示为：

[式1]

T₁＝2((T₀·n)n+dn)

其中，T₀表示相机C₀在世界坐标系中的位置。由于相机C₀被假设位于世界坐标系的原点O，上式可以被进一步简化为T₁＝2dn。结合以上分析可知，该镜像的位置T₁就是本公开中定义的镜面虚拟相机C₁的位置。

镜面虚拟相机C₁的姿态旋转矩阵R₁可以被表示为：

[式2]

其中，V为镜像矩阵，R₀为相机C₀的姿态旋转矩阵。在本示例中，R₀可以被表示为：

[式3]

基于在世界坐标系中的位置和姿态旋转矩阵，相机C₀的外参矩阵m₀可以被表示为：m₀＝[R₀ T₀]，类似地，镜面虚拟相机C₁的外参矩阵M₁可以被表示为：M₁＝[R₁ T₁]。

相机C₀的内参矩阵I₀仅与相机内部参数有关，一般可以根据出厂参数或标定相机本身来获得。一般来说，内参矩阵I₀可以被表示为：

[式4]

其中，f_x、f_y表示相机C₀的焦距相关值，s_x、s_y表示相机C₀在成像中的主点偏移相关值。

因此，根据镜面成像原理，镜面虚拟相机C₁的内参矩阵I₁可以被表示为：

[式5]

利用内参矩阵和外参矩阵，相机C₀的投影矩阵P₀可以被表示为：

[式6]

P₀＝M₀·I₀＝[R₀ T₀]·I₀

类似地，镜面虚拟相机C₁的投影矩阵P₁可以被表示为：

[式7]

P₁＝M₁·I₁＝[R₁ T₁]·I₁

为了简化描述，以上示例将相机C₀设定在了世界坐标系中的原点位置。本领域的技术人员应当理解，对于相机C₀的坐标位置没有特别的限制。而且，如果有多个真实相机，它们可以分别分布在包括原点在内的任何位置处。

虽然上述式1-式7仅示例性地描述了针对一个平面镜组W₁的投影矩阵的计算方法，但类似的计算方法也适用于在包括多个平面镜组的情况下其他平面镜组(诸如W₂)的投影矩阵的计算。

此外，虽然本文详细描述了使用投影矩阵来确定采样点与复合图像的像素点之间的几何关联的具体示例，但本公开不限于此。

在步骤506，基于几何关联，从全局特征图中确定与采样点对应的全局特征。

如上所述，全局特征图中的特征元素可以分别与复合图像上的像素点对应。此外，根据步骤504中的处理，可以确定采样点与复合图像的像素点之间的几何关联。由此，基于该几何关联，可以确定采样点与特征元素的对应关系。

应注意，除了通过拍摄目标对象本体得到的本体像素点，复合图像还可以包括通过拍摄目标对象的镜像得到的镜像像素点。因此，在一些实施例中，与每个采样点对应的全局特征的数量可以大于1，使得全局特征的总数量可以大于采样点的数量。受视角的限制以及可能的拼接缝隙影响，不一定每个采样点都能被本体相机和镜面虚拟相机中的每一个拍摄到，但是全局特征的总数量依然可以远远大于仅用相机拍摄目标对象本体的情况。

如图4所例示的，可以对采样点的成像相关几何信息进行编码处理，生成几何编码信息(步骤406)。

在一些实施例中，采样点的成像相关几何信息可以包括采样点的空间坐标以及对采样点成像的相机的内外方位信息中的至少一部分。其中，相机不仅包括本体相机，还包括本公开定义的镜面虚拟相机。

例如，在一些实施例中，采样点的成像相关几何信息可以仅包括采样点的空间坐标。在这些实施例中，所生成的几何编码信息可以仅与采样点本身相关。对应于同一采样点的像素点或相应的全局特征，无论是通过本体相机还是镜面虚拟相机得到的，都将与同一几何编码信息相关联。

例如，在另一些实施例中，采样点的成像相关几何信息可以不仅包括采样点的空间坐标还包括相机的内外方位信息。在这些实施例中，通过本体相机或镜面虚拟相机从不同视角对同一采样点成像得到的像素点或相应的全局特征都与各自不同的几何编码信息相关联。

在一些实施例中，所生成的几何编码信息可以为多维向量。例如，作为示例，几何编码信息可以包括分别与采样点的空间坐标对应的多维向量和与相机的内外方位信息对应的多维向量。

本申请的发明人认识到，几何编码信息包含了例如上述多方面的信息，能够相对于直观的几何信息更准确地表示几何特征。由此，利用几何编码信息来表示几何特征有利于提高三维重建的准确度。

如图4所例示的，可以将全局特征和相应的几何编码信息输入模型，判断采样点与目标对象表面的几何关系(步骤408)。

具体地，可以针对每个采样点，将与采样点对应的全局特征和相应的几何编码信息输入模型。

如以上所分析的，使用镜面能够与使用附加相机类似地实现增加视角的效果。由此，在引入镜面以提供镜面虚拟相机的情况下，与每个采样点对应的全局特征的数量可以是大于1的整数。在一些实施例中，可以针对一个采样点输入对应于不同视角的多个全局特征以及相应的几何编码信息，有利地提高了判断的准确度。

另外，如果几何编码信息能够包括相机的内外方位信息以反映成像视角，也将有利地进一步提高判断的准确度。

本领域技术人员能够理解，可以使用能够根据上述输入来判断相应采样点与目标对象表面的几何关系的任意模型。基于针对任一采样点的全局特征以及相应的几何编码信息，所使用的模型可以输出指示该采样点与目标对象表面的几何关系的判断结果。

在一些实施例中，判断结果可以是数值的。例如，在一些实施例中，判断结果可以是指示该采样点位于目标对象表面内/外的概率的数值。举例来说，当判断结果为1时，可以指示该采样点位于目标对象表面内。相对地，当判断结果为0时，可以指示该采样点位于目标对象表面外。反之亦然。在其它情况下，判断结果可以在0和1之间。

在一些实施例中，用于三维重建的方法还可以包括基于采样点与目标对象表面的几何关系，三维重建目标对象的体素包络。

在一些实施例中，通过判断所有采样点与目标对象表面的几何关系，可以获得三维重建的目标体素包络。例如，在判断结果是指示该采样点位于目标对象表面内/外的概率的数值的情况下，通过提取0.5等值面，就可以确定目标对象表面。

如图4所例示的，在一些实施例，进行三维重建还包括训练模型(步骤410)。

在一些实施例中，模型可以使用根据上述输入而输出采样点位于目标对象表面内/外的概率的隐函数f来表示。下面以这种情况为例进行描述，但本领域技术人员能够理解，本公开不限于此。

首先，可以根据步骤408的判断结果，计算模型的判别误差。

在一些实施例中，通过将模型输出的判断结果与真实的目标对象表面情况进行比较，可以获得判别误差。

例如，在一些实施例中，可以使用隐函数f^*来描述真实的目标对象表面。

[式8]

即，如果点X在目标对象表面内部，f^*的函数值为1，如果在外部，f^*的函数值为0。真实的目标对象表面可以为f^*的函数值的0.5等值面。

类似地，描述模型的隐函数f可以如下表示。

[式9]

f(X)＝(F_G1(X),…,F_Gm(X),Z₁(X),…,Z_m(X))

其中，F_Gi(X)、Z_i(X)(1≤i≤m)分别指与采样点X对应的一个或多个全局特征中的第i个全局特征和相应的几何编码信息，m表示与采样点X对应的全局特征的数量，m为不大于(L+1)的正整数。如上所述，当几何编码信息所指示的采样点的成像相关几何信息仅包括采样点的空间坐标时，Z_i(X)可以是相同的。

由此，在一些实施例中，可以通过计算表示模型的隐函数f的函数值与表示真实的目标对象表面的隐函数f^*的函数值的差值，计算判断结果的判别误差。

随后，通过例如更新模型的参数来迭代地优化模型，使得判别误差满足精度要求，完成对模型的训练。

本领域技术人员应该理解，可以使用任意合适的方法来进行模型的迭代优化，包括但不限于梯度下降法、随机梯度下降法等。

根据本公开实施例的用于三维重建的方法能够减少对相机数量的依赖并增强对不同应用场景的适应能力，具备低成本、高便携性、可扩展性和灵活调整能力，此外，本申请提出了准确可靠的信息提取和处理方法，训练并使用模型根据经处理的信息对目标对象进行三维重建。在此基础上，本公开能够仅利用单个或稀疏的相机就实现对目标对象的高精度三维重建。能够降低三维建模的成本和/或提高三维建模的准确度。

值得注意的是，在以上描述的方法中的各个步骤之间的边界仅仅是说明性的。在实际操作中，各个步骤之间可以任意组合，甚至合成单个步骤。此外，各个步骤的执行顺序不受描述顺序的限制，并且部分步骤可以省略。各个实施例的操作步骤也可以以任何适当的顺序相互组合，从而类似地实现比所描述的更多或更少的操作。

图7示出本公开的电子设备的一些实施例的框图。

如图7所示，该实施例的电子设备7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行根据本公开实施例的用于三维重建的方法。

存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

本公开实施例还提供了一种非瞬态计算机可读存储介质，其上存储有一个或多个指令，这些指令在由处理器执行时，可以使处理器执行根据本公开实施例的用于三维重建的方法。

具体地，根据本公开实施例的计算机可读存储介质中的指令可以被配置为执行与上述系统和方法实施例相应的操作。当参考上述系统和方法实施例时，计算机可读存储介质的实施例对于本领域技术人员而言是明晰的，因此不再重复描述。用于承载或包括上述指令的计算机可读存储介质也落在本公开的范围内。这样的计算机可读存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

本领域内的技术人员应当明白，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。在使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本公开实施例还提供了一种计算机程序产品，包括一个或多个计算机指令或计算机程序，这些指令或计算机程序在由处理器执行时，可以使处理器执行根据本公开实施例的用于三维重建的方法。具体地，在计算机上加载或执行计算机指令或计算机程序时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例还提供了包括用于执行上述实施例中的三维重建方法的步骤的部件或单元的各种装置。

应注意，上述各个部件或单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个部件或单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。

以上参照附图描述了本公开的示例性实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。

虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本公开的实施例还包括：

1.一种用于三维重建的方法，所述方法包括：

获得通过拍摄目标对象本体及其镜像得到的复合图像；以及

利用复合图像和表示产生镜像的镜面相对于进行拍摄的相机的位置和姿态的相对位置姿态信息，对所述目标对象进行三维重建。

2.根据项目1所述的方法，其中，进行三维重建包括：

对包括目标对象的给定三维空间内的点进行随机采样；

从复合图像中提取与采样点对应的全局特征；

对采样点的成像相关几何信息进行编码处理，生成几何编码信息；以及

将全局特征和几何编码信息输入模型，判断采样点与目标对象表面的几何关系。

3.根据项目2所述的方法，其中，从复合图像中提取与采样点对应的全局特征包括：

对复合图像进行特征提取，获得全局特征图；

确定采样点与复合图像的像素点之间的几何关联；以及

基于几何关联，从全局特征图中确定与采样点对应的全局特征。

4.根据项目3述的方法，其中，建立采样点与复合图像的像素点之间的几何关联包括：

确定采样点与复合图像中通过拍摄目标对象本体得到的本体像素点之间的几何关联；以及

根据相对位置姿态信息，确定采样点与复合图像中通过拍摄目标对象的镜像得到的镜像像素点之间的几何关联。

5.根据项目1所述的方法，还包括：

对相机和镜面中的至少一者进行标定，以获取相对位置姿态信息。

6.一种电子设备，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行根据项目1-5任一项所述的用于三维重建的方法。

7.一种非瞬态计算机可读存储介质，其上存储有一个或多个指令，所述指令在由处理器执行时，使处理器执行根据项目1-5任一项所述的用于三维重建的方法。

8.一种计算机程序产品，包括一个或多个指令，所述指令在由处理器执行时，使处理器执行根据项目1-5任一项所述的用于三维重建的方法。

9.一种用于三维重建的系统，包括：

信息处理装置，被配置为执行根据项目1-5任一项所述方法的步骤。

10.根据项目9所述的系统，还包括：

提供所述镜面的平面镜组。

11.根据项目10所述的系统，其中，平面镜组由平面镜单元形成。

12.根据项目10所述的系统，其中，以下中的至少一项可以根据需要进行调整：平面镜组的数量、至少部分平面镜组相对于相机的位置或姿态。

13.根据项目10所述的系统，其中，平面镜组包括设置在上面的位置姿态获取模块，所述位置姿态获取模块被配置为获得并发送与平面镜组的位置姿态相关的信息。

14.一种平面镜组，包括一个或多个平面镜单元，其中：

所述平面镜组包括设置在上面的位置姿态获取模块，所述位置姿态获取模块被配置为获得并发送与平面镜组的位置姿态相关的信息。

15.根据项目14所述的平面镜组，其中：

所述平面镜组被用于执行根据项目1-5中任一项所述的方法，或被包括在根据项目9-13中任一项所述的系统中。

Claims (10)

1.一种用于三维重建的方法，所述方法包括：

获得通过拍摄目标对象本体及其镜像得到的复合图像；以及

利用复合图像和表示产生镜像的镜面相对于进行拍摄的相机的位置和姿态的相对位置姿态信息，对所述目标对象进行三维重建。

2.根据权利要求1所述的方法，其中，进行三维重建包括：

对包括目标对象的给定三维空间内的点进行随机采样；

从复合图像中提取与采样点对应的全局特征；

对采样点的成像相关几何信息进行编码处理，生成几何编码信息；以及

将全局特征和几何编码信息输入模型，判断采样点与目标对象表面的几何关系。

3.根据权利要求2所述的方法，其中，从复合图像中提取与采样点对应的全局特征包括：

对复合图像进行特征提取，获得全局特征图；

确定采样点与复合图像的像素点之间的几何关联；以及

基于几何关联，从全局特征图中确定与采样点对应的全局特征。

4.根据权利要求3述的方法，其中，建立采样点与复合图像的像素点之间的几何关联包括：

确定采样点与复合图像中通过拍摄目标对象本体得到的本体像素点之间的几何关联；以及

根据相对位置姿态信息，确定采样点与复合图像中通过拍摄目标对象的镜像得到的镜像像素点之间的几何关联。

5.一种电子设备，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行根据权利要求1-4任一项所述的用于三维重建的方法。

6.一种非瞬态计算机可读存储介质，其上存储有一个或多个指令，所述指令在由处理器执行时，使处理器执行根据权利要求1-4任一项所述的用于三维重建的方法。

7.一种计算机程序产品，包括一个或多个指令，所述指令在由处理器执行时，使处理器执行根据权利要求1-4任一项所述的用于三维重建的方法。

8.一种用于三维重建的系统，包括：

信息处理装置，被配置为执行根据权利要求1-4任一项所述方法的步骤。

9.根据权利要求8所述的系统，还包括：

提供所述镜面的平面镜组。

10.一种平面镜组，包括一个或多个平面镜单元，其中：

所述平面镜组包括设置在上面的位置姿态获取模块，所述位置姿态获取模块被配置为获得并发送与平面镜组的位置姿态相关的信息。

Images