CN110874815A - 用于生成具有减少的失真的物体的三维重建的方法及设备 - Google Patents

Abstract

本发明描述了用于生成具有减少失真的物体的三维重建的方法、系统和计算机可读介质。在一些方面，系统包括至少两个图像传感器、至少两个投射器和一个处理器。每个图像传感器用于捕获物体的一个或多个图像。每个投射器用于使用相关光学图案且从不同角度照亮物体。处理器用于执行以下动作：从每个图像传感器，针对每个投射器接收使用相关光学图案照亮的物体的图像，并根据接收到的图像生成物体的三维重建。由于在每个投射器从不同的角度用相关光学图案照亮物体时生成物体的接收到的图像，所以三维重建的失真减少。

Description

用于生成具有减少的失真的物体的三维重建的方法及设备

技术领域

本文所述的技术通常涉及从物体的二维图像进行三维(3D)重建，特别是涉及用于生成具有减少的失真的物体的三维重建。

背景技术

先进机器视觉系统及其基础软件的使用越来越多地应用于各种制造和质量控制过程中。机器视觉能够在批量生产产品和定制产品的生产中获得更快、更准确和可重复的结果。典型的机器视觉系统包括一个或多个指向感兴趣区域的摄像头、捕获和传输图像的帧抓取器/图像处理元件、计算机或车载处理装置以及用于运行机器视觉软件应用程序和操控所捕获图像以及感兴趣区域的适当照明的用户界面。

3D视觉系统的一种形式是基于立体摄像机，所述立体摄像机采用至少两个并排排列的摄像头，且摄像头之间的基线为一到几英寸。基于立体视觉的系统一般是基于极线几何和图像校正的。这些系统可以使用基于相关性的方法，或者结合松弛技术，从两个或多个摄像头的校正图像中找到对应关系。然而，具有低表面粗糙度和高镜面反射的物体的图像可能导致所捕获图像的过饱和。传统的立体视觉系统在根据此类所捕获图像创建物体的准确三维重建方面的能力有限。

发明内容

根据所公开的主题，提供用于生成具有减小失真的物体的三维重建的设备、系统和方法。

在一些方面，可以提供一种用于生成具有减小失真的物体的三维重建的系统、方法和/或计算机可读存储介质。所述系统可包括至少两个图像传感器。每个图像传感器可用于捕获物体的一个或多个图像。所述系统可包括至少两个投射器(projector)，所述投射器用于用相关光学图案照亮物体。每个投射器可以从不同角度照亮物体。所述系统可包括处理器，所述处理器被配置成执行以下动作：从至少两个图像传感器的每一个，为至少两个投射器中的每一个投射器接收用相关光学图案照亮的物体的图像。所述处理器可用于执行从接收到的图像生成物体的三维重建的动作。由于在至少两个投射器中的每一个从不同的角度用相关光学图案照亮物体时生成物体的接收到的图像，所以三维重建的失真可减少。

在一些实施例中，所述至少两个投射器中的一个或多个可能不与至少两个图像传感器的操作同步。

在一些实施例中，所述至少两个图像传感器可以在时间上同步，以同时捕获物体的图像。

在一些实施例中，所述至少两个图像传感器是多个图像传感器的至少一个子集的一部分，并且所述至少两个图像传感器在时间上同步，以同时捕获物体的多个图像。

在一些实施例中，所述至少两个图像传感器可包括：第一图像传感器和第二图像传感器，其彼此在时间上同步以在第一时间捕获物体的一个或多个图像；以及第三图像传感器和第四图像传感器，其彼此在时间上同步以在与第一时间不同的第二时间捕获所述物体的一个或多个图像。

在一些实施例中，所述至少两个图像传感器可包括第一图像传感器、第二图像传感器和第三图像传感器，其在时间上同步以同时捕获物体的一个或多个图像。

在一些实施例中，所述至少两个投射器可包括第一投射器和第二投射器。所述处理器可用于执行以下动作：在第一时间从第一图像传感器接收物体的第一组图像，所述物体使用来自第一投射器的光学图案照亮。所述处理器可用于执行以下动作：在第一时间从第二图像传感器接收物体的第二组图像，所述物体使用来自第一投射器的光学图案照亮。所述处理器可用于执行以下动作：在第二时间从第一图像传感器接收物体的第三组图像，所述物体使用来自第二投射器的光学图案照亮。所述处理器可用于执行以下动作：在第二时间从第二图像传感器接收物体的第四组图像，所述物体使用来自第二投射器的光学图案照亮。

在一些实施例中，所述至少两个投射器的不同角度可以包括第一角度和第二角度，并且第一角度和第二角度的角间距(angular separation)可以大于物体表面的反射锥的半角。

在一些实施例中，所述光学图案可以包括移动的光学图案。

在一些实施例中，所述移动的光学图案可以包括沿圆形路径平移的光学图案。

在一些实施例中，所述至少两个图像传感器可以包括三个或多个图像传感器。第一图像传感器子集包括所述三个或多个图像传感器中的两个或多个，其可以彼此在时间上同步。第二图像传感器子集包括所述三个或多个图像传感器中的不在所述第一图像传感器子集中的一个或多个，其可以彼此在时间上同步，但不与所述第一图像传感器子集中的图像传感器在时间上同步。

在一些实施例中，生成物体的三维重建可以包括：在生成过程中识别失真，并使用在所述至少两个投射器中的每一个以不同角度使用其相关光学图案照亮物体时生成的所述物体的图像修改失真。

在一些实施例中，识别失真可以包括识别不同角度的第一角度的一个或多个图像中的失真。修改失真可以包括基于不同角度的第二角度的一个或多个图像修改失真。

在一些实施例中，生成所述物体的三维重建包括从获得的图像中选择一个或多个具有高置信值的图像点，并基于所选的图像点生成物体的三维重建。所述置信值可基于过饱和值、与一个或多个其他图像点的相关性评分和/或调制度值来确定。

在一些实施例中，所述处理器可用于执行以下动作：在捕获图像之前，为至少两个投射器中的第一投射器生成用相关光学图案照亮物体的第一指令。所述处理器可用于执行以下动作：在接收到图像之后，为至少两个投射器中的第一投射器生成停止用相关光学图案照亮物体的第二指令。

在一些实施例中，所述至少两个图像传感器中的至少一个包括适用于投射器以阻挡所述至少两个投射器的光谱范围之外的环境光的光谱滤器。

在一些实施例中，所述光谱滤器支持多个光谱带，以支持在不同波长下操作的所述至少两个投射器。

在一些方面，可提供一种用于生成具有减小失真的物体的三维重建的系统、方法和/或计算机可读存储介质。所述系统可包括至少三个图像传感器。每个图像传感器可用于从不同角度捕获物体的一个或多个图像。所述系统可包括投射器，所述投射器用于用光学图案照亮物体。所述投射器可以不与所述至少三个图像传感器的操作同步。所述系统可包括处理器，所述处理器用于执行以下动作：从所述至少三个图像传感器中的每一个接收物体的一个或多个图像，所述物体使用来自投射器的光学图案照亮。所述处理器可用于执行以下动作：根据接收到的一个或多个图像生成物体的三维重建。由于通过至少三个图像传感器中的每一个从不同角度生成用光学图案照亮的物体的所述接收到的一个或多个图像，所以所述三维重建的失真可减少。

在一些实施例中，所述至少三个图像传感器可以在时间上同步，以同时捕获物体的一个或多个图像。

在一些实施例中，所述至少三个图像传感器是多个图像传感器的至少一个子集的一部分，并且所述至少三个图像传感器在时间上同步，以同时捕获物体的多个图像。

因此，相当广泛地概述了所公开主题的特征，以便可以更好地理解下文对其进行的详细描述，并可以更好地了解对于本领域的现有贡献。当然，所公开的主题还有一些附加特征，这些特征将在下文中加以描述，并将构成所附权利要求书的主题。应理解，本文中采用的措辞和术语是为了描述，不应被视为限制性的。

附图说明

在附图中，在各图中所示的每个相同或几乎相同的组件都由一个类似元件符号表示。为了清晰起见，并未在每个附图中标记每个组件。附图不一定按比例绘制，而是重点示出本文所述技术和装置的各个方面。

图1示出了一个说明性实施例，其中根据一些实施例，一个投射器和两个摄像头被配置为以一致的方式捕获物体的图像，以产生立体图像对应关系；

图2示出了一个说明性实施例，其中根据一些实施例，两个投射器和两个摄像头被配置为以一致的方式捕获物体的图像，以产生立体图像对应关系；

图3示出了根据一些实施例，使用具有第一角度的第一投射器和第二角度的第二投射器的摄像头捕获的物体的示例性图像；

图4示出了根据一些实施例，使用具有第一角度的第一投射器和第二角度的第二投射器的两个相机捕获的的物体的示例性图像；

图5示出了根据一些实施例的物体的一对说明性立体图像；

图6示出了根据一些实施例，使用具有第一角度的第一投射器和具有第二角度的第二投射器进行的物体的示例性三维重建；

图7示出了根据一些实施例的用于生成具有减小失真的物体的三维重建的说明性流程图；以及

图8示出了根据一些实施例的用于接收使用光学图案照亮的物体的一个或多个图像的说明性流程图。

具体实施方式

本文论述的技术可用于生成具有减小失真的物体的三维重建。

在下面的描述中，阐述关于所公开的主题的系统和方法以及所述系统和方法可运行的环境等的众多具体细节，以提供对所公开主题的透彻理解。此外，应理解，以下提供的实例是示例性的，并且预期其他系统和方法也属于所公开主题的范围。

发明人已认识到，在某些领域，例如制造业，许多物体都是经过加工的，因此其表面粗糙度可能很低。由于表面粗糙度较低，这些物体可能具有较大部分的镜面反射和较小部分的漫反射。因此，这些物体在所捕获的图像中会显得很亮。在另一个涉及包装检验的示例性领域中，许多物体是用塑料或箔纸包装的，有透明窗口，或用光泽添加剂油漆着色。这些物体在所捕获的图像中可能也会显得很亮。随后，这些所捕获的图像可能会过饱和，并且会影响系统根据所捕获的图像创建物体的精确三维重建的能力。例如，由于场景的照明，过饱和可能会导致图像的某些部分显示为统一的颜色或灰度值(例如白色)。这可能是有问题的，例如，因为这种过饱和可能会对3D重建产生负面影响(例如，因为这些区域不代表实际场景的细节，因为统一的颜色使得很难确定立体图像对之间的对应关系，因为立体图像对的图像可以捕获不同的照明，和/或类似原因)。

在一些实施例中，可以使用带有两个摄像头和单个投射器的立体三角测量系统创建物体的三维重建，例如，以用于估计物体的3D形状。发明人发现，摄像头所捕获的图像中的某些点可能由于投射器的照明而过饱和。例如，对于投射光照到物体表面上的反射角等于投射器与第一摄像头(例如，接收反射光的摄像头)之间的半角的物体上的任何一点而言，摄像头所捕获的物体图像可能由于镜面反射而在那一点过饱和。因此，对于同一点，第二摄像头所捕获的物体图像在那一点可能不饱和，例如非常暗。这种情况可能是由于大部分(或全部)光线被反射到满足反射角条件的第一摄像头中而发生。对于这些点，由于两个摄像头所捕获的图像之间的饱和度存在极大差异，因此很难重建这些点的3D估计。在这种情况下，物体的三维重建数据可能会在两个所捕获图像之间的饱和度差异极大的点上丢失信息。这一结果可能特别不利于平面物体，例如长方体，因为物体的大部分可能都满足反射角条件，并且物体的三维重建数据可能在多个对应点丢失信息。

在一些技术中，立体三角测量系统只能为对于摄像头和投射器都可见的物点创建3D点。如果投射器被遮挡或图像部分之间存在极大差异，则即使在两个摄像头都可见的点上，也不能重建任何点。在一些实施例中，立体三角测量系统可以通过使用偏振光而解决因两个所捕获图像之间的饱和度差异极大而产生的问题。然而，这种方法可能需要大量的光，并且可能会浪费75％以上所使用的光。此外，这种方法可能不适用于难以克服光线不足等问题的大视场中的深色和黑色物体。

由于过饱和可能只发生在已知或确定的点上(例如，在投射光照到物体表面的反射角等于投射器与摄像头之间的半角的点上)，发明人已经认识并了解到，可以在3D视觉系统中使用从另一方向发射光线的第二投射器。例如，与第一投射器相比，第二投射器可以更改所捕获图像中每个物点的光线反射角度，避免角度相等问题，和/或减少过饱和。虽然将立体三角测量系统与第二投射器一起使用也可能导致使用第二投射器捕获的图像发生镜面反射和过饱和，但图像中的这些点可能不同于使用第一投射器捕获的图像中的点。因此，发明人认识并了解到，使用第一投射器为物体捕获一组3D点、使用第二投射器为物体捕获另一组3D点以及结合这两组3D点可产生整个物体的持续密集点数据。此外，发明人已经开发出如本文进一步讨论的不需要使投射器与摄像头同步的技术。

在一些实施例中，立体三角测量系统可以使用由第一投射器投射的图案获取场景的一组N个图像，并为物体生成三维重建数据3D数据1。所述系统随后可以使用由第二投射器投射的图案获取场景的另一组N个图像，并为物体生成三维重建数据3D数据2。最后，所述系统可以将3D数据1和3D数据2结合，从而为物体创建例如由于镜面反射所致的失真减少的3D数据。这个过程可能是有利的，因为物体的持续密集的3D数据可以通过可靠和稳健的方式获得，而不需要投射器与摄像头的硬件同步。在一些实施例中，添加第二投射器可能有助于照亮视野中对于第一投射器不可见的区域，因此可以增加物体的3D点的数量。

图1示出了一个说明性实施例100，其中一个投射器104和两个摄像头106被布置为以一致的方式捕获物体102的图像，以产生立体图像对应关系。在一些实施例中，投射器可以将光或光学图案投射到物体上，并且每个摄像头可以捕获使用相关光或光学图案照亮的物体的图像。每个图像包括组成图像的一组像素或图像点。本文所述的每一个摄像头(例如，摄像头106)可以包括电荷耦合装置(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或其他合适的图像传感器。在一些实施例中，摄像头可以具有滚动快门、全局快门或其他合适的快门类型。在一些实施例中，摄像头可以具有千兆以太网接口(GigE Visioninterface)、通用串行总线(USB)接口、同轴接口、火线接口(FIREWIRE interface)或其他合适的接口。在一些实施例中，摄像头可以具有一个或多个智能功能。在一些实施例中，摄像头可以具有C型安装镜头、F型安装镜头、S型安装镜头或其他合适的镜头类型。在一些实施例中，摄像头包括适用于投射器以阻挡一个或多个投射器的光谱范围之外的环境光的光谱滤器。在一些实施例中，摄像头的光谱滤器支持多个光谱带，以支持在不同波长下操作的多种投射器。

投射器104可以使用光投射光学图案，例如结合图4进一步讨论的图案。在一些实施例中，投射器104投射移动的光学图案。在一些实施例中，所述移动的光学图案可以包括沿圆形路径平移的光学图案。在一些实施例中，光学图案可以通过在水平和/或垂直方向上移位而沿着圆形路径平移，从而使图案在物体上方旋转(例如，图案本身无需顺时针或逆时针旋转)。

图2示出了一个说明性实施例200，其中两个投射器204A和204B(统称为投射器204)以及两个摄像头206被布置为以一致的方式捕获物体202的图像，以产生立体图像对应关系。投射器204可能不与摄像头的操作同步。投射器204可以投射相同的图案、相似的图案或不同的图案。在一些实施例中，为了便于制造投射器204，可以为每个投射器204提供相同的图案。在一些实施例中，系统可以为每个投射器发布启动命令和/或停止命令。例如，可以在摄像头捕获由特定投射器204A照亮的物体的图像之前发布启动命令；可以在摄像头已捕获到由特定投射器204A照亮的物体的图像之后，发布停止命令。在一些实施例中，为了减轻镜面反射，第一投射器204A和第二投射器204B在图2中所示的角间距θ可以大于物体202表面的反射锥的半角。

图3分别示出了使用具有第一角度的第一投射器和具有第二角度的第二投射器的一个摄像头捕获的物体的示例性图像300和350。例如，第一投射器(例如图2中的投射器204A)可以用光学图案照亮物体，并且摄像头可以获取图像300。在这个实例中，可以在摄像头捕获图像300之前向第一投射器发布启动命令，并且可以在摄像头已捕获到图像300之后向第一投射器发布停止命令。继续这个实例，第二投射器(例如，图2中的投射器204B)可以用光学图案(例如，与第一投射器的光学图案相同或不同)照亮物体，并且摄像头可以获取图像350。在这个实例中，可以在摄像头捕获图像350之前向第二投射器发布启动命令，并且可以在摄像头已捕获到图像350之后向第二投射器发布停止命令。

图4示出了对应于第一所投射光学图案的第一对示例性立体图像400和450，以及对应于第二所投射光学图案的第二对示例性立体图像402和452。例如，第一投射器(例如图2中的投射器204A)可以在物体上投射光学图案，并且摄像头206可以捕获立体图像400和450。然后，第二投射器(例如，图2中的投射器204B)可以在物体上投射光学图案(例如，与第一投射器的光学图案相同或不同)，并且摄像头(例如，图2中的摄像头206)可以捕获立体图像402和452。在一些实施例中，摄像头可以在时间上同步，以同时捕获由特定投射器照亮的物体的图像。如上所述，光学图案可包括移动的光学图案(例如，沿圆形路径在水平和/或垂直方向上平移)。摄像头可以随时间捕获移动光学图案的立体图像序列，从而为每个像素建立指示关于如何随时间改变的信息。所述信息可用于搜索图像像素之间的对应关系，以识别图像之间的对应关系。

图5示出了具有对应像素502和552的一对说明性的立体图像500和550(以及相关的像素或图像点)，对应像素502和552表示图像500和550中投射的图案的相同部分。例如，如上所述，投射器204中的一个可以在物体上投射相关光学图案，并且摄像头206可以捕获立体图像500和550。所捕获的立体图像500和550可以用于识别两个像素之间的对应关系。在一些实施例中，如本文所讨论，随时间捕获的立体图像序列可用于识别对应关系。在一些实施例中，为了根据来自两个摄像头的立体图像序列重建三维数据，可能需要找到来自每个摄像头的图像之间的对应像素对，例如像素502和552。

图6示出了物体的示例性三维重建600和602，所述三维重建所述三维重建使用从第一角度向场景投射光的第一投射器和从第二角度向场景投射光的第二投射器。三维重建600和602是在改善或减少失真之前对物体进行的示例性重建。

为了改善重建和减少失真，可以在每个投射器从不同角度用相关光学图案照亮物体时生成物体的图像，例如图像400和450以及图像402和452。在一些实施例中，生成物体的三维重建可以包括：在生成过程中识别失真，并使用在每个投射器以不同角度用其相关光学图案照亮物体时生成的图像修改失真。例如，可以在从第一角度捕获的图像中识别失真，并且可以基于从第二角度捕获的图像修改失真，以产生改进的三维重建650。在一些实施例中，生成物体的三维重建可包括从接收到的一个或多个图像中选择一个或多个具有高置信值的图像点，并基于所选的图像点生成物体的三维重建。置信值可基于过饱和值、灰度值属性、与一个或多个其他图像点的相关性评分和/或调制度值来确定。在一些实施例中，可以基于要关联的图像点对的像素值使用归一化互相关计算相关性评分。在一些实施例中，由于使用多个摄像头和/或投射方向，特定图像点可以具有多个对应图像点。在一些实施例中，系统可以从投射方向选择对应图像点，从而在对应图像点内获得更高的最大值。在一些实施例中，系统可以从投射方向选择对应图像点，从而使对应点的最大值总和最大化。在一些实施例中，系统可以选择具有最高相关性评分的对应图像点。在一些实施例中，系统可以选择具有最高调制度值(例如，在时间域中对应图像点的灰度值的标准方差(均方根)和/或所述对应关系涉及的两个时间序列的平均值)的对应图像点。在一些实施例中，系统可以选择不受过饱和影响或受过饱和影响最小的对应图像点(例如，图像点的时间序列中的过饱和灰度值的数量较低)。

图7示出了根据一些实施例，用于生成具有减小失真的物体的三维重建的说明性计算机化方法700。方法700可在任何适合的计算系统(例如，通用计算装置(CPU)、图形处理单元(GPU)、现场可编程门阵列装置(FPGA)、专用集成电路装置(ASIC)、基于ARM的装置或另一适合的计算系统)上执行，因为本文所述技术的各个方面在这方面不受限制。

在动作702中，系统可以接收用光学图案照亮的物体的一个或多个图像。可以从至少两个图像传感器中的每一个并且为至少两个投射器中的每个投射器接收图像。例如，第一投射器(例如图2中的投射器204A)可以用光学图案照亮物体，并且第一图像传感器和第二图像传感器可以获取同步的N个图像。然后，第二投射器(例如，图2中的投射器204B)可以用光学图案(例如，与第一投射器的光学图案相同或不同)照亮物体，并且第一图像传感器和第二图像传感器可以获取同步的N个图像。图8示出了根据一些实施例的用于动作702的说明性计算机化方法，其描述如下。

在一些实施例中，如本文所讨论，投射器可能不与图像传感器的操作同步(例如，从投射器投射的移动图案移动的速度可能不与图像传感器的操作同步)。在一些实施例中，图像传感器可以在时间上同步，使得每个图像传感器同时捕获物体的图像。在一些实施例中，系统可用于控制由哪个投射器为图像传感器捕获的图像照亮场景。例如，系统可用于发布启动命令和/或停止命令来控制投射器的操作。可以在图像传感器捕获图像之前向特定投射器发布启动命令以打开投射器；可以在图像传感器已捕获到图像之后发布停止命令以关闭投射器。系统可以使用启动和停止命令来切换投射器。

在一些实施例中，投射器的不同角度可包括第一角度和第二角度。系统可以在投射器之间配置有一定的角间距，以提供第一角度和第二角度。例如，可以设置第一角度和第二角度的角间距，使其大于物体表面的反射锥的半角。

在一些实施例中，可为一个投射器从两个图像传感器接收图像。投射器可以不与图像传感器的操作同步。

在动作704中，系统可以根据接收到的图像生成物体的三维重建。如本文所讨论，可以利用在不同角度的光照下(例如，当每个投射器从不同角度使用相关光学图案照亮物体时)生成的所接收到的物体图像来以减少失真的方式生成三维重建。

在一些实施例中，生成物体的三维重建可以包括：在生成过程中识别失真，并使用在每个投射器以不同角度使用其相关光学图案照亮物体时生成的物体图像修改失真。例如，可以在从第一角度捕获的图像中识别失真，并且可以基于从第二角度捕获的图像(例如，其由于照明角度的角间距而不具有相同失真)修改失真。在一些实施例中，生成物体的三维重建可包括从接收到的一个或多个图像中选择一个或多个具有高置信值的图像点，并基于所选的图像点生成物体的三维重建。置信值可以反映一个度量，所述度量可用于确定图像点包括对三维生成过程有用的信息。置信值可基于过饱和值、与一个或多个其他图像点的相关性评分和/或调制度值来确定。对于那些不满足置信值的点，系统可以使用在不同角度的光照下捕获的图像来完成三维模型的这些部分。在一些实施例中，调制度值可以是例如图像点的时间灰度值的均方根。在一些实施例中，置信值可以是对应图像点的归一化互相关的结果。例如，如果为第一投射方向和第二投射方向找到对应图像点，则可以从投射方向选择产生更高相关值的图像点。在一些实施例中，为了解决过饱和问题，如果对应图像点中有一个是过饱和的，则可以忽略所述图像点。替代地，可以从另一个投射方向选择另一个没有过饱和的对应图像点。

图8示出了根据一些实施例的用于图7中动作702的说明性流程图。方法800可在任何适合的计算系统(例如，通用计算装置(CPU)、图形处理单元(GPU)、现场可编程门阵列装置(FPGA)、专用集成电路装置(ASIC)、基于ARM的装置或另一适合计算系统)上执行，因为本文所述技术的各个方面在这方面不受限制。

在动作802中，系统可以在第一时间从第一图像传感器接收物体的第一组图像，所述物体使用来自第一投射器的光学图案照亮。第一图像传感器可以与第二图像传感器在时间上同步，以在第一时间捕获第一组图像。

在动作804中，系统可以第一时间从第二图像传感器接收物体的第二组图像，所述物体使用来自第一投射器的光学图案照亮。第二图像传感器可以与第一图像传感器在时间上同步，以在第一时间捕获第二组图像。

在动作806中，系统可以在第二时间从第一图像传感器接收物体的第三组图像，所述物体使用来自第二投射器的光学图案照亮。第一图像传感器可以与第二图像传感器在时间上同步，以在第二时间捕获第三组图像。

在动作808中，系统可以在第二时间从第二图像传感器接收物体的第四组图像，所述物体使用来自第二投射器的光学图案照亮。第二图像传感器可以与第一图像传感器在时间上同步，以在第二时间捕获第四组图像。

在一些实施例中，可以使用两个以上的图像传感器，并且图像传感器可以分为子集(例如，若干对)，从而以不同角度捕获场景的图像。例如，一对图像传感器可以在时间上同步，以在第一时间捕获物体的一组图像，并且另一对图像传感器可以在时间上同步，以在第二时间捕获物体的另一组图像(例如，图像传感器对可以使用一个或多个相同图像传感器)。在一些实施例中，当使用三个图像传感器时，三个图像传感器中的两个可以在时间上同步，以同时捕获图像，并且第三图像传感器可以与投射器在时间上同步(例如，因为否则单个摄像头可能无法捕获对三维重建有用的信息)。在一些实施例中，如果有三个以上的图像传感器，那么图像传感器可分为第一子集和第二子集。第一图像传感器子集可以包括一个图像传感器(例如，其可以与投射器硬同步)，或者两个或多个图像传感器彼此在时间上同步。第二图像传感器子集可以包括一个图像传感器(例如，其可以与投射器硬同步)，或者两个或多个图像传感器彼此在时间上同步，但不与第一图像传感器子集同步。

这些技术可用于使用两个以上的投射器。例如，使用本文讨论的技术，摄像头可用于在三个(或更多)角度的照明下捕获场景的图像集。使用两个以上投射器可以提供更多的场景信息。例如，如果系统无法使用在两个不同角度的照明下捕获的图像来确定三维重建的部分，则系统可以使用在第三(或第n)角度的照明下捕获的图像来完成三维重建。

根据本文所述原理操作的技术可以以任何适合方式实施。以上流程图的处理和决策块表示执行这些不同过程的算法中可能包括的步骤和动作。从这些过程中派生的算法可以作为与一个或多个单用途或多用途处理器集成并指导其操作的软件来实施，可以作为功能等效电路(例如数字信号处理(DSP)电路或专用集成电路(ASIC))来实施，或者可以以任何其他适合方式实施。应理解，本文所包括的流程图没有描述任何特定电路或任何特定编程语言或编程语言类型的语法或操作。相反地，本领域技术人员可使用流程图说明的功能信息制造电路或实施计算机软件算法，以执行实行本文所述的各类技术的特定设备的处理。还应了解，除非本文另有说明，否则每个流程图中描述的步骤和/或动作的特定顺序仅说明可实施的算法，并且在本文所述原理的实施方案和实施例中可以变化。

因此，在一些实施例中，本文所述技术可以体现在作为软件实施，包括作为应用程序软件、系统软件、固件、中间件、嵌入码或任何其他适合类型的计算机代码实施的计算机可执行指令中。此类计算机可执行指令可以使用许多适合编程语言和/或编程或脚本工具中的任何一种编写，并且也可以编译为可执行机器语言代码或在框架或虚拟机上执行的中间代码。

当本文所述的技术被体现为计算机可执行指令时，这些计算机可执行指令可以以任何适合方式，包括作为许多功能设施实施，每个功能设施提供一个或多个操作，以执行根据这些技术操作的算法。“功能设施”虽然被实例化，但其为计算机系统的一个结构组件，在与一个或多个计算机集成并由其执行时，使一个或多个计算机执行具体操作角色。功能设施可以是软件元件的一部分或整个软件元件。例如，一个功能设施可以根据过程实施，或者作为离散过程实施，或者作为任何其他适合处理单元来实施。如果本文所述技术作为多个功能设施实施，则每个功能设施可以以其自身的方式实施；无需全部以相同的方式实施。此外，这些功能设施可根据情况并行和/或串行执行，并且可使用其正在执行的计算机上的共享内存、使用消息传递协议或以任何其他适合方式在彼此之间传递信息。

通常，功能设施包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，功能设施的功能可以根据需要在其操作的系统中进行组合或分布。在一些实施方案中，执行本文中技术的一个或多个功能设施可以一起形成完整的软件包。在替代实施例中，这些功能设施可适用于与其他不相关的功能设施和/或过程交互，以实施软件程序应用。

本文描述了一些用于执行一个或多个任务的示例性功能设施。然而，应理解，所描述的功能设施和任务划分仅仅是说明可实施本文所述的示范性技术的功能设施类型，并且实施例不限于以任何特定数量、划分或类型的功能设施来实施。在某些实施方案中，所有功能都可以在单个功能设施中实施。还应了解，在某些实施方案中，本文所述的一些功能设施可以与其他设施一起实施，或与其他设施分开(即，作为单个单元或单独的单元)实施，或者可以不实施这些功能设施中的一部分。

在一些实施例中，实施本文所述技术的计算机可执行指令(当作为一个或多个功能设施或以任何其他方式实施时)可以编码在一个或多个计算机可读介质上，以向所述介质提供功能。计算机可读介质包括：磁性介质，例如磁盘驱动器；光学介质，例如压缩光盘(CD)或数字通用光盘(DVD)；持久或非持久固态存储器(如闪存、磁性RAM等)；或任何其他适合存储介质。这种计算机可读介质可以以任何适合方式实施。文中使用的“计算机可读介质”(又称“计算机可读存储介质”)是指有形存储介质。有形存储介质是非暂时性的，并且具有至少一个物理结构组件。文中使用的“计算机可读介质”中，在使用嵌入信息创建介质的过程、在其上记录信息的过程或使用信息对介质进行编码的过程中，至少一个物理结构组件的至少一种物理属性会发生某种改变。例如，计算机可读介质的物理结构的一部分的磁化状态可能在记录过程中改变。

此外，上述的一些技术包括以某些方式存储信息(例如，数据和/或指令)以供这些技术使用的动作。在这些技术的一些实施方案中，例如将这些技术实施为计算机可执行指令的实施方案中，信息可以编码在计算机可读存储介质上。在本文将特定结构描述为存储这种信息的有利格式的情况下，这些结构可用于在存储介质上编码时赋予信息的物理组织。然后，这些有利的结构可以通过影响与信息交互的一个或多个处理器的操作；例如，通过提高处理器执行的计算机操作的效率来为存储介质提供功能。

在某些(而不是全部)实施方案中，技术可以体现为计算机可执行指令，这些指令可以在任何适合计算机系统中操作的一个或多个适合计算装置上执行，或者，一个或多个计算装置(或一个或多个计算装置的一个或多个处理器)可以被编程为执行计算机可执行指令。计算装置或处理器可被编程为在指令以计算装置或处理器可存取的方式存储，例如存储在数据存储器(例如，片上缓存或指令寄存器、通过总线可存取的计算机可读存储介质、通过一个或多个网络可存取的以及通过装置/处理器可存取的计算机可读存储介质等)上时执行指令。包括这些计算机可执行指令的功能设施可以与以下各者集成且指导其操作：单个多用途可编程数字计算装置、共享处理能力并共同执行本文所述的技术的两个或多个多用途计算装置的协作系统、(并置或在位置上分布为)用于执行本文所述技术的单个计算装置或计算装置的协作系统、用于执行本文所述技术的一个或多个现场可编程门阵列(FPGA)或任何其他适合系统。

计算装置可以包括至少一个处理器、网络适配器和计算机可读存储介质。例如，计算装置可以是例如台式计算机或笔记本电脑、个人数字助理(PDA)、智能手机、服务器或任何其他适合计算装置。网络适配器可以是使计算装置能够通过任何适合的计算网络与任何其他适合的计算装置进行有线和/或无线通信的任何适合的硬件和/或软件。计算网络可包括无线接入点、交换机、路由器、网关和/或其他网络连接设备，以及用于在两个或多个计算机之间交换数据的任何一个或多个适合的有线和/或无线通信介质(包括互联网)。计算机可读介质可适用于存储待由处理器处理的数据和/或待由处理器执行的指令。处理器能够处理数据和执行指令。数据和指令可以存储在计算机可读存储介质上。

计算装置可以另外具有一个或多个组件和外围装置，包括输入和输出装置。这些装置可以用来呈现用户界面等等。可用于提供用户界面的输出装置的实例包括用于在视觉上呈现输出的打印机或显示屏以及用于在声音上呈现输出的扬声器或其他声音生成装置。可用于用户界面的输入装置的实例包括键盘和指向设备，例如鼠标、触摸板和数字面板。作为另一个实例，计算装置可以通过语音识别或以其他音频格式接收输入信息。

本文描述了在电路和/或计算机可执行指令中实施技术的实施例。应了解，一些实施例可以以方法的形式存在，至少提供所述方法的一个实例。作为方法的一部分执行的动作可以以任何适合的方式进行排序。因此，在构造实施例时，实施例中的动作可以按照与所说明不同的顺序执行，其中可能包括同时执行一些动作，即使说明性实施例中示出了动作的顺序。

上述实施例的各个方面可单独、组合或按前述实施例中未特别讨论的各种布置使用，因此其应用不限于在前述描述中所陈述或附图中所示出的细节和布置。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面结合。

在权利要求书中，使用例如“第一”、“第二”、“第三”等序数术语来修改权利要求要素本身并不意味着一个权利要求要素相对于另一个权利要求要素的任何优先、优选或顺序，也不意味着一种方法的动作在执行时的时间顺序，而是仅用作用于区分具有特定名称的一个权力要求要素与具有相同名称(但使用序数术语)的另一个要素，以便区分权利要求要素。

同样地，本文中使用的措辞和术语是为了描述，而不应被视为限制性的。本文中使用“包括”、“包含”、“具有”、“含有”、“涉及”及其变体意味着涵盖其后列出的项目及其等价物以及附加项目。

“示例性”一词在本文中是指用作实例、个例或说明。因此，本文中描述为示例性的任何实施例、实施方案、过程、特征等应理解为说明性实例，并且除非另有说明，否则不应理解为优选或有利实例。

因此，在描述了至少一个实施例的几个方面之后，应了解，本领域技术人员将容易想到各种改变、修改和改进。这些改变、修改和改进被认为是本公开的一部分，并被认为是在本文描述的原理的精神和范围之内。因此，前述描述和附图仅作为实例。

Claims (24)

1.一种用于生成具有减少的失真的物体的三维重建的系统，包括：

至少两个图像传感器，每个图像传感器配置为捕获物体的一个或多个图像；

至少两个投射器，所述至少两个投射器配置为使用相关光学图案照亮所述物体，每个投射器从不同角度照亮所述物体；以及

处理器，所述处理器配置为执行以下动作：

从所述至少两个图像传感器中的每一个图像传感器中，为至少两个投射器中的每一个投射器接收使用相关光学图案照亮的所述物体的多个图像，以及

从接收的多个图像中生成物体的三维重建，其中，由于所述至少两个投射器中的每一个从不同角度使用相关光学图案照亮所述物体时，所接收的多个图像被生成，使得所述三维重建具有减少的失真。

2.根据权利要求1所述的系统，其中所述至少两个投射器中的一个或多个与所述至少两个图像传感器的操作不同步。

3.根据权利要求1所述的系统，其中所述至少两个图像传感器在时间上同步，以同时捕获所述物体的多个图像。

4.根据权利要求1所述的系统，其中所述至少两个图像传感器是多个图像传感器的至少一个子集的一部分，并且其中所述至少两个图像传感器在时间上同步，以同时捕获所述物体的多个图像。

5.根据权利要求1所述的系统，其中所述至少两个图像传感器包括：

第一图像传感器和第二图像传感器，其彼此在时间上同步，以在第一时间捕获所述物体的一个或多个图像；以及

第三图像传感器和第四图像传感器，其彼此在时间上同步，以在不同于第一时间的第二时间捕获所述物体的一个或多个图像。

6.根据权利要求1所述的系统，其中所述至少两个图像传感器包括在时间上同步的第一图像传感器、第二图像传感器和第三图像传感器，以同时捕获所述物体的一个或多个图像。

7.根据权利要求1所述的系统，其中：

所述至少两个投射器包括第一投射器和第二投射器；以及

所述处理器被配置为执行以下动作：

在第一时间接收来自第一图像传感器的所述物体的第一组图像，所述物体由所述第一投射器使用光学图案照亮；

在第一时间接收来自第二图像传感器的所述物体的第二组图像，所述物体由所述第一投射器使用光学图案照亮；

在第二时间接收来自第一图像传感器的所述物体的第三组图像，所述物体由第二投射器使用光学图案照亮；以及

在第二时间接收来自第二图像传感器的所述物体的第四组图像，所述物体由第二投射器使用光学图案照亮。

8.根据权利要求1所述的系统，其中所述至少两个投射器的不同角度包括第一角度和第二角度，并且第一角度和第二角度的角间距大于所述物体的表面的反射锥的半角。

9.根据权利要求1所述的系统，其中所述光学图案包括移动光学图案。

10.根据权利要求9所述的系统，其中所述移动光学图案包括沿圆形路径平移的光学图案。

11.根据权利要求1所述的系统，其中：

所述至少两个图像传感器包括三个或多个图像传感器，

其中图像传感器的第一子集包括三个或多个图像传感器中的两个或多个，所述第一子集中的图像传感器彼此在时间上同步，并且

其中图像传感器的第二子集包括三个或多个图像传感器中不在图像传感器的第一子集中的一个或多个，所述第二子集中的图像传感器彼此在时间上同步，但与所述图像传感器的第一子集中的图像传感器时间不同步。

12.根据权利要求1所述的系统，其中生成所述物体的三维重建包括：

在所述生成过程中识别失真；以及

使用所述至少两个投射器中的每一个以不同角度通过其相关光学图案照亮所述物体时生成的物体的多个图像，来修改失真。

13.根据权利要求12所述的系统，其中：

识别失真包括识别不同角度的第一角度的一个或多个图像中的失真；以及

修改失真包括基于不同角度的第二角度的一个或多个图像修改失真。

14.根据权利要求1所述的系统，其中生成物体的三维重建包括：

从接收到的多个图像中选择具有高置信值的一个或多个图像点，其中置信值基于过饱和值、与一个或多个其他图像点的相关性评分和/或调制度值来确定；以及

基于所述选择的图像点生成所述物体的三维重建。

15.根据权利要求1所述的系统，其中所述处理器配置为执行以下动作：

在所述多个图像被捕获之前，为所述至少两个投射器的第一投射器生成第一指令，以用相关光学图案照亮所述物体；以及

在接收所述多个图像之后，为所述至少两个投射器的第一投射器生成第二指令，以停止用相关光学图案照亮所述物体。

16.根据权利要求1所述的系统，其中所述至少两个图像传感器中的至少一个图像传感器包括适用于投射器的光谱滤器，以阻挡所述至少两个投射器的光谱范围之外的环境光。

17.根据权利要求16所述的系统，其中所述光谱滤器支持多个光谱带以支持以不同波长工作的所述至少两个投射器。

18.一种用于生成具有减少的失真的物体的三维重建的方法，包括：

使用处理器执行以下动作：

从至少两个图像传感器中的每一个图像传感器，为至少两个投射器中的每一个投射器，接收使用相关光学图案照亮的物体的多个图像，其中，所述至少两个投射器使用相关光学图案照亮所述物体，每个投射器从不同角度照亮所述物体；以及

从接收的多个图像中生成所述物体的三维重建，其中，由于所述至少两个投射器中的每一个从不同角度用相关光学图案照亮所述物体时，所接收的多个图像被生成，使得所述三维重建具有减少的失真。

19.至少一种非暂时性计算机可读存储介质，其存储处理器可执行指令，使得所述处理器可执行指令由至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行以下动作：

从至少两个图像传感器中的每一个图像传感器，为至少两个投射器中的每一个投射器，接收使用相关光学图案照亮的物体的多个图像，其中，所述至少两个投射器使用相关光学图案照亮所述物体，每个投射器从不同角度照亮所述物体；以及

从接收的多个图像中生成物体的三维重建，其中，由于所述至少两个投射器中的每一个从不同角度用相关光学图案照亮所述物体时，所接收的多个图像被生成，使得所述三维重建具有减少的失真。

20.一种用于生成具有减少的失真的物体的三维重建的系统，包括：

至少三个图像传感器，每个图像传感器配置为从不同角度捕获物体的一个或多个图像；

投射器，配置为以光学图案照亮所述物体，其中，所述投射器与所述至少三个图像传感器的操作不同步；以及

处理器，配置为执行以下动作：

从所述至少三个图像传感器中的每一个图像传感器接收由所述投射器使用光学图案照亮的物体的一个或多个图像；以及

从接收的一个或多个图像中生成所述物体的三维重建，其中，由于以光学图案照亮的所述物体的所接收的一个或多个图像通过所述至少三个图像传感器中的每一个从不同角度生成，使得所述三维重建具有减少的失真。

21.根据权利要求20所述的系统，其中所述至少三个图像传感器是多个图像传感器的至少一个子集的一部分，并且其中所述至少三个图像传感器在时间上同步，以同时捕获所述物体的多个图像。

22.根据权利要求20所述的系统，其中所述至少三个图像传感器在时间上同步，以同时捕获所述物体的一个或多个图像。

23.一种用于生成具有减少的失真的物体的三维重建的方法，包括：

使用处理器执行以下动作：

从所述至少三个图像传感器的每一个图像传感器接收由投射器使用光学图案照亮的物体的一个或多个图像，其中，每个图像传感器从不同角度捕获所述物体的一个或多个图像，其中所述投射器与所述至少三个图像传感器的操作不同步；以及

从接收的一个或多个图像中生成所述物体的三维重建，其中，由于以光学图案照亮的所述物体的所接收的一个或多个图像通过所述至少三个图像传感器中的每一个从不同角度生成，使得所述三维重建具有减少的失真。

24.至少一种非暂时性计算机可读存储介质，其存储处理器可执行指令，使得所述处理器可执行指令由至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行以下动作：

从所述至少三个图像传感器的每一个图像传感器接收由投射器使用光学图案照亮的物体的一个或多个图像，其中，每个图像传感器从不同角度捕获所述物体的一个或多个图像，其中所述投射器与所述至少三个图像传感器的操作不同步；以及

从接收的一个或多个图像中生成所述物体的三维重建，其中，由于以光学图案照亮的所述物体的所接收的一个或多个图像通过所述至少三个图像传感器中的每一个从不同角度生成，使得所述三维重建具有减少的失真。

Images