CN107113415B - 用于多技术深度图获取和融合的方法和设备 - Google Patents

Abstract

本发明提供用于从一或多个个别深度图产生融合深度图的系统、设备和方法，其中所述融合深度图经配置以提供所述深度图内的点的稳固深度估计。所述方法、设备或系统可包括识别成像装置的视场FOV的组件，所述成像装置经配置以捕捉所述FOV的图像且选择第一深度感测方法。所述系统或方法可使用选择的所述第一深度感测方法来感测所述FOV相对于所述成像装置的深度且基于选择的所述第一深度感测方法的感测的所述深度来产生所述FOV的第一深度图。所述系统或方法还可识别所述第一深度图的具有一或多个不准确深度测量值的一或多个点的区域且确定是否需要额外深度感测。

Description

用于多技术深度图获取和融合的方法和设备

技术领域

本申请案大体上涉及视场(FOV)的深度图的产生，且更具体地说，涉及用于自动产生经配置以弥补个别地产生的深度图可能引入的缺点的FOV的融合或聚合深度图的系统、方法和装置。

背景技术

用户通常经历他们希望以相片或视频方式捕捉且在稍后的日子和/或时间检视的时刻或事件，例如，孩子踏出的第一步或说出的第一个词、毕业、风景图或婚礼。通常，这些时刻或事件可能为静态的，且它们的发生总体上可预测(例如，婚礼、毕业、宁静的地景或肖像)且可由用户利用成像装备(例如，相机、录像机或智能电话等)以特定深度完全捕捉到。然而，有时候，尤其是在场景含有移动对象的情况下或在相机经历摇摄的情况下，捕捉具有在合宜时间处于特定深度的目标或事件的场景可能呈现挑战。举例来说，抓拍飞过树丛的鸟或抓拍孩子行走而相机必须随着孩子摇动。这可至少部分地归因于成像装备在产生FOV的深度图方面可能具有的困难。深度制图系统可用于确定目标对象的相对深度，且可用于控制数个处理程序中的任一者，例如(尤其是)自动聚焦、对象检测、面部辨识。因此，在产生准确和可靠深度图方面的困难可对在其功能中使用深度制图系统的成像装置造成困难。因此，用以促进场景深度图的产生以用于成像装备中的系统和方法将是有益的。

发明内容

本发明的系统、方法和装置各自具有若干方面，其中无单一方面单独负责其所要属性。本文中所揭示的实施方案各自具有若干创新方面，其中无单一方面单独负责本发明的所要属性。在不限制如通过随附权利要求书表达的本发明的范围的情况下，现在将简要论述一些特征。在考虑本论述之后，且确切地说，在阅读标题为“具体实施方式”的部分之后，大家将理解本发明的各种实施例的特征如何提供包含经改进的以所要深度捕捉或识别帧中的目标对象的优点。

本发明中描述的标的物的一个方面提供一种用于产生深度图的设备。所述设备包括经配置以感测且记录图像捕捉装置的视场(FOV)的图像的图像捕捉装置(或成像装置)。所述图像捕捉装置包含经配置以电子方式记录包括多个像素的图像的至少一个传感器，所述图像表示所述图像捕捉装置的FOV中的场景。一些实施例可包含多于一个的传感器。所述设备(和本文所描述的方法)可进一步包括多个“深度感测模块”，所述深度感测模块中的每一者经配置以使用某些处理技术产生所述视场的深度图。此类深度感测模块可为(例如)软件模块、实施在硬件中的功能性，或两者的组合。换句话说，如本文所使用的“深度感测模块”可指在软件、硬件或软硬件这两者中实施的功能性，所述功能性执行动作以确定图像捕捉装置的至少一部分FOV的深度信息。所述深度信息可包含(例如)指示从传感器(或所述图像捕捉装置的另一部分)到所述图像捕捉装置的FOV(或其一部分)中的各种目标、特征或背景的距离的信息。所述图像捕捉装置可包括经配置以产生用于所述多个深度感测模块中的每一者的视场的深度图的组件，或通过连接到此类组件和/或与此类组件通信。所述设备还包含处理系统。所述处理系统经配置以从所述多个深度感测模块选择第一深度感测模块，并且使用选择的第一深度感测模块感测所述成像装置的视场的第一深度。所述处理系统还经配置以基于选择的第一深度感测模块的感测的第一深度来产生所述视场的第一深度图。所述第一深度图包括所述视场中的每个点的深度测量值，并且识别所述第一深度图中具有一或多个不准确深度测量值的所述第一深度图的一或多个点的区域。所述处理系统经配置以基于对含有具有一或多个不准确深度测量值的一或多个点的区域的识别来确定是否准许经由所述多个深度感测模块中选择的第二深度感测模块的额外深度感测。

本发明所描述的标的物的另一方面提供一种用于产生深度图的方法。所述方法包括识别成像装置的视场。所述成像装置经配置以捕捉所述视场的至少一个图像。所述方法进一步包括从多个深度感测方法中选择第一深度感测方法。所述方法还包含使用选择的第一深度感测方法感测成像装置的所述视场的第一深度，并且基于选择的第一深度感测方法的感测深度产生所述至少一个视场的第一深度图。所述第一深度图包括针对所述视场中的每个点的深度测量值。所述方法还包括识别所述第一深度图中具有一或多个不准确深度测量值的所述第一深度图的一或多个点的区域。所述方法进一步包含基于对含有具有一或多个不准确深度测量值的一或多个点的区域的识别来确定是否准许经由选择的第二深度感测方法的额外深度感测。

所描述的标的物的另一方面提供另一种用于产生深度图的设备。所述设备包括用于捕捉视场的图像的装置。所述设备进一步包括多个用于感测深度的装置(所述多个深度感测装置中的每一者经配置以感测所述视场的深度)和用于从所述多个深度感测装置中选择第一深度感测装置的装置。所述设备还包含用于使用选择的第一深度感测装置感测所述图像捕捉装置的所述视场的第一深度的装置和用于基于选择的第一深度感测装置的感测深度来产生所述视场的第一深度图的装置，所述第一深度图包括针对所述视场中的每个点的深度测量值。所述设备还包括用于识别所述第一深度图中具有一或多个不准确深度测量值的所述第一深度图的一或多个点的区域的装置。所述设备进一步包含用于基于对具有一或多个不准确深度测量值的区域的识别来确定是否准许经由所述多个深度感测装置的选择的第二深度感测装置的额外深度感测的装置。

附图说明

现将参考附图，结合各种实施例描述上文所提到的方面以及本发明技术的其它特征、方面和优点。然而，所说明的实施例仅为实例，且并不意图为限制性的。贯穿图式，类似符号通常识别类似组件，除非上下文另外规定。应注意，随附图式的相对尺寸可能未按比例绘制。

图1A说明根据示范性实施例的经配置以产生图像捕捉系统的FOV的深度图的立体相机系统的简化框图。

图1B说明根据示范性实施例的经配置以使用阴影恢复深度系统产生图像捕捉系统的FOV的深度图的图像捕捉系统的简化框图。

图1C说明根据示范性实施例的经配置以使用结构化光系统产生图像捕捉系统的FOV的深度图的图像捕捉系统的简化框图。

图2说明根据示范性实施例的可用于产生独立或融合深度图以用于本文所描述的使用情况的图像捕捉装置的一个实施例的框图。

图3说明根据示范性实施例的描绘图2的图像捕捉装置的组件的图，而所述组件可用于使用立体相机、阴影恢复深度或结构化光系统中的至少一者产生一或多个深度图。

图4说明根据示范性实施例的体现用于产生深度图且视需要将所述深度图与额外深度图融合的示范性方法的流程图。

具体实施方式

下文参考附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明可为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围意图涵盖无论是独立于本发明的任何其它方面而实施还是与所述任何其它方面组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围意图涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此类设备或方法。应理解，可由权利要求书的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及了优选方面的一些益处和优点，但本发明的范围并不意图限于特定益处、用途或目标。详细描述和图式仅说明本发明而无限制性，本发明的范围由所附权利要求书和其等效物界定。

在摄影中，用户可能希望在成像装置的视场(FOV)中捕捉含有处于捕捉到的场景内的各种深度的目标或事件的图像。取决于所使用的成像装备，可使用一或多个用以确定目标对象或场景或FOV的深度图(深度估计值)的方法来实现例如自动对焦、前/背景分离、面部辨识或检测、3D扫描、自动室内/室外位置检测、帧内对象检测的特征和许多其它特征。然而，用于产生深度图的各种系统可能具有不同缺点。举例来说，一些系统可能为计算密集型或利用复杂算法。一些系统可能利用供应到用于产生深度图的各种组件(例如，多个闪光灯泡组件或多个相机或光学件)的额外电力。或者，可能需要多个图像捕捉系统来产生深度图，这可能需要额外计算吞吐量，或可能需要额外的FOV曝露时间。因此，取决于成像装备的状态或环境，可用深度制图系统中的一或多者可能不合适或不可用。

当用户主动地监测成像装备且手动控制所述成像装备时，用户可能在目标对象焦点对准时能够在目标对象处于视场(FOV)或场景中的所要深度时捕捉目标对象的图像。然而，即使当手动控制成像装备时，当场景含有多个移动对象时或如果成像装备在摇摄(例如，经移动以跟随目标对象或经移动以检测目标对象)或如果由默认或选择的深度制图方法产生的深度图不完全准确，那么捕捉处于所要深度的目标对象可能有困难。另外，对于给定环境和标的物，用户可能难以确定要用的最好的深度制图系统，或成像装备可能产生所捕捉FOV的显影较差的深度图。举例来说，装备可包含紧密间隔的立体光学件，所述立体光学件可能不能够有效地和可靠地提供针对FOV内与成像装备相隔相当大的距离(例如，大于10米)的目标的深度图。

当用户未主动控制成像装备时，例如，当成像装备经设定以自动捕捉图像时，尤其是在成像装备包括单个深度制图方法或系统的情况下，使用准确和可靠深度图捕捉FOV可能进一步复杂化。令人遗憾地，由成像装备产生的深度图可能包括供自动化成像装备的自动对焦、前/背景分离、面部检测/辨识、3D扫描、对象检测、位置检测和各种其它特征使用的不充分信息。这可归因于单个深度制图方法或系统难以准确地和可靠地确定多种环境中的FOV的深度。准确地和可靠地确定FOV的深度可包括能够产生指示FOV中的每个对象的正确深度的FOV的深度图。在一些实施例中，准确和可靠深度图可指示FOV中的75％的目标的正确深度。在一些实施例中，准确和可靠深度图可指示FOV中的90％的目标的正确深度。在一些实施例中，用户可选择和/或确定将对应于准确和可靠深度图的FOV内的目标的正确深度测量值的百分比。在相隔1米的距离时，准确和可靠深度可经测量为1cm内。在一些实施例中，用户可选择和/或确定准确和可靠深度的范围和测量值。

产生深度图的不同系统的准确性和可靠性可变化。举例来说，具有经配置以在具有有限外部光照的10'×10'室内房间内起作用的深度制图系统的紧密间隔的立体相机系统在目标对象相隔20米距离的室外场景中可能不会提供如经配置以用于室外场景的结构化光深度制图系统一样准确或可靠的深度图。因此，取决于FOV，产生FOV的深度图的不同系统或方法中的一或多者可比产生FOV的深度图的其它系统或方法更准确和可靠。另外，产生深度图的不同系统或方法中的每一者可具有不同缺点。举例来说，阴影恢复深度系统的缺点可不同于立体相机系统的缺点。

给定可用于产生深度图的不同方法的固有限制和缺点，可尝试各种处理或配置以提高捕捉处于所要深度的目标对象的可能性。在一些实施例中，为了捕捉处于所要深度的目标对象的图像，成像装备可经配置以连续地捕捉多个帧(例如，实施单相机多拍摄或突发帧捕捉模式)。成像装备可在目标对象靠近成像装备的深度制图系统最可确定的理想深度时开始多拍摄突发。然而，此类多拍摄实施方案需要存储器和处理时间以及电力方面的显著额外负荷来捕捉多个帧且将所述多个帧存储在存储器中以用于用户检视。另外，此类多拍摄突发根本无法准许捕捉到所要对象或动作。或者，目标对象可能被捕捉在帧中但可能未被捕捉在所要深度。如果所要对象或动作在所要深度被捕捉在多拍摄突发的帧中，多拍摄实施方案可能未适当地聚焦于目标对象，且替代地聚焦于帧中的背景或另一对象，或可能未聚焦于FOV中的任何对象，在目标对象处于运动状态的情况下和/或在成像装备处于运动状态的情况下尤其如此。除在具有单个深度制图系统的系统中可能存在的技术困难之外，用户和/或成像装备消耗时间来检视所捕捉的帧且确定多拍摄突发的所有捕捉的帧中哪个帧(如果存在的话)捕捉到处于所要深度且适当地焦点对准的目标对象。

在一些实施例中，成像装备可包括用于产生个别深度图的多个系统。举例来说，成像装备可尤其包括能够实现立体视觉深度制图的系统、能够实现结构化光深度制图的系统和能够实现阴影恢复深度的深度制图。另外，成像装备可包括融合系统，所述融合系统经配置以动态地将个别深度图融合到可提供具有最大数目的准确和可靠区域的单个融合深度图的组合深度图中。融合深度图可克服单个深度图中的任一者的限制。当融合到单个深度图中时，每一个别深度图可针对其它深度图可能失效或可能不准确或不可靠(或较不准确或较不可靠)的情境和用途而得以优化，因此允许每一个别深度图根据其长处且忽略其弱点而被使用。

因此，成像装备可包括产生FOV的多个深度图所必要的组件或装备。举例来说，如上文所描述，使用立体视觉产生深度图的组件可包含两个成像传感器(或相机或光学件)和单个光源，使用阴影产生深度图的组件可包含两个光源和单个成像传感器，且使用结构化光产生深度图的组件可包含单个结构化光源和单个成像传感器。除光源和成像传感器之外，用于产生深度图的个别系统中的每一者可包括个别处理系统和电路，所述个别处理系统和电路经配置以测量每个点在所捕捉的FOV或场景中的深度且根据成像传感器所截获的数据产生相关联深度图，但在一些实施例中，所述多个深度制图系统可共享处理系统和电路。

图1A提供根据示范性实施例的可用于产生图像捕捉系统的视场的深度图的立体相机系统100的示范性框图的说明。如图1A中所展示，立体相机系统100可包括多个组件。所述多个组件包括单个光源105、第一相机110和第二相机115。在一些实施例中，如由外壳120表示的单个外壳可容纳光源105、第一相机110和第二相机115中的每一者。在一些实施例中，光源105、第一相机110和第二相机115可容纳于多于一个的外壳中，其中所述组件中的一或多者与立体相机系统100的一或多个其它组件间隔开。展示第一相机110和第二相机115具有到点127的聚焦线126。这些聚焦线可表示第一相机110和第二相机115的不同注视点。另外，展示第一相机110与第二相机115两者之间的距离125。距离125可影响立体相机的深度计算或制图的范围。举例来说，如果第一相机110和第二相机115是紧密间隔的，那么由第一相机和第二相机捕捉到的帧内的目标的感知深度将比第一相机110与第二相机115之间的距离125较大时更有限(例如，感知深度将不怎么远)。

从不同有利点观看对象或边缘可使所述对象或边缘看似在不同位置。举例来说，当第一相机110观看点135时，与由第二相机115同时观看相同的点135相比，点135可看似在不同位置。这是因为第一相机110和第二相机115处于不同(或不一致的)位置。因此，取决于第一相机110和第二相机115，目标对象可分别相对于第一相机110和第二相机115的位置在一个方向上略微移位。通过使用第一相机110与第二相机115之间的距离125和观测到的点135分别在第一相机110和第二相机115中的所得图像的视差，立体相机系统100可能能够产生由第一相机110和第二相机115共享的视场中的目标的深度图。此方法可应用于第一相机110和第二相机115的FOV或场景中的所有点，其中点135位于所述FOV或场景中的所有点处。

虽然未在此图中展示，但立体相机系统100可进一步包括经配置以控制光源105、第一相机110和第二相机115捕捉图像和/或产生深度图的一或多个处理组件。在一些实施例中，这一或多个组件可包括控制器或处理器。控制器或处理器可经配置以控制立体相机系统的一或多个组件(即，启动光源105和第一相机110和第二相机115以捕捉视场的图像)且处理分别由第一相机110和第二相机115产生的图像以产生第一相机110与第二相机115之间共享的FOV的深度图。在一些实施例中，所述一或多个处理组件还可包含用于存储产生的深度图的存储器(未在此图中展示)。

使用立体相机系统100进行的深度感测可因许多原因而证明是有益的。举例来说，立体相机系统100可经配置以主动地或被动地产生FOV的深度图。另外，在一些实施例中，立体相机系统100可总体上具有良好准确性且通常可包括能够确定FOV中与立体相机系统100紧密间隔的目标对象到FOV中与立体相机系统100间隔无限距离的那些目标对象的深度的范围。然而，相对于产生观测到的FOV的准确和可靠深度图，立体相机系统100可能具有几个负面方面。在一些实施例中，良好准确性的确定可对应于目标对象与立体相机系统100的距离，其中，随着距离增大，误差增大。而且，在一些实施例中，良好准确性的确定可取决于立体相机系统100的使用。举例来说，当用于较安全目的(例如识别)时可比当用于较不安全目的(例如，运动检测等)时需要更大的准确性。

如上文所描述，在一些实施例中，第一相机110与第二相机115之间的距离125可影响相机110和115两者所观看到的对象的感知深度。因此，FOV中的目标的感知深度可影响处理组件根据第一相机110和第二相机115所捕捉的图像准确地和可靠地产生FOV的深度图的能力。因此，当立体相机系统100中的第一相机110和第二相机115紧密间隔(例如，距离125较小(例如，分开几毫米))时或当第一相机110和第二相机115间隔较远(例如，距离125较大(例如，几英寸或更多))时，由立体相机系统100产生的深度图可能易受影响(即，可能较不准确和/或较不可靠)。关于立体相机深度感测方法的一个潜在负面是立体相机使用FOV的聚焦点，第一相机110和第二相机115两者都指向且聚焦在所述聚焦点。在没有这些依赖场景的“关键点”的情况下，两个相机110和115可能不能够确定FOV中的目标的深度，因为个别地从第一相机110和第二相机115获得的图像可能不与FOV中的相同目标对象或位置对应。

图1B提供根据示范性实施例的阴影恢复深度系统130(其可用于产生所述系统的视场(FOV)的深度图)的示范性框图的说明。如图1B中所展示，阴影恢复深度系统130可包括多个组件。所述多个组件包括第一光源140、第二光源145和相机135。在一些实施例中，如由外壳150表示的单个外壳可容纳第一光源140、第二光源145和相机135中的每一者。在一些实施例中，第一光源140、第二光源145和相机135可容纳于多于一个的外壳中，其中组件中的一或多者与阴影恢复深度系统130的一或多个其它组件间隔开。展示第一光源140和第二光源145产生可从对象155反射回来的光线。相机135可吸收从对象155反射回来的光线。从对象155反射回来的光线强度可基于所述光线反射离开的表面的形状而变化，所述光线从所述表面反射回到图像传感器135。因此，反射光线强度的改变可用于确定反射所述光线的对象155的表面的形状信息。

对象155的表面的形状信息可通过计算所述表面对应于对象155上的每个点的定向而确定。阴影恢复深度系统130可使用从对象155上的每个点反射的光线的强度来确定对象155的表面在所述点处的法线(对象155的所述点面向的方向)。对象155的表面的法线可用于接着重建构对象155。然而，阴影恢复深度系统130可假定对象155的表面是平滑的，其中所述表面的轮廓可能增大重建构对象155的难度。

虽然未在此图中展示，但阴影恢复深度系统130可进一步包括经配置以控制第一光源140、第二光源145和相机135捕捉图像和/或产生深度图的一或多个处理组件。在一些实施例中，这一或多个组件可包括控制器或处理器。所述控制器或处理器可经配置以控制阴影恢复深度系统130的一或多个组件。这可包括分别启动第一光源140和第二光源145以照射对象155且启动相机135以捕捉视场的图像。所述控制器或处理器可进一步经配置以处理由相机135产生的图像且基于重建构的对象155(例如，基于对离开对象155的表面的光线的计算)产生FOV的间接深度图。在一些实施例中，所述一或多个处理组件还可包含用于存储产生的深度图的存储器(未在此图中展示)。

使用阴影恢复深度系统130的深度感测可因许多原因而证明是有益的。举例来说，阴影恢复深度系统130可不使用阴影系统130的FOV内的关键点，因此使得阴影恢复深度系统130独立于所捕捉的FOV。另外，阴影恢复深度系统130可经配置以主动地产生FOV的深度图。然而，相对于产生观测到的FOV的广泛范围的距离的准确和可靠深度图，阴影恢复深度系统130可能具有几个较负面的方面。举例来说，虽然在一些实施例中，立体相机系统100可总体上具有良好准确性(例如，在相隔一米的距离时具有小于一厘米的误差)且通常可包括能够确定FOV中与立体相机系统100紧密间隔的目标对象到FOV中与立体相机系统100间隔接近无限距离的那些目标对象的深度的范围，阴影系统130可能限于阴影系统130附近的目标对象到远离阴影系统130的距离，但可能不具有立体相机系统100的无限范围。如上文所描述，在一些实施例中，对象155的表面可影响阴影恢复深度感测的深度感测，因为所述表面的纹理可改变对象155的表面回到相机135的反射属性，因此影响对象155的表面的感知深度。因此，FOV中的对象155的感知深度可影响处理组件基于对象155所反射的和相机135所捕捉的光线来准确地和可靠地产生FOV的深度图的能力。另外，如上文所论述，从阴影恢复深度系统130产生的深度图的准确性与由立体相机系统100产生的深度图相比可能仅是“可以”。而且，阴影恢复深度系统可能易受存在于FOV或场景中的明亮外部光线影响。

图1C提供根据示范性实施例的结构化光传感系统160(其可用于产生所述系统的视场(FOV)的深度图)的示范性框图的说明。如图1C中所展示，结构化光传感系统160可包括多个组件。所述多个组件包括结构化光源165和相机170。在一些实施例中，如由外壳180表示的单个外壳可容纳结构化光源165和相机170两者。在一些实施例中，结构化光源165和相机170可容纳于多于一个的外壳中，其中结构化光源165和相机170彼此间隔开。如图1C中所展示，结构化光源165和相机170可相隔距离185。展示结构化光源165产生可从对象186反射回来的光线。由结构化光源165产生的光线可为已知模式。相机170可吸收从对象186反射回来的光线。已知模式的光线在反射或照射表面时反射或变形的方式允许相机170计算场景或FOV中的目标的深度和表面信息。因此，反射可用于确定对象186的深度信息。可存在各种类型的结构化光系统160，例如光平面、格雷(gray)码模式和正弦波系列。

虽然未在此图中展示，但结构化光系统160可进一步包括经配置以控制结构化光源165和相机170捕捉图像和/或产生深度图的一或多个处理组件。在一些实施例中，这一或多个组件可包括控制器或处理器。所述控制器或处理器可经配置以控制结构化光系统160的所述一或多个组件。这可包括启动结构化光源165以产生所述已知光线模式且通过所述已知光线模式照射对象186以及启动相机170以捕捉视场的图像。所述控制器或处理器可进一步经配置以处理由相机170产生的图像且基于对从对象186和FOV或场景中的任何对象的表面反射回来的光线的计算来产生FOV的深度图。在一些实施例中，所述一或多个处理组件还可包含用于存储产生的深度图的存储器(未在此图中展示)。

使用结构化光系统160的深度感测可因许多原因而证明是有益的。举例来说，类似阴影恢复深度系统130，结构化光系统160可不使用FOV或场景内的关键点，因此使得结构化光系统160独立于所捕捉的FOV。另外，结构化光系统160可经配置以主动地产生FOV的深度图。而且，由结构化光系统160产生的深度图可具有良好准确性和可靠性。然而，相对于产生观测到的FOV的广泛范围的距离的准确和可靠深度图，结构化光系统160可能具有几个负面的方面。在一些实施例中，对象186或相机170的移动可扰乱所述结构化光系统检测从对象186反射回来的已知模式的光线的能力。另外，结构化光系统160可具有有限范围，因此影响对象186的感知深度。因此，FOV中的对象186的感知深度可影响处理组件产生FOV的准确和可靠深度图的能力。而且，结构化光系统可能易受存在于FOV或场景中的明亮外部光线影响。

本文所描述的深度制图系统意图为示范性且并不限制本发明所涵盖的深度制图系统。可将额外深度制图系统并入到系统或方法中以产生具有极小不准确或不可靠深度的区或区域的融合深度图。

图2说明具有一组组件的图像捕捉装置200的一个可能的实施例的高级框图，所述一组组件包括连接到多个相机或光学件215a到215n和连接到多个光源216a到216m的图像处理器220。图像处理器220还可与工作存储器205、存储器230和装置处理器250通信，所述装置处理器继而可与电子存储模块210、电子显示器225和深度感测系统260通信。在一些实施例中，替代如图2中所说明的两个分开的处理器，单个处理器可包括图像处理器220和装置处理器250两者。一些实施例可包含三个或更多个处理器。在一些实施例中，上文所描述的组件中的一些可能未包含于图像捕捉装置200中，或上文未描述的额外组件可包含于图像捕捉装置200中。在一些实施例中，上文所描述的或描述为包含于图像捕捉装置200中的组件中的一或多者可组合或整合到图像捕捉装置200的任何其它组件中。

图像捕捉装置200可为蜂窝电话、数码相机、平板计算机、个人数字助理或其类似者，或可为其部分。存在许多便携式计算装置，如本文中所描述的深度图融合系统将证明在所述便携式计算装置中是有利的。图像捕捉装置200还可为静止计算装置或其中深度图融合系统将有利的任何装置。图像捕捉装置200上的多个应用可可供用户使用。这些应用可包含传统摄影和视频应用、高动态范围成像、全景照片和视频，或例如3D图像或3D视频的立体成像。

图像捕捉装置200包含用于捕捉外部图像的相机或光学件215a到215n。每一相机或光学件215可包含至少一个传感器、将从图像捕捉装置200的FOV接收到的光线聚焦到所述至少一个传感器(例如，透镜系统)的至少一个光学成像组件和/或耦合到所述至少一个光学成像组件的自动聚焦组合件。总的来说，可使用N个相机215a到215n，其中N≥1。然而，一些实施例可仅使用一个图像传感器组合件，且应理解，相机或光学件215a到215n可包括适合于实施本文所述的深度图融合系统的任何数目的图像传感器组合件。可增加相机或光学件的数目以实现给定视场的较大深度确定能力。相机或光学件215a到215n可耦合到图像处理器220以将所捕捉图像传输到图像处理器220。由相机或光学件215a到215n捕捉的图像可通过光源216a到216m照射。光源216a到216m可包尤其含闪光灯泡、反射器和几何光线模式产生器。总的来说，可使用M个光源216a到216m，其中M≥2。图像处理器220或装置处理器250可经配置以接收所捕捉图像，且相应地确定其中所捕捉的场景或FOV的深度。在一些实施例中，相机或光学件215可捕捉用于产生场景或FOV的深度图的“基本”图像。在一些实施例中，相机或光学件215a到215n和耦合到其上的处理装备可能不捕捉图像以确定目标的深度，而相反可能在实际上没有捕捉图像的情况下根据“即时”视图产生FOV的深度图。

图像处理器220可经配置以对所接收的包括目标图像的部分的图像数据执行各种处理操作，以便输出高质量图像。处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含深度制图、深度匹配、深度确定操作或深度图融合操作。可通过执行裁剪、缩放(例如，缩放到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像过滤(例如，空间图像滤波)、透镜伪影或缺陷校正、由晕影导致的透镜光滚降或光级降低等的相同或不同处理器执行这些操作。在一些实施例中，处理器220可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。

如所展示，图像处理器220连接到存储器230和工作存储器205。在所说明的实施例中，存储器230存储捕捉控制模块235、深度图融合模块240、操作系统245和自动聚焦模块255。在一些实施例中，可包含额外模块，或在一些实施例中，可包含较少模块。这些模块包含配置装置200的图像处理器220以执行各种图像处理和装置管理任务的指令。工作存储器205可由图像处理器220用以存储存储器230的模块中所含有的处理器指令的工作集合。或者，工作存储器205还可由图像处理器220用以存储在装置200的操作期间所产生的动态数据(例如，待融合为单个融合深度图的一或多个深度图)。虽然可能未在此图中展示额外模块或到外部装置或硬件的连接，但所述额外模块或连接可存在以提供其它深度触发选项或动作。

如上文所提及,图像处理器220可由存储于存储器230中的若干模块配置。捕捉控制模块235可包含控制装置200的总体图像捕获功能和深度确定功能的指令。举例来说，捕捉控制模块235可包含配置图像处理器220以使用相机/光学件215a到215n捕捉目标图像场景的原始图像数据的指令。捕捉控制模块235可接着调用深度融合模块240以将多个深度图融合在一起。

深度图融合模块240可包括允许图像处理器220或装置处理器250将多个深度图融合或组合为单个空间依赖深度图的指令。融合深度图的点中的每一者可包括来自多个深度感测模块265a到265o的最可靠和准确的深度信息。所述空间依赖性可包括确保深度图融合模块240配置图像处理器220以将一个深度图的不准确或不可靠部分置换为对应于深度图的FOV中的相同物理位置的另一深度图的准确和可靠部分。举例来说，深度图融合模块240可配置图像处理器220以将由立体相机系统产生的深度图与由阴影恢复深度系统产生的深度图融合。所得融合深度图可得益于每一深度图的优点(来自立体相机深度图的良好准确性和无需来自阴影深度图的关键点)，同时避免两个个别深度图的缺点。因此，由深度图中的每一者绘制的FOV或场景可大体上相同或包括大体上相同的目标以用于空间依赖的融合深度图，如上文所描述。

操作系统模块245配置图像处理器220以管理装置200的工作存储器205和处理资源。举例来说，操作系统模块245可包含装置驱动器以管理例如相机215a到215n的硬件资源。因此，在一些实施例中，上文所论述的图像处理模块中含有的指令可不与这些硬件资源直接交互，而是经由位于操作系统组件245中的标准子例程或API交互。操作系统245内的指令可接着与这些硬件组件直接交互。操作系统模块245可进一步配置图像处理器220以与装置处理器250共享信息。

自动聚焦模块255可包含配置图像处理器220以例如通过控制对应自动聚焦组合件的移动和定位来调整相机215a到215n中的每一者的聚焦位置的指令。自动聚焦模块255在一些实施例中可包含配置图像处理器220以执行聚焦分析且自动确定聚焦参数的指令，且在一些实施例中可包含配置图像处理器220以响应于用户输入的聚焦命令的指令。在一些实施例中，自动聚焦模块255可使用来自由深度图融合模块240产生的融合深度图的信息以确定FOV中的目标对象何时处于特定深度且确定对所述目标对象的合适聚焦。在一些实施例中，阵列中的每一相机的透镜系统可单独地聚焦。在一些实施例中，阵列中的每一相机的透镜系统可作为群组而聚焦。在一些实施例中，自动聚焦模块255可经配置以从深度图融合模块240或从处理器220或250中的一者接收命令。

装置处理器250可经配置以控制显示器225向用户显示所捕捉图像或所捕捉图像的预览。显示器225可在成像装置200外部或可为成像装置200的部分。显示器225还可经配置以提供在捕捉图像之前向用户显示预览图像的取景器，或可经配置以显示存储在存储器中的或由用户最近捕捉到的所捕捉图像。显示器225可包含面板显示器，例如，LCD屏幕、LED屏幕或其它显示器技术，且可实施触敏技术。装置处理器250还可经配置以从用户接收输入。举例来说，显示器225还可配置为触摸屏，且因此可经配置以从用户接收输入。用户可使用触摸屏显示器225来输入处理器可提供到深度图融合模块240的信息。举例来说，用户可使用触摸屏从显示器225上展示的视场选择目标对象或建立融合深度图的最小准确性或可靠性。装置处理器250可接收所述输入且将其提供到深度图融合模块240，所述深度图融合模块可使用所述输入选择用于融合操作的深度图或可选择特定深度制图方法以用在场景或FOV中。

在一些实施例中，装置处理器250可经配置以控制深度感测系统260或从深度感测系统260接收输入。深度感测系统260可经配置以确定使用哪个一或多个深度感测模块265a到265o以产生图像捕捉装置200的特定FOV或场景的深度图。举例来说，深度感测系统260可评估可用的工作存储器205和/或可用的电池或电力且使用所述信息来确定深度感测模块265a到265o中的哪个可能最适于某一时刻的给定条件。另外，深度感测系统260可评估来自相机或光学件215a到215n的“即时”视图以确定哪个深度感测模块265a到265o最适合于环境或待产生深度图的场景或FOV。在一些实施例中，深度感测系统260可检视先前所捕捉的FOV或场景的帧以向用户评估或确定哪个深度感测模块265a到265o以用于随后深度图中的FOV或场景。

在一些实施例中，装置处理器250或深度感测系统260可选择多个深度感测模块265a到265o且可确定使用深度图融合模块240以根据由所选择的深度感测模块265a到265o产生的个别深度图产生单个融合深度图。对多个深度感测模块265a到265o的选择可基于环境或图像捕捉装置200的场景或FOV、所述图像捕捉装置的一或多个参数中的一或多者。总的来说，可使用O个深度感测模块265a到265o，其中O≥2。在一些实施例中，深度感测模块265a可包括立体相机系统100，深度感测模块265b可包括阴影恢复深度系统130，且深度感测模块265c可包括结构化光系统160。

装置处理器250可将数据(例如表示所捕捉图像的数据)写入到存储模块210。虽然存储模块210以图形方式表示为传统磁盘装置，但在一些实施例中，存储模块210可经配置为任何存储媒体装置。举例来说，存储模块210可包含磁盘驱动器，例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器，或固态存储器，例如快闪存储器、RAM、ROM和/或EEPROM。存储模块210还可包含多个存储器单元，且所述存储器单元中的任一者可经配置以处于图像捕捉装置200内，或可在图像捕捉装置200外部。举例来说，存储模块210可包含含有存储在图像捕捉装置200内的系统程序指令的ROM存储器。存储模块210还可包含经配置以存储所捕捉图像的可从相机移除的存储卡或高速存储器。

虽然图2描绘具有分开的组件以包含处理器、成像传感器和存储器的装置，但在一些实施例中，这些分开的组件可通过多种方式组合以实现特定设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。

另外，虽然图2说明数个存储器组件，包含存储器组件230(其包括若干模块)和单独存储器205(其包括工作存储器)，但在一些实施例中，可利用不同存储器架构。举例来说，一种设计可利用ROM或静态RAM存储器以用于存储实施存储器230中所含有的模块的处理器指令。可将所述处理器指令加载到RAM中以促进由图像处理器220进行的执行。举例来说，工作存储器205可包括RAM存储器，其中指令在由图像处理器220执行之前被加载到工作存储器205中。在一些实施例中，深度感测系统260可为存储在存储器230中的软件或可为与所述软件组件组合的硬件系统。

图3说明根据示范性实施例的描绘图2的图像捕捉装置200的组件的图300，而所述组件可用于使用立体光学件、阴影或结构化光技术中的至少一者产生一或多个深度图。图3中的图300包括图2的图像捕捉装置200的各种组件，包含沿着所述图的顶行的第一相机215a、第一光源216a、第二相机215b、第二光源216b和第三光源216c。在一些实施例中，相机215a或215b中的一或多者可包括红/绿/蓝相机(RGB相机)或红外线相机(IR相机)或组合RGB/IR相机。在一些实施例中，光源216a到216c中的一或多者可包括结构化光源，其中所述结构化光源产生且发出具有已知模式(例如，几何或时间流逝模式)的光。图300的纵轴包括时间(沿此页向下进行)和三个示范性深度制图系统(立体相机系统100\阴影恢复深度系统130和结构化光系统160)。

图300还展示图像捕捉装置200的哪些组件可由深度制图系统中的每一者使用。举例来说，如行310中所展示，对于立体相机系统，第一相机215a、第一光源216a和第二相机215b可用于测量由图像捕捉装置200捕捉的FOV或场景中的所有点的深度且产生所述FOV或场景的深度图。对于行312中所展示的阴影深度系统，第一光源216a、第二相机215b和第二光源216b可用于测量FOV或场景中的所有点的深度且产生所述FOV或场景的深度图。类似地，对于行314的结构化光系统，第二相机215b和第三光源216c可用于测量FOV或场景中的所有点的深度且产生所述FOV或场景的深度图。

所述图的时间要素指示根据本发明的示范性实施例的图像捕捉装置200可利用的过程。如上文所论述，立体相机系统、阴影恢复深度系统和结构化光系统中的一或多者以及任何其它深度制图系统可包括缺点或可将不准确性或不可靠性引入到所产生的FOV或场景深度图中。因此，使用本文所描述的系统、方法和设备，可使用多于一个深度制图系统产生多于一个深度图，且可将个别地产生的深度图融合为单个空间依赖深度图。

所述融合深度图可通过将第一深度制图系统所产生的第一深度图的准确和可靠点与第二深度制图系统所产生的第二深度图的准确和可靠点组合而产生。在一些实施例中，可基于由图像捕捉装置200捕捉的FOV或场景或图像捕捉装置200的一或多个参数来选择第一深度制图系统。举例来说，如果图像捕捉装置200或目标FOV或场景中的一或多个对象在移动，那么可选择立体相机系统100而非阴影恢复深度系统130或结构化光系统160为第一深度制图系统，因为立体相机系统100可能能够产生在运动中的FOV或场景的最完整和准确的深度图。在一些实施例中，如果图像捕捉装置200缺少工作存储器或临时存储多个图像的能力，则可选择阴影恢复深度系统130而非立体捕捉系统100和结构化光系统160作为第一深度制图系统。在根据第一深度制图系统所产生的信息和测量值产生第一深度图之后，图像捕捉装置200可确定产生第二深度图以与产生的第一深度图融合的需要。在一些实施例中，当图像捕捉装置200确定需要第二深度图时，可从其余可用的深度制图系统选择第二深度制图系统。可基于对缺陷(即，第一深度图不准确和不可靠的部分)的感知或识别来选择第二深度制图系统。因此，可在意图填补第一深度图的不准确或不可靠深度测量值的情况下选择第二深度图。如果图像捕捉装置200确定额外深度图并非必要，则图像捕捉装置200可不产生第二深度图。因此，图像捕捉装置200可产生对图像捕捉装置200具有极少需求的最完整和准确的深度图。

如上文所提及，图像捕捉装置200可基于待捕捉的场景或FOV来选择深度制图系统中的一者。举例来说，当FOV或场景包括良好纹理时，则立体相机系统100可以被动(或低功率)模式或主动(或较高功率)模式(取决于FOV或场景在无图像捕捉装置200的光源的情况下照亮得怎样)用于产生第一深度图。另外，当存在明亮的外部光线或为室外设置时，可使用立体相机系统100。在一些实施例中，当FOV或场景包括极少纹理时，立体相机系统100可能难以获得深度测量值，且由立体相机系统100产生的第一深度图可与从阴影恢复深度系统130或结构化光系统160中的一者产生的第二深度图融合。当FOV或场景不包括纹理或仅包括平坦区时，则可选择阴影恢复深度系统130或结构化光系统160以产生第一深度图。当FOV或场景中的目标在低光级下处于中等距离(例如，0.5米到5米)时，可使用结构化光系统160以产生第一深度图。然而，当FOV或场景中的目标在FOV或场景中的无限处时，可使用立体相机系统100或阴影恢复深度系统130以产生第一深度图。小距离可为0m到0.5m，且无限处可为大于10m的任何距离。

如也在上文所提及，图像捕捉装置200可基于图像捕捉装置200的一或多个参数选择深度制图系统中的一者。举例来说，当应保存电池容量或电力时，图像捕捉装置200可选择立体相机系统100，因为所述立体相机系统比阴影恢复深度系统130或结构化光系统160都消耗较少电力。然而，如上文所提及，当存储器处于优质状态时，图像捕捉装置200可选择阴影恢复深度系统130或结构化光系统160中的一者。另外，阴影恢复深度系统130可需要FOV或场景中的最少曝露时间，使得阴影恢复深度系统130可在待捕捉的静态图像可能短暂存在时最为合适。另外，图像捕捉装置200可基于所要深度分辨率来选择深度制图系统中的一者。在一些实施例中，鉴于待捕捉的FOV或场景，可考虑图像捕捉装置200的一或多个参数。

在一些实施例中，图像捕捉装置200的用户可基于对上文所列的参数和场景或FOV特性的评估来选择在给定时刻使用的深度制图系统。在一些实施例中，图像捕捉装置200可基于其对上文所列的参数和场景或FOV特性的分析来自动选择要使用的深度制图系统。另外，在一些实施例中，图像捕捉装置200可经配置以基于先前捕捉到的场景或FOV的内容来自动修正对深度制图系统的选择，使得对深度制图系统的选择可为动态的。

图4说明根据示范性实施例的体现用于产生深度图且视需要将所述深度图与额外深度图融合的示范性方法的流程图。可通过任何成像装置或包括能够产生装置的FOV或场景的深度图的成像装备的任何其它电子装置来实施图4的方法400。在一些实施例中，如上文所描述，成像装置或其它电子装置可包括多个深度制图系统，包括立体光学相机系统、结构化光相机系统和/或阴影恢复深度相机系统，或能够产生所述成像装置的FOV或场景的深度图的任何其它类型的相机系统。方法400可在框402处开始。开始框402进行到方法400的框404，其包括识别成像装置的至少一个视场。成像装置的所识别视场可包括可由成像装置捕捉的场景或可由成像装置看到的视图。在一些实施例中，识别视场可包括重新定位成像装置，使得所要场景或对象在成像装置可捕捉的帧内。在一些实施例中，所述至少一个视场可由执行方法400的成像装置自动识别或可由用户识别。在识别所述至少一个视场之后，方法400进行到框406。

框406包括从多个深度感测方法中选择第一深度感测方法。在一些实施例中，可由成像装置的用户执行从多个深度感测方法选择第一深度感测方法。在一些实施例中，可由成像装置自身自动执行所述选择。在一些实施例中，可基于确定深度感测方法中的一或多者产生与深度感测方法中的另一者相比更可靠和准确的深度图来执行所述选择。在一些实施例中，可基于成像装置的一或多个参数(例如，可用存储器、可用功率、灵敏度或阈值深度水平)来执行所述选择。在一些实施例中，可至少部分地基于至少一个对象的深度、至少一个对象的环境、至少一个对象的帧内的位置或成像装置的特性来执行所述选择。在选择第一深度感测方法之后，方法400进行到框408。

框408包括使用选择的第一深度感测方法感测所述至少一个视场相对于成像装置的深度。感测所述至少一个视场的深度可包括使用立体相机系统测量成像装置所捕捉的场景的深度。在一些实施例中，感测所述深度可包括使用阴影恢复深度系统或结构化光系统。在一些实施例中，所述感测包括将视差匹配应用于所识别的至少一个视场，且其中成像装置包括立体光学件。在一些实施例中，所述感测深度可包括测量深度，其中测量视场或场景的每个点的深度。在使用选择的第一深度感测方法感测视场的深度之后，所述方法进行到框410。

框410包括基于选择的第一深度感测方法的感测深度产生至少一个视场的第一深度图。产生第一深度图可包括将所感测或测量的视场或场景的每个点的深度汇编到整个视场或场景的单个图中，其中所有深度都在所述单个深度图中。在产生第一深度图之后，方法400进行到框412。

框412包括识别具有不准确深度测量值的第一深度图的一或多个点的区域。在一些实施例中，控制器或其它处理器可分析第一深度图且确定所述深度图的一或多个点的深度测量值不准确或不可靠。可至少部分地基于在框406中选择的深度感测方法来作出对可靠性缺乏或不准确性的确定。在一些实施例中，可基于深度图与场景中的点的已知深度测量值的比较来作出所述确定。在一些实施例中，可通过确定深度是否在某些阈值内来确定深度测量值不准确。在一些实施例中，可通过对数据的统计分析(例如，比较深度的变化性和/或确定所述深度的变化性是否符合场景中对应的对象边缘)来确定深度测量值不准确。在框412处识别具有不准确深度测量值的区域之后，方法400进行到框414。

在框414处，方法400基于对具有一或多个不准确深度测量值的区域的所述识别的一或多个特性来确定是否需要经由选择的第二深度感测方法的额外深度感测。举例来说，如果方法400确定深度图具有超出阈值的不准确区域或符合执行额外深度感测的其它需求，则方法400可从所述多个深度感测方法选择第二深度感测方法且重复框408到414，直到方法400确定深度图不具有任何不准确或不可靠区域(或不符合需要额外深度感测方法的最小不准确性、不可靠性或误差阈值)。在框414处的所述确定还可基于确定可用深度制图系统中的任一者可添加信息到现有深度图。如果确定额外深度图是必要的，则可将所产生的深度图融合为单个空间依赖深度图。此时，方法400在框416处结束。在一些实施例中，方法400可能直到所述多个深度感测方法中的每一者已用于产生深度图后才结束。

如本文所使用，术语“确定”涵盖广泛多种动作。举例来说，“确定”可包含运算、计算、处理、导出、研究、查找(例如，在表、数据库或另一数据结构中查找)、断定和类似者。而且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)和类似者。而且，“确定”可包含解析、选择、挑选、建立和类似者。此外，如本文所使用，“信道宽度”在某些方面可涵盖或也可被称作带宽。

如本文所使用，涉及项目列表中的“至少一者”的短语是指那些项目的任何组合，包含单个成分。作为实例，“以下各项中的至少一者：a、b或c”意在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。

上文所描述的方法的各种操作可由能够执行所述操作的任何合适装置(例如，各种硬件和/或软件组件、电路和/或模块)执行。通常，各图中所说明的任何操作可由能够执行所述操作的对应功能装置执行。

如本文所使用，术语接口可指经配置以将两个或更多个装置连接在一起的硬件或软件。举例来说，接口可为处理器或总线的一部分且可经配置以允许信息或数据在装置之间的传达。可将接口集成到芯片或其它装置中。举例来说，在一些实施例中，接口可包括经配置以在一个装置处从另一装置接收信息或通信。接口(例如，处理器或总线的接口)可接收由前端或另一装置处理的信息或数据，或可处理所接收的信息。在一些实施例中，接口可包括经配置以将信息或数据发射或传达到另一装置的发射器。因此，接口可发射信息或数据或可准备用于输出的信息或数据以供发射(例如，经由总线)。

可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明所描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。

在在一或多个方面，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输。计算机可读媒体包含计算机存储媒体与包含促进将计算机程序从一处传送到另一处的任何媒体的通信媒体两者。存储媒体可以是可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，适当地将任何连接称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输软件，则所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。因此，在一些方面中，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。另外，在一些方面中，计算机可读媒体可包括暂时性计算机可读媒体(例如，信号)。以上各者的组合也应该包含在计算机可读媒体的范围内。

本文所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，所述方法步骤和/或动作可彼此互换。换句话说，除非指定了步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或用法。

所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可以是可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。

因此，某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。举例来说，此类计算机程序产品可包括上面存储有(和/或编码有)指令的计算机可读媒体，所述指令可由一或多个处理器执行以执行本文所描述的操作。对于某些方面，计算机程序产品可包含封装材料。

还可经由传输媒体传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输软件，则所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于传输媒体的定义中。

此外，应了解，用于执行本文所描述的方法和技术的模块和/或其它适当装置可在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说，可将此类装置耦合到服务器以促进传送用于执行本文所描述方法的装置。或者，可经由存储装置(例如，RAM、ROM、例如压缩光盘(CD)或软性磁碟的物理存储媒体等)来提供本文所描述的各种方法，使得用户终端和/或基站可在将所述存储装置耦合或提供到装置后获得所述各种方法。此外，可利用用于将本文所描述的方法和技术提供到装置的任何其它合适技术。

应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

虽然前文是针对本发明的各方面，但在不脱离本发明的基本范围的情况下，可设计出本发明的其它和另外方面，且由所附权利要求书确定本发明的范围。

Claims (23)

1.一种用于产生深度图的设备，其包括：

多个深度制图系统，其包括第一深度制图系统、第二深度制图系统和第三深度制图系统，所述深度制图系统中的每一者经配置以产生设备视场FOV中的对象的深度图；和

处理系统，其包括处理器，所述处理系统被配置成：

使用所述第一深度制图系统产生所述设备视场FOV中的所述对象的第一深度图；

识别所述第一深度图的具有不准确深度测量值的一或多个点的至少一个区域；

使用所述第二深度制图系统产生第二深度图；

使用所述第一深度图和所述第二深度图的至少一部分来产生融合深度图；

识别所述融合深度图的具有一或多个不准确深度测量值的一或多个点的至少一第二区域；并且

基于所识别的所述第二区域的特性确定是否使用所述第三深度制图系统执行额外深度感测。

2.根据权利要求1所述的设备，其中所述融合深度图包括对应于所述第一深度图中所识别的至少一个区域的所述第二深度图的至少一部分。

3.根据权利要求1所述的设备，其中所述融合深度图包括所述第一和第二深度图的空间依赖融合。

4.根据权利要求1所述的设备，其中确定是否执行额外深度感测基于所述第三深度制图系统提供比所述融合深度图的所述深度测量值更好的深度测量值。

5.根据权利要求1所述的设备，其中所述第一深度制图系统是从立体视觉深度制图系统、结构化光深度制图系统或阴影深度制图系统中的至少一者中选出。

6.根据权利要求5所述的设备，其中所述立体视觉深度制图系统、所述结构化光深度制图系统和所述阴影深度制图系统共享所述设备中的硬件组件。

7.根据权利要求1所述的设备，其中对所述第一深度制图系统的选择是基于所述设备中的可用存储空间、所述设备的可用电池电力、可用深度分辨率、所述设备的环境或待由所述设备捕捉的场景中的至少一者。

8.根据权利要求1所述的设备，其中对所述第一深度制图系统的选择是至少部分地基于所述对象的深度、所述对象的环境、所述对象在帧内的位置或所述设备的特性。

9.根据权利要求1所述的设备，其中所述设备包括立体成像系统且捕捉场景的两个或更多个图像，且其中所述处理系统经配置以通过对所述两个或更多个图像执行视差匹配来感测第一深度信息。

10.一种用于产生深度图的方法，其包括：

识别成像装置的视场；

使用第一深度制图系统产生所述视场中的对象的第一深度图；

识别所述第一深度图的具有不准确深度测量值的一或多个点的区域；

使用第二深度制图系统产生所述对象的第二深度图；

使用所述第一深度图和所述第二深度图的至少一部分来产生融合深度图；

识别所述融合深度图的具有一或多个不准确深度测量值的一或多个点的第二区域；并且

基于所识别的所述第二区域的特性确定是否使用第三深度制图系统执行额外深度感测。

11.根据权利要求10所述的方法，其中所述融合深度图包括所述第一和第二深度图的空间依赖融合。

12.根据权利要求10所述的方法，其中确定是否执行额外深度感测包括确定所述第三深度制图系统是否将提供比所述融合深度图的所述深度测量值更好的深度测量值。

13.根据权利要求10所述的方法，其中所述第一深度制图系统是由立体视觉深度制图系统、结构化光深度制图系统和阴影深度制图系统中的至少一者中选出。

14.根据权利要求13所述的方法，其中所述立体视觉深度制图系统、所述结构化光深度制图系统和所述阴影深度制图系统共享所述成像装置中的硬件组件。

15.根据权利要求13所述的方法，其中对所述第一深度制图系统的选择是基于所述成像装置中的可用存储空间、所述成像装置的可用电池电力、可用深度分辨率、所述成像装置的环境和待由所述成像装置捕捉的场景中的至少一者。

16.根据权利要求13所述的方法，其中对所述第一深度制图系统的选择是至少部分地基于所述视场中的所述至少一个对象的深度、所述至少一个对象的环境、所述至少一个对象的帧内的位置和所述成像装置的特性。

17.根据权利要求10所述的方法，进一步包括：对所述对象的感测深度信息执行视差匹配。

18.一种用于产生深度图的设备，其包括：

用于识别视场的装置；

用于使用第一深度制图系统产生所述视场中的对象的第一深度图的装置；

用于识别所述第一深度图的具有不准确深度测量值的一或多个点的区域的装置；

用于使用第二深度制图系统产生所述视场中的所述对象的第二深度图的装置；

用于将所述第一深度图与所述第二深度图融合在一起以产生融合深度图的装置，用于识别所述融合深度图的具有一或多个额外不准确深度测量值的一或多个点的第二区域的装置；和

用于基于所识别的所述第二区域的特性确定是否使用第三深度制图系统执行额外深度感测的装置。

19.根据权利要求18所述的设备，其中所述融合深度图包括所述第一和第二深度图的空间依赖融合。

20.根据权利要求18所述的设备，其中所述用于确定是否执行所述额外深度感测的装置确定所述第三深度制图系统是否将提供比所述融合深度图的所述深度测量值更好的深度测量值。

21.根据权利要求18所述的设备，其中所述第一深度制图系统是由立体视觉深度制图系统、结构化光深度制图系统和阴影深度制图系统中的至少一者中选出。

22.根据权利要求21所述的设备，其中对所述第一深度制图系统的选择是基于所述设备中的可用存储空间、所述设备的可用电池电力、可用深度分辨率、所述设备的环境和待由所述设备捕捉的场景中的至少一者。

23.根据权利要求21所述的设备，其中对所述第一深度制图系统的选择是至少部分地基于所述对象的深度、所述对象的环境、所述对象的帧内的位置和所述设备的特性。