CN116250017A - 用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质 - Google Patents

Abstract

根据一些实施例，用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质被提供。在一些实施例中，系统包括：光源；图像传感器；处理器，该处理器被编程成用于：使光源发射图案，该图案包括具有在极线上相交的两条线段的图案特征；使图像传感器捕获包括图案的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于图案特征的属性和图像特征的属性来估计与图案特征相关联的平面假设，该平面假设与表征平面的参数的集合相关联；以及基于平面假设来标识场景中的平面表面。

Description

用于使用结构化光直接恢复场景中的平面表面的系统、方法 和介质

相关申请的交叉引用

本申请基于2020年7月31日提交的美国专利申请第16/945449号，要求该专利申请的权益并要求该专利申请的优先权，该专利申请籍此通过引用以其整体并入本文中以用于所有目的。

关于联邦资助研究的声明

本发明是在由NAVY/ONR授予的N00014-16-1-2995下的政府支持下完成的。政府具有本发明中的特定权利。

背景技术

最近，3D成像用于各种应用中的使用已经爆炸式普及。例如，配备有3D相机的机器人已被用于驾驶汽车、探索空间和管理工厂。尽管这些应用中的一些应用需要对周围环境进行高分辨率3D扫描，但其他任务并不明确需要密集的3D点云。此类应用的示例包括自主导航(例如，在室内空间或城市街区)，或试图在房间中找到在其上放置虚拟对象的表面的增强现实(augmented reality，AR)系统。在此类应用中，系统可以捕获相对高清晰度的点云，并且然后可以试图从点云中确定环境的特征。这总体上要求大量的计算成本用于从点云数据中找到表面，这可能是相对嘈杂的。

因此，用于使用结构化光直接恢复场景中的平面表面的新系统、方法和介质是可期望的。

发明内容

根据所公开的主题的一些实施例，用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质被提供。

根据所公开的主题的一些实施例，用于恢复场景中的平面的系统被提供，该系统包括：光源；图像传感器，该图像传感器包括像素阵列；至少一个硬件处理器，该至少一个硬件处理器被编程成用于：使光源向场景发射二维光图案，其中该二维光图案包括被设置在第一极线上的图案特征，该图案特征包括在位于该第一极线上的一点处相交的两条相交线段；使图像传感器捕获包括光图案的至少一部分的场景的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于与第一极线相关联的图像特征和图案特征两者，将图案特征至少标识为潜在地与图像特征相对应；基于图案特征的属性和图像特征的属性来估计与图案特征相关联的平面假设，其中该平面假设与表征平面的参数的集合相关联；以及基于该平面假设来标识场景中的平面表面。

在一些实施例中，二维光图案包括N个图案特征的集合{P₁，…，P_N}，该N个图案特征的集合{P₁，…，P_N}包括各自被设置在第一极线上的图案特征；并且其中至少一个硬件处理器被进一步编程成用于：基于图像特征和N个图案特征的集合全部与第一极线相关联，将N个图案特征的集合标识为潜在地与图像特征相对应；估计N个平面假设的第一集合，每个平面假设与N个图案特征的集合中的相应的图案特征相关联，N个平面假设的第一集合中的每个平面假设基于图像特征的属性和相应的图案特征的属性，其中N个平面假设的第一集合的每个平面假设与表征平面的参数的集合相关联；标识与第一极线相关联的图像中的第二图像特征，该第二图像特征包括在与第一极线相对应的一点处相交的两条相交线段；基于第二图像特征和N个图案特征的集合全部与第一极线相关联，将N个图案特征的集合标识为潜在地与第二图像特征相对应；估计N个平面假设的第二集合，每个平面假设与N个图案特征的集合的相应的图案特征相关联，N个平面假设的第二集合中的每个平面假设基于第二图像特征的属性和相应的图案特征的属性，其中N个平面假设的第二集合中的每个平面假设包括表征平面的参数的集合；以及基于既是N个平面假设的第一集合的成员又是N个平面假设的第二集合的成员的平面假设来标识场景中的平面表面。

在一些实施例中，N＞2，并且沿图案特征P₁与图案特征P₂之间的第一极线的距离不同于沿图案特征P_N-1与图案特征P_N之间的第一极线的距离，使得N个图案特征的集合{P₁，…，P_N}是非均匀间隔的。

在一些实施例中，二维光图案包括N个图案特征的第二集合{P_N+1，…，P_2N}，每个图案特征被设置在第二极线上，并且其中沿图案特征P_N1与图案特征P_N+2之间的第二极线的距离不同于沿图案特征P_2N-1与图案特征P_2N之间的第二极线的距离，以及沿图案特征P_N1与图案特征P_N+2之间的第二极线的距离不同于沿图案特征P₁与图案特征P₂之间的第一极线的距离，使得N个图案特征的第二集合{P_N+1，…，P_2N}是非均匀间隔的，并且与N个图案特征的集合{P₁，…，F_N}的间隔不同。

在一些实施例中，至少一个硬件处理器进一步被编程成用于基于两条线段相交的点与第一极线之间的接近度来确定图像特征与第一极线相关联。

在一些实施例中，光源包括多个行，并且图像传感器包括第二多个行，并且光源和图像传感器被校正使得多个行中的每一行与第二多个行中的一行共享极线。

在一些实施例中，图案特征的第一线段相对于第一极线成35°至55°的范围内的角度，并且图案特征的第二线段相对于第一极线成125°至145°的范围内的角度。

在一些实施例中，图案特征的属性包括与图案特征的第一线段相对应的第一向量u_p、与图案特征的第二线段相对应的第二向量v_p、以及第一向量u_p与第二向量v_p相交处的点的坐标p_p，以及其中图像特征的属性包括与图像特征的第一线段相对应的第三向量u_c，与图像特征的第二线段相对应的第四向量v_c特征、以及第三向量u_c与第四向量v_c相交处的点的坐标p_c。

在一些实施例中，与平面假设相关联的参数的集合定义平面Π并且包括与相机坐标系的原点c_c到平面Π之间的最短距离相对应的距离D、平面法向量n与延伸通过c_c和由图像传感器定义的图像平面的中心的Z轴线之间的极角θ，以及平面法向量n与沿图像平面的水平方向延伸的x轴线之间的方位角

在一些实施例中，处理器进一步被编程成用于：使用关系

确定平面法向量n；以及使用关系/>

确定距离D，其中b是相机坐标系的原点c_c与图案坐标系的原点c_p之间的距离。

在一些实施例中，处理器进一步被编程成用于：使图像传感器捕获不包括光图案的场景的第二图像；基于图像与第二图像之间的差异来计算差异图像；以及利用差异图像来标识图像中的图像特征。

根据所公开的主题的一些实施例，用于恢复场景中的平面的方法被提供，该方法包括：使光源向场景发射二维光图案，其中该二维光图案包括被设置在第一极线上的图案特征，该图案特征包括在位于该第一极线上的一点处相交的两条相交线段；使图像传感器捕获包括光图案的至少一部分的场景的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于图像特征和图案特征两者与第一极线相关联，将图案特征至少标识为潜在地与图像特征相对应；基于图案特征的属性和图像特征的属性，估计与图案特征相关联的平面假设，其中该平面假设与表征平面的参数的集合相关联；以及基于该平面假设来标识场景中的平面表面。

根据所公开的主题的一些实施例，一种非瞬态计算机可读介质被提供，该非瞬态计算机可读介质包含计算机可执行指令，该计算机可执行指令在由处理器执行时，使处理器执行用于恢复场景中的平面的方法，该方法包括：使光源向场景发射二维光图案，其中该二维光图案包括被设置在第一极线上的图案特征，该图案特征包括在位于该第一极线上的一点处相交的两条相交线段；使图像传感器捕获包括光图案的至少一部分的场景的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于图像特征和图案特征两者与第一极线相关联，将图案特征至少标识为潜在地与图像特征相对应；基于图案特征的属性和图像特征的属性来估计与图案特征相关联的平面假设，其中该平面假设与表征平面的参数的集合相关联；以及基于该平面假设，标识场景中的平面表面。

附图说明

当结合以下附图考虑时，参考所公开的主题的以下具体实施方式，可以更全面地理会所公开的主题的各种对象、特征和优点，在附图中相同的附图标记标识相同的要素。

本专利或申请文件包含至少一幅彩色绘制的附图。经请求并且支付必要费用后，具有(一个或多个)彩图的本专利或专利申请公开的副本将由专利局提供。

图1A示出了根据所公开的主题的一些实施例的、在其中场景中的平面可以被恢复的应用的示例。

图1B示出了根据所公开的主题的一些实施例的、将用于使用基于点云的系统检测场景中的平面的技术与用于检测平面的技术进行比较的示例。

图2A示出了根据所公开的主题的一些实施例的、结构化光成像系统和场景中的平面的示例表示。

图2B示出了根据所公开的主题的一些实施例的、图2A的结构化光成像系统中的图案和图像对应性的示例表示。

图2C示出了根据所公开的主题的一些实施例的、包括图案特征的图像的示例表示。

图2D示出了根据所公开的主题的一些实施例的、包括图2C的图像中记录的图案特征的图案的示例表示。

图3A示出了根据所公开的主题的一些实施例的、与被投影到场景的平面上并被记录在图像中的图案特征的一部分相对应的第一线段的示例。

图3B示出了根据所公开的主题的一些实施例的、与被投影到场景的平面上并被记录在图像中的图案特征的另一部分相对应的第二线段的示例。

图3C示出了根据所公开的主题的一些实施例的、与被投影到场景的平面上并被记录在图像中的图案特征相对应的第一线段和第二线段两者的示例。

图3D示出了与由于线段与极线之间的对齐而产生退化解的图案特征相对应的图案中线段的示例。

图4A1示出了根据所公开的主题的一些实施例的、在与成像的图案特征I₁相同的极线上的每个图案特征的Π空间中的图案特征、相对应的成像的图案特征和平面参数位点的均匀分布图案的示例。

图4A2示出了根据所公开的主题的一些实施例的、成像的图案特征I₁和I₂在∏空间中的重叠位点的示例。

图4B1示出了根据所公开的主题的一些实施例的、在与成像的图案特征I₁相同的极线上的每个图案特征的∏空间中的图案特征、相对应的成像的图案特征和平面参数位点的非均匀分布图案的示例。

图4B2示出了根据所公开的主题的一些实施例的、仅在图案特征两者所在的平面的∏的真实值处重叠的成像的图案特征I₁和I₂在Π空间中的位点的示例。

图5示出了根据所公开的主题的一些实施例的、用于使用结构化光成像系统直接恢复场景中的平面表面的系统的示例。

图6示出了根据所公开的主题的一些实施例的、用于使用结构化光直接恢复场景中的平面表面的过程的示例。

图7A示出了根据所公开的主题的一些实施例恢复的图案被投影在其上的模拟场景、与Π空间中的候选平面相对应的位点、测量的平面深度、测量的平面法线以及估计的深度和平面法线的示例。

图7B示出了根据所公开的主题的一些实施例恢复的图案被投影在其上的另一模拟场景、与Π空间中的候选平面相对应的位点、测量的平面深度、测量的平面法线以及估计的深度和平面法线的示例。

图8A示出了根据所公开的主题的一些实施例实现的使用投影仪将图案投影到其上的场景的示例。

图8B示出了根据所公开的主题的一些实施例估计的、与基于场景中的图案特征与投影仪的相同极线上的图案特征之间的对应性确定的Π空间中的候选平面相对应的位点的示例。

图8C示出了根据所公开的主题的一些实施例的、基于图8B的位点确定的估计的平面深度的示例。

图8D示出了根据所公开的主题的一些实施例的、基于图8D的位点确定的估计的平面法线的示例。

图9A示出了根据所公开的主题的一些实施例的、在低水平环境光下捕获的图案被投影到其上的场景和在高水平环境光下捕获的图案被投影到其上的相同场景的示例图像。

图9B示出了根据所公开的主题的一些实施例的、基于图9A的图像确定的与Π空间中的候选平面相对应的位点的示例。

图9C示出了根据所公开的主题的一些实施例的、基于图9B的位点确定的估计的平面深度的示例。

图9D示出了根据所公开的主题的一些实施例的、基于图9B的位点确定的估计的平面法线的示例。

图10A示出了根据所公开的主题的一些实施例的、从场景的图像估计的平面与使用基于RANSAC的平面拟合从相同场景的点云表示估计的平面的比较。

图10B示出了根据所公开的主题的一些实施例的、从更复杂的场景的图像估计的平面与使用基于RANSAC的平面拟合从相同场景的点云表示估计的平面的比较。

具体实施方式

根据各种实施例，用于使用结构化光直接恢复场景中的平面表面的机制(其可以例如包括系统、方法和介质)被提供。

在本文中公开的主题的一些实施例中，因为光的图案被投影向场景，结构化光(structured light，SL)系统可以基于在场景的单个图像中检测到的光的图案来同时恢复场景中的平面表面并估计场景中的平面表面的一部分的深度(例如，作为到与恢复的平面表面相对应的场景中的各个点的距离)。在三维(3D)中对场景成像和/或确定到场景点的距离的能力最近已经变得越来越重要。随着自主系统或半自主系统开始基于由3D相机和其他传感器技术提供的深度信息来驾驶汽车、探索空间和管理工厂。尽管这些应用中的一些应用需要对周围环境进行高分辨率3D扫描，但若干个任务并不明确需要密集的3D点云。例如，在室内空间或城市街区中进行导航的机器人可以基于平面表面的位置来规划路线。作为另一个示例，增强现实(AR)系统可以基于平面表面的位置来在客厅中找到用于放置虚拟对象的表面。对于此类应用，尤其是在具有有限的计算预算的设备中，创建紧凑、存储器和计算效率高的3D场景表示通常是可期望的。例如，如下面结合图1B所描述的，表示分段平面室内场景的常规方法是首先用深度相机或其他深度传感器捕获3D点云数据，以及然后估计场景的分段平面表示。这要求捕获相对高分辨率的3D点云数据，然后以相对较高的计算成本提取场景的数据密集度低得多的平面表示。在一些实施例中，本文中描述的机制可以被用于直接恢复场景的紧凑几何表示，而无需与捕获3D点云数据和从3D点云数据估计平面表面相关联的成本。

在一些实施例中，本文中描述的机制可以被用于直接恢复分段平面场景(有时称为块世界场景)的主平面参数，而无需创建3D点云，这可促进快速、低成本和准确的重建。在一些实施例中，本文中描述的机制可以被用于实现基于结构化光系统的相机(例如，块世界相机)，该结构化光系统包括将单个图案投影到场景上的投影仪和用于捕获场景的图像的相机。在一些实施例中，图案可以包括十字形特征的稀疏集合(例如，具有两条线段)，本文中描述的机制可以经由由场景平面引起的单应性将其映射到相机图像中的十字形特征。在一些实施例中，如果图像与图案特征之间的对应性可以被建立，则平面参数可以通过测量图案特征之间的变形(两条段的角度的变化)来估计。在一些实施例中，在每条极线上使用具有多个特征的图案可以提供足够的特征密度以准确地测量平面参数，但也可导致歧义。附加地，随着特征密度的增加，每个特征的大小可能需要被减小以适应附加的密度，这可能导致难以准确地测量变形。

总体上，在不具有计算密集型复杂全局推理的情况下，在单次拍摄SL系统中找到正确的特征对应性是具有挑战性的。在一些实施例中，本文中描述的机制可以促进重建，同时维持相对高的特征密度和相对低的计算复杂度两者。在一些实施例中，本文中描述的机制可以利用促进平面参数估计甚至具有未知对应性的几何过程。

在一些实施例中，给定图像特征，相对应的极线上的所有图案特征都可以是用于匹配的候选者。每个候选图案特征连同图像特征一起可以被用于生成平面假设，并且本文中描述的机制可以使用投票过程来选择表示图像特征被投影到其上的平面的平面参数。平面假设可以被表示为3D平面参数空间中的一点(例如，如下面结合4A2和4B2所描述的)。因此，在一些实施例中，本文中描述的机制可以使用所有候选图案特征对应性的集合来表示对于平面假设的集合的投票，这可以被称为平面参数位点。在一些实施例中，如果图案特征在极线上非均匀地间隔开(例如，如下面结合图4B1和4B2所描述的)，则位于相同的场景平面(其有时被称为世界平面)的多个图像特征的平面参数位点可以被预计在参数空间中的唯一位置处相交。此类相交点与世界平面的参数相对应，以及可以通过相对简单的局部峰值查找来确定，而无需明确确定对应性。

如下文结合图1B至图6所描述的，在一些实施例中，本文中描述的机制可以使用特征图案以及可以同时恢复分段平面场景的深度图和法线图的相对快速的过程。模拟和实验在下面被描述，该模拟和实验示出了本文中描述的机制的实现方式可以捕获无杂波的3D模型，该无杂波的3D模型用于包括纹理差的场景和大的光照变化的各种具有挑战性的场景。结合所公开的主题的一些实施例描述的技术的计算复杂度可以比常规平面拟合技术低一个数量级，并且可以保持相对恒定而不管场景的几何复杂度如何。这可以促进高分辨率图像上的实时性能，即使在有限的计算资源的情况下。在一些实施例中，本文中描述的机制可以与仅一个或两个图像的捕获结合使用，并且可以用具有静态掩模的简单且低成本的单图案投影仪来实现。附加地，投影的图案的稀疏性可以减轻由相互反射引起的噪声，这是一个很难用密集图案解决的具有挑战性的问题。

在一些实施例中，本文中描述的机制可以有效地用于估计分段平面场景的平面信息，这在可以利用包括一小组平面的紧凑3D表示的应用中可以是有用的。例如，本文中描述的机制可以被用于促进在诸如机器人导航、室内场景建模、增强现实之类的应用中快速和稳健。

图1A示出了根据所公开的主题的一些实施例的、在其中场景中的平面可以被恢复的应用的示例。如图1A所示，许多场景包括相对较大的平面，这可以被用于至少对场景的宏观特征进行建模。例如，带家具的房间可包括多件家具，该多件家具可以使用平面来建模以近似家具的形状。在一些实施例中，本文中描述的机制可以被用于理解房间的几何形状以用于诸如建模地板规划以及确定带家具的房间的布局之类的任何合适的应用。作为另一个示例，许多室内空间和室外空间包括与环境的特征相对应的平坦表面，诸如地板、天花板、墙壁、门、道路、人行道等。在一些实施例中，本文中描述的机制可以被用于规划导航路线，并用于找到平面以用作在增强现实场景中使用的表面。

图1B示出了根据所公开的主题的一些实施例的、将用于使用基于点云的系统检测场景中的平面的技术与用于检测平面的技术进行比较的示例。如图1B所示，场景可以包括可以被建模为分段平面的对象。一些常规3D成像技术使用(一个或多个)深度相机以生成3D点数据，并且试图从3D点云数据估计平面。这可能是困难且计算上密集的任务，例如，因为3D点云数据可包括噪声和/或可具有不捕获对象的边缘处的相关信息的分辨率，这可以导致难以准确估计平面表面。

图2A示出了根据所公开的主题的一些实施例的、结构化光成像系统和场景中的平面的示例表示。如图2A所示，结构化光系统典型地包括投影仪和相机。针孔投影模型可以针对相机和投影仪两者被假定。以c_c为中心的相机坐标系(camera coordinate system，CCS)可以被定义，c_c与相机的光学中心相对应。以c_p为中心的投影仪坐标系(projectorcoordinate system，PCS)可以被定义，c_p与投影仪的光学中心相对应。在图2A所示的系统中，c_c和c_p被投影仪-相机基线b沿x轴线分开。请注意，这只是示例，以及结构化光系统可以被配置成具有沿y轴线分开的、或者与x轴线和y轴线成一定角度的相机和投影仪，这可能要求校准投影仪-相机设置以及校正捕获的图像。世界坐标系(world coordinate system，WCS)可以基于CCS被定义，具有以c_c为中心的WCS原点，使得c_c＝[0，0，0]^T以及c_p＝[b，0，0]^T。

在不损失一般性的情况下，相机和投影仪两者都可以被假定为具有相同的焦距f，这可以被解释为相机和投影仪的两者的图像平面都位于距相应的光学中心沿z轴线的距离f处。为简单起见，校正系统可以被假定为使得极线沿着相机图像和投影仪图案的行。这些假定(相同的焦距，校正的设置)只是示例，并且在实践中可以通过校准投影仪-相机设置和校正捕获的图像来放宽，以与图2A中所示的配置相对应。

在WCS中(以及在图2A中所示的示例中的CCS中)，3D空间中的平面可以由三个参数表征：

其中Π是3D空间中的平面，D∈[0，∞)是从原点(c_c)到平面Π的垂直(最短)距离，/>

是平面法线与-之间的极角(即，沿着z轴线朝向CCS原点c_c)，以及

是平面法线与x轴线之间的方位角(顺时针测量)，如图2A所示。在图2A所示的示例中，平面Π的表面法线n可以由关系：/>

来表示。如下面结合等式(3)所描述的，表面法线n可以被直接估计，以及前面的关系可以被用于从表面法线n估计平面参数θ和/>

图2B示出了根据所公开的主题的一些实施例的、图2A的结构化光成像系统中的图案和图像对应性的示例表示。如图2B所示，在图案特征(由投影仪图案中的方框来表示)同与该图案特征相对应的图像特征(由相机图像中的方框来表示)之间存在对应性。在许多常规的结构化光系统中，系统可以试图确定图案特征与图像特征之间的对应性，并可以使用该对应性来通过三角测量估计到场景中的点的距离。在一些实施例中，本文中描述的机制可以使用关于图案特征与相机特征之间的潜在对应性的信息来试图直接确定可以表征图案特征被投影到其上的平面Π的参数。

图2C和图2D示出了根据所公开的主题的一些实施例的、包括图案特征的图像以及包括在图2C的图像中被记录的图案特征的图案的示例表示。如图2C和图2D所示，投影到具有未与z轴线精确对齐的法线的平面上可导致图像特征中的图案变形。

图3A至图3D示出了与被投影到场景的平面上并被记录在图像中的图案特征的一部分相对应的第一线段、对应于与被记录在图像中的图案特征的另一部分相对应的第二线段的示例(第一线段和第二线段两者一起根据所公开的主题的一些实施例)，以及与由于线段与极线之间的对齐而产生退化解的图案特征相对应的图案中的线段的示例。总体上，结构化光系统可以大致分为两类。诸如线条纹、二进制格雷编码和正弦波相移之类的多重拍摄技术涉及将多个图案投影到深度信息要被估计的场景上，以及涉及捕获每个图案的图像。这些技术可以被用于生成高深度精度的3D点云数据，但由于不同图像捕获之间可能发生的偏移，因此总体上不适用于动态场景。单次拍摄技术涉及仅投影单个图案，这使得单次拍摄技术更适用于在存在场景和/或相机运动时生成深度信息。附加地，单次拍摄技术典型地可以用简单且低成本的单个图案投影仪(例如，使用静态掩模或衍射光学元件)来实现，而不是依赖于被配置成用于动态地改变投影图案的完整投影仪。

在一些实施例中，本文中描述的机制可以被用于实现单次拍摄技术，该单次拍摄技术可以同时估计仅具有单个投影图案的分段平面场景的深度和表面法线两者。本文中描述的机制可以使用具有相对较低的复杂度的相机来实现，无论是在计算上(例如，使用相对简单、低成本的算法)还是用于硬件(例如，使用单次投影)。

对于平面的场景的一部分(例如，在可以被表征为分段平面场景的场景中)，投影图案中的一对对应补丁和捕获的图像经由单应性相关(假定补丁位于一个平面上)。单应性包括足够的信息来唯一地恢复引起单应性的3D场景平面的参数。附加地，单应性保留了直线及它们的相交。例如，在场景上投影的一对相交线将映射到图像中的一对相交线。

具有特征的稀疏集合的图案(例如，投影仪像素中的一小部分像素开启)可以促进稳健和相对快速的对应性匹配。稀疏图案还可以潜在地降低源功率要求，例如，经由使用衍射光学元件来实现图案。附加地，稀疏图案可以减轻由多路径干扰引起的影响，这可能是具有密集图案的SL成像中的重大误差源。然而，稀疏图案的前述属性与分辨率之间存在折衷。稀疏单次图案总体上可以在一般场景(例如，主要不是分段平面的场景)中仅实现稀疏3D重建。在一些实施例中，本文中描述的机制可以被用于恢复具有相对少量主平面、甚至具有稀疏图案的分段平面场景的场景几何。

在一些实施例中，包括空间分布的相同特征的稀疏集合的图案可以被用于促进稳健且相对快速且对多路径干扰稳健的单次SL成像。在一些实施例中，本文中描述的机制可以使用包括十字形特征的图案来实现，该十字形特征包括两个相交线段。如图2D所示，在一些实施例中，特征可以包括与极线成45°和135°角度的线段(例如，在结合图2A描述的校正的系统中，极线沿着相机图像和投影仪图案的行)。与线段角度的选择有关的附加细节可以在附录A的第5节中被找到，该附录A已通过引用并入本文中。

此类十字形特征可以促进稳健的定位以及用计算上轻量的算法进行的高效的平面参数估计。请注意，角度只是示例，以及被设置在其他角度处的线段可以被使用，然而，其他角度的组合可引起某些性能特性的降低。例如，距45°和135°的组合偏离太远可使得仅使用单个图案投影来确定平面参数是不可能的。例如，如果一条线段以90°被设置，则不管另一条线段的角度如何，相对于图案特征角的图像特征角的范围中会存在歧义。在此类示例中，场景中的某些平面可导致图案以某种方式改变定向，从而导致两条线段之间的歧义，这使得在不具有附加信息的情况下难以在两条线段之间进行区分。在特定的示例中，此类附加信息可以通过以某种方式区分两条线段来提供(例如，使用不同的颜色、使用不同的线宽、向一个或多个线段添加诸如箭头之类的修饰等)。在另一个特定的示例中，此类附加信息可以通过捕获具有不同图案的多个图像来提供。然而，利用附加信息是有代价的(例如，更多的计算复杂性被要求用于包含附加信息)。在一些实施例中，图案特征可包括与极线成1°至90°范围内的角度的第一线段，以及与极线成90°至179°范围内的角度的第二线段，只要角度是不一样的。在一些实施例中，图案特征可包括与极线成10°至80°范围内的角度的第一线段，以及与极线成100°至170°范围内的角度的第二线段。在一些实施例中，图案特征可包括与极线成20°至70°范围内的角度的第一线段，以及与极线成110°至160°范围内的角度的第二线段。在一些实施例中，图案特征可包括与极线成30°至60°范围内的角度的第一线段，以及与极线成120°至150°范围内的角度的第二线段。在一些实施例中，图案特征可包括与极线成35°至55°范围内的角度的第一线段，以及与极线成125°至145°范围内的角度的第二线段。在一些实施例中，图案特征可包括与极线成40°至50°范围内的角度的第一线段，以及与极线成130°至140°范围内的角度的第二线段。

如图3A和3B所示，图案特征P可以由关系P＝{u_p，v_p，p_p}来描述，其中v_p和u_p是两个线向量，以及p_p是v_p和u_p的相交点，如图3C所示。相对应地，图像特征I可以被描述为I＝{u_c，v_c，p_c}，其中v_c和u_c分别是与v_p和u_p相对应的线向量，以及p_c是v_c和u_c的相交点。附加地，在以下描述中，假定投影特征P位于单个场景平面Π内，并且该特征对相机完全可见。

P和I中的元素可以在投影仪和照相机的坐标系(即，相应地为PCS和CCS)中被定义。例如，对于图案特征P＝{u_p，v_p，p_p}，元素可以被定义如下：

u_p＝[u_px，u_y，0]^T，v_p＝[v_px，v_y，0]^T，p_p＝[p_px，p_y，f]^T (1)

类似地，对于对应的图像特征I＝{u_c，v_c，p_c}，元素可以被定义如下：

u_c＝[u_cx，u_y，0]^T，v_c＝[v_pc，v_y，0]^T，p_c＝[p_cx，p_y，f]^T (2)

如果相对应的P和I的对能够被准确地标识，使得图案特征与图像特征之间的对应性是已知的，则平面参数可以通过基本几何学被分析地恢复，如图3A至图3C所示。例如，每个十字形特征对应性可以提供两个线对应性{u_c，u_p}和{v_c，v_p}，这两个线对应性可以被进行三角测量以相应地估计两个3D线向量l_u和l_v。平面Π可以完全由这两条3D线定义，并且可以从l_u和l_v的估计值进行估计。例如，Π的表面法线n可以使用以下关系来估计：

请注意，在PCS中可以表示图案特征的元素{u_p，v_p，p_p}可以在等式(3)中被使用，而无需将特征转换到CCS或WCS中。作为另一个示例，从C_c至Π的最短距离D可以使用以下关系来估计：

作为又一个示例，对于n和D的估计值，p_c的深度d可以使用以下关系来估计：

与等式(3)至(5)的推导相关的附加详细信息可以在附录A的第1节中被找到，其通过引用以其整体并入本文中。

请注意，如果线对应性{u_c，u_p}或{v_c，v_p}与极线是共线的，则它可导致退化解，如图3D所示。在一些实施例中，退化解可以通过选择具有未与极线对齐的线段的图案特征来避免。

图4A1示出了根据所公开的主题的一些实施例的在与成像图案特征I₁相同的极线上的每个图案特征在Π空间中的图案特征、相对应的成像图案特征、平面参数位点的均匀分布图案的示例，以及图4A2示出了根据所公开的主题的一些实施例的成像图案特征I₁和I₂在Π空间中的重叠位点的示例。图4B1示出了根据所公开的主题的一些实施例的、在与成像图案特征I₁相同的极线上的每个图案特征的Π空间中的图案特征、相对应的成像图案特征和平面参数位点的非均匀分布图案的示例，以及图4B2示出了根据所公开的主题的一些实施例的成像图案特征I₁和I₂在Π空间中的位点的示例，成像图案特征I₁和I₂仅在图案特征两者都在其上的平面Π的真实值处重叠。

如上文结合图3A至图3C所描述的，如果特征对应性是已知的，则平面参数可以使用等式(3)和(4)来估计。但是，如果相同的图案特征贯穿图案中被重复使用，则很难唯一地确定特征对应性。在一些实施例中，对应性可以通过在图案的每条极线上仅放置单个特征来确定。如果极线与相机图像传感器和图案投影仪的行对齐(例如，如上文结合图2A描述的校正系统的情况)，则如果每行仅包含单个特征，则对应性可以被准确地估计。在此类实施例中，对于每个图像特征，对应性可以被简单地计算，因为p_p是相机行的函数。然而，每行仅使用单个图案特征将图案特征的最大数量限制为图案和/或图像传感器的行的数量，这可以降低每个场景平面将被特征照明的可能性。这可以通过上文结合图2D和图3A至图3C描述的十字形特征来进一步限制，因为这些特征跨越多行，这可能要求将图案特征仅放置在极线的子集上以避免碰撞。

在一些实施例中，在每条极线上具有多个图案特征的图案增加了图案特征的密度，这可以增加每个场景平面被特征照明的可能性。尽管这种方法可以增加特征密度，但此类图案在每条极线上包括多个相同的特征，导致在试图确定对应性时出现歧义。这可能使得在没有附加信息和/或不使用通常要求计算上密集型优化的复杂全局推理技术的情况下难以确定准确的场景对应性。这似乎是在以相对较低的计算成本准确确定场景对应性与标识场景中的平面之间呈现权衡。

在一些实施例中，本文中描述的机制可以通过估计平面参数而无需明确地计算图像特征与图案特征之间的对应性来至少部分地避免这种明显的权衡。如图4A1和图4B1所示，投影图案的一条极线上的图案特征的集合可以被定义为{P₁，…，P_N}。这些特征的至少一个子集被映射到相机图像，从而产生图像特征的集合，它可以被定义为{I₁，…，I_M}(M≤N)。

在图4A1的示例中，因为N个图案特征{P₁，…，P_N}中的所有图案特征都是相同的，所以图案特征中的每一个图案特征都是图像特征I₁的候选匹配特征。如上文结合等式(3)和(4)所描述，每个候选图案特征都可以被用于通过用图像特征I₁对该特征进行三角测量来估计平面假设

因此，所有候选图案特征的集合{P₁，…，F_N}可以被用于创建平面假设的集合Λ₁＝{Π₁₁，…，Π_1N}，其中Π_1N(n∈{1，…，N})是从I₁和P_n计算的平面参数。每个平面假设都可以被表示为3D平面参数空间(其有时在本文中被称为Π空间)中的点，如图4A1和图4B1的最右侧部分所示。平面假设的集合Λ₁＝{Π₁₁，…，Π_1N}可以定义Π空间中的平面参数位点。类似地，另一个平面参数位点Λ₂＝{Π₂₁，…，Π_2N}可以通过配对I₂和{P₁，…，P_N}来定义，对于每个图像特征{I₁，…，I_M}也是如此。

如果I₁和I₂与相同的场景平面上的场景点相对应，则两个位点Λ₁和Λ₂必须相交。如果两个位点在参数空间中的唯一位置

处相交，则/>

表示共用场景平面的参数。

Π空间中的位点之间的这种相交可以在平面估计的基于投票的方法中被利用，该方法不要求明确的对应性估计，并且具有相对低的计算成本。在一些实施例中，本文中描述的机制可以对于每个检测到的图像特征估计平面参数位点Λ_i(1≤i≤M)，如上文所描述的。位点可以被用于表示对于与特定特征结合的候选平面的投票。在一些实施例中，本文中描述的机制可以对于所有检测到的图像特征收集参数位点，并且具有来自绘制的所有图像特征的位点的Π空间可以被认为是给定图像特征的场景平面的可能性分布。图7A和图7B示出了两个分段平面场景的Π空间的示例。在一些实施例中，本文中描述的机制可以通过标识Π空间中的主局部峰值来估计主场景平面的平面参数。对于给定的局部峰值，本文中描述的机制将所有图像特征与平面参数位点相关联，该平面参数位点包括对应于峰的候选平面和对应于峰的平面。在基于投票的上下文中所描述的，具有包括峰值的平面参数位点的每个图像特征都可以被描述为对于峰值的投票。在一些实施例中，对于此类图像特征，深度和表面法线值可以通过上文结合等式(3)至(5)描述的平面-射线相交来计算。

虽然这种方法与常规的基于霍夫变换的平面估计共享一些相似性，但存在一些关键差异。例如，在常规的基于霍夫变换的平面估计中，平面是从3D点被估计的，其中每个3D点对于通过它的所有候选平面进行投票。相比之下，上文所描述的基于投票的方法使用2D图像特征直接对于候选平面进行投票，这避免了潜在的昂贵的点云生成。作为另一个示例，在常规的基于霍夫变换的平面估计中，每个3D点对于潜在的平面的密集集合(即，2D集合)进行投票。当结合点云中的大量3D点考虑时，这可导致大量的计算和存储器成本。在上文所描述的基于投票的方法中，特征的稀疏集合被使用，以及每个图像特征对于候选平面的小的、离散的集合进行投票(例如，少于10个候选平面被用于下文结合图7A到图10B进行描述的模拟和实验中的每个图像特征)。这导致相当大的更低的计算成本。例如，本文中描述的机制可以用计算成本估计场景中的平面，该计算成本比常规的基于霍夫变换的平面估计的成本低最多2个数量级(根据估计场景平面所需要的数据点的数量)。附加地，随着场景中主平面的数量减少，节省增加。

上文基于投票的方法的描述假定与相同的世界平面相对应的不同图像特征的平面参数位点在唯一位置相交。例如，如果相机极线上所有特征的位点在若干个位置处重叠，则在没有附加信息的情况下标识唯一的平面参数是不可能的。例如，如图4A2所示，如果多个图像特征的位点产生多个等幅度的峰值，则关于图像特征全部位于其上的平面的平面参数仍然存在歧义。如果多个图像特征的位点产生单个峰值，则这种歧义被解决。因此，为了使上文描述的基于投票的方法在一般场景中是有用的，图案必须被评估以确定前述假定是否有效。

平面参数位点中存在两个几何属性，这两个几何属性可以被用于确定位点在唯一位置相交的前述假定是否有效。例如，基于在相同的极线上将图像特征和图案特征的集合进行配对的平面参数位点Λ_i(1≤i≤M)的第一属性在于位点始终位于平行于参数空间中的

(方位角)平面的平面上。与此属性的推导相关的附加详细信息可以在附录A的第3节中被找到，其已经通过引用以其整体并入本文中。/>

作为另一个示例，特定平面参数位点Λ_i(1≤i≤M)的第二属性在于Λ_i中的元素的位置仅是相对距离D_μ的集合的函数。例如，平面参数位点Λ_m可以被定义为由图像特征I_m和图案特征{P₁，…，P_N}创建的参数位点Λ_m＝{Π_m1，…，Π_mN}。如果P_μ(μ∈{1，…，N})是I_m的真实对应图案特征的集合，以及d_μn是图案极线上的图案特征P_μ与P_n之间的距离，则Λ_m的元素的位置仅是真实与候选图案特征之间的相对距离的集合D_v＝{d_μn|n∈{1，…，N}}的函数。与此属性的推导相关的附加详细信息可以在附录A的第3节中被找到，其已经通过引用以其整体并入本文中。

第一属性意味着在无需计算对应性或确定Π空间中的峰值位置的情况下(例如，在无需执行投票的情况下)从单个参数位点恢复平面法线的方位角是可能的。如图4A1和图4B1所示，位点Λ₁中的每个候选平面参数Π_1n都位于平行于

的平面上。由于每个参数位点都平行于/>

平面(/>

跨位点是恒定的)，参数位点可以在2D D/θ空间中被表示，如图4A2和图4B2所示。请注意，在具有相同D和θ但不同/>

的平面之间进行区分时，完整的3DΠ空间是必需的。

第二属性意味着如果图案特征在极线上均匀间隔开，则所得到的位点将显著地重叠，如图4A2所示。请注意，在每个极线的图案具有两个图案特征的示例中，如果有两个图像特征，则可以预计两个位点之间的唯一重叠。然而，如果极线上只有一个图像特征(例如，如果场景几何抑制了另一个图案特征的成像)，那么只有一个位点，从而导致歧义。这是因为以下原因：对于均匀间隔的图案(例如，如图4A1所示)，两个不同图案特征的相对距离集D_μ可被预计共享若干共用值。由于相对应图像特征的参数位点的元素仅由相对距离集确定，因此位点也可被预计共享共用位置。请注意，这不是退化的情况；对于均匀间隔的图案，无论场景如何，位点都可被预计总是具有大的重叠，因此不可能找到唯一相交点。

鉴于可由均匀间隔的图案特征引起的歧义，在一些实施例中，本文中描述的机制可利用包括跨每条极线非均匀间隔的特征的图案。具有非均匀间隔的图案的一部分的示例在图4B1中示出，并存在于图7A、图7B、图8A和图9A中。在图4B1中，N个图案特征{P₁，…，P_N}在极线上非均匀间隔，以及图案特征中的M个图案特征(M≤N)被包括在图像中作为图像特征{I₁，…，I_M}。对于在极线上的连续图案特征之间具有不等间隔的图案，参数位点可以被预计为不重叠，除了在真实平面参数处。这种现象的一个示例在图4B2的示例中被示出。即使在图像特征与图案特征之间的对应性未知的情况下(即，在没有明确地试图确定对应性的情况下)，这可以促进平面参数的估计。

在下文结合图7A到图10B描述的模拟和实验中，四个图案特征被非均匀地放置在每条极线上，使得相邻图案特征之间的距离减少到h个像素。为了减少极线估计中误差的可能性，特征被放置在图案上的每第k个极线上。在下文结合图7A到图7B的模拟中以下值被使用了：h＝6以及k＝3。在下文结合图8A到图10B的模拟中以下值被使用：h＝10以及k＝6。所得到的图案也在附录A的第5节中被图示，其已通过引用并入本文中。然而，这些只是示例，以及其他参数可以被用于改变图案特征之间的间隔。例如，不是将相邻图案特征之间的间隔减小到h个像素，而是可以将距离增加到h个像素。作为另一个示例，在构建图案时h和k的其他值可以被使用。作为另一个示例，不是跨整个图案在相邻图案特征之间一致地增加或减小到h个像素，一些极线上的图案的集合可以具有增加的图案间隔(例如，在相邻图案特征之间增加到h个像素)，以及其他极线上的图案可以具有减小的图案间隔(例如，在相邻图案特征之间减小到h个像素)。在更特定的示例中，图案的第一、第三、第五等集合可以从左到右增加间隔，并且图案的第二、第四、第六等集合可以从左到右减小间隔，或者图案的第一、第三、第五等集合可以从左到右减小间隔，并且图案的第二、第四、第六等集合可以从左到右增加间隔。作为又另一个示例，图案之间的间隔可以从一条线到另一条线以其他方式变化。在更特定的示例中，间隔可以基于函数(例如，伪随机函数)变化或随机地变化(例如，在掩模或衍射元件被设计时确定，在捕获每个图像之前确定，或在任何其他合适的时间确定)，而不是使用单个参数h来改变间隔。

在一些实施例中，本文中描述的机制可以使用任何合适的技术或技术组合来定位十字形图像特征。例如，哈里斯等人的“组合的角和边缘检测器”，阿尔维视觉会议，第15卷，第147-151页(1988年)中描述的技术，其通过引用以其整体并入本文中。在更特定的示例中，此类技术可以在细化形态学操作之后被应用(例如，如在兰姆等人的“细化方法论-综合调查”，IEEE模式分析与机器智能汇刊，第14卷，第9号，第879页(1992年)中所描述，其通过引用以其整体并入本文中)。

在一些实施例中，两个相机帧可以被快速连续地捕获，一个具有投影图案，并且一个不具有投影图案。在此类实施例中，本文中描述的机制可以获取图案化图像和非图案化图像之间的差异，这可以高亮图案特征被投影到其上的场景中的部分。例如，通过捕获图案化图像和非图案化图像，图案特征可以在具有强烈纹理和/或光照变化的场景中更可靠地被恢复。然而，这只是示例，以及单个图像可以被用于平面恢复，但是随着纹理和/或光照变化的量的增加，它可导致不太准确的估计。

在一些实施例中，本文中描述的机制可以估计图像特征的线段(例如，u_c和v_c)。为了相对于投影仪/相机散焦模糊的稳健性，本文中描述的机制可以从每个(可能模糊的)线段中提取两个边缘(例如，正梯度和负梯度)，并且可以计算两个边缘的平均值以估计特定线段。这些操作可以相对快速地被执行，并且具有相对小的计算成本，因为操作具有封闭形式的解决方案。在一些实施例中，本文中描述的机制可以从两条线段和线段的相交点p_c估计图像特征I＝{u_c，v_c，p_c}。

图5示出了根据所公开的主题的一些实施例的、用于使用结构化光直接恢复场景中的平面表面的系统的示例。如图5所示，系统500可以包括结构化光源502；图像传感器504；光学器件506(其可以包括例如透镜、滤波器等)；处理器508，该处理器508用于控制系统500的操作，可以包括任何合适的硬件处理器(例如，微处理器、数字信号处理器、微控制器、图像处理器、GPU等，其中一个或多个可以使用现场可编程门阵列(field programmablegate array，FPGA)或专用集成电路(application specific integrated circuit，ASIC)来实现)或硬件处理器的组合；输入设备510(诸如，快门按钮、菜单按钮、麦克风、触摸屏等)，该输入设备510用于接受来自用户和/或来自环境的输入；存储器512；信号发生器514，该信号发生器514用于生成用于驱动结构化光源502的一个或多个调制信号(例如，如果光源502被配置成用于生成任意图案，而不是单个固定图案)；以及一个或多个通信系统516，该一个或多个通信系统516用于允许处理器508经由通信链路与诸如自动化系统(例如，自动化工业检查系统、自动化制造系统、自主交通工具等)、半自动化系统、智能电话、可穿戴计算机、平板电脑、膝上型电脑、个人计算机、游戏控制台、服务器等的其他设备之间进行通信。

在一些实施例中，存储器512可以存储由图像传感器504输出的像素值、基于图像传感器504的输出计算的平面参数位点等。存储器512可以包括用于存储用于控制处理器508的计算机程序的存储设备(例如，硬盘、固态驱动器、蓝光盘、数字视频盘(DigitalVideo Disk，DVD)、RAM、ROM、EEPROM等)。在一些实施例中，存储器512可以包括指令，该指令用于使处理器508执行与本文中描述的机制相关联的过程(诸如下文结合图6描述的过程)。

在一些实施例中，光源502可以是任何合适的光源，其可以被配置成用于向场景520发射图案化的光。在一些实施例中，光源502可以使用一个或多个点光源(例如，激光二极管、LED等)和一个或多个掩模(例如，透明体、衍射光学元件等)来实现。在一些此类实施例中，光源502可以被配置成用于使用固定掩模、衍射光学元件和/或可以使光源502在激活时产生特定图案的任何其他合适的设备向场景520发射图案化的光。例如，光源502可以包括一个或多个发光二极管(light emitting diode，LED)、一个或多个激光二极管、一个或多个灯和/或产生通过固定掩模或衍射元件被传输并被投影到场景上的光的任何其他合适的光源，从而产生图案特征的特定图案，这些图案特征的特定图案被投影到场景中的对象上。

附加地或替代地，在一些实施例中，光源502可以被配置成用于根据从信号发生器516接收到的调制信号(例如，M(x))向场景520发射图案化的光。例如，光源502可以包括一个或多个发光二极管(LED)、一个或多个激光二极管、一个或多个灯和/或可以被选择性地激活或以其他方式被调制以产生由调制信号指定的特定图案的任何其他合适的光源。在一些实施例中，光源502可以发出任何合适波长或波长组合的光。例如，光源502可以发射可见光、近红外(near-infrared，NIR)光等。在一些实施例中，光源502可以被配置成用于发射具有沿多个维度变化的图案的光(例如，以产生十字形图案特征)。例如，光源502可以包括空间光调制器(或与空间光调制器相关联)，该空间光调制器使用一种或多种透射光晶体技术调制、一种或多种硅基反射液晶调制技术、一种或多种数字光处理(digital lightprocessing，DLP)调制技术(例如，使用可以被选择性地定向以向场景发射光或抑制向场景发射光的微镜)。在一些实施例中，光源502可以包括可以被控制(例如，单独寻址、按列寻址等)以跨场景520的多个维度创建变化的强度的特定图案的光源的阵列(例如，LED、激光二极管等)。在一些实施例中，光源502可以使用扫描激光束来实现，该扫描激光束被控制成随着它跨场景被扫描而改变强度。

在一些实施例中，图像传感器504可以是可以接收由场景520反射的光的任何合适的图像传感器(诸如，CCD图像传感器、CMOS图像传感器等)。

在一些实施例中，光学器件506可以包括用于聚焦从场景520接收到的光的光学器件、围绕由光源502发射的光的波长为中心的一个或多个带通滤波器(例如，窄带通滤波器)、任何其他合适的光学器件，和/或其任何合适的组合。在一些实施例中，单个过滤器可以被用于图像传感器504的整个区域和/或多个过滤器可以被使用，其中每个过滤器与图像传感器504的较小区域相关联(例如，与单独的像素或像素组相关联)。

在一些实施例中，信号发生器514可以是一个或多个信号发生器，该一个或多个信号发生器可以使用调制信号来生成用于控制光源502的信号。如上文结合光源502所描述的，在一些实施例中(例如，其中固定掩模或衍射光学元件被使用)，调制信号可以是指示光源502是否(例如，使用二进制信号)激活或不激活的信号。替代地，在一些实施例中(例如，其中投影仪可以生成不同的图案)，调制信号可以是对选择的图案进行编码的信号。虽然单个信号发生器在图5中被示出，任何合适数量的信号发生器在一些实施例中可以被使用。附加地，在一些实施例中，信号发生器514可以使用任何合适数量的专用模拟电路来实现，每个模拟电路被配置成用于输出可以被用于控制光到场景(例如，场景520)上的空间变化投影的信号。

在一些实施例中，系统500可以使用(一个或多个)通信系统516和通信链路、通过网络与远程设备进行通信。附加地或替代地，系统500可以作为另一设备的一部分被包括，诸如自动化系统、半自动化系统、安全系统、智能电话、平板电脑、膝上型电脑等。系统500的部分可以与其中系统500被集成的设备进行共享。例如，如果系统500与自动化工业检测系统集成，则处理器508可以是自动化系统的处理器并且可以被用于控制系统500的操作。

在一些实施例中，系统500可以与任何其他合适的设备进行通信，其中其他设备可以是诸如计算机的通用设备或诸如客户端、服务器等的专用设备中的任一者。这些通用设备或专用设备中的任一者可以包括诸如硬件处理器(其可以是微处理器、数字信号处理器、控制器等)、存储器、通信接口、显示控制器、输入设备等的任何合适的部件。例如，另一个设备可以被实现为自动化系统、半自动化系统、数码相机、安全相机、室外监测系统、智能电话、可穿戴计算机、平板电脑、个人数字助理(personal data assistant，PDA)、个人计算机、膝上型电脑、多媒体终端、游戏顾问的游戏控制台或外围设备或上述设备、专用设备中的任一者等等。

由通信系统516经由通信链路的通信可以使用任何合适的计算机网络或任何合适的网络组合(包括因特网、内联网、广域网(wide-area network，WAN)、局域网(local-areanetwork，LAN)、无线网络、数字用户线路(digital subscriber line，DSL)网络、帧中继网络、异步传输模式(asynchronous transfer mode，ATM)网络、虚拟专用网络(virtualprivate network，VPN))来执行。通信链路可以包括适合于在系统500与另一设备之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适的通信链路，或任何合适的此类链接的组合。系统500和/或另一设备(例如，服务器、个人计算机、智能电话等)可以使用户能够执行计算机程序，该计算机程序使用使用本文中描述的机制导出的信息来例如标识可以被近似为平面的一部分的场景中的一个或多个表面。

请注意，通过通信链路或(一个或多个)任何其他通信链路接收到的数据可以从任何合适的源被接收。在一些实施例中，处理器508可以使用例如发射器、接收器、发射器/接收器、收发器或任何其他合适的通信设备、通过通信链路或(一个或多个)任何其他通信链路发送和接收数据。

图6示出了根据所公开的主题的一些实施例的、用于使用结构化光直接恢复场景中的平面表面的过程的示例。在602处，过程600可以使光源向场景发射光的图案。在一些实施例中，过程600可以使用任何合适的技术或技术的组合使光源投影任何合适的图案。例如，过程600可以使光源(例如，光源502)发射光，并且掩模、衍射光学元件和/或其他合适的元件可以使光形成图案。作为另一示例，过程600可以通过使得对图案进行编码的调制信号被提供给光源(例如，如上文结合图5的光源502所描述)，使得被配置有空间光调制器的光源(例如，光源502)以特定图案发射光。

在一些实施例中，图案可以是可以被用于标识场景中的一个或多个候选平面的任何合适的图案。例如，图案可以包括如上文结合图3A至图3C、图4A1和图4B1所描述的十字形图案特征。在更特定的示例中，十字形图案特征可以稀疏地分布，使得每条极线最多存在单个图案特征。作为另一更特定的示例，十字形图案特征可以稀疏地分布，使得每条极线存在不超过图案特征的单个集合。作为又另一更特定的示例，图案特征的每个集合可以非均匀地分布(例如，如上文结合图4B1所描述)。

在604处，过程600可以使图像传感器捕获用在602处发射的图案照明的场景的图像。在一些实施例中，过程600可以使图像传感器使用任何合适的技术或技术组合来捕获图像。例如，过程600可以触发由CCD图像传感器进行的图像捕获。作为另一个示例，过程600可以触发由CMOS图像传感器进行的图像捕获。在一些实施例中，过程600可以使图像传感器捕获用在602处发射的图案照明的场景的一幅图像和用在602处发射的图案未照明的场景的一幅图像。例如，过程600可以使图像传感器在602处使光源向场景发射图案之前捕获图像。在此类实施例中，过程600可以计算在具有由图案照明的和不具有由图案照明的情况下捕获的图像之间的差异，并且可以在标识图案特征时使用该差异(例如，如下面结合606所描述的)。

在606处，过程600可以标识在606处捕获的图像中的图案特征I。在一些实施例中，过程600可以使用任何合适的技术或技术组合来标识所捕获的图案特征。例如，对于十字形图案(例如，如上文结合图3A至图3C、图4A1和图4B1所描述的)，过程600可以使用角和/或边缘检测技术。在更特定的示例中，过程600可以使用在哈里斯等人的“一种组合的角和边缘检测器”中描述的角检测技术，其通过引用以其整体并入本文中。

在一些实施例中，过程600可以确定图案位于其处的捕获的图像内的位置。例如，已经在捕获的图像中检测到十字形图案，过程600可以确定在其处两条线段形成十字形图案相交的图像内的像素(例如，点p_c)。

在608处，过程600可以确定与在604处捕获的图像中标识的每个图像特征I相对应的投影图案特征P或投影图案特征组(例如，{P₁，...，P_N})。在一些实施例中，过程600可以使用任何合适的技术或技术组合来确定对应的图案特征，以标识所捕获的图案特征。例如，如上文结合图3A至图3C所描述，每个图案特征或图案特征的集合可以与特定极线相关联(例如，上文结合图2A描述的校正的SL布置的特定行)。在此类示例中，过程600可以基于图像特征的相交点p_c来确定每个图像特征与哪条极线相关联，并且过程600可以标识与该极线相关联的图案特征或图案特征的集合。如果图像特征在与图案特征在其上相交的极线不相对应的极线上相交，则过程600可以标识图案特征在其上相交的最近的极线以及使用与该极线相关联的图案特征。请注意，总体上图像特征可以被预计在与图案特征从其中被投影的相同的极线上相交，因为这是极线的属性。然而，在实践中，一个或多个误差源可以导致图像特征从正确的极线偏离。在一些实施例中，对于每个图像特征I，过程600可以标识与落在与候选图案特征相同的极线上的相交点p_p相关联的一个或多个图案特征。

在610处，过程600可以针对图像中捕获的每个图像特征I恢复候选平面。在一些实施例中，过程600可以使用任何合适的技术或技术的组合对于图像特征恢复候选平面。例如，如果候选图案特征的集合是完全相同的，则过程600可以通过将特定图像特征I与每个对应的候选图案特征配对来恢复候选平面(例如，由平面参数

定义)，如上文结合图4A1至图4B2所描述。在一些实施例中，对于每个图像特征I，过程600可以生成平面参数位点Λ，它可以表示与该特征相关联的所有候选平面。作为另一个示例，如果候选图案特征的集合不完全相同并且图像特征I只能通过候选图案特征的子集来标识(例如，如果图案特征以某种方式被区分(诸如，经由颜色、线条宽度、线角等))，过程600可以通过将特定图像特征I与作为图像特征I的潜在匹配的每个对应候选图案配对来恢复候选平面。

在612处，过程600可以基于与每个图像特征相关联的候选平面来标识场景中的平面。在一些实施例中，过程600可以使用任何合适的技术或技术的组合来标识场景中的平面。例如，如上文结合图4A1至图4B2所描述的，在与所有图像特征相关联的平面参数位点集合中的每个候选平面参数的位置可以被聚合，并且与最多候选平面相关联的Π空间中的位置可以被标识为场景中的平面中的真实平面参数。

在一些实施例中，过程600可以通过基于与每个图像特征相关联的平面参数来聚集图像特征以标识场景中的主平面的集合。如上文结合图4A1至图4B2所描述的，因为平面参数可以参考坐标系(例如，CCS、WCS或PCS)的原点来定义，所以平面参数对于落在该平面上的所有图像特征都是相同的，而不管到任何特定图像特征的距离d。因此，落在场景中相同的平面表面上的图像特征可以被预计为与类似的平面参数Π相关联，并且可以被预计为已投票给与该平面相关联的平面参数。请注意，虽然Π空间中的平面参数看起来大致呈矩形分布(例如，如图7A和图7B所示)，但这是由于可视化的限制，并且在大多数情况下单个最高峰值可以被预计与真实平面表面相对应。

在一些实施例中，过程600可以标识Π空间中所有候选平面的分布中的局部最大值(或峰值)，并且每个局部峰值可以被标识为场景中的主平面。在此类示例中，如果与特定图像特征相关联的平面参数位点中所包括的候选平面与局部峰值相对应，则过程600可以将特定图像特征与局部峰值相关联。然而，由于各种误差源，投影到场景中的平面上的图像特征的候选平面参数可能与该平面的真实平面参数略有不同。在一些实施例中，如果与特定图像特征相关联的平面参数位点中所包括的候选平面与局部峰值类似但不相同，则过程600可以将特定图像特征标识为与特定局部峰值相对应。在一些实施例中，过程600可以使用任何合适的技术或技术的组合来标识与局部峰值足够类似的候选平面参数以证明将特定图像特征与该局部峰值相关联。例如，过程600可以标识与以预定半径围绕局部峰值绘制的圆内的特征相关联的点。在此类示例中，过程600可以确定落在圆内的每个点本身是否是较低的局部峰值。过程600可以禁止半径内任何较低的局部峰值与主平面相关联，并且过程600可以将具有圆内的候选平面参数的图像特征与主平面相关联。在一些实施例中，随着被用于确定哪些图像特征与特定局部峰值相关联的半径增加，过程600可以扩大主平面的大小。然而，随着半径增加，具有被略微偏移的平面的两个表面上的图像特征被标识为属于相同的主平面的可能性也会增加。

在一些实施例中，过程600可以基于与该平面相关联的图像特征来标识每个平面的范围。例如，过程600可以确定与特定平面相关联的所有图像特征位置的凸包外壳以标识在WCS中的平面的范围。

在一些实施例中，过程600可以基于特定平面的平面参数(例如，如上文结合等式(5)所描述)来计算落在特定平面上的每个点(例如，在平面范围内所包括的每个像素)的深度。

在614处，过程600可以捕获和/或使用包括一个或多个结构化光图案的第二集合的场景的一个或多个图像，该一个或多个结构化光图案的第二集合可以被用于生成表示场景的至少一部分的点云数据。例如，在一些实施例中，过程600可以在第一时间段期间执行602至612，并且可以在第二时间段期间执行614。这可以促进使用相对低成本的过程恢复平面特征，同时仍生成可以被用于标识和/或定位场景中的非平面对象的更详细的点云。作为另一个示例，在一些实施例中，过程600可以使用在602处投影的图案的第一部分执行602至612，并且可以使用在602处投影并在604处的图像中捕获的图案的第二部分并行地执行614。在更特定的示例中，第二图案可以与在606至612中被使用的十字形图案特征同时被投影。可以被散布在十字形图案特征之间的单次拍摄图案的示例包括2D伪随机二进制代码和2D随机点。

作为又另一个示例，在一些实施例中，过程600可以使用在602处投影的第一图案执行602至612，并且可以使用在602处投影并在604处的图像中捕获的第二图案并行地执行614。在更特定的示例中，两个图案可以从处于不同波长的单个光源同时投射到场景上。在此类示例中，衍射光学元件或衍射光学元件的组合可以被配置成用于为不同波长的光(诸如红和蓝、红和绿、蓝和绿、蓝和NIR等)提供不同的图案。作为更特定的另一个示例，掩模可以被配置成用于在与期望的投影图案相对应的某些区域中对某些波长(例如，可见光和NIR)是透明的，并且在其他任何地方对那些波长的子集(例如，NIR)是不透明的。此类掩模可以与衍射光学元件组合，该衍射光学元件被配置成用于选择性地影响波长不同于掩模是不透明的波长的光(例如，被配置成用于影响蓝光的衍射光学元件)。

在一些实施例中，614可以被省略。例如，如果执行过程600的设备仅需要标识场景中的主平面(例如，标识用于在增强现实场景中渲染全息图的合适表面)，则614可以被省略。作为示例，如果执行过程600的设备具有可以被用于生成更详细的深度信息和/或可以被用于定位非平面对象的另一系统(例如，基于LiDAR的系统、基于雷达的系统、基于机器学习的系统等)，则614可以被省略。

在一些实施例中，不是在614处利用第二结构化光过程，过程600可以利用在612处标识的平面表面作为基于几何的场景识别技术(例如，有时被称为单目深度估计的技术)中的约束。

图7A示出了根据所公开的主题的一些实施例的恢复的图案被投影在其上的模拟场景、与Π空间中的候选平面相对应的位点、测量的平面深度、测量的平面法线以及估计的深度和平面法线的示例。

图7B示出了根据所公开的主题的一些实施例恢复的图案被投影在其上的另一模拟场景、与Π空间中的候选平面相对应的位点、测量的平面深度、测量的平面法线以及估计的深度和平面法线的示例。

图7A和图7B中示出的结果是基于来自室内数据集的3D模型。图像形成过程使用射线追踪工具来模拟。每个场景的主平面(例如，标记为a到e)的平面参数在Π空间中被估计，该Π空间覆盖被定义为(0.5米(m)≤D≤5m，0°≤θ≤90°)的平面深度的范围和平面法线的极角范围。图7A和图7B示出了从平面参数计算的平面深度和法线。平面的边界是通过确定分配给平面的特征的凸壳来计算的。如图7A和图7B所示，3D场景几何在深度和表面法线两者方面以相对高的准确度被恢复。这可以促进从不同的相机视点(甚至对于宽基线)可视化场景几何，如图7A和图7B的最右侧面板所示。请注意，虽然Π空间在图7A和图7B中以二维形式可视化，但这只是为了通过仅使用D和θ绘制所有点来促进二维形式的可视化。本文中描述的机制在标识主平面时可以使用Π空间的完整3D表示。

图8A示出了根据所公开的主题的一些实施例实现的使用投影仪将图案投影到其上的场景的示例。

图8B示出了根据所公开的主题的一些实施例估计的、与基于场景中的图案特征与投影仪的相同极线上的图案特征之间的对应性来确定的Π空间中的候选平面相对应的位点的示例。

图8C示出了根据所公开的主题的一些实施例的、基于图8B的位点确定的估计的平面深度的示例。

图8D示出了根据所公开的主题的一些实施例的、基于图8B的位点确定的估计的平面法线的示例。

图8A至图8D中所示的示例使用包括爱普生3LCD投影仪和数字SLR相机(佳能EOS700D)的SL设备来生成。投影仪-相机基线(图2A中的b)为353毫米(mm)。SL设备被校正，使得极线沿着图案和捕获的图像的行被对齐。

当对具有大深度变化的场景进行成像时，对于本文中描述的机制来说，重要的是能够恢复平面参数，即使对于没有清晰聚焦的场景的部分(例如，落在相机景深的边缘处，或落在相机景深之外，和/或落在图案投影仪的聚焦深度之外的场景的部分)。如上文结合图4A1至图4B2所描述的，本文中描述的机制可以基于检测到的正边缘和负边缘两者的线段的平均值来检测十字形图案，这可以提供对散焦模糊的稳健性。请注意，散焦模糊可能是由投影仪、相机或这两者引起的。

图8A示出了包括距相机不同距离处的平面对象的、具有大深度变化(0.3m到3m)的场景。Π空间在b≤D≤3m和0°≤θ≤90°上被表示，其中b是基线。相机和投影仪聚焦在背平面(平面a)上以在平面d上创建大的模糊，以便展示在大范围模糊下的性能。实际上，根据所公开的主题实现的设备很可能聚焦在深度范围的中间，这限制了模糊大小。虽然示例SL设备准确地标识了具有最多某一大小的模糊的平面，但它未能检测到具有非常大的模糊大小的平面(例如，平面d在Π空间中未被检测到)。请注意，模糊大小可以通过降低光圈、使用扩展景深方法和/或使用基于衍射元件的激光投影设备来减小。

图9A示出了根据所公开的主题的一些实施例的、在低水平环境光下捕获的图案被投影到其上的场景和在高水平环境光下捕获的图案被投影到其上的相同场景的示例图像。

图9B示出了根据所公开的主题的一些实施例的、基于图9A的图像确定的与П空间中的候选平面相对应的位点的示例。

图9C示出了根据所公开的主题的一些实施例的、基于图9B的位点确定的估计的平面深度的示例。

图9D示出了根据所公开的主题的一些实施例的、基于图9B的位点确定的估计的平面法线的示例。

图9A至图9D中示出的示例是使用与用于生成图8A至图8D中示出的示例相同的SL设备而生成的。

本文中描述的机制基于形状特征而不是强度特征，因此对光度变化相对稳健(例如，光度校准不被要求)，从而导致在不同光照状况下相对稳定的平面估计。图9A至图9D展示了本文中所描述的机制在不同环境光照状况下的性能。如图9C和图9D所示，示例SL设备在两种光照状况下都生成了相对一致的结果。在极端状况下，当环境光完全淹没投影图案时，图案特征可能无法在捕获的图像中被检测到。然而，这是由所有功率受限的主动成像系统在强环境光下都面临的挑战，并且可以使用窄带照明和/或时空照明和图像编码来减轻。

图10A示出了根据所公开的主题的一些实施例的、从场景的图像估计的平面与使用基于RANSAC的平面拟合从相同场景的点云表示估计的平面的比较。

图10B示出了根据所公开的主题的一些实施例的、从更复杂的场景的图像估计的平面与使用基于RANSAC的平面拟合从相同场景的点云表示估计的平面的比较。

图10A和图10B的左侧示出的示例是使用用于生成图8A至图8D以及图9A至图9D中示出的示例的相同的SL设备而生成的。右侧示出的示例是使用将平面拟合到3D点云数据的常规方法而生成的。3D点云数据由商品深度相机(微软体感(Kinect)V2)创建。M估计器Sample共识(MSAC)、随机样本共识的变体(RANSAC)的优化的很好的实现方式被用于平面拟合。为了试图使比较更加公平，点云数据被上采样以具有与由示例SL设备捕获的图像相同的分辨率(3714X2182)。图10A和图10B示出了两个不同的场景(图10A中不具有杂波的2平面场景，以及图10B中的具有杂波的4平面场景)。如图10A和图10B所示，被拟合到3D点云的平面包括错误的3D点(例如，不在相同的实际场景平面上的点)，尤其是对于图10B中的杂波的场景。请注意，基于RANSAC的平面拟合结果被呈现在单独的图像中，其中与每个标识的平面相对应的点在与该平面相对应的图像中被呈现(例如，在图10A中，“平面拟合结果”面板中的顶部图像包括被标识为属于与场景中右墙对应的平面的点，以及“平面拟合结果”面板中的底部图像包括被标识为属于场景中左墙的点)。相比之下，使用由示例SL设备生成的图像并使用根据本文中描述的机制实现的方法拟合的平面产生了具有正确平面分配的更清晰的重建。

表1示出了MSAC的MATLAB实现方式与根据本文中描述的机制实现的方法之间相同场景的计算复杂性的比较，其中包括图像特征检测和来自Π空间的平面估计。随着场景复杂性和杂波的增加，基于RANSAC的平面拟合变得更慢。相比之下，无论场景的几何复杂性如何，所公开的方法的计算速度都保持一致，并且比基于RANSAC的平面拟合快一数量级。这可以促进接近实时的性能，即使对于具有未优化的实现方式的高分辨率输入图像也是如此。

表1

在一些实施例中，任何合适的计算机可读介质可以被用于存储用于执行本文中所描述的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是瞬态的或非瞬态的。例如，非瞬态计算机可读介质可包括以下介质，诸如：磁介质(诸如硬盘、软盘等)、光介质(诸如压缩碟、数字视频碟、蓝光碟等)、半导体介质(诸如RAM、闪存存储器、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输期间不是短暂的或不是没有任何持久外观的任何合适的介质、和/或任何合适的有形介质。作为另一示例，瞬态计算机可读介质可包括网络上的、电线、导体、光纤、电路中的信号，或在传输期间是短暂的和没有任何持久外观的任何合适介质、和/或任何合适的无形介质。

应当注意的是，如本文中所使用的术语机制可涵盖硬件、软件、固件或它们的任何合适的组合。

应当理解的是，图6的过程的上述步骤可以以不限于附图中所示和描述的顺序和序列的任何合适的顺序或序列来执行或进行。此外，图6的过程的上述步骤中的一些步骤可以在适当的情况下基本上同时执行或并行执行，以减少延迟和处理时间。

虽然本发明已在上述说明性非限制性示例中进行了描述和说明，但应理解的是，本公开仅以示例的方式进行，并且可以在不脱离本发明的精神和范围的情况下对本发明的实施细节作出众多改变，其仅受所附权利要求限制。所公开的实施例的特征可以以各种方式被组合以及被重新布置。

Claims (23)

1.一种用于恢复场景中的平面的系统，所述系统包括：

光源；

图像传感器，所述图像传感器包括像素阵列；

至少一个硬件处理器，所述至少一个硬件处理器被编程成用于：

使所述光源向所述场景发射二维光图案，其中，所述二维光图案包括被设置在第一极线上的图案特征，所述图案特征包括在位于所述第一极线上的点处相交的两条相交线段；

使所述图像传感器捕获包括所述光图案的至少一部分的所述场景的图像；

标识所述图像中的图像特征，所述图像特征包括在与所述第一极线相对应的所述图像中的一点处相交的两条相交线段；

基于所述图像特征和所述图案特征两者都与所述第一极线相关联，将至少所述图案特征标识为潜在地与所述图像特征相对应；

基于所述图案特征的属性和所述图像特征的属性来估计与所述图案特征相关联的平面假设，其中，所述平面假设与表征平面的参数的集合相关联；以及

基于所述平面假设来标识所述场景中的平面表面。

2.如权利要求1所述的系统，

其中，所述二维光图案包括具有N个图案特征的集合{P₁，...，P_N}，所述N个图案特征的集合{P₁，...，P_N}包括各自被设置在所述第一极线上的图案；以及

其中，所述至少一个硬件处理器被进一步编程成用于：

基于所述图像特征和所述N个图案特征的集合都与所述第一极线相关联，将至少所述N个图案特征的集合标识为潜在地与所述图像特征相对应；

估计N个平面假设的第一集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第一集合中的每个平面假设基于所述图像特征的属性和相应的图案特征的属性，

其中，所述N个平面假设的第一集合中的每个平面假设与表征平面的参数的集合相关联；

标识与所述第一极线相关联的所述图像中的第二图像特征，所述第二图像特征包括在与所述第一极线相对应的一点处相交的两条相交线段；

基于所述第二图像特征和所述N个图案特征的集合都与所述第一极线相关联，将所述N个图案特征的集合标识为潜在地与所述第二图像特征相对应；

估计N个平面假设的第二集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第二集合中的每个平面假设基于所述第二图像特征的属性和相应的图案特征的属性，

其中，所述N个平面假设的第二集合中的每个平面假设包括表征平面的参数的集合；以及

基于既是所述N个平面假设的第一集合的成员又是所述N个平面假设的第二集合的成员的平面假设来标识所述场景中的所述平面表面。

3.如权利要求2所述的系统，其中N＞2，并且沿图案特征P₁与图案特征P₂之间的所述第一极线的距离不同于沿图案特征P_N-1与图案特征P_N之间的所述第一极线的距离，使得所述N个图案特征的集合{P₁，...，P_N}是非均匀间隔的。

4.如权利要求3所述的系统，其中，所述二维光图案包括N个图案特征的第二集合{P_N+1，...，P_2N}，每个所述图案特征被设置在第二极线上，并且

其中，沿图案特征P_N1与图案特征P_N+2之间的所述第二极线的距离不同于沿图案特征P_2N-1与图案特征P_2N之间的所述第二极线的距离，并且

沿图案特征P_N1与图案特征P_N+2之间的所述第二极线的距离不同于沿图案特征P₁与图案特征P₂之间的所述第一极线的距离，使得所述N个图案特征的第二集合{P_N+1，...，P_2N}是非均匀间隔的，并且与所述N个图案特征的集合{P₁，...，P_N}的间隔不同。

5.如权利要求1所述的系统，其中，所述至少一个硬件处理器进一步被编程成用于基于所述两条线段相交的点与所述第一极线之间的接近度来确定所述图像特征与所述第一极线相关联。

6.如权利要求1所述的系统，

其中，所述光源包括多个行，并且所述图像传感器包括第二多个行，并且

所述光源和所述图像传感器被校正，使得所述多个行中的每一行与所述第二多个行中的一行共享极线。

7.如权利要求1所述的系统，其中，所述图案特征的第一线段相对于所述第一极线成35°至55°的范围内的角度，并且所述图案特征的第二线段相对于所述第一极线成125°至145°的范围内的角度。

8.如权利要求1所述的系统，

其中，所述图案特征的属性包括与所述图案特征的第一线段相对应的第一向量u_p、与所述图案特征的第二线段相对应的第二向量v_p、以及所述第一向量u_p与所述第二向量v_p相交的点的坐标p_p，以及

其中，所述图像特征的属性包括与所述图像特征的第一线段相对应的第三向量u_c、与所述图像特征的第二线段相对应的第四向量v_c、以及所述第三向量u_c与所述第四向量v_c相交的点的坐标p_c。

9.如权利要求8所述的系统，其中，与所述平面假设相关联的所述参数的集合定义平面Π并且包括与相机坐标系的原点c_c到所述平面Π之间的最短距离相对应的距离D、平面法向量n与延伸通过c_c和由所述图像传感器定义的图像平面的中心的Z轴线之间的极角θ，以及所述平面法向量n与沿所述图像平面的水平方向延伸的x轴线之间的方位角

10.如权利要求9所述的系统，其中，所述处理器进一步被编程成用于：

使用关系

确定所述平面法向量n；以及

使用关系

确定所述距离D，其中b是所述相机坐标系的原点c_c与图案坐标系的原点c_p之间的距离。

11.如权利要求1所述的系统，其中，所述处理器进一步被编程成用于：

使所述图像传感器捕获不包括所述光图案的所述场景的第二图像；

基于所述图像与所述第二图像之间的差异来计算差异图像；以及

使用所述差异图像来标识所述图像中的所述图像特征。

12.一种用于恢复场景中的平面的方法，所述方法包括：

使光源向所述场景发射二维光图案，其中，所述二维光图案包括被设置在第一极线上的图案特征，所述图案特征包括在位于所述第一极线上的一点处相交的两条相交线段；

使图像传感器捕获包括所述光图案的至少一部分的所述场景的图像；

标识所述图像中的图像特征，所述图像特征包括在与所述第一极线相对应的所述图像中的一点处相交的两条相交线段；

基于所述图像特征和所述图案特征两者都与所述第一极线相关联，将至少所述图案特征标识为潜在地与所述图像特征相对应；

基于所述图案特征的属性和所述图像特征的属性来估计与所述图案特征相关联的平面假设，其中，所述平面假设与表征平面的参数的集合相关联；以及

基于所述平面假设来标识所述场景中的平面表面。

13.如权利要求12所述的方法，

其中，所述二维光图案包括N个图案特征的集合{P₁，...，P_N}，所述N个图案特征的集合{P₁，...，P_N}包括各自被设置在所述第一极线上的图案特征；以及

其中，所述方法进一步包括：

基于所述图像特征和所述N个图案特征的集合都与所述第一极线相关联，将至少所述N个图案特征的集合标识为潜在地与所述图像特征相对应；

估计N个平面假设的第一集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第一集合中的每个平面假设基于所述图像特征的属性和所述相应的图案特征的属性，

其中，所述N个平面假设的第一集合中的每个平面假设与表征平面的参数的集合相关联；

标识与所述第一极线相关联的所述图像中的第二图像特征，所述第二图像特征包括在与所述第一极线相对应的一点处相交的两条相交线段；

基于所述第二图像特征和所述N个图案特征的集合都与所述第一极线相关联，将所述N个图案特征的集合标识为潜在地与所述第二图像特征相对应；

估计N个平面假设的第二集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第二集合中的每个平面假设基于所述第二图像特征的属性和所述相应的图案特征的属性，

其中，所述N个平面假设的第二集合中的每个平面假设包括表征平面的参数的集合；以及

基于既是所述N个平面假设的第一集合的成员又是所述N个平面假设的第二集合的成员的平面假设来标识所述场景中的所述平面表面。

14.如权利要求13所述的方法，其中N＞2，并且沿图案特征P₁与图案特征P₂之间的所述第一极线的距离不同于沿图案特征P_N-1与图案特征P_N之间的所述第一极线的距离，使得所述N个图案特征的集合{P₁，...，P_N}是非均匀间隔的。

15.如权利要求14所述的方法，其中，所述二维光图案包括N个图案特征的第二集合{P_N+1，...，P_2N}，每个图案特征被设置在第二极线上，并且

其中，沿图案特征P_N1与图案特征P_N+2之间的所述第二极线的距离不同于沿图案特征P_2N-1与图案特征P_2N之间的所述第二极线的距离，并且

沿图案特征P_N1与图案特征P_N+2之间的所述第二极线的距离不同于沿图案特征P₁与图案特征P₂之间的所述第一极线的距离，使得所述N个图案特征的第二集合{P_N+1，...，P_2N}是非均匀间隔的，并且与所述N个图案特征的集合{P₁，...，P_N}的间隔不同。

16.如权利要求12所述的方法，其中，标识所述图像中的图像特征包括基于所述两条线段相交的点与所述第一极线之间的接近度来确定所述图像特征与所述第一极线相关联。

17.如权利要求12所述的方法，

其中，所述光源包括多个行，并且所述图像传感器包括第二多个行，并且

所述光源和所述图像传感器被校正，使得所述多个行中的每一行与所述第二多个行中的一行共享极线。

18.如权利要求12所述的方法，其中，所述图案特征的第一线段相对于所述第一极线成35°至55°的范围内的角度，并且所述图案特征的第二线段相对于所述第一极线成125°至145°的范围内的角度。

19.如权利要求12所述的方法，

其中，所述图案特征的属性包括与所述图案特征的第一线段相对应的第一向量u_p、与所述图案特征的第二线段相对应的第二向量v_p、以及所述第一向量u_p与所述第二向量v_p相交的点的坐标p_p，以及

其中，所述图像特征的属性包括与所述图像特征的第一线段相对应的第三向量u_c、与所述图像特征的第二线段相对应的第四向量v_c、以及所述第三向量u_c与所述第四向量v_c相交的点的坐标p_c。

20.如权利要求19所述的方法，其中，与所述平面假设相关联的所述参数的集合定义平面Π并且包括与相机坐标系的原点c_c到所述平面Π之间的最短距离相对应的距离D、平面法向量n与延伸通过c_c和由所述图像传感器定义的图像平面的中心的z轴线之间的极角θ，以及所述平面法向量n与沿所述图像平面的水平方向延伸的x轴线之间的方位角

21.如权利要求20所述的方法，进一步包括：

使用关系

确定所述平面法向量n；以及

使用关系

确定所述距离D，其中b是所述相机坐标系的原点c_c与图案坐标系的原点c_p之间的距离。

22.如权利要求12所述的方法，进一步包括：

使所述图像传感器捕获不包括所述光图案的所述场景的第二图像；

基于所述图像与所述第二图像之间的差异来计算差异图像；以及

使用所述差异图像来标识所述图像中的所述图像特征。

23.一种包含计算机可执行指令的非瞬态计算机可读介质，所述计算机可执行指令当由处理器执行时，使所述处理器执行用于恢复场景中的平面的方法，所述方法包括：

使光源向所述场景发射二维光图案，其中，所述二维光图案包括被设置在第一极线上的图案特征，所述图案特征包括在位于所述第一极线上的一点处相交的两条相交线段；

使图像传感器捕获包括所述光图案的至少一部分的所述场景的图像；

标识所述图像中的图像特征，所述图像特征包括在与所述第一极线相对应的所述图像中的一点处相交的两条相交线段；

基于所述图像特征和所述图案特征两者都与所述第一极线相关联，将至少所述图案特征标识为潜在地与所述图像特征相对应；

基于所述图案特征的属性和所述图像特征的属性来估计与所述图案特征相关联的平面假设，其中，所述平面假设与表征平面的参数的集合相关联；以及

基于所述平面假设来标识所述场景中的平面表面。

Images