CN110097587A - 用于3d相机系统的鲁棒结构光图案 - Google Patents

Abstract

一种用于结构光系统的处理设备，包括被配置为产生结构光图案的处理器，所述结构光图案包括：基础光图案，所述基础光图案具有沿第一方向延伸的子图案的行。每个子图案与至少一个其他子图案相邻。每个子图案与每个其他子图案不同。每个子图案在一子行中包括n个点并在一子列中包括n个点，其中n是整数。每个点的尺寸相同。每个子行沿第一方向延伸，并且每个子列沿与第一方向正交的第二方向延伸。基础光图案的在一子列中对准的点在第二方向上偏离在相邻子列中对准的点。在一个实施例中，每个子图案在第二方向上的尺寸是每个子图案在第一方向上的尺寸的拉伸因子倍。

Description

用于3D相机系统的鲁棒结构光图案

相关申请的交叉引用

本专利申请要求于2018年1月29日提交的美国临时专利申请 No.62/623,527和于2018年3月21日提交的美国专利申请 NO.15/928,081的优先权，其公开内容以全文引用的方式并入本文中。

技术领域

本文公开的主题涉及三维(3D)相机系统，并且更具体地，涉及用于3D相机系统的结构光图案。

背景技术

广泛使用的用于在结构光3D相机系统(也称为立体相机系统) 中估计深度值的技术是搜索图像中的图块(patch)与参考图案中的图块的最佳匹配。为了减少这种搜索的总体计算负担，假设图像图块位于参考图案的近水平邻域中。此外，参考图案可以被设计成使得仅存在一组有限的独特子图案，这些子图案在水平和垂直方向上重复以填充整个投影空间，这进一步简化了搜索过程。使用参考图案中独特子图案的已知布置来识别图像图块的“类”，进而确定图像图块和参考图块之间的视差。还假设图像图块以深度像素位置为中心，这也简化了深度估计的计算。

发明内容

本公开的示例实施例可以提供一种用于3D相机系统的鲁棒结构光图案。

示例实施例提供了一种用于结构光系统的结构光图案，该结构光图案可以包括：基础光图案，所述基础光图案可以包括在第一方向上延伸的子图案的行，其中每个子图案可以与至少一个其他子图案相邻，每个子图案可以与每个其他子图案不同，每个子图案可以在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点可以具有相同的尺寸，每个子行可以在第一方向上延伸，并且每个子列可以在可以与第一方向正交的第二方向上延伸，并且所述结构光图案还可以包括：在一子列中对准的所述基础光图案的点可以在第二方向上偏离可以在相邻子列中对准的所述基础光图案的点。

另一示例实施例提供了一种用于结构光系统的结构光图案，该结构光图案可以包括：基础光图案，所述基础光图案可以包括在第一方向上延伸的子图案的行，每个子图案可以与至少一个其他子图案相邻，每个子图案可以与每个其他子图案不同，每个子图案可以在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点可以具有相同的尺寸，每个子行可以在第一方向上延伸，并且每个子列可以在可以与第一方向正交的第二方向上延伸，并且所述基础光图案的每个子图案在第二方向上的尺寸可以是每个子图案在第一方向上的尺寸的拉伸因子倍。

另一示例实施例提供了一种用于结构光系统的结构光图案，该结构光图案可以包括：基础光图案，所述基础光图案可以包括在第一方向上延伸的子图案的行，其中每个子图案可以与至少一个其他子图案相邻，每个子图案可以与每个其他子图案不同，每个子图案可以在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点可以具有相同的尺寸，每个子行可以在第一方向上延伸，并且每个子列可以在与第一方向正交的第二方向上延伸，所述结构光图案还可以包括：可以在一子列中对准的所述基础光图案的点可以在第二方向上偏离可以在相邻子列中对准的所述基础光图案的点，并且所述基础光图案的每个子图案在第二方向上的尺寸可以是每个子图案在第一方向上的尺寸的拉伸因子倍。

本文所公开的实施例可以提供一种具有重映射点的参考光图案，而不是旋转光图案。由具有重映射点的参考光图案形成的3D图像可以具有更少噪声且更准确。参考光图案的重映射点可以延伸最短的可测量距离。

附图说明

在下面的部分中，将参考在附图中示出的示例性实施例来描述本文所公开的主题的各方面，附图中：

图1A描绘了根据本文公开的主题的结构光系统和参考光图案的示例实施例的框图；

图1B描绘了基础光图案的示例实施例；

图2描绘了针对通过在基础光图案上滑动4×4像素窗口而获得的子图案的对应示例分类标识号；

图3描绘了根据本文公开的主题的具有已基于移位因子m而重映射的点的基础光图案；

图4描绘了根据本文公开的主题的重映射基础光图案的点的过程的流程图；

图5A和图5B分别描绘了根据本文公开的主题的针对参考光图案的一部分的子图案的示例分类ID的布置以及针对已进行重映射以形成新参考光图案的所述参考光图案的一部分的子图案的示例分类ID 的布置；

图6A至6C描绘了在实践中可能发生的像素采样情况；

图7A和图7B分别描绘了基础光图案和参考光图案元素，其中已在垂直方向上以拉伸因子k将点进行了拉伸；

图8描绘了根据本文公开的主题的重映射基础光图案的点的过程的流程图；

图9描绘了根据本文公开的主题的具有已被重映射和拉伸的点的基础光图案；以及

图10A和图10B分别描绘了根据本文公开的主题的针对拉伸参考光图案的一部分的子图案的示例分类ID的布置以及针对已进行重映射和拉伸以形成新参考光图案的所述参考光图案的一部分的子图案的示例分类ID的布置。

具体实施方式

在下面的详细描述中，阐述了许多具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解的是，所公开的方面可以在没有这些具体细节的情况下实施。在其他情况下，未详细描述公知的方法、流程、组件和电路，以不模糊本文所公开的主题。

贯穿本说明书对“一个实施例”或“实施例”的提及意味着结合实施例描述的特定特征、结构或特性可以包括在本文所公开的至少一个实施例中。因此，在该说明书的各个位置中出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似含义的其他短语) 可能不一定均是指相同的实施例。此外，可以在一个或多个实施例中通过任何合适的方式来组合特定特征、结构或特性。就这方面来说，如本文所使用的，词语“示例性的”意指“用作示例、实例或说明”。本文中描述为“示例性的”任何实施例不应解释为相比其他实施例必定优选或者有利。而且，根据本文中讨论的上下文，单数术语可以包括对应的复数形式，复数术语可以包括对应的单数形式。还应注意的是，本文所示出和讨论的各种附图(包括组件图)仅仅是为了说明的目的，且没有按比例绘制。同样，各种波形和时序图仅仅是为了说明的目的而示出。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件被放大。此外，如果认为合适，则在附图之间重复附图标记以指示对应和/或类似的元件。

本文中所使用的术语仅仅是为了描述具体示例性实施例的目的，而不是意在限制要求保护的主题。如本文中使用的，单数形式“一”、“一个”和“所述”意在还包括复数形式，除非上下文明确地给出相反的指示。还应该理解，术语“包括”和/或“包含”在本说明书中使用时，表明存在所述的特征、整体、步骤、操作、元件和/或组件，但是并没有排除存在或另外添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。如本文中使用的，术语“第一”、“第二”等被用作它们所先于的名词的标记，其并不意味着任何类型的排序(例如，空间、时间、逻辑等)，除非明确定义成这样。此外，可以在两个或更多个附图中使用相同的附图标记来指代具有相同或相似功能的部件、组件、块、电路、单元或模块。然而，这样使用仅仅是为了简化说明以及便于讨论；其并不意味着这些组件或单元的结构或架构细节在所有实施例中相同，或这种共同参考的部件/模块是实现本文所公开的特定实施例的教导的唯一方式。

除非另外定义，否则本文所使用的所有术语(包括技术和科学术语)具有与本主题所属领域的普通技术人员通常所理解的含义相同的含义。还应理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关技术的上下文中的含义相一致，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。

本文所公开的实施例提供一种具有重映射点的参考光图案，而不是旋转光图案。重映射点可以减少像素采样的不均匀性并且放松与识别图像图块的“类”相关联的核线(epipolar line)限制。此外，参考光图案的重映射点提供了对最大可测量视差的加倍。因此，由具有重映射点的参考光图案形成的3D图像可以具有更少噪声且更准确。在一个实施例中，参考光图案的重映射点可以延伸最短的可测量距离(例如，延伸20％、30％、50％等)。

在一个实施例中，参考光图案的点可以在垂直方向上被拉伸，以提供对于核线违规鲁棒的且改善对图像失真和相机采样不均匀性的系统鲁棒性的深度估计。折衷方案可能是深度图像可能具有减小的垂直分辨率。例如，投影图像中心的子图案可以保持未拉伸，而远离该中心的图案可以被逐渐拉伸。结果可以是围绕3D图像的中心区域具有完全水平/垂直分辨率，而朝向3D图像的边界具有减小的垂直分辨率。

图1A描绘了根据本文公开的主题的结构光系统100和参考光图案的示例实施例的框图。结构光系统100可以包括投影仪101、相机 102和处理设备103。在操作中，处理设备103可以将参考光图案104 发送到投影仪101，并且投影仪101可以将参考光图案104投影到由线105表示的场景或对象上。相机102可以利用投影的参考光图案104 捕获场景作为图像106。图像106可以被发送到处理设备103，并且处理设备基于在图像106中捕获的参考光图案相对于参考光图案104的视差来生成深度图107。深度图107可以包括与图像106的图块相对应的估计深度信息。

处理设备103可以是通过软件指令、专用集成电路或两者的组合编程的微处理器或个人计算机。在一个实施例中，处理设备103提供的处理可以完全通过软件实现，通过由图形处理单元(GPU)加速的软件、多核系统或能够实现处理操作的专用硬件实现。硬件和软件配置都可以提供不同的并行阶段。结构光系统100的一种实施方式可以是手持设备的一部分，例如但不限于智能电话、蜂窝电话或数码相机。

在一个实施例中，投影仪101和相机102可以在可见光区域或对人眼不可见的红外光谱中匹配。投影的参考光图案可以在投影仪101 和相机102二者的光谱范围内。另外，投影仪101和相机102的分辨率可以是不同的。例如，投影仪101可以以视频图形阵列(VGA)分辨率(例如，640×480像素)投影参考光图案104，并且相机102可以具有更高的分辨率(例如，1280×720像素)。在这样的配置中，可以对图像106进行下采样和/或可以仅分析由投影仪101照射的区域，以便生成深度图107。

在一个实施例中，参考光图案104可以包括多个参考光图案元素，其可以在水平和垂直两个方向上重复以完全填充参考光图案104。图1B描绘了基础光图案108的示例实施例，其在水平方向(即，x方向) 上宽度为48个点，并且在垂直方向(即，y方向)上高度为四个点。其他基础光图案也是可能的。为简单起见，点与像素的比例可以是1∶1，即，每个投影点可以由相机102中的恰好一个像素捕获。在一个实施例中，可以通过将基础光图案108在水平方向上重复十次并在垂直方向上重复160次来形成图1A的参考光图案104。

如果4×4像素窗口叠加在基础光图案108上并且水平地滑动(在边缘处包裹)，则将存在48个独特的子图案。如果4×4像素窗口在基础光图案108的高度的四个像素上垂直地滑动(带有包裹)，则将总共有192个独特的子图案，因为4×4像素窗口也水平地滑动。图2描绘了针对通过在基础光图案108上滑动4×4像素窗口而获得的192个独特子图案的示例对应分类标识号(ID)。可以在基础光图案108上方指示96个分类ID，并且可以在基础光图案108下方指示96个分类ID。

例如，如果4×4像素窗口201位于基础光图案108的左上方，则像素窗口中的子图案的对应分类ID是1。如果4×4像素窗口201向下滑动一行，则像素窗口中的子图案的对应分类ID可以是2，依此类推。如果4×4像素窗口201可以位于基础光图案108的右下方，则像素窗口中的子图案的对应分类ID可以是192。其他分类ID也是可能的。

为了扩展参考光图案104的最大视差，可以旋转光图案104。然而，这种方法具有缺点，因为不再能够对投射的光点均匀地采样，导致参考光图案与捕获图像之间的不匹配增加。例如，如果参考光图案被旋转，则两个旋转点的离散中心可以位于距样本像素位置的中心基本相同的距离处。然后，变得难以进行确定来识别哪个点应被识别为这两个点中的位于样本像素位置处的更好选择，并且可能导致子图案的分类ID不正确。这种情况在本文中可称为冲突。另外，必须限制核线假设，这是因为旋转参考光图案与捕获图像之间的不匹配增加。如果参考光图案已旋转，为了减少不匹配的数量，则需要更精确的失真校正和对准。

代替旋转参考光图案，本文公开的主题的一个实施例可以在给定水平方向上将基础光图案的每个连续列的点向下移位在基础光图案的水平宽度上的预定量或重映射。另一实施例可以在给定水平方向上将基础光图案的每个连续列的点向上移位在基础光图案的宽度上的预定量。可以通过将具有已被移位或重映射的点的基础光图案108在水平方向上重复十次并在垂直方向上重复160次来形成参考光图案。重映射的参考光图案减少了像素采样的不均匀性并且放松了核线限制，从而相较于已旋转的参考光图案所提供的噪声和精度，本发明的方法提供具有更小噪声并且更精确的3D图像。

在一个实施例中，基础光图案108的列的点可以相对于相邻列进行重映射，如以下等式(1)所示：

在等式(1)中，x和y是基础光图案中的点的原始坐标，x′和y′是经重映射的基础光图案中的移位点的新坐标，并且m是移位因子。

图3描绘了根据本文公开的主题的具有已基于移位因子m而重映射的点的基础光图案300。基础光图案300在水平方向(即，x方向) 上的宽度可以为48个点，并且每个列在垂直方向(即，y方向)上的高度可以是四个点，并且其中每列点可以相对于左侧紧邻的一列点以移位因子m被重映射。在图3中描绘的示例中，移位因子m可以是 10％。也就是说，每列的点可从左侧紧邻的列向下移位10％。可以使用其他移位因子。为简单起见，点与像素的比例可以是1∶1，使得每个投影点可以由相机中的恰好一个像素捕获。尽管图3中的列已相对于左侧紧邻的列向下移位，但是这些列可以备选地相对于左侧紧邻的列向上移位(例如，在m＜0的情况下)。

图4描绘了根据本文公开的主题的重映射基础光图案的点的过程 400的流程图。过程可以在401处开始。在402处，可以识别基础光图案的最左列的点。在403处，可以选择右边的下一列的点。在404 处，可以将当前选择的列的点以移位因子m移位。在405处，可以确定是否已经处理了基础光图案的所有列。如果没有，则流程可返回到 403。如果已经处理了基础光图案的所有列，则流程可以继续到406，在406处，该过程结束。在另一实施例中，该过程可以从基础光图案的最右列的点开始并向左工作。尽管图4中的过程400是以特定顺序(即从左到右)描述的，但应该理解的是用于提供点移位的顺序可以是任意的。也就是说，可以以任意顺序移位每个点。

图5A和图5B分别描绘了根据本文公开的主题的针对参考光图案501的一部分的子图案的示例分类ID的布置以及针对已进行重映射以形成新参考光图案501′的所述参考光图案501的一部分的子图案的示例分类ID的布置。更具体地，图5A描绘了形成参考光图案501的不同子图案的分类ID，而图5B描绘了经重映射的参考光图案501′的不同子图案的分类ID。图5A中描绘的光图案501的分类ID的顶行可以用灰色突出显示，以更容易地看出分类ID的顶行已被重映射在图 5B中描绘的光图案501′中。

为了进一步说明根据本文公开的主题的已被重映射的参考光图案的优点，图6A至图6C描绘了在实践中可能发生的像素采样情况。在图6A至图6C中，点的尺寸可以是约2μm并且像素尺寸是约1μm，导致点与像素的比例约为4∶1。

在图6A中，相对于示例性采样像素位置602示出了无旋转且无重映射的参考光图案的示例性4×4图块的点601。尽管示例性采样像素位置602并非与点601精确对准，但是将确定示例性4×4图块的分类ID的概率较高，这是因为样本像素位置602在点601上的重叠是相对均匀的。

在图6B中，相对于示例性采样像素位置604示出了旋转参考光图案的示例性4×4图块的点603。参考光图案的旋转可能导致样本像素位置604在点603上的重叠不是相对均匀的。一些样本像素位置604 与其他样本像素位置相比将捕获更多的点603。因此，根据旋转点603 和样本像素位置604生成的所得3D图像相较于由图6A中的点601 和样本像素位置602生成的所得3D图像，将具有相对更多的噪声且相对更不准确。

在图6C中，相对于示例性采样像素位置606示出了重映射参考光图案的示例性4×4图块的点605。参考光图案的点的重映射可导致样本像素位置606在点605上的重叠是相对均匀的，同时还提供扩展的视差。此外，可以显著减少冲突的情况。因此，根据重映射点605和样本像素位置606生成的所得3D图像相较于由图6B中的旋转点 603和样本像素位置604生成的所得3D图像，将具有相对更少的噪声且相对更准确。应注意，样本像素位置606也被重映射以对应于参考光图案的点的重映射。

根据本文公开的主题，基础光图案的另一实施例提供了已在垂直方向上拉伸的点。图7A和图7B分别描绘了基础光图案108和参考光图案元素700，其中已在垂直方向上以拉伸因子k将点进行了拉伸。通过在垂直方向上拉伸参考光图案元素，深度估计可以变得对于核线违规更加鲁棒，因此系统鲁棒性和准确性可以增加。

在一个实施例中，基础光图案的点可以在垂直方向上被拉伸，如下面的等式(2)中所示。

在等式(2)中，x和y是参考光图案元素中的点的原始坐标，x′和y′是参考光图案元素中的拉伸点的新坐标，并且k是拉伸因子。图 7B中的参考光图案700的点相较于图7A中的基础光图案108的点，已被拉伸了2倍。由于拉伸基础光图案的点而可以观察到的折衷方案是深度图像可具有减小的垂直分辨率。在这种情况下，取决于点在参考光图案中的位置，可以不均匀地拉伸所述点。例如，图像中心的图案可以是未拉伸的，而远离中心的图案可以被逐渐拉伸。结果将是围绕中心区域具有完全水平/垂直分辨率，而朝向图像的边界具有减小的垂直分辨率。

可以将基础光图案的点的重映射和拉伸进行组合，如下面等式 (3)中所示。

在等式(3)中，x和y是基础光图案中的点的原始坐标，x′和y′是基础光图案中的拉伸点的新坐标，m是移位因子，并且k是拉伸因子。

图8描绘了根据本文公开的主题的重映射基础光图案的点的过程 800的流程图。该过程可以在801处开始。在802处，可以将参考光图案元素的所有点以拉伸因子k拉伸。该过程可以在803处结束。

图9描绘了根据本文公开的主题的具有已被重映射和拉伸的点的基础光图案900。基础光图案900在水平方向(即，x方向)上的宽度可以为48个点，并且每列在垂直方向(即，y方向)上的高度可以是四个点，并且其中每列点可以相对于左侧紧邻的一列点以移位因子m被重映射。在图9中描绘的示例中，移位因子m可以是10％，且拉伸因子k可以是2。

图10A和图10B分别描绘了根据本文公开的主题的针对拉伸参考光图案1001的一部分的子图案的示例分类ID的布置以及针对已进行重映射和拉伸以形成新参考光图案1001′的所述参考光图案1001的一部分的子图案的示例分类ID的布置。也就是说，图10A描绘了形成具有拉伸点的参考光图案1001的不同子图案的分类ID，而图10B描绘了经重映射和拉伸的参考光图案1001′的不同子图案的分类ID。图 10A中描绘的光图案1001的分类ID的顶行已用灰色突出显示，以更容易地看出分类ID的顶行已被重映射在图10B中描绘的光图案1001′中。

本领域技术人员将认识到，可以在较广的应用范围上对本文所描述的创新概念进行修改和改变。因此，要求保护的主题的范围不应当限于以上所讨论的具体的示例性教导中的任何一个，而是由以下权利要求来限定。

Claims (16)

1.一种用于结构光系统的处理设备，包括：

处理器，被配置为产生结构光图案，所述结构光图案包括：

基础光图案，所述基础光图案包括在第一方向上延伸的子图案的行，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点具有相同的尺寸，每个子行在第一方向上延伸且每个子列在与第一方向正交的第二方向上延伸，并且在一子列中对准的所述基础光图案的点在第二方向上偏离在相邻子列中对准的所述基础光图案的点。

2.根据权利要求1所述的处理设备，其中所述子图案包括48个子图案。

3.根据权利要求2所述的处理设备，其中n是4。

4.根据权利要求3所述的处理设备，其中所述基础光图案的每个子图案在第二方向上的尺寸是每个子图案在第一方向上的尺寸的拉伸因子倍。

5.根据权利要求4所述的处理设备，其中多个结构光图案被布置在第一多个列中，所述第一多个列中的每列包括第二多个结构光图案。

6.根据权利要求1所述的处理设备，其中所述基础光图案的每个子图案在第二方向上的尺寸是每个子图案在第一方向上的尺寸的拉伸因子倍。

7.根据权利要求6所述的处理设备，其中多个结构光图案被布置在第一多个列中，所述第一多个列中的每列包括第二多个结构光图案。

8.一种用于结构光系统的处理设备，包括：

处理器，被配置为产生结构光图案，所述结构光图案包括：

基础光图案，所述基础光图案包括在第一方向上延伸的子图案的行，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点具有相同的尺寸，每个子行在第一方向上延伸且每个子列在与第一方向正交的第二方向上延伸，并且所述基础光图案的每个子图案在第二方向上的尺寸是每个子图案在第一方向上的尺寸的拉伸因子倍。

9.根据权利要求8所述的处理设备，其中第一子图案在第一方向上的尺寸与第二子图案在第一方向上的尺寸相同，所述第一子图案与所述第二子图案不同。

10.根据权利要求8所述的处理设备，其中所述结构光图案是已从物体反射的并且包括相对于参考结构光图案的视差。

11.根据权利要求8所述的处理设备，其中所述基础光图案中的在一子列中对准的点在第二方向上偏离所述基础光图案中的在相邻子列中对准的点。

12.根据权利要求11所述的处理设备，其中多个结构光图案被布置在第一多个列中，所述第一多个列中的每列包括第二多个结构光图案。

13.根据权利要求8所述的处理设备，其中所述结构光图案的中心附近的拉伸因子等于所述结构光图案的边缘附近的拉伸因子。

14.一种用于结构光系统的处理设备，包括：

处理器，被配置为产生结构光图案，所述结构光图案包括：

基础光图案，所述基础光图案包括在第一方向上延伸的子图案的行，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案在一子行中包括n个点且在一子列中包括n个点，其中n是整数，每个点具有相同的尺寸，每个子行在第一方向上延伸且每个子列在与第一方向正交的第二方向上延伸，并且在一子列中对准的所述基础光图案的点在第二方向上偏离在相邻子列中对准的所述基础光图案的点，且所述基础光图案的每个子图案在第二方向上的尺寸是每个子图案在第一方向上的尺寸的拉伸因子倍。

15.根据权利要求14所述的处理设备，其中第一子图案在第一方向上的尺寸与第二子图案在第一方向上的尺寸相同，所述第一子图案与所述第二子图案不同。

16.根据权利要求14所述的处理设备，其中所述结构光图案是已从物体反射的并且包括相对于参考结构光图案的视差。