CN116569543A - 用于深度图生成的成像布置以及对应的方法和系统 - Google Patents

Abstract

一种成像系统包括多个LED模块、单个图像传感器、控制器、处理单元和深度图生成器。每个LED模块具有不同的角发射轮廓，并且发射具有不同波长范围的光。图像传感器检测源自至少两个LED模块的、在被图像传感器的视场中的对象反射之后的光，以提供图像传感器输出。控制器控制LED模块打开和关闭，使得一次只有一个LED模块发射光。处理单元处理图像传感器输出，以识别来自每个LED模块的反射光的强度轮廓。深度图生成器至少基于来自每个LED模块的反射光的强度轮廓来确定对象的角位置。

Description

用于深度图生成的成像布置以及对应的方法和系统

相关申请的交叉引用

本申请要求2020年5月15日提交的美国临时专利申请号63/025628和2020年7月22日提交的欧洲申请号20187221.5的权益，其内容在此通过引用并入本文。

背景技术

相机系统可以包括飞行时间(TOF)布置，以获得相机的图像传感器前方区域的深度图。当使用大的图像传感器时，可以获得精确的深度图，例如用于执行面部识别或者在拍摄场景照片之前确定照亮该场景所需的光的最佳分布。

发明内容

一种成像系统包括多个LED模块、单个图像传感器、控制器、处理单元和深度图生成器。每个LED模块具有不同的角发射轮廓，并且发射具有不同波长范围的光。图像传感器检测源自至少两个LED模块的、在被图像传感器的视场中的对象反射之后的光，以提供图像传感器输出。控制器控制LED模块打开和关闭，使得一次只有一个LED模块发射光。处理单元处理图像传感器输出，以识别来自每个LED模块的反射光的强度轮廓(intensityprofile)。深度图生成器至少基于来自每个LED模块的反射光的强度轮廓来确定对象的角位置。

附图说明

可以从以下描述中获得更详细的理解，以下描述通过示例的方式结合所附附图给出，其中：

图1是示例TOF成像布置的框图；

图2为示出图1的LED模块的有利直接角发射轮廓的示例的图表；

图3为将由图1的成像系统成像的场景的一个示例的示意图；

图4为示出可以如何解释图3所示场景的图像传感器的像素记录的数据的图表；

图5为由图1的成像系统成像的场景的另一示例的示意图；

图6为示出图5场景的强度轮廓的图表；

图7为示例自主机器人家用电器的示意图；以及

图8是生成深度图的示例方法的流程图。

具体实施方式

下文将参考所附附图更全面地描述不同光照明系统和/或发光二极管实施方式的示例。这些示例不相互排斥，并且在一个示例中发现的特征可以与在一个或多个其他示例中发现的特征相组合，以实现另外的实施方式。因此，将被理解，所附附图中所示的示例仅为了说明的目的而提供，并且它们不旨在以任何方式限制本公开。类似的数字始终指代类似的元件。

将被理解，尽管术语第一、第二、第三等可以在本文中用于描述各种元件，但是这些元件不应该被这些术语所限制。这些术语可以用于区分一个元件与另一个元件。例如，第一元件可以被称为第二元件并且第二元件可以被称为第一元件，而不脱离本发明的范围。如本文所使用的，术语“和/或”可以包括一个或多个相关联列出项目的任何和所有组合。

将被理解，当诸如层、区域或衬底的元件被称为“在”或“延伸到”另一个元件上时，它可以直接在或直接延伸到另一个元件上，或者也可以存在中间元件。相反，当一个元件被称为“直接在”或“直接延伸到”另一个元件上时，可能没有中间元件的存在。还将被理解，当一个元件被称为“连接”或“耦合”到另一个元件时，它可以直接连接或耦合到另一个元件和/或经由一个或多个中间元件连接或耦合到另一个元件。相反，当一个元件被称为“直接连接”或“直接耦合”到另一个元件时，在该元件和另一个元件之间没有中间元件的存在。将被理解，除了图中描绘的任何取向之外，这些术语旨在涵盖元件的不同取向。

诸如“下面”、“上面”、“上边”、“下边”、“水平”或“垂直”的相对术语在本文可以用于描述一个元件、层或区域与图中所图示的另一个元件、层或区域的关系。将被理解，除了图中描绘的取向之外，这些术语旨在涵盖器件的不同取向。

有多种方式构建TOF布置。在一种方法中，TOF布置可以包括光源和对由光源发射的光的一个或多个波长敏感的检测器。为了使飞行时间测量不引人注目，光源可以是红外(IR)发射器，例如一个或多个IR-LED的组件。发射光脉冲和检测反射光之间经过的时间可以被测量并用于计算到从其反射光的对象的距离，例如通过分析发射光和到达图像传感器的反射光之间的相位差。由于成像布置可以确定视场中的对象的位置，并且还可以估计到对象的距离，因此它也可以被称为TOF成像布置或TOF相机。

在本文所述的实施例中，成像布置可以包括任意数量的LED模块，例如三个或更多个LED模块，每个LED模块具有不同的角发射轮廓。然而，本文描述的实施例的优点可能与低端应用更相关，在低端应用中，高成像精度可能不是优先考虑的，并且对于低端应用，可能需要简单但经济且可靠的视觉系统。例如，自主移动设备(诸如自动机器人家用电器(诸如沿着地板独立移动并且应该避免撞到对象的机器人真空吸尘器))也可以使用TOF成像系统来生成深度图，使得该设备可以看到其前方的区域，并且可以导航避免与其路径中的对象碰撞的安全路线。对于这样的设备，成像系统经济、精确和稳健可能是重要的。为此，一些TOF相机系统可以使用单个LED作为光源和单个经济的图像传感器，例如单个传感器像素或一维传感器像素阵列。然而，这种图像传感器可能具有窄的角度范围，通常只有5°的量级。为了覆盖更大的区域，这种TOF相机系统可以使用旋转图像传感器的机械元件，以便能够扫描设备前面的更多区域，或者引导LED光源连续照亮自主设备前面的区域的薄片(slice)。这种机械元件可能易于失效，例如由于磨损或由于冲击或碰撞。因此，本文描述的实施例可以提供检测视场中的对象存在的更简单的方式，并且可以包括更少数量的LED模块，例如两个LED模块。这种基本实现可以使自动化机器人家用电器获得关于其周围环境的足够的视觉信息，以便在没有碰撞的情况下导航安全路径。在实施例中，LED模块可以在红外(IR)范围内发射。

图1为示例TOF成像布置1的框图。在图1所示的示例中，TOF成像布置1包括一维图像传感器11S和聚焦光学器件11L(也统称为相机11)、两个LED模块M1和M2、控制器100、处理单元12和深度图生成器13。

在图示示例中，相机11的视场平面F垂直于页面平面。相机的视场主要由传感器尺寸和聚焦光学器件决定。在实施例中，一维图像传感器可以是任何一个或多个简单的图像传感器，例如一维图像传感器(即，包括一行图像传感器像素)或零维图像传感器(即，包括单个图像传感器像素)。在本文描述的实施例的上下文中，将假设图像传感器至多是一维的，并且也可以是零维的。每个图像传感器像素可以被配置为收集来自其视场的光。

在实施例中，简单的一维图像传感器可以水平定向。当反射光(源自LED模块)到达一维图像传感器时，相机视场中的整个场景(由LED模块的LED照亮)然后可以成像为虚拟的窄矩形或条。尽管任何数量的像素都是可能的，但是在实施例中，图像传感器可以是30-40个图像像素的一维阵列。这种尺寸的阵列可以产生足够的信息。

每个LED模块M1、M2可以包括LED和光束整形光学器件，其形状使得每个LED模块具有不同的角发射轮廓(例如，角发射轮廓彼此明显不同)。LED的发射面和图像传感器的入射面可以垂直于页面平面。LED模块M1、M2的LED可以在不同的波长发射，这可以被认为覆盖了狭窄的范围。例如，第一LED模块M1的LED可以在850nm发射，并且第二LED模块M2的LED可以在960nm发射。例如，850nm的LED可以在大约850或850±30nm发射，并且960nm的LED可以在大约960或960±30nm发射。在图1所示的示例中，左侧的LED模块M1被配置成将其大部分光投射到相机11的视场F的左侧，而右侧的LED模块M2被配置成将其大部分光投射到视场F的右侧。

LED模块的角发射轮廓可以通过LED实现。然而，通过在LED管芯的发射面上放置适当形状的光学元件，可能更容易改变LED的发射轮廓。因此，在一些实施例中，LED模块的角发射轮廓可以主要由该LED模块的光学元件来确定。例如，可以使用具有朗伯发射轮廓的平面LED管芯，并且适当形状的光学元件可以将该朗伯发射轮廓转换成例如单调增加的轮廓。

控制器100可以打开/关闭第一LED模块M1和第二LED模块M2。如果成像布置实现两个图像传感器，每个图像传感器对LED模块之一的波长敏感，则LED模块M1、M2可以同时切换，并且每个图像传感器可以在成像步骤中检测来自其对应的LED模块的光。

在一些实施例中，图像传感器布置可以包括用于每个LED模块的图像传感器，例如用于第一LED模块的第一图像传感器、用于第二LED模块的第二图像传感器等。在这样的实施例中，每个图像传感器可以检测源自其对应的LED模块的特定波长的光。例如，如果LED模块发射波长为850nm的光，则相应的图像传感器可能仅检测该范围内的光。在具有两个LED模块的实施例中，每个LED模块在不同的波长范围发射，图像传感器布置可以包括两个对应的图像传感器。在这样的实施例中，LED模块可以同时打开以照亮相机前面的区域，并且两个图像传感器可以同时记录场景的图像。然后可以评估图像传感器输出。

在其他实施例中，图像传感器布置可以包括单个图像传感器，其可以检测照明布置波长范围内的光。例如，如果照明布置包括在850nm发射的第一LED模块和在960nm发射的第二LED模块，则图像传感器可能对850-960nm的波长范围敏感。在这样的实施例中，LED模块可以一个接一个地打开，使得相机前面的区域可以在任何时候仅由单个LED模块照亮，并且图像传感器可以记录场景的连续图像。在每次图像捕获之后，可以评估图像传感器输出。

在图1所示的示例中，使用了单个图像传感器11S，并且该单个图像传感器11S对LED的总波长范围敏感。在这样的实施例中，LED模块M1、M2可以被连续地打开/关闭，使得图像传感器11S可以在成像步骤中检测来自单个LED模块的光。反射光可以记录在图像传感器11S处，图像传感器11S可以是一维阵列，例如单行30个传感器像素。图像传感器输出11_out可以被传递到处理单元12，处理单元12可以识别源自第一LED模块M1的接收光的强度轮廓R1和源自第二LED模块M2的接收光的强度轮廓R2。可以在深度图生成器中分析这些强度轮廓R1、R2，深度图生成器然后可以仅基于强度轮廓R1、R2来确定到对象的距离和该对象的位置。

由图像传感器记录的强度轮廓可以理解为一组值，每个强度值由图像传感器的像素记录。因为每个LED模块以特定的方式将光投射到视场中，所以LED模块的指纹可以确定到达图像传感器的反射光的强度分布的形状。如本文中更多描述的，该基本图像信息已经被确定为足以确定视场中对象的角位置。到对象的距离可以根据发射的光和由对象反射后接收的光之间的相位差来估计。这样做的一个优点可能是，以这种方式可以有利地不费多少力气地获得相当多信息但非常简单的深度图。本发明的成像布置可以以非常经济的方式实现，因为与更复杂和昂贵的解决方案相比，它不需要2D图像传感器或任何可机械移动的元件。

LED模块可以具有任何合适的发射轮廓。如上所述，LED的角发射轮廓可以将所发射光的分布描述为角度的函数。因为LED发射面通常是平面的，所以理论上发射角轮廓可以从-90°通过0°延伸到+90°。在实践中，光可能不平行于LED的发射面发射，并且LED的角发射轮廓通常落在例如-60°到+60°的范围内。

在实施例中，例如，LED模块可以具有基于线性无关函数(诸如线性无关指数函数)的任何两种发射轮廓。例如，第一LED模块可以具有在一个角度范围内作为角度的函数单调或线性减小的角发射轮廓(例如，大多数光发射到一侧，从图像传感器的像素视场的一个边缘处的第一极限稳定地减小到图像传感器的像素视场的相反边缘处的第二极限)。例如，第一LED模块可以具有从-50°处的其最大值开始稳定增加到+50°处的其最大光输出的角发射轮廓。第二LED模块可以具有在一个角度范围内作为角度的函数线性增加的角发射轮廓。例如，第二LED模块可以具有从-50°处的其最小值开始稳定增加到+50°处的其最大光输出的角发射轮廓。在一些实施例中，第一LED模块的角发射可以是第二LED模块的角发射轮廓的镜像。

在实施例中，可以对每个LED模块进行配置，使得它将其大部分光投射到相机的视场中的特定区域，并将其剩余的一小部分光投射到视场的其余部分。在具有三个LED的实施例中，每个LED可以将其大部分光(例如，超过70％)投射到三分之一的视场中。在包括两个LED模块的一些实施例中，LED模块可以将其大部分光投射到一半的视场中，并且几乎不照亮另一半视场。

图2为示出图1的LED模块M1、M2的有利直接角发射轮廓A1、A2的示例的图表，其中强度(以任意单位表示)沿Y轴，并且角度[°]沿X轴。如图2的图表所示，第一LED模块M1的角发射轮廓A1作为角度θ的函数单调减小。换句话说，光的强度从-60°的第一角度极限稳定地减小到+60°的第二角度极限。最大强度指向相机的视场的左侧。第二LED模块的角发射轮廓A2作为角度θ的函数单调增加。换句话说，光的强度从-60°的第一角度极限稳定地增加到+60°的第二角度极限。该LED模块的最大强度指向相机的视场的右侧。

图3为将由图1的成像系统1成像的场景的一个示例的示意图。在图3所示的示例中，来自LED模块(未示出)的光线30被场景中的对象O1反射。反射光线30R将到达一维图像传感器11S，并将被分析以确定对象在场景中的位置(例如，其相对于相机11的光轴的角位置θ₁和/或其距相机平面的距离d₁)。

图4为示出可以如何解释图3所示场景的图像传感器11S的像素记录的数据的图表。每个像素可以将源自特定LED模块的光的强度值记录为距离(例如，到从其反射光的表面)的函数，使得源自LED模块M1的任何反射光产生强度轮廓R1，并且源自LED模块M2的任何反射光产生强度轮廓R2。在图4的图表中，强度以任意单位(Y轴)对以米为单位的距离(X轴)来表示。在图4的图表中，只有强度轮廓R2是非零的，而强度轮廓R1是平坦的。这意味着来自LED模块M1的光不会从任何表面反射，因此任何对象都一定在由第二LED模块M2照亮的区域中。由于第一LED模块M1只能将光导向场景的上部，因此在朝向相机的视场顶部的区域中可能没有对象。第二曲线R2示出了对应于0.85m距离的最大值。对象的角位置可以从最大值处的强度轮廓R1、R2的比值中推导出。在这种情况下，对象的角位置被确定为+50°(例如，在视场的右半部分)。

可以对图像传感器的每个像素进行该分析，使得可以编制深度图。场景的深度图可以简单地包括这种非常基本的信息，因为它可能与对象有多大、它是亮还是暗等无关，并且唯一相关的信息是它相对于相机的位置和距离。在本文描述的实施例中，图像内容可以被减少到非常基本的水平(例如，发射的光和接收的光之间的相移可以被用于估计距离，并且强度轮廓可以被用于推导每个像素的视场中的对象的角位置)，使得基本图像可以是足够的。

光可以在经过相机的前方区域中的对象反射后到达图像传感器。到达图像传感器布置的光的强度可能取决于各种因素，例如光源的角发射轮廓和对象反射率。LED的空间发射轮廓S可以是LED的辐射通量φ和光的发射角θ的函数。对象的反射率r可以确定其吸收/反射光的程度，并且可以表示为由光源发射的光的波长λ的函数。因此，到达图像传感器的反射光的强度R可以表示为这些函数的乘积：

R＝f(Φ，θ)·r(λ) (1)。

可以假设，对于接近在一起的波长，对象的反射率r(λ)本质上是相同的。例如，对于850nm的LED和960nm的LED，对象可以具有类似的反射性。还可以假设LED的辐射通量φ可以通过测量来建立，例如在制造时。使用如上所述的具有不同波长的两个IR-LED，这些假设可以允许两个LED模块的反射率R1、R2的比率表示为：

其中R1是第一LED模块的反射率，并且R2是第二LED模块的反射率。

通过使用具有不同空间发射轮廓的LED模块，由图像传感器布置记录的强度分布可以足以确定场景中对象的位置。

如果实施了多于两个的LED模块，则每个发射轮廓可以与其他两个发射轮廓的线性组合不同(例如，发射轮廓可以线性独立)。这样的实施例可以传递关于成像场景的更多信息，并且可以用于检测相机的视场中的多个对象。

在一些实施例中，角发射轮廓的总和可以为常数。例如，对于任何角位置，f₁(θ)和f₂(θ)的和可以本质上是恒定的。在这种情况下，到对象的距离可以从相位差获得，并且对象在场景中的角位置可以从上面等式(2)中给出的比率确定。

图5为将由图1的成像系统1成像的场景的另一示例的示意图。图6是示出了图5的场景的强度轮廓R2、R1的图表。这里，强度轮廓R1、R2两者本质上相同，其指示对象O2的实质上为0°的角位置。换句话说，在图5的场景中，对象O2在相机的正前方。如上所述，可以确定到对象O2的距离d₂。这里，对象被确定在距离相机大约1.5m的距离d₁处。

图7为示例自主机器人家用电器2的示意图，其包括如上所述的成像布置1的实施例。机器人家用电器2可以连续地获得其相机前方区域的图像，并且可以基于在其视场中检测到的对象来决定可能采取的路径。在实施例中，例如，机器人家用电器2中的控制器100或一些其他控制器可以控制LED模块M1和M2如上所述地打开和关闭，并且可以在自主机器人家用电器2打开或运行特定程序时继续这样做。控制器还可以控制相机11和/或处理器12和/或深度图生成器13，以连续计算深度图并确定对象是否在相机的视场中。自主电器2只需要知道是否有它必须避开的对象。为此目的，简单的一维图像传感器就足够了，并且它只需要具有覆盖电器2前方区域的视场，以便在它自主移动时规划它的路线。

图8为使用例如诸如图1的TOF成像布置的成像系统生成深度图的示例方法的流程图。在图8所示的示例中，提供了成像系统(802)。在实施例中，成像系统可以是本文描述的任何成像系统，并且可以包括例如多个LED模块，每个LED模块具有不同的角发射轮廓并且被配置为发射具有不同波长范围的光。在一些实施例中，成像系统还可以包括单个图像传感器，该单个图像传感器被配置成检测源自至少两个LED模块的、在被单个图像传感器的视场中的对象反射之后的光，以提供图像传感器输出。

该方法还可以包括启动LED模块(804)。在一些实施例中，每个LED模块可以被打开和关闭，使得只有一个LED模块同时发射光以照亮图像传感器的视场。图像传感器的输出可以被处理以识别源自每个LED模块的光的强度轮廓(806)。可以基于强度轮廓确定对象的角位置(808)。该对象可以是图像传感器的视场中的对象。强度轮廓可以针对源自每个LED模块的光。

已经详细描述了实施例，本领域技术人员将领会，给定本描述，可以对本文描述的实施例进行修改而不脱离本发明构思的精神。因此，意图是本发明的范围不限于图示的和描述的具体实施例。

Claims (20)

1.一种成像系统，包括：

多个LED模块，所述多个LED模块中的每一个具有不同的角发射轮廓，并且被配置为发射具有不同波长范围的光；

单个图像传感器，其被配置成检测源自所述多个LED模块中的至少两个的、在被所述单个图像传感器的视场中的对象反射之后的光，以提供图像传感器输出；

控制器，其被配置为控制所述多个LED模块打开和关闭，使得所述多个LED模块中只有一个同时发射光；

处理单元，其被配置为处理图像传感器输出以识别来自所述多个LED模块中的每一个的反射光的强度轮廓；和

深度图生成器，其被配置为至少基于来自所述多个LED模块中的每一个的反射光的强度轮廓来确定所述对象的角位置。

2.根据权利要求1所述的成像系统，其中，所述单个图像传感器是一维图像传感器。

3.根据权利要求2所述的成像系统，其中，所述一维图像传感器相对于所述对象水平定向。

4.根据权利要求3所述的成像系统，其中，来自所述多个LED模块中的每一个的组合光发射覆盖所述一维图像传感器的整个视场。

5.根据权利要求1所述的成像系统，其中，所述多个LED模块包括具有作为角度的函数单调减小的角发射轮廓的第一LED模块和具有作为角度的函数单调增加的角发射轮廓的第二LED模块。

6.根据权利要求5所述的成像系统，其中，所述第一LED模块的角发射轮廓与所述第二LED模块的角发射轮廓相反。

7.根据权利要求5所述的成像系统，其中，所述第一LED模块的最大光强度被引导到所述单个图像传感器的左半视场中，并且所述第二LED模块的最大光强度被引导到所述单个图像传感器的右半视场中。

8.根据权利要求1所述的成像系统，还包括多个光学元件，所述多个光学元件中的每一个光学耦合到所述多个LED模块中的相应一个，并且所述多个LED模块中的每一个的角发射轮廓由光学耦合到该LED模块的光学元件确定。

9.根据权利要求1所述的成像系统，其中，所述单个图像传感器在所述多个LED模块中的所有LED模块的整个波长范围内是敏感的。

10.根据权利要求1所述的成像系统，其中，所述深度图生成器被配置为基于由所述多个LED模块中的每一个发射的光和由所述单个图像传感器接收的光之间的相位差来估计到所述对象的距离。

11.一种生成深度图的方法，所述方法包括：

提供成像系统，所述成像系统包括：

多个LED模块，所述多个LED模块中的每一个具有不同的角发射轮廓，并且被配置为发射具有不同波长范围的光，和

单个图像传感器，其被配置成检测源自所述多个LED模块中的至少两个的、在被所述单个图像传感器的视场中的对象反射之后的光，以提供图像传感器输出；

启动所述多个LED模块中的每一个以打开和关闭，使得所述多个LED模块中只有一个同时发射光以照亮所述单个图像传感器的视场；

处理所述单个图像传感器的输出，以识别源自所述多个LED模块中的每一个的光的强度轮廓；以及

基于源自所述多个LED模块中的每一个的光的强度轮廓来确定所述对象的角位置。

12.根据权利要求11所述的方法，其中，确定所述对象的角位置包括根据所识别的强度轮廓的最大幅度来确定所述对象的角位置。

13.根据权利要求11所述的方法，还包括至少基于由所述多个LED模块中的至少一个发射的光和由所述单个图像传感器接收的光之间的相位差来确定到所述对象的距离。

14.根据权利要求11所述的方法，还包括在所述单个图像传感器处记录反射光的强度水平。

15.一种自主机器人电器，包括：

多个LED模块，所述多个LED模块中的每一个具有不同的角发射轮廓，并且被配置为发射具有不同波长范围的光；

单个图像传感器，其被配置成检测源自所述多个LED模块中的至少两个的、在被所述单个图像传感器的视场中的对象反射之后的光，以提供图像传感器输出；

至少一个控制器，其被配置为：

控制所述多个LED模块连续地打开和关闭，使得所述多个LED模块中只有一个同时发射光，以及

控制所述单个图像传感器连续检测源自所述多个LED模块中的至少两个的光；

处理单元，其被配置为响应于由所述至少一个控制器中的至少一个提供的控制信号，连续处理所述图像传感器输出，以连续识别来自所述多个LED模块中的每一个的反射光的强度轮廓；和

深度图生成器，其被配置为至少基于来自所述多个LED模块中的每一个的反射光的强度轮廓来连续确定所述对象的角位置，

所述至少一个控制器还被配置成至少基于所确定的对象的角位置来控制自主机器人家用电器的路径。

16.根据权利要求15所述的自主机器人电器，其中，所述单个图像传感器是一维图像传感器。

17.根据权利要求16所述的自主机器人电器，其中，所述一维图像传感器相对于所述对象水平定向。

18.根据权利要求17所述的自主机器人电器，其中，来自所述多个LED模块中的每一个的组合光发射覆盖所述一维图像传感器的整个视场。

19.根据权利要求15所述的自主机器人电器，其中，所述多个LED模块包括具有作为角度的函数单调减小的角发射轮廓的第一LED模块和具有作为角度的函数单调增加的角发射轮廓的第二LED模块。

20.根据权利要求15所述的自主机器人电器，其中，所述第一LED模块的角发射轮廓与所述第二LED模块的角发射轮廓相反。