CN103079085A - 三维图像获取装置及计算该装置中的深度信息的方法 - Google Patents

Abstract

提供一种三维(3D)图像获取装置和在该3D图像获取装置中计算深度信息的方法，所述3D图像获取装置包括:光调制器，用于调制通过依次投射N(N是3或更大的自然数)个光束从对象反射的光；图像拾取装置，用于通过拍摄由光学调制器调制的光来生成N个子图像；以及信号处理器，用于通过使用所述N个图像来计算关于到对象的距离的深度信息。

Description

三维图像获取装置及计算该装置中的深度信息的方法

相关申请的交叉引用

本申请请求2011年10月25日提交的韩国专利申请第10-2011-0109431号的权益，其内容通过引用全文合并与此。

技术领域

本公开涉及三维(3D)图像获取装置以及在该3D图像获取装置中计算深度信息的方法。

背景技术

最近，根据用于显示具有深度感的图像的3D显示设备的发展和需求的增加，已经强调了三维(3D)内容的重要性。因此，正在进行诸如用户自己创建3D内容的3D照相机之类的3D图像获取装置的研究。这种3D照相机被期望在一次拍摄中获得除现有的2D彩色图像信息之外的深度信息。

可以使用利用两个照相机的立体视觉法或者利用结构化的光和照相机的三角测量法来获得关于对象的表面与3D照相机之间的距离的深度信息。然而，因为这些方法中的深度信息的精确度随着到对象的距离增加而快速地降低，并且这些方法取决于对象的表面状态，所以难以获得精确的深度信息。

为了改善此问题，已经引入飞行时间(TOF)。TOF方法是一种测量在照明光投射到对象之后直到从对象反射的光由光接收单元接收到的光飞行时间的方法。依据TOF方法，通过使用包括发光二极管(LED)或激光二极管(LD)的照明光学系统将预定的波长的光(例如，850纳米的近红外(NIR)光)照射到对象，由光接收单元接收从对象反射的具有相同的波长的光，然后执行一系列用于计算深度信息的处理过程。依据一系列处理过程引入不同的TOF技术。

在上面描述的TOF方法中，通过假定没有噪声的理想环境来计算深度信息。然而，当使用3D照相机时，诸如室内环境中的照明和户外环境中的太阳光之类的环境光总是存在于周围中。环境光入射到3D照相机，成为计算深度信息的过程中的噪声。

因此，在计算深度信息过程中必须除去成为噪声的环境光。

发明内容

提供一种通过除去环境光来计算深度信息的方法以及用于该方法的3D图像获取装置。

附加方面将在下面的描述中被部分地阐明，以及从该描述中将部分地明显，或者可以通过给出的实施例而学习到。

依据本发明的方面，一种三维(3D)图像获取装置包括：光调制器，用于调制通过依次投射N(N是3或更大的自然数)个光束从对象反射的光;图像拾取装置，用于通过拍摄由光调制器调制的光来生成N个子图像；以及信号处理器，用于通过使用该N个子图像来计算关于到对象的距离的深度信息。

所述N个光束可以间断地投射。

所述N个投射光束可以彼此不同并且由一个或多个光源发射。

所述一个或多个光源可以以预定时间间隔依次投N个光束。

光调制器的操作时间可以与N个光束的每一个的投射时间同步。

所述光调制器的操作时间可以比N个光束的每一个的投射时间更短。

所述图像拾取装置的曝光时间可以与光调制器的操作时间同步。

所述图像拾取装置可以在光投射时间期间曝光以拍摄已调制光，并且所述图像拾取装置可以在光投射时间的至少一部分剩余时间期间形式N个子图像。

在光投射时间期间所述图像拾取装置的全部像素可以曝光给已调制光。

所述N个光束可以是具有相同的周期且从由不同的强度和不同的相位构成的组中选择出的至少一个的周期波。

所述光调制器可以利用相同的调制信号调制反射的光。

所述N个光束可以是相同的周期波。

所述光调制器可以利用不同的调制信号调制反射的光。

所述N个光束当中在相邻的时间投射的任何两个光束之间的相位差可以是通过用N等分360°获得的值。

所述反射的光可以包括通过从对象反射所述N个光束获得的N个反射光束。

由所述图像拾取装置生成的所述N个子图像可以依次一对一匹配所述N个反射光束。

如果所述N个子图像不一对一匹配所述N个反射光束，则所述信号处理器可以以行为基础转换所述N个子图像并且将所述N个基于行的子图像与所述N个反射光束一对一匹配。

所述信号处理器可以通过对乘以第一加权因子的所述N个子图像取平均来生成第一平均图像，对乘以第二加权因子的所述N个子图像取平均来生成第二平均图像，并且从第一平均图像和第二平均图像计算深度信息。

可以从第一平均图像对第二平均图像的比率的反正切值计算所述深度信息。

依据本发明的另一方面，一种计算深度信息的方法包括：调制通过依次投射N(N是3或更大的自然数)个光束从对象反射的光；通过拍摄由光调制器调制的光生成N个子图像；以及通过使用所述N个子图像计算关于到对象的距离的深度信息。

所述N个光束可以间断地投射。

所述N个投射光束可以彼此不同并且由一个或多个光源发射。

可以以预定时间间隔依次投射所述N个光束。

用于调制光的光调制器的操作时间可以与N个光束的每一个的投射时间同步。

所述光调制器的操作时间可以比N个光束的每一个的投射时间更短。

用于拍摄光的图像拾取装置的曝光时间可以与光调制器的操作时间同步。

在光投射时间期间所述图像拾取装置的全部像素可以都曝光给已调制光。

所述N个光束可以是具有相同周期并且从由不同的强度和不同的相位构成的组中选择的至少一个的周期波，并且可以利用相同的调制信号调制所述反射的光。

所述N个光束可以是相同的周期波，并且可以利用不同的调制信号调制所述反射的光。

所述N个光束当中在相邻的时间投射的任何两个光束之间的相位差可以是通过用N等分360°获得的值。

所生成的N个子图像可以依次一对一匹配所述N个反射光束。

所述方法还可以包括，如果所述N个子图像不一对一匹配所述N个反射光束，则以行为基础转换所述N个子图像并且将所述N个基于行的子图像依次一对一匹配所述N个反射光束。

可以通过对乘以第一加权因子的所述N个子图像取平均来生成第一平均图像，可以对乘以第二加权因子的所述N个子图像取平均来生成第二平均图像，并且可以从第一平均图像和第二平均图像计算深度信息。

可以从第一平均图像对第二平均图像的比率的反正切值计算所述深度信息。

依据本发明的另一方面，一种三维（3D）图像获取装置包括光调制器，其调制从被间断地投射N个光束的对象反射的光；控制器，其控制光调制器以使光调制器与N个光束的每一个光束的投射时间同步。

3D图像获取装置还包括光源，其生成被依次投射的N个光束。

N是大于或等于3的自然数。

3D图像获取装置还包括图像传感器，其通过拍摄由光调制器调制的光来生成N个子图像，其中，图像传感器的曝光时间与光调制器的操作时间同步。

3D图像获取装置还包括信号处理器，其通过使用N个子图像来计算关于到对象的距离的深度信息。

附图说明

通过下面结合附图对该实施例的描述，这些和/或其它方面将变得明显且更易理解，其中：

图1是根据本发明的实施例的三维(3D)图像获取装置的示意图；

图2(A)到图2(D)示出根据本发明的实施例的、通过调制N个不同的反射光束生成N个不同的子图像的过程；

图3(A)到图3(D)示出根据本发明的实施例的、利用一个投射光束和N个不同的光学调制信号生成N个不同的子图像的过程；

图4A和图4B分别是根据本发明的实施例的、当投射光的占空比是100%时以及在投射光的占空比是20%的情况下、当3D图像被拍摄时的时间图；

图5是根据本发明的实施例的、当通过将光源、光调制器、以及图像拾取装置彼此同步来拍摄图像时的时间图；

图6是当在光调制器的单个操作时间期间图像拾取装置的全部像素并不都被曝光时、当图像被拍摄时的时间图；

图7是用于描述根据本发明的实施例的、从N个不同的图像计算深度信息的过程的示意图；

图8是根据本发明的实施例的、示出加权因子A_k和B_k的表格；以及

图9是根据本发明的实施例的、示出计算深度信息的方法的流程图。

具体实施方式

现在将详细参考实施例，附图中示出了其示例。在附图中，为了说明的清楚，层和区域的宽度和厚度被放大。在描述中，相同的参考标号始终指示相同元件。在元件列表之前的诸如“中的至少一个”的表达修饰整个元件列表并且不修饰该列表的各个元件。

图1是根据本发明的实施例的三维(3D)图像获取装置100的示意图。参照图1，3D图像获取装置100可以包括用于生成具有预定波长的光的光源101、用于调制从对象200反射的光的光调制器103、用于从已调制光生成子图像的图像拾取装置105、用于基于通过图像拾取装置105形成的子图像计算深度信息并且生成包括深度信息的图像的信号处理器106、以及用于控制光源101、光调制器103、图像拾取装置105、和信号处理器106的操作的控制器107。

此外，在光调制器103的光入射面的前面，3D图像获取装置100还可以包括用于仅传送从对象200反射的光当中的具有预定波长的光的滤波器108、以及用于将反射光集中在光调制器103的区域之内的第一镜头109、以及在光调制器103和图像拾取装置105之间的、用于将已调制光集中在图像拾取装置105的区域之内的第二镜头110。

例如，光源101可以是能够发射为了安全性而人眼不可见的、具有大约850纳米的近红外(NIR)波长的光的发光二极管(LED)或激光二极管(LD)。然而，光源101不局限于此波段或类型。

从光源101投射到对象200的光可以具有的形态是具有预定周期的、周期性的连续函数。例如，投射光可以具有诸如正弦波、斜波、或方波、或未定义的通用波形的具体定义的波形。此外，光源101可以在控制器107控制之下以周期性的方式仅在预定时间期间集中地将光投射到对象200。光投射到对象200的时间被称为光投射时间。

光调制器103在控制器107控制之下调制从对象200反射的光。例如，光调制器103可以响应于具有预定波长的光学调制信号通过改变增益来调制反射光的强度。为此，光调制器103可以具有可变增益。

光调制器103可以依据距离以数十到数百兆赫的高调制频率操作以识别光的相位差或传播时间。作为满足此条件的光调制器103，可以使用包括多通道板(Multi Channel Plate,MCP)的子图像增强器、GaAs系列的固态光调制器、或使用电光材料的薄型光调制器。虽然在图1中光调制器103是发射型光调制器，但是还可以使用反射型光调制器。

与光源101类似，光调制器103还可以在预定时间期间操作以调制从对象200反射的光。光调制器103进行操作以调制光的时间被称为光调制器103的操作时间。光源101的光投射时间可以与光调制器103的操作时间同步。从而，光调制器103的操作时间可以与光源101的光投射时间相同或比光源101的光投射时间更短。

图像拾取装置105在控制器107的控制之下通过检测由光调制器103调制的反射光来生成子图像。例如，如果只想要测量到对象200上的任何一个点的距离，则图像拾取装置105可以使用诸如光电二极管或积分器之类的单个光学传感器。然而，如果想要测量到对象200上的多个点的距离，则图像拾取装置105可以具有多个光电二极管或其他光检测器的2D或1D阵列。例如，图像拾取装置105可以包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。图像拾取装置105可以对每个反射光束生成单个子图像。

信号处理器106基于由图像拾取装置105形成的子图像来计算深度信息并生成包括深度信息的3D图像。例如，可以通过专用集成电路(IC)或安装在3D图像获取装置100中的软件实现信号处理器106。当通过软件实现信号处理器106时，信号处理器106可以存储在分离的便携式存储介质中。

在下文中，描述具有以上所述结构的3D图像获取装置100的操作。

光源101在控制器107的控制之下依次并集中地向对象200投射具有预定周期和波形的N个不同的光束，其中N可以是3或更大的自然数。光源101可以依次地连续投射或以预定时间间隔投射具有Ｎ个不同的光束。

例如，当使用4个不同的投射光束时，光源101可以在时间T1期间生成并向对象200投射第一投射光束、在时间T2期间生成并向对象200投射第二投射光束、在时间T3期间生成并向对象200投射第三投射光束、以及在时间T4期间生成并向对象200投射第四投射光束。依次投射到对象200的这些第一投射光束到第四投射光束可以具有的形态是具有预定周期的连续函数，诸如正弦波。例如，第一投射光束到第四投射光束可以是具有相同的周期和波形以及不同的强度或相位的周期波。

当N个不同的光束被投射时，同时投射的任何两个光束之间的相位差可以是360°/N，并且每个投射光束的周期可以比光源101的操作时间更短。全部N个不同的光束可以在光源101的操作时间之内依次投射到对象200。

投射到对象200的光束在对象200的表面上反射并且入射到第一镜头109。通常，对象200具有多个表面，该多个表面具有距离3D图像获取装置100的不同的距离,即,深度。为了简化描述，图1示出具有5个表面P1到P5的对象200，该5个表面P1到P5具有不同的深度。当投射光束从具有不同深度的5个表面P1到P5反射时，生成5个不同时间延迟(即，不同相位)的反射光束。

例如，当第一投射光束从对象200的5个表面P1到P5反射时生成具有不同相位的5个第一反射光束，并且当第二投射光束从对象200的5个表面P1到P5反射时生成具有不同相位的5个第二反射光束。同样，当第N投射光束从对象200的5个表面P1到P5反射时生成具有不同相位的5个第N反射光束。从距离3D图像获取装置100最远的表面P1反射的反射光束以Φ_P1的相位延迟到达第一镜头109，并且从距离3D图像获取装置100最近的表面P5反射的反射光束以小于Φ_P1的Φ_P5的相位延迟到达第一镜头109。

第一镜头109将反射光聚焦在光调制器103的区域之内。用于仅发送具有预定波长的光的滤波器108可以布置在第一镜头109和光调制器103之间以除去除预定波长之外的诸如背景光的环境光。例如，当光源101发出具有大约850纳米的NIR波长的光时，滤波器108可以是用于发送大约850纳米的NIR波段的NIR带通滤波器。从而，虽然入射到光调制器103的光可以几乎全是从光源101发出的并从对象200反射的光，但是环境光也包括在其中。虽然图1示出滤波器108布置在第一镜头109和光调制器103之间，但是第一镜头109和滤波器108的位置可以交换。例如，首先穿过滤波器108的NIR光可以通过第一镜头109聚焦于光调制器103。

光调制器103将反射光调制成为具有预定波长的光调制信号。为了描述方便起见，假定对象200的5个表面P1到P5对应于图像拾取装置105的划分在5个区域中的像素。光调制器103的增益波长的周期可以与投射光长的周期相同。在图1中，光调制器103可以调制从对象200的5个表面P1到P5反射的5个第一反射光束并且向图像拾取装置105提供调制光束，以及顺次地，可以对5个第二反射光束到5个第N反射光束依次进行调制并且向图像拾取装置105提供调制光束。当反射光穿过光调制器103时可以按照将反射光乘以光调制信号获得的值来调制反射光的强度。光调制信号的周期可以与投射光的周期相同。

从光调制器103输出的强度已调制光由第二镜头110进行倍率调整并重调焦距并且到达图像拾取装置105。从而，已调制光通过第二镜头110聚集在图像拾取装置105的区域之内。图像拾取装置105可以通过与光源101和光调制器103同步在预定时间期间接收已调制光以生成子图像。图像拾取装置105曝光以接收已调制光的时间是图像拾取装置105的曝光时间。

现在将描述从N个反射光束生成N个子图像的方法。

图2(A)到图2(D)示出根据本发明的实施例的、通过调制N个不同的反射光束生成N个不同的子图像的过程。

如图2(A)所示，图像拾取装置105通过在从对象200的5个表面P1到P5反射之后在预定曝光时间期间接收被调制的5个第一反射光束来生成第一子图像。此后，如图2(B)所示，图像拾取装置105通过在从对象200的5个表面P1到P5反射之后在预定曝光时间期间接收被调制的5个第二反射光束来生成第二子图像。在重复这些程序之后，如图2(C)所示，图像拾取装置105通过在从对象200的5个表面P1到P5反射之后在预定曝光时间期间接收被调制的5个第N反射光束来最终生成第N子图像。以这样的方式，可以依次获得如图2(D)所示的N个不同的子图像。

第一子图像到第N子图像可以是用于生成图像的单个帧的子帧图像。例如，假定单个帧的周期是Td，则图像拾取装置105获得第一子图像到第N子图像的每一个的曝光时间可以是大约Td/N。

在图2(A)到图2(D)中，已经描述通过使用N个不同的投射光束和N个不同的反射光束来生成N个不同的子图像的情况。然而，还有可能将相同的反射光束用于全部子图像并且光调制器103利用不同的增益波形来调制用于子图像的每一个的反射光束。

图3(A)到图3(D)示出根据本发明的实施例的、利用一个相同的投射光束和N个不同的光学调制信号生成N个不同的子图像的过程。参照图3，通过从对象200反射投射光束生成的反射光束对于全部子图像具有相同的波形和相位。如上所述，根据对象200的表面P1到P5，用于每个子图像的反射光束具有不同的相位时延Φ_P1到Φ_P5。如图3(A)到图3(C)所示，光调制器103通过使用第一光调制信号调制5个第一反射光束，通过使用不同于第一光调制信号的第二光调制信号调制5个第二反射光束，并且通过使用不同于任何其他光调制信号的第N光调制信号调制5个第N反射光束。此处，第一光调制信号到第N光调制信号可以具有彼此完全不同的波形或者具有相同的周期和波形但是它们的相位不同。因此，如图3(D)所示，图像拾取装置105可以获得N个彼此不同的第一子图像到第N子图像。

在下文中，描述通过使用信号波形生成子图像的方法。

为了描述方便起见，光源101向对象200投射N个不同的投射光并且光调制器103使用单个相同的光调制信号的实施例被描述为示例。然而，下面理论上的描述可以同等地施加于使用一个相同的投射光束和N个不同的光调制信号的情况。此外，因为计算深度信息的方法同等地应用于每个像素甚至用于由图像拾取装置105形成的子图像是2D阵列子图像的情况，所以仅描述应用于单个像素的方法。然而，当同时从2D阵列子图像中的多个像素计算深度信息时，通过省略将要通过有效地处理数据管理和存储器分配来重复地处理的部分可以减少计算量。

首先，具有周期T_e的通用的投射光的波形P_e可以由等式1表达。

$P_e^{\left(s\right)}\left(t\right)=a^{\left(s\right)}\sin (\mathrm{\ωt}-{\mathrm{\θ}}^{\left(s\right)})+{\stackrel{\‾}{P}}_{\mathrm{ave}}---\left(1\right)$

此处，s表示用于识别彼此不同的第一投射光束到第N投射光束的标识符。例如，当使用N个投射光束时，s=1,2，...,N。此外，ω表示每个投射光束的波形的角频率，其中ω=2π/T_e。此外，a^(s)表示投射光束的强度，并且θ^(s)表示投射光束的相位。此外，

表示可以存在于每个投射光束中的直流电(DC)偏移值。

在投射光从对象200反射之后返回到3D图像获取装置100的具有相位差Φ_TOF的反射光的波形P_r可以由等式2表达。

此处，r表示对象200的每个表面的反射角度，并且

表示与投射光无关的、入射到3D图像获取装置100的环境光分量。

此外，光调制器103的光调制信号的波形G可以由等式3表达。在等式3中，系数c表示光调制信号的强度并且

表示可以存在于光调制信号中的DC偏移值。此处，假定控制光调制器103以使得光调制信号的角频率ω与投射光的角频率相同。

$G\left(t\right)=c\sin \left(\mathrm{\ωt}\right)+{\stackrel{\‾}{G}}_{\mathrm{ave}}---\left(3\right)$

在穿过光调制器103之后到达图像拾取装置105的光的波形可以是通过将由等式2表达的反射光乘以光调制信号获得的结果。从而，到达图像拾取装置105的光的瞬时波形I_inst可以由等式4表达。

$I_{\mathrm{inst}}^{\left(s\right)}\left(t\right)=P_r^{\left(s\right)}\left(t\right)\×G\left(t\right)---\left(4\right)$

图像拾取装置105可以通过在预定曝光时间T期间接收入射光来生成子图像。从而，通过在曝光时间T期间将由等式4表达的瞬时波形积分来获得由图像拾取装置105生成的子图像。此处，曝光时间T可以与子帧的周期相同。例如，当以30帧每秒的速度执行拍摄并且每个帧具有N个子帧时，曝光时间T可以是大约0.033/N秒。虽然依据图像拾取装置105的灵敏度，在到达图像拾取装置105的光的强度与由图像拾取装置105形成的子图像之间可以存在预定转化比率，但是为了描述方便起见，可以简化预定转化比率以便由等式5定义图像拾取装置105的子图像I^(s)。

$I^{\left(s\right)}\≡\frac{2}{T}{\∫}_0^T{I}_{\mathrm{inst}}^{\left(s\right)}\left(t\right)\mathrm{dt}---\left(5\right)$

如由等式5表达的，形成的子图像I^(s)包括环境光分量。诸如太阳光或照明光的环境光具有的基本性能是它总是以均匀的量存在。相反地，可以依照期望来调整投射光的波形。因此，光源101与光调制器103同步以使得投射光在预定时间期间集中地投射并且光调制器103在该预定时间期间操作以调制反射光。此外，光调制器103可以在投射光不投射的时间期间不操作，以保持最小透射率，从而防止接收环境光。通过此操作，可以减少等式5的环境光分量。此处，投射光的投射时间对投射光的非投射时间的比率被称为占空比。当占空比小于100%时，光被间断地投射。

图4A是当投射光的占空比是100%时、当3D图像被拍摄时的时间图，并且图4B是当投射光的占空比是20%时、当3D图像被拍摄时的时间图。在图4A和图4B中，光源101、光调制器103、和图像拾取装置105操作。假定从光源101输出的光是红外光并且图4B的光源101通过仅在预定时间期间增加瞬时功率来向对象200集中地投射光以使得相同的光强度入射到光调制器103。在图4A和图4B中，环境光的强度和红外光的强度仅是示例并且不限于此。当然，具有100%的占空比的红外光的强度可以大于环境光的强度。例如，在室内、多云、或暗环境中红外光的强度可以大于环境光的强度，而在海边或阳光充足的环境中，环境光的强度可以大于红外光的强度。

在图4A中，光调制器103与光源101的光投射时间同步并且调制从对象200反射的光。然后，图像拾取装置105通过使用已调制光生成子图像。此处，因为入射到光调制器103的光还包括除从光源101投射的以及从对象200反射的光之外的环境光，所以光调制器103可以调制包括环境光的光，并且由图像拾取装置105生成的子图像还可以包括环境光分量。

图4B的光源101通过仅仅在预定时间期间增加瞬时功率来向对象200集中地投射光。此外，光调制器103的操作时间与光源101的光投射时间同步并且调制从对象200反射的光。此外，光调制器103可以在投射光不投射的时间期间不操作，以保持最小透射率，从而防止接收环境光。结果，在由图像拾取装置105拍摄的子图像中，可以减少环境光分量并且可以保持光源101的投射光分量。因此，当投射光的占空比从100%减少到20%时，环境光分量也可以减少1/5，并且由环境光分量引起的信噪比(S/N)可以增加5倍。

如上所述，为了减少环境光分量，光源101应该以小于100%的占空比投射光。此外，光调制器103的操作时间应该与光源101的光投射时间同步并且以数十到数百兆赫的高调制频率同时操作。作为满足此条件的光调制器103，例如，可以使用包括MCP的子图像增强器、GaAs系列的固态光调制器、或使用电光材料的薄型光调制器。

图像拾取装置105可以操作为全局快门或卷帘快门。全局快门的工作原理是当生成单个子图像时全部像素同时曝光。从而，在像素之间不存在曝光时间差。然而，卷帘快门的工作原理是当生成单个子图像时每个像素依次曝光。从而，在每两个像素之间存在曝光时间差。

图像拾取装置105的曝光时间还可以与光源101的光投射时间以及光调制器103的操作时间同步。当图像拾取装置105操作为全局快门时，控制器107将图像拾取装置105的曝光时间与光调制器103的操作时间同步。即使当图像拾取装置105操作为卷帘快门的时候，如果图像拾取装置105的全部像素的曝光时间等于或长于光调制器103的操作时间，则控制器107可以将图像拾取装置105的曝光时间与光调制器103的操作时间同步。

图5是根据本发明的实施例的、当通过将光源101、光调制器103、以及图像拾取装置105彼此同步来拍摄图像时的时间图。为了描述方便起见，图5示出利用具有不同相位差的4个投射光束拍摄图像的方法。

如图5所示，当图像拾取装置105操作为卷帘快门时，图像拾取装置105的曝光时间和子图像形成时间以行为基础变化。也就是说，图像拾取装置105以行为基础有时间延迟地拍摄和形成子图像。

在图5中，光源101的光投射时间、光调制器103的操作时间、以及图像拾取装置105的曝光时间彼此同步，并且图像拾取装置105的全部像素可以在图像拾取装置105的曝光时间期间曝光。在这种情况下，由图像拾取装置105形成的N个子图像可以依次一对一匹配于N个反射光束。

当光调制器103的单个操作时间比图像拾取装置105中的全部像素的曝光时间更短时，图像拾取装置105的全部像素可以并不都在光调制器103的单个操作时间期间曝光。

图6是当在光调制器103的单个操作时间期间、图像拾取装置105的全部像素并不都被曝光时、当图像被拍摄时的时间图。为了描述方便起见，图6示出利用具有不同相位差的4个投射光束拍摄图像的方法。

如图6所示，在光调制器103的单个操作时间期间可以并不曝光图像拾取装置105的整个像素区域。因此，N个反射光束可以不依次一对一地匹配由图像拾取装置105形成的行子图像。在这种情况下，信号处理器106将由图像拾取装置105以行为基础形成的行子图像I1’、I2’、I3’、和I4’转换成为一对一匹配N个反射光束0°、90°、180°、和270°的行子图像I1、I2、I3、和I4。

为此，信号处理器106可以将由等式6表达的转换矩阵应用于由图像拾取装置105以行为基础形成的行子图像。在等式6中，示出了用于转换对应于4个反射光束的4个行子图像I1’、I2’、I3’、和I4’的4*4转换矩阵。当然，N*N转换矩阵可以应用于N个行子图像。

${\left[\begin{array}{c}{I}_1\\ I_2\\ I_3\\ I_4\end{array}\right]}_{\mathrm{linek}}={\left[\begin{array}{cccc}{A}_{11}& A_{12}& A_{13}& A_{14}\\ A_{21}& A_{22}& A_{23}& A_{24}\\ A_{31}& A_{32}& A_{33}& A_{34}\\ A_{41}& A_{42}& A_{43}& A_{44}\end{array}\right]}_{\mathrm{linek}}{\left[\begin{array}{c}{I}_1^{\′}\\ I_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\end{array}\right]}_{\mathrm{linek}}=A_{\mathrm{linek}}{\left[\begin{array}{c}{I}_1^{\′}\\ I_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\end{array}\right]}_{\mathrm{linek}}---\left(6\right)$

此处，k表示图像拾取装置105的行，并且A_ij表示基于图像拾取装置105的曝光时间和子图像的成像时间而预先定义和存储的转换值。

例如，图6中的第一行的转换表达式由等式7表达。

${\left[\begin{array}{c}{I}_1\\ I_2\\ I_3\\ I_4\end{array}\right]}_{\mathrm{line}1}=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\end{array}\right]{\left[\begin{array}{c}{I}_1^{\′}\\ I_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\end{array}\right]}_{\mathrm{line}1}={\left[\begin{array}{c}{I}_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\\ I_1^{\′}\end{array}\right]}_{\mathrm{line}1}---\left(7\right)$

由等式8表达最后的行,即,第1238行的转换表达式。

${\left[\begin{array}{c}{I}_1\\ I_2\\ I_3\\ I_4\end{array}\right]}_{\mathrm{line}1238}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]{\left[\begin{array}{c}{I}_1^{\′}\\ I_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\end{array}\right]}_{\mathrm{line}1238}={\left[\begin{array}{c}{I}_1^{\′}\\ I_2^{\′}\\ I_3^{\′}\\ I_4^{\′}\end{array}\right]}_{\mathrm{line}1238}---\left(8\right)$

通过转换矩阵转换的子图像I^(s)可以应用于等式5。

在将N个行子图像与N个相位差进行一对一匹配之后，信号处理器106通过组合基于行的行子图像来生成N个子图像然后从N个子图像计算深度信息。

图7是用于描述根据本发明的实施例的、从N个不同的图像计算深度信息的过程的示意图。参照图7，信号处理器106通过将N个子图像分别乘以加权因子A₁到A_N，并且对加权的子图像取平均来生成第一平均值图像V，并且通过将N个子图像分别乘以加权因子B₁到B_N，并且对加权的子图像取平均来生成第二平均值图像U。

可以基于子图像的数量N预先定义和存储应用于此实施例的加权因子A₁到A_N以及B₁到B_N。例如，加权因子A_k和B_k可以由等式9表达。

$A_k=\mathrm{sum}[a^{\left(i\right)}\cos {\mathrm{\θ}}^{\left(i\right)}-a^{\left(j\right)}{\cos \mathrm{\θ}}^{\left(j\right)};(i,j){\mathrm{is}}_{N-1}{C}_2^{(\≠k)}\mathrm{of}\{1:N\left\}\right]$

$B_k=\mathrm{sum}[a^{\left(i\right)}\sin {\mathrm{\θ}}^{\left(i\right)}-a^{\left(j\right)}{\sin \mathrm{\θ}}^{\left(j\right)};(i,j){\mathrm{is}}_{N-1}{C}_2^{(\≠k)}\mathrm{of}\{1:N\left\}\right]---\left(0\right)$

在等式9中，i和j表示自然数1到N当中不同于k的任何其他数字(i≠k，j≠k)，a⁽ⁱ⁾表示投射光束i的强度，并且相位θ⁽ⁱ⁾表示投射光束i的相位差。

在3D图像获取装置100的操作中，可以通过使用投射光束i的预定义的强度a⁽ⁱ⁾和相位θ⁽ⁱ⁾来数字化加权因子A_k和B_k，以将其用于计算深度信息。

图8是根据本发明的实施例的、示出加权因子A_k和B_k的表格。

在图8的表格中，假定投射光的强度对任何情况是都一样的并且通过用N等分360°来定义相位。例如，当N=3时，相位θ⁽¹⁾、θ⁽²⁾、和θ⁽³⁾分别是0°、120°、和240°。

如图8所示，当预先计算的加权因子存储在3D图像获取装置100的存储器(未示出)中时，信号处理器106在每次计算深度信息时不必重新计算加权因子。也就是说，信号处理器106可以依据拍摄的子图像的数量从存储器读取适当的加权因子，并且执行将拍摄的子图像乘以读取的加权因子的计算。从而，深度信息的实时计算是可能的。此外，因为可以显著地减少除去不规则噪声必需的存储器使用量和计算量，所以可以减少3D图像获取装置100的尺寸和制造成本。

虽然图8的表格示出用于投射光的强度和相位的一个集合的加权因子，但是在实际使用时可以预先计算用于投射光的强度和相位的不同的集合的加权因子的集合。因此，当深度信息被计算时，信号处理器106可以从存储器读取对应于使用的投射光的强度和相位的集合以及拍摄的子图像的数量的加权因子的集合。此处，存储器可以包括在控制器107或者信号处理器106中或者可以是分离的储存设备。

如上所述的加权因子的使用可以允许信号处理器106甚至使用仅利用乘法和加法的权重平均法而不使用复杂的平均算法来计算除去了不规则噪声的深度信息。

信号处理器106可以从第一平均值图像V对第二平均值图像U的比率V/U的反正切值(arctan=tan^-1)来计算深度信息。深度信息由等式10计算。

$\mathrm{depth}=\frac{{\mathrm{CT}}_e}{4\mathrm{\π}}{\mathrm{\φ}}_{\mathrm{TOF}}^{\left(\mathrm{AVG}\right)}---\left(10\right)$

在等式10中，C表示光速而T_e表示投射光波形的周期。

虽然已经在图7中描述信号处理器106在接收全部N个子图像之后计算图像的帧的深度信息,然后在接收全部N个新子图像之后计算图像的后续的帧的深度信息，但是信号处理器106不限于此。也就是说，信号处理器106可以更新用于每个子图像的深度信息。

例如，从第一子图像到第N子图像计算深度信息的方法与参照图3描述的方法相同。此后，当获得第(N+1)子图像时，可以通过除去第一子图像而使用第二子图像到第(N+1)子图像按照以上描述的权重平均法来重新计算深度信息。同样，当获得第(N+2)子图像时，可以通过除去第二子图像而使用第三子图像到第(N+2)子图像来重新计算深度信息。以这种方式，当N个子图像以先进先出(FIFO)方法保持在存储器中时，可以计算用于每子图像的新的深度信息。

此外，虽然已经描述了一个接一个地添加新子图像和同时一个接一个地除去现有的子图像的方法，但是可以在除去多个现有的子图像的同时添加相同数量的新的子图像。例如，通过添加小于N个的新子图像并除去相同数量的旧的子图像将子图像的总数保持为N。

可替换地，为了计算第一平均图像V和第二平均图像U，信号处理器106可以通过使用由等式11表达的递归求和来计算第一平均图像V和第二平均图像U。

V_N+1＝V_N+A_NI^(N)

U_N+1＝U_N+B_NI^(N)    (11)

在这种情况下，当第N子图像被拍摄时，信号处理器106更新第一平均图像V_N和第二平均图像U_N并且除去当第(N-1)子图像被拍摄时生成的第一平均图像V_N-1和第二平均图像U_N-1。如上所述，如果以递归求和法生成第一平均图像和第二平均图像，则不必存储全部N个子图像，因此可以节省存储器空间。当包括深度信息的子图像具有多于百万像素的高分辨率时此存储空间可能是显著的。

在此实施例中，已经描述了在像素以2D阵列形式排列的图像拾取装置105中生成子图像的方法。然而，无论像素是否以1D阵列形式排列或是存在单个像素，都可以应用此子图像生成方法。

图9是示出上面已经描述的、计算深度信息的方法的流程图。参照图9，在操作S1中，光源101在控制器107控制之下向对象200依次投射N个不同的投射光束。此处，N可以是3或更大的自然数。N个不同的投射光束可以具有周期相同而强度或相位彼此不同的波形。N个不同的投射光束从对象200的表面反射然后依次入射到光调制器103作为N个不同的反射光束。在操作S2中，光调制器103的操作时间与光源101的光投射时间同步，并且光调制器103利用具有预定增益波形的光调制信号来调制从对象200的表面反射的Ｎ个不同的反射光束。此处，光调制信号可以是具有与投射光束的周期相同周期的周期波。如上所述，当通过将光源101的光投射时间与光调制器103的操作时间同步而仅仅在预定时间期间投射光时，并且当投射光被调制时，可以最小化已调制光中的环境光。

在操作S3中，图像拾取装置105通过依次拍摄N个调制的反射光束来生成N个子图像。图像拾取装置150的曝光时间还可以与光调制器103的操作时间同步。N个生成的子图像被传送到信号处理器106。

由图像拾取装置150生成的N个子图像可以依次与N个反射光束一对一匹配。然而，当N个子图像无法依次与N个反射光束一对一匹配时，则信号处理器106可以以行为基础转换N个子图像并且将N个基于行的子图像与N个反射光束一对一匹配。

在操作S4中，信号处理器106从存储器读取预定的预先计算的加权因子A_k和B_k。如上所述，可以基于使用的投射光束的数量N、投射光束的强度、以及投射光束的相位来定义加权因子A_k和B_k。依据投射光束的数量N、投射光束的强度、以及投射光束的相位的不同的集合，不同的加权因子A_k和B_k被预先计算并存储在存储器中。信号处理器106可以从存储在存储器中的不同的加权因子A_k和B_k当中读取对应于实际使用的投射光束的数量N、投射光束的强度、以及投射光束的相位的加权因子。

在操作S5中，信号处理器106通过将与N个反射光束一对一匹配的N个子图像乘以第一加权因子A_k并且对乘法结果取平均来获得第一平均图像V。同样，在操作S6中，信号处理器106通过将N个子图像乘以第二加权因子B_k并且对乘法结果取平均来获得第二平均图像U。在操作S7中，信号处理器106从第一平均图像V对第二平均图像U的比率(V/U)来计算深度信息，该深度信息是从3D图像获取装置100到对象200的距离。依据当前实施例，即使子图像的数量N增加，因为获得第一平均图像V和第二平均图像U所仅使用的乘法和加法操作按比例增加，所以在计算量方面的增加非常小。从而，可以仅利用相对较小计算量获得除去了不规则噪声的非常精确的深度信息。

如上所述，虽然在图9中已经描述了使用N个不同的投射光束的实施例，但是可以使用Ｎ个不同的光调制信号而不使用Ｎ个不同的投射光束。例如，Ｎ个不同的光调制信号可以是具有相同周期和波形以及不同强度或相位的周期波。甚至在这种情况下，也可以由图像拾取装置105获得N个不同的子图像，并且可以同等地应用计算深度信息的后续处理。然而，可以依据N个不同的光调制信号的强度和相位定义第一加权因子和第二加权因子。

如上所述，可以通过专用IC或安装在诸如个人计算机(PC)的通用计算机设备中的软件来实现信号处理器106，该信号处理器106用于通过执行以上描述的操作计算除去了不规则噪声的深度信息。当通过软件实现信号处理器106时，信号处理器106可以以计算机可运行的格式存储在分离的便携式存储介质中。

已经描述并在附图中示出了3D图像获取装置和该3D图像获取装置中计算深度信息的方法的示范性实施例。然而，应当理解，在其中描述的示范性实施例应该被认为仅出于描述意义而不是限制目的。每个实施例内的特征或方面的描述应当通常被认为是可以用在其它实施例中其它相似的特征或方面。

Claims (39)

1.一种三维（3D）图像获取装置，包括：

光调制器，用于调制从被依次投射N个光束的对象反射的光，其中N是3或更大的自然数；

图像拾取装置，用于通过拍摄由所述光调制器调制的光来生成N个子图像；以及

信号处理器，用于通过使用所述N个子图像来计算关于到所述对象的距离的深度信息。

2.如权利要求1所述的3D图像获取装置，其中所述N个光束被间断地投射。

3.如权利要求1所述的3D图像获取装置，其中所述N个投射光束彼此不同并由一个或多个光源发出。

4.如权利要求3所述的3D图像获取装置，其中所述一个或多个光源以预定时间间隔依次投射所述N个光束。

5.如权利要求1所述的3D图像获取装置，其中所述光调制器的操作时间与所述N个光束的每一个的投射时间同步。

6.如权利要求5所述的3D图像获取装置，其中所述光调制器的操作时间比所述N个光束的每一个的投射时间更短。

7.如权利要求5所述的3D图像获取装置，其中所述图像拾取装置的曝光时间与所述光调制器的操作时间同步。

8.如权利要求1所述的3D图像获取装置，其中所述图像拾取装置在光投射时间期间曝光以拍摄已调制光并在光投射时间的剩余时间的至少一部分期间形成所述N个子图像。

9.如权利要求1所述的3D图像获取装置，其中在光投射时间期间所述图像拾取装置的全部像素都曝光给已调制光。

10.如权利要求1所述的3D图像获取装置，其中所述N个光束是具有相同周期且从由不同强度和不同相位构成的组中选择的至少一个的周期波。

11.如权利要求10所述的3D图像获取装置，其中所述光调制器利用相同调制信号调制反射的光。

12.如权利要求1所述的3D图像获取装置，其中所述N个光束是相同的周期波。

13.如权利要求1所述的3D图像获取装置，其中所述光调制器利用不同的调制信号调制反射的光。

14.如权利要求1所述的3D图像获取装置，其中所述N个光束当中在相邻的时间投射的任何两个光束之间的相位差是通过用N等分360°获得的值。

15.如权利要求1所述的3D图像获取装置，其中所述反射的光包括通过从所述对象反射所述N个光束获得的N个反射光束。

16.如权利要求1所述的3D图像获取装置，其中由所述图像拾取装置生成的所述N个子图像依次一对一匹配N个反射光束。

17.如权利要求1所述的3D图像获取装置，其中，如果所述N个子图像不一对一匹配N个反射光束，则所述信号处理器以行为基础转换所述Ｎ个子图像并且将N个基于行的子图像依次一对一匹配所述N个反射光束。

18.如权利要求1所述的3D图像获取装置，其中所述信号处理器通过对乘以第一加权因子的所述N个子图像取平均来生成第一平均图像，对乘以第二加权因子的所述N个子图像取平均来生成第二平均图像，并且从所述第一平均图像和所述第二平均图像计算深度信息。

19.如权利要求18所述的3D图像获取装置，其中从所述第一平均图像对所述第二平均图像的比率的反正切值计算所述深度信息。

20.一种计算深度信息的方法，所述方法包括：

调制从被依次投射N个光束的对象反射的光，其中N是3或更大的自然数；

通过拍摄已调制光来生成N个子图像；以及

通过使用所述N个子图像来计算关于到所述对象的距离的深度信息。

21.如权利要求20所述的方法，其中所述N个光束被间断地投射。

22.如权利要求20所述的方法，其中所述N个投射光束彼此不同并且由一个或多个光源发出。

23.如权利要求22所述的方法，其中所述N个光束以预定时间间隔依次被投射。

24.如权利要求20所述的方法，其中用于调制光的所述光调制器的操作时间与所述N个光束的每一个的投射时间同步。

25.如权利要求24所述的方法，其中所述光调制器的操作时间比所述N个光束的每一个的投射时间更短。

26.如权利要求24所述的方法，其中用于拍摄光的所述图像拾取装置的曝光时间与所述光调制器的操作时间同步。

27.如权利要求26所述的方法，其中在光投射时间期间所述图像拾取装置的全部像素都曝光给已调制光。

28.如权利要求20所述的方法，其中所述N个光束是具有相同周期且从由不同强度和不同相位构成的组中选择的至少一个的周期波，并且利用相同调制信号调制所述反射的光。

29.如权利要求20所述的方法，其中所述N个光束是相同的周期波，并且利用不同调制信号调制所述反射的光。

30.如权利要求20所述的方法，其中所述N个光束当中在相邻的时间投射的任何两个光束之间的相位差是通过用N等分360°获得的值。

31.如权利要求20所述的方法，其中所生成的N个子图像依次一对一匹配N个反射光束。

32.如权利要求20所述的方法，还包括，如果所述N个子图像不一对一匹配N个反射光束，则以行为基础转换所述N个子图像并且将所述N个基于行的子图像依次一对一匹配所述N个反射光束。

33.如权利要求20所述的方法，其中通过对乘以第一加权因子的所述N个子图像取平均来生成第一平均图像，对乘以第二加权因子的N个子图像取平均来生成第二平均图像，并且从所述第一平均图像和所述第二平均图像计算深度信息。

34.如权利要求33所述的方法，其中从所述第一平均图像对所述第二平均图像的比率的反正切值计算所述深度信息。

35.一种三维（3D）图像获取装置，包括：

光调制器，其调制从被间断地投射N个光束的对象反射的光；

控制器，其控制所述光调制器以使所述光调制器与所述N个光束中的每一个光束的投射时间同步。

36.如权利要求35所述的3D图像获取装置，还包括：

光源，其生成被依次投射的N个光束。

37.如权利要求35所述的3D图像获取装置，其中，N是大于或等于3的自然数。

38.如权利要求35所述的3D图像获取装置，还包括：

图像传感器，其通过拍摄由所述光调制器调制的光来生成N个子图像，

其中，所述图像传感器的曝光时间与所述光调制器的操作时间同步。

39.如权利要求38所述的3D图像获取装置，还包括：

信号处理器，其通过使用所述N个子图像来计算关于到所述对象的距离的深度信息。

Images