CN102694998A

CN102694998A - 深度传感器、深度信息误差补偿方法及信号处理系统

Info

Publication number: CN102694998A
Application number: CN2012100806682A
Authority: CN
Inventors: 闵桐基; 陈暎究
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-03-24
Filing date: 2012-03-23
Publication date: 2012-09-26
Anticipated expiration: 2032-03-23
Also published as: US8953152B2; CN102694998B; KR101788032B1; TW201243396A; TWI554787B; US20120242975A1; KR20120108383A

Abstract

本发明提供了一种深度传感器、深度信息误差补偿方法及信号处理系统。根据至少一个示例性实施例，深度信息误差补偿方法包括：将调制的光输出到目标对象；在第一时间间隔中的不同检测时间点对多个第一像素信号进行检测，所述第一像素信号表示在第一时间间隔期间从目标对象反射的光；在第二时间间隔的不同检测时间点对多个第二像素信号进行检测，所述第二像素信号表示在第二时间间隔期间从目标对象反射的光；将所述多个第一像素信号的每个第一像素信号和所述多个第二像素信号的每个第二像素信号进行比较并根据所述比较步骤计算到目标对象的深度信息。

Description

深度传感器、深度信息误差补偿方法及信号处理系统

本申请要求在2011年3月24日提交的第10-2010-0026166号韩国专利申请的优先权，该申请全部内容包含于此以资参考。

技术领域

发明构思的示例性实施例涉及深度信息计算，更具体地讲，涉及使用飞行时间(TOF)原理的深度传感器及其深度信息误差补偿方法以及包括所述深度传感器的信号处理系统。

背景技术

当使用飞行时间的深度传感器通过使用具有相位差0°、90°、180°和270°的多个信号没有同时检测到多个像素信号时，深度传感器可通过使用因时间间隔而具有相位差的多个信号来检测多个像素信号。

然而，在深度传感器通过使用因时间间隔而具有相位差的多个信号检测多个像素信号的同时，当目标对象快速或横向移动时，深度传感器可测量包括深度信息误差的深度信息。

发明内容

发明构思提供了一种深度传感器、深度信息误差补偿方法和具有该深度传感器的信号处理系统，所述深度传感器可将在不同时间间隔中检测的多个像素信号中的每个像素信号相互比较，并根据比较结果补偿深度信息误差。

发明构思的至少一个示例性实施例指向一种深度信息误差补偿方法，所述方法包括：将调制的光输出到目标对象；在第一时间间隔中的不同检测时间点对多个第一像素信号进行第一检测，所述第一像素信号表示在第一时间间隔期间从目标对象反射的光；在第二时间间隔的不同检测时间点对多个第二像素信号进行第二检测，所述第二像素信号表示在第二时间间隔期间从目标对象反射的光；将所述多个第一像素信号中的每个第一像素信号和所述多个第二像素信号中的每个第二像素信号进行比较；根据所述比较步骤计算到目标对象的深度信息。

所述第一检测步骤和第二检测步骤包括累积由于至少一个深度像素的光电门控制信号的相位差0°、90°、180°和270°而产生的电子。

计算到目标对象的深度信息的步骤包括：基于比较步骤产生多个比较值；确定所述多个比较值中的每个比较值是否大于阈值；根据确定步骤计算相位差；基于在第一时间间隔和第二时间间隔期间反射的光的频率和相位差计算深度信息。

如果深度像素具有一抽头像素结构，则计算相位差的步骤包括：如果所述多个比较值中的每个比较值小于阈值，则使用所述多个第二像素信号计算相位差。

如果深度像素具有一抽头像素结构并且所述多个比较值中的一个比较值大于阈值，则计算相位差的步骤包括：使用所述多个第二像素信号补偿到目标对象的深度信息误差；或使用与超过阈值的所述一个比较值相应的第一像素信号和除了与所述一个比较值相应的第二像素信号之外的第二像素信号来计算相位差。

如果深度像素具有一抽头像素结构，并且如果所述多个比较值中的两个比较值大于阈值，则所述计算相位差的步骤使用分别与所述两个比较值相应的两个第一像素信号和除了分别与所述两个比较值相应的两个第二像素信号之外的第二像素信号来计算相位差。

如果深度像素具有一抽头像素结构，计算相位差的步骤包括：如果所述多个比较值中的三个比较值大于阈值，则使用分别与所述三个比较值相应的三个第二像素信号来计算相位差。

如果深度像素具有一抽头像素结构，则计算相位差的步骤包括：如果所述多个比较值中的每个比较值大于阈值，则使用所述多个第二像素信号计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则计算相位差的步骤通过使用所述多个第二像素信号计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的一个比较值或两个比较值大于阈值，则计算相位差的步骤包括：使用分别与所述两个比较值相应的两个第一像素信号和除了分别与所述两个比较值相应的两个第二像素信号之外的第二像素信号，来计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的三个或多于三个的比较值大于阈值，则所述计算相位差的步骤包括：使用所述多个第二像素信号计算相位差。

示例性实施例指向一种深度传感器，所述深度传感器包括：光源，被配置为将调制的光输出到目标对象；深度像素，被配置为在第一时间间隔中的不同检测时间点检测多个第一像素信号，并且在第二时间间隔中的不同检测时间点检测多个第二像素信号，所述第一像素信号和第二像素信号表示从目标对象反射的光；数字电路，被配置为将所述多个第一像素信号和所述多个第二像素信号中的每一个分别转换为多个第一数字像素信号和多个第二数字像素信号；存储器，被配置为存储所述多个第一数字像素信号和所述多个第二数字像素信号；深度误差补偿器，被配置为将所述多个第一数字像素信号与所述多个第二数字像素信号分别进行比较，并根据比较结果计算到目标对象的深度信息。

深度误差补偿器被配置为基于比较结果产生比较值，确定多个比较值中的每个比较值是否大于阈值，根据确定结果计算相位差，并基于反射的光的频率和相位差计算深度信息。

如果深度像素具有一抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

如果深度像素具有一抽头像素结构，并且所述多个比较值中的一个比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号补偿到目标对象的深度信息误差；或者使用与所述一个比较值相应的第一数字像素信号和除了与所述一个比较值相应的第二数字像素信号之外的第二数字像素信号来计算相位差。

如果深度像素具有一抽头像素结构，并且所述多个比较值中的两个比较值大于阈值，则深度误差补偿器被配置为通过使用分别与所述两个比较值相应的两个第一数字像素信号和除了分别与所述两个比较值相应的两个第二数字像素信号之外的第二数字像素信号来计算相位差。

如果深度像素具有一抽头像素结构，并且所述多个比较值中的三个比较值大于阈值，则深度误差补偿器被配置为使用分别与所述三个比较值相应的第二数字像素信号来计算相位差。

如果深度像素具有一抽头像素结构，并且所述多个比较值中的每个比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则深度误差补偿器被配置为通过使用所述多个第二数字像素信号计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的一个比较值或两个比较值大于阈值，则深度误差补偿器被配置为使用分别与所述两个比较值相应的两个第一数字像素信号和除了分别与所述两个比较值相应的两个第二数字像素信号之外的第二数字像素信号，来计算相位差。

如果深度像素具有两抽头像素结构，并且所述多个比较值中的三个或三个以上的比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

至少一个示例性实施例指向一种信号处理系统，所述信号处理系统包括：深度传感器；和处理器，用于控制深度传感器的操作。所述深度传感器包括：光源，被配置为将调制的光输出到目标对象；深度像素，被配置为在第一时间间隔中的不同检测时间点检测多个第一像素信号，并且在第二时间间隔中的不同检测时间点检测多个第二像素信号，所述第一像素信号和第二像素信号表示从目标对象反射的光；数字电路，被配置为将所述多个第一像素信号和所述多个第二像素信号中的每一个转换为多个第一数字像素信号和多个第二数字像素信号中的每一个；存储器，被配置为存储所述多个第一数字像素信号和所述多个第二数字像素信号；深度误差补偿器，被配置为将所述多个第一数字像素信号与所述多个第二数字像素信号分别进行比较，并根据比较结果计算到目标对象的深度信息。

至少一个示例性实施例指向一种三维图像传感器，所述三维图像传感器包括：光源，被配置为将调制的光输出到目标对象；包括深度像素的像素阵列，所述深度像素被配置为在第一时间间隔中的不同检测时间点检测多个第一像素信号，并且在第二时间间隔中的不同检测时间点检测多个第二像素信号，所述第一像素信号和第二像素信号表示从目标对象反射的光，所述像素阵列还包括用于输出红色、绿色和蓝色(RGB)像素信号的RGB像素；和图像信号处理器，被配置为产生三维图像信息，其中，图像信号处理器被配置为将从所述多个第一像素信号转换的多个第一数字像素信号和从所述多个第二像素信号转换的多个第二数字像素信号分别进行比较，并基于根据比较结果的到目标对象的深度信息和与所述RGB像素信号相应的RGB数字信号产生三维图像信息。

至少一个示例性实施例指向一种操作图像传感器的方法，所述操作图像传感器的方法包括：在第一时间间隔期间获得多个第一像素信号，所述第一像素信号表示在第一时间间隔中的时间点期间从对象反射的光；在第二时间间隔期间获得多个第二像素信号，所述第二像素信号表示在第二时间间隔中的时间点期间从对象反射的光；基于所述多个第一像素信号和所述多个第二像素信号产生值；确定所述值中的至少一个是否小于阈值，并基于所述值中的至少一个是否超过阈值确定相位差，所述相位差表示所述第一像素信号和所述第二像素信号中的至少一个和由图像传感器产生的控制信号之间的相位差。

附图说明

从下面结合附图对实施例的描述中，发明构思的这些和/或其他方面和优点将会更清楚并更容易被理解，其中：

图1是根据示例性实施例的深度传感器的框图；

图2是在图1的阵列中示出的一抽头深度像素的平面图；

图3是按I-I’切开图2的一抽头深度像素的横截面图；

图4是示出用于控制包括在图1中示出的一抽头深度像素中的光电门的光电门控制信号的时序图；

图5是用于解释通过使用图1中示出的一抽头深度像素连续检测的多个像素信号的时序图；

图6A是用于解释通过使用通过利用图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的示图的示例；

图6B是用于解释通过使用通过利用图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图6C是用于解释通过使用通过利用图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图6D是用于解释通过使用通过利用图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图6E是用于解释通过使用通过利用图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图7是用于解释根据示例性实施例的深度信息误差补偿方法的流程图；

图8是用于示出包括使用传统估计算法的深度传感器的深度信息误差和根据示例性实施例的图1中示出的深度传感器的深度信息误差补偿的曲线图的示例；

图9是根据另一示例性实施例的深度传感器的框图；

图10是图9的阵列中使出的两抽头深度像素的平面图；

图11是按I-I’切开图9中使出的两抽头深度像素的横截面图；

图12是示出用于控制包括在图9中示出的两抽头深度像素中的多个光电门的光电门控制信号的时序图；

图13是用于解释通过使用图9中示出的两抽头深度像素连续检测的多个像素信号的时序图；

图14A是用于解释通过使用通过利用图9中示出的两抽头深度像素连续检测的多个像素信号计算深度信息的方法的示例的示图；

图14B是用于解释通过使用通过利用图9中示出的两抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图14C是用于解释通过使用通过利用图9中示出的两抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图；

图15是用于解释根据另一示例性实施例的深度信息误差补偿方法的流程图；

图16A是三维图像传感器的单位像素阵列的示例；

图16B是三维图像传感器的单位像素阵列的另一示例；

图17是根据示例性实施例的三维图像传感器的框图；

图18是包括图17中示出的三维图像传感器的图像处理系统的框图；

图19是示出根据示例性实施例的彩色图像传感器和包括深度传感器的图像处理系统的框图；

图20是包括根据另一示例性实施例的深度传感器的信号处理系统的框图。

具体实施方式

下面将参照示出一些示例性实施例的附图来更全面地描述各种示例性实施例。然而，可以以多种不同形式来实施发明构思，并且发明构思不应该被解释为限于这里阐述的示例性实施例。相反，提供这些示例性实施例，从而本公开将会是彻底和完整的，并向本领域的那些技术人员全面传达发明构思的范围。在附图中，为了清楚起见，可夸大部件的大小和相对大小。相同的标号始终指相同的部件。

将理解：尽管术语第一、第二、第三等在这里可被用于描述各种部件，但是这些部件不应该被这些术语所限制。这些术语用于区分一个部件与另一部件。因此，在不脱离发明构思的教导的情况下，下面讨论的第一部件可被称作第二部件。如这里所使用的，术语“和/或”包括相关的列出的项的一个或多个任意组合和所有组合。

将理解：当部件被称作“连接”或“接合”到另一部件时，该部件可直接连接或接合到另一部件或者可存在中间部件。相反，当部件被称作“直接连接”或“直接接合”到另一部件时，不存在中间部件。应该以相同的方式解释其他用于描述部件之间的关系的词语(例如，“在......之间”与“直接在......之间”，“与......相邻”与“与......直接相邻”等)。

这里使用的术语只是为了描述特定示例性实施例的目的，而不意图限制发明构思。如这里所使用的，单数形式也意图包括复数形式，除非上下文清楚地有相反的表示。应该进一步理解，在说明书中使用的术语“包含”、“包括”表示存在提到的特征、整数、步骤、操作、部件和/或元件，但是不排除一个或多个其他特征、整数、步骤、操作、部件、元件和/或它们的组合的存在或增加。

除非另有限定，这里使用的所有术语(包括科技术语)具有与这些发明构思所属领域技术人员所公知的相同含义。还应该理解，比如在通用词典中定义的术语应该被解释为具有与相关领域的环境中它们的含义一致的含义，不应该被解释为理想化的或者过于形式意义的，除非在这里清楚地这样定义。

图1是根据示例性实施例的深度传感器的框图，图2是在图1的阵列中示出的一抽头深度像素的平面图，图3是按I-I’切开图2的一抽头深度像素的横截面图，图4是用于控制包括在图1所示的一抽头深度像素中的光电门的多个光电门控制信号的时序图，图5是用于解释通过使用在图1中示出的一抽头的深度像素连续检测的多个像素信号的时序图。

参照图1至图5，可通过使用飞行时间(TOF)原理测量距离或深度的深度传感器10包括半导体芯片20、光源32和透镜模块34，其中，所述半导体芯片20包括布置多个一抽头深度像素(检测器或传感器)23的阵列22。

在阵列22中二维地实现的多个一抽头深度像素23的每个一抽头深度像素包括光电门110。而且，多个一抽头深度像素23中的每个一抽头深度像素包括用于信号处理的多个晶体管。

行解码器24响应于从时序控制器(TC)26输出的行地址选择多行中的一行。这里，行表示在阵列22中以X方向布置的多个一抽头深度像素的集合。

光电门控制器(TG CON)28可在时序控制器26的控制下产生第一光电门控制信号Ga并将它提供给阵列22。

根据示例性实施例，在将第一光电门控制信号Ga提供给阵列22之后，光电门控制器28可在时序控制器26的控制下产生光电门控制信号，例如，第二光电门控制信号Gb、第三光电门控制信号Gc和第四光电门控制信号Gd，并进一步将它们提供给阵列22，从而增加距离测量的可靠性。

如图4所示，第一光电门控制信号Ga和第三光电门控制信号Gc之间的相位差是90°，第一光电门控制信号Ga和第二光电门控制信号Gb之间的相位差是180°，第一光电门控制信号Ga和第四光电门控制信号Gd之间的相位差是270°。

光源驱动器30可在时序控制器26的控制下产生可驱动光源32的时钟信号MLS。

光源32可响应于时钟信号MLS将调制的光学信号发射到目标对象40。发光二极管(LED)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AMOLED)或激光二极管可被用作光源32。为了便于解释，将调制的光学信号假设为与时钟信号MLS相同。调制的光学信号可以是正弦波或方波。

光源驱动器30将时钟信号MLS或者关于时钟信号MLS的信息提供给光电门控制器28。因此，光电门控制器28产生与时钟信号MLS具有相同相位的第一光电门控制信号Ga和与时钟信号MLS具有180°的相位差的第二光电门控制信号Gb。另外，光电门控制器28产生与时钟信号MLS具有90°的相位差的第三光电门控制信号Gc和与时钟信号MLS具有270°的相位差的第四光电门控制信号Gd。例如，光电门控制器28和光源驱动器30可彼此同步并进行操作。

可以以透明多晶硅来实现光电门110。根据示例性实施例，可以以铟锡氧化物或锡掺杂氧化铟(ITO)、铟锌氧化物(IZO)或氧化锌(ZnO)来实现光电门110。

光电门110可通过经过透镜模块34输入的近红外线。从目标对象反射从光源32输出的调制的光学信号，如下所述来计算当目标对象40具有不同距离Z1、Z2和Z3时的距离Z。

例如，当调制的光学信号(例如时钟信号MLS)是cosωt，入射到一抽头深度像素23的光学信号或通过一抽头深度像素23检测的光学信号(例如，A0’、A1’、A2’或A3’)是cos(ωt+θ)时，按飞行时间的相位偏移(θ)或者相位差(θ)如等式1所示。

[等式1]

θ＝2×ω×Z/C＝2×(2πf)×Z/C

这里，C是飞行速度。

因此，如等式2所示来计算从光源32或阵列22到目标对象40的距离Z。如下面将更详细地描述的那样，距离Z也可称作深度信息D(K)。

[等式2]

Z＝θ×C/(2×ω)＝θ×C/(2×(2πf))

多个反射的光学信号通过透镜模块34入射到阵列22。这里，透镜模块34可包括透镜和红外带通滤光片。

深度传感器10包括围着透镜模块34以圆形布置的多个光源，但是，为了解释方便，仅示出了一个光源32。

可以通过多个传感器23对通过透镜模块34入射到阵列22的多个光学信号解调。也就是说，通过透镜模块34入射到阵列22的光学信号可形成图像。

参照图2至图4，在P型基底100的内部形成浮置扩散区114。浮置扩散区114可连接到驱动晶体管S/F的栅极。驱动晶体管S/F可执行源极跟随器的功能。浮置扩散区114可掺杂N型杂质。

在P型基底100上形成氧化硅，在氧化硅上形成光电门110并且形成转移晶体管112。P型基底100可以是掺杂了P-的外延基底。

在累积(integration)间隔将第一光电门控制信号Ga提供给光电门110，这被称作电荷收集操作。另外，用于将光学电荷(optical charge)发送到浮置扩散区114的发送控制信号TX被提供给转移晶体管112的栅极，并且它被称作电荷发送操作，其中，在位于光电门110的下部的P型基底100中产生所述光学电荷。

根据示例性实施例，桥接扩散区(bridging diffusion region)116还可形成在位于光电门110的下部和转移晶体管112的下部之间的P型基底100中。桥接扩散区116可掺杂N型杂质。

通过光电门110入射到P型基底100内的光学信号产生所述光学电荷。当具有第一电平(例如，1.0V)的发送控制信号TX被提供给转移晶体管112的栅极，并且具有第一电平(例如，3.3V)的第一光电门控制信号Ga被提供给光电门110时，在光电门110的下部收集在P型基底100内产生的电荷，收集的电荷被发送到浮置扩散区114(例如，当没有形成桥接扩散区116时)或通过桥接扩散区116被发送到浮置扩散区114(例如，当形成了桥接扩散区116时)。

这里，VHA是当具有第一电平的第一光电门控制信号Ga被提供给光电门110时累积电势或电荷的区域。

此外，当具有第一电平(例如，1.0V)的发送控制信号TX被提供给转移晶体管112的栅极，并且具有低电平(例如，0V)的第一光电门控制信号Ga被提供给光电门110时，在位于光电门110的下部的P型基底100内产生光学电荷，但是产生的电荷不被发送到浮置扩散区114。

第二光电门控制信号Gb、第三光电门控制信号Gc和第四光电门控制信号Gd被提供给光电门110时的电荷收集操作和电荷发送操作与第一光电门控制信号Ga被提供给光电门110时的电荷收集操作和电荷发送操作相似。

一抽头深度像素23在固定时间(例如，累积时间)期间累积光学电子或光学电荷，并输出根据累积的结果产生的像素信号A0’和A2’或A1’和A3’。如等式3所示通过多个一抽头深度像素23中的每个一抽头深度像素产生的每个像素信号Ak’。

[等式3]

{Ak}^{'} = Σ_{n = 1}^{N} a_{k, n}

这里，当输入到一抽头深度像素23的光电门110的信号是第一光电门控制信号Ga时，k是0；当它是第三光电门控制信号Gc时，k是1；当它是第二光电门控制信号Gb时，k是2；当它是第四光电门控制信号Gd时，k是3。

在等式3中，a_k，n表示第n(n是自然数)栅极信号被提供为具有与k相应的相位差时，在一抽头深度像素23中出现的光学电子或光学电荷的数量，并且N＝fm×Tint。这里，fm表示调制的红外EL的频率，Tint表示累积时间。根据累积结果产生的像素信号A0’和A2’或A1’和A3’如等式4、等式5、等式6和等式7所示。

[等式4]

{A 0}^{'} &cong; α + β \cos θ

[等式5]

{A 1}^{'} &cong; α - β \cos θ

[等式6]

{A 2}^{'} &cong; α + β \sin θ

[等式7]

{A 3}^{'} &cong; α - β \sin θ

这里，等式4、等式5、等式6和等式7的每个α表示幅度，β表示偏移。

参照图5，一抽头深度像素23在第一时间间隔P1期间在不同检测时间点t0至t3检测或估计多个第一像素信号A0’(K-1)、A1’(K-1)、A2’(K-1)和A3’(K-1)。K表示包括与栅极控制信号Ga、Gb、Gc和Gd相应的像素信号的间隔。

也就是说，一抽头深度像素23在第一时间点t0响应于具有0°相位差的第一光电门控制信号Ga检测第一像素信号A0’(K-1)，在第二时间点t1响应于具有90°相位差的第三光电门控制信号Gc检测第二像素信号A1’(K-1)，在第三时间点t2响应于具有180°相位差的第二光电门控制信号Gb检测第三像素信号A2’(K-1)，并在第四时间点t3响应于具有270°相位差的第四光电门控制信号Gd检测第四像素信号A3’(K-1)。

同样，一抽头深度像素23在第二时间间隔P2期间在不同检测时间点t4至t7检测或估计多个第二像素信号A0’(K)、A1’(K)、A2’(K)和A3’(K)。

也就是说，一抽头深度像素23在第五时间点t4响应于具有0°相位差的第一光电门控制信号Ga检测第五像素信号A0’(K)，在第六时间点t5响应于具有90°相位差的第三光电门控制信号Gc检测第六像素信号A1’(K)，在第七时间点t6响应于具有180°相位差的第二光电门控制信号Gb检测第七像素信号A2’(K)，并在第八时间点t7响应于具有270°相位差的第四光电门控制信号Gd检测第八像素信号A3’(K)。

参照图1，数字电路36(即相关双采样(CDS)/模拟至数字(ADC)电路)在时序控制器26的控制下对每个像素信号A0’(K-1)、A1’(K-1)、A2’(K-1)、A3’(K-1)、A0’(K)、A1’(K)、A2’(K)和A3’(K)执行CDS操作和ADC操作，并输出每个数字像素信号A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)和A3(K)。图1的深度传感器10还可包括有源负载电路，所述有源负载电路用于将从以阵列22实现的多个列线输出的像素信号发送到CDS/ADC电路36。

可以以缓冲器实现的存储器38接收并存储从CDS/ADC电路36输出的每个数字像素信号A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)和A3(K)。

深度误差补偿器39将从存储器38输出的多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)中的每一个与多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)中的每一个进行比较以计算第二时间间隔中的深度信息D(K)。比较值εn如等式8所示。

[等式8]

εn＝|An(K)-An(K-1)|

n是等于或大于0的整数。

深度误差补偿器39产生多个比较值，比如第一比较值ε0、第二比较值ε1、第三比较值ε2和第四比较值ε3。

第一比较值ε0是用于将多个第一数字像素信号中的第一像素信号A0(K-1)与多个第二数字像素信号中的第五像素信号A0(K)比较的值，第二比较值ε1是用于将多个第一数字像素信号中的第二像素信号A1(K-1)与多个第二数字像素信号中的第六像素信号A1(K)比较的值，第三比较值ε2是用于将多个第一数字像素信号中的第三像素信号A2(K-1)与多个第二数字像素信号中的第七像素信号A2(K)比较的值，第四比较值ε3是用于将多个第一数字像素信号中的第四像素信号A3(K-1)与多个第二数字像素信号中的第八像素信号A3(K)比较的值。

深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。深度误差补偿器39使用下面所描述的等式9来计算相位差θ。也就是说，深度误差补偿器39基于反射的光的频率和相位差θ来计算深度信息。

图3中示出的一抽头深度像素23包括在光电门110上形成的微透镜150；然而，根据其他示例性实施例，一抽头深度像素23可不包括微透镜150。

图6A是用于解释通过利用通过使用在图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的示例性示图。参照图1至图6A，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)来计算相位差θ。在等式9中示出所述相位差θ。

[等式9]

θ = \tan^{- 1} \frac{A 1 (K - 1) - A 3 (K - 1)}{A 0 (K - 1) - A 2 (K - 1)}

深度误差补偿器39基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39将多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)中的每一个与多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)中的每一个比较以计算第二时间间隔P2中的深度信息D(K)。

深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当在第二时间间隔P2中目标对象40没有移动时，深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个小于阈值εth。

当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个小于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算相位差θ。相位差θ如等式10中所示。

[等式10]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K)}{A 0 (K) - A 2 (K)}

深度误差补偿器39基于相位差θ计算第二时间间隔P2中的深度信息D(K)。

根据示例性实施例，可使用估计算法来补偿在第一时间间隔P1中由于不同的检测时间点t0至t3的时间差而出现的相位差误差。同样，可使用估计算法来补偿在第二时间间隔P2中由于不同的检测时间点t4至t7的时间差而出现的相位差误差。

图6B是用于解释通过利用通过使用在图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图。图6B描述了在目标对象40从第八时间点t7移动时通过使用一抽头深度像素23连续检测的多个数字像素信号。画斜线的第八数字像素信号A3(K)是在目标对象40从第八时间点t7快速移动或横向移动时检测的像素信号。

参照图1至图5和图6B，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40在第八时间点t7快速移动或横向移动时，深度误差补偿器39确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth。

当深度误差补偿器39确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth，并通过使用在第二时间间隔P2中检测的多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算第二时间间隔中的深度信息D(K)时，由于在第八时间点t7检测的第八数字像素信号A3(K)，第二时间间隔中的深度信息D(K)具有误差。

因此，当确定第三比较值ε2小于阈值εth时，深度误差补偿器39通过使用作为多个第一数字像素信号之一的第四数字像素信号A3(K-1)和多个第二数字像素信号中的一些数字像素信号A0(K)、A1(K)和A2(K)计算相位差θ。相位差θ如等式11中所示。

[等式11]

θ {= \tan}^{- 1} \frac{A 1 (K) - A 3 (K - 1)}{A 0 (K) - A 2 (K)}

根据另一示例性实施例，当确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth时，深度误差补偿器39可仅通过使用多个第二数字像素信号的一些第二数字像素信号A0(K)、A1(K)和A2(K)计算相位差θ。相位差θ如等式12中所示。

[等式12]

θ = \tan^{- 1} \frac{2 A 1 (K) - A 0 (K) - A 2 (K)}{A 0 (K) - A 2 (K)}

因此，当深度误差补偿器39确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth时，深度误差补偿器39可如下所述补偿第二时间间隔P2中的深度误差D(K)：通过使用第四数字像素信号A3(K-1)以及多个第二数字像素信号的一些第二数字像素信号A0(K)、A1(K)和A2(K)计算第二时间间隔P2中的深度信息D(K)或仅通过使用多个第二数字像素信号的一些第二数字像素信号A0(K)、A1(K)和A2(K)计算第二时间间隔P2中的深度信息D(K)。

图6C是用于解释通过利用通过使用在图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图。图6C表示在目标对象40从第七时间点t6快速移动或横向移动时通过使用一抽头深度像素连续检测的数字像素信号。画斜线的第七数字像素信号A2(K)和画斜线的第八数字像素信号A3(K)是在目标对象40从第七时间点t6快速移动或横向移动时检测的像素信号。

参照图1至图5和图6C，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth，以计算第二时间间隔P2中的深度信息D(K)。当目标对象40从第七时间点t6快速移动或横向移动时，深度误差补偿器39确定第四比较值ε3和第三比较值ε2大于阈值εth并且第二比较值ε1小于阈值εth。

当深度误差补偿器39确定第四比较值ε3和第三比较值ε2大于阈值εth并且第二比较值ε1小于阈值εth时，深度误差补偿器39通过使用多个第一数字像素信号中的第三数字像素信号A2(K-1)和第四数字像素信号A3(K-1)以及多个第二数字信号中的第五数字像素信号A0(K)和第六数字像素信号A1(K)计算相位差θ。相位差θ如等式13中所示。

[等式13]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K - 1)}{A 0 (K) - A 2 (K - 1)}

图6D是用于解释通过利用通过使用在图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图。图6D表示在目标对象40从第六时间点t5快速移动或横向移动时通过使用一抽头深度像素23连续检测的数字像素信号。画斜线的第六数字像素信号A1(K)至画斜线的第八数字像素信号A3(K)是在目标对象40从第六时间点t5快速移动或横向移动时检测的像素信号。

参照图1至图5和图6D，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40从第六时间点t5快速移动或横向移动时，深度误差补偿器39确定第四比较值ε3、第三比较值ε2和第二比较值ε1大于阈值εth并且第一比较值ε0小于阈值εth。

当深度误差补偿器39确定第四比较值ε3、第三比较值ε2和第二比较值ε1大于阈值εth并且第一比较值ε0小于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号中的第六数字像素信号A1(K)、第七数字像素信号A2(K)和第八数字像素信号A3(K)计算相位差θ。相位差θ如等式14中所示。

[等式14]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K)}{- 2 A 2 (K) + A 1 (K) + A 3 (K)}

图6E是用于解释通过利用通过使用在图1中示出的一抽头深度像素连续检测的多个像素信号计算深度信息的方法的另一示例的示图。图6E描述在目标对象40从第五时间点t4快速移动或横向移动时通过使用一抽头深度像素连续检测的数字像素信号。画斜线的第五数字像素信号A0(K)至画斜线的第八数字像素信号A3(K)是在目标对象40从第五时间点t4快速移动或横向移动时检测的多个像素信号。

参照图1至图5和图6E，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40从第五时间点t4快速移动或横向移动时，深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个大于阈值εth。

当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个大于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算相位差θ。相位差θ如等式15中所示。

[等式15]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K)}{A 0 (K) - A 2 (K)}

图7是解释根据示例性实施例的深度信息误差补偿方法的流程图。参照图1至图7，深度误差补偿器39将多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)中的每一个与多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)中的每一个进行比较，以计算第二时间间隔P2中的比较值ε0、ε1、ε2和ε3(S10)。

深度误差补偿器39根据比较结果确定第四比较值ε3是否大于阈值εth(S20)。

当深度误差补偿器39确定第四比较值ε3小于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)，根据在图6A中解释的等式10计算相位差θ(S30)。当深度误差补偿器39确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth(S40)时，深度误差补偿器39通过使用作为多个第一数字像素信号之一的第四数字像素信号A3(K-1)以及多个第二数字像素信号的一些第二数字像素信号A0(K)、A1(K)和A2(K)根据在图6B中解释的等式11计算相位差(S50)。

根据另一示例性实施例，当深度误差补偿器39确定第四比较值ε3大于阈值εth并且第三比较值ε2小于阈值εth时，深度误差补偿器39可只通过使用多个第二数字像素信号中的一些数学像素信号A0(K)、A1(K)和A2(K)根据在图6B中解释的等式12计算相位差θ。

当深度误差补偿器39确定第四比较值ε3和第三比较值ε2大于阈值εth并且第二比较值ε1小于阈值εth(S60)时，深度误差补偿器39可通过使用多个第一数字像素信号中的第三数字像素信号A2(K-1)和第四数字像素信号A3(K-1)以及多个第二数字像素信号中的第五数字像素信号A0(K)和第六数字像素信号A1(K)根据图6C中解释的等式13来计算相位差θ(S70)。

当深度误差补偿器39确定第四比较值ε3、第三比较值ε2和第二比较值ε1大于阈值εth并且第一比较值ε0小于阈值εth(S80)时，深度误差补偿器39可通过使用多个第二数字像素信号中的第六数字像素信号A1(K)、第七数字像素信号A2(K)和第八数字像素信号A3(K)根据图6D中解释的等式14计算相位差θ。

当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个大于阈值εth(S80)时，深度误差补偿器39可通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)根据图6E中解释的等式15计算相位差θ(S100)。深度误差补偿器39根据确定的结果计算相位差并通过使用等式2计算深度信息(S110)。

图8的(A)至(C)是描述使用传统的估计算法的深度传感器的深度信息误差和图1中示出的深度传感器的深度信息误差补偿的仿真结果的示例的曲线图。图8是描述当累积时间Tint是100ms，目标对象的速度是5m/s，噪声幅度为30LSB(5％)和噪声偏移是40LSB(5％)时的深度信息误差的仿真曲线图。

参照图1至图8，图8的(A)表示运动目标对象40。如图8的(B)所示，即：当使用传统算法时出现深度信息误差。图8的(B)的亮度差表示深度信息误差。图8的(C)表示出现深度信息误差的情况。图8的(C)中示出的“0”表示图6A的情况，图8的(C)中示出的“1”表示图6B的情况，图8的(C)中示出的“2”表示图6C的情况，图8的(C)中示出的“3”表示图6D的情况，图8的(C)中示出的“4”表示图6E的情况。

当使用根据示例性实施例的深度信息误差补偿算法时，可得知如图8的(D)中所示那样补偿了深度信息误差。

图9是根据另一示例性实施例的深度传感器的框图，图10是图9中示出的两抽头深度像素的平面图，图11是按照I-I’切开图9中示出的两抽头深度像素的横截面示图，图12是用于控制包括在图9示出的两抽头深度像素中的多个光电门的光电门控制信号的时序图，图13是用于解释使用图9中示出的两抽头深度像素连续检测的多个像素信号的时序图。

参照图9至图13，可通过使用飞行时间(TOF)原理测量距离或深度的深度传感器10’包括半导体芯片20’、光源32和透镜模块34，其中，所述半导体芯片20’包括设置了多个两抽头深度像素(检测器或传感器)23-1的阵列22’。在阵列22中二维地实现的多个两抽头深度像素23-1的每个两抽头深度像素包括第一光电门110’和第二光电门120。而且，多个两抽头深度像素23-1的每个两抽头深度像素包括用于处理信号的多个晶体管。

图9的具有两抽头深度像素23-1的深度传感器10’和图1的具有一抽头深度像素23的深度传感器10的不同之处仅在于它们分别具有两抽头深度像素23-1和一抽头深度像素23，从而，如果没有特别的解释，应该认为图9的元件和信号与图1的元件和信号执行相同的功能和操作。

如图12所示，第一光电门控制信号Ga和第三光电门控制信号Gc之间的相位差是90°，第一光电门控制信号Ga和第二光电门控制信号Gb之间的相位差是180°，第一光电门控制信号Ga和第四光电门控制信号Gd之间的相位差是270°。

在第一累积间隔，第一光电门控制信号Ga被提供给第一光电门110’，第二光电门控制信号Gb被提供给第二光电门120。在第二累积间隔，第三光电门控制信号Gc被提供给第一光电门110’，第四光电门控制信号Gd被提供给第二光电门120。

参照图10至图13，第一浮置扩散区114’和第二浮置扩散区124在P型基底100’内形成。

第一浮置扩散区114’可连接到第一驱动晶体管S/F_A的栅极，第二浮置扩散区124可连接至第二驱动晶体管S/F_B的栅极。每个驱动晶体管S/F_A或S/F_B可执行源极跟随器的功能。每个浮置扩散区114’和124可掺杂有N型杂质。

氧化硅形成在P型基底100’上，在氧化硅上形成每个光电门110’和120，并且形成每个转移晶体管122’和122。可在P型基底100’内部形成隔离区130从而防止每个光电门110’和120在P型基底100’中产生的光学电荷相互影响。P型基底100’可以是掺杂有P-的外延基底，隔离区130可以是掺杂有P+的区域。

根据示例性实施例，可通过使用浅沟道隔离(STI)方法或硅的局部氧化(LOCOS)方法来实现隔离区130。

在第一累积间隔，第一光电门控制信号Ga被提供给第一光电门110’，第二光电门控制信号Gb被提供给第二光电门120。

另外，用于将光学电荷发送到第一浮置扩散区114’的第一发送控制信号TX_A被提供给第一转移晶体管112’的栅极，其中，在位于第一光电门110’的下部的P型基底100’中产生所述光学电荷。用于将光学电荷发送到第二浮置扩散区124的第二发送控制信号TX_B被提供给第二转移晶体管122的栅极，其中，在位于第二光电门120的下部的P型基底100’中产生所述光学电荷。

根据示例性实施例，还可在位于第一光电门110’的下部和第一转移晶体管112’的下部之间的P型基底100’内形成第一桥接扩散区116’。而且，还可在位于第二光电门120的下部和第二转移晶体管122的下部之间的P型基底100’内形成第二桥接扩散区126。每个桥接扩散区116’或126可掺杂有N-型杂质。通过每个光电门110’和120入射到P型基底100’内的光学信号产生光学电荷。

当具有第一电平(例如，1.0V)的第一发送控制信号TX_A被提供给第一转移晶体管112’的栅极，并且具有高电平(例如，3.3V)的第一光电门控制信号Ga被提供给第一光电门110’时，在第一光电门110’的下部收集在P型基底100’内产生的电荷，收集的电荷被发送到第一浮置扩散区114’(例如，当没有形成第一桥接扩散区116’时)或通过第一桥接扩散区116’被发送到第一浮置扩散区114’(例如，当形成了第一桥接扩散区116’时)。

此时，当具有第一电平(例如，1.0V)的第二发送控制信号TX_B被提供给第二转移晶体管122的栅极，并且具有低电平(例如，0V)的第二光电门控制信号Gb被提供给第二光电门120时，在位于第二光电门120的下部的P型基底100’内产生光学电荷，但是产生的电荷不被发送到第二浮置扩散区124。这被定义为电荷收集操作。

这里，VHA’表示当具有高电平的第一光电门控制信号Ga被提供给第一光电门110’时累积电势或电荷的区域，VLB表示当具有低电平的第二光电门控制信号Gb被提供给第二光电门120时累积电势或电荷的区域。

当具有第一电平(例如，1.0V)的第一发送控制信号TX_A被提供给第一转移晶体管112’的栅极，并且具有低电平(例如，0V)的第一光电门控制信号Ga被提供给第一光电门110’时，在位于第一光电门110’的下部的P型基底100’内产生光学电荷，但是产生的电荷不被发送到第一浮置扩散区114’。

同时，当具有第一电平(例如，1.0V)的第二发送控制信号TX_B被提供给第二转移晶体管122的栅极，并且具有高电平(例如，3.3V)的第二光电门控制信号Gb被提供给第二光电门120时，在第二光电门120的下部收集在P型基底100’内产生的电荷，收集的电荷被发送到第二浮置扩散区124(例如，当没有形成第二桥接扩散区126时)或通过第二桥接扩散区126被发送到第二浮置扩散区124(例如，当形成了第二桥接扩散区126时)。它被定义为电荷发送操作。

这里，VHB表示当具有高电平的第二光电门控制信号Gb被提供给第二光电门120时累积电势或电荷的区域，VLA表示当具有低电平的第一光电门控制信号Ga被提供给第一光电门110’时累积电势或电荷的区域。

第三光电门控制信号Gc被提供给第一光电门110’时的电荷收集操作和电荷发送操作与第一光电门控制信号Ga被提供给第一光电门110’时的电荷收集操作和电荷发送操作相似。

而且，第四光电门控制信号Gd被提供给第二光电门120时的电荷收集操作和电荷发送操作与第二光电门控制信号Gb被提供给第二光电门120时的电荷收集操作和电荷发送操作相似。

图13是用于解释使用图9中示出的两抽头深度像素连续检测的多个像素信号的时序图。参照图9至图13，两抽头深度像素23-1在第一时间间隔P1中的不同检测时间点t0至t1，检测或估计多个第一像素信号A0’(K-1)、A1’(K-1)、A2’(K-1)和A3’(K-1)。

也就是说，两抽头深度像素23-1在第一时间点t0分别响应于具有0°相位差的第一光电门控制信号Ga和具有180°相位差的第二光电门控制信号Gb中的每一个检测第一像素信号A0’(K-1)和第三像素信号A2’(K-1)。

两抽头深度像素23-1在第二时间点t1分别响应于具有90°相位差的第三光电门控制信号Gc和具有270°相位差的第四光电门控制信号Gd中的每一个检测第二像素信号A1’(K-1)和第四像素信号A3’(K-1)。同样，两抽头深度像素23-1在第二时间间隔P2中的不同检测时间点t2和t3检测多个第二像素信号A0’(K)、A1’(K)、A2’(K)、A3’(K)。也就是说，两抽头深度像素23-1在第三时间点t2分别响应于具有0°相位差的第一光电门控制信号Ga和具有180°相位差的第二光电门控制信号Gb中的每一个检测第五像素信号A0’(K)和第七像素信号A2’(K)。

两抽头深度像素23-1在第四时间点t3分别响应于具有90°相位差的第三光电门控制信号Gc和具有270°相位差的第四光电门控制信号Gd中的每一个检测第六像素信号A1’(K)和第八像素信号A3’(K)。

图14A是用于解释通过使用通过利用图9中示出的两抽头深度像素检测的多个像素信号来计算深度信息的方法的示例性示图。参照图9，数字电路36(即相关双采样(CDS)/模拟至数字(ADC)电路)在时序控制器26的控制下对每个像素信号A0’(K-1)、A1’(K-1)、A2’(K-1)、A3’(K-1)、A0’(K)、A1’(K)、A2’(K)和A3’(K)执行CDS操作和ADC操作，并输出每个数字像素信号A0(K-1)、A1(K-1)、A2(K-1)、A3(K-1)、A0(K)、A1(K)、A2(K)和A3(K)。图9的深度传感器10’还可包括有源负载电路，所述有源负载电路用于将从以阵列22’实现的多个列线输出的像素信号发送到CDS/ADC电路36。参照图9至图14A，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差，并基于相位差计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39将多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)中的每一个与多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)中的每一个比较以计算第一时间间隔P1中的深度信息D(K)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40在第二时间间隔P2没有改变时，深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个小于阈值εth。

当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中的每一个小于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算相位差θ。相位差θ如等式16中所示。

[等式16]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K)}{A 0 (K) - A 2 (K)}

根据示例性实施例，可使用用于补偿因为第一时间间隔P1中的不同检测时间点t0和t1之间的时间差而出现的相位差误差的估计算法。同样，可使用用于补偿因为第二时间间隔P2中的不同检测时间点t2和t3之间的时间差而出现的相位差误差的估计算法。

图14B是用于解释通过利用通过使用在图9中示出的两抽头深度像素检测的多个像素信号计算深度信息的方法的另一示例性示图。图14B描述在目标对象40在第四时间点t3移动时通过使用两抽头深度像素连续检测的数字像素信号。画斜线的第六数字像素信号A1(K)和画斜线的第八数字像素信号A3(K)是在目标对象40从第四时间点t3快速移动或横向移动时检测的多个像素信号。

参照图9至图13和图14B，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40在第四时间点t3快速移动或横向移动时，深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0和第三比较值ε2小于阈值εth。

在深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0和第三比较值ε2小于阈值εth的情况下，当深度误差补偿器39通过使用在第二时间间隔P2中检测的多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算第二时间间隔P2中的深度信息D(K)时，由于在第四时间点t3检测的第六数字像素信号A1(K)和第八数字像素信号A3(K)，可能会在第二时间间隔中的深度信息D(K)上出现误差。

因此，当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0和第三比较值ε2小于阈值εth时，深度误差补偿器39通过使用多个第一数字像素信号中的第二数字像素信号A1(K-1)和第四数字像素信号A3(K-1)以及多个第二数字像素信号中的第五数字像素信号A0(K)和第七数字像素信号A2(K)计算相位差。相位差如等式17中所示。

[等式17]

θ = \tan^{- 1} \frac{A 1 (K - 1) - A 3 (K - 1)}{A 0 (K) - A 2 (K)}

因此，当深度误差补偿器39确定多个比较值ε0、ε1、ε2和ε3中第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0和第三比较值ε2小于阈值εth时，深度误差补偿器39可通过使用多个第一数字像素信号中的第二数字像素信号A1(K-1)和第四数字像素信号A3(K-1)以及多个第二数字像素信号中的第五数字像素信号A0(K)和第七数字像素信号A2(K)计算第二时间间隔中的深度信息D(K)来补偿第二时间间隔中的深度信息D(K)的误差。

图14C是用于解释通过利用通过使用在图9中示出的两抽头深度像素检测的多个像素信号计算深度信息的方法的另一示例性示图。图14C描述在目标对象40在第三时间点t2移动时通过使用两抽头深度像素连续检测的数字像素信号。画斜线的第五数字像素信号A1(K)至画斜线的第八数字像素信号A3(K)是在目标对象40在第三时间点t2快速移动或横向移动时检测的多个像素信号。

参照图9至图13和图14C，深度误差补偿器39通过使用多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)根据等式9来计算相位差θ，并基于相位差θ计算第一时间间隔P1中的深度信息D(K-1)。

深度误差补偿器39根据比较结果确定多个比较值ε0、ε1、ε2和ε3中的每一个是否大于阈值εth。当目标对象40从第三时间点t2快速移动或横向移动时，深度误差补偿器39确定第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0或第三比较值ε2大于阈值εth。

当深度误差补偿器39确定第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0或第三比较值ε2大于阈值εth时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)计算相位差θ。相位差θ如等式18中所示。

[等式18]

θ = \tan^{- 1} \frac{A 1 (K) - A 3 (K)}{A 0 (K) - A 2 (K)}

图15是解释根据另一示例性实施例的深度信息误差补偿方法的流程图。参照图9至图15，深度误差补偿器39将多个第一数字像素信号A0(K-1)、A1(K-1)、A2(K-1)和A3(K-1)中的每一个与多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)中的每一个进行比较，以计算第二时间间隔P2中的比较值ε0、ε1、ε2和ε3(S120)。深度误差补偿器39确定第二比较值ε1或第四比较值ε3是否大于阈值εth(S130)。

当深度误差补偿器39确定比较值ε1和ε3小于阈值εth(S130)时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)，根据在图14A中解释的等式16计算相位差(S140)。

当深度误差补偿器39确定第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0和第三比较值ε2小于阈值εth(S150)时，深度误差补偿器39通过使用多个第一数字像素信号中的第二数字像素信号A1(K-1)和第四数字像素信号A3(K-1)以及多个第二数字像素信号中的第五数字像素信号A0(K)和第七数字像素信号A2(K)根据在图14B中解释的等式17计算相位差θ(S160)。

当深度误差补偿器39确定多个比较值ε1、ε2、ε3和ε4中第二比较值ε1或第四比较值ε3大于阈值εth并且第一比较值ε0或第三比较值ε2大于阈值εth(S150)时，深度误差补偿器39通过使用多个第二数字像素信号A0(K)、A1(K)、A2(K)和A3(K)根据在图14C的等式18计算相位差(S170)。

深度误差补偿器39根据确定结果计算相位差并通过使用等式2计算深度信息(S180)。

图16A是三维图像传感器的单位像素阵列的示例。参照图16A，构成图17的像素阵列522的一部分的单位像素阵列522-1可包括红色像素R、绿色像素G、蓝色像素G和深度像素D。深度像素D的配置可以是具有图1中示出的一抽头像素配置的深度像素23或者具有图9中示出的两抽头像素配置的深度像素23-1。红色像素R、绿色像素G和蓝色像素B可被称作RGB彩色像素。

红色像素R产生与属于可视频谱中的红色区域的波形相应的红色像素信号，绿色像素G产生与属于可视频谱中的绿色区域的波形相应的绿色像素信号，蓝色像素B产生与属于可视频谱中的蓝色区域的波形相应的蓝色像素信号。深度像素D产生与属于红外区域的波形相应的深度像素信号。

图16B是三维图像传感器的单位像素阵列的另一示例。参照图16B，构成图17的像素阵列522的一部分的单位像素阵列522-2可包括两个红色像素R、两个绿色像素G、两个蓝色像素B和两个深度像素D。

在图16A和图16B中示出的单位像素阵列522-1和522-2是为了便于解释而描述的示例，单位像素阵列的模式以及构成所述模式的像素可以根据示例性实施例而进行各种改变。例如，在图16A中示出的每个像素R、G、B可被品红色像素、青色像素和黄色像素代替。

图17是根据示例性实施例的三维图像传感器的框图。这里，三维图像传感器表示如下所述的装置：所述装置可将通过使用深度像素D测量深度信息的功能与通过使用包括在图16A或16B中示出的单位像素阵列522-1或522-2中的每种彩色像素R、G或B测量每种彩色信息(例如红色信息、绿色信息或蓝色信息)的功能结合，来得到三维图像信息。

参照图17，三维图像传感器500包括半导体芯片520、光源532和透镜模块534。半导体芯片520包括像素阵列522、行解码器524、时序控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和深度误差补偿器539。

图17的行解码器524、时序控制器526、光电门控制器528、光源驱动器530、CDS/ADC电路536、存储器538和深度误差补偿器539中的每一个与图1的行解码器24、时序控制器26、光电门控制器28、光源驱动器30、CDS/ADC电路36、存储器38和深度误差补偿器39具有相同的操作和功能，因此，为了简便，省略它们的解释。

根据示例性实施例，三维图像传感器500还可包括列解码器。列解码器可对从时序控制器526输出的列地址进行解码并输出列选择信号。

行解码器524可产生用于控制在图16A或16B中示出的像素阵列522实现的每个像素(例如，每个像素R、G、B和D)的操作的控制信号。

像素阵列522包括在图16A或图16B中示出的单位像素阵列522-1或522-2。例如，像素阵列522包括多个像素。通过将红色像素、绿色像素、蓝色像素、深度像素、品红色像素、青色像素和黄色像素中的至少两个像素进行混合来布置所述多个像素的每个像素。在多个行线和多个列线的交点处以矩阵的形式来布置多个像素的每个像素。

根据示例性实施例，可以以图像信号处理器实现存储器538和深度误差补偿器539。这里，图像信号处理器可将从像素阵列522中的每个像素输出的每个像素信号进行插值，并基于每个像素信息产生三维图像信号。

图18是包括图17示出的三维图像传感器的图像处理系统的框图。参照图18，图像处理系统600可包括三维图像传感器500和处理器210。

处理器210可控制三维图像传感器500的操作。例如，处理器210可存储用于控制三维图像传感器500的操作的程序。根据示例性实施例，处理器210可访问存储用于控制三维图像传感器500的操作的程序的存储器(未示出)并执行存储在存储器中的程序。

三维图像传感器500可在处理器210的控制下基于每个像素信号产生三维图像信息(例如，彩色信息或深度信息)。可通过连接到接口230的显示器(未示出)显示产生的三维图像信息。

通过三维图像传感器500产生的三维图像信息可在处理器210的控制下通过总线201被存储在存储器装置220中。可以以非易失性存储器装置来实现存储器装置220。可以以用于输入/输出三维图像信息的接口实现接口230。根据示例性实施例，可以以无线接口来实现接口230。

图19是根据示例性实施例的包括彩色图像传感器和深度传感器的图像处理系统的框图。参照图19，图像处理系统700可包括深度传感器710、包括RGB彩色像素的彩色图像传感器310和处理器210。深度传感器710可以是图像传感器10或10’。

图19示出了为了便于解释在物理上彼此分开的深度传感器710和彩色图像传感器310；然而，深度传感器710和彩色图像传感器310可共享信号处理电路。

这里，彩色图像传感器310可表示包括以红色像素、绿色像素和蓝色像素(而不包括深度像素)实现的像素阵列。因此，处理器210可基于深度传感器710估计或计算的深度信息和从彩色图像传感器310输出的每种彩色信息(例如，红色信息、绿色信息、蓝色信息、品红色信息、青色信息和黄色信息)产生三维图像信息，并通过显示器显示产生的三维图像信息。

可通过总线301在存储器装置220中存储处理器210产生的三维图像信息。

图18或图19中示出的图像处理系统可被用在三维距离测量器、游戏控制器、深度相机或姿势感测设备中。

图20是根据示例性实施例的包括深度传感器的信号处理系统的框图。参照图20，可只作为简单深度(或距离)测量传感器操作的信号处理系统800包括可以是深度传感器10或10’的深度传感器810和用于控制深度传感器810的操作的处理器210。

处理器210可基于从深度传感器810输出的深度信息计算信号处理系统800和主体(或目标对象)之间的距离信息或深度信息。处理器210测量的距离信息或深度信息可通过总线401被存储在存储器装置220中。

根据至少一些示例性实施例的深度传感器可补偿在目标对象快速或横向移动时出现的深度信息误差。

尽管已经示出和描述了发明构思的若干实施例，但是本领域技术人员应该理解，在不脱离发明构思的原理和精神的情况下，可以对这些实施例进行改变，发明构思的范围由权利要求及其等同物限定。

Claims

1.一种用于深度传感器的深度信息误差补偿方法，所述方法包括：

将调制的光输出到目标对象；

通过深度像素在第一时间间隔中的不同检测时间点对多个第一像素信号进行第一检测，所述第一像素信号表示在第一时间间隔期间从目标对象反射的光；

在第二时间间隔的不同检测时间点对多个第二像素信号进行第二检测，所述第二像素信号表示在第二时间间隔期间从目标对象反射的光；

分别将所述多个第一像素信号和所述多个第二像素信号进行比较；

根据所述比较步骤计算到目标对象的深度信息。

2.如权利要求1所述的深度信息误差补偿方法，其中，所述第一检测步骤和第二检测步骤包括在时间段中累积由于至少一个深度像素的光电门控制信号的相位差0°、90°、180°和270°而出现的电子。

3.如权利要求1所述的深度信息误差补偿方法，其中，计算到目标对象的深度信息的步骤包括：

基于比较步骤产生多个比较值；

确定所述多个比较值中的每个比较值是否大于阈值；

根据确定步骤计算相位差；

基于在第一时间间隔和第二时间间隔期间反射的光的频率和相位差计算深度信息。

4.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有一抽头像素结构，则计算相位差的步骤包括：

如果所述多个比较值中的每个比较值小于阈值，则使用所述多个第二像素信号计算相位差。

5.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有一抽头像素结构并且所述多个比较值中的一个比较值大于阈值，则计算相位差的步骤包括：

使用所述多个第二像素信号补偿到目标对象的深度信息误差；或

使用与超过阈值的所述一个比较值相应的第一像素信号和除了与所述一个比较值相应的第二像素信号之外的第二像素信号来计算相位差。

6.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的两个比较值大于阈值，则所述计算相位差的步骤使用分别与所述两个比较值相应的两个第一像素信号和除了分别与所述两个比较值相应的两个第二像素信号之外的第二像素信号来计算相位差。

7.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有一抽头像素结构，计算相位差的步骤包括：

如果所述多个比较值中的三个比较值大于阈值，则使用分别与所述三个比较值相应的三个第二像素信号来计算相位差。

8.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的每个比较值大于阈值，则计算相位差的步骤包括：

使用所述多个第二像素信号计算相位差。

9.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则计算相位差的步骤通过使用所述多个第二像素信号计算相位差。

10.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中的一个比较值或两个比较值大于阈值，则计算相位差的步骤包括：

使用分别与所述两个比较值相应的两个第一像素信号和除了分别与所述两个比较值相应的两个第二像素信号之外的第二像素信号，来计算相位差。

11.如权利要求3所述的深度信息误差补偿方法，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中多于三个的比较值大于阈值，则所述计算相位差的步骤包括：

使用所述多个第二像素信号计算相位差。

12.一种深度传感器，包括：

光源，被配置为将调制的光输出到目标对象；

深度像素，被配置为在第一时间间隔中的不同检测时间点检测多个第一像素信号，并且在第二时间间隔中的不同检测时间点检测多个第二像素信号，所述第一像素信号和第二像素信号表示从目标对象反射的光；

数字电路，被配置为将所述多个第一像素信号和所述多个第二像素信号中的每一个分别转换为多个第一数字像素信号和多个第二数字像素信号；

存储器，被配置为存储所述多个第一数字像素信号和所述多个第二数字像素信号；

深度误差补偿器，被配置为将所述多个第一数字像素信号与所述多个第二数字像素信号分别进行比较，并根据比较结果计算到目标对象的深度信息。

13.如权利要求12所述的深度传感器，其中，深度误差补偿器被配置为基于比较结果产生比较值，确定多个比较值中的每个比较值是否大于阈值，根据确定结果计算相位差，并基于反射的光的频率和相位差计算深度信息。

14.如权利要求13所述的深度传感器，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

15.如权利要求13所述的深度传感器，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的一个比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号补偿到目标对象的深度信息误差；或者使用与所述一个比较值相应的第一数字像素信号和除了与所述一个比较值相应的第二数字像素信号之外的第二数字像素信号来计算相位差。

16.如权利要求13所述的深度传感器，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的两个比较值大于阈值，则深度误差补偿器被配置为通过使用分别与所述两个比较值相应的两个第一数字像素信号和除了分别与所述两个比较值相应的两个第二数字像素信号之外的第二数字像素信号来计算相位差。

17.如权利要求13所述的深度传感器，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的三个比较值大于阈值，则深度误差补偿器被配置为使用分别与所述三个比较值相应的第二数字像素信号来计算相位差。

18.如权利要求13所述的深度传感器，其中，如果深度像素具有一抽头像素结构，并且所述多个比较值中的每个比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

19.如权利要求13所述的深度传感器，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中的每个比较值小于阈值，则深度误差补偿器被配置为通过使用所述多个第二数字像素信号计算相位差。

20.如权利要求13所述的深度传感器，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中的一个比较值或两个比较值大于阈值，则深度误差补偿器被配置为使用分别与所述两个比较值相应的两个第一数字像素信号和除了分别与所述两个比较值相应的两个第二数字像素信号之外的第二数字像素信号，来计算相位差。

21.如权利要求13所述的深度传感器，其中，如果深度像素具有两抽头像素结构，并且所述多个比较值中的三个或三个以上的比较值大于阈值，则深度误差补偿器被配置为使用所述多个第二数字像素信号计算相位差。

22.一种信号处理系统，包括：

深度传感器；和

处理器，用于控制深度传感器的操作，其中，所述深度传感器包括：

光源，被配置为将调制的光输出到目标对象；

数字电路，被配置为将所述多个第一像素信号和所述多个第二像素信号中的每一个转换为多个第一数字像素信号和多个第二数字像素信号；

23.一种三维图像传感器，包括：

光源，被配置为将调制的光输出到目标对象；

包括深度像素的像素阵列，所述深度像素被配置为在第一时间间隔中的不同检测时间点检测多个第一像素信号，并且在第二时间间隔中的不同检测时间点检测多个第二像素信号，所述第一像素信号和第二像素信号表示从目标对象反射的光，所述像素阵列还包括用于输出RGB像素信号的RGB像素；和

图像信号处理器，被配置为产生三维图像信息，

其中，图像信号处理器被配置为将从所述多个第一像素信号转换的多个第一数字像素信号和从所述多个第二像素信号转换的多个第二数字像素信号分别进行比较，并基于根据比较结果的到目标对象的深度信息和与所述RGB像素信号相应的RGB数字信号产生三维图像信息。

24.一种操作图像传感器的方法，所述方法包括：

在第一时间间隔期间获得多个第一像素信号，所述第一像素信号表示在第一时间间隔中的多个时间点期间从对象反射的光；

在第二时间间隔期间获得多个第二像素信号，所述第二像素信号表示在第二时间间隔中的多个时间点期间从对象反射的光；

基于所述多个第一像素信号和所述多个第二像素信号产生值；

确定所述值中的至少一个是否小于阈值；

基于所述值中的至少一个是否超过阈值确定相位差，所述相位差表示所述第一像素信号和所述第二像素信号中的至少一个以及由图像传感器产生的控制信号之间的相位差。

25.如权利要求24所述的方法，其中，确定所述值中的至少一个是否小于阈值的步骤包括：如果在第一间隔和第二时间间隔中的至少一个期间对象移动，则确定所述值中的至少一个小于阈值。

26.如权利要求24所述的方法，其中，确定相位差的步骤包括：基于小于阈值的值的数目确定相位差。

27.如权利要求26所述的方法，其中，确定相位差的步骤确定至少一个值小于阈值并基于多个第二像素信号确定相位差。