CN115225834A - 用于改变合并模式的深度传感器和图像信号处理器 - Google Patents

Abstract

提供一种用于测量到对象的距离的深度传感器和一种被配置为基于环境光而改变合并模式的图像信号处理器。一种操作用于测量到对象的距离的深度传感器的方法包括：从像素阵列中包括的至少一个深度像素输出像素信号；基于深度传感器外部的环境光的强度产生环境光信息，环境光的强度是使用像素信号测量的；以及基于环境光参数值将深度传感器的合并模式设置为模拟合并模式或数字合并模式。

Description

用于改变合并模式的深度传感器和图像信号处理器

相关申请的交叉引用

本申请基于并要求2021年4月21日在韩国知识产权局提交的韩国专利申请No.10-2021-0051821和2021年7月26日在韩国知识产权局提交的韩国专利申请No.10-2021-0097963的优先权，其全部公开内容通过引用合并于此。

技术领域

本发明构思涉及深度传感器，更具体地，涉及用于改变合并(binning)模式的深度传感器和图像信号处理器。

背景技术

许多应用需要与对象及其周围环境有关的深度信息。例如，深度信息经常用于生物识别和自动驾驶工业。为了获取该信息，可以使用诸如三维(3D)相机或激光检测和测距(LADAR)技术等的传感器。例如，距离和深度信息可以通过飞行时间(TOF)方法确定，该方法通过测量光的往返时间而测量成像设备和对象之间的距离来产生深度图像。TOF方法包括处理，该处理包括将特定波长的光投射到对象，并通过使用光电二极管或相机测量或捕获从对象反射的光的图像来提取图像。

然而，很难从远处的对象获取深度信息并产生深度图像。为了提高测量距离的准确性，可以使用将多条像素信息组合成一个的合并技术。然而，合并技术可能降低分辨率。合并技术包括模拟合并方法和数字合并方法。然而，在模拟合并方法和数字合并方法中，噪声可能不同。

发明内容

本发明构思提供了一种深度传感器和图像信号处理器，用于基于环境光的强度来改变合并模式。

根据本发明构思的一个方面，一种操作用于测量到对象的距离的深度传感器的方法包括：从像素阵列中包括的至少一个深度像素输出像素信号；根据像素信号产生环境光信息，其中环境光信息基于深度传感器外部的环境光的强度；以及基于环境光参数值将深度传感器的合并模式设置为模拟合并模式或数字合并模式。

根据本发明构思的另一方面，一种深度传感器包括：发射器，被配置为向对象发射入射信号以测量到对象的距离；以及接收器，被配置为接收由对象反射的反射信号，其中，接收器包括：像素阵列，该像素阵列包括多个深度像素，所述多个深度像素被配置为根据反射信号产生像素信号；读取电路，被配置为接收在像素阵列中产生的像素信号；以及控制器，被配置为基于像素信号计算环境光的强度，并且基于环境光的强度设置读取电路的模拟合并模式或数字合并模式，其中，读取电路以模拟合并模式或数字合并模式操作以基于像素信号产生数字像素信号。

根据本发明构思的另一方面，一种用于测量到对象的距离的深度传感器包括：控制器，被配置为基于关于由对象反射的反射信号而产生的像素信号来计算环境光的强度，并且被配置为基于环境光的强度来确定深度传感器的操作环境是室内还是室外，并且还被配置为基于所确定的操作环境对像素信号执行模拟合并或数字合并。

根据本发明构思的另一方面，一种操作图像信号处理器(ISP)的方法包括：从用于测量到对象的距离的深度传感器接收关于由对象反射的反射信号而产生的像素信号；基于像素信号计算环境光的强度；以及基于环境光的强度来确定深度传感器是执行模拟合并操作还是数字合并操作。

根据本发明构思的另一方面，ISP包括：参数计算电路，被配置为：从用于测量到对象的距离的深度传感器接收关于由对象反射的反射信号而产生的像素信号，并且基于像素信号计算环境光参数值，环境光参数值反映环境光的强度；以及合并模式确定电路，被配置为确定深度传感器的合并模式，其中，当环境光参数值超过阈值时，配置深度传感器执行模拟合并操作，并且当环境光参数值等于或小于阈值时，配置深度传感器执行数字合并操作。

附图说明

根据以下结合附图的详细描述将更清楚地理解本发明构思的实施例，在附图中：

图1是根据实施例的图像处理设备的框图；

图2是根据实施例的入射信号和反射信号的时序图；

图3示出根据实施例的深度像素的结构的示例；

图4示出根据实施例的像素阵列的结构的示例；

图5是根据实施例的深度像素的一部分的示意电路图；

图6是根据实施例的光电栅极信号的时序图；

图7示出根据实施例的像素阵列的结构的示例；

图8是根据实施例的控制器的框图；

图9是示出根据实施例的环境光参数和环境光的强度之间的关系的曲线图；

图10是示出根据实施例的根据深度传感器的操作环境的环境光参数的曲线图；

图11是示出根据实施例的根据深度传感器的合并模式的噪声的曲线图；

图12是根据实施例的读取电路的框图；

图13是根据实施例的深度传感器的操作的流程图；

图14是根据实施例的设置深度传感器的合并模式的方法的流程图；

图15是示出根据实施例的设置深度传感器的合并模式的方法的曲线图；

图16是根据实施例的图像处理设备的框图；以及

图17是根据实施例的包括深度传感器的电子设备的框图。

具体实施方式

在使用合并技术的深度成像系统中，为了获取更大的信噪比，会牺牲分辨率。例如，一种合并技术是使用更大的像素组(例如2x2的四像素组)作为收集相移信号(深度信息)的单个像素。为此，像素信号可以被相加和/或平均。合并操作可以应用于数字像素信号或模拟像素信号。下面将详细讨论合并的具体示例。数字合并和模拟合并可以提供不同的益处，并且基于环境条件，一种可能比另一种更理想。

在下文中，将参考附图详细描述本发明构思的实施例。

图1是根据实施例的图像处理设备的框图。图2是根据实施例的入射信号和反射信号的时序图。

参照图1和图2，图像处理设备10可以包括深度传感器100和图像信号处理器(ISP)200。图像处理设备10可以通过测量到位于图像处理设备10外部的对象1的距离来产生深度数据。

深度传感器100可以以飞行时间(TOF)方式操作，并且可以基于入射信号TX和反射信号RX之间的相位差来测量到对象1的距离。为了测量到对象1的距离，深度传感器100可以包括发射器110和接收器120，发射器110将入射信号TX发射到对象1，接收器120接收由对象1反射的反射信号RX并基于反射信号RX产生数字像素信号DSIG_PX。发射器110可以包括驱动电路111、光源112和光学系统113，接收器120可以包括控制器121、像素阵列122和读取电路123。

驱动电路111可以基于来自控制器121的控制操作产生用于驱动光源112的时钟信号。光源112可以响应于时钟信号产生调制的光信号并通过光学系统113将信号辐射到对象1。时钟信号或调制的光信号可以是正弦波或方波。

光源112可以包括发光二极管(LED)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AMOLED)或激光二极管。在实施例中，光源112可以被配置为竖直腔表面发射激光器(VCSEL)。

像素阵列122可以包括至少一个深度像素PX，该深度像素PX接收从对象1反射的反射信号RX。深度像素PX可以通过将光电荷累积一定时间段(例如，积分时间)来产生作为电信号的像素信号SIG_PX。

深度像素PX可以在一个采样周期期间根据具有不同相位的控制信号输出至少一个像素信号SIG_PX。例如，深度像素PX可以具有4抽头结构，并且可以通过具有彼此不同的四个相位的光电栅极控制信号来输出四个像素信号SIG_PX。稍后将更详细地描述深度像素PX。

像素阵列122可以从控制器121接收合并模式控制信号BM_CTRL。根据合并模式控制信号BM_CTRL，像素阵列122可以控制从多个抽头产生的电荷到浮动扩散节点的时序。例如，当像素阵列122以全模式操作时，像素阵列122可以在一帧周期中从与特定相位相对应的抽头获取信号。当像素阵列122以合并模式操作时，像素阵列122可以在一帧周期中从与特定相位相对应的多个抽头获取信号。

读取电路123可以通过处理从深度像素PX输出的像素信号SIG_PX来产生数字像素信号DSIG_PX。在实施例中，读取电路123可以在控制器121的控制下对像素信号SIG_PX执行相关双采样(CDS)操作和模数转换(ADC)操作。

根据本发明构思的实施例，深度传感器100可以执行合并操作。合并可以指对多个像素信号SIG_PX求和和/或求平均的操作。对模拟信号执行的合并操作可以称为模拟合并，对数字信号执行的合并操作可以称为数字合并。

像素阵列122和/或读取电路123可以根据从控制器121接收的合并模式控制信号BM_CTRL来执行模拟合并操作或数字合并操作。

在实施例中，在接收到指示模拟合并模式的合并模式控制信号BM_CTRL时，像素阵列122可以从一个浮动扩散节点读取从多个抽头产生的电荷。多个抽头可以对应于相同的相位。接下来，读取电路123可以通过对从像素阵列122获取的信号求和来产生数字像素信号DSIG_PX。

在实施例中，在接收到指示数字合并模式的合并模式控制信号BM_CTRL时，像素阵列122可以从一个浮动扩散节点读取从一个抽头产生的电荷。读取电路123可以通过将从像素阵列122获取的信号数字化并对多个数字信号求平均来产生数字像素信号DSIG_PX。

因此，在模拟合并模式中，可以首先收集像素信号并且然后对其数字化。在数字合并模式中，可以首先对像素信号数字化并且然后对其相加并求平均。

经受合并的信号的数量和/或经受合并的深度像素PX的数量可以由控制器121确定。读取电路123可以对像素信号SIG_PX执行合并操作以产生数字像素信号DSIG_PX并将数字像素信号DSIG_PX提供给图像信号处理器200。

控制器121可以控制深度传感器100的一系列操作。控制器121可以控制驱动电路111以产生入射信号TX。在实施例中，控制器121可以被配置为基于关于从对象1反射的反射信号RX而产生的像素信号SIG_PX来计算环境光的强度，并基于环境光的强度来判断深度传感器100的操作环境是室内还是室外。然后控制器121可以基于所确定的操作环境来设置要对像素信号SIG_PX执行的模拟合并或数字合并。

根据本发明构思的实施例，控制器121可以从读取电路123接收像素信号SIG_PX，并且基于像素信号SIG_PX产生合并模式控制信号BM_CTRL以确定读取电路123的合并模式。控制器121可以通过使用像素信号SIG_PX来测量环境光的强度。控制器121可以基于环境光的强度产生用于确定合并模式的环境光信息。可以基于环境光信息将读取电路123的合并模式确定为模拟合并模式或数字合并模式。环境光也可以称为外围光。基于环境光信息，可以确定深度传感器100的操作环境是室内还是室外。环境光信息可以包括例如图8的环境光参数。

由于环境光可以作为关于像素信号SIG_PX的噪声源，根据本发明构思的实施例，为了减少噪声，可以根据环境光的强度改变合并模式。因此，可以最小化像素信号SIG_PX的噪声，因此可以提高测量的距离或产生的深度数据的准确性。

接收器120还可以包括用于调制反射信号RX的调制器、用于向深度像素PX提供控制信号的行驱动器、行解码器、时序控制器、以及向深度像素PX提供光电栅极控制信号的光电栅极控制器。

图像信号处理器200可以基于数字像素信号DSIG_PX产生深度数据。尽管在图1中示出了包括在图像处理设备10内部的图像信号处理器200，但是本发明构思不一定限于此，并且图像信号处理器200也可以在图像处理设备10的外部实现。

图3示出根据实施例的深度像素的结构的示例。

参照图3，深度像素PX可以具有4抽头结构。“抽头”可以指包括光电栅极和用于根据解调信号而收集和检测光电荷的检测区域在内的组件。例如，抽头可以允许具有许多像素的图像系统更快地捕获信息，因为可以一次读取多个数据流(例如，累积的电荷)。

深度像素PX可以包括分别与彼此不同的相位相对应的四个抽头。例如，四个抽头可以分别对应于0°、90°、180°和270°的相位。也就是说，提供给四个抽头的光电栅极信号的相位可以分别是0°、90°、180°和270°。

深度像素PX可以包括与每一个抽头相对应的浮动扩散节点FD。在该示例中，由于深度像素PX具有4抽头结构，因此深度像素PX可以包括四个浮动扩散节点FD。尽管浮动扩散节点FD被示出为在每个抽头的每个边缘处，但是本发明构思不一定限于此。

由于在浮动扩散节点FD中累积的电荷，可以从各个抽头产生四个不同的像素信号A1至A4。在实施例中，可以在与0°相位相对应的第一抽头中产生第一像素信号A1，可以在与90°相位相对应的第二抽头中产生第二像素信号A2，可以在与180°相位相对应的第三抽头中产生第三像素信号A3，并且可以在与270°相位相对应的第四抽头中产生第四像素信号A4。

基于第一像素信号A1到第四像素信号A4，可以根据等式1和等式2计算到对象1的距离。

[等式1]

[等式2]

在等式1中，

表示入射信号TX和反射信号RX之间的相位差，在等式2中，c表示光通量，f_m表示入射信号TX或反射信号RX的频率，d表示到对象1的距离。

深度像素PX不一定限于4抽头结构，也可以具有包括多个抽头的多抽头结构的2抽头结构。

图4示出根据实施例的像素阵列122的结构的示例。像素阵列122可以对应于图1的像素阵列122的实施例。

参照图4，像素阵列122可以包括多个深度像素，每一个深度像素具有4抽头结构。像素阵列122可以包括第一深度像素PX1和第二深度像素PX2。

第一深度像素PX1可以包括第一抽头至第四抽头，第二深度像素PX2可以包括第五抽头至第八抽头。第一抽头和第五抽头可以对应于相同相位，例如0°相位，第二抽头和第六抽头可以对应于相同相位，例如90°相位，第三抽头和第七抽头可以对应于相同的相位，例如180°相位，并且第四抽头和第八抽头可以对应于相同的相位，例如270°相位。

第一深度像素PX1和第二深度像素PX2可以以镜像对称结构布置，使得与相同相位相对应的抽头彼此相邻。例如，第三抽头和第七抽头可以彼此相邻，并且第四抽头和第八抽头可以彼此相邻。第一深度像素PX1的第一抽头和第二抽头可以与其他深度像素相邻。

因此，彼此相邻的多个抽头可以共享浮动扩散节点。例如，第三抽头和第七抽头可以共用一个浮动扩散节点，第四抽头和第八抽头可以共用一个浮动扩散节点。

图5是根据实施例的深度像素的一部分的电路图。图6是根据实施例的光电栅极信号的时序图。

参照图5，深度像素PX可以包括一个光电二极管PD、四个光电晶体管PX1至PX4和四个浮动扩散节点FD1至FD4。深度像素PX还可以包括四个转移晶体管、四个捕获晶体管、四个存储晶体管和一个溢出晶体管中的至少一项。

第一光电晶体管PX1至第四光电晶体管PX4可以分别连接在第一浮动扩散节点FD1至第四浮动扩散节点FD4与光电二极管PD之间。第一光电晶体管PX1至第四光电晶体管PX4可以分别由第一光电栅极信号PG1至第四光电栅极信号PG4控制。第一光电栅极信号PG1至第四光电栅极信号PG4可以具有彼此不同的相位。在实施例中，参照图6，当假设第一光电栅极信号PG1的相位为0°时，第二光电栅极信号PG2至第四光电栅极信号PG4的相位可以分别是90°、180°和270°。也就是说，第一光电栅极信号PG1至第四光电栅极信号PG4之间的相位差可以分别是90°。

随着第一光电晶体管PX1至第四光电晶体管PX4导通，可以在光电二极管PD中产生光电荷，并且所产生的光电荷可以累积在第一浮动扩散节点FD1至第四浮动扩散节点FD4中。可以基于累积在第一浮动扩散节点FD1至第四浮动扩散节点FD4中的光电荷来输出第一像素信号至第四像素信号(例如，图3的A1至A4)。第一像素信号A1至第四像素信号A4也可以由于例如第一光电栅极信号PG1至第四光电栅极信号PG4之间的相位差而彼此不同。

图7示出根据实施例的像素阵列的结构的示例。

参照图7，深度传感器(例如，图1的100)可以以合并模式操作，因此，像素阵列122a可以以深度像素组(GPX)为单位操作。在下文中，将描述2x2合并模式作为示例。

深度像素组GPX可以包括与相同相位相对应的多个抽头。在实施例中，可以包括与第一相位(例如，0°)相对应的第一抽头，与第二相位(例如，90°)相对应的第二抽头，与第三相位相对应的第三抽头(例如，180°)，以及与第四相位(例如270°)相对应的第四抽头，也就是说，每个抽头可以包括四个。

与相同相位相对应的抽头可以共享一个浮动扩散节点。因此，可以通过一个浮动扩散节点输出从多个抽头(例如，四个第一抽头)产生的像素组信号。

图8是根据实施例的控制器的框图。图9是示出根据实施例的环境光参数和环境光的强度之间的关系的曲线图。图10是示出根据实施例的根据深度传感器的操作环境的环境光参数的曲线图。图11是示出根据实施例的根据深度传感器的合并模式的噪声的曲线图。

参照图8，控制器300可以包括参数计算电路310和合并模式确定电路320。

参数计算电路310可以从读取电路400接收像素信号SIG_PX。像素信号SIG_PX可以是例如图3的第一像素信号A1至第四像素信号A4。参数计算电路310可以通过使用像素信号SIG_PX来计算环境光的强度，并且可以基于环境光的强度来计算环境光参数。环境光参数可以指的是在环境光的强度中校正了由于到对象1的距离而产生的影响的变量。例如，环境光参数可以是允许基于环境光的强度对距离计算进行校正的值。参照图9，环境光参数可以与环境光的强度成反比。可以基于发射到对象1的入射信号TX的强度和环境光的强度来计算环境光参数值PAR。例如，环境光参数值PAR可以包括通过将入射信号TX的强度除以环境光的强度而获取的值，但不一定限于此。例如，环境光参数值PAR可以包括通过将入射信号TX的强度除以环境光的强度的平方根而获取的值。

入射信号TX的强度、环境光的强度和环境光参数可以分别通过等式3、等式4和等式5来计算。

[等式3]

[公式4]

[公式5]

在等式3中，A1至A4分别表示通过深度像素的第一抽头至第四抽头输出的第一像素信号至第四像素信号，并且A表示入射信号TX的强度。在等式4中，B表示环境光的强度，在等式5中，P表示环境光参数。在入射信号TX被发射之前，可以使用第一像素信号A1至第四像素信号A4来计算环境光的强度B。例如，可以先计算B，然后计算A，然后再计算环境光参数P。参数计算电路310可以通过使用环境光参数来测量环境光的强度，而不管到对象1的距离如何。

合并模式确定电路320可以基于环境光参数值PAR来确定读取电路400的合并模式。例如，当环境光参数值PAR超过阈值时，可以将合并模式确定为模拟合并模式，当环境光参数值PAR小于或等于阈值时，可以将合并模式确定为数字合并模式。例如，当存在相对低的环境光量时，环境光参数值PAR可以更高，并且可以将合并模式设置为模拟合并模式。当存在相对高的环境光量时，环境光参数值PAR可以较低，并且可以将合并模式设置为数字合并模式。合并模式确定电路320可以使用两个阈值。这将在下面参考图15进行描述。

合并模式确定电路320可以基于环境光参数值PAR来确定深度传感器(例如，图1中的100)的操作环境，并根据操作环境产生合并模式控制信号BM_CTRL，以确定读取电路400的合并模式。例如，当环境光参数值PAR超过阈值时，深度传感器100的操作环境可以被确定为室内，当环境光参数值PAR小于或等于阈值时，深度传感器100可以被确定为室外。

参照图10，尽管到对象1的距离发生变化，但是室内环境的环境光参数值PAR明显区别于室外环境的环境光参数值PAR。因此，环境光参数可以用于可靠地确定深度传感器100的操作环境。

根据本发明构思的实施例，当控制器300基于环境光参数确定读取电路400的合并模式时，可以在环境光强度较弱的室内环境中通过模拟合并来提高像素信号SIG_PX的电平。在较强的环境光强度下，例如在室外环境中，可以通过数字合并来防止由于环境光导致的深度像素的饱和。

参照图11，根据环境光的强度，通过模拟合并产生的数据的噪声可能与通过数字合并产生的数据的噪声不同。例如，当环境光的强度从约0lux到约26klux时，通过数字合并产生的数据的噪声可能大于通过模拟合并产生的数据的噪声。因此，在上述范围内执行模拟合并可以是有利的。此外，当环境光的强度超过26klux时，通过模拟合并产生的数据的噪声可能大于通过数字合并产生的数据的噪声。因此，在上述范围内执行数字合并可以是有利的。

当环境光的强度小于或等于预设阈值时，可以通过执行模拟合并来降低噪声，当环境光的强度超过预设阈值时，可以通过数字合并来降低噪声。在实施例中，合并模式确定电路320可以基于噪声电平被反转的环境光的强度来设置环境光参数的阈值，并且基于该阈值来确定深度传感器100的模拟合并模式或数字合并模式。

在图8中，参数计算电路310还可以接收从深度像素组(例如，图7的GPX)产生的像素组信号。在这种情况下，参数计算电路310可以基于像素组信号来计算环境光参数值PAR。

图12是根据实施例的读取电路500的框图。

参照图12，读取电路500可以从控制器(例如，图8中的300)接收合并模式控制信号BM_CTRL，并且可以从像素阵列(例如，图1中的122)接收多个像素组信号。读取电路500可以通过根据合并模式控制信号BM_CTRL执行模拟合并或数字合并来产生和输出数字像素信号DSIG_PX。

读取电路500可以包括模拟合并电路510、模数转换器(ADC)520和数字合并电路530。在实施例中，当设置了模拟合并(因为合并模式控制信号BM_CTRL处于第一逻辑电平)时，读取电路500的模拟合并电路510和ADC 520可以操作。在实施例中，当设置了数字合并(因为合并模式控制信号BM_CTRL处于第二逻辑电平)时，读取电路500的ADC 520和数字合并电路530可以操作。

在示例模拟合并操作中，模拟合并电路510可以接收作为模拟信号的多个像素组信号，并且可以通过对每一个像素组信号求和来产生第一信号。ADC 520可以通过将作为模拟信号的第一信号或第二信号转换为数字信号来产生第三信号。读取电路500可以输出第三信号作为数字像素信号DSIG_PX。

在示例数字合并操作中，ADC 520可以接收作为模拟信号的多个像素组信号，并将每一个像素组信号转换为数字信号以产生多个第四信号。数字合并电路530可以接收作为数字信号的多个第四信号，并且可以通过将多个第四信号求和来产生第五信号。在实施例中，数字合并电路530可以通过计算多个第四信号的平均值来产生第六信号。读取电路500可以输出第五信号或第六信号作为数字像素信号DSIG_PX。

图13是根据实施例的深度传感器的操作的流程图。

一起参照图1和图13，可以输出像素信号SIG_PX(S110)。在实施例中，可以从深度像素PX输出多个像素信号。在实施例中，可以从深度像素组(例如，图7的GPX)输出多个像素组信号。

可以基于像素信号SIG_PX测量环境光的强度(S120)。在实施例中，可以通过对多个像素信号求平均来计算环境光的强度。在实施例中，可以通过对多个像素组信号求平均来计算环境光的强度。

可以基于环境光的强度来计算环境光参数值PAR(S130)。在实施例中，可以基于环境光的强度和发射到对象1的入射信号TX的强度来计算环境光参数值PAR。例如，可以基于入射信号TX的强度与环境光的强度的比率来计算环境光参数值PAR。环境光参数值PAR可以与环境光的强度成反比。

可以根据环境光参数值PAR来设置合并模式(S140)。在实施例中，可以通过环境光参数值PAR来确定深度传感器100的操作环境，并且可以根据操作环境来设置深度传感器100的合并模式。

接下来，根据设置的合并模式，可以从包括多个深度像素的深度像素组输出像素组信号，并且可以通过处理像素组信号来产生数字像素信号。在示例中，当设置了模拟合并模式时，可以将第一像素组信号和第二像素组信号求和，并且可以将组合信号转换为数字像素信号。在示例中，当设置了数字合并模式时，可以首先将第一像素组信号和第二像素组信号中的每一个转换为数字信号，并且可以对每一个数字信号求和以产生数字像素信号。

图14是根据实施例的设置深度传感器的合并模式的方法的流程图。

一起参照图1和图14，可以确定环境光参数值PAR是否超过预设阈值(S210)。当环境光参数值PAR超过(或等于或大于)阈值时，深度传感器100可以设置为模拟合并模式(S220)。例如，模拟合并模式可以更适合低光环境，例如室内环境。当环境光参数值PAR等于或小于(或小于)阈值时，深度传感器100可以设置为数字合并模式(S230)。例如，数字合并模式可以更适合于相对高环境光环境，例如室外环境。

可以使用多个阈值来改变深度传感器100的合并模式。这将参考图15进行描述。

图15是示出根据实施例的设置深度传感器的合并模式的方法的曲线图；

一起参照图1和图15，为了改变深度传感器100的合并模式，可以使用第一阈值TH1和小于第一阈值TH1的第二阈值TH2。

现在将描述环境光参数值PAR超过第一阈值TH1的情况，例如，在图15中的时间t1之前。由于环境光参数可以与环境光的强度成反比，因此相对大的环境光参数可以表示环境光的强度相对弱。因此，深度传感器100的操作环境可以被确定为室内。因此，深度传感器100可以通过执行模拟合并来降低噪声。因此，可以减少可能在读取电路123的ADC(例如，图12的520)中出现的量化噪声。

现在将描述环境光参数值PAR等于或小于第二阈值TH2的情况，例如，在图15中的时间t2和时间t3之间。由于环境光参数可以与环境光的强度成反比，因此相对低的环境光参数可以表示环境光的强度相对强。因此，深度传感器100的操作环境可以被确定为室外。因此，深度传感器100可以通过执行数字合并来降低噪声。例如，通过在数字合并操作中确保深度像素PX的浮动扩散节点的全阱容量(FWC)，可以防止深度像素PX的饱和。

现在将描述环境光参数值PAR超过第二阈值TH2并且等于或小于第一阈值TH1的情况。这里，作为参考的阈值可以根据环境光参数值PAR是处于上升趋势还是下降趋势而变化。

例如，当环境光参数值PAR处于第一时间t1和第二时间t2之间的下降趋势时，可以将第二阈值TH2(或第一阈值TH1)作为参考值。因此，在第二时间t2处，深度传感器100的合并模式可以从模拟合并模式改变为数字合并模式。

例如，当环境光参数值PAR处于第三时间t3和第四时间t4之间以及第五时间t5和第六时间t6之间的上升趋势时，第一阈值TH1(或第二阈值TH2)可以用作参考值。因此，深度传感器100的合并模式可以在第三时间t3和第四时间t4之间保持为数字合并模式。在这种情况下，深度传感器100的合并模式可以在第四时间t4和第五时间t5之间不改变。由于第一阈值TH1是第五时间t5和第六时间t6之间的参考值，在第六时间t6处，深度传感器100的合并模式可以从数字合并模式改变为模拟合并模式。阈值的数量或用作用于改变合并模式的参考点的阈值不一定限于此。

根据本发明构思的实施例，深度传感器100使用两个不同的阈值(TH1、TH2)，因此可以防止合并模式敏感地改变。例如，通过使用这两个阈值，合并模式可以在操作期间不会在模拟合并和数字合并之间快速摇摆。也就是说，即使在环境光参数值PAR频繁地瞬时变化的情况下，也可以稳定地执行合并模式改变操作。

图16是根据实施例的图像处理设备10a的框图。图像处理设备10a类似于图1的图像处理设备10，因此，在省略任何描述的程度上，应当理解，类似组件的描述将在说明书的前面找到。

参照图16，图像信号处理器200a可以执行确定深度传感器100a的合并模式的一系列操作。在实施例中，图像信号处理器200a可以从深度传感器100a接收关于由对象1反射的反射信号RX而产生的像素信号SIG_PX，其中深度传感器100a测量到对象1的距离。图像信号处理器200a可以基于像素信号SIG_PX计算环境光的强度。图像信号处理器200a可以基于环境光的强度来确定深度传感器100a是执行模拟合并操作还是数字合并操作。

例如，图像信号处理器200a可以基于环境光的强度来确定深度传感器100a的操作环境是室内还是室外。当深度传感器100a的操作环境被确定为室内时，可以设置为执行模拟合并操作，当深度传感器100a的操作环境被确定为室外时，可以设置为执行数字合并操作。

图像信号处理器200a可以包括参数计算电路210和合并模式确定电路220。

参数计算电路210可以类似于图8的参数计算电路310，并且可以从深度传感器100a接收像素信号SIG_PX，并且基于像素信号SIG_PX计算环境光参数值PAR。

合并模式确定电路220可以类似于图8的合并模式确定电路320，并且基于环境光参数值PAR和预设阈值产生用于确定深度传感器100a的合并模式的合并模式控制信号BM_CTRL，并且将合并模式控制信号BM_CTRL提供给深度传感器100a的读取电路123a。

读取电路123a可以通过基于合并模式控制信号BM_CTRL执行合并操作来产生数字像素信号DSIG_PX。图像信号处理器200a可以接收数字像素信号DSIG_PX并产生深度数据。

图17是根据实施例的包括深度传感器的电子设备1000的框图。

参照图17，电子设备1000可以包括深度传感器1100、图像传感器1200、主处理器1300、工作存储器1400、存储装置1500、显示设备1600、用户接口1700和通信单元1800。

深度传感器1100可以对应于参考图1至图16描述的深度传感器100和100a。例如，为了测量到电子设备1000外部的对象的距离，深度传感器1100可以响应于接收到反射信号而产生像素信号。深度传感器1100可以基于像素信号计算环境光的强度并且计算环境光参数值。深度传感器1100可以根据环境光参数值将合并模式设置为模拟合并模式或数字合并模式。深度传感器1100可以根据设置的合并模式产生数字像素信号并将数字像素信号提供给主处理器1300。主处理器1300可以基于数字像素信号产生深度数据。

图像传感器1200可以基于接收的光信号产生图像数据(例如，原始图像数据)，并将图像数据提供给主处理器1300。

主处理器1300可以控制电子设备1000的总体操作，处理从深度传感器1100接收的事件数据(例如，事件信号)，并且检测对象的移动。此外，主处理器1300可以从图像传感器1200接收图像帧并且基于预设信息执行图像处理。

工作存储器1400可以存储用于电子设备1000的操作的数据。例如，工作存储器1400可以临时存储由主处理器1300处理的分组或帧。例如，工作存储器1400可以包括易失性存储器(例如动态随机存取存储器(DRAM)、同步RAM(SRAM))、和/或相变RAM(PRAM)、磁阻RAM(MRAM)、电阻RAM(ReRAM)和铁电RAM(FRAM)。

存储装置1500可以存储来自主处理器1300或其他组件的请求存储的数据。存储装置1500可以包括非易失性存储器，例如闪存、PRAM、MRAM、ReRAM和FRAM。

显示设备1600可以包括显示面板、显示驱动电路和显示串行接口(DSI)。例如，显示面板可以用各种设备实现，例如液晶显示(LCD)设备、发光二极管(LED)显示设备、有机LED(OLED)显示设备、有源矩阵OLED(AMOLED)显示设备等。显示驱动电路可以包括驱动显示面板所需的时序控制器、源极驱动器等。主处理器1300中嵌入的DSI主机可以通过DSI与显示面板执行串行通信。

用户接口1700可以包括键盘、鼠标、小键盘、按钮、触摸面板、触摸屏、触摸板、触摸球、陀螺仪传感器、振动传感器、加速度传感器和/或其他输入模式。

通信单元1800可以通过天线1830与外部设备/系统交换信号。通信单元1800的收发器1810和调制器/解调器(MODEM)1820可以根据无线通信协议(例如，长期演进(LTE)、全球微波接入互操作性(WIMAX)、全球移动通信系统(GSM)、码分多址(CDMA)、蓝牙、近场通信(NFC)、无线保真(Wi-Fi)、射频识别(RFID)等)来处理与外部设备/系统交换的信号。

电子设备1000的组件(例如，深度传感器1100、图像传感器1200、主处理器1300、工作存储器1400、存储装置1500、显示设备1600、用户界面1700和通信单元1800)可以根据各种接口协议(例如，通用串行总线(USB)、小型计算机系统接口(SCSI)、移动工业处理器接口(MIPI)、内部集成电路(I²C)、外围组件互连高速(PCIe)、移动PCIe(M-PCIe)、高级技术附件(ATA)、并行ATA(PATA)、串行ATA(SATA)、串行附接SCSI(SAS)、集成驱动电子设备(IDE)、增强型IDE(EIDE)、非易失性存储器快速(NVMe)、通用闪存(UFS)等)来交换数据。

尽管已经参照本发明构思的实施例具体示出并描述了本发明构思，但是将会理解，在不脱离所附权利要求书的精神和范围的情况下，可以在其中执行形式和细节上的各种变化。

Claims (20)

1.一种操作用于测量到对象的距离的深度传感器的方法，所述方法包括：

从像素阵列中包括的至少一个深度像素输出像素信号；

根据所述像素信号产生环境光信息，其中，所述环境光信息基于所述深度传感器外部的环境光的强度；以及

基于所述环境光信息将所述深度传感器的合并模式设置为模拟合并模式或数字合并模式。

2.根据权利要求1所述的方法，还包括：

根据设置的合并模式从包括多个深度像素的深度像素组输出像素组信号；以及

通过根据所述设置的合并模式处理所述像素组信号来产生数字像素信号。

3.根据权利要求2所述的方法，其中，产生所述数字像素信号包括：

当所述合并模式被设置为所述模拟合并模式时，对第一像素组信号和第二像素组信号一起求和以形成组合的模拟信号；以及

将所述组合的模拟信号转换为所述数字像素信号。

4.根据权利要求2所述的方法，其中，产生所述数字像素信号包括：

当所述合并模式被设置为所述数字合并模式时，将第一像素组信号和第二像素组信号中的每一个转换为数字信号；

对每个数字信号求和以形成组合的数字信号；以及

根据所述组合的数字信号产生所述数字像素信号。

5.根据权利要求1所述的方法，其中，所述环境光信息包括环境光参数值，以及

其中，将所述合并模式设置为所述模拟合并模式或所述数字合并模式包括：

当所述环境光参数值超过阈值时，将所述合并模式设置为所述模拟合并模式，以及

当所述环境光参数值等于或小于所述阈值时，将所述合并模式设置为所述数字合并模式。

6.根据权利要求5所述的方法，其中，当所述环境光参数值超过所述阈值时，所述深度传感器确定所述深度传感器的操作环境为室内，以及

其中，当所述环境光参数值等于或小于所述阈值时，所述深度传感器确定所述深度传感器的操作环境为室外。

7.根据权利要求1所述的方法，其中，所述像素阵列包括具有4抽头结构的第一深度像素，以及

其中，输出所述像素信号包括：根据分别具有第一相位、第二相位、第三相位和第四相位的第一信号、第二信号、第三信号和第四信号，从所述第一深度像素输出第一像素信号、第二像素信号、第三像素信号和第四像素信号。

8.根据权利要求7所述的方法，其中，所述第一相位、所述第二相位、所述第三相位和所述第四相位分别为0°、90°、180°和270°。

9.根据权利要求7所述的方法，其中，产生所述环境光信息包括计算所述第一像素信号、所述第二像素信号、所述第三像素信号和所述第四像素信号的平均值。

10.根据权利要求1所述的方法，其中，所述深度传感器向所述对象发射入射信号，接收由所述对象反射的反射信号，并且基于所述入射信号和所述反射信号测量到所述对象的距离，以及

其中，产生所述环境光信息包括基于所述入射信号的强度和所述环境光的强度来产生所述环境光信息。

11.根据权利要求1所述的方法，其中，所述环境光信息包括根据由所述深度传感器发射的入射信号和所述环境光的强度而计算的环境光参数值，以及

其中，将所述合并模式设置为所述模拟合并模式或所述数字合并模式包括：

当所述环境光参数值在第一时间处等于或小于第一阈值并且超过第二阈值时，并且当所述环境光参数值在第二时间处增大到所述第一阈值时，将所述合并模式设置为所述模拟合并模式；以及

当所述环境光参数值在所述第一时间处等于或小于所述第一阈值并且超过所述第二阈值时，并且当所述环境光参数值在所述第二时间处减小到所述第二阈值或更小时，将所述合并模式设置为所述数字合并模式，

其中，所述第二阈值小于所述第一阈值。

12.一种深度传感器，包括：

发射器，被配置为向对象发射入射信号以测量到所述对象的距离；以及

接收器，被配置为接收由所述对象反射的反射信号，

其中，所述接收器包括：

像素阵列，包括多个深度像素，所述多个深度像素被配置为根据所述反射信号产生像素信号；

读取电路，被配置为接收在所述像素阵列中产生的所述像素信号；以及

控制器，被配置为基于所述像素信号计算环境光的强度，并且基于所述环境光的强度设置所述读取电路的模拟合并模式或数字合并模式，

其中，所述读取电路以所述模拟合并模式或所述数字合并模式操作，以基于所述像素信号产生数字像素信号。

13.根据权利要求12所述的深度传感器，其中，所述控制器包括：

参数计算电路，被配置为基于所述入射信号的强度和所述环境光的强度来计算用于确定所述读取电路的合并模式的环境光参数；以及

合并模式确定电路，被配置为确定所述读取电路的合并模式，其中，当环境光参数值超过阈值时，所述读取电路的合并模式被设置为所述模拟合并模式，并且当所述环境光参数值等于或小于所述阈值时，所述读取电路的合并模式被设置为所述数字合并模式。

14.根据权利要求13所述的深度传感器，其中，所述环境光参数值基于所述入射信号的强度与所述环境光的强度的比率。

15.根据权利要求13所述的深度传感器，其中，所述环境光参数包括变量，所述变量能够用于基于所述环境光的强度来校正计算的到所述对象的距离。

16.根据权利要求13所述的深度传感器，其中，确定所述读取电路的合并模式与第一阈值和第二阈值有关，所述第二阈值小于所述第一阈值，

当所述环境光参数值超过所述第一阈值时，所述合并模式确定电路确定所述读取电路的合并模式为所述模拟合并模式，以及

当所述环境光参数值等于或小于所述第二阈值时，所述合并模式确定电路确定所述读取电路的合并模式为所述数字合并模式。

17.根据权利要求16所述的深度传感器，其中，当所述环境光参数值在第一时间处超过所述第二阈值并且等于或小于所述第一阈值时，并且当所述环境光参数值在第二时间处增大到所述第一阈值时，所述合并模式确定电路确定所述读取电路的合并模式为所述模拟合并模式，以及

当所述环境光参数值在所述第一时间处超过所述第二阈值并且等于或小于所述第一阈值时，并且当所述环境光参数值在所述第二时间处减小到所述第二阈值或更小时，所述合并模式确定电路确定所述读取电路的合并模式为所述数字合并模式。

18.一种用于测量到对象的距离的深度传感器，所述深度传感器包括：

控制器，被配置为基于关于由所述对象反射的反射信号而产生的像素信号来计算环境光的强度，并且被配置为基于所述环境光的强度来确定所述深度传感器的操作环境是室内还是室外，并且还被配置为基于所确定的操作环境对所述像素信号执行模拟合并或数字合并。

19.根据权利要求18所述的深度传感器，其中，所述控制器还被配置为：当所述环境光的强度等于或小于阈值时，将所述深度传感器的操作环境确定为室外，并且响应于所述确定，控制读取电路对所述像素信号执行数字合并。

20.根据权利要求19所述的深度传感器，其中，所述控制器还被配置为：当所述环境光的强度超过所述阈值时，将所述深度传感器的操作环境确定为室内，并且响应于所述确定，控制所述读取电路对所述像素信号执行模拟合并。

Images