CN110381239B - 图像传感器、图像采集器、深度相机、电子设备及信号处理方法 - Google Patents

Abstract

本申请公开了一种图像传感器、图像采集器、深度相机、电子设备及信号处理方法。图像传感器包括多个像素，每个像素均包括感光器件、第一电容、第二电容及寄存器。第一电容与感光器件连接，感光器件在激光投射器投射激光时接收光线以生成第一电荷，第一电荷存储在第一电容中。第二电容与感光器件连接，感光器件在激光投射器未投射激光时接收光线以生成第二电荷，第二电荷存储在第二电容中。寄存器与第一电容及第二电容均连接，寄存器用于处理第一电荷及第二电荷以得到第三电荷。本申请提供第一电容和第二电以容分别存储第一电荷和第二电荷，基于这两部分电荷获取仅由激光投射器投射的激光形成的信号，可去除形成散斑图像的光线中的环境红外光。

Description

图像传感器、图像采集器、深度相机、电子设备及信号处理 方法

技术领域

本申请涉及三维成像技术领域，特别涉及一种图像传感器、图像采集器、深度相机、电子设备及信号处理方法。

背景技术

采用结构光的深度相机是利用激光投射器向场景中投射红外激光，红外激光会形成散斑图案，图像采集器采集散斑图案以生成散斑图像。处理器根据散斑图像和预存的参考图像做散斑匹配以计算场景的深度图像。激光投射器投射的红外激光的波段通常为940nm，外界的环境光也包括940nm波段的光。当环境光亮度较高时，散斑图案中的散斑点的亮度与环境光的亮度比较接近，使得散斑点无法被准确区分，散斑匹配失败，最终的深度图像会出现部分或全部缺失。

发明内容

本申请实施方式提供了一种图像传感器、图像采集器、深度相机、电子设备及信号处理方法。

本申请实施方式的图像传感器包括多个像素。每个所述像素均包括感光器件、第一电容、第二电容及寄存器。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述寄存器与所述第一电容及所述第二电容均连接，所述寄存器用于处理所述第一电荷及所述第二电荷以得到第三电荷。

本申请实施方式的图像传感器包括多个像素、模数转换单元及信号处理单元。每个所述像素均包括感光器件、第一电容及第二电容。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述模数转换单元用于处理所述第一电荷得到第一数字电信号以及处理所述第二电荷得到第二数字电信号。所述信号处理单元用于处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

本申请实施方式的图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素。每个所述像素均包括感光器件、第一电容、第二电容及寄存器。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述寄存器与所述第一电容及所述第二电容均连接，所述寄存器用于处理所述第一电荷及所述第二电荷以得到第三电荷。

本申请实施方式的图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素、模数转换单元及信号处理单元。每个所述像素均包括感光器件、第一电容及第二电容。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述模数转换单元用于处理所述第一电荷得到第一数字电信号以及处理所述第二电荷得到第二数字电信号。所述信号处理单元用于处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

本申请实施方式的深度相机包括激光投射器及图像采集器。所述激光投射器用于投射激光。所述图像采集器用于获取散斑图像。图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素。每个所述像素均包括感光器件、第一电容、第二电容及寄存器。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述寄存器与所述第一电容及所述第二电容均连接，所述寄存器用于处理所述第一电荷及所述第二电荷以得到第三电荷。

本申请实施方式的深度相机包括激光投射器及图像采集器。所述激光投射器用于投射激光。所述图像采集器用于获取散斑图像。图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素、模数转换单元及信号处理单元。每个所述像素均包括感光器件、第一电容及第二电容。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述模数转换单元用于处理所述第一电荷得到第一数字电信号以及处理所述第二电荷得到第二数字电信号。所述信号处理单元用于处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

本申请实施方式的电子设备包括壳体及深度相机，所述深度相机与所述壳体结合。深度相机包括激光投射器及图像采集器。所述激光投射器用于投射激光。所述图像采集器用于获取散斑图像。图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素。每个所述像素均包括感光器件、第一电容、第二电容及寄存器。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述寄存器与所述第一电容及所述第二电容均连接，所述寄存器用于处理所述第一电荷及所述第二电荷以得到第三电荷。

本申请实施方式的电子设备包括壳体及深度相机，所述深度相机与所述壳体结合。深度相机包括激光投射器及图像采集器。所述激光投射器用于投射激光。所述图像采集器用于获取散斑图像。图像采集器包括镜片组件、滤光片和图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。图像传感器包括多个像素、模数转换单元及信号处理单元。每个所述像素均包括感光器件、第一电容及第二电容。所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中。所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中。所述模数转换单元用于处理所述第一电荷得到第一数字电信号以及处理所述第二电荷得到第二数字电信号。所述信号处理单元用于处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括多个像素，每个所述像素均包括感光器件、第一电容、第二电容及寄存器；所述信号处理方法包括：所述感光器件在激光投射器投射激光时接收光线以生成第一电荷；所述第一电容存储所述第一电荷；所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷；所述第二电容存储所述第二电荷；所述寄存器处理所述第一电荷及所述第二电荷以得到第三电荷。

本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括多个像素、模数转换单元及信号处理单元，每个所述像素均包括感光器件、第一电容及第二电容；所述信号处理方法包括：所述感光器件在激光投射器投射激光时接收光线以生成第一电荷；所述第一电容存储所述第一电荷；所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷；所述第二电容存储所述第二电荷；所述模数转换单元处理所述第一电荷得到第一数字电信号，处理所述第二电荷得到第二数字电信号；和所述信号处理单元处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

本申请实施方式的图像传感器、图像采集器、深度相机、电子设备及信号处理方法在每个像素中提供第一电容来存储感光器件同时接收激光投射器投射的激光和环境红外光生成的第一电荷，提供第二电容来存储感光器件仅接收环境红外光生成的第二电荷，基于这两部分电荷来获取仅由激光投射器投射的激光形成的信号，该信号去除了环境红外光的干扰，基于该信号得到的散斑图像中的散斑点较为容易识别，有利于提升深度图像中深度信息的完整性。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1和图2是本申请某些实施方式电子设备的结构示意图。

图3是图1中电子设备的图像采集器的结构示意图。

图4是本申请一个实施例的图像采集器与处理器的连接示意图。

图5是本申请一个实施例的激光投射器和图像传感器的工作时序示意图。

图6是本申请另一个实施例的激光投射器和图像传感器的工作时序示意图。

图7是本申请另一个实施例的图像采集器与处理器的连接示意图。

图8是本申请再一个实施例的图像采集器与处理器的连接示意图。

图9和图10是图4或图7的图像采集器的信号处理方法的流程示意图。

图11是图8的图像采集器的信号处理方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请一并参阅图1至图3，本申请提供一种电子设备1000。其中，电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备1000是手机为例进行说明，但电子设备1000的形式并不限于手机。电子设备1000包括深度相机100、壳体200、处理器300及显示屏400。处理器300收容在壳体200中，显示屏40安装在壳体200上。

深度相机100与壳体200结合。具体地，在一个例子中，壳体200包括主体202和可动支架201。可动支架201在驱动装置的驱动下可以相对主体202运动，例如，可动支架201可以相对于主体202滑动，以滑入主体202或从主体202滑出。深度相机100可以安装在可动支架201上，可动支架201运动可带动深度相机100缩回主体202内或从主体202中伸出。壳体200上开设有一个或多个采集窗口，采集窗口可以开设在壳体200的正面或背面，深度相机100与采集窗口对准安装，以使深度相机100能够接收从采集窗口入射的光线。用户在需要使用深度相机100时，可以触发可动支架201从主体202中滑出以带动深度相机100从主体202中伸出；用户不需要使用深度相机100时，可以触发可动支架201滑入主体202以带动深度相机100缩回主体202中。在另一个例子中，壳体200上开设有一个或多个通孔，深度相机100安装在壳体200内并与通孔对准。通孔可以开设在壳体200的正面或背面，深度相机100可以接收经过通孔的光线。在又一个例子中，深度相机100安装在壳体200内，具体地，深度相机100安装在电子设备1000的显示屏400下方，深度相机100发出的光线经由显示屏400出射到外界，外界的光线经由显示屏400入射以被深度相机100接收。显示屏400的与深度相机100对应的区域仍旧可以正常显示。

深度相机100包括激光投射器10和图像采集器20。激光投射器10用于向场景投射激光。激光可以是红外激光或其他不可见光，例如紫外激光等；激光投射器10投射的激光投射到场景中时会形成带有多个随机分布的散斑点的散斑图案。图像采集器20用于接收光线以获取图像。例如，当激光投射器10向场景投射红外激光时，图像采集器20可以接收激光投射器10投射的且被场景中的物体反射回的激光以及环境中的红外光，并根据接收的光线形成散斑图像。电子设备1000中预存有参考图像。处理器300可以对参考图像和散斑图像做散斑匹配以计算出场景的深度图像。

图像采集器20包括图像传感器30、滤光片50及镜片组件60。沿与图像采集器20的入光方向相反的方向，图像传感器30、滤光片50及镜片组件60依次堆叠设置。

可以理解，目前的激光投射器10通常会投射波长为940nm的红外激光。但是当在亮度较高的场景下使用深度相机100，例如在阳光强烈的户外场景下使用深度相机100时，此时环境光线中包含有大量940nm的红外光(以下简称环境红外光)，这部分环境红外光也会被图像采集器20接收，导致散斑图像中的散斑点的亮度与环境红外光成像后的亮度比较接近，算法无法区分散斑点，导致散斑匹配失败，深度信息出现部分或全部缺失。

为消除环境红外光对散斑图像的影响，本申请提供一种图像传感器30。请参阅图4和图7，图像传感器30包括多个像素31及多个模数转换单元32。每个像素31均包括感光器件311、第一电容314、第二电容315及寄存器318。第一电容314与感光器件311连接，感光器件311在激光投射器10投射激光时接收光线以生成第一电荷，第一电荷存储在第一电容314中。第二电容315与感光器件311也连接，感光器件311在激光投射器10未投射激光时接收光线以生成第二电荷，第二电荷存储在第二电容315中。寄存器318与第一电容314及第二电容315均连接，寄存器318用于处理第一电荷及第二电荷以得到第三电荷。多个模数转换单元32与多个像素31一一对应，每个模数转换单元32与对应的像素31中的寄存器318连接，并用于处理第三电荷以得到对应像素31的目标数字电信号。

具体地，请结合图4，在一个例子中，图像传感器30包括多个像素31及多个模数转换单元32，多个模数转换单元32与多个像素31一一对应。每个像素31均包括复位电路313、感光器件311、第一电容314、第二电容315、放大器317、读出电路312、寄存器318及地址电路319。感光器件311可以是光电二极管、光电三极管等，在此不作限制。

其中，感光器件311的阳极接地，阴极与读出电路312的源极连接。读出电路312的栅极与读出线302连接，漏极与复位电路313的源极连接。复位电路313的栅极连接复位线301，漏极连接电源VDD。第一电容314的一个电极与读出电路312的漏极连接，同时与复位电路313的源极连接，第一电容314的另一个电极接地。第二电容315的一个电极与读出电路312的漏极连接，同时与复位电路313的源极连接，第二电容315的另一个电极接地。第一电容314与读出电路312的漏极连接时，第一电容314与读出电路312之间还设置有第一开关3161，第二电容315与读出电路312的漏极连接时，第二电容315与读出电路312之间还设置有第二开关3162。当第一开关3161闭合，第二开关3162断开时，感光器件311接收光线产生的电荷会传输到第一电容314中存储；当第一开关3161断开，第二开关3162闭合时，感光器件311接收光线产生的电荷会传输到第二电容315中存储。放大器317的栅极与读出电路312的漏极连接，并与复位电路313的源极连接，还与第一电容314的一个电极以及第二电容315的一个电极连接。放大器317的漏极与电源VDD连接，源极与寄存器318的一端连接。寄存器318的另一端与地址电路319的漏极连接。地址电路319的栅极与行选通线303连接，源极与列选通线304连接，并与对应的模数转换单元32的一端连接。模数转换单元32的另一端与处理器300连接。其中，复位电路313的源极和漏极可以互换，读出电路312的源极和漏极可以互换，放大器317的源极和漏极可以互换，地址电路319的源极和漏极也可以互换。第一电容314和第二电容315的位置可以互换。

请结合图4和图5，在一个例子中，图4所示的图像传感器30的工作过程可以如下所述：在深度相机100开启时，激光投射器10开始投射激光，同时复位电路313执行复位操作，且感光器件311开始曝光以接收从外界入射的光线，第一开关3161开启，第二开关3162关闭，此时感光器件311接收到的光线包括激光投射器10投射的激光以及环境红外光，感光器件311接收这两部分光线后会生成多个第一电荷，感光器件311在t1时段内生成的多个第一电荷可以转移到第一电容314中存储。在感光器件311曝光t1时段后，激光投射器10停止投射激光，感光器件311继续曝光以接收从外界入射的光线，而第二开关3162开启，第一开关3161关闭，此时感光器件311接收到的光线仅包括环境红外光，感光器件311接收环境红外光后会生成多个第二电荷，在感光器件311曝光t2时段后，感光器件311停止曝光，感光器件311在t2时段内生成的多个第二电荷可以转移到第二电容315中存储。其中，t2时段与t1时段相等。随后，多个第一电荷和多个第二电荷可以分别传输到放大器317中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路312读出，放大后的多个第二电荷形成第二电压信号并由读出电路312读出。读出电路312读出的第一电压信号及第二电压信号可以被传输到寄存器318中，寄存器318可以对由第一电荷形成的第一电压信号及由第二电荷形成的第二电压信号进行处理，得到第三电荷形成的第三电压信号。示例地，寄存器318可以将第一电压信号与第二电压信号相减，得到第三电压信号，其中，形成第三电压信号的第三电荷可以视为感光器件311仅接收激光投射器10投射的激光后生成的电荷。第三电压信号经地址电路319传输至列选通线304中，并经由列选通线304传输至对应的模数转换单元32中。对应的模数转换单元32将模拟信号形式的第三电压信号转换为数字信号形式的目标数字电信号。由此，多个像素31可以输出多个目标数字电信号，多个目标数字电信号可以被输出至处理器300的深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的散斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

请结合图4和图6，在另一个例子中，图4所示的图像传感器30的工作过程还可以如下所述：在深度相机100开启时，激光投射器10先不投射激光，复位电路313执行复位操作，第二开关3162开启，第一开关3161关闭，且感光器件311开始曝光以接收从外界入射的光线，此时感光器件311接收到的光线仅包括环境红外光，感光器件311接收环境红外光后会生成多个第二电荷，感光器件311在t2时段内生成的多个第二电荷可以转移到第二电容315中存储。在感光器件311曝光t2时段后，激光投射器10开始投射激光，感光器件311继续曝光以接收从外界入射的光线，而第一开关3161开启，第二开关3162关闭，此时感光器件311接收到的光线同时包括激光投射器10投射的激光及环境红外光，感光器件311接收这两部分光线后会生成多个第一电荷，在感光器件311曝光t1时段后，感光器件311停止曝光，激光投射器10停止投射激光，感光器件311在t1时段内生成的多个第一电荷可以转移到第一电容314中存储。其中，t1时段与t2时段相等。随后，多个第一电荷和多个第二电荷可以分别传输到放大器317中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路312读出，放大后的多个第二电荷形成第二电压信号并由读出电路312读出。读出电路312读出的第一电压信号及第二电压信号可以被传输到寄存器318中，寄存器318可以对由第一电荷形成的第一电压信号及由第二电荷形成的第二电压信号进行处理，得到第三电荷形成的第三电压信号。示例地，寄存器318可以将第一电压信号与第二电压信号相减，得到第三电压信号，其中，形成第三电压信号的第三电荷可以视为感光器件311仅接收激光投射器10投射的激光后生成的电荷。第三电压信号经地址电路319传输至列选通线304中，并经由列选通线304传输至对应的模数转换单元32中。对应的模数转换单元32将模拟信号形式的第三电压信号转换为数字信号形式的目标数字电信号。由此，多个像素31可以输出多个目标数字电信号，多个目标数字电信号可以被输出至深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的散斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

请结合图7，在又一个例子中，图像传感器30包括多个像素31及多个模数转换单元32，多个模数转换单元32与多个像素31一一对应。每个像素31均包括复位电路313、感光器件311、第一电容314、第二电容315、放大器317、读出电路312、寄存器318及地址电路319。感光器件311可以是光电二极管、光电三极管等，在此不作限制。

其中，感光器件311的阳极接地，阴极与读出电路312的源极连接。读出电路312的栅极与读出线302连接，漏极与复位电路313的源极连接。复位电路313的栅极连接复位线301，漏极连接电源VDD。第一电容314的一个电极与读出电路312的漏极连接，同时与复位电路313的源极连接，第一电容314的另一个电极接地。第二电容315的一个电极与读出电路312的漏极连接，同时与复位电路313的源极连接，第二电容315的另一个电极接地。第一电容314与读出电路312的漏极连接时，第一电容314与读出电路312之间还设置有第一开关3161，第二电容315与读出电路312的漏极连接时，第二电容315与读出电路312之间还设置有第二开关3162。当第一开关3161闭合，第二开关3162断开时，感光器件311接收光线产生的电荷会传输到第一电容314中存储；当第一开关3161断开，第二开关3162闭合时，感光器件311接收光线产生的电荷会传输到第二电容315中存储。放大器317的栅极与读出电路312的漏极连接，并与复位电路313的源极连接，还与第一电容314的一个电极以及第二电容315的一个电极连接。放大器317的漏极与电源VDD连接，源极与地址电路319的漏极连接。地址电路319的栅极与行选通线303连接，源极与寄存器318的一端连接。寄存器318的另一端与列选通线304连接，并与对应的模数转换单元32的一端连接。模数转换单元32的另一端与处理器300连接。其中，复位电路313中的源极和漏极可以互换，读出电路312中的源极和漏极可以互换，放大器317中的源极和漏极可以互换，地址电路319的源极和漏极也可以互换。第一电容314和第二电容315的位置可以互换。

请结合图5和图7，在一个例子中，图7所示的图像传感器30的工作过程可以如下所述：在深度相机100开启时，激光投射器10开始投射激光，同时复位电路313执行复位操作，且感光器件311开始曝光以接收从外界入射的光线，第一开关3161开启，第二开关3162关闭，此时感光器件311接收到的光线包括激光投射器10投射的激光以及环境红外光，感光器件311接收这两部分光线后会生成多个第一电荷，感光器件311在t1时段内生成的多个第一电荷可以转移到第一电容314中存储。在感光器件311曝光t1时段后，激光投射器10停止投射激光，感光器件311继续曝光以接收从外界入射的光线，而第二开关3162开启，第一开关3161关闭，此时感光器件311接收到的光线仅包括环境红外光，感光器件311接收环境红外光后会生成多个第二电荷，在感光器件311曝光t2时段后，感光器件311停止曝光，感光器件311在t2时段内生成的多个第二电荷可以转移到第二电容315中存储。其中，t2时段与t1时段相等。随后，多个第一电荷和多个第二电荷可以传输到放大器317中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路312读出，放大后的多个第二电荷形成第二电压信号并由读出电路312读出。读出电路312读出的第一电压信号及第二电压信号可以经由地址电路319传输到寄存器318中，寄存器318可以对由第一电荷形成的第一电压信号及由第二电荷形成的第二电压信号进行处理，得到第三电荷形成的第三电压信号。示例地，寄存器318可以将第一电压信号与第二电压信号相减，得到第三电压信号，其中，形成第三电压信号的第三电荷可以视为感光器件311仅接收激光投射器10投射的激光后生成的电荷。第三电压信号从寄存器318传输至列选通线304中，并经由列选通线304传输至对应的模数转换单元32中。对应的模数转换单元32将模拟信号形式的第三电压信号转换为数字信号形式的目标数字电信号。由此，多个像素31可以输出多个目标数字电信号，多个目标数字电信号可以被输出至深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的散斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

请结合图6和图7，在另一个例子中，图7所示的图像传感器30的工作过程还可以如下所述：在深度相机100开启时，激光投射器10先不投射激光，复位电路313执行复位操作，且感光器件311开始曝光以接收从外界入射的光线，第二开关3162开启，第一开关3161关闭，此时感光器件311接收到的光线仅包括环境红外光，感光器件311接收环境红外光后会生成多个第二电荷，感光器件311在t2时段内生成的多个第二电荷可以转移到第二电容315中存储。在感光器件311曝光t2时段后，激光投射器10开始投射激光，感光器件311继续曝光以接收从外界入射的光线，而第一开关3161开启，第二开关3162关闭，此时感光器件311接收到的光线同时包括激光投射器10投射的激光及环境红外光，感光器件311接收这两部分光线后会生成多个第一电荷，在感光器件311曝光t1时段后，感光器件311停止曝光，激光投射器10停止投射激光，感光器件311在t1时段内生成的多个第一电荷可以转移到第一电容314中存储。其中，t1时段与t2时段相等。随后，多个第一电荷和多个第二电荷可以传输到放大器317中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路312读出，放大后的多个第二电荷形成第二电压信号并由读出电路312读出。读出电路312读出的第一电压信号及第二电压信号可以经由地址电路319传输到寄存器318中，寄存器318可以对由第一电荷形成的第一电压信号及由第二电荷形成的第二电压信号进行处理，得到第三电荷形成的第三电压信号。示例地，寄存器318可以将第一电压信号与第二电压信号相减，得到第三电压信号，其中，形成第三电压信号的第三电荷可以视为感光器件311仅接收激光投射器10投射的激光后生成的电荷。第三电压信号从寄存器318传输至列选通线304中，并经由列选通线304传输至对应的模数转换单元32中。对应的模数转换单元32将模拟信号形式的第三电压信号转换为数字信号形式的目标数字电信号。由此，多个像素31可以输出多个目标数字电信号，多个目标数字电信号可以被输出至深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的散斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

在图4或图7所述的图像传感器30中，每个像素31可以均对应一个模数转换单元32。在其他实施方式中，多个像素31也可对应一个模数转换单元32，例如，同一行的多个像素31对应一个模数转换单元32，同一列的多个像素31对应一个模数转换单元32等。当多个像素31对应一个模数转换单元32时，多个第三电压信号分别传输到对应的模数转换单元32中执行模数转换的操作以分别得到多个目标数字电信号。

为消除环境红外光对散斑图像的影响，本申请还提供一种图像传感器40。请参阅图8，图像传感器40包括多个像素41、模数转换单元42、及信号处理单元43。每个像素41均包括感光器件411、第一电容414、及第二电容415。第一电容414与感光器件411连接，感光器件411在激光投射器10投射激光时接收光线以生成第一电荷，第一电荷存储在第一电容414中。第二电容415与感光器件411连接，感光器件411在激光投射器10未投射激光时接收光线以生成第二电荷，第二电荷存储在第二电容415中。模数转换单元42用于处理第一电荷得到第一数字电信号以及处理第二电荷得到第二数字电信号。信号处理单元43用于处理第一数字电信号及第二数字电信号得到目标数字电信号。

具体地，请结合图8，图像传感器40包括多个像素41、多个模数转换单元42、及一个信号处理单元43，多个像素41与多个模数转换单元42一一对应，多个模数转换单元42与一个信号处理单元43对应。每个像素31均包括复位电路413、感光器件411、第一电容414、第二电容415、放大器417、读出电路412、及地址电路418。感光器件411可以是光电二极管、光电三极管等，在此不作限制。

其中，感光器件411的阳极接地，阴极与读出电路412的源极连接。读出电路412的栅极与读出线402连接，漏极与复位电路413的源极连接。复位电路413的栅极连接复位线401，漏极连接电源VDD。第一电容414的一个电极与读出电路412的漏极连接，同时与复位电路413的源极连接，第一电容414的另一个电极接地。第二电容415的一个电极与读出电路412的漏极连接，同时与复位电路413的源极连接，第二电容415的另一个电极接地。第一电容414与读出电路412的漏极连接时，第一电容414与读出电路412之间还设置有第一开关4161，第二电容415与读出电路412的漏极连接时，第二电容415与读出电路412之间还设置有第二开关4162。当第一开关4161闭合，第二开关4162断开时，感光器件411接收光线产生的电荷会传输到第一电容414中存储；当第一开关4161断开，第二开关4162闭合时，感光器件411接收光线产生的电荷会传输到第二电容415中存储。放大器417的栅极与读出电路412的漏极连接，并与复位电路413的源极连接，还与第一电容414的一个电极以及第二电容415的一个电极连接。放大器417的漏极与电源VDD连接，源极与地址电路418的漏极连接。地址电路418的栅极与行选通线403连接，地址电路418的源极与列选通线404连接，并与模数转换单元42的一端连接。模数转换单元42的另一端与信号处理单元43的一端连接。信号处理单元43的另一端与处理器300连接。其中，复位电路413的源极和漏极可以互换，读出电路412的源极和漏极可以互换，放大器417的源极和漏极可以互换，地址电路418的源极和漏极也可以互换。第一电容414和第二电容415的位置可以互换。

请结合图5和图8，在一个例子中，图8所示的图像传感器40的工作过程可以如下所述：在深度相机100开启时，激光投射器10开始投射激光，同时复位电路413执行复位操作，且感光器件411开始曝光以接收从外界入射的光线，第一开关4161开启，第二开关4162关闭，此时感光器件411接收到的光线包括激光投射器10投射的激光以及环境红外光，感光器件411接收这两部分光线后会生成多个第一电荷，感光器件411在t1时段内生成的多个第一电荷可以转移到第一电容414中存储。在感光器件411曝光t1时段后，激光投射器10停止投射激光，感光器件411继续曝光以接收从外界入射的光线，而第二开关4162开启，第一开关4161关闭，此时感光器件411接收到的光线仅包括环境红外光，感光器件411接收环境红外光后会生成多个第二电荷，在感光器件411曝光t2时段后，感光器件411停止曝光，感光器件411在t2时段内生成的多个第二电荷可以转移到第二电容415中存储。其中，t2时段与t1时段相等。随后，多个第一电荷和多个第二电荷可以传输到放大器417中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路412读出，放大后的多个第二电荷形成第二电压信号并由读出电路412读出。读出电路412读出的第一电压信号及第二电压信号可以分别经由地址电路418及列选通线404传输至对应的模数转换单元42中。对应的模数转换单元42将模拟信号形式的第一电压信号转换为数字信号形式的第一数字电信号，并将模拟信号形式的第二电压信号转换为数字信号形式的第二数字电信号。随后，第一数字电信号和第二数字电信号从模数转换单元42传输至与多个模数转换单元42均对应的一个信号处理单元43中。该一个信号处理单元43处理第一数电字信号和第二数字电信号得到目标数字电信号。示例地，该一个信号处理单元43将第一数字电信号减去第二数字电信号得到目标数字电信号，目标数字电信号可视为感光器件411仅接收激光投射器10投射的激光后形成的电信号。由此，多个像素41可以输出多个目标数字电信号，多个目标数字电信号可以被输出至处理器300的深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

请结合图6和图8，在另一个例子中，图8所示的图像传感器40的工作过程还可以如下所述：在深度相机100开启时，激光投射器10先不投射激光，复位电路413执行复位操作，且感光器件411开始曝光以接收从外界入射的光线，第二开关4162开启，第一开关4161关闭，此时感光器件411接收到的光线仅包括环境红外光，感光器件411接收环境红外光后会生成多个第二电荷，感光器件411在t2时段内生成的多个第二电荷可以转移到第二电容415中存储。在感光器件411曝光t2时段后，激光投射器10开始投射激光，感光器件411继续曝光以接收从外界入射的光线，而第一开关4161开启，第二开关4162关闭，此时感光器件411接收到的光线同时包括激光投射器10投射的激光及环境红外光，感光器件411接收这两部分光线后会生成多个第一电荷，在感光器件411曝光t1时段后，感光器件311停止曝光，激光投射器10停止投射激光，感光器件411在t1时段内生成的多个第一电荷可以转移到第一电容414中存储。其中，t1时段与t2时段相等。随后，多个第一电荷和多个第二电荷可以传输到放大器417中进行放大。放大后的多个第一电荷形成第一电压信号并由读出电路412读出，放大后的多个第二电荷形成第二电压信号并由读出电路412读出。读出电路412读出的第一电压信号及第二电压信号可以分别经由地址电路418及列选通线404传输至对应的模数转换单元42中。对应的模数转换单元42将模拟信号形式的第一电压信号转换为数字信号形式的第一数字电信号，并将模拟信号形式的第二电压信号转换为数字信号形式的第二数字电信号。随后，第一数字电信号和第二数字电信号从模数转换单元42传输至与多个模数转换单元42均对应的一个信号处理单元43中。该一个信号处理单元43处理第一数电字信号和第二数字电信号得到目标数字电信号。示例地，该一个信号处理单元43将第一数字电信号减去第二数字电信号得到目标数字电信号，目标数字电信号可视为感光器件411仅接收激光投射器10投射的激光后形成的电信号。由此，多个像素41可以输出多个目标数字电信号，多个目标数字电信号可以被输出至处理器300的深度处理单元3001中，由深度处理单元3001作进一步处理。多个目标数字电信号形成散斑图像，该散斑图像仅由激光投射器10投射的激光形成，去除了环境红外光的干扰，散斑图像中的斑点更容易识别出来，有利于后续深度处理单元3001做散斑图像与参考图像的散斑匹配，从而得到深度信息较为完整的深度图像。

在图8所示的图像传感器，每个像素41可以均对应一个模数转换单元42，多个模数转换单元42对应一个信号处理单元43。在其他实施方式中，每个像素41可以均对应一个模数转换单元42，多个模数转换单元42与多个信号处理单元43一一对应；或者，多个像素41对应一个模数转换单元42，例如，同一列的多个像素41对应一个模数转换单元42，同一行的多个像素41对应一个模数单元42等等，多个模数转换单元42对应一个信号处理单元43；或者，多个像素41对应一个模数转换单元42，例如，同一列的多个像素41对应一个模数转换单元42，同一行的多个像素41对应一个模数单元42等等，多个模数转换单元42与多个信号处理单元43一一对应等等。

在图5和图6所示的激光投射器10及图像传感器30(或40)的工作时序图中，感光器件411的工作周期为T，在工作周期T中，感光器件411在t1时段和t2时段曝光，在T-(t1+t2)时段停止曝光。其中，处于同一个工作周期T内的t1时段和t2时段可以是接续的(如图5和图6所示)，也可以是不接续的，即t1时段和t2时段之间存在时间间隔(图未示)。在t1时段未和t2时段接续时，t1时段的环境红外光和t2时段的环境红外光的强度更为相近，由环境红外光形成的电荷量也更为相近。在t1时段未和t2时段接续时，可以理解，感光器件411是在激光投射器10停止投射激光的时刻下即刻开始执行t2时段的曝光的，由于激光投射器10投射出激光后，激光投射到物体上并经由物体反射回感光器件411是需要一定的时间的，那么感光器件411在激光投射器10停止投射激光的时刻下即刻开始执行t2时段的曝光时，可能会接收到少部分由激光投射器10投射且被物体反射回的激光，将t1时段和t2时段设置为未接续，可以避免感光器件411接收到少部分的激光投射器10投射的激光的问题，保证感光器件411在t2时段内只接收到环境红外光。

综上，本申请实施方式的电子设备1000、深度相机100、图像采集器20及图像传感器30在每个像素31中提供第一电容314(或414)来存储感光器件311(或411)同时接收激光投射器10投射的激光和环境红外光生成的第一电荷，提供第二电容315(或415)来存储感光器件311(或411)仅接收环境红外光生成的第二电荷，基于这两部分电荷来获取仅由激光投射器10投射的激光形成的信号，该信号去除了环境红外光的干扰，基于该信号得到的散斑图像中的斑点较为容易识别，有利于提神深度图像中深度信息的完整性。

请参阅图4、图7和图9，本申请还提供一种用于图像传感器30的信号处理方法。图像传感器30包括多个像素31，每个像素31均包括感光器件311、第一电容314、第二电容315及寄存器318。信号处理方法包括：

011：感光器件311在激光投射器10投射激光时接收光线以生成第一电荷；

012：第一电容314存储第一电荷；

013：感光器件311在激光投射器10未投射激光时接收光线以生成第二电荷；

014：第二电容315存储第二电荷；

015：寄存器318处理第一电荷及第二电荷以得到第三电荷。

其中，步骤011至步骤015的具体内容与实施细节，可以参照本说明书对图像传感器30的描述，在此不再赘述。

请参阅图4、图7和图10，在某些实施方式中，图像传感器30还包括模数转换单元32。信号处理方法包括：

021：感光器件311在激光投射器10投射激光时接收光线以生成第一电荷；

022：第一电容314存储第一电荷；

023：感光器件311在激光投射器10未投射激光时接收光线以生成第二电荷；

024：第二电容315存储第二电荷；

025：寄存器318处理第一电荷及第二电荷以得到第三电荷。

026：处理第三电荷得到像素31的目标数字电信号。

其中，步骤021至步骤026的具体内容与实施细节，可以参照本说明书对图像传感器30的描述，在此不再赘述。

请参阅图8和图11，本申请还提供一种用于图像传感器40的信号处理方法。图像传感器40包括多个像素41、模数转换单元42及信号处理单元43，每个像素41均包括感光器件411、第一电容414及第二电容415；信号处理方法包括：

031：感光器件411在激光投射10器投射激光时接收光线以生成第一电荷；

032：第一电容414存储第一电荷；

033：感光器件411在激光投射器10未投射激光时接收光线以生成第二电荷；

034：第二电容415存储第二电荷；

035：模数转换单元42处理第一电荷得到第一数字电信号，处理第二电荷得到第二数字电信号；和

036：信号处理单元43处理第一数字电信号及第二数字电信号得到目标数字电信号。

其中，步骤031至步骤036的具体内容与实施细节，可以参照本说明书对图像传感器40的描述，在此不再赘述。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (6)

1.一种图像传感器，所述图像传感器包括多个像素，每个所述像素均包括：

感光器件；

第一电容，所述第一电容与所述感光器件连接，所述感光器件在激光投射器投射激光时接收光线以生成第一电荷，所述第一电荷存储在所述第一电容中；和

第二电容，所述第二电容与所述感光器件连接，所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷，所述第二电荷存储在所述第二电容中；

所述图像传感器还包括：

模数转换单元，所述模数转换单元用于处理所述第一电荷得到第一数字电信号以及处理所述第二电荷得到第二数字电信号；和

信号处理单元，所述信号处理单元用于处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

2.根据权利要求1所述的图像传感器，其特征在于，一个所述像素与一个所述模数转换单元对应，一个所述模数转换单元与一个所述信号处理单元对应；或

一个所述像素与一个所述模数转换单元对应，多个所述模数转换单元与一个所述信号处理单元对应；或

多个所述像素与一个所述模数转换单元对应，一个所述模数转换单元与一个所述信号处理单元对应；或

多个所述像素与一个所述模数转换单元对应，多个所述模数转换单元与一个所述信号处理单元对应。

3.一种图像采集器，其特征在于，所述图像采集器包括：

镜片组件；

滤光片；和

权利要求1至2任意一项所述的图像传感器，所述图像传感器、所述滤光片、所述镜片组件依次堆叠。

4.一种深度相机，其特征在于，所述深度相机包括：

激光投射器，所述激光投射器用于投射激光；及

权利要求3所述的图像采集器，所述图像采集器用于获取散斑图像。

5.一种电子设备，其特征在于，所述电子设备包括：

壳体；和

权利要求4所述的深度相机，所述深度相机与所述壳体结合。

6.一种信号处理方法，用于图像传感器，其特征在于，所述图像传感器包括多个像素、模数转换单元及信号处理单元，每个所述像素均包括感光器件、第一电容及第二电容；所述信号处理方法包括：

所述感光器件在激光投射器投射激光时接收光线以生成第一电荷；

所述第一电容存储所述第一电荷；

所述感光器件在所述激光投射器未投射所述激光时接收光线以生成第二电荷；

所述第二电容存储所述第二电荷；

所述模数转换单元处理所述第一电荷得到第一数字电信号，处理所述第二电荷得到第二数字电信号；和

所述信号处理单元处理所述第一数字电信号及所述第二数字电信号得到目标数字电信号。

Images