CN116939390A - 图像传感器、图像信号处理方法、设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像传感器、图像信号处理方法、设备及存储介质，属于图像采集技术领域。在该图像传感器中，像素阵列的输出端分别与第一读出电路的输入端和第二读出电路的输入端连接，像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流，将第一光电流对应的第一脉冲信号传输至第一读出电路，以使图像传感器实现动态视觉成像，将第二光电流对应的第二脉冲信号传输至第二读出电路，以使图像传感器实现灰度脉冲成像，从而在一个图像传感器中实现了动态视觉成像和灰度脉冲成像，使得图像传感器输出的图像数据具有动态信息、较高的成像帧率以及成像细节信息，有效提升了图像传感器的成像效果。

Description

图像传感器、图像信号处理方法、设备及存储介质

技术领域

本申请涉及图像采集技术领域，特别涉及一种图像传感器、图像信号处理方法、设备及存储介质。

背景技术

图像传感器是一种将光学图像转换成电信号的器件。在相关技术中，图像传感器包括灰度传感器、动态视觉传感器以及三维成像传感器等多种类型。其中，灰度传感器能够捕捉物体的细节信息；动态视觉传感器能够捕捉物体的动态信息；三维成像传感器能够捕捉物体的三维环境信息。

然而，单一的图像传感器会具有以下问题：灰度传感器具有较低的动态范围，无法实现高动态范围的场景成像；动态视觉传感器捕捉的动态信息缺乏物体的细节信息；三维成像传感器的成像帧率较低，缺少物体的细节信息。

因此，亟需一种能够实现多维度成像的图像传感器，以提升图像传感器的成像效果。

发明内容

本申请实施例提供了一种图像传感器、图像信号处理方法、设备及存储介质，能够有效提升图像传感器的成像效果。该技术方案如下：

第一方面，本申请提供了一种图像传感器，该图像传感器包括像素阵列、第一读出电路以及第二读出电路，该像素阵列的输出端分别与该第一读出电路的输入端和该第二读出电路的输入端连接；

该像素阵列中的像素单元，用于：

将入射光的光电流复制为第一光电流和第二光电流；

将该第一光电流转换为第一脉冲信号，将该第一脉冲信号传输给该第一读出电路，该第一脉冲信号指示该入射光的强度变化幅度与阈值之间的关系；

将该第二光电流转换为第二脉冲信号，将该第二脉冲信号传输给该第二读出电路，该第二脉冲信号指示该入射光的强度变化；

该第一读出电路，用于基于该第一脉冲信号，输出用于生成图像的动态视觉信息；

该第二读出电路，用于基于该第二脉冲信号，输出用于生成图像的灰度信息。

在该图像传感器中，像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流，将第一光电流对应的第一脉冲信号传输至第一读出电路，以使图像传感器实现动态视觉成像，将第二光电流对应的第二脉冲信号传输至第二读出电路，以使图像传感器实现灰度脉冲成像，从而在一个图像传感器中实现了动态视觉成像和灰度脉冲成像，使得图像传感器输出的图像数据具有动态信息、较高的成像帧率以及成像细节，能够实现高动态范围成像，有效提升了图像传感器的成像效果。

在一些实施例中，该像素单元，还用于将该第二光电流转换为第三脉冲信号，将该第三脉冲信号传输给该第二读出电路，该第三脉冲信号指示该入射光的强度变化和发出该入射光的物体与该像素单元之间的距离；该第二读出电路，还用于基于该第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

通过这种方式，图像传感器还能够实现三维成像，从而在一个图像传感器中实现了动态视觉成像和三维成像，使得图像传感器输出的图像数据具有动态信息、较高的成像帧率、成像细节信息以及三维环境信息，能够实现高动态范围成像，有效提升了图像传感器的成像效果。

在一些实施例中，该像素单元，用于基于至少一个相位的门控时钟，将该第二光电流转换为该第三脉冲信号，将该第三脉冲信号传输给该第二读出电路。

通过引入门控时钟的方式，为图像传感器的三维成像提供了技术支撑，使得基于第三脉冲信号能够解调出用于生成图像的深度信息，确保了图像传感器的三维成像效果。

在一些实施例中，该像素单元，用于通过时分复用机制，在第一时间段将该第二光电流转换为该第二脉冲信号；在第二时间段将该第二光电流转换为该第三脉冲信号。

通过这种时分复用机制，像素单元复用同一个读出电路来实现灰度脉冲成像和三维成像，能够实现同时进行动态视觉成像和灰度脉冲成像，或者，同时进行动态视觉成像和三维成像，在提高图像传感器成像效果的基础上大大节约了成本。

在一些实施例中，该像素单元包括第一电路单元和第二电路单元，该第一电路单元的输出端与该第一读出电路的输入端连接，该第二电路单元的输出端与该第二读出电路的输入端连接。

在一些实施例中，该第一电路单元包括电压转换电路、第一电压比较电路以及第一像素交互电路；

该电压转换电路，用于将该第一光电流转换为光电压；

该第一电压比较电路，用于在该光电压与参考电压之间的电压差符合目标条件的情况下，生成该第一脉冲信号，将该第一脉冲信号传输给该第一像素交互电路；

该第一像素交互电路，用于接收该第一脉冲信号，将该第一脉冲信号传输给该第一读出电路。

在一些实施例中，该第二电路单元包括积分电路、第二电压比较电路以及第二像素交互电路；

该积分电路，用于将该第一光电流转换为积分电压；

该第二电压比较电路，用于在该积分电压等于参考电压的情况下，生成该第二脉冲信号，将该第二脉冲信号传输给该第二像素交互电路；

该第二像素交互电路，用于接收该第二脉冲信号，将该第二脉冲信号传输给该第二读出电路。

在一些实施例中，该第一读出电路以地址-事件表达AER的形式输出该动态视觉信息。

在一些实施例中，该第二读出电路以图像帧的形式输出该灰度信息。

在一些实施例中，该图像传感器还包括第一配置单元和第二配置单元；

该第一配置单元，用于控制该图像传感器按照第一成像帧率输出该动态视觉信息；

该第二配置单元，用于控制该图像传感器按照第二成像帧率输出该灰度信息。

通过这种方式，使得图像传感器的成像效果能够根据实际需求进行调整，从而扩展了图像传感器的适用场景。

第二方面，本申请提供了一种图像信号处理方法，应用于图像传感器，该图像传感器包括像素阵列、第一读出电路以及第二读出电路，该像素阵列的输出端分别与该第一读出电路的输入端和该第二读出电路的输入端连接，该方法包括：

该像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流；将该第一光电流转换为第一脉冲信号，将该第一脉冲信号传输给该第一读出电路，该第一脉冲信号指示基于该入射光的强度变化幅度与阈值之间的关系；将该第二光电流转换为第二脉冲信号，将该第二脉冲信号传输给该第二读出电路，该第二脉冲信号指示该入射光的强度变化；

该第一读出电路基于该第一脉冲信号，输出用于生成图像的动态视觉信息；

该第二读出电路基于该第二脉冲信号，输出用于生成图像的灰度信息。

在一些实施例中，该方法还包括：

该像素单元将该第二光电流转换为第三脉冲信号，将该第三脉冲信号传输给该第二读出电路，该第三脉冲信号指示该入射光的强度变化和发出该入射光的物体与该像素单元之间的距离；

该第二读出电路基于该第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

在一些实施例中，该像素单元将该第二光电流转换为第三脉冲信号，将该第三脉冲信号传输给该第二读出电路，包括：

该像素单元基于至少一个相位的门控时钟，将该第二光电流转换为该第三脉冲信号，将该第三脉冲信号传输给该第二读出电路。

在一些实施例中，该方法还包括：

该像素单元通过时分复用机制，在第一时间段将该第二光电流转换为该第二脉冲信号；在第二时间段将该第二光电流转换为该第三脉冲信号。

第三方面，本申请提供了一种电子设备，该电子设备包括图像传感器，该图像传感器用于实现上述第一方面或第一方面中任一种可选方式所提供的图像传感器的功能。

第四方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质用于存储至少一段程序代码，该至少一段程序代码用于实现上述第一方面或第一方面中任一种可选方式所提供的图像传感器的功能。该存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)。

第五方面，本申请提供了一种计算机程序产品，当该计算机程序产品在图像传感器上运行时，使得该图像传感器实现上述第一方面或第一方面中任一种可选方式所提供的图像传感器的功能。

第六方面，本申请提供了一种芯片，该芯片应用于图像传感器，用于实现上述第一方面或第一方面中任一种可选方式所提供的图像传感器的功能。

附图说明

图1是本申请实施例提供的一种图像传感器的结构示意图；

图2是本申请实施例提供的一种像素单元的结构示意图；

图3是本申请实施例提供的一种灰度脉冲成像电压变化图和三维成像电压变化图；

图4是本申请实施例提供的一种图像传感器的电路结构示意图；

图5是本申请实施例提供的一种动态视觉成像的流程示意图；

图6是本申请实施例提供的一种动态视觉信息的示意图；

图7是本申请实施例提供的一种灰度脉冲成像的流程示意图；

图8是本申请实施例提供的一种灰度信息的示意图；

图9是本申请实施例提供的一种三维成像的流程示意图；

图10是本申请实施例提供的一种三维信息的示意图；

图11是本申请实施例提供的一种图像信号处理方法的流程图；

图12是本申请实施例提供的另一种图像信号处理方法的流程图；

图13是本申请实施例提供的一种图像传感器的成像效果图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了方便理解，下面先对本申请涉及的关键术语和关键概念进行说明。

动态视觉传感器(dynamic vision sensor，DVS)，是一种基于事件驱动的光电传感器，能够用于检测手势识别，拍摄慢动作等高动态范围成像。DVS的像素阵列包括多个像素单元，每个像素单元包括多个电路单元，各个电路单元相连。示意性地，在DVS的像素阵列中，各个像素单元独立获取光信号并输出对应的事件信号(即脉冲信号)，对于每个像素单元，在检测到入射光的强度变化幅度超过某一阈值的情况下，输出相应的事件信号。例如，在入射光强度的增加量超过某一阈值，输出变亮事件信号；在入射光强度的减少量超过某一阈值，输出变暗事件信号。示意性地，像素单元检测光照，将入射光转换为光电压，通过光电压的变化来指示入射光的强度变化，在光电压的变化量达到ON(开)阈值/OFF(关)阈值的情况下，产生ON事件信号/OFF事件信号，其中，ON事件信号指示入射光变亮，OFF事件信号指示入射光变暗，产生事件信号后，光电压的变化量会复位以进行下一次对光电压变化的检测。在一些实施例中，将输出事件信号的像素单元称为激活像素，将该像素单元所在的像素行称为激活像素行。

地址事件表达(address event representation，AER)，是DVS输出动态视觉信息的形式。示意性地，DVS以AER的形式输出像素单元的动态视觉信息，该动态视觉信息包括该像素单元产生的脉冲信号、该像素单元的地址信息以及相应的时间信息等。

动态范围(dynamic range)，是指可变化信号(例如声音或光)最大值和最小值的比值。高动态范围成像(high dynamic range imaging，HDR)，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。需要说明的是，使用DVS能够实现高动态范围成像。

灰度脉冲传感器，是一种光电传感器。在灰度脉冲传感器的像素阵列中，各个像素单元根据入射光的强度变化输出相应的脉冲信号。示意性地，像素单元检测光照，将入射光的光电流转换为积分电压，对积分电压进行漏电，使积分电压从复位电压开始下降，下降速率与入射光的强度成正比，在积分电压下降到参考电压后复位到复位电压，以进行下一轮的电压下降。在这一过程中，入射光的强度越大，积分电压的下降速率越快，传感器输出的脉冲信号越密集。需要说明的是，这种灰度脉冲传感器不采用固定的曝光时间，从而无需进行模数转换，具有较高的成像帧率。

金属-氧化物半导体场效应晶体管(metal-oxide-semiconductor field-effecttransistor，MOSFET)，简称为MOS管，属于场效应晶体管中的绝缘栅型。在一般电子电路中，MOS管通常被用于放大电路或开关电路。示意性地，MOS管为压控元件，只要加到该MOS管所需电压就能使它导通，起到开关作用。

时分复用(time division multiplexing，TDM)机制，是指采用同一物理连接的不同时段来传输不同的信号，从而达到多路传输的目的。

帧率(frame rate)，是以帧为单位的位图图像连续出现在显示器上的频率(或速率)。

飞秒(time of flight，TOF)，也叫毫微微秒，简称fs，是标衡时间长短的一种计量单位。1飞秒等于1秒的一千万亿分之一。

下面对本申请提供的图像传感器的应用场景进行介绍。

本申请实施例提供了一种集成动态视觉成像、灰度脉冲成像以及三维成像的图像传感器，该图像传感器能够应用于需要根据多维度的图像信息来成像的场景中。例如，自动驾驶场景、人机交互场景以及机器人场景等，对此不作限定。

示意性地，在自动驾驶场景中，车辆配置有具备拍摄功能的电子设备，在车辆自动驾驶过程中，通过电子设备中的图像传感器，对车辆周围复杂的道路环境成像，以便车辆根据图像所指示的道路环境信息及时调整驾驶路线，确保车辆自动驾驶的安全性。需要说明的是，该场景仅为示意性描述，本申请实施例提供的图像传感器还能够应用于其他复杂成像场景中，对此不作限定。

下面参考图1，对本申请提供的图像传感器进行介绍。

图1是本申请实施例提供的一种图像传感器的结构示意图。如图1所示，该图像传感器100包括像素阵列101、第一读出电路102和第二读出电路103，其中，该像素阵列101的输出端分别与第一读出电路102的输入端和第二读出电路103的输入端连接。示意性地，该图像传感器100可以采用互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)感光元件或者电荷耦合元件(charge-coupled device，CCD)感光元件等，对此不作限定。

像素阵列101包括多个像素单元，对于每个像素单元，该像素单元用于检测光照，根据入射光的强度变化，生成相应的脉冲信号，将脉冲信号传输给第一读出电路102和第二读出电路103。示意性地，该像素单元能够产生用于动态视觉成像的脉冲信号、用于灰度脉冲成像的脉冲信号以及用于三维成像的脉冲信号，即，该像素单元能够实现动态视觉成像、灰度脉冲成像以及三维成像。这一过程会在下述图2所示的像素单元的结构中进行详细介绍，在此先不赘述。

第一读出电路102用于接收像素阵列101中像素单元传输的脉冲信号，输出用于生成图像的动态视觉信息。示意性地，该第一读出电路102也可以理解为动态视觉成像读出电路。在一些实施例中，该第一读出电路102以AER的形式输出该动态视觉信息。示意性地，该动态视觉信息包括像素单元传输的脉冲信号、像素单元的地址信息以及相应的时间信息。在一些实施例中，第一读出电路102包括行仲裁电路1021和列选择电路1022，行仲裁电路1021用于根据像素阵列101传输的行仲裁请求，对像素阵列101中激活像素行的输出顺序进行仲裁后，向像素阵列101中的激活像素返回应答信号，以使激活像素根据应答信号向列选择电路1022传输信息；列选择电路1022用于根据像素阵列101中激活像素传输的信息(包括激活像素的脉冲信号和地址信息等)，输出像素阵列101中激活像素的动态视觉信息。

第二读出电路103用于接收像素阵列101中像素单元传输的脉冲信号，输出用于生成图像的灰度信息；或者，输出用于生成图像的灰度信息和深度信息(灰度信息和深度信息也可以理解为三维信息)。示意性地，该第二读出电路103也可以理解为灰度及三维成像读出电路。在一些实施例中，第二读出电路103以图像帧的形式输出该灰度信息，或者，输出该灰度信息和深度信息。在一些实施例中，第二读出电路103包括驱动电路1031和输出电路1032，驱动电路1031用于向像素阵列101中的像素单元传输控制信号(如读信号、复位信号等)，输出电路1032用于接收像素单元传输的脉冲信号，输出相应的灰度信息；或者，输出相应的灰度信息和深度信息。

在一些实施例中，该图像传感器100还包括第一配置单元104和第二配置单元105。该第一配置单元104用于控制图像传感器100按照第一成像帧率输出动态视觉信息；该第二配置单元105用于控制图像传感器按照第二成像帧率输出灰度信息，或者输出灰度信息和深度信息，对此不作限定。需要说明的是，在一些实施例中，该第一配置单元104和第二配置单元105还用于基于根据其他成像参数来控制图像传感器100的成像过程，例如，像素阵列中像素单元的读出顺序和读出速率等，对此不作限定。通过这种方式，使得图像传感器的成像效果能够根据实际需求进行调整，从而扩展了图像传感器的适用场景。

应理解，上述各个组件可以集成在同一芯片上，也可以集成在不同芯片上，各个芯片之间通信连接，对此不作限定。需要说明的是，图1所示图像传感器中各个组件的位置仅为示意性地，并不构成对本申请的限定，在实际应用中能够根据需求调整各个组件的位置。在一些实施例中，该图像传感器100还包括其他组件，例如，芯片控制电路，该芯片控制电路的输出端分别与像素阵列的输入端、第一读出电路的输入端以及第二读出电路的输入端连接，用于控制像素阵列中各个像素单元、第一读出电路以及第二读出电路的工作，等等，对此不作限定。

下面参考图2和图3，对上述图像传感器中的像素单元进行介绍。

图2是本申请实施例提供的一种像素单元的结构示意图。如图2所示，该像素单元200包括感光二极管201、电流镜202、第一电路单元203以及第二电路单元204。其中，感光二极管201的输出端与电流镜202的输入端连接，电流镜202的输出端分别与第一电路单元203的输入端和第二电路单元204的输入端连接，第一电路单元203的输出端与图像传感器100中第一读出电路102的输入端连接，第二电路单元204的输出端与图像传感器100中第二读出电路103的输入端连接。下面对像素单元200中各个组件的功能进行介绍。

感光二极管201用于检测光照，将入射光生成光电流，将光电流传输至电流镜202。例如，该感光二极管201为MOS管，对此不作限定。

电流镜202用于对入射光的光电流进行复制，得到第一光电流和第二光电流，将第一光电流传输给第一电路单元203，将第二光电流传输给第二电路单元204。

第一电路单元203用于将第一光电流转换为第一脉冲信号，将该第一脉冲信号传输给第一读出电路，该第一脉冲信号指示入射光的强度变化幅度与阈值之间的关系。这一过程也可以理解为像素单元实现动态视觉成像的过程。示意性地，第一电路单元203将第一光电流转换为光电压，通过光电压的变化来指示入射光的强度变化。

在一些实施例中，该第一电路单元203包括电压转换电路2031、第一电压比较电路2032以及第一像素交互电路2033，电压转换电路2031的输出端与第一电压比较电路2032的输入端连接，第一电压比较电路2032的输出端与第一像素交互电路2033的输入端连接。下面对第一电路单元203中各个电路的功能进行介绍。

电压转换电路2031，用于将第一光电流转换为光电压。示意性地，电压转换电路2031将第一光电流转换为对数域的光电压，以便通过光电压的变化来指示入射光的强度变化。

第一电压比较电路2032，用于在光电压与参考电压之间的电压差符合目标条件的情况下，生成第一脉冲信号，将第一脉冲信号传输给第一像素交互电路2033。其中，该目标条件是指光电压与参考电压之间的电压差达到预设阈值。例如，预设阈值包括正阈值和负阈值，在该电压差达到正阈值的情况下，表明入射光变亮，该像素单元发生变亮事件，该第一电压比较电路生成与该变亮事件对应的第一脉冲信号；在该电压差达到负阈值的情况下，表明入射光变暗，该像素单元发生变暗事件，该第一电压比较电路生成与该变暗事件对应的第一脉冲信号。

第一像素交互电路2033，用于接收第一脉冲信号，将第一脉冲信号传输给第一读出电路。在一些实施例中，第一像素交互电路2033还用于复位参考电压(如发送复位信号给第一电压比较电路2032)，以便第一电压比较电路2032进行下一次对光电压变化的检测。

第二电路单元204用于将第二光电流转换为第二脉冲信号，将该第二脉冲信号传输给第二读出电路，该第二脉冲信号指示入射光的强度变化。这一过程也可以理解为像素单元实现灰度脉冲成像的过程。示意性地，第二电路单元204将第二光电流转换为积分电压，通过积分电压的变化来指示入射光的强度变化。

在一些实施例中，该第二电路单元204包括第二电路单元包括积分电路2041、第二电压比较电路2042以及第二像素交互电路2043，积分电路2041的输出端与第二电压比较电路2042的输入端连接，第二电压比较电路2042的输出端与第二像素交互电路2043的输入端连接。下面对第二电路单元204中各个电路的功能进行介绍。

积分电路2041，用于将第二光电流转换为积分电压。示意性地，积分电路2041将第二光电流转换为积分电压，对积分电压进行漏电，以使积分电压发生下降。

第二电压比较电路2042，用于在积分电压等于参考电压的情况下，生成第二脉冲信号，将第二脉冲信号传输给第二像素交互电路2042。其中，第二电压比较电路2042将积分电压与参考电压进行比较，在积分电压下降至参考电压的情况下，生成第二脉冲信号。在一些实施例中，在生成第二脉冲信号的情况下，该第二脉冲信号将积分电压复位为复位电压。

第二像素交互电路2043，用于接收第二脉冲信号，将第二脉冲信号传输给第二读出电路。其中，第二像素交互电路2043将第二脉冲信号进行存储，响应于接收到第二读出电路发送的读信号，将第二脉冲信号传输给第二读出电路。示意性地，第二读出电路按照空间顺序，向像素阵列中的像素单元发送读信号，例如，按照从上往下，从左往右的顺序，依次向像素阵列中的像素单元发送读信号，本申请实施例对此不作限定。

在一些实施例中，该第二电路单元204还用于将第二光电流转换为第三脉冲信号，将该第三脉冲信号传输给第二读出电路，该第三脉冲信号指示入射光的强度变化和发出该入射光的物体与像素单元之间的距离。这一过程也可以理解为像素单元实现三维成像的过程。其中，第二电路单元204用于基于至少一个相位的门控时钟，将第二光电流转换为第三脉冲信号，将第三脉冲信号传输给第二读出电路。需要说明的是，第二电路单元204实现三维成像的过程与实现灰度脉冲成像的过程同理，区别在于在三维成像过程中增加了不同相位的门控时钟，来影响积分电路2041对积分电压的漏电。通过引入门控时钟的方式，为图像传感器的三维成像提供了技术支撑，使得基于第三脉冲信号能够解调出用于生成图像的深度信息，确保了图像传感器的三维成像效果。

示意性地，参考图3，图3是本申请实施例提供的一种灰度脉冲成像电压变化图和三维成像电压变化图。如图3中(a)图所示，在灰度脉冲成像过程中，通过对积分电压进行漏电，积分电压发生下降，在积分电压下降至参考电压后复位为复位电压。如图3中(b)图所示，在三维成像过程中，积分电压的下降受到门控时钟的控制，在门控时钟为高电平(如1.8V，具体可根据实际情况进行设置)的情况下，积分电压发生下降。通过引入不同相位的门控时钟来得到脉冲信号，能够从该脉冲信号中解调出用于生成图像的深度信息，这一过程的原理会在下述方法实施例中进行介绍，在此不再赘述。

在一些实施例中，第二电路单元204用于通过时分复用机制，在第一时间段将第二光电流转换为第二脉冲信号；在第二时间段将第二光电流转换为第三脉冲信号。本申请实施例对于时分复用机制的具体参数不作限定。通过这种时分复用机制，像素单元复用同一个读出电路来实现灰度脉冲成像和三维成像，能够实现同时进行动态视觉成像和灰度脉冲成像，或者，同时进行动态视觉成像和三维成像，在提高图像传感器成像效果的基础上大大节约了成本。

下面基于上述图1至图3，以像素阵列中任一像素单元为例，对图像传感器的电路结构进行介绍。

示意性地，参考图4，图4是本申请实施例提供的一种图像传感器的电路结构示意图。如图4所示，以像素阵列中的任一像素单元为例，该图像传感器400包括像素阵列中的像素单元401、第一读出电路402以及第二读出电路403，能够实现动态视觉成像、灰度脉冲成像以及三维成像。

像素单元401包括感光二极管4011、电流镜4012、第一电路单元4013以及第二电路单元4014。该像素单元401的输出端分别与第一读出电路402的输入端和第二读出电路403的输入端连接。

该像素单元401，用于通过电流镜4012，将入射光的光电流复制为第一光电流和第二光电流；将第一光电流转换为第一脉冲信号，将第一脉冲信号传输给第一读出电路402，该第一脉冲信号指示入射光的强度变化幅度与阈值之间的关系；将第二光电流转换为第二脉冲信号，将第二脉冲信号传输给第二读出电路403，该第二脉冲信号指示入射光的强度变化。

在一些实施例中，第一电路单元4013包括电压转换电路、第一电压比较电路以及第一像素交互电路；第二电路单元4014包括积分电路、第二电压比较电路以及第二像素交互电路。

在一些实施例中，第一读出电路402包括行仲裁电路4021和列选择电路4022，用于基于第一脉冲信号，输出用于生成图像的动态视觉信息。

在一些实施例中，第二读出电路403包括驱动电路4031和输出电路4032，用于基于第二脉冲信号，输出用于生成图像的灰度信息。

在一些实施例中，像素单元401，还用于将第二光电流转换为第三脉冲信号，将第三脉冲信号传输给第二读出电路403，第三脉冲信号指示入射光的强度变化和发出入射光的物体与像素单元之间的距离；第二读出电路403，还用于基于第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

在一些实施例中，像素单元401，用于基于至少一个相位的门控时钟，将第二光电流转换为第三脉冲信号，将第三脉冲信号传输给第二读出电路403。

在一些实施例中，像素单元401，用于通过时分复用机制，在第一时间段将第二光电流转换为第二脉冲信号；在第二时间段将第二光电流转换为第三脉冲信号。

下面以图4所示的图像传感器为例，对图像传感器的几种成像过程进行介绍。

图5是本申请实施例提供的一种动态视觉成像的流程示意图。如图5所示，以图4所示的图像传感器中像素单元401和第一读出电路402之间的交互为例进行介绍，该动态视觉成像的流程包括如下步骤501至步骤508。

501、感光二极管检测光照，将入射光生成光电流，将光电流传输至电流镜。

502、电流镜对入射光的光电流进行复制，得到第一光电流和第二光电流，将第一光电流传输给第一电路单元中的电压转换电路。

503、电压转换电路将第一光电流转换为光电压。

504、第一电压比较电路在光电压与参考电压之间的电压差符合目标条件的情况下，生成第一脉冲信号，将第一脉冲信号传输给第一像素交互电路。

505、第一像素交互电路基于第一脉冲信号，向行仲裁电路发送行仲裁请求。

506、行仲裁电路基于该行仲裁请求，对像素阵列中激活像素行的输出顺序进行仲裁后，向第一像素交互电路返回应答信号。

其中，由于像素阵列包括多个像素单元，在多个像素行均存在激活像素的情况下，行仲裁电路会接收到多个行仲裁请求，则行仲裁电路根据目标规则，向像素阵列中的激活像素返回应答信号，例如，按照从上往下的顺序，依次向激活像素的第一像素交互电路返回应答信号。

在一些实施例中，行仲裁电路还将该像素单元对应的像素行信息传输至列选择电路。例如，该像素行信息为该像素单元所在像素行的地址信息。

507、第一像素交互电路基于该应答信号，对参考电压进行复位，将第一脉冲信号传输至列选择电路。

508、列选择电路基于该第一脉冲信号，以AER的形式输出用于生成图像的动态视觉信息。

其中，该动态视觉信息包括该第一脉冲信号、该像素单元的地址信息以及相应的时间信息。示意性地，参考图6，图6是本申请实施例提供的一种动态视觉信息的示意图。如图6所示，第一读出电路包括行仲裁电路和列选择电路，像素阵列中的像素单元基于第一脉冲信号，向行仲裁电路发送行仲裁请求，行仲裁电路在进行仲裁后，向像素单元返回应答信号，向列选择电路传输该像素单元的行地址，像素单元在接收到行仲裁电路返回的应答信号后，向列选择电路传输第一脉冲信号，列选择电路以AER的形式，输出该像素单元的第一脉冲信号(也称为事件数据，包括0和1，其中0表示入射光变暗，1表示入射光变亮)、由列地址和行地址组成的地址信息(也称为事件地址)以及时间信息(也称为事件时间)。在一些实施例中，该列选择电路还能够基于像素组(例如将4×4的像素阵列称为一个像素组)，输出该像素组的组脉冲信号、组地址信息以及组时间信息，对此不作限定。需要说明的是，图6中有效信号和帧开始均为标志位。

图7是本申请实施例提供的一种灰度脉冲成像的流程示意图。如图7所示，以图4所示的图像传感器中像素单元401和第二读出电路403之间的交互为例进行介绍，该灰度脉冲成像的流程包括如下步骤701至步骤706。

701、感光二极管检测光照，将入射光生成光电流，将光电流传输至电流镜。

702、电流镜对入射光的光电流进行复制，得到第一光电流和第二光电流，将第二光电流传输给第二电路单元中的积分电路。

703、积分电路将第二光电流转换为积分电压，对积分电压进行漏电，积分电压下降。

704、第二电压比较电路在积分电压等于参考电压的情况下，生成第二脉冲信号，将第二脉冲信号传输给第二像素交互电路。

705、第二像素交互电路存储第二脉冲信号，响应于接收到第二读出电路中驱动电路发送的读信号，将第二脉冲信号传输给第二读出电路中的输出电路。

其中，第二脉冲信号将积分电压复位为复位电压。在一些实施例中，第二像素交互电路响应于接收到驱动电路发送的复位信号，将第二像素交互电路中的数据复位以接收下一次脉冲信号。

706、输出电路基于该第二脉冲信号，以图像帧的形式输出用于生成图像的灰度信息。

其中，该灰度信息基于该第二脉冲信号得到，示意性地，通过对第二脉冲信号进行时间上的累加即得到该灰度信息。在一些实施例中，输出电路采用同步时钟的帧读出方式，按照行滚动的方式，输出该第二脉冲信号。示意性地，参考图8，图8是本申请实施例提供的一种灰度信息的示意图。如图8所示，第二读出电路包括驱动电路和输出电路，像素阵列中的像素单元响应于接收到驱动电路发送的读信号，向输出电路传输第二脉冲信号，输出电路以图像帧的形式，输出该像素单元的第二脉冲信号(即数据)。需要说明的是，图8中有效信号和帧开始均为标志位。

另外，需要说明的是，在本申请实施例中，是以灰度脉冲成像为例进行说明的，在一些实施例中，在像素单元中设置有滤光片的情况下，该图像传感器能够以图像帧的形式输出用于生成图像的颜色信息，这一过程与前述灰度脉冲成像的过程同理，故不再赘述。

图9是本申请实施例提供的一种三维成像的流程示意图。如图9所示，以图4所示图像传感器中像素单元401和第二读出电路403之间的交互为例进行介绍，该三维成像的流程包括如下步骤901至步骤906。

901、感光二极管检测光照，将入射光生成光电流，将光电流传输至电流镜。

902、电流镜对入射光的光电流进行复制，得到第一光电流和第二光电流，将第二光电流传输给第二电路单元中的积分电路。

903、积分电路基于至少一个相位的门控时钟，将第二光电流转换为积分电压，对积分电压进行漏电，积分电压下降。

904、第二电压比较电路在积分电压等于参考电压的情况下，生成第三脉冲信号，将第三脉冲信号传输给第二像素交互电路。

905、第二像素交互电路存储第三脉冲信号，响应于接收到第二读出电路中的驱动电路发送的读信号，将第三脉冲信号传输给第二读出电路中的输出电路。

其中，第三脉冲信号将积分电压复位为复位电压。在一些实施例中，第二像素交互电路响应于接收到驱动电路发送的复位信号，将第二像素交互电路中的数据复位以接收下一次脉冲信号。

906、输出电路基于该第三脉冲信号，以图像帧的形式输出用于生成图像的灰度信息和深度信息。

其中，该灰度信息和深度信息基于该第三脉冲信号得到，示意性地，通过对第三脉冲信号进行时间上的累加即得到该灰度信息，通过对第三脉冲信号进行解调，得到该深度信息。在一些实施例中，输出电路采用同步时钟的帧读出方式，按照行滚动的方式，输出该第三脉冲信号。示意性地，参考图10，图10是本申请实施例提供的一种三维信息的示意图。如图10所示，如图10所示，第二读出电路包括驱动电路和输出电路，像素阵列中的像素单元响应于接收到驱动电路发送的读信号，向输出电路传输第三脉冲信号，输出电路以图像帧的形式，输出该像素单元的第三脉冲信号。需要说明的是，图10中有效信号和帧开始均为标志位。

在一些实施例中，输出电路与处理器连接，输出电路将该第三脉冲信号传输给处理器，由该处理器基于该第三脉冲信号，解调相应的深度信息。例如，图像传感器与处理器集成在同一电子设备中，该处理器可以是网络处理器(network processor，NP)、中央处理器(central processing unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)或用于控制本申请方案程序执行的集成电路。该处理器可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。该处理器的数量可以是一个，也可以是多个，对此不作限定。

示意性地，下面通过公式(1)至公式(8)对解调深度信息的原理进行介绍：

发射信号s(t)＝cos(wt) (1)

/>

四相位采样求解延迟相位

在上述公式(1)至公式(8)中，t为变量，w为常数，T为信号采样周期，公式(1)表示发射信号，公式(2)表示发射信号到达物体后的反射信号，其中，反射信号相对于发射信号具有一定的幅度损失a和延迟相位通过将延迟相位从反射信号中解调出来，能够得到深度信息，即距离D。公式(3)表示利用周期性采样信号对反射信号进行互相关操作，化简后得到公式(4)，通过4个相同频率不同相位的周期信号对反射信号进行互相关操作，得到公式(5)。公式(3)至公式(5)的过程也即是：通过4个不同相位的门控时钟对4种相位偏移条件下的信号进行采样，从而得到4组采样信号S₀、S₁、S₂以及S₃，利用这4组采样信号对反射信号进行互相关操作，得到C₀、C₁、C₂以及C₃，即公式(5)。进一步地，基于公式(5)和公式(6)进行求解得到延迟相位/>进而求得延迟时间(7)，最终通过公式(8)求解得到距离D(其中c为光速)。

在本申请实施例提供的三维成像过程中，通过引入至少一个相位的门控时钟来得到第三脉冲信号。例如，引入4种不同相位的门控时钟，在第0-100个信号采样周期基于第一相位的门控时钟进行采样，在100-200个信号采样周期基于第二相位的门控时钟进行采样，以此类推，从而得到第三脉冲信号。通过对第三脉冲信号进行时间上的累加，得到相应的灰度信息，通过对第三脉冲信号进行如上述公式(1)至(8)的计算，能够解调出相应的深度信息，从而实现三维成像。

基于上述图1至图10所示的图像传感器以及相应的成像过程可知，本申请实施例提供的图像传感器能够实现动态视觉成像、灰度脉冲成像以及三维成像，下面以像素阵列的任一像素单元为例，对图像传感器处理图像信号的方法进行介绍。

图11是本申请实施例提供的一种图像信号处理方法的流程图。如图11所示，以图1所示的图像传感器中像素阵列101、第一读出电路102以及第二读出电路103之间的交互为例进行介绍，该图像信号处理方法包括如下步骤1101至步骤1105。

1101、像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流。

1102、像素单元将第一光电流转换为第一脉冲信号，将第一脉冲信号传输给第一读出电路，该第一脉冲信号指示基于入射光的强度变化幅度与阈值之间的关系。

1103、像素单元将第二光电流转换为第二脉冲信号，将第二脉冲信号传输给第二读出电路，该第二脉冲信号指示入射光的强度变化。

需要说明的是，本申请实施例对于上述步骤1102和步骤1103的执行顺序不作限定，步骤1102和步骤1103可以同步执行，也可以先执行步骤1103再执行步骤1102。

1104、第一读出电路基于第一脉冲信号，输出用于生成图像的动态视觉信息。

1105、第二读出电路基于第二脉冲信号，输出用于生成图像的灰度信息。

应理解，上述步骤1101至步骤1105的具体实现过程参考上述图1至图8所示的图像传感器、动态视觉成像过程以及灰度脉冲成像过程，在此不再赘述。

通过图11所示的图像信号处理方法，图像传感器能够将入射光的光电流复制为两份，一份用于实现动态视觉成像，一份用于实现灰度脉冲成像，从而在一个图像传感器中实现了动态视觉成像和灰度脉冲成像，使得图像传感器输出的图像数据具有动态信息、较高的成像帧率以及成像细节信息，能够实现高动态范围成像，有效提升了图像传感器的成像效果。

图12是本申请实施例提供的另一种图像信号处理方法的流程图。如图12所示，以图1所示的图像传感器中像素阵列101、第一读出电路102以及第二读出电路103之间的交互为例进行介绍，该图像信号处理方法包括如下步骤1201至步骤1205。

1201、像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流。

1202、像素单元将第一光电流转换为第一脉冲信号，将第一脉冲信号传输给第一读出电路，该第一脉冲信号指示基于入射光的强度变化幅度与阈值之间的关系。

1203、像素单元将第二光电流转换为第三脉冲信号，将第三脉冲信号传输给第二读出电路，该第三脉冲信号指示入射光的强度变化和发出入射光的物体与像素单元之间的距离。

其中，像素单元基于至少一个相位的门控时钟，将第二光电流转换为三脉冲信号，将第三脉冲信号传输给第二读出电路。

需要说明的是，本申请实施例对于上述步骤1202和步骤1203的执行顺序不作限定，步骤1202和步骤1203可以同步执行，也可以先执行步骤1203再执行步骤1202。

1204、第一读出电路基于第一脉冲信号，输出用于生成图像的动态视觉信息。

1205、第二读出电路基于第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

应理解，上述步骤1201至步骤1205的具体实现过程参考上述图1至图6、图9至图10所示的图像传感器、动态视觉成像过程以及三维成像过程，在此不再赘述。

通过图12所示的图像信号处理方法，图像传感器能够将入射光的光电流复制为两份，一份用于实现动态视觉成像，一份用于实现三维成像，从而在一个图像传感器中实现了动态视觉成像和三维成像，使得图像传感器输出的图像数据具有动态信息、较高的成像帧率、成像细节信息以及三维环境信息，能够实现高动态范围成像，有效提升了图像传感器的成像效果。

综上，在本申请实施例中，提供了一种集成动态视觉成像、灰度脉冲成像以及三维成像的图像传感器，能够有效提升图像传感器的成像效果。示意性地，参考图13，图13是本申请实施例提供的一种图像传感器的成像效果图。如图13所示，(a)图和(b)图是对一只晃动的手进行成像而得到的图像，其中，(a)图是动态视觉成像对应的图像，图像按照图像帧的形式进行了恢复，该图像捕捉到了动态信息，具有高动态范围和高时间分辨率。(b)图是灰度脉冲成像对应的图像，图像是对脉冲信号进行时间上的累加而得到的灰度图，该图像具有较好的成像细节信息和较高的成像帧率。(c)图是对物体进行三维成像得到的图像，该图像能够体现物体的三维环境信息。

另外，需要说明的是，本申请实施例提供的图像传感器能够根据实际应用场景实现多维度成像。例如，在自动驾驶场景中，当车辆常规行驶时，基于图像传感器输出的灰度信息生成道路环境的灰度图，以确保成像细节；当车辆驶入或驶出隧道时，由于光强变化较大，基于图像传感器输出的动态视觉信息生成道路环境的动态视觉图像，以确保高动态范围成像；当然，还能够结合图像传感器输出的灰度信息和动态视觉信息生成相应的图像，从而为车辆行驶提供更加丰富的道路环境信息，本申请实施例对于如何使用图像传感器输出的信息不作限定。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的图像信息都是在充分授权的情况下获取的。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种所述示例的范围的情况下，第一脉冲信号可以被称为第二脉冲信号，并且类似地，第二脉冲信号可以被称为第一脉冲信号。第一脉冲信号和第二脉冲信号都可以是脉冲信号，并且在某些情况下，可以是单独且不同的脉冲信号。

本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个脉冲信号是指两个或两个以上的脉冲信号。

以上描述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以程序结构信息的形式实现。该程序结构信息包括一个或多个程序指令。在计算设备上加载和执行该程序指令时，全部或部分地产生按照本申请实施例中的流程或功能。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种图像传感器，其特征在于，所述图像传感器包括像素阵列、第一读出电路以及第二读出电路，所述像素阵列的输出端分别与所述第一读出电路的输入端和所述第二读出电路的输入端连接；

所述像素阵列中的像素单元，用于：

将入射光的光电流复制为第一光电流和第二光电流；

将所述第一光电流转换为第一脉冲信号，将所述第一脉冲信号传输给所述第一读出电路，所述第一脉冲信号指示所述入射光的强度变化幅度与阈值之间的关系；

将所述第二光电流转换为第二脉冲信号，将所述第二脉冲信号传输给所述第二读出电路，所述第二脉冲信号指示所述入射光的强度变化；

所述第一读出电路，用于基于所述第一脉冲信号，输出用于生成图像的动态视觉信息；

所述第二读出电路，用于基于所述第二脉冲信号，输出用于生成图像的灰度信息。

2.根据权利要求1所述的图像传感器，其特征在于，

所述像素单元，还用于将所述第二光电流转换为第三脉冲信号，将所述第三脉冲信号传输给所述第二读出电路，所述第三脉冲信号指示所述入射光的强度变化和发出所述入射光的物体与所述像素单元之间的距离；

所述第二读出电路，还用于基于所述第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

3.根据权利要求2所述的图像传感器，其特征在于，

所述像素单元，用于基于至少一个相位的门控时钟，将所述第二光电流转换为所述第三脉冲信号，将所述第三脉冲信号传输给所述第二读出电路。

4.根据权利要求2或3所述的图像传感器，其特征在于，

所述像素单元，用于通过时分复用机制，在第一时间段将所述第二光电流转换为所述第二脉冲信号；在第二时间段将所述第二光电流转换为所述第三脉冲信号。

5.根据权利要求1至4任一项所述的图像传感器，其特征在于，

所述像素单元包括第一电路单元和第二电路单元，所述第一电路单元的输出端与所述第一读出电路的输入端连接，所述第二电路单元的输出端与所述第二读出电路的输入端连接。

6.根据权利要求5所述的图像传感器，其特征在于，所述第一电路单元包括电压转换电路、第一电压比较电路以及第一像素交互电路；

所述电压转换电路，用于将所述第一光电流转换为光电压；

所述第一电压比较电路，用于在所述光电压与参考电压之间的电压差符合目标条件的情况下，生成所述第一脉冲信号，将所述第一脉冲信号传输给所述第一像素交互电路；

所述第一像素交互电路，用于接收所述第一脉冲信号，将所述第一脉冲信号传输给所述第一读出电路。

7.根据权利要求5所述的图像传感器，其特征在于，所述第二电路单元包括积分电路、第二电压比较电路以及第二像素交互电路；

所述积分电路，用于将所述第一光电流转换为积分电压；

所述第二电压比较电路，用于在所述积分电压等于参考电压的情况下，生成所述第二脉冲信号，将所述第二脉冲信号传输给所述第二像素交互电路；

所述第二像素交互电路，用于接收所述第二脉冲信号，将所述第二脉冲信号传输给所述第二读出电路。

8.根据权利要求1至7任一项所述的图像传感器，其特征在于，所述第一读出电路以地址-事件表达AER的形式输出所述动态视觉信息。

9.根据权利要求1至8任一项所述的图像传感器，其特征在于，所述第二读出电路以图像帧的形式输出所述灰度信息。

10.根据权利要求1至9任一项所述的图像传感器，其特征在于，所述图像传感器还包括第一配置单元和第二配置单元；

所述第一配置单元，用于控制所述图像传感器按照第一成像帧率输出所述动态视觉信息；

所述第二配置单元，用于控制所述图像传感器按照第二成像帧率输出所述灰度信息。

11.一种图像信号处理方法，其特征在于，应用于图像传感器，所述图像传感器包括像素阵列、第一读出电路以及第二读出电路，所述像素阵列的输出端分别与所述第一读出电路的输入端和所述第二读出电路的输入端连接，所述方法包括：

所述像素阵列中的像素单元将入射光的光电流复制为第一光电流和第二光电流；将所述第一光电流转换为第一脉冲信号，将所述第一脉冲信号传输给所述第一读出电路，所述第一脉冲信号指示基于所述入射光的强度变化幅度与阈值之间的关系；将所述第二光电流转换为第二脉冲信号，将所述第二脉冲信号传输给所述第二读出电路，所述第二脉冲信号指示所述入射光的强度变化；

所述第一读出电路基于所述第一脉冲信号，输出用于生成图像的动态视觉信息；

所述第二读出电路基于所述第二脉冲信号，输出用于生成图像的灰度信息。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

所述像素单元将所述第二光电流转换为第三脉冲信号，将所述第三脉冲信号传输给所述第二读出电路，所述第三脉冲信号指示所述入射光的强度变化和发出所述入射光的物体与所述像素单元之间的距离；

所述第二读出电路基于所述第三脉冲信号，输出用于生成图像的灰度信息和深度信息。

13.根据权利要求12所述的方法，其特征在于，所述像素单元将所述第二光电流转换为第三脉冲信号，将所述第三脉冲信号传输给所述第二读出电路，包括：

所述像素单元基于至少一个相位的门控时钟，将所述第二光电流转换为所述第三脉冲信号，将所述第三脉冲信号传输给所述第二读出电路。

14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：

所述像素单元通过时分复用机制，在第一时间段将所述第二光电流转换为所述第二脉冲信号；在第二时间段将所述第二光电流转换为所述第三脉冲信号。

15.一种电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器用于实现如权利要求1至10中任一项所述的图像传感器的功能。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段程序代码，所述至少一段程序代码用于实现如权利要求1至10中任一项所述的图像传感器的功能。

17.一种计算机程序产品，其特征在于，当所述计算机程序产品在图像传感器上运行时，使得所述图像传感器实现如权利要求1至10中任一项所述的图像传感器的功能。