CN117857942A - 读出电路、图像传感器及摄像系统 - Google Patents

Abstract

本发明提供了一种图像传感器的读出电路、图像传感器及摄像系统。读出电路包括与图像传感器的M×N的像素阵列耦接的驱动电路，以及P1×N的采样电路阵列、P1×P2的斜坡产生器阵列、P1×N的模数转换电路阵列以及图像帧数据产生电路。采样电路阵列分别耦接像素阵列和模数转换电路阵列，模数转换电路阵列耦接斜坡产生器阵列和图像帧数据产生电路。读出电路能够采集像素阵列产生的电荷并根据卷积核以及预设卷积步长对模拟域的电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据。本发明能够在保证图像传感器的识别准确度和鲁棒性的同时，减少数字电路的运算量，降低相关数字电路的功耗和面积。

Description

读出电路、图像传感器及摄像系统

技术领域

本发明涉及成像技术领域，尤其涉及一种读出电路、图像传感器及摄像系统。

背景技术

请参见图1，图1示意性地给出了相关技术中图像传感器的结构框图。从图1可以看出，相关技术中的图像传感器主要包括像素阵列100、时序控制逻辑电路200、第一行驱动电路311、第一读出电路410以及第一图像处理器510。相关技术中的图像传感器的工作原理大致如下：外界光照射像素阵列100，像素阵列100的像素单元110发生光电效应产生相应的电荷；在时序控制逻辑电路200的控制下，第一行驱动电路311选择相应行的像素单元110，然后对应行的像素单元110通过第一读出电路410将电信号输出到模数转换器411；接着模数转换器411根据第一斜坡产生器412提供的增益参数对电信号进行调整并转换成数字图像信号输出至第一图像处理器510；最后，第一图像处理器510对接收到的数字图像信号进行处理以得到相应的结果（例如人脸识别，物体识别等等）。为了提高识别的准确度和鲁棒性，相关技术中通常选用具有神经网络处理功能的第一图像处理器510对数字图像信号进行计算，以得到相应的结果。

然而，具有神经网络功能的第一图像处理器510需要处理大量数据，计算量较大，导致功耗和电路面积都很大，不仅不利于边缘计算的应用，而且对相关元器件的要求及散热要求都比较高，导致图像传感器的成本较高。

需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明所要解决的技术问题是针对现有技术中具有神经网络处理功能的图像处理器因计算量大导致图像传感器的功耗和面积均较大的技术问题，提供一种读出电路、图像传感器及摄像系统，本发明通过对模拟域的图像信号进行矩阵卷积计算，能够在不影响图像传感器的识别准确度和鲁棒性的情况下，减少数字电路（比如图像处理器）的运算量，显著降低相关数字电路的功耗和面积，不仅使得采用本发明提供的读出电路的图像传感器更加小型化和轻量化，而且具有电路结构简单且成本低、易于实施的优点。

为实现上述目的，本发明通过以下技术方案予以实现：一种图像传感器的读出电路，所述图像传感器包括大小为M×N的像素阵列以及图像处理器；所述读出电路包括与所述像素阵列耦接的驱动电路，以及大小为P1×N的采样电路阵列、大小为P1×P2的斜坡产生器阵列、大小为P1×N的模数转换电路阵列以及图像帧数据产生电路；M和N分别为所述像素阵列的行数和列数，P1和P2分别为用于对模拟信号进行卷积运算的卷积核的高度和宽度；

所述采样电路阵列的第一端耦接所述像素阵列的输出端，所述采样电路阵列的第二端耦接所述模数转换电路阵列的第一端，所述模数转换电路阵列的第二端耦接所述斜坡产生器阵列，所述模数转换电路阵列的第三端耦接所述图像帧数据产生电路的第一端，所述图像帧数据产生电路的第二端被配置为耦接所述图像处理器；

所述读出电路，被配置为采集所述像素阵列产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器；其中，P3大于或等于P1且P3小于或等于M；P4大于或等于P2且P4小于或等于N。

可选地，所述驱动电路，被配置为根据所述预设卷积步长的高度，以P1行像素单元为单位依序将所述像素阵列的电荷发送至所述采样电路阵列；

所述采样电路阵列，被配置为根据所述电荷生成第一电信号图像数据；

所述模数转换电路阵列，被配置为每P1×P2个模数转换电路子阵列根据所述预设卷积步长的宽度以及所述斜坡产生器阵列的增益参数对所述第一电信号图像数据进行权重调整，得到第四电信号图像数据；

所述图像帧数据产生电路，被配置为对所述第四电信号图像数据进行卷积计算，生成所述第二电信号图像数据。

可选地，所述驱动电路包括行驱动电路以及N个列读出电路；所述行驱动电路以及N个所述列读出电路与所述像素阵列耦接，所述像素阵列的每P1行像素单元为一组，且同组内的同一列的P1个所述像素单元分别与所述采样电路阵列相应列的P1个采样电路单元的第一端对应耦接；

所述行驱动电路，被配置为以P1行像素单元为单位逐行选通所述像素阵列，所述列读出电路被配置为将当前被选通行的所有列的所述像素单元内的电荷同时发送至对应的所述采样电路单元；

所述采样电路阵列，被配置为将所述采样电路单元根据所述电荷生成的模拟像素数据生成第一电信号图像数据，并将所述第一电信号图像数据发送至所述模数转换电路阵列。

可选地，所述采样电路阵列的每一列所述采样电路单元的第一端分别与对应列的一组所述列读出电路的第二端耦接，每一个所述采样电路单元的第二端一一对应耦接所述模数转换电路阵列的模数转换电路单元的第一端。

可选地，所述采样电路阵列的采样电路单元包括信号重置开关、信号采集开关、第一MOS管、第二MOS管以及选通开关；所述信号重置开关的第一端以及所述信号采集开关的第一端耦接所述像素单元，所述信号重置开关的第二端耦接所述第一MOS管的栅极，所述信号采集开关的第二端耦接所述第二MOS管的栅极，所述第一MOS管的第一端被配置为耦接第一阈值电压，所述第二MOS管的第一端被配置为耦接第二阈值电压，所述第一MOS管的第二端以及所述第二MOS管的第二端耦接所述选通开关的第一端，所述选通开关的第二端耦接所述采样电路单元对应的所述模数转换电路单元的第一端。

可选地，所述斜坡产生器阵列的斜坡产生器被配置为根据所述预设卷积步长的高度和宽度，与生成所述第四电信号图像数据的P1×P2个所述模数转换电路子阵列的模数转换电路单元的第二端一一对应耦接；

所述斜坡产生器，被配置为向对应的所述模数转换电路单元提供所述增益参数。

可选地，所述模数转换电路阵列的模数转换电路单元包括比较器、计数器以及存储单元；所述比较器的第一输入端耦接所述采样电路阵列的采样电路单元的第二端，所述比较器的第二输入端耦接对应的所述斜坡产生器的第一端，所述比较器的输出端耦接所述存储单元；所述斜坡产生器的第二端耦接所述计数器的输出端；

所述计数器，被配置为向所述斜坡产生器输出计数信号，以使得所述斜坡产生器产生所述增益参数；

所述比较器，被配置为根据所述增益参数以及与其对应的所述采样电路单元的输出信号，生成所述第四电信号图像数据的像素数据。

可选地，所述图像帧数据产生电路的第一端耦接所述存储单元；

所述图像帧数据产生电路，被配置为根据所述预设卷积步长，以所述第四电信号图像数据的大小为P1×P2的子图像为单位进行卷积处理，生成大小为P3×P4的第二电信号图像数据。

为了实现上述目的，本发明还提供了一种图像传感器，所述图像传感器包括像素阵列、上述任一项所述的读出电路以及图像处理器；

所述像素阵列的一端耦接所述读出电路的第一端，所述读出电路的第二端连接所述图像处理器的第一端，所述图像处理器的第二端被配置为耦接应用端；

所述像素阵列，被配置为将接收到的光信号转换为电荷；

所述读出电路，被配置为采集所述像素阵列产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器；

所述图像处理器，被配置为对所述第二电信号图像数据进行处理得到第三电信号图像数据；以使得所述应用端对所述第三电信号图像数据进行重建生成所述光信号对应的图像。

为了实现上述目的，本发明还提供了一种摄像系统，所述摄像系统包括上述任一项所述的读出电路或上述的图像传感器。

与现有技术相比，本发明提供的图像传感器的读出电路、图像传感器及摄像系统，具有以下有益效果：

本发明提供的图像传感器的读出电路，所述图像传感器包括大小为M×N的像素阵列以及图像处理器。所述读出电路包括与所述像素阵列耦接的驱动电路，以及大小为P1×N的采样电路阵列、大小为P1×P2的斜坡产生器阵列、大小为P1×N的模数转换电路阵列以及图像帧数据产生电路；M和N分别为所述像素阵列的行数和列数，P1和P2分别为用于对模拟信号进行卷积运算的卷积核的高度和宽度。所述采样电路阵列的第一端耦接所述像素阵列的输出端，所述采样电路阵列的第二端耦接所述模数转换电路阵列的第一端，所述模数转换电路阵列的第二端耦接所述斜坡产生器阵列，所述模数转换电路阵列的第三端耦接所述图像帧数据产生电路的第一端，所述图像帧数据产生电路的第二端被配置为耦接所述图像处理器。所述读出电路，被配置为采集所述像素阵列产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器；其中，P3大于或等于P1且P3小于或等于M；P4大于或等于P2且P4小于或等于N。如此配置，本发明提供的图像传感器的读出电路，根据对模拟信号进行卷积运算的卷积核的大小设计采样电路阵列的大小、斜坡产生器阵列的大小（即卷积核的大小）以及模数转换电路阵列的大小，并通过采样电路阵列、模数转换电路阵列以及斜坡产生器阵列的相互配合，使得读出电路能够根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，从而实现了对模拟域的图像信号进行矩阵卷积运算。由此，采用本发明提供的图像传感器的读出电路，能够在不影响图像传感器的识别准确度和鲁棒性的情况下，减少数字电路（比如图像处理器）的运算量，显著降低相关数字电路的功耗和面积，不仅使得图像传感器更加小型化和轻量化，而且具有电路结构简单且成本低、易于实施的优点。

由于本发明提供的图像传感器及摄像系统与本发明提供的图像传感器的读出电路属于同一发明构思，因此本发明提供的图像传感器及摄像系统至少具有本发明提供的图像传感器的读出电路所具有的所有有益效果，具体可以参考上文中有关本发明提供的图像传感器的读出电路的有益效果的相关描述，故在此不再对本发明提供的图像传感器及摄像系统所具有的有益效果一一进行赘述。

附图说明

图1为相关技术中图像传感器的结构框图；

图2为本发明第一种实施例提供的图像传感器的结构示意图；

图3为图2中像素阵列的像素单元的其中一具体示例图；

图4为本发明第二种实施例提供的读出电路的结构示意图；

图5为本发明第二种实施例提供的读出电路与像素阵列连接的一具体示例示意图；

图6为采用本发明第二种实施例提供的读出电路的图像卷积运算的原理示意图；

图7为采用本发明第二种实施例提供的读出电路其中一具体示例的图像阵列读出时序示意图；

图8为本发明第二种实施例提供的读出电路的采样电路单元的一具体示例的结构示意图；

图9为采用本发明第二种实施例提供的读出电路其中一具体示例的像素信号数据、重置信号数据以及模数转换的输出信号示意图；

图10为本发明第二种实施例提供的读出电路其中一具体示例的模数转换电路单元与斜坡产生器的连接示意图；

图11为本发明第二种实施例提供的读出电路的模数转换电路单元的一具体示例的结构示意图；

其中，附图标记说明如下：

像素阵列-100，像素单元-110；

时序控制逻辑电路-200；

第一行驱动电路-311，行驱动电路-312，列读出电路-321；

第一读出电路-410，读出电路-420；

模数转换器-411；驱动电路-300；

模数转换电路阵列-421、模数转换电路单元-4211，比较器-D1、计数器-C1、存储单元-42111；

第一斜坡产生器-412，斜坡产生器阵列-422、斜坡产生器-4221；

采样电路阵列-423、采样电路单元-4231，信号重置开关-RST、信号采集开关-TG、第一MOS管-M1、第二MOS管-M2、第一选通开关-K1、第二选通开关-K2；

图像帧数据产生电路-424；

第一图像处理器-510，图像处理器-520。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明提供的读出电路、图像传感器及摄像系统作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。应当了解，说明书附图并不一定按比例地显示本发明的具体结构，并且在说明书附图中用于说明本发明某些原理的图示性特征也会采取略微简化的画法。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。以及，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在本说明书中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。

应当明白，当元件被称为"连接到"、“耦接”其它元件时，其可以直接地连接其它元件，或者可以存在居间的元件。相反，当元件被称为"直接连接到"其它元件时，则不存在居间的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本发明的核心思想在于提供一种读出电路、图像传感器及摄像系统，本发明通过对模拟域的图像信号进行矩阵卷积计算，能够在不影响图像传感器的识别准确度和鲁棒性的情况下，减少数字电路（比如图像处理器）的运算量，显著降低相关数字电路的功耗和面积，不仅使得图像传感器更加小型化和轻量化，而且具有电路结构简单且成本低、易于实施的优点。

为了更便于理解和说明本发明，以下先对本发明提供的图像传感器予以说明，接下来再对本发明提供的图像传感器的读出电路以及摄像系统予以说明。

本发明的第一种实施例提供了一种图像传感器。示例性地，请参见图2和图3，其中，图2为本发明第一种实施例提供的图像传感器的结构示意图；图3为图2中像素阵列的像素单元的其中一具体示例图。从图2可以看出，本实施例提供的图像传感器包括像素阵列100、下述实施例任一实施方式提供的读出电路420以及图像处理器520。具体地，所述像素阵列100的一端耦接所述读出电路420的第一端，所述读出电路420的第二端连接所述图像处理器520的第一端，所述图像处理器520的第二端被配置为耦接应用端（图中未示出）；所述像素阵列100被配置为将接收到的光信号转换为电荷。所述读出电路420，被配置为采集所述像素阵列100产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器520。所述图像处理器520，被配置为对所述第二电信号图像数据进行处理得到第三电信号图像数据；以使得所述应用端对所述第三电信号图像数据进行重建生成所述光信号对应的图像。

由于本发明提供的图像传感器与本发明提供的图像传感器的读出电路420属于同一发明构思，因此本发明提供的图像传感器至少具有本发明提供的图像传感器的读出电路420所具有的所有有益效果，具体可以参考下文中有关本发明提供的图像传感器的读出电路420的有益效果的相关描述，故在此暂不对本发明提供的图像传感器所具有的有益效果展开说明。进一步地，为了提高图像传感器的输出结果（比如人脸识别、物体识别）的准确度，与图1所示相关技术中的图像传感器的第一图像处理器510需要进行运算量较大的神经网络功能的图像处理计算不同，本发明提供的图像传感器，由于通过读出电路420已经进行了模拟域的图像卷积运算，因此，本发明提供的图像传感器，不仅能够显著减小读出电路至图像处理器520的数据传输量，而且能够显著减小图像处理器520的神经网络功能图像处理的计算量，因此，本发明提供的图像传感器不仅功耗低、面积小，而且更适合边缘计算的应用。

需要说明的是，本领域的技术人员应能够理解，图3所示的像素阵列100的像素单元110为金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)器件仅是示例性描述，而非本发明的限制，在其他的实施方式中，也可以为除CMOS器件之外的其他光电器件，具体请参见为本领域技术人员所悉知的相关技术，限于篇幅，在此不展开赘述。进一步地，本发明对所述CMOS器件的类型也不作限定，在一些示范性实施方式中，所述CMOS器件可以为有源像素传感器，在另外一些示范性实施方式中，所述CMOS器件也可以为无源像素传感器。

进一步地，为了提升最终成像的品质，示例性地，所述图像处理器520可以包括黑电平校正单元、降噪单元以及基底校正等模块，以得到高质量的第三电信号图像数据（图像信号的数字域数据，即用于应用端重建图像的有效数据）。有关图像处理器520更详细内容，请参见为本领域技术人员所悉知的相关技术，限于篇幅，在此不再展开一一赘述。

进一步地，所述图像传感器还可以包括时序逻辑控制模块（图中未示出）以及模拟放大电路（图中未示出）等其他功能器件。有关本发明提供的图像传感器的读出电路420的更详细内容请参见下文实施例提供的读出电路的相关说明；有关本发明提供的图像传感器的其他功能器件的更详细内容，请参见为本领域技术人员所悉知的相关技术，在此不展开说明。

接下来，对本发明第二种实施例提供的图像传感器的读出电路予以说明。示例性地，请参见图4和图5，其中，图4为本发明第二种实施例提供的读出电路420的结构示意图；图5为本发明第二种实施例提供的读出电路420与像素阵列100连接的一具体示例示意图。从图4和图5（图5中以P1的值取3示例）可以看出，所述图像传感器包括大小为M×N的像素阵列100以及图像处理器520。具体地，所述读出电路420包括与所述像素阵列100耦接的驱动电路300，以及大小为P1×N的采样电路阵列423、大小为P1×P2的斜坡产生器阵列422、大小为P1×N的模数转换电路阵列421以及图像帧数据产生电路424；M和N分别为所述像素阵列100的行数和列数，P1和P2分别为用于对模拟信号进行卷积运算的卷积核的高度和宽度。

更具体地，所述采样电路阵列423的第一端耦接所述像素阵列100的输出端，所述采样电路阵列423的第二端耦接所述模数转换电路阵列421的第一端，所述模数转换电路阵列421的第二端耦接所述斜坡产生器阵列422，所述模数转换电路阵列421的第三端耦接所述图像帧数据产生电路424的第一端，所述图像帧数据产生电路424的第二端被配置为耦接所述图像处理器520。所述读出电路420，被配置为采集所述像素阵列100产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器520；其中，P3大于或等于P1且P3小于或等于M；P4大于或等于P2且P4小于或等于N。

由此可见，本发明提供的图像传感器的读出电路420，根据对模拟信号进行卷积运算的卷积核的大小设计采样电路阵列423的大小、斜坡产生器阵列422的大小（即卷积核的大小）以及模数转换电路阵列421的大小，并通过采样电路阵列423、模数转换电路阵列421以及斜坡产生器阵列422的相互配合，使得读出电路420能够根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，从而实现了对模拟域的图像信号进行矩阵卷积运算。如此配置，采用本发明提供的图像传感器的读出电路420，能够在不影响图像传感器的识别准确度和鲁棒性的情况下，减少数字电路（比如图像处理器520）的运算量，显著降低相关数字电路的功耗和面积，不仅使得图像传感器更加小型化和轻量化，而且具有电路结构简单且成本低、易于实施的优点。

需要特别说明的是，本领域的技术人员应该能够理解，本发明对读出电路420的具体形式不作限定。示例性地，在一些实施方式中，本发明提供的图像传感器的读出电路420可以为图像传感器相关电路的一部分；在另一些实施方式中，本发明提供的图像传感器的读出电路420还可以为分立的元器件；在又一些实施方式中，本发明提供的图像传感器的读出电路420可以为集成为芯片；作为较佳实施方式，还可以将本发明提供的图像传感器的读出电路420与图像传感器的其他器件（比如像素阵列100、图像处理器520等）整个图像传感器集成在一块芯片上，如此设计，不仅能够降低功耗，而且具有重量较轻，占用空间减少以及总体价格更低的优点。

另外，需要说明的是，如本领域技术人员可以理解地，本发明提供的图像传感器的读出电路420，对M、N、P1、P2、P3、P4以及预设卷积步长（包括步长的高度和宽度）的具体取值不作限定，M和N可以相等也可以不等，P1和P2可以相等也可以不等，但如本领域技术人员可以理解地，较佳地，P1和P2的值优选为奇数。换言之，本发明对像素阵列100的大小、卷积核的大小以及卷积运算的步长均不作限定。在实施本发明提供的图像传感器的读出电路420时，应根据实际需要合理设置M、N、P1、P2、P3、P4的具体取值。进一步需要说明的是，本领域的技术人员应该能够理解，虽然本文以单个通道的矩阵卷积运算为例进行示例性说明，但是根据本文公开的内容，也可以通过产生多个P3×P4的第二电信号图像数据以实现多个通道的矩阵卷积运算，在此不展开赘述。

优选地，在其中一些示范性实施方式中，所述驱动电路300，被配置为根据所述预设卷积步长的高度，以P1行像素单元110为单位依序将所述像素阵列100的电荷发送至所述采样电路阵列423。所述采样电路阵列423，被配置为根据所述电荷生成第一电信号图像数据（图像信号的模拟域数据，即像素阵列100每一个像素单元110对应一个像素的图像数据）；所述模数转换电路阵列421，被配置为每P1×P2个模数转换电路子阵列（图中未标示，可以结合下文的图6理解）根据所述预设卷积步长的宽度以及所述斜坡产生器阵列422的增益参数对所述第一电信号图像数据进行权重调整，得到第四电信号图像数据（即滤波后的第一电信号图像数据）。所述图像帧数据产生电路424，被配置为对所述第四电信号图像数据进行卷积计算，生成所述第二电信号图像数据（图像信号的数字域数据，即对第一电信号图像数据卷积后得到的特征图像）。

由此，本发明提供的图像传感器的读出电路420包括驱动电路300、采样电路阵列423、模数转换电路阵列421以及图像帧数据产生电路424，这种模块化的设计方式，不仅易于实施，而且通过驱动电路300、采样电路阵列423、模数转换电路阵列421以及图像帧数据产生电路424的协同工作，实现了对图像信号模拟域的卷积运算，使得采用本发明提供的读出电路420的图像传感器的相关数字电路的功耗更低，更利于图像传感器的小型化和轻量化。

示例性地，请参见图6，图6为采用本发明第二种实施例提供的读出电路的图像卷积运算的原理示意图。图6中以M和N均取5、P1和P2以及P3和P4均取3、以及预设卷积步长的高度和宽度均取1为例进行示例性说明。如图6所示，对于1个5×5的图像（可以理解为本文中的第一电信号图像数据），使用大小为3×3的卷积核（滤波器，可以理解为本发明的斜坡产生器阵列422），以宽度步长和高度步长均为1进行卷积操作，可以得到3×3的特征图像（可以理解为本文中的第二电信号图像数据）。具体地，先逐行再逐列对5×5图像的3×3的子图像进行特征提取（可以理解为对本文中的第一电信号图像数据进行权重调整/滤波）并进行卷积得到特征图像的每一个像素值。如前所述，本发明对像素阵列100的大小以及斜坡产生器阵列422（即卷积核）的大小（即P1和P2的取值）不作限定。举例而言，在其他的实施方式中，P1和P2还可以为3之外的其他值，比如4、8或12等。

请继续参见图4和图5，从图4和图5可以看出，所述驱动电路300包括行驱动电路312以及N个列读出电路321；所述行驱动电路312以及N个所述列读出电路321与所述像素阵列100耦接，所述像素阵列100的每P1行像素单元110，且同组内的同一列的P1个所述像素单元110分别与所述采样电路阵列423相应列的P1个采样电路单元4231的第一端对应耦接。具体地，所述行驱动电路312，被配置为以P1行像素单元110为单位逐行选通所述像素阵列100，所述列读出电路321被配置为将当前被选通行的所有列的所述像素单元110内的电荷发同时送至对应的所述采样电路单元4231。所述采样电路阵列423，被配置为将所述采样电路单元4231根据所述电荷生成的模拟像素数据生成第一电信号图像数据，并将所述第一电信号图像数据发送至所述模数转换电路阵列421。

由此，本发明提供的读出电路420，通过以像素阵列100的P1行像素单元110为一组，且同组内的同一列的P1个所述像素单元110分别与所述采样电路阵列423相应列的P1个采样电路单元4231的第一端对应耦接，从而使得每列像素单元110共享P1个采样电路单元4231，进而为对第一电信号图像数据进行卷积运算奠定了坚实基础。具体地，如图5所示，对于卷积核为3×3（即P1和P2均取3）的卷积运算而言，每3行像素单元110为一组，且每一个像素单元110与一个采样电路单元4231一一耦接，每列像素单元110共享3个采样电路单元4231，共需要3×N个采样电路单元4231，亦即采样电路阵列423的大小为3×N。

请继续参见图4和图5，在其中一些示范性实施方式中，所述采样电路阵列423的每一列所述采样电路单元4231的第一端分别与对应列的一组所述列读出电路321的第二端耦接，每一个所述采样电路单元4231的第二端一一对应耦接所述模数转换电路阵列421的模数转换电路单元4211的第一端。如此配置，不仅使得一列像素单元110共享P1个采样电路单元4231，从而使得读出电路420的结构更加紧凑；而且可以保障后续能够对模拟域的第一电信号图像数据进行卷积运算。

示例性地，请结合图6并参见图7，图7为采用本发明提供的读出电路420其中一具体示例的图像阵列读出时序示意图。图7中，T_row0<J>、T_row1<J>以及T_row2<J>三行时序对应图6中第一行的三次操作；T_row0<J+1>、T_row1<J+1>以及T_row2<J+1>三行时序对应图6中第二行的三次操作。

示例性地，请参见图8和图9，其中，图8为本实施例提供的读出电路420的采样电路的一具体示例的结构示意图；图9为采用本发明第二种实施例提供的读出电路420其中一具体示例的像素信号数据、重置信号数据以及模数转换的输出信号示意图。从图8可以看出，所述采样电路阵列423的采样电路单元4231包括信号重置开关RST、信号采集开关TG、第一MOS管M1、第二MOS管M2以及选通开关（图8中以第一选通开关K1和第二选通开关K2示例）；所述信号重置开关RST的第一端以及所述信号采集开关TG的第一端耦接所述像素单元110，所述信号重置开关RST的第二端耦接所述第一MOS管M1的栅极，所述信号采集开关TG的第二端耦接所述第二MOS管M2的栅极，所述第一MOS管M1的第一端被配置为耦接第一阈值电压，所述第二MOS管M2的第一端被配置为耦接第二阈值电压，所述第一MOS管M1的第二端耦接所述第一选通开关K1，以及所述第二MOS管M2的第二端耦接所述第二选通开关K2的第一端，所述第一选通开关K1和所述第二选通开关K2的第二端耦接所述采样电路单元4231对应的所述模数转换电路单元4211的第一端。

由此，本发明提供的图像传感器的读出电路420，其采样电路单元4231包括信号重置开关RST、信号采集开关TG、第一MOS管M1、第二MOS管M2以及第一选通开关K1和第二选通开关K2，这种相关双采样的方式，能够把特定的像素重置数据和像素信号数据的模拟值保存下来，不仅便于后续模数转换电路单元4211进行模数转换，而且更便于行像素数据信号根据不同的卷积矩阵重复使用。示例性地，请参见图9，图9中，RST表示像素重置数据的波形，TG表示像素信号数据的波形，像素信号数据(2^nd AD Sig level)减去像素重置数据(1^stAD RST level)即可得到第一电信号图像数据对应的像素信号电平的实际有效值。具体地，在采集像素重置数据（1^st AD rst level）时，第一选通开关K1闭合，进行AD转换；在采集像素信号数据（2^nd AD sig level）时第二选通开关K2闭合进行AD转换。由此，像素单元110里自有的复位晶体管（RST）会在1^st AD rst level 转换之前关掉，像素单元110里的复位晶体管（RST）造成的KTC噪声会被两次AD转换消除掉，即通过采样得到的2^nd AD sig level 和1^st AD rst level的电压的电压差，然后经过AD转换就可以得到第一电信号图像数据的像素信号电平的实际有效值。

需要说明的是，如本领域技术人员可以理解地，本发明对所述第一阈值电压以及所述第二阈值电压的具体取值不作任何限定，二者的具体取值应根据实际情况合理设定。另外，相关双采样(Correlated Double Sample, CDS)即分别采样输出信号的两个电平，即一次是对复位电平进行采样，另一次是对信号电平进行采样)。若在光电信号的积分开始时刻t1和积分结束时刻t2，分别对输出信号采样（在一个信号输出周期内，产生两个采样脉冲，分别采样输出信号的两个电平，即一次是对“复位电平”进行采样，另一次是对“信号电平”进行采样)，并且使得两次采样时间之间的间隔远小于时间常数CRon (Ron为复位晶体管的导通电阻)，这样两次采样的噪声电压相差无几，两次采样的时间又是相关的；若将两次采样值相减，就基本消除了复位噪声的干扰，得到信号电平的实际有效幅值。有关相关双采样的更详细内容请参见为本领域技术人员所悉知的相关技术，在此不展开赘述。

示例性地，请参见图10，图10为本实施例提供的读出电路420其中一具体示例的模数转换电路单元4211与斜坡产生器4221的连接示意图。从图10可以看出，所述斜坡产生器阵列422的斜坡产生器4221被配置为根据所述预设卷积步长的高度和宽度，与生成所述第四电信号图像数据的的P1×P2个所述模数转换电路子阵列（图中未标示，根据本文的描述不难理解，图10中每9个模数转换电路单元4211组成一个模数转换电路子阵列）的模数转换电路单元4211的第二端一一对应耦接。所述斜坡产生器4221，被配置为向对应的所述模数转换电路单元4211提供所述增益参数。由此，通过斜坡产生器阵列422的斜坡产生器4221与生成所述第四电信号图像数据的P1×P2个所述模数转换电路子阵列的模数转换电路单元4211一一对应耦接，通过斜坡产生器阵列422的增益参数实现了对所述第四电信号图像数据不同位置像素的权重调整，完成了产生对模拟域的第四电信号图像数据以进行卷积运算的关键步骤。

需要说明的是，如本领域技术人员可以理解地，本发明对斜坡产生器阵列422的各个斜坡产生器4221所提供的增益参数不作任何限定，应该根据卷积操作的实际需要合理设定。

示例性地，请参见图11，图11为本实施例提供的读出电路的模数转换电路单元4211的一具体示例的结构示意图。从图11可以看出，所述模数转换电路阵列421的模数转换电路单元4211包括比较器D1、计数器C1以及存储单元42111；所述比较器D1的第一输入端耦接所述采样电路阵列423的采样电路单元4231的第二端，所述比较器D1的第二输入端耦接对应的所述斜坡产生器4221的第一端，所述比较器D1的输出端耦接所述存储单元42111；所述斜坡产生器4221的第二端耦接所述计数器C1的输出端。具体地，所述计数器C1，被配置为向所述斜坡产生器4221输出计数信号，以使得所述斜坡产生器4221产生所述增益参数；所述比较器D1，被配置为根据所述增益参数以及与其对应的所述采样电路单元4231的输出信号，生成所述第四电信号图像数据的像素数据。由此，本发明提供的读出电路420的模数转换电路阵列421的模数转换电路单元4211，能够根据斜坡产生器4221产生的增益参数对采样电路单元4231采集的图像信号数据进行权重调整和模数转换，完成了产生模拟域的第四电信号图像数据以进行卷积运算的关键步骤。

请继续参见图4和图11，优选地，在其中一些示范性实施方式中，所述图像帧数据产生电路424的第一端耦接所述存储单元42111。所述图像帧数据产生电路424，被配置为根据所述预设卷积步长，以所述第四电信号图像数据的大小为P1×P2的子图像为单位进行卷积处理，生成大小为P3×P4的第二电信号图像数据。由此，本发明提供的读出电路420，图像帧数据产生电路424通过对存储单元42111中的第四电信号图像数据卷积处理（比如汇集或者叠加），产生第二电信号图像数据，最终实现了模拟域的图像信号的卷积运算。

本发明的第三种实施例提供了一种摄像系统，示例性地，其中一些示范性实施方式提供的摄像系统包括上文实施例任一实施方式提供的读出电路；另外一些实施方式提供的摄像系统包括上文实施例提供的图像传感器。

由于本发明提供的摄像系统与本发明提供的图像传感器的读出电路属于同一发明构思，因此本发明提供的摄像系统至少具有本发明提供的图像传感器的读出电路所具有的所有有益效果，具体可以参考上文中有关本发明提供的图像传感器的读出电路的有益效果的相关描述，故在此暂不对本发明提供的摄像系统所具有的有益效果展开说明。

需要说明的是，如本领域技术人员可以理解地，作为优选，本发明提供的摄像系统还可以包括应用端，以呈现图像处理的结果以及用户交互等。进一步地，摄像系统还可以包括显示单元、通信模块等；有关摄像系统的更详细内容，请参见为本领域技术人员所悉知的相关技术，限于篇幅，在此不再展开一一赘述。

进一步需要说明的是，本领域的技术人员应该能够理解，本发明对所述摄像系统的存在形式、具体应用场景和应用领域不作任何限定。示例性地，举例而言，所述摄像系统包括但不限于保安用小型、微型相机、手机、计算机网络视频会议系统、无线手持式视频会议系统、条形码扫描器、传真机、玩具、生物显微计数以及某些车用摄像系统等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

与现有技术相比，与现有技术相比，本发明提供的图像传感器的读出电路、图像传感器及摄像系统，具有以下有益效果：

本发明提供图像传感器的读出电路，根据对模拟信号进行卷积运算的卷积核的大小设计采样电路阵列的大小、斜坡产生器阵列的大小（即卷积核的大小）以及模数转换电路阵列的大小，并通过采样电路阵列、模数转换电路阵列以及斜坡产生器阵列的相互配合，使得读出电路能够根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，从而实现了对模拟域的图像信号进行多个通道的矩阵卷积运算。如此配置，采用本发明提供的图像传感器的读出电路，能够在不影响图像传感器的识别准确度和鲁棒性的情况下，减少数字电路（比如图像处理器）的运算量，显著降低相关数字电路的功耗和面积，不仅使得图像传感器更加小型化和轻量化，而且具有电路结构简单且成本低、易于实施的优点。

由于本发明提供的图像传感器及摄像系统与本发明提供的图像传感器的读出电路属于同一发明构思，因此本发明提供的图像传感器及摄像系统至少具有本发明提供的图像传感器的读出电路所具有的所有有益效果，具体可以参考上文中有关本发明提供的图像传感器的读出电路的有益效果的相关描述，故在此不再对本发明提供的图像传感器及摄像系统所具有的有益效果一一进行赘述。

综上，上述实施例对读出电路、图像传感器及摄像系统的不同构型进行了详细说明，当然，上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明包括但不局限于上述实施中所列举的构型，本领域技术人员可以根据上述实施例的内容举一反三，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种图像传感器的读出电路，所述图像传感器包括大小为M×N的像素阵列以及图像处理器；其特征在于，所述读出电路包括与所述像素阵列耦接的驱动电路，以及大小为P1×N的采样电路阵列、大小为P1×P2的斜坡产生器阵列、大小为P1×N的模数转换电路阵列以及图像帧数据产生电路；M和N分别为所述像素阵列的行数和列数，P1和P2分别为用于对模拟信号进行卷积运算的卷积核的高度和宽度；

所述采样电路阵列的第一端耦接所述像素阵列的输出端，所述采样电路阵列的第二端耦接所述模数转换电路阵列的第一端，所述模数转换电路阵列的第二端耦接所述斜坡产生器阵列，所述模数转换电路阵列的第三端耦接所述图像帧数据产生电路的第一端，所述图像帧数据产生电路的第二端被配置为耦接所述图像处理器；

所述读出电路，被配置为采集所述像素阵列产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器；其中，P3大于或等于P1且P3小于或等于M；P4大于或等于P2且P4小于或等于N。

2.根据权利要求1所述的读出电路，其特征在于，所述驱动电路，被配置为根据所述预设卷积步长的高度，以P1行像素单元为单位依序将所述像素阵列的电荷发送至所述采样电路阵列；

所述采样电路阵列，被配置为根据所述电荷生成第一电信号图像数据；

所述模数转换电路阵列，被配置为每P1×P2个模数转换电路子阵列根据所述预设卷积步长的宽度以及所述斜坡产生器阵列的增益参数对所述第一电信号图像数据进行权重调整，得到第四电信号图像数据；

所述图像帧数据产生电路，被配置为对所述第四电信号图像数据进行卷积计算，生成所述第二电信号图像数据。

3.根据权利要求2所述的读出电路，其特征在于，所述驱动电路包括行驱动电路以及N个列读出电路；所述行驱动电路以及N个所述列读出电路与所述像素阵列耦接，所述像素阵列的每P1行像素单元为一组，且同组内的同一列的P1个所述像素单元分别与所述采样电路阵列相应列的P1个采样电路单元的第一端对应耦接；

所述行驱动电路，被配置为以P1行像素单元为单位逐行选通所述像素阵列，所述列读出电路被配置为将当前被选通行的所有列的所述像素单元内的电荷同时发送至对应的所述采样电路单元；

所述采样电路阵列，被配置为将所述采样电路单元根据所述电荷生成的模拟像素数据生成第一电信号图像数据，并将所述第一电信号图像数据发送至所述模数转换电路阵列。

4.根据权利要求3所述的读出电路，其特征在于，所述采样电路阵列的每一列所述采样电路单元的第一端分别与对应列的一组所述列读出电路的第二端耦接，每一个所述采样电路单元的第二端一一对应耦接所述模数转换电路阵列的模数转换电路单元的第一端。

5.根据权利要求4所述的读出电路，其特征在于，所述采样电路阵列的采样电路单元包括信号重置开关、信号采集开关、第一MOS管、第二MOS管以及选通开关；所述信号重置开关的第一端以及所述信号采集开关的第一端耦接所述像素单元，所述信号重置开关的第二端耦接所述第一MOS管的栅极，所述信号采集开关的第二端耦接所述第二MOS管的栅极，所述第一MOS管的第一端被配置为耦接第一阈值电压，所述第二MOS管的第一端被配置为耦接第二阈值电压，所述第一MOS管的第二端以及所述第二MOS管的第二端耦接所述选通开关的第一端，所述选通开关的第二端耦接所述采样电路单元对应的所述模数转换电路单元的第一端。

6.根据权利要求3所述的读出电路，其特征在于，所述斜坡产生器阵列的斜坡产生器被配置为根据所述预设卷积步长的高度和宽度，与生成所述第四电信号图像数据的P1×P2个所述模数转换电路子阵列的模数转换电路单元的第二端一一对应耦接；

所述斜坡产生器，被配置为向对应的所述模数转换电路单元提供所述增益参数。

7.根据权利要求2所述的读出电路，其特征在于，所述模数转换电路阵列的模数转换电路单元包括比较器、计数器以及存储单元；所述比较器的第一输入端耦接所述采样电路阵列的采样电路单元的第二端，所述比较器的第二输入端耦接对应的所述斜坡产生器的第一端，所述比较器的输出端耦接所述存储单元；所述斜坡产生器的第二端耦接所述计数器的输出端；

所述计数器，被配置为向所述斜坡产生器输出计数信号，以使得所述斜坡产生器产生所述增益参数；

所述比较器，被配置为根据所述增益参数以及与其对应的所述采样电路单元的输出信号，生成所述第四电信号图像数据的像素数据。

8.根据权利要求7所述的读出电路，其特征在于，所述图像帧数据产生电路的第一端耦接所述存储单元；

所述图像帧数据产生电路，被配置为根据所述预设卷积步长，以所述第四电信号图像数据的大小为P1×P2的子图像为单位进行卷积处理，生成大小为P3×P4的第二电信号图像数据。

9.一种图像传感器，其特征在于，包括像素阵列、如权利要求1至8任一项所述的读出电路以及图像处理器；

所述像素阵列的一端耦接所述读出电路的第一端，所述读出电路的第二端连接所述图像处理器的第一端，所述图像处理器的第二端被配置为耦接应用端；

所述像素阵列，被配置为将接收到的光信号转换为电荷；

所述读出电路，被配置为采集所述像素阵列产生的电荷得到第一电信号图像数据，并根据所述卷积核以及预设卷积步长对所述第一电信号图像数据进行卷积处理生成大小为P3×P4的第二电信号图像数据，以及将所述第二电信号图像数据发送至所述图像处理器；

所述图像处理器，被配置为对所述第二电信号图像数据进行处理得到第三电信号图像数据；以使得所述应用端对所述第三电信号图像数据进行重建生成所述光信号对应的图像。

10.一种摄像系统，其特征在于，包括如权利要求1至8任一项所述的读出电路或如权利要求9所述的图像传感器。