CN116134831A - 成像元件和成像装置 - Google Patents

Abstract

根据本公开的实施方式的成像元件(10)设置有：成像单元(11)，其中各自包括光电转换元件的多个像素(110)以矩阵布置；卷积电路(20、20A)，基于卷积系数对多个像素信号执行卷积处理，多个像素信号是从多个像素(110)中的每个像素输出的模拟信号；以及池化电路(150)，对已经执行卷积处理的多个像素信号执行池化处理。

Description

成像元件和成像装置

技术领域

本公开涉及一种成像元件和成像装置。

背景技术

在图像识别领域中积极地使用卷积神经网络(CNN)。在CNN处理中，接收的输入图像通过卷积层和池化层到达全连接层(FC层)。例如，当从接触图像传感器(CIS)输出图像并且使用CNN执行图像识别(例如，字符识别和对象识别)时，CIS外部的系统是必不可少的。此外，CNN可能需要高规格图形处理单元(GPU)，这取决于处理内容。当打算执行实时处理时，图像识别系统可能变大。

引用列表

专利文献

专利文献1：JP 2012-227695 A

发明内容

技术问题

为了简化图像识别系统，可以想到在CIS逻辑处理中实现CNN。然而，卷积和池化操作是瓶颈。在现实时间内执行处理是困难的。增加了用于识别图像的前置时间。因此，要求在简化图像识别系统的同时缩短用于识别图像的前置时间。

因此，本公开提供一种能够简化图像识别系统并缩短前置时间的成像元件和成像装置。

问题的解决方案

根据本公开的实施方式的成像元件包括：成像部，其中，分别包括光电转换元件的多个像素以矩阵布置；卷积电路，基于卷积系数对多个像素信号执行卷积处理，多个像素信号是分别从多个像素输出的模拟信号；以及池化电路，对已经经受卷积处理的多个像素信号执行池化处理。

附图说明

图1是描绘根据第一实施方式的成像元件的示意性配置的示例的框图。

图2是描绘根据第一实施方式的像素的示意性配置的示例的电路图。

图3是描绘根据第一实施方式的成像元件的CNN操作流程的框图。

图4是描绘与图3中的CNN操作相关的CNN学习流程的框图。

图5是描绘根据第一实施方式的成像元件的正常图像输出操作流程的框图。

图6是描绘根据第一实施方式的成像元件的CNN操作的变形例的流程的框图。

图7是描绘与图6中的CNN操作相关的CNN学习流程的框图。

图8描绘了根据第一实施方式的基于卷积滤波器的卷积电路的示意性配置的示例。

图9描绘了根据第一实施方式的执行正常图像输出处理时的卷积电路的操作的示例。

图10描绘了根据第一实施方式的执行卷积处理时的卷积电路的操作的示例。

图11描绘了根据第一实施方式的包括池化电路的AD转换电路的示意性配置的示例。

图12描绘了根据第二实施方式的基于卷积滤波器的卷积电路的示意性配置的示例。

图13描绘了根据第三实施方式的卷积滤波器的滑动。

图14是描绘根据第三实施方式的执行卷积处理时的卷积电路的操作的示例的第一示图。

图15是描绘根据第三实施方式的执行卷积处理时的卷积电路的操作的示例的第二示图。

图16描绘了使用根据每个实施方式的成像元件的使用示例。

图17描绘了成像装置的示意性配置的示例。

图18是描绘车辆控制系统的示意性配置的示例的框图。

图19是辅助说明车外信息检测部和成像部的安装位置的示例的示图。

具体实施方式

下面将参考附图详细描述本公开的实施方式。另外，在以下的实施方式中，对相同的部分标注相同的附图标记，省略重复的说明。

此外，将根据以下项目顺序描述本公开。

1.第一实施方式

1-1.成像元件的示意性配置的示例

1-2.像素的示意性配置的示例

1-3.CNN操作示例和成像元件的正常图像输出操作示例

1-4.卷积电路的示意性配置的示例

1-5.包括池化(pooling)电路的AD转换电路的示意性配置的示例

1-6.作用/效果

2.第二实施方式

3.第三实施方式

4.其他实施方式

5.应用示例

6.应用

7.附录

<1.第一实施方式>

<1-1.成像装置的示意性配置的示例>

图1是描绘根据第一实施方式的成像元件10的示意性配置的示例的框图。如图1所示，成像元件10包括成像部(像素阵列部)11、垂直扫描电路12、水平扫描电路13、电容加法电路(加法电路)14、模数(AD)转换电路15、全连接处理部16、存储部17以及控制部18。成像元件10例如是互补金属氧化物半导体(CMOS)图像传感器。成像元件10例如结合在诸如CIS的各种成像装置中。

成像部11包括能够执行光电转换的多个像素(pix)110。这些像素110在垂直方向(列方向)和水平方向(行方向)上以二维格状图案布置。在图1中，在垂直方向上的布置被定义为列，并且在水平方向上的布置被定义为行。每行也被称为线。每列也被称为列。像素信号线121连接至每行的每个像素110。垂直信号线122连接至每列的每个像素110。每条像素信号线121连接至垂直扫描电路12。每条垂直信号线122连接至水平扫描电路13。例如，像素信号线121或垂直信号线122包括多条信号线。

在控制部18的控制下，垂直扫描电路12经由每条像素信号线121向成像部11传输诸如用于从像素110读取像素信号的驱动脉冲的各种信号。例如，垂直扫描电路12针对每行经由像素信号线121将诸如驱动脉冲等各种信号提供至每个像素110，并且使每个像素110将像素信号输出至垂直信号线122。即，通过经由像素信号线121从垂直扫描电路12供应的驱动信号来驱动每行的每个像素110。垂直扫描电路12包括例如移位寄存器和地址解码器。

在控制部18的控制下，水平扫描电路13在水平方向(行方向)上扫描由每个像素110输出(读取)的像素信号，并且将每个像素信号输出至电容加法电路14。此外，在控制部18的控制下，水平扫描电路13根据要执行的处理控制每条垂直信号线122与电容加法电路14之间的连接。例如，当执行输出正常图像的正常图像输出处理时，水平扫描电路13将所有垂直信号线122与电容加法电路14连接。此外，当执行CNN处理时，水平扫描电路13基于存储部17中存储的卷积系数控制每条垂直信号线122和电容加法电路14之间的连接(稍后将描述细节)。

在控制部18的控制下，电容加法电路14根据要执行的处理将从每个像素110输出的像素信号输出至AD转换电路(ADC)15。例如，当执行正常图像输出处理时，电容加法电路14将从水平扫描电路13输出的每个像素信号直接输出至AD转换电路15(旁路)。此外，当执行CNN处理时，电容加法电路14基于存储在存储部17中的卷积系数将从水平扫描电路13输出的每个像素信号相加(例如，加权和相加)，并且将结果输出至AD转换电路15(稍后将描述细节)。

这里，水平扫描电路13和电容加法电路14用作对从每个像素110输出的每个像素信号执行卷积处理的卷积电路20。在正常CNN处理中，输入图像通过卷积层和池化层到达全连接层(FC层)。在卷积层中，基于卷积系数(卷积滤波器)从输入图像中提取特征量。例如，将卷积滤波器顺序地应用于输入图像以提取特征量。卷积电路20以模拟方式执行与卷积层相关的处理(卷积处理)。卷积电路20是模拟电路。

AD转换电路15对从电容加法电路14输出的每个像素信号(即，从每个像素110输出的像素信号)执行AD转换处理，并且将作为数字信号的每个像素信号输出至全连接处理部16。AD转换电路15可以使用各种AD转换电路。

AD转换电路15具有池化(pooling)电路150。在控制部18的控制下，池化电路150根据要执行的处理，对从每个像素110输出的像素信号执行池化处理。例如，当执行正常图像输出处理时，池化电路150直接将每个像素信号输出至全连接处理部16(旁路)。此外，当执行CNN处理时，AD转换电路15对每个像素信号执行池化处理，并且将已经经受池化处理的每个像素信号输出至全连接处理部16。池化电路150对经受卷积处理的每个像素信号执行池化处理(细节将在后面描述)。

这里，在正常CNN处理中，在池化层中，在预定数量(例如，3×3)的窗口中提取最大值或平均值。从输入图像中提取特征量。在这种情况下，减少了数据量。池化电路150以模拟方式执行与池化层相关的处理(卷积处理)。池化电路150和AD转换电路15是模拟电路。

在控制部18的控制下，全连接处理部16根据要执行的处理将作为从AD转换电路15输出的数字信号的每个像素信号输出至元件(传感器)的外部。例如，当执行正常图像输出处理时，全连接处理部16将每个像素信号直接输出至元件的外部(旁路)。此外，当执行CNN处理时，全连接处理部16对每个像素信号执行全连接处理，并且将已经经受全连接处理的每个像素信号输出至元件的外部。

这里，在正常CNN处理中，在全连接层中收集来自池化层的输出。全连接处理部16逻辑上执行与全连接层相关的处理(全连接处理)。全连接处理部16例如是数字电路(逻辑电路)。

顺便提及，从全连接处理部16输出的像素信号被输入到例如诸如信号处理部的外部装置。例如，外部装置生成数字信号的像素信号(即，像素数据)，对像素数据执行各种处理，并最终生成图像数据。

存储部17存储诸如卷积系数(卷积滤波器)的各种数据。例如，随机存取存储器(RAM)和闪存用作存储部17。从存储部17读取的卷积系数被临时设置在寄存器17a中。

控制部18控制诸如垂直扫描电路12、水平扫描电路13、电容加法电路14、池化电路150和全连接处理部16的每个部分。例如，控制部18基于在寄存器18a中设置的卷积系数控制水平扫描电路13、电容加法电路14等。例如，诸如中央处理单元(CPU)的处理器被用作控制部18。CPU包括只读存储器(ROM)、RAM等。CPU根据预先存储在ROM中的程序，通过使用RAM作为工作存储器来控制每个电路和每个部分的操作。

<1-2.像素的示意性配置的示例>

图2示出了根据第一实施方式的像素110的示意性配置的示例。如图2所示，像素110包括光电转换元件111、触发晶体管112、复位晶体管114、放大晶体管115和选择晶体管116。例如，PN结光电二极管被用作光电转换元件111。此外，例如，N型金属氧化物半导体(MOS)晶体管被用作触发晶体管112、复位晶体管114、放大晶体管115和选择晶体管116。

像素信号线121连接至这种像素110。像素信号线121将复位脉冲RST、传输脉冲TRG和选择信号SEL供应至像素110。因此，像素信号线121包括多条信号线。

光电转换元件111将入射光光电转换为与光量对应的量的电荷(在此为电子)。光电转换元件111的阴极接地。光电转换元件111的阳极连接至触发晶体管112的漏极。

触发晶体管112的源极连接至浮动扩散层113。传输脉冲TRG被供应至触发晶体管112的栅极。触发晶体管112在传输脉冲TRG处于高状态时导通(闭合)，并且在传输脉冲TRG处于低状态时截止(断开)。在触发晶体管112处于导通状态的情况下，从光电转换元件111输出的电荷被提供给浮动扩散层113。浮动扩散层113累积从光电转换元件111提供的电荷。浮动扩散层113产生与蓄积的电荷量相应的电压。

复位晶体管114的源极连接至浮动扩散层113。像素110的电源VDD连接至复位晶体管114的漏极。复位脉冲RST被提供给复位晶体管114的栅极。当复位脉冲RST处于高状态时，复位晶体管114导通，并且当复位脉冲RST处于低状态时，复位晶体管114截止。

放大晶体管115的栅极连接至浮动扩散层113。电源VDD连接至放大晶体管115的漏极。选择晶体管116的漏极连接至放大晶体管115的源极。选择晶体管116的源极连接至垂直信号线(VSL)122。选择信号SEL被提供给选择晶体管116的栅极。选择晶体管116在选择信号SEL处于高状态时导通，并在选择信号SEL处于低状态时截止。

在这种配置中，在初始状态下，选择信号SEL、复位脉冲RST和传输脉冲TRG中的每一个处于低状态。此外，光电转换元件111被暴露，并且触发晶体管112在低状态下由传输脉冲TRG截止。因此，通过曝光产生的电荷积累在光电转换元件111中。

当选择信号SEL被设置为高状态时，选择晶体管116导通。复位脉冲RST被设置为高状态，并且浮动扩散层113的电荷被释放至电源VDD。由此，浮动扩散层113的电位被复位为规定的电位。在从复位脉冲RST返回至低状态起已经过去预定时间之后，将传输脉冲TRG设置为高状态。通过曝光在光电转换元件111中累积的电荷被提供给浮动扩散层113并在浮动扩散层113中累积。产生与在浮动扩散层113中累积的电荷对应的电压。电压由放大晶体管115放大，并且经由选择晶体管116输出至垂直信号线122作为像素信号。

<1-3.CNN操作示例和成像元件的正常图像输出操作示例>

图3是描绘根据第一实施方式的成像元件10的CNN操作流程的框图。在CNN操作中，如图3所示，成像部11获取每个像素信号(模拟信号)。水平扫描电路13和电容加法电路14(卷积电路20)基于卷积系数(卷积滤波器)对每个像素信号执行卷积处理。AD转换电路15中的池化电路150对经过卷积处理的每个像素信号执行池化处理。全连接处理部16对经过池化处理的每个像素信号执行全连接处理。输出已经经受CNN处理的每个像素信号(像素信号和分类标记)。成像元件10可在传感器中完成CNN处理。顺便提及，存在多种类型的卷积滤波器，并且要提取的特征量根据要应用的卷积滤波器而改变。

此处，图4是描绘与图3中的CNN操作相关的CNN学习的流程的框图。为了实现图3中的CNN操作，如图4所示，作为传感器外部的系统的外部传感器CNN 51初步学习CNN，并且存储部17初步存储卷积系数和全连接的处理系数。外部传感器CNN 51可以基于学习数据和标签52学习CNN(卷积层到池化层到全连接层)，并且获取卷积系数和全连接处理系数。卷积电路20基于存储在存储部17中的卷积系数执行卷积处理。另外，全连接处理部16基于存储在存储部17中的全连接处理系数执行全连接处理。在图3和图4的示例中，在传感器中执行卷积处理、池化处理和全连接处理。顺便提及，外部传感器CNN 51可以包括硬件和软件两者或者硬件和软件中的任一个。

图5是示出根据第一实施方式的成像元件10的正常图像输出操作的流程的框图。在正常图像输出操作中，如图5所示，成像部11、水平扫描电路13和AD转换电路15(不包括池化电路150)操作以输出正常图像(输出所有像素)。绕过所有基于CNN的处理。电容加法电路14、池化电路150及全连接处理部16不执行动作。这使得未执行CNN处理的正常图像被输出。

顺便提及，虽然在图3和图4的示例中，全连接的处理部16设置在传感器(成像元件10)中，但是这不是限制性的。图6是描绘根据第一实施方式的成像元件10的CNN操作的变型的流程的框图。如图6所示，代替全连接处理部分16，可以在传感器外部提供执行全连接处理的外部传感器CNN50。即，可以在传感器外部执行全连接处理。

此处，图7是描绘与图6中的CNN操作相关的CNN学习的流程的框图。为了实现图6中的CNN操作，如图7所示，作为传感器外部的系统的外部传感器CNN 51初步学习CNN，并且存储部17初步存储卷积系数(第一层)。然后，外部传感器CNN50在第一层和随后的层中执行CNN处理。在这种情况下，在传感器中执行第一层中的卷积处理，并且在传感器外部执行后续处理。

顺便提及，CNN操作和正常图像输出操作例如可由用户切换。用户操作输入部(例如，开关和按钮)以使控制部18切换CNN操作和正常图像输出操作。输入部电连接至控制部18。输入部接收来自用户的输入操作，并且响应于输入操作将输入信号(切换指令信号)传输至控制部18。控制部18响应于输入信号切换CNN操作和正常图像输出操作。

例如，控制部18响应于用于限制CNN操作的输入信号将操作模式从CNN操作切换到正常图像输出操作，并且限制(禁止)卷积处理和池化处理。相反，控制部18响应于允许CNN操作的输入信号将操作模式从正常图像输出操作切换到CNN操作，并且允许卷积处理和池化处理。这允许用户被给予选择是否执行CNN操作的选择权，并且可以提高用户的便利性。

<1-4.卷积电路的示意性配置的示例>

图8示出了根据第一实施方式的基于卷积滤波器的卷积电路20的示意性配置的示例。如图8所示，水平扫描电路13包括多路复用器13a。每列的每条垂直信号线122连接至多路复用器13a。多路复用器13a通过切换(VSL连接/断开开关)选择每条垂直信号线122要连接至的列。控制部18控制多路复用器13a。

电容加法电路14包括多个多路复用器14a、多个电容器14b以及多个开关14c。每个多路复用器14a经由预定数量的(图8中的三个)垂直信号线122连接至水平扫描电路13的多路复用器13a。每个电容器14b在一端连接至多路复用器14a。每个电容器14b在每个多路复用器14a的另一端连接至一条信号线122a。每个多路复用器14a改变电容器14b的连接，并设置相加比率(相加电容设置)。控制部18控制这些多路复用器14a。

在每个复用器14a中设有信号线122a。这些信号线122a通过连接线122b与相邻的信号线122a连接。每个开关14c单独地设置在每条信号线122a中，并且单独地设置在每个连接线122b中。控制部18控制这些开关14c的接通/断开。

图9描绘了根据第一实施方式的执行正常图像输出处理时卷积电路20的操作的示例。在正常图像输出处理中，如图9所示，水平扫描电路13将所有垂直信号线122连接至电容加法电路14而不断开。此外，电容加法电路14经由多路复用器14a和电容器14b将所有的垂直信号线122连接至信号线122a。此时，开关14c不连接连接配线122b而连接所有的信号线122a。

图10描绘了根据第一实施方式的执行卷积处理时的卷积电路20的操作的示例。在卷积处理中，如图10所示，水平扫描电路13基于卷积滤波器控制每条垂直信号线122与电容加法电路14与多路复用器13a之间的连接。此外，电容加法电路14基于卷积滤波器控制每条垂直信号线122与每条信号线122a之间与每个多路复用器14a和每个电容器14b的连接。在这种情况下，相邻的3条信号线122a定义为一组。每个开关14c针对每个组连接(横向连接)连接线122b，并且连接中央的一条信号线122a。顺便提及，在除了图10中的每个像素(pix)110之外的每个像素110中执行类似的连接处理。

在图10的示例中，在3×3卷积滤波器中，建立“第一行：2、0和1，第二行：0、1和0，以及第三行：1、0和1”。水平扫描电路13和电容加法电路14实现卷积滤波器(矩阵的数量和每个数值)。电容加法电路14包括用于设置卷积系数的每个多路复用器14a和每个电容器14b。例如，在图10中的3×3卷积滤波器中，在第一行和第一列中设置两个。在图10中的第一行和第一列中的像素(左上像素)110经由垂直信号线122连接至两个电容器14b。类似地，在第一行和第二列中提供零。图10中第一行和第二列的像素110不连接至电容器14b。在第一行和第三列中设置一个。在图10中的第一行和第三列中的像素110连接至一个电容器14b。在第二行和第三行中，类似地执行像素110和电容器14b之间的连接/断开。

在此处，与在图10中描绘的卷积滤波器一样，通过水平扫描电路13和电容加法电路14可以实现包括0的卷积滤波器(0滤波器)。这允许以简单的配置实现过滤器。顺便提及，电容加法电路14的更多数量的电容器14b增加卷积系数(卷积滤波器)的自由度。

<1-5.包括池化电路的AD转换电路的示意性配置的示例>

图11示出包括根据第一实施方式的池化电路150的AD转换电路15的示意性配置的示例。如图11所示，AD转换电路15包括多个比较器15a、多路复用器15b和多个计数器15c(CN)。例如，使用压控振荡器(VCO)的AD转换电路用作AD转换电路15。比较器15a设于信号线122a。多路复用器15b连接至每条信号线122a。每个计数器15c连接至多路复用器15b的后级(信号流的下游侧)。

池化电路150包括OR电路150a。或电路150a设置在多路复用器15b和计数器15c之间。池化电路150通过使用或电路150a对从比较器15a输出的像素信号执行最大值池化处理(最大池化处理)。然而，注意，池化处理不限于最大值池化处理。例如，可以使用平均值池化处理。

当执行正常图像输出处理时，多路复用器15b将从比较器15a输出的像素信号直接发送至计数器15c(CN)。此外，当执行CNN处理时，多路复用器15b将从比较器15a输出的像素信号发送至或电路150a。或电路150a对每个像素信号执行最大值池化处理，并将经过了池化处理的每个图像信号发送到计数器15c(CN)。从计数器15c输出的每个像素信号是数字信号。控制部18控制多路复用器15b。

<1-6.作用/效果>

如上所述，根据第一实施方式，可以通过在成像元件10中并入CNN处理的卷积处理和池化处理来以模拟方式处理与卷积处理和池化处理有关的操作，并且可以加快处理时间。例如，可以通过在模拟电路中实现卷积处理和池化处理来减小存储器、逻辑电路等的比例。此外，可以减少逻辑处理的负荷，并且可以缩短前置时间。由此，可以简化图像识别系统，并且可以缩短前置时间。

<2.第二实施方式>

接下来，参照图12，描述根据第二实施方式的卷积电路20A。图12描绘了根据第二实施方式的基于卷积滤波器的卷积电路20A的示意性配置的示例。以下将主要描述与第一实施方式的不同之处，并且将省略其他描述。

如图12所示，根据第二实施方式的卷积电路20A包括部分不同于第一实施方式的电容加法电路(加法电路)14A的电容加法电路(加法电路)14A。除了根据第一实施方式的多个电容器14b和多个开关14c之外，电容加法电路14A还包括用于设置卷积系数的多个放大器(列放大器)14d。这些放大器14d针对每条垂直信号线122而设置。放大器14d的增益被改变以实现卷积滤波器。例如，当卷积滤波器具有数值2时，放大器14d的增益加倍。这种放大器14d用于实现卷积滤波器。顺便提及，虽然电容器14b的电容比是固定的，但是与通过电容比相加的情况下的元件配置相比，可以简化元件配置。

如上所述，根据第二实施方式，通过使用多个放大器14d作为卷积电路20A的电容加法电路14A的一部分，可以简化成像元件10的配置，从而可以简化图像识别系统。另外，根据第二实施方式，能够得到与第一实施方式相同的效果。

<3.第三实施方式>

接下来，参照图13到图15，描绘根据第三实施方式的卷积处理(包括滑动处理)。以下将主要描述与第一实施方式的不同之处，并且将省略其他描述。

图13描绘了根据第三实施方式的卷积滤波器的滑动。如图13所示，在第三实施方式中，卷积滤波器以预定移动量水平偏移。在图13的示例中，预定的移动量(步幅)是1，并且卷积滤波器以移动量＝1从A滑动到B。顺便提及，滑动表示移动卷积滤波器，并且步幅是表示移动卷积滤波器的移动量的单元。

图14是示出根据第三实施方式的执行卷积处理时的卷积电路20的操作的实施方式的第一示图。图15是描绘了根据第三实施方式的卷积处理时的卷积电路20的操作的示例的第二示图。如图14和图15所示，根据第三实施方式的水平扫描电路13和电容加法电路14具有与第一实施方式的配置相似的配置。此外，水平扫描电路13和电容加法电路14可执行包括滑动处理的卷积处理。

如图14所示，在卷积处理中，水平扫描电路13基于卷积滤波器控制每条垂直信号线122与电容加法电路14之间的连接。此外，电容加法电路14基于卷积滤波器控制每条垂直信号线122与每条信号线122a之间与每个多路复用器14a和每个电容器14b的连接。在这种情况下，相邻的3条信号线122a定义为一组。每个开关14c针对每个组连接(横向连接)连接线122b，并且连接中央的一条信号线122a。在图14的示例中，在3×3卷积滤波器中，建立“第一行：2、0和1，第二行：0、1和0，以及第三行：1、0和1”。水平扫描电路13和电容加法电路14实现卷积滤波器(矩阵的数量和每个数值)。

如图15所示，当以移动量＝1(参见图13)移动卷积滤波器时，水平扫描电路13基于卷积滤波器和移动量控制每条垂直信号线122和电容加法电路14之间的连接。此外，电容加法电路14基于卷积滤波器和移动量控制每条垂直信号线122与每条信号线122a之间与每个多路复用器14a和每个电容器14b的连接。此时，组合3条信号线122a的组错开1条信号线122a。每个开关14c针对每个组连接(横向连接)连接线122b，并且连接中央的一条信号线122a。这使得卷积滤波器在水平方向(行方向)上滑动。这种滑动在成像部分11中重复。

如上所述，根据第三实施方式，可以执行包括滑动处理的卷积处理，使得可以增加卷积处理的变形，并且可以提高用户的便利性。另外，根据第三实施方式，能够得到与第一实施方式相同的效果。

虽然在上述第三实施方式中，采用了当卷积滤波器A和卷积滤波器B同时执行AD转换时不同时而是单独执行AD转换来执行卷积的形式，但是因为需要添加列电路，所以这不是限制。例如，可以添加诸如垂直列的列电路以同时在卷积滤波器A和卷积滤波器B中执行AD转换。

此外，虽然在上述第三实施方式中，在水平方向(行方向)移动卷积滤波器，但是这不是限制。例如，卷积滤波器可以在垂直方向(列方向)上移位。同样在这种情况下，卷积滤波器可以通过添加诸如垂直列的列电路来垂直移位。

<4.其他实施方式>

顺便说一下，虽然在上述每个实施方式中，提供一个卷积层和一个池化层，并且执行一个卷积处理和一个池化处理，但是这不是限制。例如，可以提供多个卷积层和多个池化层，并且可以重复执行多个卷积处理次数和多个池化处理次数。

另外，上述每个实施方式的成像元件10也可以形成在一个芯片上。或者，也可以在多个芯片上分割形成成像元件10。此外，成像元件10可形成为通过接合这些芯片而获得的层压结构。例如，成像元件10可具有其中光接收芯片和电路芯片被垂直层压的结构(双层层压结构)。光接收芯片包括成像部11。电路芯片包括存储部17和控制部18。

<5.应用示例>

接着，说明每个实施方式的成像元件10的应用例。图16示出了使用根据每个实施方式的成像元件10的使用示例。

例如，如下所述，在感测诸如可见光、红外光、紫外光和X射线的光的各种情况下，可使用上述成像元件10。例如，如图16中所示，成像元件10用于“捕捉被提供用于欣赏的图像的设备，诸如数码相机和具有相机功能的便携式设备”，“设置用于交通的装置，诸如车载传感器、监控相机、以及测距传感器，车载传感器拍摄例如前方、后方、周围环境；以及汽车内部，用于安全驾驶，诸如自动停止、识别驾驶员的状态等，监控相机监控行驶车辆和道路，所述距离测量传感器测量例如车辆之间的距离”、“用于拍摄用户手势并根据所述手势操作设备的家用电器，如电视、冰箱、空调等设备”，“被提供用于医疗或保健的装置，诸如内窥镜和通过接收红外光执行血管造影术的装置”、“被提供用于安全的装置，诸如用于安全的监控相机和用于人认证的相机”，“提供用于美容护理的装置，如拍摄皮肤的皮肤测量仪器和拍摄头皮的显微镜”、“提供用于运动的装置，如用于运动的动作相机和可穿戴相机”，“提供用于农业的装置，诸如用于监测田地和农作物的状态的相机”等。

例如，上述成像元件10可应用于各种电子装置，诸如包括数字静态相机和数字相机的成像装置、具有成像功能的移动电话以及具有成像功能的其他装置。

图17是描绘作为可应用根据本公开的技术的电子装置的成像装置300的配置示例的框图。成像装置300包括光学系统301、快门装置302、固态成像装置303、控制电路(控制部)304、信号处理电路305、监控器306、以及存储器307。成像装置300可捕捉静止图像和运动图像。

光学系统301包括一个或多个透镜。光学系统301将来自对象的光(入射光)引导至固态成像装置303，并且在固态成像装置303的光接收表面上形成光的图像。

快门设备302设置在光学系统301和固态成像装置303之间。快门设备302在控制电路304的控制下控制固态成像装置303的光施加时段和光屏蔽时段。

固态成像装置303包括，例如，包括上述成像元件10的封装。固态成像装置303根据经由光学系统301和快门装置302在光接收表面上形成图像的光累积一定时间段的信号电荷。根据从控制电路304提供的驱动信号(定时信号)，传输在固态成像装置303中积累的信号电荷。

控制电路304输出用于控制固态成像装置303的传送操作和快门装置302的快门操作的驱动信号，以驱动固态成像装置303和快门装置302。

信号处理电路305对从固态成像装置303输出的信号电荷执行各种类型的信号处理。通过信号处理电路305执行的信号处理获得的图像(图像数据)被提供以显示在监控器306上，或者被提供以存储(记录)在存储器307中。

同样在如上所述配置的成像装置300中，通过应用上述成像元件10作为固态成像装置303，可简化图像识别系统并且可缩短前置时间。

<6.应用>

此外，根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可实现为诸如安装在任何类型的移动主体中的电子设备的设备，诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动性、飞机、无人机、船舶、机器人、建筑机器和农业机器(拖拉机)。此外，例如，根据本公开的技术可以应用于内窥镜手术系统、显微手术系统等。

图18是描绘作为可应用根据本公开的实施方式的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图18的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)等。

每个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制对象设备。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元执行通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内和车外的设备、传感器等执行通信。图18所示的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其他控制单元类似地包括微计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车体的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮的转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，对内燃机、驱动电动机、电动动力转向装置、制动装置等执行控制。

车身系统控制部7200根据各种程序来控制设置于车身的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后备灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，从移动装置发射的无线电波作为按键或者各种开关的信号的替代物可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为用于驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300供应关于电池温度、电池输出电压、电池中剩余电荷量等的信息。电池控制单元7300使用这些信号执行算术运算处理，并且执行用于调节二次电池7310的温度的控制或控制提供给电池设备等的冷却设备。

车外信息检测部7400检测包含车辆控制系统7000的车外的信息。例如，车外信息检测部7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。例如，车外信息检测部7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测在包括车辆控制系统7000的车辆的外围的其他车辆、障碍物、行人等的外围信息检测传感器中的至少一个。

例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器、以及检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声波传感器、雷达装置以及LIDAR装置(光检测和测距装置，或者激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可被设置为独立的传感器或装置，或者可被设置为其中多个传感器或装置被集成的装置。

此处，图19描绘了成像部7410和外部车辆信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部中的挡风玻璃的上部上的位置中的至少一个处。设置在车辆内部的前鼻部的成像部7910和设置在挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。设置于侧视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部内的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图19描绘了每个成像部7910、7912、7914和7916的成像范围的示例。成像范围a表示设置到前鼻子的成像部7910的成像范围。成像范围b和c分别表示提供给侧视镜的成像部7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，能够获得从上方观看的车辆7900的鸟瞰图像。

设置于车辆7900的前方、后方、侧方、角落和车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达装置。设置于车辆7900的前鼻子、后保险杠、车辆7900的后门、车室内的挡风玻璃的上部的车外信息检测部7920、7926、7930例如也可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测先行车、行人、障碍物等。

返回图18，将继续描绘。车外信息检测部7400使成像部7410拍摄车外的图像，接收拍摄图像数据。另外，车外信息检测部7400从与车外信息检测部7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置、LIDAR装置的情况下，车外信息检测部7400发送超声波、电磁波等，并且接收接收到的反射波的信息。车外信息检测部7400基于接收到的信息，可以执行对人类、车辆、障碍物、标志、路面上的文字等物体执行检测的处理、或者与物体之间的距离执行检测的处理。另外，车外信息检测部7400也可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。

另外，车外信息检测部7400可以基于接收到的图像数据来执行对人类、车辆、障碍物、标志、路面上的文字等执行识别的图像识别处理或者检测距其距离的处理。车外信息检测单元7400可以将所接收的图像数据执行诸如失真校正、对准等的处理，并且将通过多个不同的成像部7410成像的图像数据组合以生成鸟瞰图像或全景图像。车外信息检测部7400可以使用由成像部7410拍摄到的图像数据来执行视点变换处理，该成像部7410包括互不相同的成像部。

车载信息检测单元7500检测关于车辆内部的信息。例如，车载信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部内的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘员或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车载信息检测单元7500可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。车载信息检测单元7500可以使通过收集声音获得的音频信号经受诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由触摸面板、按钮、麦克风、开关、杆等能够由乘员执行输入操作的装置实现。集成控制单元7600可以被供应通过对通过麦克风输入的语音的语音识别而获得的数据。输入部7800可以例如是使用红外线或其他无线电波的远程控制设备，或者支持车辆控制系统7000的操作的外部连接设备，诸如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘坐者可以通过手势输入信息。替代地，可以输入通过检测乘员穿戴的可穿戴装置的运动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，该输入控制电路等基于乘员等使用上述输入部7800输入的信息来生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘员等通过操作输入部7800，向车辆控制系统7000输入各种数据或者指示处理操作。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可以通过诸如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。

通用通信I/F 7620是被广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE-高级(LTE-A)等，或者诸如无线LAN，也称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等的另一无线通信协议。例如，通用通信I/F 7620可以经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以使用对等(P2P)技术连接至存在于车辆附近的终端(该终端例如是驾驶员的终端、行人或商店、或机器型通信(MTC)终端)。

专用通信I/F 7630是支持开发用于在车辆中使用的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如，如车辆环境中的无线接入(WAVE)(其是作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE1609的组合)、专用短程通信(DSRC)、或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为包括以下各项中的一项或多项的概念：车辆与车辆(车辆到车辆)之间的通信、道路与车辆(车辆到基础设施)之间的通信、车辆与家庭(车辆到家庭)之间的通信、以及行人与车辆(车辆到行人)之间的通信。

定位部7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话之类的终端获得位置信息。

例如，信标接收部分7650接收从安装在道路等上的无线电站发射的无线电波或电磁波，并且由此获得有关当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述专用通信I/F 7630中。

车载设备I/F 7660是调解微型计算机7610和车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。此外，车载设备I/F7660可以经由未在图中示出的连接端子(以及线缆，如果必要的话)通过通用串行总线(USB)、高清多媒体接口(HDMI(注册商标))、移动高清链路(MHL)等建立有线连接。车载装置7760可以例如包括乘员拥有的移动装置和可穿戴装置以及被携带或附接至车辆的信息装置中的至少一个。车载装置7760还可以包括搜索到任意目的地的路径的导航装置。车载设备I/F 7660与这些车载设备7760交换控制信号或数据信号。

车载网络I/F 7680是对微型计算机7610与通信网络7010的通信执行中介的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车载设备I/F 7660以及车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。另外，微型计算机7610可通过基于所获得的关于车辆周围环境的信息控制驱动力产生装置、转向机构、制动装置等，来执行意图用于自动驾驶的协作控制，其使车辆自动行驶而不取决于驾驶员的操作等。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆和诸如周围结构、人等的对象之间的三维距离信息，并且生成包括关于车辆的当前位置的周围的信息的局部地图信息。此外，微型计算机7610可基于获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等的危险，并产生警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部分7670将声音和图像中的至少一个的输出信号发送到输出装置，该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图18的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。例如，显示部7720可以包括板载显示器和平视显示器中的至少一个。显示部分7720可以具有增强现实(AR)显示功能。输出设备可以是不同于这些设备，并且可以是诸如耳机的另一设备、诸如由乘员等佩戴的眼镜型显示器的可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以各种形式(诸如文本、图像、表格、图形等)可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。此外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等组成的音频信号转换成模拟信号，并且在听觉上输出模拟信号。

顺便提及，在图18所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一个控制单元。另外，由以上描述中的控制单元之一执行的功能的部分或全部可以被分配给另一控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定算术处理。类似地，连接至控制单元中的一个的传感器或装置可以连接至另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

顺便提及，用于实现参照图1描述的根据本实施方式的成像元件10的每个功能的计算机程序可以在任何控制单元等中实现。此外，可以提供存储这种计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘以及闪存。此外，上述计算机程序可以经由例如网络分布，而不使用记录介质。

在上述车辆控制系统7000中，参照图1描述的根据本实施方式的成像元件10可应用于图18中的应用的集成控制单元7600。例如，成像元件10的存储部17和控制部18与集成控制单元7600的微型计算机7610、存储部7690和车载网络I/F 7680相对应。在成像装置中，通过将根据本公开的技术应用于成像装置(诸如，成像部7410)，可简化图像识别系统并且可缩短前置时间。

此外，参照图1描述的根据本实施方式的成像元件10的至少一些部件可以在用于图18中的集成控制单元7600的模块(例如，包括一个芯片的集成电路模块)中实现。可替代地，参照图1描述的根据本实施方式的成像元件10可由图18中的车辆控制系统7000的多个控制单元实现。

虽然上面已经描述了本公开的实施方式，但是本公开的技术范围不限于其本身的上述实施方式，并且在不背离本公开的主旨的情况下可以做出各种修改。此外，可适当地组合不同实施方式和变化的组件。

此外，在本说明书中描述的每个实施方式中的效果仅仅是示例而不是限制。可以展现其他效果。

<7.附录>

顺便提及，本技术还可具有以下配置。

(1)

一种成像元件，包括：

成像部，在成像部中，各自包括光电转换元件的多个像素以矩阵布置；

卷积电路，基于卷积系数对多个像素信号执行卷积处理，多个像素信号是分别从多个像素输出的模拟信号；以及

池化电路，对已经经受卷积处理的多个像素信号执行池化处理。

(2)

根据以上(1)所述的成像元件，还包括：

完全集成处理部，对已经经受池化处理的多个像素信号执行完全集成处理。

(3)

根据以上(1)或(2)所述的成像元件，

其中，卷积电路包括：

水平扫描电路，基于卷积系数从多个像素中选择输出像素信号的多个像素；以及

加法电路，基于卷积系数将分别从已经选择的多个像素输出的多个像素信号相加。

(4)

根据以上(3)所述的成像元件，

其中，加法电路包括：

用于设置卷积系数的多路复用器和多个电容器。

(5)

根据以上(3)所述的成像元件，

其中，加法电路包括：

多个放大器，用于设置卷积系数。

(6)

根据以上(1)至(5)中任一项所述的成像元件，还包括：

存储部，存储卷积系数。

(7)

根据以上(1)至(6)中任一项所述的成像元件，还包括：

控制部，基于卷积系数控制卷积电路和池化电路。

(8)

根据以上(7)所述的成像元件，

其中，控制部响应于输入到控制部的输入信号限制或允许卷积处理和池化处理。

(9)

根据以上(1)至(8)中任一项所述的成像元件，

其中，卷积系数是卷积滤波器，并且

卷积电路以预定移动量偏移卷积滤波器，并且执行卷积处理。

(10)

根据以上(1)至(9)中任一项所述的成像元件，

其中，卷积系数是包括零的卷积滤波器。

(11)

一种成像装置，包括：

成像元件；以及

光学系统，在成像元件的光接收表面上形成光的图像，

其中，成像元件包括：

成像部，在成像部中，各自包括光电转换元件的多个像素以矩阵布置；

卷积电路，基于卷积系数对多个像素信号执行卷积处理，多个像素信号是分别从多个像素输出的模拟信号；以及

池化电路，对已经经受卷积处理的多个像素信号执行池化处理。

(12)

一种成像装置，包括：

根据以上(1)至(10)中任一项所述的成像元件；以及

光学系统，在成像元件的光接收表面上形成光的图像。

参考标号列表

10 成像元件

11 成像部

12 垂直扫描电路

13 水平扫描电路

13a 多路复用器

14 电容加法电路

14a 多路复用器

14b 电容器

14c 开关

15 AD转换电路

16 全连接处理部

17 存储部

17a 寄存器

18 控制部

20 卷积电路

20A 卷积电路

110 像素

121 像素信号线

122 垂直信号线

150 池化电路

300 成像装置

301 光学系统

Claims (11)

1.一种成像元件，包括：

成像部，在所述成像部中，各自包括光电转换元件的多个像素以矩阵布置；

卷积电路，基于卷积系数对多个像素信号执行卷积处理，多个所述像素信号是分别从多个所述像素输出的模拟信号；以及

池化电路，对已经经受所述卷积处理的多个所述像素信号执行池化处理。

2.根据权利要求1所述的成像元件，还包括：

完全集成处理部，对已经经受所述池化处理的多个所述像素信号执行完全集成处理。

3.根据权利要求1所述的成像元件，

其中，所述卷积电路包括：

水平扫描电路，基于所述卷积系数从多个所述像素中选择输出所述像素信号的多个像素；以及

加法电路，基于所述卷积系数将分别从已经选择的多个所述像素输出的多个所述像素信号相加。

4.根据权利要求3所述的成像元件，

其中，所述加法电路包括：

用于设置所述卷积系数的多路复用器和多个电容器。

5.根据权利要求3所述的成像元件，

其中，所述加法电路包括：

多个放大器，用于设置所述卷积系数。

6.根据权利要求1所述的成像元件，还包括：

存储部，存储所述卷积系数。

7.根据权利要求1所述的成像元件，还包括：

控制部，基于所述卷积系数控制所述卷积电路和所述池化电路。

8.根据权利要求7所述的成像元件，

其中，所述控制部响应于输入到所述控制部的输入信号限制或允许所述卷积处理和所述池化处理。

9.根据权利要求1所述的成像元件，

其中，所述卷积系数是卷积滤波器，并且

所述卷积电路以预定移动量偏移所述卷积滤波器，并且执行所述卷积处理。

10.根据权利要求1所述的成像元件，

其中，所述卷积系数是包括零的卷积滤波器。

11.一种成像装置，包括：

成像元件；以及

光学系统，在所述成像元件的光接收表面上形成光的图像，

其中，所述成像元件包括：

成像部，在所述成像部中，各自包括光电转换元件的多个像素以矩阵布置；

卷积电路，基于卷积系数对多个像素信号执行卷积处理，多个所述像素信号是分别从多个所述像素输出的模拟信号；以及

池化电路，对已经经受所述卷积处理的多个所述像素信号执行池化处理。

Images