CN108781265A - 特征提取元件、特征提取系统及判定装置 - Google Patents

特征提取元件、特征提取系统及判定装置 Download PDF

Info

Publication number
CN108781265A
CN108781265A CN201680083514.5A CN201680083514A CN108781265A CN 108781265 A CN108781265 A CN 108781265A CN 201680083514 A CN201680083514 A CN 201680083514A CN 108781265 A CN108781265 A CN 108781265A
Authority
CN
China
Prior art keywords
substrate
circuit
feature extraction
mlultiplying
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680083514.5A
Other languages
English (en)
Other versions
CN108781265B (zh
Inventor
松本繁
中西奏太
石田知久
宫本敦史
内川清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN108781265A publication Critical patent/CN108781265A/zh
Application granted granted Critical
Publication of CN108781265B publication Critical patent/CN108781265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明的特征提取元件具有：受光基板，其呈二维地排列有对接受的光进行光电转换的多个受光元件；以及一个或者多个其他基板，其与受光基板层叠，其他基板具有：卷积处理部，其具有多个乘法电路，多个乘法电路与各个受光元件对应设置或者与各个由多个受光元件构成的块对应设置，该卷积处理部利用多个乘法电路对从多个受光元件输出的信号进行卷积运算；池化处理部，其基于预先设定的条件对从卷积处理部输出的信号进行采样；以及连接布线，其将采样得到的信号交接至多个乘法电路。

Description

特征提取元件、特征提取系统及判定装置
技术领域
本发明涉及一种特征提取元件、特征提取系统以及判定装置。
背景技术
有一种将图像分割成块并针对各块提取特征，由此来提高处理速度的方法(参照例如专利文献1)。
专利文献1：日本特开2008-148298号公报
由于对作为图像而获取的数据进行处理来提取特征，因此生成图像的处理、传输所生成的图像的处理等耗费时间，不能说能够充分地提高速度。
发明内容
在本发明的第一实施方式中，提供一种特征提取元件，具有：受光基板，其呈二维地排列有对接受的光进行光电转换的多个受光元件；以及一个或者多个其他基板，其与受光基板层叠，其他基板具有：卷积处理部，其具有多个乘法电路，该多个乘法电路与各个受光元件对应设置或者与各个由多个受光元件构成的块对应设置，该卷积处理部利用多个乘法电路对从多个受光元件输出的信号进行卷积运算；池化处理部，其基于预先设定的条件对从卷积处理部输出的信号进行采样；以及连接布线，其将采样得到的信号交接至多个乘法电路。
在本发明的第二实施方式中，提供一种特征提取系统，具有：上述特征提取元件；以及控制部，其以反复进行卷积处理部的卷积运算和池化处理部的采样的方式进行控制，控制部以在反复进行卷积运算时各个预先设定的滤波系数的方式对卷积处理部进行控制。
在本发明的第三实施方式中，提供一种判定装置，具有：上述的特征提取元件；以及判定部，其根据基于来自池化处理部的输出而提取的特征量判定摄像对象。
上述的发明的概要并未列举出本发明的全部特征。上述特征组的子组合(subcombination)也可以构成发明。
附图说明
图1是特征提取装置100的示意剖视图。
图2是特征提取装置100执行的处理的流程图。
图3是特征提取装置100的示意剖视图。
图4是特征提取装置100的示意剖视图。
图5是特征提取装置100的时序图。
图6是摄像装置500的框图。
图7是他的特征提取装置101的示意剖视图。
图8是特征提取装置101的示意剖视图。
图9是特征提取装置101的一部分时序图。
具体实施方式
以下，通过发明的实施方式来说明本发明，但以下的实施方式并不对权利要求书的发明作出限定。另外，在实施方式中说明的特征组合的全部并不是发明的解决手段所必需的。
图1是特征提取装置100的示意剖视图。特征提取装置100是具有依次层叠的微透镜110、像素基板120、AD转换电路基板130、乘法电路基板140、加法电路基板150、卷积运算结果加法基板160、激活函数运算电路基板170、池化电路基板180、以及耦合电路基板190的单体元件。
此外，特征提取装置100提取在根据接受的被摄体光束来判定被摄体的情况下所使用的特征量。作为一例，被摄体的判定可以举出辨别被摄体是什么、辨别被摄体的类别或者判定被摄体的程度(例如夜景度等)等，但是不限于此。此处提取的特征量与由被称为深层学习或者深度学习的多层神经网络提取的特征对应。换言之，特征提取装置100也能够应用于通过深层学习来提取特征的学习处理。
特征提取装置100中的各个基板具有通过光刻而形成于衬底基板11上的布线层12。在各个布线层12中包含由布线、元件等形成的电路。即，像素基板120、AD转换电路基板130、乘法电路基板140、加法电路基板150、卷积运算结果加法基板160、激活函数运算电路基板170、池化电路基板180、耦合电路基板190分别具有像素121、AD转换电路131、乘法电路141、加法电路151、带锁存器B的加法电路161、激活函数运算电路171、池化电路181、耦合电路191。
另外，上述的基板经由贯穿各个衬底基板11的贯穿电极13与相邻层叠的其他基板电连接。进一步地，一部分基板通过贯穿多个基板而形成的贯穿电极14，与不相邻的基板也直接电连接。针对这一点，参照图3及图4来说明。
在特征提取装置100中，像素基板120具有二维周期性配置的多个像素121。各个像素121具有对入射的光进行光电转换的光电二极管等受光元件。此外，在图示的例子中，像素基板120为背面照射型，其将在形成有像素121时作为衬底的基板去除或者减薄，从该衬底基板侧接受入射光。
另外，像素基板120也可以针对各个受光元件具有用于指示复位、传输、选择的晶体管以及用于放大输出信号的元件。层叠在像素基板120上的微透镜110使射向各个像素121的入射光会聚，提高入射效率。
AD转换电路基板130具有与像素基板120的像素121各自对应的多个AD转换电路131、锁存器132及切换开关133。通过这样，AD转换电路基板130将对从像素基板120的像素121取得的一个一个的像素值进行离散化处理而得到的值、或锁存器132所保持的值中的某一方输出至其他基板。AD转换电路131、锁存器132及切换开关133在从外部接收到定时触发信号210的时机进行动作。
乘法电路基板140具有与像素基板120的各个像素121分别对应的乘法电路141。即，乘法电路基板140具有与像素基板120上设置的多个像素121相同数量的多个乘法电路141。乘法电路141是数字乘法器，例如，可以由移位寄存器形成。乘法电路141从外部取得并保持在执行乘法处理的情况下的滤波系数。
换言之，乘法电路141能够根据从外部读入的滤波系数的值来执行不同的乘法处理。在图1中，示出取得了滤波系数a的情况作为例子。乘法电路基板140中的乘法电路141也在从外部接收到定时触发信号210的时机进行动作。
此外，乘法电路基板140也可以针对由像素基板120的多个像素121构成的每个块具有一个乘法电路141。例如，若将像素121的在二维方向上相邻的4个像素作为一个块，则也可以具有与块内的4个像素121中的任一个像素121均连接的一个乘法电路141。在这种情况下，乘法电路141针对来自块内的4个像素121的输出，分别按顺序进行乘法处理。
加法电路基板150的加法电路151将从乘法电路基板140中的多个乘法电路141取得的值相加并输出。加法电路151的输出能够向图中下层的卷积运算结果加法基板160输出。加法电路基板150中的加法电路151在从外部接收到定时触发信号210的时机进行动作。
卷积运算结果加法基板160具有带锁存器B的加法电路161、锁存器A162、以及多路复用器163。带锁存器B的加法电路161、锁存器A162、以及多路复用器163彼此连接，并且带锁存器B的加法电路161通过贯穿电极13与激活函数运算电路基板170连接，多路复用器163通过贯穿电极13与加法电路基板150连接。卷积运算结果加法基板160在将从加法电路基板150输出的多个信号相加之后输出至激活函数运算电路基板170。
激活函数运算电路基板170具有与加法电路基板150的加法电路151对应的数量的激活函数运算电路171。激活函数运算电路基板170在接收加法电路基板150的输出并执行了激活函数运算之后，输出至池化电路基板180。激活函数运算电路基板170中的激活函数运算电路171在从外部接收到定时触发信号210的时机进行动作。
池化电路基板180的池化电路181及耦合电路基板190的耦合电路191依次处理来自前段的输入。耦合电路基板190中的耦合电路191的输出值能够作为特征量输出至特征提取装置100的外部。池化电路181及耦合电路191也在从外部接收到定时触发信号210的时机进行动作。
此外，在上述的特征提取装置100中，像素121、AD转换电路131、锁存器132、切换开关133、乘法电路141、加法电路151、带锁存器B的加法电路161、激活函数运算电路171、池化电路181、耦合电路191等，各自由未图示的控制部，根据供给的定时触发信号210来控制动作的时机。控制部可以是特征提取装置100所具有的，也可以是与配备了特征提取装置100的其他装置，例如与摄像装置的控制部兼用。由作为单体的元件的特征提取装置100和控制部构成特征提取系统。
如上所述，特征提取装置100具有将参与图像的特征提取处理的乘法电路基板140、加法电路基板150、卷积运算结果加法基板160、激活函数运算电路基板170、池化电路基板180、耦合电路基板190层叠至包含受光元件的像素基板120上的结构。通过这样，能够直接处理像素值来提取特征，因此不需要将图像转换成数据并保存的处理或对保存的图像数据进行传输的处理，能够缩短处理时间。
另外，由于也能够节省图像数据用的存储装置、传输装置等的硬件资源，因此对于减小具有特征提取装置100的设备的体积也起到作用。进一步地，由于将与像素基板120的像素对应的处理基板层叠，所以即使像素基板120的像素数量增加，也能够防止处理速度下降。
此外，上述的特征提取装置100用二维排列的多个像素121接受入射光，因此也能够从像素基板120取得在生成图像数据的情况时所使用的二维的亮度分布信息。因此，特征提取装置100也能够用作图像传感器。
图2是特征提取装置100执行的特征提取处理的流程图。如图所示，在特征提取处理中，针对通过像素值生成处理S101而生成的像素值，执行卷积处理S102、激活函数运算处理S103、池化处理S104、以及耦合处理S105，向外部输出提取的特征量(步骤S106)。
此处，在与深层学习对应的特征提取处理中，针对一次特征提取，像素值生成处理S101及特征量输出S106分别执行一次。但是，卷积处理S102中的滤波函数的读入、乘法处理及加法处理是一边使读入的滤波系数变化，一边反复执行多次。进一步地，卷积处理后的激活函数运算处理S103以及池化处理S104的处理结果被再次供给至卷积处理S102，进一步地反复反复进行卷积处理S102～池化处理S104的处理。此外，也有仅反复反复进行激活函数运算处理S103，或反复反复进行卷积处理S102和激活函数运算处理S103的情况，或者，在进行像素值生成处理S101之后，省略卷积处理S102、激活函数运算处理S103中的某一方或者两方，而进行池化处理S104的情况。
图3是说明图1所示的特征提取装置100的动作的图。在该图所示的特征提取装置100中，用阴影填充的粗线来对连接相邻的基板的贯穿电极13的功能进行强调显示。
如在图中用粗线所示，在特征提取装置100中，像素基板120中的像素1、像素2和像素3中的每一个经由AD转换电路基板130中对应的AD转换电路131及切换开关133，与乘法电路基板140中对应的乘法电路141连接。
另一方面，乘法电路基板140取得与像素1～3各自对应的乘法电路141的滤波系数a、b、c。像素基板120中的像素1所输出的像素值由乘法电路基板140中与像素1对应的乘法电路141用滤波系数a进行了乘法处理之后，通过贯穿电极13被输入至加法电路基板150。
同样地，像素基板120中的像素2所输出的像素值在利用乘法电路基板140上的与像素2对应的乘法电路141用滤波系数b进行了乘法处理之后，通过贯穿电极13被输出至加法电路基板150。进一步地，像素基板120中的像素3所输出的像素值在被乘法电路基板140上的与像素3对应的乘法电路141用滤波系数c进行了乘法处理之后，通过贯穿电极13被输入至加法电路基板150。
加法电路基板150中的加法电路151将输入的多个乘法处理结果相加，并输出至卷积运算结果加法基板160。就这样，执行与平滑化等滤波处理同样的处理。其中，乘法电路141中的滤波系数是通过事先的学习而预先设定的，由此一系列处理作为卷积处理来执行。
卷积运算结果加法基板160中的锁存器A162经由多路复用器163来保持从加法电路151输出的信号。然后，当由设定了与前次不同的滤波系数的乘法电路141进行乘法处理，并由加法电路151对乘法处理结果进行加法处理时，带锁存器B的加法电路161经由多路复用器163来保持加法电路151的加法处理结果。
带锁存器B的加法电路161将锁存器A162中保持的上次的加法处理结果读出并与新的加法处理结果相加，该相加结果再次被锁存器A162保持。将该处理反复进行预先设定的规定次数，由此能够将针对相同像素群(像素1～3)用不同的滤波系数进行卷积运算而得到的多个处理结果相加起来。即，这相当于反复进行图2所示的卷积处理S102。这样的卷积运算是针对像素基板120中的全部的像素，即针对输入图像整体执行的。
在特征提取装置100中，卷积运算结果加法基板160的处理结果通过贯穿电极13被输入至激活函数运算电路基板170的激活函数运算电路171。激活函数运算电路171用于转换从卷积处理传播向池化处理的信息。作为这样的函数，能够举例示出ReL U(RectifiedLinear Unit：整流线性单元)函数，即，如下式1所示，将小于0的输入值全部设置为0，将正的值直接返回。
f(x)＝max(0，x)···(式1)
激活函数运算电路171的输出通过贯穿电极13被传播至池化电路基板180的池化电路181。在池化电路181中，基于预先设定的条件来执行子采样。作为此处执行的子采样的条件，能够举例示出Max Pooling(最大池)法，即，在一定的视窗尺寸下将最大的值作为代表值。
预先设定的条件是将来自激活函数运算电路171的多个输出汇总的处理即可，也可以是输出平均值的Average Pooling(平均池)法等。按照这种方式执行卷积处理(步骤S102)、激活函数运算处理(步骤S103)至池化处理(步骤S104)的处理，生成根据像素值生成的子采样值。
图4是用于说明图1所示的特征提取装置100的其他动作的图。在图示的特征提取装置100中，用阴影填充的粗线强调示出参与以下说明的动作的贯穿电极。
如用图中的粗线所示的那样，在特征提取装置100中，即使在互不相邻的基板之间也能够发送接收信号。因此，例如，能够将池化电路基板180的输出通过贯穿电极14保存至AD转换电路基板130的锁存器132，并再次在乘法电路141中施加乘法处理。通过这样，对子采样得到的值再次进行卷积处理。一边改变滤波系数a、b、c，一边将这样的重复卷积处理执行预先设定的次数，例如2000次以上。
进一步地，在AD转换电路基板130、乘法电路基板140、加法电路基板150、卷积运算结果加法基板160、激活函数运算电路基板170及池化电路基板180之间处理达到既定次数的信号，被耦合电路基板190中的耦合电路191转换为一维信号。通过这样，得到按成分示出图像所具有的特征量的值。
图5是表示特征提取装置100的动作的时序图。图中的脉冲表示作为定时触发信号210而供给至各基板的信号。
如图所示，从图1中的上层开始依次向特征提取装置100中的各电路供给准备定时触发信号210，由此按照图2所示的顺序执行该图2所示的处理，在特征提取装置100中，由于乘法电路基板140具有与各个像素121对应的乘法电路141，所以能够对各个像素值执行卷积处理。通过这样，能够高效率地提取判定精度高的特征量。
此外，区间P表示反复进行卷积处理S102的区间。而且，用虚线A包围表示的区域，表示针对由多个像素构成的像素群(例如3×3像素)，利用相同大小的滤波来进行卷积运算的区间。进一步地，用虚线B包围来表示的区域，表示针对相同像素群利用其他滤波进行卷积运算的区间。
另外，区间Q表示反复进行卷积处理S102～池化处理S104的区间。此外，实际上，在卷积处理S102的运算结果加法处理中，每当输入来自加法电路的信号时，都供给带锁存器A或者锁存器B的加法电路的定时触发信号，但是为了简化说明，仅示出最终的加法处理的定时触发信号。
此外，耦合电路191中的耦合处理当与其他基板中的处理相比，处理负荷较小。因此，特征提取装置100也可以不设置用于耦合电路191的耦合电路基板190。在这种情况下，特征提取装置100将被反复处理达到既定的次数并最终由池化电路181进行了池化处理的信号输出至外部。而且，在外部的基板中执行耦合处理。
图6是具有特征提取装置100的摄像装置500的框图。摄像装置500具有特征提取装置100、系统控制部501、驱动部502、测光部503、工作存储器504、记录部505、显示部506、及主电源507。
另外，摄像装置500具有用于将被摄体光束引导向特征提取装置100的主光学系统520。主光学系统520也可以是能够安装于摄像装置500或从摄像装置500拆下的可更换式的光学系统。
主光学系统520由多个光学透镜群构成，使来自视场的被摄体光束在主光学系统520的焦点面附近成像。此外，在图中，用配置于光瞳附近的假想一片透镜来代表性地表示主光学系统520。
驱动部502是按照来自系统控制部501的指示，执行特征提取装置100的时机控制、区域控制等电荷积累控制的控制电路。驱动部502针对向特征提取装置100，例如承担积累对入射光进行光电转换而生成的电荷并输出像素值的一系列控制。另外，驱动部502向特征提取装置100供给定时触发信号210。
从特征提取装置100输出的被摄体的特征量被传递给系统控制部501的判定部513。由此，在系统控制部501执行判定被摄体的判定处理。此外，特征提取装置100也可以从其像素基板120向系统控制部501的图像处理部511发送包含被摄体的亮度分布的信息，生成被摄体的图像数据。图像处理部511以工作存储器504作为工作空间来执行处理。
测光部503在特征提取装置100对入射光进行光电转换从而生成像素值的一系列步骤之前，检测被摄体的亮度分布。测光部503包含例如100万像素左右的AE传感器。系统控制部501的运算部512接收测光部503的输出，计算场景的各区域的亮度。
进一步地，运算部512根据算出的亮度分布来决定快门速度、光阑值、ISO灵敏度。测光部503也可以由特征提取装置100兼用。此外，运算部512也执行在使摄像装置500进行动作的情况下所需要的各种运算。
如此，摄像装置500具有根据从特征提取装置100取得的特征量来判定被摄体的判定功能。此处，特征提取装置100将其自身所提取的特征量发送至系统控制部501。因此，系统控制部501能够不负担特征量提取处理的负荷而取得特征量来判定被摄体。另外，系统控制部501接收作为提取结果的特征量，因此可防止特征提取装置100与系统控制部501之间的通信量增加。
图7是其他特征提取装置101的示意剖视图。特征提取装置101除了以下说明的部分以外，具有与图1所示的特征提取装置100相同的结构。因此，对共同的要素加上相同附图标记并省略重复的说明。
特征提取装置101在AD转换电路基板130与加法电路基板150之间具有多个乘法电路基板1400、1401、1402……140n这方面，具有与特征提取装置100不同的结构。多个乘法电路基板1400、1401、1402……140n与特征提取装置100的乘法电路基板1400同样地，具有与像素基板120的多个像素121分别对应的多个乘法电路141，并在从外部接收到定时触发信号210的时机进行动作。
乘法电路141从外部取得并保持在执行乘法处理的情况下的滤波系数。另外，乘法电路141能够针对各基板而保持值不同的滤波系数并执行乘法处理。因此，乘法电路基板1400～140n能够在彼此不同的条件下执行乘法处理。
图8是说明特征提取装置101的动作的示意剖视图。如图中用阴影填充的粗线所示的那样，像素基板120中的像素1所输出的像素值在被形成于图中上层的乘法电路基板1400的乘法电路141进行了乘法处理之后，通过贯穿电极13被输入至加法电路基板150。另外，像素基板120中的像素2所输出的像素值在利用形成于图中上层的乘法电路基板1401的乘法电路141进行了乘法处理之后，通过贯穿电极13被输入至加法电路基板150。进一步地，像素基板120中的像素3所输出的像素值在利用形成于图中上层的乘法电路基板1402的乘法电路141进行了乘法处理之后，通过贯穿电极13被输入至加法电路基板150。
此外，设于乘法电路基板1400的多个乘法电路141各自的滤波系数a1在设于相同乘法电路基板1400的乘法电路141之间取相同值。同样地，就其他乘法电路基板1401、1402……140n中的每一个而言，各基板中的多个乘法电路141也具有共同的滤波系数b1、c1……n1。因此，在执行卷积处理的情况下，能够选择执行乘法处理的基板来选择滤波系数a1、b1、c1……n1。即，在图8所示的例子中，像素1所输出的像素值以滤波系数a1进行乘法处理，像素2所输出的像素值以滤波系数b1进行乘法处理，对像素3所输出的像素值以滤波系数c1进行乘法处理。
图9是特征提取装置101的一部分时序图。在特征提取装置101中，用对应于各像素121而不同的乘法电路基板1400～140n进行乘法处理。因此，对于在与对某个像素群的一次滤波相当的卷积处理中多次执行的乘法处理，能够在首次取得了全部滤波系数之后，如图中用虚线A、B包围来表示的那样，并行且同时连续地进行处理。
因此，不需要在每次进行乘法处理时取得及设定滤波系数，因此能够缩短取得及设定滤波系数的时间，提高特征提取装置101整体的处理量(throughput)。这样的特征提取装置101能够取代例如特征提取装置100而组装于摄像装置500中，也作为带有特征提取功能的图像传感器来使用。
在本实施方式中说明的特征提取装置在乘法电路基板140、加法电路基板150、激活函数运算电路基板170、池化电路基板180、及耦合电路基板190上分别配置有乘法电路141、加法电路151、激活函数运算电路171、池化电路181、耦合电路191。但是，特征提取装置也不一定是针对一个基板上仅设置一个电路。即，也可以是在一个基板上配置有多个电路，或者将一个电路跨多个基板配置。
另外，特征提取装置中的多个基板的层叠顺序能够用贯穿电极来配置即可，并不限于上述的例子。此外，卷积运算结果加法基板160能够将多个值相加并保持即可，并不限于上述的例子。
另外，在本实施方式中说明的特征提取装置即使在多层神经网络中，也可用层叠结构的单体的传感器来实现使用进行卷积处理的卷积神经网络的特征提取处理。此外，使用同一值作为进行多次的卷积处理的滤波系数，由此也能够实现递归型卷积神经网络。此外，能够用本实施方式中的特征提取装置来实现的特征提取即可，并不限定于上述的方法。
以上，虽然使用实施方式来说明了本发明，但是本发明的技术范围并不限定于上述实施方式所记载的范围。本领域技术人员可以理解，上述实施方式能够施加各种各样的变更或者改良。根据权利要求书的记载可以理解，施加了这样的变更或者改良的方式也被包含于本发明的技术范围内。
在权利要求书、说明书及说明书附图中示出的装置、系统、程序及方法中的动作、流程、步骤及阶段等各处理的执行顺序，只要没有特别明示“之前”、“先于”等，或者不是后面的处理中使用前面的处理的输出的情况，应该注意到是可以按任意的顺序来实现的。关于权利要求书、说明书及说明书附图中的动作流程，即使为了方便“首先，”“接着，”等来进行说明，也不意味着必须按照该顺序来实施。
附图标记的说明
11 衬底基板，12 布线层，13、14 贯穿电极，100、101 特征提取装置，110 微透镜，120 像素基板，121 像素，130 AD转换电路基板，131 AD转换电路，132 锁存器，133 切换开关，140、1400、1401、1402、140n 乘法电路基板，141 乘法电路，150 加法电路基板，151 加法电路，160 卷积运算结果加法基板，161 带锁存器B的加法电路，162 锁存器A，163 多路复用器，170 激活函数运算电路基板，171 激活函数运算电路，180 池化电路基板，181 池化电路，190 耦合电路基板，191 耦合电路，210 定时触发器，500 摄像装置，501 系统控制部，502 驱动部，503 测光部，504 工作存储器，505 记录部，506 显示部，507 主电源，511图像处理部，512 运算部，513 判定部，520 主光学系统。

Claims (10)

1.一种特征提取元件，其特征在于，具有：
受光基板，其呈二维地排列有对接受的光进行光电转换的多个受光元件；以及
一个或者多个其他基板，其与所述受光基板层叠，
所述其他基板具有：
卷积处理部，其具有多个乘法电路，该多个乘法电路与各个所述受光元件对应设置或者与各个由多个所述受光元件构成的块对应设置，所述卷积处理部利用多个所述乘法电路对从多个所述受光元件输出的信号进行卷积运算；
池化处理部，其基于预先设定的条件对从所述卷积处理部输出的信号进行采样；以及
连接布线，其将采样得到的所述信号交接至多个所述乘法电路。
2.如权利要求1所述的特征提取元件，其特征在于，
所述卷积处理部与所述池化处理部分别设于多个所述其他基板中的彼此不同的基板，
所述连接布线包括连接所述彼此不同的基板的贯穿电极。
3.如权利要求1或者2所述的特征提取元件，其特征在于，
具有作为所述其他基板而彼此层叠的多个乘法电路基板，
具有乘法电路，
与各个所述受光元件或者各个所述块对应设置的多个所述乘法电路分别设于彼此不同的所述乘法电路基板。
4.如权利要求3所述的特征提取元件，其特征在于，
对多个所述乘法电路基板设定彼此不同的卷积运算用的滤波系数。
5.如权利要求1～4中的任一项所述的特征提取元件，其特征在于，
所述卷积处理部具有加法电路，所述加法电路将来自与多个所述受光元件各自对应设置的多个所述乘法电路的输出相加，
所述加法电路设于作为所述其他基板的加法电路基板。
6.如权利要求1～5中的任一项所述的特征提取元件，其特征在于，
具有保持来自所述受光元件的信号的锁存器电路，具有读出来自所述受光元件的信号的读出电路，
所述读出电路设于作为所述其他基板的读出基板，
所述连接布线连接所述池化处理部与所述锁存器电路之间。
7.如权利要求1～6中的任一项所述的特征提取元件，其特征在于，
所述其他基板具有激活函数运算处理部，所述激活函数运算处理部将卷积运算得到的所述信号输入至激活函数，将所述激活函数的输出信号输出至所述池化处理部。
8.如权利要求1～7中的任一项所述的特征提取元件，其特征在于，
将从多个所述受光元件输出的信号向外部输出。
9.一种特征提取系统，其特征在于，具有：
如权利要求1～8中的任一项所述的特征提取元件；以及
控制部，其以反复进行所述卷积处理部的卷积运算和所述池化处理部的采样的方式进行控制，
所述控制部以在反复进行所述卷积运算时使用各预先设定的滤波系数的方式对所述卷积处理部进行控制。
10.一种判定装置，其特征在于，具有：
如权利要求1～8中的任一项所述的特征提取元件；以及
判定部，其根据基于来自所述池化处理部的输出而提取的特征量来判定摄像对象。
CN201680083514.5A 2016-03-30 2016-03-30 特征提取元件、特征提取系统及判定装置 Active CN108781265B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060574 WO2017168665A1 (ja) 2016-03-30 2016-03-30 特徴抽出素子、特徴抽出システム、および判定装置

Publications (2)

Publication Number Publication Date
CN108781265A true CN108781265A (zh) 2018-11-09
CN108781265B CN108781265B (zh) 2020-11-03

Family

ID=59963695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083514.5A Active CN108781265B (zh) 2016-03-30 2016-03-30 特征提取元件、特征提取系统及判定装置

Country Status (5)

Country Link
US (3) US10904471B2 (zh)
EP (1) EP3439288B1 (zh)
JP (1) JP6540886B2 (zh)
CN (1) CN108781265B (zh)
WO (1) WO2017168665A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816105A (zh) * 2019-01-16 2019-05-28 北京时代民芯科技有限公司 一种可配置的神经网络激活函数实现装置
CN113170043A (zh) * 2018-12-05 2021-07-23 索尼集团公司 图像捕获元件、图像捕获装置和方法
CN114208158A (zh) * 2019-08-13 2022-03-18 索尼半导体解决方案公司 信息处理装置、信息处理方法和信息处理程序
US12010418B2 (en) 2019-01-08 2024-06-11 Sony Group Corporation Solid-state imaging element, signal processing method thereof, and electronic device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526267B (zh) * 2016-08-03 2022-09-02 株式会社半导体能源研究所 摄像装置、摄像模块、电子设备及摄像系统
KR102522350B1 (ko) 2017-06-14 2023-04-14 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치 및 전자 기기
JP2020113809A (ja) * 2019-01-08 2020-07-27 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
US11037968B2 (en) * 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
JP7384210B2 (ja) * 2019-09-30 2023-11-21 株式会社ニコン 撮像素子および撮像装置
WO2021193121A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 固体撮像装置および画像処理方法
US20230179888A1 (en) * 2020-07-24 2023-06-08 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP2022030812A (ja) 2020-08-07 2022-02-18 キヤノン株式会社 画像処理装置及び撮像装置及びそれらの制御方法及びプログラム
TW202215654A (zh) * 2020-09-22 2022-04-16 日商半導體能源研究所股份有限公司 攝像裝置及電子裝置
JP2022154658A (ja) 2021-03-30 2022-10-13 キヤノン株式会社 撮像装置、撮像素子、撮像装置の制御方法およびプログラム
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294899A (ja) 1998-05-01 1998-11-04 Mitsubishi Electric Corp 画像感知および処理のための装置
JP4334672B2 (ja) * 1999-05-21 2009-09-30 浜松ホトニクス株式会社 高速視覚センサ装置
JP2003023573A (ja) * 2001-07-11 2003-01-24 Asahi Kasei Corp ビジョンチップ
US6617565B2 (en) 2001-11-06 2003-09-09 Omnivision Technologies, Inc. CMOS image sensor with on-chip pattern recognition
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
BRPI0514555A (pt) 2004-08-23 2008-06-17 Sony Corp aparelho de geração de imagem, método de processamento de sinal de imagem, e, circuito integrado
CN101010944B (zh) * 2004-09-02 2010-06-16 索尼株式会社 摄像装置及摄像结果的输出方法
TWI429066B (zh) 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
CN101473439B (zh) * 2006-04-17 2013-03-27 全视技术有限公司 阵列成像系统及相关方法
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
US7840071B2 (en) 2006-12-12 2010-11-23 Seiko Epson Corporation Method and apparatus for identifying regions of different content in an image
CN101232293B (zh) * 2008-01-03 2012-06-27 湖南大学 电流模式射频接收机前端
US8530880B2 (en) * 2009-07-27 2013-09-10 Hewlett-Packard Development Company, L.P. Reconfigurable multilayer circuit
US20130212053A1 (en) * 2010-10-18 2013-08-15 Takeshi Yagi Feature extraction device, feature extraction method and program for same
TWI462265B (zh) * 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
FR2985140B1 (fr) * 2011-12-22 2014-08-29 Commissariat Energie Atomique Capteur de vision tridimensionnelle integre
US8942481B2 (en) * 2012-03-11 2015-01-27 Universidad De Santiago De Compostela Three dimensional CMOS image processor for feature detection
JP6120655B2 (ja) * 2013-04-18 2017-04-26 キヤノン株式会社 画像形成装置
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
WO2015078018A1 (en) 2013-11-30 2015-06-04 Xiaoou Tang Method and system for face image recognition
KR101545951B1 (ko) * 2013-12-02 2015-08-21 (주)실리콘화일 이미지 처리 패키지 및 이를 구비하는 카메라 모듈
US9667900B2 (en) * 2013-12-09 2017-05-30 Optiz, Inc. Three dimensional system-on-chip image sensor package
US9613001B2 (en) * 2013-12-20 2017-04-04 Intel Corporation Processing device for performing convolution operations
TWI648986B (zh) * 2014-04-15 2019-01-21 日商新力股份有限公司 攝像元件、電子機器
JP6582416B2 (ja) * 2014-05-15 2019-10-02 株式会社リコー 画像処理装置、画像処理方法及びプログラム
CN105095902B (zh) * 2014-05-23 2018-12-25 华为技术有限公司 图片特征提取方法及装置
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
CN104158781B (zh) * 2014-08-28 2018-03-27 上海航天电子通讯设备研究所 一种基于fpga的超高速apsk调制方法及调制系统
US9892355B2 (en) * 2015-05-20 2018-02-13 The Code Corporation Barcode-reading system
US9819890B2 (en) * 2015-08-17 2017-11-14 Omnivision Technologies, Inc. Readout circuitry to mitigate column fixed pattern noise of an image sensor
RU2679011C1 (ru) * 2015-09-16 2019-02-05 Кэнон Кабусики Кайся Датчик изображения и устройство захвата изображения
US10726328B2 (en) * 2015-10-09 2020-07-28 Altera Corporation Method and apparatus for designing and implementing a convolution neural net accelerator
JP6658033B2 (ja) * 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
KR20180136202A (ko) * 2017-06-14 2018-12-24 에스케이하이닉스 주식회사 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
CN111325334A (zh) * 2020-03-02 2020-06-23 天津智模科技有限公司 一种智能处理器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170043A (zh) * 2018-12-05 2021-07-23 索尼集团公司 图像捕获元件、图像捕获装置和方法
EP3886423A4 (en) * 2018-12-05 2022-03-09 Sony Group Corporation IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE AND METHOD
CN113170043B (zh) * 2018-12-05 2023-08-15 索尼集团公司 图像捕获元件、图像捕获装置和方法
US11956526B2 (en) 2018-12-05 2024-04-09 Sony Group Corporation Image capturing element, image capturing device and method
US12010418B2 (en) 2019-01-08 2024-06-11 Sony Group Corporation Solid-state imaging element, signal processing method thereof, and electronic device
CN109816105A (zh) * 2019-01-16 2019-05-28 北京时代民芯科技有限公司 一种可配置的神经网络激活函数实现装置
CN114208158A (zh) * 2019-08-13 2022-03-18 索尼半导体解决方案公司 信息处理装置、信息处理方法和信息处理程序

Also Published As

Publication number Publication date
CN108781265B (zh) 2020-11-03
US10904471B2 (en) 2021-01-26
EP3439288A1 (en) 2019-02-06
EP3439288B1 (en) 2024-04-10
US20210105426A1 (en) 2021-04-08
JPWO2017168665A1 (ja) 2018-10-18
JP6540886B2 (ja) 2019-07-10
EP3439288A4 (en) 2019-11-20
US20230411428A1 (en) 2023-12-21
US11791363B2 (en) 2023-10-17
US20190034748A1 (en) 2019-01-31
WO2017168665A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
CN108781265A (zh) 特征提取元件、特征提取系统及判定装置
US11595604B2 (en) Image sensor and imaging device including a plurality of semiconductor substrates
CN104247401B (zh) 拍摄元件以及拍摄装置
JP6887223B2 (ja) プレンオプティック・フォービエイテッド・カメラ
CN104380714B (zh) 拍摄元件和拍摄装置
US10638037B2 (en) Image-capturing device and image processing device
JP2023036625A (ja) 撮像装置
CN108377343A (zh) 用于高动态范围成像的曝光选择器及其相关的方法
CN103238098A (zh) 成像设备和对焦位置检测方法
CN105842813A (zh) 图像传感器
CN108141538A (zh) 摄像装置及图像处理装置
CN111225161A (zh) 摄像单元、摄像装置及摄像控制程序
JP6809565B2 (ja) 特徴抽出素子、特徴抽出システム、および判定装置
US20170318256A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP7115533B2 (ja) 特徴抽出素子、特徴抽出システム、および判定装置
CN112862880A (zh) 深度信息获取方法、装置、电子设备和存储介质
JPWO2017170726A1 (ja) 撮像装置および電子機器
WO2017170725A1 (ja) 撮像装置、被写体検出装置、および電子機器
WO2017170724A1 (ja) 撮像装置、レンズ調節装置、および電子機器
WO2017057268A1 (ja) 撮像装置、および制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant