CN115443648A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN115443648A
CN115443648A CN202180029111.3A CN202180029111A CN115443648A CN 115443648 A CN115443648 A CN 115443648A CN 202180029111 A CN202180029111 A CN 202180029111A CN 115443648 A CN115443648 A CN 115443648A
Authority
CN
China
Prior art keywords
transistor
wiring
potential
data
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029111.3A
Other languages
English (en)
Inventor
根来雄介
米田诚一
山崎舜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN115443648A publication Critical patent/CN115443648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/786Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/12Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body
    • H01L27/1214Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs
    • H01L27/1222Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs with a particular composition, shape or crystalline structure of the active layer
    • H01L27/1225Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body comprising a plurality of TFTs formed on a non-semiconducting substrate, e.g. driving circuits for AMLCDs with a particular composition, shape or crystalline structure of the active layer with semiconductor materials not belonging to the group IV of the periodic table, e.g. InGaZnO
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/786Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • H01L29/78645Thin film transistors, i.e. transistors with a channel being at least partly a thin film with multiple gate
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/786Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • H01L29/78696Thin film transistors, i.e. transistors with a channel being at least partly a thin film characterised by the structure of the channel, e.g. multichannel, transverse or longitudinal shape, length or width, doping structure, or the overlap or alignment between the channel and the gate, the source or the drain, or the contacting structure of the channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Ceramic Engineering (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供一种具有图像处理功能的摄像装置。本发明的一个方式是一种包括多个像素的摄像装置。像素具有对在第n帧(n为2以上的整数)取得的图像数据加第一权重而生成第n帧的第一数据的功能。像素具有对在第n‑1帧取得的图像数据加第二权重而生成第n‑1帧的第一数据的功能。另外,像素具有将第n‑1帧的第一数据和第n帧的第一数据加在一起而生成第二数据的功能。

Description

摄像装置
技术领域
本发明的一个方式涉及一种摄像装置。
注意,本发明的一个方式不局限于上述技术领域。本说明书等所公开的发明的一个方式的技术领域涉及一种物体、方法或制造方法。另外,本发明的一个方式涉及一种工序(process)、机器(machine)、产品(manufacture)或者组合物(composition of matter)。由此,更具体而言,作为本说明书所公开的本发明的一个方式的技术领域的一个例子可以举出半导体装置、显示装置、液晶显示装置、发光装置、照明装置、蓄电装置、存储装置、摄像装置、这些装置的工作方法或者这些装置的制造方法。
注意,在本说明书等中,半导体装置是指能够通过利用半导体特性而工作的所有装置。晶体管、半导体电路为半导体装置的一个方式。另外,存储装置、显示装置、摄像装置、电子设备有时包含半导体装置。
背景技术
使用形成在衬底上的氧化物半导体薄膜构成晶体管的技术受到关注。例如,专利文献1公开了将包括氧化物半导体的关态电流非常低的晶体管用于像素电路的结构的摄像装置。
专利文献2公开了对摄像装置赋予运算功能的技术。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2011-119711号公报
[专利文献2]日本专利申请公开第2016-123087号公报
发明内容
发明所要解决的技术问题
安装于移动设备等的摄像装置通常具有能够取得高分辨率的图像的功能。需要下一代摄像装置具有更高智能性的功能。
在现有的图像数据的压缩、图像识别等中,由摄像装置拍摄的图像数据被取出到摄像装置的外部,而进行处理。当能够在摄像装置内进行该处理时,可以以更高速与外部设备联动,并且使用者的方便性提高。另外,也可以减少外围装置等的负载及功耗。
为了表现流畅的动态图像,优选提高帧频。另一方面,像素数越多水平期间越短,所以难以简单地提高帧频。因此,有时使用生成插补实像的帧间的图像(插补图像)的技术。但是,当取得实像的帧频相当高时,在很多情况下难以确保生成插补图像的时间。
鉴于上述问题,本发明的一个方式的目的之一是提供一种能够进行图像处理的摄像装置。另外,本发明的一个方式的目的之一是提供一种能够生成插补帧间的图像的摄像装置。另外,本发明的一个方式的目的之一是提供一种能够拍摄高质量的动态图像的摄像装置。另外,本发明的一个方式的目的之一是提供一种被用作神经网络的一部分构成要素的摄像装置。另外,本发明的一个方式的目的之一是提供一种低功耗的摄像装置。另外,本发明的一个方式的目的之一是提供一种可靠性高的摄像装置。另外,本发明的一个方式的目的之一是提供一种新颖的摄像装置等。另外,本发明的一个方式的目的之一是提供一种上述摄像装置的驱动方法。另外,本发明的一个方式的目的之一是提供一种新颖的半导体装置等。
注意,这些目的的记载不妨碍其他目的的存在。注意,本发明的一个方式并不需要实现所有上述目的。除上述目的外的目的从说明书、附图、权利要求书等的描述中是显而易见的,并且可以从说明书、附图、权利要求书等的描述中抽出。
解决技术问题的手段
本发明的一个方式是一种包括多个像素的摄像装置。各像素具有对在第n帧(n为2以上的整数)取得的图像数据加第一权重而生成第n帧的第一数据的功能。像素具有对在第n-1帧取得的图像数据加第二权重而生成第n-1帧的第一数据的功能。另外,像素具有将第n-1帧的第一数据和第n帧的第一数据加在一起而生成第二数据的功能。
本发明的一个方式是一种包括多个像素及多个第一电路的摄像装置。像素被配置为矩阵状。第一电路与配置在列方向上的多个像素电连接。像素包括第二电路及第三电路。第二电路和第三电路中的一个具有对在第n帧(n为2以上的整数)取得的图像数据加第一权重而生成第n帧的第一数据的功能。第二电路和第三电路中的另一个具有对在第n-1帧取得的图像数据加第二权重而生成第n-1帧的第一数据的功能。并且,像素具有将第n-1帧的第一数据和第n帧的第一数据加在一起而生成第二数据的功能。第一电路具有生成相当于像素各自生成的第二数据之和的第三数据的功能。
在上述摄像装置中,像素优选包括光电转换器件及第一晶体管。第二电路及第三电路各自包括第二晶体管、第三晶体管、第四晶体管、第五晶体管及第一电容器。光电转换器件的一个电极与第二晶体管的源极和漏极中的一个电连接。第二晶体管的源极和漏极中的另一个与第三晶体管的源极和漏极中的一个电连接。第三晶体管的源极和漏极中的一个与第四晶体管的栅极电连接。第四晶体管的栅极与第一电容器的一个电极电连接。第一电容器的另一个电极与第五晶体管的源极和漏极中的一个电连接。第四晶体管的源极和漏极中的一个与第一晶体管的源极和漏极中的一个电连接。第一晶体管的源极和漏极中的另一个与第一电路电连接。
在上述摄像装置中,第五晶体管的另一个优选与第一布线电连接。第一布线被供应相当于第一权重的电位或相当于第二权重的电位。
在上述摄像装置中,像素优选包括光电转换器件及第一晶体管。第二电路及第三电路各自包括第二晶体管、第三晶体管、第四晶体管及第一电容器。光电转换器件的一个电极与第二晶体管的源极和漏极中的一个电连接。第二晶体管的源极和漏极中的另一个与第三晶体管的源极和漏极中的一个电连接。第三晶体管的源极和漏极中的一个与第四晶体管的栅极电连接。第四晶体管的栅极与第一电容器的一个电极电连接。第四晶体管的源极和漏极中的一个与第一晶体管的源极和漏极中的一个电连接。第一晶体管的源极和漏极中的另一个与第一电路电连接。第四晶体管包括背栅极。
在上述摄像装置中,背栅极优选与第一布线电连接。第一布线被供应相当于第一权重的电位或相当于第二权重的电位。
在上述摄像装置中,第一电路优选包括第六晶体管、第七晶体管、第八晶体管、第九晶体管、第十晶体管及第二电容器。第二电容器的一个电极与多个像素电连接。第二电容器的一个电极与第六晶体管电连接。第二电容器的另一个电极与第七晶体管的源极和漏极中的一个电连接。第七晶体管的源极和漏极中的一个与第八晶体管的栅极电连接。第八晶体管的源极和漏极中的一个与第九晶体管的源极和漏极中的一个电连接。第九晶体管的源极和漏极中的一个与第十晶体管的源极和漏极中的一个电连接。
在上述摄像装置中,像素及第一电路所包括的晶体管中的任一个或多个优选在沟道形成区域中包含金属氧化物。金属氧化物包含In、Zn及元素M(M为Al、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、Nd和Hf中的一个或多个)。
在上述摄像装置中,像素及第一电路所包括的晶体管中的任一个或多个优选在沟道形成区域中包含硅。
发明效果
通过使用本发明的一个方式可以提供一种能够进行图像处理的摄像装置。另外,通过使用本发明的一个方式可以提供一种能够生成插补帧间的图像的摄像装置。另外,通过使用本发明的一个方式可以提供一种能够拍摄高质量的动态图像的摄像装置。另外,通过使用本发明的一个方式可以提供一种被用作神经网络的一部分构成要素的摄像装置。另外,通过使用本发明的一个方式可以提供一种低功耗的摄像装置。另外,通过使用本发明的一个方式可以提供一种可靠性高的摄像装置。另外,通过使用本发明的一个方式可以提供一种新颖的摄像装置等。另外,通过使用本发明的一个方式可以提供一种上述摄像装置的驱动方法。另外,通过使用本发明的一个方式可以提供一种新颖的半导体装置等。
附图简要说明
图1是说明摄像装置的方框图。
图2是说明像素区块及电路的图。
图3是说明像素区块的图。
图4是说明像素的图。
图5是说明摄像装置的工作的示意图。
图6是说明摄像装置的工作的示意图。
图7是说明像素区块及电路的工作的时序图。
图8是说明像素区块及电路的工作的时序图。
图9是说明像素区块及电路的工作的时序图。
图10是说明像素区块及电路的工作的时序图。
图11是说明像素区块及电路的工作的时序图。
图12是说明像素区块及电路的工作的时序图。
图13是说明像素的图。
图14A及图14B是说明电路的图。
图15是说明存储单元的图。
图16A及图16B是示出神经网络的结构例子的图。
图17A至图17D是说明摄像装置的像素的结构的图。
图18A至图18C是说明光电转换器件的结构的图。
图19是说明像素的截面图。
图20A至图20C是说明Si晶体管的图。
图21是说明像素的截面图。
图21是说明像素的截面图。
图23是说明像素的截面图。
图24A至图24D是说明OS晶体管的图。
图25是说明像素的截面图。
图26A至图26C是说明像素的立体图(截面图)。
图27A1至图27A3及图27B1至图27B3是收纳摄像装置的封装、模块的立体图。
图28A至图28F是说明电子设备的图。
图29是说明汽车的图。
实施发明的方式
参照附图对实施方式进行详细说明。注意,本发明不局限于下面说明,所属技术领域的普通技术人员可以很容易地理解一个事实就是其方式及详细内容在不脱离本发明的宗旨及其范围的情况下可以被变换为各种各样的形式。因此,本发明不应该被解释为仅限定在以下所示的实施方式所记载的内容中。另外,在下面所说明的发明的结构中,在不同的附图中共同使用相同的附图标记来表示相同的部分或具有相同功能的部分,而有时省略其重复说明。另外,有时在不同的附图中适当地省略或改变相同构成要素的阴影。
即使在电路图上为一个构成要素,如果在功能上没有问题,该构成要素也可以使用多个构成要素构成。例如,有时被用作开关的多个晶体管可以串联或并联连接。此外,有时对电容器进行分割并将其配置在多个位置上。
有时一个导电体具有布线、电极及端子等多个功能,在本说明书中,有时对同一构成要素使用多个名称。另外,即使在电路图上示出构成要素之间直接连接的情况,有时实际上该构成要素之间通过一个或多个导电体连接,本说明书中这种结构也包括在直接连接的范畴内。
(实施方式1)
在本实施方式中,参照附图说明能够进行图像处理的摄像装置。
本发明的一个方式是一种具备图像处理等附加功能的摄像装置。该摄像装置具有将在摄像工作中获取的模拟数据(图像数据)保持在像素而从该模拟数据乘以任意权系数的数据取出数据的功能。另外,该摄像装置具有对从多个像素输出的该数据进行加法运算的功能(积和运算功能)。
另外,通过将从像素取出的该数据引入设置在摄像装置的内部或外部的神经网络等,可以进行图像识别等处理。在本发明的一个方式的摄像装置中,由于可以将庞大的图像数据以模拟数据的状态保持在像素且在像素内进行运算,所以可以高效地进行处理。
本发明的一个方式是具有生成插补帧间的图像(插补图像)的功能的摄像装置。在该摄像装置中,像素具有在第n帧对在第n帧摄像来取得的图像数据加任意权重而生成第n帧的第一数据的功能。此外,像素具有保持在第n-1帧摄像来取得的图像数据的功能以及在第n帧对在第n-1帧取得的图像数据加任意权重而生成第n-1帧的第一数据的功能。并且,像素具有将第n-1帧的第一数据和第n帧的第一数据加在一起而生成第二数据的功能。第二数据例如可以适当地被用作插补帧间的图像数据。
<摄像装置>
图1是本发明的一个方式的摄像装置的方框图。摄像装置包括像素阵列300、电路201、电路301、电路302、电路303、电路304和电路305。注意,电路201、电路301、电路302、电路303、电路304和电路305中的一个以上也可以具有与像素阵列300重叠的区域。通过采用上述结构,可以减小摄像装置的面积。
另外,在本发明的一个方式的摄像装置中,也可以代替使用具有电路201及电路301至电路305所具有的功能中的两个以上的功能的电路。另外,也可以使用电路201及电路301至电路305以外的电路。另外,也可以使用软件的工作代替电路201及电路301至电路305所具有的功能中的一个以上。另外,电路201及电路301至电路305中的一部分电路也可以设置在摄像装置的外部。
像素阵列300可以具有拍摄功能及运算功能。电路201及电路301各自可以具有运算功能。电路302可以具有运算功能或数据转换功能,并且可以将数据输出到布线311。电路303及电路304各自可以具有选择功能。电路305可以具有对像素提供电位(权重等)的功能。具有选择功能的电路可以使用移位寄存器或解码器等。
像素阵列300包括配置为矩阵状的多个像素区块200。电路201与在列方向上配置的多个像素区块200电连接。各像素区块200通过布线113与电路201电连接。
图2是像素区块200的方框图。图2也是电路201的电路图。像素区块200包括配置为矩阵状的多个像素100,各像素100通过布线113与电路201电连接。注意,电路201也可以设置在像素区块200内。
像素100具有取得图像数据并生成将图像数据与权系数加在一起的数据的功能。注意,在图2中,像素区块200所具有的像素100的个数为3行3列,但是本发明的一个方式不局限于此。例如,像素区块200所具有的像素数可以为2行2列、4行4列等。或者,水平方向与垂直方向的像素数也可以不同。另外,也可以使相邻的像素区块共有部分像素。
例如,若采用图3所示的结构,则像素区块200所包括的像素100的个数可以是可变的。图3示出配置在[q-1]行至[q+1]行、[p-1]列至[p+1]列(p、q为2以上的整数)的多个像素100。各像素100内设置有选择开关,该选择开关的“ON”、“OFF”由供应到行布线RL[q-1]至RL[q+1]的选择信号控制。该选择开关与列布线CL[p-1]至CL[p+1]中的任意个电连接。此外,列布线中的至少一个与电路201电连接。
列布线CL[p-1]与CL[p]之间设置有导通开关SW[p-1],列布线CL[p]与CL[p+1]之间设置有导通开关SW[p]。该导通开关的“ON”、“OFF”由供应到信号线G1、信号线G2的选择信号控制。通过使该选择开关成为“ON”,可以使相邻的列布线导通。
例如,在对行布线RL[q-1]、RL[q]供应使选择开关成为“ON”的信号且对信号线G1供应使导通开关SW[p-1]成为“ON”的信号时,2行2列的像素100(像素100[q-1,p-1]、像素100[q-1,p]、像素100[q,p-1]、像素100[q,p])被选择。此外,列布线CL[p-1]和列布线CL[p]导通。由此,上述2行2列的像素100与电路201电连接。
再者,在对行布线RL[q+1]供应使选择开关成为“ON”的信号且对信号线G2供应使导通开关SW[p]成为“ON”的信号时,3行3列的像素100与电路201电连接。
可以使像素区块200及电路201作为积和运算电路工作。
<像素电路的结构例子1>
图4是像素100的电路图。像素100包括光电转换器件101、电路130a、电路130b及晶体管108。光电转换器件101通过电路130a与晶体管108电连接。此外,光电转换器件101通过电路130b与晶体管108电连接。
光电转换器件101可以使用光电二极管。在想要提高低照度时的光检测灵敏度的情况下,可以适当地使用雪崩光电二极管。
电路130a及电路130b各自具有如下功能,即通过对光电转换器件101所取得的图像的图像数据使用滤波加权重而生成第一数据,并保持第一数据。在第n帧,电路130a及电路130b中的一个具有如下功能,即通过对在第n帧(n为2以上的整数)取得的图像数据使用滤波加权重而生成第n帧的第一数据。在第n帧,电路130a及电路130b中的另一个具有如下功能,即对所保持的第n-1帧的图像数据使用滤波加权重而生成第n-1帧的第一数据。
本发明的一个方式的摄像装置可以根据从在第n帧取得的图像数据生成的第n帧的第一数据和从在第n-1帧取得的图像数据生成的第n-1帧的第一数据生成第二数据。第二数据例如可以适当地被用作插补帧间的图像数据。
图5是本发明的一个方式的摄像装置的工作的示意图。在图5中,作为一个例子示出第n帧至第n+2帧的三个帧的工作。
在第n帧,使光电转换器件101工作,取得图像数据IMn。在第n帧,电路130b对图像数据IMn使用第二滤波FL21加权重,而生成第一数据IMn*FL21。在第n帧,电路130a对所保持的在第n-1帧取得的图像数据IMn-1使用第一滤波FL11加权重,而生成第一数据IMn-1*FL11。并且,将第n-1帧的第一数据IMn-1*FL11与第n帧的第一数据IMn*FL21加在一起,而生成第二数据(IMn-1*FL11)+(IMn*FL21)。从像素100输出所生成的第二数据(IMn-1*FL11)+(IMn*FL21)。
在第n帧,对在第n帧取得的图像数据IMn使用第二滤波FL21加权重,对在前一帧的第n-1帧取得的图像数据IMn-1使用第一滤波FL11加权重。
注意,在本说明书等中,关于通过对图像数据使用滤波加权重来生成的第一数据,有时使用“*”来表示。例如,有时将通过对图像数据IMn使用第一滤波FL11加权重来生成的第一数据表示为第一数据IMn*FL11。此外,关于从第一数据生成的第二数据,有时使用“+”来表示。例如,有时将第一数据IMn*FL11与第一数据IMn+1*FL21加在一起来生成的第二数据表示为第二数据(IMn*FL11)+(IMn+1*FL21)。
在第n+1帧,使光电转换器件101工作,取得图像数据IMn+1。在第n+1帧,电路130a对图像数据IMn+1使用第二滤波FL21加权重,而生成第一数据IMn+1*FL21。在第n+1帧,电路130b对所保持的在第n帧取得的图像数据IMn使用第一滤波FL11加权重,而生成第一数据IMn*FL11。并且,将第n帧的第一数据IMn*FL11与第n+1帧的第一数据IMn+1*FL21加在一起,而生成第二数据(IMn*FL11)+(IMn+1*FL21)。从像素100输出所生成的第二数据(IMn*FL11)+(IMn+1*FL21)。
在第n+1帧,对在第n+1帧取得的图像数据IMn+1使用第二滤波FL21加权重,对在前一帧的第n帧取得的图像数据IMn使用第一滤波FL11加权重。
在第n+2帧,使光电转换器件101工作,取得图像数据IMn+2。在第n+2帧,电路130b对图像数据IMn+2使用第二滤波FL21加权重,而生成第一数据IMn+2*FL21。在第n+2帧,电路130a对所保持的在第n+1帧取得的图像数据IMn+1使用第一滤波FL11加权重,而生成第一数据IMn+1*FL11。并且,将第n+1帧的第一数据IMn+1*FL11与第n+2帧的第一数据IMn+2*FL21加在一起,而生成第二数据(IMn+1*FL11)+(IMn+2*FL21)。从像素100输出所生成的第二数据(IMn+1*FL11)+(IMn+2*FL21)。
在第n+2帧,对在第n+2帧取得的图像数据IMn+2使用第二滤波FL21加权重,对在前一帧的第n+1帧取得的图像数据IMn+1使用第一滤波FL11加权重。
在所有帧,都对在该帧取得的图像数据使用第二滤波FL21加权重,对在前一帧取得的图像数据使用第一滤波FL11加权重。
以后的帧也可以进行与上述同样的工作。
在此,第一滤波FL11及第二滤波FL21的尺寸(像素数)各自例如可以为2行2列、3行3列或4行4列。第一滤波FL11及第二滤波FL21的水平方向上的尺寸(像素数)各自也可以与垂直方向上的尺寸(像素数)不同。第一滤波FL11及第二滤波FL21的尺寸(像素数)可以与像素区块200所包括的像素数相同。例如,在像素区块200所包括的像素数为3行3列的情况下,可以使用3行3列的第一滤波FL11及第二滤波FL21。此外,第一滤波FL11和第二滤波FL21各自包括的构成要素(权重)既可以相同,又可以不同。
在图5中示出电路130a及电路130b各自使用一种滤波的例子,但是本发明的一个方式不局限于此。电路130a及电路130b也可以各自使用多种滤波。在使用多种滤波的情况下,可以使该多种滤波所包括的构成要素(权重)不同。通过使用构成要素(权重)不同的多种滤波,可以从所取得的图像数据抽出多种特征量而进行高精度的图像处理。例如,通过将第二数据用作插补帧间的图像数据,可以实现流畅的动态图像,并且可以实现能够拍摄高质量的动态图像的摄像装置。尤其是,在帧频较低的情况下也可以实现流畅的动态图像。
图6示出电路130a及电路130b各自使用三种滤波的例子。在图6中,作为一个例子示出第n帧至第n+2帧的三个帧的工作。
在第n帧,使光电转换器件101工作,取得图像数据IMn。在第n帧,电路130b对图像数据IMn使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,而生成第一数据IMn*FL21、第一数据IMn*FL22及第一数据IMn*FL23。在第n帧,电路130a对所保持的在第n-1帧取得的图像数据IMn-1使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重,而生成第一数据IMn-1*FL11、第一数据IMn-1*FL12及第一数据IMn-1*FL13。
将第n-1帧的第一数据IMn-1*FL11与第n帧的第一数据IMn*FL21加在一起,而生成第二数据(IMn-1*FL11)+(IMn*FL21)。将第n-1帧的第一数据IMn-1*FL12与第n帧的第一数据IMn*FL22加在一起,而生成第二数据(IMn-1*FL12)+(IMn*FL22)。将第n-1帧的第一数据IMn-1*FL13与第n帧的第一数据IMn*FL23加在一起,而生成第二数据(IMn-1*FL13)+(IMn*FL23)。从像素100输出所生成的第二数据(IMn-1*FL11)+(IMn*FL21)、第二数据(IMn-1*FL12)+(IMn*FL22)及第二数据(IMn-1*FL13)+(IMn*FL23)。
在第n帧,对在第n帧取得的图像数据IMn使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,对在前一帧的第n-1帧取得的图像数据IMn-1使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重。
在第n+1帧,使光电转换器件101工作,取得图像数据IMn+1。在第n+1帧,电路130a对图像数据IMn+1使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,而生成第一数据IMn+1*FL21、第一数据IMn+1*FL22及第一数据IMn+1*FL23。在第n+1帧,电路130b对所保持的在第n帧取得的图像数据IMn使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重,而生成第一数据IMn*FL11、第一数据IMn*FL12及第一数据IMn*FL13。
将第n帧的第一数据IMn*FL11与第n+1帧的第一数据IMn+1*FL21加在一起,而生成第二数据(IMn*FL11)+(IMn+1*FL21)。将第n帧的第一数据IMn*FL12与第n+1帧的第一数据IMn+1*FL22加在一起,而生成第二数据(IMn*FL12)+(IMn+1*FL22)。将第n帧的第一数据IMn*FL13与第n+1帧的第一数据IMn+1*FL23加在一起,而生成第二数据(IMn*FL13)+(IMn+1*FL23)。从像素100输出所生成的第二数据(IMn*FL11)+(IMn+1*FL21)、第二数据(IMn*FL12)+(IMn+1*FL22)及第二数据(IMn*FL13)+(IMn+1*FL23)。
在第n+1帧,对在第n+1帧取得的图像数据IMn+1使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,对在前一帧的第n帧取得的图像数据IMn使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重。
在第n+2帧,使光电转换器件101工作,取得图像数据IMn+2。在第n+2帧,电路130b对图像数据IMn+2使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,而生成第一数据IMn+2*FL21、第一数据IMn+2*FL22及第一数据IMn+2*FL23。在第n+2帧,电路130a对所保持的在第n+1帧取得的图像数据IMn+1使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重,而生成第一数据IMn+1*FL11、第一数据IMn+1*FL12及第一数据IMn+1*FL13。
将第n+1帧的第一数据IMn+1*FL11与第n+2帧的第一数据IMn+2*FL21加在一起,而生成第二数据(IMn+1*FL11)+(IMn+2*FL12)。将第n+1帧的第一数据IMn+1*FL12与第n+2帧的第一数据IMn+2*FL22加在一起,而生成第二数据(IMn+1*FL12)+(IMn+2*FL12)。将第n+1帧的第一数据IMn+1*FL13与第n+2帧的第一数据IMn+2*FL23加在一起,而生成第二数据(IMn+1*FL13)+(IMn+2*FL23)。从像素100输出所生成的第二数据(IMn+1*FL11)+(IMn+2*FL21)、第二数据(IMn+1*FL12)+(IMn+2*FL22)及第二数据(IMn+1*FL13)+(IMn+2*FL23)。
在第n+2帧,对在第n+2帧取得的图像数据IMn+2使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,对在前一帧的第n+1帧取得的图像数据IMn+1使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重。
在所有帧,都对在该帧取得的图像数据使用第二滤波FL21、第四滤波FL22及第六滤波FL23加权重,对在前一帧取得的图像数据使用第一滤波FL11、第三滤波FL12及第五滤波FL13加权重。
以后的帧也可以进行与上述同样的工作。
参照图4说明电路130a及电路130b的结构。
电路130a包括晶体管102a、晶体管103a、电容器104a、晶体管105a及晶体管106a。光电转换器件101的一个电极与晶体管102a的源极和漏极中的一个电连接。晶体管102a的源极和漏极中的另一个与晶体管103a的源极和漏极中的一个、电容器104a的一个电极及晶体管105a的栅极电连接。晶体管105a的源极和漏极中的一个与晶体管108的源极和漏极中的一个电连接。电容器104a的另一个电极与晶体管106b的源极和漏极中的一个电连接。
光电转换器件101的另一个电极与布线114电连接。晶体管108的源极和漏极中的另一个与布线113电连接。晶体管108的栅极与布线122电连接。
晶体管102a的栅极与布线116a电连接。晶体管103a的源极和漏极中的另一个与布线115a电连接。晶体管103a的栅极与布线117a电连接。晶体管105a的源极和漏极中的另一个与布线119a电连接。晶体管106a的源极和漏极中的另一个与布线111a电连接。晶体管106a的栅极与布线112a电连接。
在此,将晶体管102a的源极和漏极中的另一个、晶体管103a的源极和漏极中的一个、电容器104a的一个电极和晶体管105a的栅极电连接的部分记作节点NDa。
布线114及布线115a各自可以用作电源线。例如,布线114可以用作低电位电源线,布线115a可以用作高电位电源线。布线112a、布线116a、布线117a、布线122可以用作控制各晶体管的导通的信号线。布线111a可以用作对像素100提供相当于权系数的电位的布线。布线113可以用作使像素100与电路201电连接的布线。布线119a可以用作低电位电源线(例如,GND布线)。
另外,布线113也可以与放大电路或增益可调电路电连接。
晶体管102a能够控制节点NDa的电位。晶体管103a能够使节点NDa的电位初始化。晶体管105a能够根据节点NDa的电位控制电路201流过的电流(从布线217流到布线119a的电流)。晶体管106a能够对节点NDa提供相当于权系数的电位。晶体管108能够选择像素。
在图4中,也可以使光电转换器件101所包括的一对电极的连接方向相反。在该情况下,布线114可以用作高电位电源线,布线115a可以用作低电位电源线。
作为晶体管102a、晶体管103a优选使用在沟道形成区域使用金属氧化物的晶体管(OS晶体管)。OS晶体管也具有关态电流极低的特性。通过作为晶体管102a、晶体管103a使用OS晶体管,可以使节点NDa能够保持电荷的期间极长。另外,可以采用在所有的像素中同时进行电荷储存工作的全局快门方式而无需采用复杂的电路结构及工作方法。另外,也可以在将图像数据保持在节点NDa的同时进行用该图像数据的多次运算。
另一方面,有时优选晶体管105a的放大特性良好。另外,由于晶体管106a、晶体管108有时优选使用能够高速工作的迁移率高的晶体管。由此,作为晶体管105a、晶体管106a、晶体管108可以使用将硅用于沟道形成区域的晶体管(Si晶体管)。
注意,不局限于上述结构,也可以任意地组合OS晶体管及Si晶体管而使用。另外,也可以作为所有晶体管都使用OS晶体管。或者,所有晶体管也都可以使用Si晶体管。作为Si晶体管,可以举出含有非晶硅的晶体管、含有结晶硅(微晶硅、低温多晶硅、单晶硅)的晶体管等。
像素100中的节点NDa的电位为从布线115a所提供的复位电位减去由光电转换器件101的光电转换生成的电位(图像数据)而得的电位。再者,节点NDa的电位根据由布线111a所提供的相当于权系数的电位被电容耦合而决定。因此,晶体管105a可以使对应于对图像数据加任意权系数而得的数据的电流流过。注意,在使光电转换器件101所包括的一对电极的连接方向与图4相反的情况下,节点NDa的电位根据将布线115a所提供的复位电位与由光电转换器件101的光电转换生成的电位(图像数据)加在一起的电位而决定。
电路130b可以使用与电路130a相同的结构。电路130b包括晶体管102b、晶体管103b、电容器104b、晶体管105b及晶体管106b。关于晶体管102b、晶体管103b、电容器104b、晶体管105b及晶体管106b,可以分别参照晶体管102a、晶体管103a、电容器104a、晶体管105a及晶体管106a的说明,因此省略详细说明。
注意,在本说明书等中,有时将晶体管102a和晶体管102b统称为晶体管102。有时将晶体管103a和晶体管103b统称为晶体管103。有时将电容器104a和电容器104b统称为电容器104。有时将晶体管105a和晶体管105b统称为晶体管105。有时将晶体管106a和晶体管106b统称为晶体管106。有时将电路130a和电路130b统称为电路130。
关于布线111b、布线112b、布线115b、布线116b、布线117b及布线119b,可以分别参照布线111a、布线112a、布线115a、布线116a、布线117a及布线119a的说明,因此省略详细说明。与此同样,关于节点NDb,也可以参照节点NDa的说明,因此省略详细说明。注意,布线115a和布线115b可以为共同布线。此外,布线119a和布线119b可以为共同布线。通过使用共同布线,可以减少布线个数而缩小在像素中所占的布线的面积,由此可以实现高清晰摄像装置。
<电路201>
如图2所示,各像素100通过布线113彼此电连接。电路201可以利用各像素100的晶体管105中流过的电流的总和进行运算。
电路201包括电容器202、晶体管203、晶体管204、晶体管205、晶体管206和晶体管207。晶体管207被用作电压转换电路。晶体管207的栅极被施加适当的模拟电位(Bias)。
电容器202的一个电极与晶体管203的源极和漏极中的一个及晶体管204的栅极电连接。晶体管204的源极和漏极中的一个与晶体管205的源极和漏极中的一个及晶体管206的源极和漏极中的一个电连接。电容器202的另一个电极与布线113及晶体管207的源极和漏极中的一个电连接。
在此,将连接电容器202的一个电极、晶体管203的源极和漏极中的一个及晶体管204的栅极的点记作节点C。
晶体管203的源极和漏极中的另一个与布线218电连接。晶体管204的源极和漏极中的另一个与布线219电连接。晶体管205的源极和漏极中的另一个与GND布线等基准电源线电连接。晶体管206的源极和漏极中的另一个与布线212电连接。晶体管207的源极和漏极中的另一个与布线217电连接。晶体管203的栅极与布线216电连接。晶体管205的栅极与布线215电连接。晶体管206的栅极与布线213电连接。
布线217、布线218及布线219各自可以用作电源线。例如,布线218可以用作提供读出用复位电位(Vr)的布线。布线217及布线219各自可以用作高电位电源线。布线213、布线215及布线216可以用作控制各晶体管的导通的信号线。布线212为输出线,例如,可以与图1所示的电路301电连接。
晶体管203可以具有将节点C的电位复位到布线218的电位的功能。晶体管204、晶体管205可以具有作为源极跟随电路的功能。晶体管206可以具有控制读出的功能。另外,电路201也可以用作相关双采样电路(CDS电路),也可以换用具有该功能的其他结构的电路。
在本发明的一个方式中,去除图像数据(X)与权系数(W)的积以外的偏置成分抽出图像数据(X)与权系数(W)的积(WX)。WX可以利用在同一像素中取得的有曝光(有摄像)数据、没有曝光(没有摄像)数据以及对这些数据加权的数据来算出。
进行了曝光时流过像素100的电流(Ip)总和为kΣ(X-Vth)2,加权后流过像素100的电流(Ip)总和为kΣ(W-X-Vth)2。另外,没进行曝光时流过像素100的电流(Iref)总和为kΣ(0-Vth)2,加权后流过像素100的电流(Iref)总和为kΣ(W-Vth)2。在此,k为常数,Vth为晶体管105的阈值电压。
首先,算出进行有曝光数据与对该数据进行了加权的数据之差分(数据A)。即,kΣ((-X-Vth)2-(W-X-Vth)2)=kΣ(-W2+2W·X+2W·Vth)。
接着,算出没有曝光数据与对该数据进行了加权的数据之差分(数据B)。即,kΣ((0-Vth)2-(W-Vth)2)=kΣ(-W2+2W·Vth)。
然后,获取数据A与数据B的差分。即,kΣ(-W2+2W·X+2W·Vth-(-W2+2W·Vth))=kΣ(2W·X)。也就是说,可以去除图像数据(X)与权系数(W)的积以外的偏置成分。
电路201可以读出数据A及数据B。数据A与数据B的差分运算例如可以利用电路301进行。
对使光电转换器件101所包括的一对电极的连接方向与图4相反的情况进行说明。
进行了曝光时流过像素100的电流(Ip)总和为kΣ(X-Vth)2,加权后流过像素100的电流(Ip)总和为kΣ(W+X-Vth)2。另外,没进行曝光时流过像素100的电流(Iref)总和为kΣ(0-Vth)2,加权后流过像素100的电流(Iref)总和为kΣ(W-Vth)2
首先,算出有曝光数据与对该数据进行了加权的数据之差分(数据A)。即,kΣ((X-Vth)2-(W+X-Vth)2)=kΣ(-W2-2W·X+2W·Vth)。
接着,算出没有曝光数据与对该数据进行了加权的数据之差分(数据B)。即,kΣ((0-Vth)2-(W-Vth)2)=kΣ(-W2+2W·Vth)。
然后,获取数据A与数据B的差分。即,kΣ(-W2-2W·X+2W·Vth-(-W2+2W·Vth))=kΣ(-2W·X)。在使光电转换器件101所包括的一对电极的连接方向与图4相反的情况下,也可以去除图像数据(X)与权系数(W)的积以外的偏置成分。
作为晶体管203,优选使用在沟道形成区域中包含金属氧化物的晶体管(OS晶体管)。通过作为晶体管203使用OS晶体管,可以使节点C能够保持电荷的期间极长。
作为晶体管204及晶体管205,有时优选使用能够高速工作的迁移率高的晶体管。由此,作为晶体管204及晶体管205,也可以使用Si晶体管。
注意,不局限于上述结构,也可以任意地组合OS晶体管及Si晶体管而使用。另外,也可以作为所有晶体管都使用OS晶体管。或者,也可以作为所有晶体管都使用Si晶体管。
<摄像工作1>
图7是说明在像素区块200及电路201中计算有曝光数据和对该数据加权而得的数据之差分(数据A)的工作的时序图。注意,为了方便起见,使信号所转换的时机一致而图示,但是实际上优选考虑电路内部的延迟使信号所转换的时机不一致。另外,在以下说明中,“H”表示高电位,“L”表示低电位。
在此,参照图7说明图5所示的第n+1帧的工作。
首先,在期间T11,将布线116a的电位设定为“H”,将布线117a的电位设定为“H”,将像素100的节点NDa设定为复位电位。此外,将布线111a_1至布线111a_3(第一行至第三行的布线111a)的电位设定为“L”,将布线112a_1至布线112a_3(第一行至第三行的布线112a)的电位设定为“H”,写入权系数0。同样地,将布线111b_1至布线111b_3(第一行至第三行的布线111b)的电位设定为“L”,将布线112b_1至布线112b_3(第一行至第三行的布线112b)的电位设定为“H”,写入权系数0。
在期间T12,将布线116a的电位设定为“L”,将布线117a的电位设定为“L”,由光电转换器件101进行曝光工作。
在期间T13,将布线116a的电位设定为“H”,传送由光电转换器件101生成的电位,向节点NDa写入第n+1帧的电位Xn+1(图像数据)。期间T11至期间T13相当于取得第n+1帧的有曝光数据的期间。注意,在节点NDb中保持前一帧的第n帧的电位Xn(图像数据)。
在期间T14,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块内的所有像素100。在此,布线122_1为第一行的像素100的布线122,布线122_2为第二行的像素100的布线122,布线122_3为第三行的像素100的布线122。此时,对应于电位Xn+1的电流流过各像素100的晶体管105a。对应于电位Xn的电流流过晶体管105b。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr,节点C的电位被初始化为电位Vr。
在期间T15,通过使布线111a_1的电位处于相当于权系数W11(对第一行的像素加上的权重)的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W11加在一起。
通过使布线111a_2的电位处于相当于权系数W12(对第二行的像素加上的权重)的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W12加在一起。
通过使布线111a_3的电位处于相当于权系数W13(对第三行的像素加上的权重)的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W13加在一起。注意,权系数W11、权系数W12及权系数W13是第一滤波FL11的构成要素。
通过使布线111b_1的电位处于相当于权系数W21(对第一行的像素加上的权重)的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W21加在一起。
通过使布线111b_2的电位处于相当于权系数W22(对第二行的像素加上的权重)的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W22加在一起。
通过使布线111b_3的电位处于相当于权系数W23(对第三行的像素加上的权重)的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W23加在一起。注意,权系数W21、权系数W22及权系数W23是第二滤波FL21的构成要素。
从期间T14以来,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于电位W11+Xn+1的电流流过第一行的像素100的晶体管105a,对应于电位W21+Xn的电流流过晶体管105b。此外,对应于电位W12+Xn+1的电流流过第二行的像素100的晶体管105a,对应于电位W22+Xn的电流流过晶体管105b。此外,对应于电位W13+Xn+1的电流流过第三行的像素100的晶体管105a,对应于电位W23+Xn的电流流过晶体管105b。
在此,电容器202的另一个电极的电位根据流过布线113的电流变化,其变化量Y因电容耦合被加到节点C的电位Vr。因此,节点C的电位变为“Vr+Y”。在此,当Vr=0时,Y即是差分,数据A被计算出来。
通过使布线213的电位为“H”、布线215的电位为“Vbias”等适当的模拟电位,电路201通过源跟随工作可以输出对应第一行的像素区块200的数据A的信号电位(以下,也记载为进行读出)。
在图7中,将与第一列的多个像素区块200电连接的电路201所包括的布线213记载为布线213A,将与第二列的多个像素区块200电连接的电路201所包括的布线213记载为布线213B。因为第三列以后也是同样的,所以未图示。在期间T15,使布线213A、布线213B等依次处于“H”,从各像素区块200进行读出。虽然在图7中示出使布线213A、布线213B依次处于“H”的例子,但是本发明的一个方式不局限于此。各布线213在期间T15具有成为“H”的期间即可。
注意,在本说明书等中,有时将布线213A、布线213B等统称为布线213。
期间T15的工作相当于在第n+1帧基于有摄像数据生成数据A并将数据A输出到电路301(进行读出)的期间。
在期间T16,使布线122_1、布线122_2、布线122_3、布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3、布线213A、布线213B及布线215的电位处于“L”。
到此为止是第n+1帧的工作的说明。
接着,参照图7说明图5所示的第n+2帧的工作。注意,在此主要说明与上述第n+1帧(期间T11至期间T16)不同的部分,而省略相同部分的说明。
首先,在期间T21,将布线116b的电位设定为“H”,将布线117b的电位设定为“H”,将像素100的节点NDb设定为复位电位。此外,将布线111a_1至布线111a_3的电位设定为“L”,将布线112a_1至布线112a_3的电位设定为“H”,写入权系数0。同样地,将布线111b_1至布线111b_3的电位设定为“L”,将布线112b_1至布线112b_3的电位设定为“H”,写入权系数0。
在期间T22,将布线116b的电位设定为“L”,将布线117b的电位设定为“L”,由光电转换器件101进行曝光工作。
在期间T23,将布线116b的电位设定为“H”,传送由光电转换器件101生成的电位,向节点NDb写入第n+2帧的电位Xn+2(图像数据)。期间T21至期间T23相当于取得第n+2帧的有曝光数据的期间。注意,在节点NDa中保持前一帧的第n+1帧的电位Xn+1(图像数据)。
在期间T24,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块内的所有像素100。此时,对应于电位Xn+1的电流流过各像素100的晶体管105a。对应于电位Xn+2的电流流过晶体管105b。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr,节点C的电位被初始化为电位Vr。
在期间T25,通过使布线111a_1的电位处于相当于权系数W21(对第一行的像素加上的权重)的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W21加在一起。
通过使布线111a_2的电位处于相当于权系数W22(对第二行的像素加上的权重)的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W22加在一起。
通过使布线111a_3的电位处于相当于权系数W23(对第三行的像素加上的权重)的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W23加在一起。
通过使布线111b_1的电位处于相当于权系数W11(对第一行的像素加上的权重)的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W11加在一起。
通过使布线111b_2的电位处于相当于权系数W12(对第二行的像素加上的权重)的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W12加在一起。
通过使布线111b_3的电位处于相当于权系数W13(对第三行的像素加上的权重)的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W13加在一起。
从期间T24以来,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于电位W21+Xn+1的电流流过第一行的像素100的晶体管105a,对应于电位W11+Xn+2的电流流过晶体管105b。此外,对应于电位W22+Xn+1的电流流过第二行的像素100的晶体管105a,对应于电位W12+Xn+2的电流流过晶体管105b。此外,对应于电位W23+Xn+1的电流流过第三行的像素100的晶体管105a,对应于电位W13+Xn+2的电流流过晶体管105b。
在此,电容器202的另一个电极的电位根据流过布线113的电流变化,其变化量Y因电容耦合被加到节点C的电位Vr。因此,节点C的电位变为“Vr+Y”。在此,当Vr=0时,Y即是差分,数据A被计算出来。
通过使布线213的电位为“H”、布线215的电位为“Vbias”等适当的模拟电位,电路201通过源跟随工作可以输出对应第一行的像素区块200的数据A的信号电位。
期间T25的工作相当于在第n+2帧基于有摄像数据生成数据A并将数据A输出到电路301(进行读出)的期间。
在期间T26,使布线122_1、布线122_2、布线122_3、布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3、布线213A、布线213B及布线215的电位处于“L”。
到此为止是第n+2帧的工作的说明。
以后的帧也可以进行与上述同样的工作。
图8是说明在像素区块200及电路201中计算没有曝光数据和对该数据加权而得的数据之差分(数据B)的工作的时序图。数据B根据需要取得即可。例如,在所输入的权重没有变化时,也可以将所取得的数据B储存于存储器而从该存储器读出数据B。另外,也可以将对应于多个权重的多个数据B储存于该存储器。另外,既可以先取得数据A,又可以先取得数据B。
在此,参照图8说明第n+1帧的工作。注意,在此主要说明与上述图7不同的部分,而省略相同部分的说明。
首先,在期间T11至T13,将布线116a的电位设定为“H”,将布线117a的电位设定为“H”,将像素100的节点NDa设定为复位电位。同样地,将布线116b的电位设定为“H”,将布线117b的电位设定为“H”,将像素100的节点NDb设定为复位电位。就是说,在该期间,无论光电转换器件101的工作如何节点NDa及节点NDb的电位都为复位电位。在期间T13结束时,使布线116a、布线117a、布线116b及布线117b的电位处于“L”。
在期间T11,将布线111a_1、布线111a_2、布线111a_3的电位设定为“L”,将布线112a_1、布线112a_2、布线112a_3设定为“H”,写入权系数0。该工作在节点NDa的电位为复位电位的期间进行即可。
同样地,将布线111b_1、布线111b_2、布线111b_3的电位设定为“L”,将布线112b_1、布线112b_2、布线112b_3设定为“H”,写入权系数0。该工作在节点NDb的电位为复位电位的期间进行即可。
在期间T14,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于复位电位的电流流过各像素100的晶体管105a。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr。期间T14的工作相当于没有曝光数据的取得,该数据被初始化为节点C的电位Vr。
在期间T15,通过使布线111a_1的电位处于相当于权系数W11(对第一行的像素加上的权重)的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W11加在一起。
通过使布线111a_2的电位处于相当于权系数W12(对第二行的像素加上的权重)的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W12加在一起。
通过使布线111a_3的电位处于相当于权系数W13(对第三行的像素加上的权重)的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W13加在一起。
通过使布线111b_1的电位处于相当于权系数W21(对第一行的像素加上的权重)的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W21加在一起。
通过使布线111b_2的电位处于相当于权系数W22(对第二行的像素加上的权重)的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W22加在一起。
通过使布线111b_3的电位处于相当于权系数W23(对第三行的像素加上的权重)的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W23加在一起。
从期间T14以来,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于电位W11+0的电流流过第一行的像素100的晶体管105a,对应于电位W21+0的电流流过晶体管105b。此外,对应于电位W12+0的电流流过第二行的像素100的晶体管105a,对应于电位W22+0的电流流过晶体管105b。此外,对应于电位W13+0的电流流过第三行的像素100的晶体管105a,对应于电位W23+0的电流流过晶体管105b。
在此,电容器202的另一个电极的电位根据流过布线113的电流变化,其变化量Z因电容耦合被加到节点C的电位Vr。因此,节点C的电位变为“Vr+Z”。在此,当Vr=0时,Z即是差分,数据B被计算出来。
通过使布线213A、布线213B等的电位依次为“H”、布线215的电位为适当的模拟电位(Vbias)等,电路201通过源跟随工作可以输出对应第一行的像素区块200的数据B的信号电位。
期间T15的工作相当于基于没有摄像数据生成数据B并将数据B输出到电路301(进行读出)的期间。
在期间T16,使布线122_1、布线122_2、布线122_3、布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3、布线213A、布线213B及布线215的电位处于“L”。
通过上述工作,从电路201输出的数据A及数据B被输入到电路301。在电路301中,进行获取数据A与数据B之差分的运算可以去除图像数据(电位X)与权系数(电位W)的积以外的不需要的偏置成分。作为电路301,除了可以采用电路201那样的包括运算电路的结构之外,还可以采用利用存储电路及软件处理计算差分的结构。
在上述工作中的数据A的取得工作和数据B的取得工作中,电路201的节点C的电位都被初始化为同一电位“Vr”。并且,在之后的差分运算中,“(Vr+Y)-(Vr+Z)”=“Y-Z”,电位“Vr”的成分被去除。另外,如上所述,其他不需要的偏置成分也被去除,所以可以抽出图像数据(电位X)与权系数(电位W)之积。
到此为止是第n+1帧的工作的说明。
接着,参照图8说明第n+2帧的工作。注意,在此主要说明与上述第n+1帧(期间T11至期间T16)不同的部分,而省略相同部分的说明。
首先,在期间T21至T23,将布线116a的电位设定为“H”,将布线117a的电位设定为“H”,将像素100的节点NDa设定为复位电位。同样地,将布线116b的电位设定为“H”,将布线117b的电位设定为“H”,将像素100的节点NDb设定为复位电位。在期间T23结束时,使布线116a、布线117a、布线116b及布线117b的电位处于“L”。
在期间T21,将布线111a_1、布线111a_2、布线111a_3的电位设定为“L”,将布线112a_1、布线112a_2、布线112a_3设定为“H”,写入权系数0。同样地,将布线111b_1、布线111b_2、布线111b_3的电位设定为“L”,将布线112b_1、布线112b_2、布线112b_3设定为“H”,写入权系数0。
在期间T24,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于复位电位的电流流过各像素100的晶体管105b。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr。期间T24的工作相当于没有曝光数据的取得,该数据被初始化为节点C的电位Vr。
在期间T25,通过使布线111a_1的电位处于相当于权系数W21的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W21加在一起。
通过使布线111a_2的电位处于相当于权系数W22的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W22加在一起。
通过使布线111a_3的电位处于相当于权系数W23的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W23加在一起。
通过使布线111b_1的电位处于相当于权系数W11的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W11加在一起。
通过使布线111b_2的电位处于相当于权系数W12的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W12加在一起。
通过使布线111b_3的电位处于相当于权系数W13的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W13加在一起。
从期间T24以来,将布线122_1、布线122_2、布线122_3的电位设定为“H”,选择像素区块200内的所有像素100。此时,对应于电位W21+0的电流流过第一行的像素100的晶体管105a,对应于电位W11+0的电流流过晶体管105b。此外,对应于电位W22+0的电流流过第二行的像素100的晶体管105a,对应于电位W12+0的电流流过晶体管105b。此外,对应于电位W23+0的电流流过第三行的像素100的晶体管105a,对应于电位W13+0的电流流过晶体管105b。
在此,电容器202的另一个电极的电位根据流过布线113的电流变化,其变化量Z因电容耦合被加到节点C的电位Vr。因此,节点C的电位变为“Vr+Z”。在此,当Vr=0时,Z即是差分,数据B被计算出来。
通过使布线213A、布线213B等的电位依次为“H”、布线215的电位为适当的模拟电位(Vbias)等,电路201通过源跟随工作可以输出对应第一行的像素区块200的数据B的信号电位。
期间T25的工作相当于基于没有摄像数据生成数据B并将数据B输出到电路301(进行读出)的期间。
在期间T26,使布线122_1、布线122_2、布线122_3、布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3、布线213A、布线213B及布线215的电位处于“L”。
通过上述工作,从电路201输出的数据A及数据B被输入到电路301。在电路301中,进行获取数据A与数据B之差分的运算可以去除图像数据(电位X)与权系数(电位W)的积以外的不需要的偏置成分。
到此为止是第n+2帧的工作的说明。
以后的帧也可以进行与上述同样的工作。
该工作相当于进行推论等的神经网络的初始工作。因此,可以在将庞大图像数据取出到外部之前在摄像装置内进行至少一个运算,从而可以实现在外部进行的运算或数据的输入输出等负载的减少、处理的高速化以及功耗的降低。
作为与上述不同的工作,也可以在数据A的取得工作及数据B的取得工作中使电路201的节点C的电位初始化为不同电位。例如,假设在数据A的取得工作中被初始化为电位“Vr1”且在数据B的取得工作中被初始化为电位“Vr2”。在此情况下,在之后的差分运算中,“(Vr1+Y)-(Vr2+Z)”=“(Vr1-Vr2)+(Y-Z)”。与上述工作同样,“Y-Z”作为图像数据(电位X)与权系数(电位W)之积被抽出,并且被追加“Vr1-Vr2”。在此,“Vr1-Vr2”相当于在神经网络的中间层的运算中用来调整阈值的偏压。
作为与上述不同的工作,也可以使有摄像的布线215的电位与没有摄像的布线215的电位不同。例如,假设布线215的电位在数据A的取得工作中为电位“Vbias1”且在数据B的取得工作中为电位“Vbias2”。此外,假设在数据A的取得工作及数据B的取得工作各自中节点C被初始化为相同电位“Vr”。在此情况下,在之后的差分运算中,“(Vr+Y-Vbias1)-(Vr+Z-Vbias2)”=“(Vbias2-Vbias1)+(Y-Z)”。与上述工作同样,“Y-Z”作为图像数据(电位X)与权系数(电位W)之积被抽出,并且被追加“Vbias2-Vbias1”。在此,“Vbias2-Vbias1”相当于在神经网络的中间层的运算中用来调整阈值的偏压。
例如,权重被用作卷积神经网络(CNN:Convolutional Neural Network)的滤波,除了上述以外也可以具有进行数据的放大或衰减的功能。例如,通过将数据A的取得工作中的权系数(W)设为进行滤波处理的量与所放大的量之积,可以抽出被校正为明亮图像的数据。另外,数据B是没有摄像数据,也可以说是黑电平的数据。因此,取得数据A与数据B之差分的工作可以说是有助于实现在暗处拍摄的图像的可视化的工作。也就是说,可以进行利用神经网络的亮度校正。
如上所述,在本发明的一个方式中,可以在摄像装置的工作中生成偏压。另外,可以在摄像装置内施加具有功能性的权重。因此,可以减轻外部的运算等的负荷,而且可以用于各种用途。例如,可以在进行如下处理时在摄像装置内进行其一部分处理,该处理包括:拍摄对象的推论;图像数据的分辨率校正、亮度校正;从黑白图像生成彩色图像;从二维图像生成三维图像;缺陷信息的恢复;从静态图像生成动态图像;焦点不准的图像的修正;等。
<摄像工作2>
参照图9至图12说明电路130a及电路130b各自使用三种滤波的例子。
图9及图10是说明在像素区块200及电路201中计算有曝光数据和对该数据加权而得的数据之差分(数据A)的工作的时序图。注意,在此主要说明与上述图7不同的部分,而省略相同部分的说明。
参照图9说明第n+1帧的工作。注意,图9相当于图7所示的第n+1帧的工作。
关于期间T11至期间T13,可以参照图7的记载,因此省略详细说明。
关于期间T14_1至期间T15_1,各自可以参照图7的期间T14至期间T15的记载,因此省略详细说明。在期间T14_1至期间T15_1,电路130a对在第n+1帧取得的图像数据IMn+1使用第一滤波FL11加权重,电路130b对所保持的在第n帧取得的图像数据IMn使用第二滤波FL21加权重。在期间T14_1至期间T15_1,算出在第n+1帧使用第一滤波FL11及第二滤波FL21时的数据A。
在期间T14_2,将布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3的电位设定为“L”。此时,对应于电位Xn+1的电流流过各像素100的晶体管105a。对应于电位Xn的电流流过晶体管105b。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr,节点C的电位被初始化为电位Vr。
在期间T15_2,通过使布线111a_1的电位处于相当于权系数W31(对第一行的像素加上的权重)的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W31加在一起。
通过使布线111a_2的电位处于相当于权系数W32(对第二行的像素加上的权重)的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W32加在一起。
通过使布线111a_3的电位处于相当于权系数W33(对第三行的像素加上的权重)的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W33加在一起。注意,权系数W31、权系数W32及权系数W33是第三滤波FL12的构成要素。
通过使布线111b_1的电位处于相当于权系数W41(对第一行的像素加上的权重)的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W41加在一起。
通过使布线111b_2的电位处于相当于权系数W42(对第二行的像素加上的权重)的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W42加在一起。
通过使布线111b_3的电位处于相当于权系数W43(对第三行的像素加上的权重)的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W43加在一起。注意,权系数W41、权系数W42及权系数W43是第四滤波FL22的构成要素。
对应于电位W31+Xn+1的电流流过第一行的像素100的晶体管105a,对应于电位W41+Xn的电流流过晶体管105b。此外,对应于电位W32+Xn+1的电流流过第二行的像素100的晶体管105a,对应于电位W42+Xn的电流流过晶体管105b。此外,对应于电位W33+Xn+1的电流流过第三行的像素100的晶体管105a,对应于电位W43+Xn的电流流过晶体管105b。
在期间T14_2至期间T15_2,电路130a对在第n+1帧取得的图像数据IMn+1使用第三滤波FL12加权重,电路130b对所保持的在第n帧取得的图像数据IMn使用第四滤波FL22加权重。在期间T14_2至期间T15_2,算出使用第三滤波FL12及第四滤波FL22时的数据A。
同样地,在期间T14_3至期间T15_3,电路130a对在第n+1帧取得的图像数据IMn+1使用第五滤波FL13加权重,电路130b对所保持的在第n帧取得的图像数据IMn使用第六滤波FL23加权重。在期间T14_3至期间T15_3,算出使用第五滤波FL13及第六滤波FL23时的数据A。
关于期间T16,可以参照图7的记载,因此省略详细说明。
到此为止是第n+1帧的工作的说明。
参照图10说明第n+2帧的工作。注意,图10相当于图7所示的第n+2帧的工作。注意,在此主要说明与上述第n+1帧(期间T11至期间T16)不同的部分,而省略相同部分的说明。
关于期间T21至期间T23,可以参照图7的记载,因此省略详细说明。
关于期间T24_1至期间T25_1,各自可以参照图7的期间T24至期间T25的记载,因此省略详细说明。在期间T24_1至期间T25_1,电路130b对在第n+2帧取得的图像数据IMn+2使用第一滤波FL11加权重,电路130a对所保持的在第n+1帧取得的图像数据IMn+1使用第二滤波FL21加权重。在期间T24_1至期间T25_1,算出在第n+2帧使用第一滤波FL11及第二滤波FL21时的数据A。
在期间T24_2,对应于电位Xn+1的电流流过各像素100的晶体管105a。对应于电位Xn+2的电流流过晶体管105b。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr,节点C的电位被初始化为电位Vr。
在期间T25_2,通过使布线111a_1的电位处于相当于权系数W41的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W41加在一起。
通过使布线111a_2的电位处于相当于权系数W42的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W42加在一起。
通过使布线111a_3的电位处于相当于权系数W43的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W43加在一起。
通过使布线111b_1的电位处于相当于权系数W31的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W31加在一起。
通过使布线111b_2的电位处于相当于权系数W32的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W32加在一起。
通过使布线111b_3的电位处于相当于权系数W33的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W33加在一起。
对应于电位W41+Xn+1的电流流过第一行的像素100的晶体管105a,对应于电位W31+Xn+2的电流流过晶体管105b。此外,对应于电位W42+Xn+1的电流流过第二行的像素100的晶体管105a,对应于电位W32+Xn+2的电流流过晶体管105b。此外,对应于电位W43+Xn+1的电流流过第三行的像素100的晶体管105a,对应于电位W33+Xn+2的电流流过晶体管105b。
在期间T24_2至期间T25_2,电路130b对在第n+2帧取得的图像数据IMn+2使用第三滤波FL12加权重,电路130a对所保持的在第n+1帧取得的图像数据IMn+1使用第四滤波FL22加权重。在期间T24_2至期间T25_2,算出使用第三滤波FL12及第四滤波FL22时的数据A。
同样地,在期间T24_3至期间T25_3,电路130b对在第n+2帧取得的图像数据IMn+2使用第五滤波FL13加权重,电路130a对所保持的在第n+1帧取得的图像数据IMn+1使用第六滤波FL23加权重。在期间T24_3至期间T25_3,算出使用第五滤波FL13及第六滤波FL23时的数据A。
关于期间T26,可以参照图7的记载,因此省略详细说明。
到此为止是第n+2帧的工作的说明。
以后的帧也可以进行与上述同样的工作。
图11及图12是说明在像素区块200及电路201中计算没有曝光数据和对该数据加权而得的数据之差分(数据B)的工作的时序图。注意,在此主要说明与上述图8不同的部分,而省略相同部分的说明。
参照图11说明第n+1帧的工作。注意,图11相当于图8所示的第n+1帧的工作。
关于期间T11至期间T13,可以参照图8的记载,因此省略详细说明。
关于期间T14_1至期间T15_1,各自可以参照图8的期间T14至期间T15的记载,因此省略详细说明。在期间T14_1至期间T15_1,算出在第n+1帧使用第一滤波FL11及第二滤波FL21时的数据B。
在期间T14_2,将布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3的电位设定为“L”。此时,对应于复位电位的电流流过各像素100的晶体管105a。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr。期间T14的工作相当于没有曝光数据的取得,该数据被初始化为节点C的电位Vr。
在期间T15_2,通过使布线111a_1的电位处于相当于权系数W31的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W31加在一起。
通过使布线111a_2的电位处于相当于权系数W32的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W32加在一起。
通过使布线111a_3的电位处于相当于权系数W33的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W33加在一起。
通过使布线111b_1的电位处于相当于权系数W41的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W41加在一起。
通过使布线111b_2的电位处于相当于权系数W42的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W42加在一起。
通过使布线111b_3的电位处于相当于权系数W43的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W43加在一起。
在期间T14_2至期间T15_2,算出使用第三滤波FL12及第四滤波FL22时的数据B。
同样地,在期间T14_3至期间T15_3,算出使用第五滤波FL13及第六滤波FL23时的数据B。
关于期间T16,可以参照图8的记载,因此省略详细说明。
到此为止是第n+1帧的工作的说明。
参照图12说明第n+2帧的工作。注意,图12相当于图8所示的第n+2帧的工作。
关于期间T21至期间T23,可以参照图8的记载,因此省略详细说明。
关于期间T24_1至期间T25_1,各自可以参照图8的期间T24至期间T25的记载,因此省略详细说明。在期间T24_1至期间T25_1,算出在第n+2帧使用第一滤波FL11及第二滤波FL21时的数据B。
在期间T24_2,将布线112a_1、布线112a_2、布线112a_3、布线112b_1、布线112b_2、布线112b_3的电位设定为“L”。此时,对应于复位电位的电流流过各像素100的晶体管105a。此外,通过将布线216的电位设定为“H”,向节点C写入布线218的电位Vr。期间T14的工作相当于没有曝光数据的取得,该数据被初始化为节点C的电位Vr。
在期间T25_2,通过使布线111a_1的电位处于相当于权系数W41的电位而使布线112a_1的电位处于“H”,利用电容器104a的电容耦合将第一行的像素100的节点NDa与权系数W41加在一起。
通过使布线111a_2的电位处于相当于权系数W42的电位而使布线112a_2的电位处于“H”,利用电容器104a的电容耦合将第二行的像素100的节点NDa与权系数W42加在一起。
通过使布线111a_3的电位处于相当于权系数W43的电位而使布线112a_3的电位处于“H”,利用电容器104a的电容耦合将第三行的像素100的节点NDa与权系数W43加在一起。
通过使布线111b_1的电位处于相当于权系数W31的电位而使布线112b_1的电位处于“H”,利用电容器104b的电容耦合将第一行的像素100的节点NDb与权系数W31加在一起。
通过使布线111b_2的电位处于相当于权系数W32的电位而使布线112b_2的电位处于“H”,利用电容器104b的电容耦合将第二行的像素100的节点NDb与权系数W32加在一起。
通过使布线111b_3的电位处于相当于权系数W33的电位而使布线112b_3的电位处于“H”,利用电容器104b的电容耦合将第三行的像素100的节点NDb与权系数W33加在一起。
在期间T24_2至期间T25_2,算出使用第三滤波FL12及第四滤波FL22时的数据B。
同样地,在期间T24_3至期间T25_3,算出使用第五滤波FL13及第六滤波FL23时的数据B。
关于期间T26,可以参照图8的记载,因此省略详细说明。
到此为止是第n+2帧的工作的说明。
以后的帧也可以进行与上述同样的工作。注意,在此示出电路130a及电路130b各自使用三种滤波的例子,但是本发明的一个方式不局限于此。电路130a及电路130b也可以各自使用两种或四种以上的滤波。此外,电路130a及电路130b也可以各自使用一种滤波。
<像素电路的结构例子2>
图13示出与图4所示的像素100不同的结构例子。
图13所示的像素100与图4所示的像素100的主要不同之处在于:晶体管105a及晶体管105b各自包括背栅极;不包括晶体管106a及晶体管106b。
在图13所示的像素100中,晶体管105a的背栅极与布线111a电连接,从布线111a供应相当于权系数(W)的电位。晶体管105a的阈值电压(Vth)根据权系数(W)向负侧漂移,通态电流与向前栅极供应权系数(W)的情况同样地增加。晶体管105b的背栅极与布线111b电连接,从布线111b供应相当于权系数(W)的电位。晶体管105b的阈值电压(Vth)根据权系数(W)向负侧漂移,通态电流与向前栅极供应权系数(W)的情况同样地增加。在图13所示的像素100中,数据A与数据B之差为kΣ(2W·X),可以去除图像数据(X)与权系数(W)之积以外的偏置成分。作为包括背栅极的晶体管105a及晶体管105b,可以适当地使用OS晶体管。
在图13所示的像素100中,电容器104a的另一个电极与布线118a电连接。电容器104b的另一个电极与布线118b电连接。布线118a及布线118b各自具有供应固定电位的功能。注意,布线118a与布线115a和布线119b中的一个也可以为共同布线。例如,可以具有电容器104a的另一个电极与布线115a电连接的结构。同样地,布线118b与布线115b和布线119b中的一个也可以为共同布线。例如,可以具有电容器104b的另一个电极与布线115b电连接的结构。通过使用共同布线,可以减少布线个数而缩小在像素中所占的布线的面积,由此可以实现高清晰摄像装置。
关于摄像工作,可以参照上述图7至图12的记载,所以省略详细说明。
<电路301、电路302>
图14A是说明与电路201连接的电路301及电路302的图。从电路201输出的积和运算结果的数据依次输入到电路301。电路301除了具有进行之前所述的数据A与数据B的差分的运算功能之外还可以具有各种各样的运算功能。例如,电路301可以采用与电路201相同的结构。或者,软件处理也可以替代电路301的功能。
电路301也可以包括进行激活函数运算的电路。该电路例如可以使用比较器电路。比较器电路将对被输入的数据与设定的阈值进行比较的结果以2值数据的形式输出。也就是说,像素区块200及电路301可以用作神经网络的部分构成要素。
电路301也可以包括A/D转换器。当将图像数据从像素区块200输出到外部时,不考虑积和运算的有无可以利用电路301将模拟数据转换为数字数据。
例如,在包括3行3列的像素100的像素区块200中,通过对所有像素100供应同一权重(例如,0)而使要输出数据的像素所包括的晶体管108导通,可以从像素区块200输出像素区块200整体的图像数据的总和、每个行的图像数据的总和或者每一个像素的数据等。
像素区块200所输出的数据相当于多个位的图像数据,但是在电路301被2值化时,可以说使图像数据压缩。
从电路301输出的数据被依次输入到电路302。电路302例如可以具有包括锁存电路及移位寄存器等的结构。通过采用该结构,可以进行并串转换,并可以将并行被输入的数据作为串行数据输出到布线311。
如图14B所示,电路302也可以包括神经网络。该神经网络包括配置为矩阵状的存储单元,在各存储单元保持有权系数。从电路301输出的数据被分别输入到存储单元320可以进行积和运算。注意,图14B所示的存储单元的数量是一个例子而不局限于此。进行积和运算后的数据可以被输出到布线311。
另外,在图14A及图14B中,布线311的连接对象没有限制。例如,可以与神经网络、存储装置、通信装置等连接。
图14B所示的神经网络包括配置为矩阵状的存储单元320及参照存储单元325、电路330、电路350、电路360及电路370。
图15示出存储单元320及参照存储单元325的一个例子。参照存储单元325设置在任意一个列上。存储单元320及参照存储单元325具有彼此相同结构,都包括晶体管161、晶体管162及电容器163。
晶体管161的源极和漏极中的一个与晶体管162的栅极电连接。晶体管162的栅极与电容器163的一个电极电连接。在此,将晶体管161的源极和漏极中的一个、晶体管162的栅极与电容器163的一个电极连接的点记为节点NM。
晶体管161的栅极与布线WL电连接。电容器163的另一个电极与布线RW电连接。晶体管162的源极和漏极中的一个与GND布线等基准电位布线电连接。
在存储单元320中,晶体管161的源极和漏极中的另一个与布线WD电连接。晶体管162的源极和漏极中的另一个与布线BL电连接。
在参照存储单元325中,晶体管161的源极和漏极中的另一个与布线WDref电连接。晶体管162的源极和漏极中的另一个与布线BLref电连接。
布线WL与电路330电连接。作为电路330可以使用解码器或移位寄存器等。
布线RW与电路301电连接。各存储单元被写入从电路301输出的2值数据。此外,电路301与各存储单元间也可以具有移位寄存器等时序电路。
布线WD及布线WDref与电路350电连接。作为电路350可以使用解码器或移位寄存器等。另外,电路350也可以包括D/A转换器及SRAM。电路350可以输出写入到节点NM的权系数。
布线BL及布线BLref与电路360电连接。电路360可以具有与电路201相同的结构。由电路360可以得到从积和运算结果去除偏置成分的信号。
电路360与电路370电连接。另外,也可以将电路370称为激活函数电路。激活函数电路具有进行运算以根据预定义的激活函数变换从电路360输入的信号的功能。作为激活函数,例如可以使用sigmoid函数、tanh函数、softmax函数、ReLU函数及阈值函数等。由激活函数电路转换的信号作为输出数据输出到外部。
如图16A所示,神经网络NN可以由输入层IL、输出层OL及中间层(隐藏层)HL构成。输入层IL、输出层OL及中间层HL都包括一个或多个神经元(单元)。注意,中间层HL可以为一层或两层以上。包括具有两层以上的中间层HL的神经网络可以称为DNN(深度神经网络)。另外,利用深度神经网络的学习可以称为深度学习。
对输入层IL的各神经元输入输入数据。对中间层HL的各神经元输入前一层或后一层的神经元的输出信号。对输出层OL的各神经元输入前一层的神经元的输出信号。注意,各神经元既可以与前一层和后一层的所有神经元连结(全连结),又可以与部分神经元连结。
在是卷积神经网络(CNN)的情况下,中间层HL可以包括进行卷积处理的层(卷积层)、进行池化处理的层(池化层)、进行全连接处理的层(全连接层)。在卷积层中,通过进行卷积处理来抽出特征。此外,在卷积处理中,可以使用一个或多个权重滤波。注意,中间层HL除了上述以外还可以包括归一化层等。在卷积处理时,也可以组合填充(padding)或步长(stride)等处理。
图16B示出利用神经元的运算的例子。在此,示出神经元N及向神经元N输出信号的前一层的两个神经元。神经元N被输入前一层的神经元的输出x1及前一层的神经元的输出x2。在神经元N中,算出输出x1与权重w1的乘法结果(x1w1)和输出x2与权重w2的乘法结果(x2w2)之总和x1w1+x2w2,然后根据需要对其加偏压b,从而得到值a=x1w1+x2w2+b。值a被激活函数h变换,从神经元N输出信号y=ah。
如此,利用神经元的运算包括对前一层的神经元的输出与权重之积进行加法的运算,即,积和运算(上述x1w1+x2w2)。该积和运算既可以使用程序以软件进行,又可以以硬件进行。
在本发明的一个方式中,作为硬件使用模拟电路进行积和运算。在作为积和运算电路使用模拟电路时,可以缩小积和运算电路的电路规模或因向存储器访问的次数的减少而实现处理速度的提高及功耗的降低。
积和运算电路优选采用包括OS晶体管的结构。因为OS晶体管具有极小的关态电流,所以优选用作构成积和运算电路的模拟存储器的晶体管。另外,也可以使用Si晶体管和OS晶体管构成积和运算电路。
本实施方式可以与其他实施方式的记载适当地组合。
(实施方式2)
在本实施方式中对本发明的一个方式的摄像装置的结构例子等进行说明。
<结构例子>
图17A是示出摄像装置的像素结构的一个例子的图,可以采用层561及层563的叠层结构。
层561包括光电转换器件101。光电转换器件101如图18A所示可以包括层565a和层565b。注意,根据情况也可以将层换称为区域。
图18A所示的光电转换器件101是pn结型光电二极管,例如可以将p型半导体用于层565a,可以将n型半导体用于层565b。或者,可以将n型半导体用于层565a,可以将p型半导体用于层565b。
上述pn结型光电二极管典型地可以使用单晶硅形成。将单晶硅用于光电转换层的光电二极管具有紫外光至近红外光的较宽的分光灵敏度特性,通过与后述的光学转换层组合,可以检测出各种波长的光。
此外,作为pn结型光电二极管的光电转换层也可以使用化合物半导体。作为该化合物半导体,例如,可以使用镓-砷-磷化合物(GaAsP)、镓-磷化合物(GaP)、铟-镓-砷化合物(InGaAs)、铅-硫化合物(PbS)、铅-硒化合物(PbSe)、铟-砷化合物(InAs)、铟-锑化合物(InSb)、汞-镉-碲化合物(HgCdTe)等。
化合物半导体优选为包含第13族元素(铝、镓、铟等)及第15族元素(氮、磷、砷、锑等)的化合物半导体(也称为III-V族化合物半导体)或者包含第12族元素(镁、锌、镉、汞等)及第16族元素(氧、硫、硒、碲等)的化合物半导体(也称为II-VI族化合物半导体)。
在化合物半导体中,根据构成元素的组合及其原子数比可以改变带隙,因此可以形成在紫外光至近红外光的各种波长范围具有灵敏度的光电二极管。
注意,一般可以被定义为如下:紫外光的波长为0.01μm附近至0.38μm附近,可见光的波长为0.38μm附近至0.75μm附近,近红外光的波长为0.75μm附近至2.5μm附近,中红外光的波长为2.5μm附近至4μm附近,远红外光的波长为4μm附近至1000μm附近。
例如,为了形成对紫外光至可见光具有光灵敏度的光电二极管,可以将GaP等用于光电转换层。另外,为了形成对紫外光至近红外光具有光灵敏度的光电二极管,可以将上述硅或GaAsP等用于光电转换层。另外,为了形成对可见光至中红外光具有光灵敏度的光电二极管,可以将InGaAs等用于光电转换层。另外,为了形成对近红外光至中红外光具有光灵敏度的光电二极管,可以将PbS或InAs等用于光电转换层。另外,为了形成对中红外光至远红外光具有光灵敏度的光电二极管,可以将PbSe、InSb或HgCdTe等用于光电转换层。
注意,使用上述化合物半导体的光电二极管可以不是pn结型光电二极管而是pin结型光电二极管。pn结及pin结不局限于同质结结构,也可以采用异质结结构。
例如,在是异质结的情况下,可以将第一化合物半导体用于pn结结构的一个层且将不同于第一化合物半导体的第二化合物半导体用于pn结结构的另一个层。另外,可以将第一化合物半导体用于pin结结构的任一个层或任两个层且将不同于第一化合物半导体的第二化合物半导体用于其他层。此外,第一化合物半导体和第二化合物半导体中的一个也可以是硅等的单体半导体。
此外,也可以根据像素使用不同材料来形成光电二极管的光电转换层。通过采用该结构,可以形成包括检测出紫外光的像素、检测出可见光的像素和检测出红外光的像素等中的任两种像素或三种像素的摄像装置。
层561中的光电转换器件101可以如图18B所示地采用层566a、层566b、层566c和层566d的叠层。图18B所示的光电转换器件101是雪崩光电二极管的一个例子,层566a、层566d相当于电极,层566b、566c相当于光电转换部。
层566a优选为低电阻金属层等。例如,可以使用铝、钛、钨、钽、银或其叠层。
层566d优选使用对可见光具有高透光性的导电层。例如,可以使用铟氧化物、锡氧化物、锌氧化物、铟锡氧化物、镓锌氧化物、铟镓锌氧化物或石墨烯等。另外,可以省略层566d。
光电转换部的层566b、层566c例如可以具有将硒类材料作为光电转换层的pn结型光电二极管的结构。优选的是,作为层566b使用p型半导体的硒类材料,作为层566c使用n型半导体的镓氧化物等。
使用硒类材料的光电转换器件具有对可见光具有高外部量子效率的特性。该光电转换器件可以利用雪崩倍增而增加相对于入射光的量的电子放大量。另外,硒类材料具有高光吸收系数,所以例如可以以薄膜制造光电转换层,因此使用硒类材料从制造的观点来看有利。硒类材料的薄膜可以通过真空蒸镀法或溅射法等形成。
作为硒类材料,可以使用结晶硒(单晶硒、多晶硒)、非晶硒。这些硒对紫外光至可见光具有光灵敏度。另外,可以使用铜、铟、硒的化合物(CIS)或者铜、铟、镓、硒的化合物(CIGS)等。这些化合物对紫外光至近红外光具有光灵敏度。
n型半导体优选由带隙宽且对可见光具有透光性的材料形成。例如,可以使用锌氧化物、镓氧化物、铟氧化物、锡氧化物或者上述物质混在一起的氧化物等。另外,这些材料也具有空穴注入阻挡层的功能,可以减少暗电流。
层561中的光电转换器件101可以如图18C所示地采用层567a、层567b、层567c、层567d和层567e的叠层。图18C所示的光电转换器件101是有机光导电膜的一个例子,层567a为下部电极,层567e是具有透光性的上部电极,层567b、567c、567d相当于光电转换部。
光电转换部的层567b、567d中的任一个可以为空穴传输层,另一个可以为电子传输层。另外,层567c可以为光电转换层。
作为空穴传输层,例如可以使用氧化钼等。作为电子传输层,例如可以使用C60、C70等富勒烯或其衍生物等。
作为光电转换层,可以使用n型有机半导体和p型有机半导体的混合层(本体异质结结构)。有机半导体有各种各样的种类,作为光电转换层选择对目的波长具有光灵敏度的材料即可。
图17A所示的层563例如可以使用硅衬底。该硅衬底包括Si晶体管等。通过使用该Si晶体管除了可以形成像素电路之外还可以形成驱动该像素电路的电路、图像信号的读出电路、图像处理电路、神经网络、通信电路等。另外,也可以形成DRAM(Dynamic RandomAccess Memory:动态随机存取存储器)等存储电路、CPU(Central Processing Unit:中央处理器)、MCU(Micro Controller Unit:微控制单元)等。注意,在本实施方式中,将除了像素电路之外的上述电路称为功能电路。
例如,可以将在实施方式1中说明的像素电路(像素100)及功能电路(电路201、电路301、电路302、电路303、电路304、电路305等)所包括的部分晶体管或所有晶体管设置于层563中。
层563也可以如图17B所示地为多个层的叠层。图17B示出层563a、层563b及层563c的三层的例子,也可以为两层。或者,层563也可以为四层以上的叠层。这些层例如可以利用贴合工序等进行层叠。通过采用该结构可以将像素电路和功能电路分散在多个层中而可以重叠地设置像素电路和功能电路,由此可以制造小型且高性能的摄像装置。
像素也可以如图17C所示地采用层561、层562及层563的叠层结构。
层562可以包括OS晶体管。上述功能电路中的一个以上可以使用OS晶体管形成。或者,也可以使用层563所包括的Si晶体管和层562所包括的OS晶体管形成功能电路中的一个以上。此外,也可以作为层563使用玻璃衬底等支撑衬底且用层562所包括的OS晶体管形成功能电路。
例如,可以使用OS晶体管及Si晶体管实现常关闭CPU(也称为“Noff-CPU”)。Noff-CPU是指包括即使栅极电压为0V也处于非导通状态(也称为关闭状态)的常关闭型晶体管的集成电路。
在Noff-CPU中,可以停止向Noff-CPU中的不需要工作的电路的供电,使该电路处于待机状态。在供电停止而处于待机状态的电路中,没有电力消耗。因此,Noff-CPU可以将用电量抑制到最小限度。另外,即使供电停止,Noff-CPU也可以长时间保持设定条件等工作所需要的信息。当从待机状态恢复时,只要再次开始向该电路的供电即可,而不需要设定条件等的再次写入。就是说,可以高速从待机状态恢复。如此,Noff-CPU可以降低功耗,而无需大幅度降低工作速度。
层562也可以如图17D所示为多个层的叠层。图17D中示出层562a、层562b的两层结构,但是可以采用三层以上的叠层。这些层例如可以以层叠在层563上的方式形成。或者,也可以通过贴合形成在层563上的层与形成在层561上的层来形成。
作为用于OS晶体管的半导体材料,可以使用能隙为2eV以上,优选为2.5eV以上,更优选为3eV以上的金属氧化物。典型的有含有铟的氧化物半导体等,例如,可以使用后面提到的CAAC-OS或CAC-OS等。CAAC-OS中构成晶体的原子稳定,适用于重视可靠性的晶体管等。CAC-OS呈现高迁移率特性,适用于进行高速驱动的晶体管等。
由于OS晶体管的半导体层具有大能隙,所以呈现极低的关态电流特性,仅为几yA/μm(每沟道宽度1μm的电流值)。与Si晶体管不同,OS晶体管不会发生碰撞电离、雪崩击穿、短沟道效应等,因此能够形成具有高耐压性和高可靠性的电路。此外,Si晶体管中产生的起因于结晶性不均匀的电特性不均匀不容易产生在OS晶体管中。
作为OS晶体管中的半导体层,例如可以采用包含铟、锌及M(选自铝、钛、镓、锗、钇、锆、镧、铈、锡、钕和铪等金属中的一个或多个)的以“In-M-Zn类氧化物”表示的膜。典型的是,In-M-Zn类氧化物可以通过溅射法形成。或者,也可以通过ALD(Atomic layerdeposition:原子层沉积)法形成。
优选用来通过溅射法形成In-M-Zn类氧化物的溅射靶材的金属元素的原子数比满足In≥M及Zn≥M。这种溅射靶材的金属元素的原子数比优选为In:M:Zn=1:1:1、In:M:Zn=1:1:1.2、In:M:Zn=3:1:2、In:M:Zn=4:2:3、In:M:Zn=4:2:4.1、In:M:Zn=5:1:6、In:M:Zn=5:1:7、In:M:Zn=5:1:8等。注意,所沉积的半导体层的原子数比分别有可能在上述溅射靶材中的金属元素的原子数比的±40%的范围内变动。
作为半导体层,使用载流子密度低的氧化物半导体。例如,作为半导体层可以使用载流子密度为1×1017/cm3以下,优选为1×1015/cm3以下,更优选为1×1013/cm3以下,进一步优选为1×1011/cm3以下,更进一步优选为小于1×1010/cm3,1×10-9/cm3以上的氧化物半导体。将这样的氧化物半导体称为高纯度本征或实质上高纯度本征的氧化物半导体。该氧化物半导体的缺陷态密度低,因此可以说是具有稳定的特性的氧化物半导体。
注意,本发明不局限于上述记载,可以根据所需的晶体管的半导体特性及电特性(场效应迁移率、阈值电压等)来使用具有适当的组成的材料。另外,优选适当地设定半导体层的载流子密度、杂质浓度、缺陷密度、金属元素与氧的原子数比、原子间距离、密度等,以得到所需的晶体管的半导体特性。
当构成半导体层的氧化物半导体包含第14族元素之一的硅或碳时,氧空位增加,会使该半导体层变为n型。因此,将半导体层中的硅或碳的浓度(通过二次离子质谱分析法测得的浓度)设定为2×1018atoms/cm3以下,优选为2×1017atoms/cm3以下。
有时当碱金属及碱土金属与氧化物半导体键合时生成载流子,而使晶体管的关态电流增大。因此,将半导体层的碱金属或碱土金属的浓度(通过二次离子质谱分析法测得的浓度)设定为1×1018atoms/cm3以下,优选为2×1016atoms/cm3以下。
当构成半导体层的氧化物半导体含有氮时生成作为载流子的电子,载流子密度增加而容易n型化。其结果是,使用含有氮的氧化物半导体的晶体管容易具有常开启特性。因此,半导体层的氮浓度(通过二次离子质谱分析法测得的浓度)优选为5×1018atoms/cm3以下。
当构成半导体层的氧化物半导体包含氢时,氢与键合于金属原子的氧起反应生成水,因此有时在氧化物半导体中形成氧空位。在氧化物半导体中的沟道形成区域包含氧空位的情况下,晶体管趋于具有常开启特性。再者,有时氢进入氧空位中而成的缺陷被用作供体而生成作为载流子的电子。此外,有时氢的一部分键合到与金属原子键合的氧而生成作为载流子的电子。因此,使用包含较多的氢的氧化物半导体的晶体管容易具有常开启特性。
氢进入氧空位中而成的缺陷会被用作氧化物半导体的供体。然而,定量地评价该缺陷是困难的。于是,在氧化物半导体中,有时不是根据供体浓度而是根据载流子浓度进行评价。由此,在本说明书等中,有时作为氧化物半导体的参数,不采用供体浓度而采用假定为不被施加电场的状态的载流子浓度。也就是说,本说明书等所记载的“载流子浓度”有时可以称为“供体浓度”。
由此,优选尽可能减少氧化物半导体中的氢。具体而言,在氧化物半导体中,利用二次离子质谱(SIMS:Secondary Ion Mass Spectrometry)测得的氢浓度低于1×1020atoms/cm3,优选低于1×1019atoms/cm3,更优选低于5×1018atoms/cm3,进一步优选低于1×1018atoms/cm3。通过将氢等杂质被充分减少的氧化物半导体用于晶体管的沟道形成区域,可以赋予稳定的电特性。
半导体层例如也可以具有非单晶结构。非单晶结构例如包括具有c轴取向的结晶的CAAC-OS(C-Axis Aligned Crystalline Oxide Semiconductor)、多晶结构、微晶结构或非晶结构。在非单晶结构中,非晶结构的缺陷态密度最高,而CAAC-OS的缺陷态密度最低。
非晶结构的氧化物半导体膜例如具有无秩序的原子排列且不具有结晶成分。或者,非晶结构的氧化物膜例如是完全的非晶结构且不具有结晶部。
此外,半导体层也可以为具有非晶结构的区域、微晶结构的区域、多晶结构的区域、CAAC-OS的区域和单晶结构的区域中的两种以上的混合膜。混合膜有时例如具有包括上述区域中的任何两种以上的区域的单层结构或叠层结构。
下面,对非单晶半导体层的一个方式的CAC(Cloud-Aligned Composite)-OS的构成进行说明。
CAC-OS例如是指包含在氧化物半导体中的元素不均匀地分布的构成,其中包含不均匀地分布的元素的材料的尺寸为0.5nm以上且10nm以下,优选为1nm以上且2nm以下或近似的尺寸。注意,在下面也将在氧化物半导体中一个或多个金属元素不均匀地分布且包含该金属元素的区域以0.5nm以上且10nm以下,优选为1nm以上且2nm以下或近似的尺寸混合的状态称为马赛克(mosaic)状或补丁(patch)状。
氧化物半导体优选至少包含铟。尤其优选包含铟及锌。除此之外,也可以还包含选自铝、镓、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种。
例如,In-Ga-Zn氧化物中的CAC-OS(在CAC-OS中,尤其可以将In-Ga-Zn氧化物称为CAC-IGZO)是指材料分成铟氧化物(以下,称为InOX1(X1为大于0的实数))或铟锌氧化物(以下,称为InX2ZnY2OZ2(X2、Y2及Z2为大于0的实数))以及镓氧化物(以下,称为GaOX3(X3为大于0的实数))或镓锌氧化物(以下,称为GaX4ZnY4OZ4(X4、Y4及Z4为大于0的实数))等而成为马赛克状,且马赛克状的InOX1或InX2ZnY2OZ2均匀地分布在膜中的构成(以下,也称为云状)。
换言之,CAC-OS是具有以GaOX3为主要成分的区域和以InX2ZnY2OZ2或InOX1为主要成分的区域混在一起的构成的复合氧化物半导体。在本说明书中,例如,当第一区域的In与元素M的原子数比大于第二区域的In与元素M的原子数比时,第一区域的In浓度高于第二区域。
注意,IGZO是通称,有时是指包含In、Ga、Zn及O的化合物。作为典型例子,可以举出以InGaO3(ZnO)m1(m1为自然数)或In(1+x0)Ga(1-x0)O3(ZnO)m0(-1≤x0≤1,m0为任意数)表示的结晶性化合物。
上述结晶性化合物具有单晶结构、多晶结构或CAAC结构。CAAC结构是多个IGZO的纳米晶具有c轴取向且在a-b面上以不取向的方式连接的结晶结构。
另一方面,CAC-OS与氧化物半导体的材料构成有关。CAC-OS是指如下构成:在包含In、Ga、Zn及O的材料构成中,一部分中观察到以Ga为主要成分的纳米粒子状区域,一部分中观察到以In为主要成分的纳米粒子状区域,并且,这些区域以马赛克状无规律地分散。因此,在CAC-OS中,结晶结构是次要因素。
CAC-OS不包含组成不同的两种以上的膜的叠层结构。例如,不包含由以In为主要成分的膜与以Ga为主要成分的膜的两层构成的结构。
注意,有时观察不到以GaOX3为主要成分的区域与以InX2ZnY2OZ2或InOX1为主要成分的区域之间的明确的边界。
在CAC-OS中包含选自铝、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种以代替镓的情况下,CAC-OS是指如下构成:一部分中观察到以该金属元素为主要成分的纳米粒子状区域以及一部分中观察到以In为主要成分的纳米粒子状区域以马赛克状无规律地分散。
CAC-OS例如可以通过在对衬底不进行意图性的加热的条件下利用溅射法来形成。在利用溅射法形成CAC-OS的情况下,作为沉积气体,可以使用选自惰性气体(典型的是氩)、氧气体和氮气体中的一种或多种。另外,沉积时的沉积气体的总流量中的氧气体的流量比越低越好,例如,将氧气体的流量比设定为0%以上且低于30%,优选为0%以上且10%以下。
CAC-OS具有如下特征:通过根据X射线衍射(XRD:X-ray diffraction)测量法之一的Out-of-plane法利用θ/2θ扫描进行测量时,观察不到明确的峰。也就是说,根据X射线衍射,可知在测量区域中没有a-b面方向及c轴方向上的取向。
在通过照射束径为1nm的电子束(也称为纳米束)而取得的CAC-OS的电子衍射图案中,观察到环状的亮度高的区域(环状区域)以及在该环状区域内的多个亮点。由此,根据电子衍射图案,可知CAC-OS的结晶结构具有在平面方向及截面方向上没有取向的nc(nano-crystal)结构。
例如,在In-Ga-Zn氧化物的CAC-OS中,根据通过能量分散型X线分析法(EDX:Energy Dispersive X-ray spectroscopy)取得的EDX面分析(mapping)图像,可确认到:具有以GaOX3为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域不均匀地分布而混合的构成。
CAC-OS的结构与金属元素均匀地分布的IGZO化合物不同,具有与IGZO化合物不同的性质。换言之,CAC-OS具有以GaOX3等为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域互相分离且以各元素为主要成分的区域为马赛克状的构成。
在此,以InX2ZnY2OZ2或InOX1为主要成分的区域的导电性高于以GaOX3等为主要成分的区域。换言之,当载流子流过以InX2ZnY2OZ2或InOX1为主要成分的区域时,呈现氧化物半导体的导电性。因此,当以InX2ZnY2OZ2或InOX1为主要成分的区域在氧化物半导体中以云状分布时,可以实现高场效应迁移率(μ)。
另一方面,以GaOX3等为主要成分的区域的绝缘性高于以InX2ZnY2OZ2或InOX1为主要成分的区域。换言之,当以GaOX3等为主要成分的区域在氧化物半导体中分布时,可以抑制泄漏电流而实现良好的开关工作。
因此,当将CAC-OS用于半导体元件时,通过起因于GaOX3等的绝缘性及起因于InX2ZnY2OZ2或InOX1的导电性的互补作用可以实现高通态电流(Ion)及高场效应迁移率(μ)。
使用CAC-OS的半导体元件具有高可靠性。因此,CAC-OS适用于各种半导体装置的构成材料。
<叠层结构1>
接着,参照截面图对摄像装置的叠层结构进行说明。注意,以下所示的绝缘层及导电层等构成要素只是一个例子,也可以含有其他的构成要素。或者,也可以省略以下所示的构成要素的一部分。另外,以下所示的叠层结构可以根据需要利用贴合工序、抛光工序等形成。
图19是如下叠层体的截面图的一个例子,该叠层体包括层560、561及层563,并在构成层563的层563a与层563b间具有贴合面。
<层563b>
层563b可以包括设置在硅衬底611中的功能电路。在此,作为功能电路的一部分示出电路130中的晶体管105及晶体管108。
层563b设置有硅衬底611、绝缘层612、绝缘层613、绝缘层614、绝缘层616、绝缘层617、绝缘层618、导电层619。绝缘层612用作保护膜。绝缘层613、绝缘层614、绝缘层616、绝缘层617用作层间绝缘膜及平坦化膜。绝缘层618及导电层619用作贴合层。导电层619与晶体管105的栅极电连接。
作为保护膜,例如可以使用氮化硅膜、氧化硅膜、氧化铝膜等。作为层间绝缘膜及平坦化膜,例如可以使用氧化硅膜等无机绝缘膜、丙烯酸树脂、聚酰亚胺树脂等有机绝缘膜。作为电容器的介电层,可以使用氮化硅膜、氧化硅膜、氧化铝膜等。贴合层将在后面进行详述。
作为可用作用于器件间的电连接的布线、电极及插头的导电体,适当地选择选自铝、铬、铜、银、金、铂、钽、镍、钛、钼、钨、铪、钒、铌、锰、镁、锆、铍、铟、钌、铱、锶和镧等中的金属元素、以上述金属元素为成分的合金或者组合上述金属元素的合金等而使用即可。该导电体既可以为单层又可以为由不同材料构成的多个层。
<层563a>
层563a包括像素100的构成要素。另外,也可以包括功能电路的构成要素。在此,作为功能电路的构成要素,示出电路130中的晶体管102及晶体管103。
层563a中设置有硅衬底632、绝缘层631、绝缘层633、绝缘层634、绝缘层635、绝缘层637、绝缘层638。另外,还设置有导电层636、导电层639。
绝缘层631及导电层639可以用作贴合层。绝缘层634、635、637可以用作层间绝缘膜及平坦化膜。绝缘层633可以用作保护膜。绝缘层638可以使硅衬底632与导电层639绝缘。绝缘层638可以使用与其他绝缘层同样的材料形成。另外,绝缘层638可以使用与绝缘层631相同的材料形成。
导电层639与晶体管102的源极和漏极中的另一个及晶体管103的源极和漏极中的一个电连接。另外,导电层639与晶体管105的栅极及导电层619电连接。另外,导电层636与布线114(参照图4)电连接。
图19示出在硅衬底(硅衬底611、硅衬底632)中具有沟道形成区域的鳍型Si晶体管。图20A示出沟道宽度方向的截面(图19的层563a的A1-A2截面)。另外,Si晶体管也可以是图20B所示的平面型晶体管。
或者,如图20C所示,也可以采用包括硅薄膜的半导体层545的晶体管。例如,半导体层545可以使用在硅衬底632上的绝缘层546上形成的单晶硅(SOI(Silicon onInsulator:绝缘体上硅))。
<层561>
层561包括光电转换器件101。光电转换器件101可以形成在层563a上。在图19中,示出作为光电转换器件101将图18C所示的有机光导电膜用作光电转换层的结构。这里,层567a为阴极,层567e为阳极。
层561中设置有绝缘层651、绝缘层652、绝缘层653、绝缘层654及导电层655。
绝缘层651、绝缘层653、绝缘层654用作层间绝缘膜及平坦化膜。另外,绝缘层654以覆盖光电转换器件101的端部的方式设置而具有防止层567e和层567a之间发生短路的功能。绝缘层652用作元件分离层。元件分离层优选使用有机绝缘膜等。
相当于光电转换器件101的阴极的层567a与层563a中的晶体管102的源极和漏极中的一个电连接。相当于光电转换器件101的阳极的层567e通过导电层655与层563a中的导电层636电连接。
<层560>
层560形成在层561上。层560包括遮光层671、光学转换层672及微透镜阵列673。
遮光层671可以抑制光入射到相邻的像素。作为遮光层671可以使用铝、钨等的金属层。另外,也可以层叠该金属层与被用作反射防止膜的介电膜。
在光电转换器件101对可见光具有灵敏度时,作为光学转换层672可以使用彩色滤光片。通过按每个像素将(红色)、G(绿色)、B(蓝色)、Y(黄色)、C(青色)和M(品红色)等颜色分配给各彩色滤光片,可以获得彩色图像。例如,如图26A的立体图(包括截面)所示,也可以将彩色滤光片672R(红色)、彩色滤光片672G(绿色)、彩色滤光片672B(蓝色)分别分配给不同像素。
在光电转换器件101和光学转换层672的适当的组合中,在作为光学转换层672使用波长截止滤波片时,可以实现能够获得各种波长区域的图像的摄像装置。
例如,当作为光学转换层672使用阻挡可见光线的波长以下的光的红外滤光片时,可以得到红外线摄像装置。另外,通过作为光学转换层672使用阻挡近红外线的波长以下的光的滤光片,可以得到远红外线摄像装置。另外,通过作为光学转换层672使用阻挡可见光线的波长以上的光的紫外滤光片,可以得到紫外线摄像装置。
此外,也可以在一个摄像装置内配置不同的多个光学转换层。例如,如图26B所示,可以将彩色滤光片672R(红色)、彩色滤光片672G(绿色)、彩色滤光片672B(蓝色)、红外滤光片672IR分别分配给不同像素。通过采用这种结构,可以同时获取可见光图像及红外光图像。
或者,如图26C所示,可以将彩色滤光片672R(红色)、彩色滤光片672G(绿色)、彩色滤光片672B(蓝色)、紫外滤光片672UV分别分配给不同像素。通过采用这种结构,可以同时获取可见光图像及紫外光图像。
通过将闪烁体用于光学转换层672,可以得到用于X射线摄像装置等的获得使辐射强度可视化的图像的摄像装置。当透过被摄体的X射线等辐射入射到闪烁体时,由于光致发光现象而转换为可见光线或紫外光线等的光(荧光)。通过由光电转换器件101检测该光来获得图像数据。此外,也可以将该结构的摄像装置用于辐射探测器等。
闪烁体含有如下物质:当被照射X射线或伽马射线等辐射时吸收辐射的能量而发射可见光或紫外光的物质。例如,可以使用将Gd2O2S:Tb、Gd2O2S:Pr、Gd2O2S:Eu、BaFCl:Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnO等分散到树脂或陶瓷中的材料。
通过进行利用红外光或紫外光的摄像,可以对摄像装置赋予检测功能、安全功能、传感功能等。例如,通过进行利用红外光的摄像,可以进行如下检测:产品的无损检测、农产品的挑选(糖量的计量等)、静脉识别、医疗检测等。另外,通过进行利用紫外光的摄像,可以检测从光源或火焰放出的紫外光,而可以进行光源、热源、生产装置等的管理等。
在光学转换层672上设置微透镜阵列673。透过微透镜阵列673所包括的各透镜的光穿过正下方的光学转换层672而照射到光电转换器件101。通过设置微透镜阵列673,可以将所集聚的光入射到光电转换器件101,所以可以高效地进行光电转换。微透镜阵列673优选由对目的波长的光具有高透光性的树脂或玻璃等形成。
<贴合>
接着,说明层563b与层563a的贴合。
层563b中设置有绝缘层618及导电层619。导电层619具有嵌入绝缘层618中的区域。另外,绝缘层618及导电层619的表面以高度一致的方式被平坦化。
层563a中设置有绝缘层631及导电层639。导电层639具有嵌入绝缘层631中的区域。另外,绝缘层631及导电层639的表面以高度一致的方式被平坦化。
在此,导电层619及导电层639的主要成分优选为相同的金属元素。另外,绝缘层618及绝缘层631优选由相同的成分构成。
例如,作为导电层619、导电层639可以使用Cu、Al、Sn、Zn、W、Ag、Pt或Au等。从接合的容易性的观点来看,优选使用Cu、Al、W或Au。另外,绝缘层618、绝缘层631可以使用氧化硅、氧氮化硅、氮氧化硅、氮化硅、氮化钛等。
换言之,优选的是,作为导电层619和导电层639使用上述金属材料中的相同金属材料。另外,优选的是,作为绝缘层618及绝缘层631使用上述绝缘材料中的相同绝缘材料。通过采用上述结构,可以进行以层563b和层563a的边界为接合位置的贴合。
注意,导电层619及导电层639也可以具有多个层的多层结构,此时表面层(接合面)使用相同金属材料即可。另外,绝缘层618及绝缘层631也可以具有多个层的多层结构,此时表面层(接合面)使用相同绝缘材料即可。
通过进行该贴合,可以获得导电层619与导电层639的电连接。另外,可以以足够的机械强度使绝缘层618与绝缘层631连接。
当接合金属层时,可以利用表面活化接合法。在该方法中,通过溅射处理等去除表面的氧化膜及杂质吸附层等并使清洁化且活化了的表面接触而接合。或者,可以利用并用温度及压力使表面接合的扩散接合法等。上述方法都可以发生原子级的结合,因此可以获得电上和机械上都优异的接合。
当接合绝缘层时,可以利用亲水性接合法等。在该方法中,在通过抛光等获得高平坦性之后,使利用氧等离子体等进行过亲水性处理的表面接触而暂时接合,利用热处理进行脱水,由此进行正式接合。亲水性接合法也发生原子级的结合,因此可以获得机械上优异的接合。
在贴合层563b与层563a的情况下,由于在各接合面绝缘层与金属层是混在一起的,所以,例如,组合表面活化接合法及亲水性接合法即可。
例如,可以采用在进行抛光之后使表面清洁化,对金属层的表面进行防氧处理,然后进行亲水性处理来进行接合的方法等。另外,也可以作为金属层的表面使用Au等难氧化性金属,进行亲水性处理。另外,也可以使用上述以外的接合方法。
通过上述贴合可以使层563b中的构成要素与层563a中的像素100的构成要素电连接。
<叠层结构1的变形例子>
图21是图19所示的叠层结构的变形例子,层561中的光电转换器件101的结构以及层563a的部分结构不同,层561与层563a间也有贴合面。
层561包括光电转换器件101、绝缘层661、绝缘层662、绝缘层664、绝缘层665及导电层685、导电层686。
光电转换器件101是pn结型光电二极管,包括相当于p型区域的层565b及相当于n型区域的层565a。注意,这里示出pn结型光电二极管形成在硅衬底中的例子。光电转换器件101是嵌入式光电二极管,通过设置在层565a的表面一侧(取出电流侧)的较薄的p型区域(层565b的一部分)抑制暗电流,从而减少噪声。
绝缘层661、导电层685、导电层686用作贴合层。绝缘层662用作层间绝缘膜及平坦化膜。绝缘层664用作元件分离层。
硅衬底中设置有使像素分离的槽,绝缘层665设置在硅衬底顶面及该槽中。通过设置绝缘层665可以抑制光电转换器件101内产生的载流子流入到相邻的像素。另外,绝缘层665还具有抑制杂散光的侵入的功能。因此,利用绝缘层665可以抑制混色。另外,也可以在硅衬底的顶面与绝缘层665之间设置反射防止膜。
绝缘层664可以利用LOCOS(LOCal Oxidation of Silicon:硅局部氧化)法形成。或者,也可以利用STI(Shallow Trench Isolation:浅沟槽隔离)法等形成。绝缘层665例如可以使用氧化硅、氮化硅等无机绝缘膜、聚酰亚胺树脂、丙烯酸树脂等有机绝缘膜。另外,绝缘层665也可以采用多层结构。另外,也可以在绝缘层665的一部分设置空间。该空间也可以包含空气或惰性气体等气体。另外,该空间也可以处于减压状态。
光电转换器件101的层565a(n型区域,相当于阴极)与导电层685电连接。层565b(p型区域,相当于阳极)与导电层686电连接。导电层685、导电层686具有嵌入绝缘层661中的区域。另外,绝缘层661及导电层685、导电层686的表面以高度一致的方式被平坦化。
在层563a中绝缘层637上形成有绝缘层638。此外,形成有与晶体管102的源极和漏极中的一个电连接的导电层683及与导电层636电连接的导电层684。
绝缘层638、导电层683、导电层684用作贴合层。导电层683、导电层684具有嵌入绝缘层638中的区域。另外,绝缘层638及导电层683、导电层684的表面以高度一致的方式被平坦化。
在此,导电层683、导电层684、导电层685、导电层686是与上述导电层619、导电层639相同的贴合层。另外,绝缘层638、绝缘层661是与上述绝缘层618、绝缘层631相同的贴合层。
因此,通过贴合导电层683和导电层685,可以使光电转换器件101的层565a(n型区域,相当于阴极)与晶体管102的源极和漏极中的一个电连接。另外,通过贴合导电层684与导电层686,可以使光电转换器件101的层565b(p型区域,相当于阳极)与布线114(参照图4)电连接。另外,通过贴合绝缘层638与绝缘层661,可以进行层561与层563a的电接合及机械接合。
图22是与上述不同的变形例子,其中晶体管102设置在层561中。在该结构中,晶体管102的源极和漏极中的一个与光电转换器件101直接连接,晶体管102的源极和漏极中的另一个被用作节点FD。在该结构中,可以将储存在光电转换器件101中的电荷完全转移,可以实现一种噪声少的摄像装置。绝缘层663被用作晶体管102的保护膜。
在此,层561所包括的晶体管102的源极和漏极中的另一个与导电层692电连接。另外,层563a所包括的晶体管103的源极和漏极中的一个与导电层691电连接。导电层691、导电层692是与上述导电层619、导电层639相同的贴合层。
<叠层结构2>
图23是包括层560、层561、层562、层563而不具有贴合面的叠层体的截面图的一个例子。层563中设置有Si晶体管。层562中设置有OS晶体管。注意,层563、层561及层560的结构与图19所示的结构相同,所以在此省略其说明。
<层562>
层562形成在层563上。层562包括OS晶体管。在此,示出晶体管102及晶体管103。图23所示的截面图中没有示出两者的电连接。
层562中设置有绝缘层621、绝缘层622、绝缘层623、绝缘层624、绝缘层625、绝缘层626、绝缘层628。另外,还设置有导电层627。导电层627可以与布线114(参照图4)电连接。
绝缘层621用作阻挡层。绝缘层622、绝缘层623、绝缘层625、绝缘层626、绝缘层628用作层间绝缘膜及平坦化膜。绝缘层624用作保护膜。
阻挡层优选使用具有防止氢扩散的功能的膜。在Si器件中,为了使悬空键终结需要氢,但是OS晶体管附近的氢成为在氧化物半导体层中产生载流子的原因之一而降低可靠性。因此,在形成Si器件的层与形成OS晶体管的层间优选设置氢阻挡膜。
作为该阻挡膜,例如可以使用氧化铝、氧氮化铝、氧化镓、氧氮化镓、氧化钇、氧氮化钇、氧化铪、氧氮化铪、氧化钇稳定氧化锆(YSZ)等。
晶体管103的源极和漏极中的另一个通过插头与晶体管105的栅极电连接。导电层627与布线114(参照图4)电连接。
晶体管102的源极和漏极中的一个与层561中的光电转换器件101的阴极电连接。导电层627与层561中的光电转换器件101的阳极电连接。
图24A示出详细的OS晶体管。图24A所示的OS晶体管具有通过在氧化物半导体层及导电层的叠层上设置绝缘层而设置到达该氧化物半导体层的开口部来形成源电极705及漏电极706的自对准型结构。
除了形成在氧化物半导体层的沟道形成区域708、源区域703及漏区域704以外,OS晶体管还可以包括栅电极701、栅极绝缘膜702。在该开口部中至少设置栅极绝缘膜702及栅电极701。在该开口部中也可以还设置氧化物半导体层707。
如图24B所示,OS晶体管也可以采用使用栅电极701作为掩模在半导体层中形成源区域703及漏区域704的自对准型结构。
或者,如图24C所示,可以采用具有源电极705或漏电极706与栅电极701重叠的区域的非自对准型的顶栅极型晶体管。
OS晶体管包括背栅极735,但也可以不包括背栅极。如图24D所示的晶体管的沟道宽度方向的截面图那样,背栅极735也可以与相对的晶体管的前栅极电连接。作为一个例子,图24D示出图24A所示的晶体管的B1-B2的截面,其他结构的晶体管也是同样的。另外,也可以采用能够对背栅极735供应与前栅极不同的固定电位的结构。
<叠层结构2的变形例子>
图25是图23所示的叠层结构的变形例子,层561中的光电转换器件101的结构以及层562的一部分结构不同,在层561与层562间具有贴合面。
层561中的光电转换器件101是pn结型光电二极管,与图21所示的结构相同。
在层562中,绝缘层628上形成有绝缘层648。此外,形成有与晶体管102的源极和漏极中的一个电连接的导电层688以及与导电层627电连接的导电层689。
绝缘层648、导电层688、导电层689用作贴合层。导电层688、689具有嵌入绝缘层648的区域。另外,绝缘层648及导电层683、684的表面以高度一致的方式被平坦化。
在此,导电层688、导电层689是与上述导电层619、导电层639相同的贴合层。另外,绝缘层648是与上述绝缘层618、绝缘层631相同的贴合层。
因此,通过贴合导电层688与导电层685,可以使光电转换器件的层565a(n型区域,相当于阴极)与晶体管102的源极和漏极中的一个电连接。另外,通过贴合导电层689与导电层686,可以使光电转换器件的层565b(p型区域,相当于阳极)与布线114(参照图4)电连接。另外,通过贴合绝缘层648与绝缘层661,可以进行层561与层562a的电接合及机械接合。
当层叠多个Si器件时,需要多次进行抛光工序及贴合工序。因此其存在工序数多、需要专用装置、成品率低等问题且制造成本高。由于OS晶体管可以以层叠在形成有器件的半导体衬底上的方式形成,所以可以减少贴合工序。
此外,在上述结构中,如图22所示,也可以在层561中设置晶体管102。
<封装及模块>
图27A1是收纳图像传感器芯片的封装的顶面一侧的外观立体图。该封装包括使图像传感器芯片450(参照图27A3)固定的封装衬底410、玻璃盖板420及贴合它们的粘合剂430等。
图27A2是该封装的底面一侧的外观立体图。在封装的底面包括以焊球为凸块440的BGA(Ball grid array:球栅阵列)。注意,不局限于BGA,也可以包括LGA(Land gridarray:地栅阵列)或PGA(Pin Grid Array:针栅阵列)等。
图27A3是省略玻璃盖板420及粘合剂430的一部分而图示的封装的立体图。在封装衬底410上形成电极焊盘460,电极焊盘460与凸块440通过通孔电连接。电极焊盘460通过引线470与图像传感器芯片450电连接。
图27B1是将图像传感器芯片收纳在透镜一体型封装内的相机模块的顶面一侧的外观立体图。该相机模块包括使图像传感器芯片451(参照图27B3)固定的封装衬底411、透镜盖421及透镜435等。另外,在封装衬底411及图像传感器芯片451之间设置有用作摄像装置的驱动电路及信号转换电路等的IC芯片490(参照图27B3),具有SiP(System inpackage:系统封装)的结构。
图27B2是该相机模块的底面一侧的外观立体图。封装衬底411的底面及侧面具有设置有安装用连接盘441的QFN(Quad flat no-lead package:四侧无引脚扁平封装)的结构。注意,该结构是一个例子,也可以设置QFP(Quad flat package:四侧引脚扁平封装)或上述BGA。
图27B3是省略透镜盖421及透镜435的一部分而图示的模块的立体图。连接盘441与电极焊盘461电连接,电极焊盘461通过引线471与图像传感器芯片451或IC芯片490电连接。
通过将图像传感器芯片收纳于上述方式的封装中,可以容易安装于印刷电路板等,将图像传感器芯片安装在各种半导体装置及电子设备中。
本实施方式可以与其他实施方式的记载适当地组合。
(实施方式3)
作为可以使用根据本发明的一个方式的摄像装置的电子设备,可以举出显示设备、个人计算机、包括记录媒体的图像存储装置或图像再现装置、移动电话机、包括便携式的游戏机、便携式数据终端、电子书阅读器、拍摄装置诸如视频摄像机或数码静态相机等、护目镜型显示器(头戴式显示器)、导航系统、音频再现装置(汽车音响系统、数字音频播放器等)、复印机、传真机、打印机、多功能打印机、自动柜员机(ATM)以及自动售货机等。图28A至图28F示出这些电子设备的具体例子。
图28A是便携式信息终端的一个例子,该便携式信息终端包括外壳981、显示部982、操作按钮983、外部连接接口984、扬声器985、麦克风986、摄像头987等。该便携式信息终端在显示部982具有触摸传感器。通过用手指或触屏笔等触摸显示部982可以进行打电话或输入文字等各种操作。此外,也可以将本发明的一个方式的摄像装置及其工作方法用于该便携式信息终端。
摄像头987包括本发明的一个方式的摄像装置,可以从由摄像头987获取的图像中取得被摄体的距离信息。可以根据该距离信息加工摄像头987所取得的图像的一部分。例如,可以进行虚化主要被摄体的前后的图像处理等。
图28B是信息终端,该信息终端包括外壳911、显示部912、扬声器913、摄像头919等。通过显示部912所具有的触摸面板功能可以输入且输出信息。此外,可以从由摄像头919获取的图像中识别出文字等,并可以使用扬声器913以语音输出该文字。可以将本发明的一个方式的摄像装置及其工作方法用于该便携式数据终端。
图28C是监控摄像机,该监控摄像机包括支架951、摄像单元952及保护罩953等。在摄像单元952中设置旋转机构等,通过设置在天花板可以拍摄周围。可以将本发明的一个方式的摄像装置及其工作方法用于在该照相单元中用来获取图像的构成要素。注意,“监控摄像机”是一般名称,不局限于其用途。例如,被用作监控摄像机的设备被称为摄影机或视频摄像机。
图28D是视频摄像机,该视频摄像机包括第一外壳971、第二外壳972、显示部973、操作键974、透镜975、连接部976、扬声器977、麦克风978等。操作键974及透镜975设置在第一外壳971中,显示部973设置在第二外壳972中。可以将本发明的一个方式的摄像装置及其工作方法用于该视频摄像机。
图28E是数码相机,该数码相机包括外壳961、快门按钮962、麦克风963、发光部967以及透镜965等。可以将本发明的一个方式的摄像装置及其工作方法用于该数码相机。
图28F是手表型信息终端,该手表型信息终端包括显示部932、外壳兼腕带933以及摄像头939等。显示部932也可以包括用来进行信息终端的操作的触摸面板。显示部932及外壳兼腕带933具有柔性,并且适合佩戴于身体。可以将本发明的一个方式的摄像装置及其工作方法用于该信息终端。
图29A是示出移动体的一个例子的汽车的外观图。汽车890包括多个摄像头891等,可以取得汽车890的前后左右及上方的信息。本发明的一个方式的摄像装置及其工作方法可以用于摄像头891。另外,汽车890包括红外线雷达、毫米波雷达、激光雷达等各种传感器(未图示)等。汽车890分析摄像头891所取得的多个摄像方向892的图像,判断护栏及行人的有无等周围的交通状况,而可以进行自动驾驶。另外,还可以用于进行导航、危险预测等的系统。
在本发明的一个方式的摄像装置中,通过对所得到的图像数据进行神经网络等的运算处理,例如可以进行图像的高分辨率化、图像噪声的减少、人脸识别(安全目的等)、物体识别(自动驾驶的目的等)、图像压缩、图像校正(宽动态范围化)、无透镜图像传感器的图像恢复、位置对准、文字识别、反射眩光的降低等处理。
注意,上面作为移动体的一个例子说明汽车,汽车可以为包括内燃机的汽车、电动汽车、氢能汽车等中的任意个。另外,移动体不局限于汽车。例如,作为移动体,也可以举出电车、单轨铁路、船舶、飞行物(直升机、无人驾驶飞机(无人机)、飞机、火箭)等,可以对这些移动体使用本发明的一个方式的计算机,以提供利用人工智能的系统。
本实施方式可以与其他实施方式的记载适当地组合。
[符号说明]
FL11:第一滤波、FL12:第三滤波、FL13:第五滤波、FL21:第二滤波、FL22:第四滤波、FL23:第六滤波、100:像素、101:光电转换器件、102:晶体管、102a:晶体管、102b:晶体管、103:晶体管、103a:晶体管、103b:晶体管、104:电容器、104a:电容器、104b:电容器、105:晶体管、105a:晶体管、105b:晶体管、106:晶体管、106a:晶体管、106b:晶体管、108:晶体管、111a:布线、111a_1:布线、111a_2:布线、111a_3:布线、111b:布线、111b_1:布线、111b_2:布线、111b_3:布线、112a:布线、112a_1:布线、112a_2:布线、112a_3:布线、112b:布线、112b_1:布线、112b_2:布线、112b_3:布线、113:布线、114:布线、115a:布线、115b:布线、116a:布线、116b:布线、117a:布线、117b:布线、118a:布线、118b:布线、119a:布线、119b:布线、122:布线、122_1:布线、122_2:布线、122_3:布线、130a:电路、130b:电路、161:晶体管、162:晶体管、163:电容器、200:像素区块、201:电路、202:电容器、203:晶体管、204:晶体管、205:晶体管、206:晶体管、207:晶体管、212:布线、213:布线、213A:布线、213B:布线、215:布线、216:布线、217:布线、218:布线、219:布线、300:像素阵列、301:电路、302:电路、303:电路、304:电路、305:电路、311:布线、320:存储单元、325:参照存储单元、330:电路、350:电路、360:电路、370:电路、410:封装衬底、411:封装衬底、420:玻璃盖板、421:透镜盖、430:粘合剂、435:透镜、440:凸块、441:连接盘、450:图像传感器芯片、451:图像传感器芯片、460:电极焊盘、461:电极焊盘、470:引线、471:引线、490:IC芯片、545:半导体层、546:绝缘层、560:层、561:层、562:层、562a:层、562b:层、563:层、563a:层、563b:层、563c:层、565a:层、565b:层、566a:层、566b:层、566c:层、566d:层、567a:层、567b:层、567c:层、567d:层、567e:层、611:硅衬底、612:绝缘层、613:绝缘层、614:绝缘层、616:绝缘层、617:绝缘层、618:绝缘层、619:导电层、621:绝缘层、622:绝缘层、623:绝缘层、624:绝缘层、625:绝缘层、626:绝缘层、627:导电层、628:绝缘层、631:绝缘层、632:硅衬底、633:绝缘层、634:绝缘层、635:绝缘层、636:导电层、637:绝缘层、638:绝缘层、639:导电层、648:绝缘层、651:绝缘层、652:绝缘层、653:绝缘层、654:绝缘层、655:导电层、661:绝缘层、662:绝缘层、663:绝缘层、664:绝缘层、665:绝缘层、671:遮光层、672:光学转换层、672B:彩色滤光片、672G:彩色滤光片、672IR:红外滤光片、672R:彩色滤光片、672UV:紫外滤光片、673:微透镜阵列、683:导电层、684:导电层、685:导电层、686:导电层、688:导电层、689:导电层、691:导电层、692:导电层、701:栅电极、702:栅极绝缘膜、703:源区域、704:漏区域、705:源电极、706:漏电极、707:氧化物半导体层、708:沟道形成区域、735:背栅极、890:汽车、891:摄像头、892:摄像方向、911:外壳、912:显示部、913:扬声器、919:摄像头、932:显示部、933:外壳兼腕带、939:摄像头、951:支架、952:摄像单元、953:保护罩、961:外壳、962:快门按钮、963:麦克风、965:透镜、967:发光部、971:外壳、972:外壳、973:显示部、974:操作键、975:透镜、976:连接部、977:扬声器、978:麦克风、981:外壳、982:显示部、983:操作按钮、984:外部连接接口、985:扬声器、986:麦克风、987:摄像头

Claims (9)

1.一种摄像装置,包括多个像素,
其中,所述像素具有对在第n帧(n为2以上的整数)取得的图像数据加第一权重而生成第n帧的第一数据的功能,
所述像素具有对在第n-1帧取得的图像数据加第二权重而生成第n-1帧的第一数据的功能,
并且,所述像素具有将所述第n-1帧的第一数据和所述第n帧的第一数据加在一起而生成第二数据的功能。
2.一种摄像装置,包括多个像素及多个第一电路,
其中,所述像素被配置为矩阵状,
所述第一电路与配置在列方向上的多个所述像素电连接,
所述像素包括第二电路及第三电路,
所述第二电路和所述第三电路中的一个具有对在第n帧(n为2以上的整数)取得的图像数据加第一权重而生成第n帧的第一数据的功能,
所述第二电路和所述第三电路中的另一个具有对在第n-1帧取得的图像数据加第二权重而生成第n-1帧的第一数据的功能,
所述像素具有将所述第n-1帧的第一数据和所述第n帧的第一数据加在一起而生成第二数据的功能,
并且,所述第一电路具有生成相当于所述像素各自生成的所述第二数据之和的第三数据的功能。
3.根据权利要求2所述的摄像装置,
其中所述像素包括光电转换器件及第一晶体管,
所述第二电路及所述第三电路各自包括第二晶体管、第三晶体管、第四晶体管、第五晶体管及第一电容器,
所述光电转换器件的一个电极与所述第二晶体管的源极和漏极中的一个电连接,
所述第二晶体管的源极和漏极中的另一个与所述第三晶体管的源极和漏极中的一个电连接,
所述第三晶体管的源极和漏极中的一个与所述第四晶体管的栅极电连接,
所述第四晶体管的栅极与所述第一电容器的一个电极电连接,
所述第一电容器的另一个电极与所述第五晶体管的源极和漏极中的一个电连接,
所述第四晶体管的源极和漏极中的一个与所述第一晶体管的源极和漏极中的一个电连接,
并且所述第一晶体管的源极和漏极中的另一个与所述第一电路电连接。
4.根据权利要求3所述的摄像装置,
其中所述第五晶体管的另一个与第一布线电连接,
并且所述第一布线被供应相当于所述第一权重的电位或相当于所述第二权重的电位。
5.根据权利要求2所述的摄像装置,
其中所述像素包括光电转换器件及第一晶体管,
所述第二电路及所述第三电路各自包括第二晶体管、第三晶体管、第四晶体管及第一电容器,
所述光电转换器件的一个电极与所述第二晶体管的源极和漏极中的一个电连接,
所述第二晶体管的源极和漏极中的另一个与所述第三晶体管的源极和漏极中的一个电连接,
所述第三晶体管的源极和漏极中的一个与所述第四晶体管的栅极电连接,
所述第四晶体管的栅极与所述第一电容器的一个电极电连接,
所述第四晶体管的源极和漏极中的一个与所述第一晶体管的源极和漏极中的一个电连接,
所述第一晶体管的源极和漏极中的另一个与所述第一电路电连接,
并且所述第四晶体管包括背栅极。
6.根据权利要求5所述的摄像装置,
其中所述背栅极与第一布线电连接,
并且所述第一布线被供应相当于所述第一权重的电位或相当于所述第二权重的电位。
7.根据权利要求2至6中任一项所述的摄像装置,
其中所述第一电路包括第六晶体管、第七晶体管、第八晶体管、第九晶体管、第十晶体管及第二电容器,
所述第二电容器的一个电极与所述多个像素电连接,
所述第二电容器的一个电极与所述第六晶体管电连接,
所述第二电容器的另一个电极与所述第七晶体管的源极和漏极中的一个电连接,
所述第七晶体管的源极和漏极中的一个与所述第八晶体管的栅极电连接,
所述第八晶体管的源极和漏极中的一个与所述第九晶体管的源极和漏极中的一个电连接,
并且所述第九晶体管的源极和漏极中的一个与所述第十晶体管的源极和漏极中的一个电连接。
8.根据权利要求2至7中任一项所述的摄像装置,
其中所述像素及所述第一电路所包括的晶体管中的任一个或多个在沟道形成区域中包含金属氧化物,
并且所述金属氧化物包含In、Zn及元素M(M为Al、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、Nd和Hf中的一个或多个)。
9.根据权利要求2至8中任一项所述的摄像装置,
其中所述像素及所述第一电路所包括的晶体管中的任一个或多个在沟道形成区域中包含硅。
CN202180029111.3A 2020-04-24 2021-04-19 摄像装置 Pending CN115443648A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-077098 2020-04-24
JP2020077098 2020-04-24
PCT/IB2021/053188 WO2021214616A1 (ja) 2020-04-24 2021-04-19 撮像装置

Publications (1)

Publication Number Publication Date
CN115443648A true CN115443648A (zh) 2022-12-06

Family

ID=78270329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029111.3A Pending CN115443648A (zh) 2020-04-24 2021-04-19 摄像装置

Country Status (4)

Country Link
US (1) US20230133706A1 (zh)
JP (1) JPWO2021214616A1 (zh)
CN (1) CN115443648A (zh)
WO (1) WO2021214616A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104485341A (zh) * 2009-11-06 2015-04-01 株式会社半导体能源研究所 半导体装置
US9773832B2 (en) * 2014-12-10 2017-09-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
JP6628497B2 (ja) * 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法

Also Published As

Publication number Publication date
US20230133706A1 (en) 2023-05-04
WO2021214616A1 (ja) 2021-10-28
JPWO2021214616A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
JP7322239B2 (ja) 撮像装置および電子機器
CN110870299A (zh) 摄像装置及电子设备
WO2021191719A1 (ja) 撮像装置および電子機器
WO2021033065A1 (ja) 撮像装置および電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
WO2021214616A1 (ja) 撮像装置
CN112425153A (zh) 摄像面板及摄像装置
JP7480137B2 (ja) 撮像装置および電子機器
US20230156376A1 (en) Imaging device and electronic device
WO2022018561A1 (ja) 撮像装置および電子機器
US20230090488A1 (en) Imaging device, electronic device, and moving object
WO2021053449A1 (ja) 撮像システムおよび電子機器
WO2021028754A1 (ja) 撮像装置、または撮像システム
CN115211101A (zh) 摄像装置及电子设备
TW202215654A (zh) 攝像裝置及電子裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination