CN114207828A - 摄像装置及电子设备 - Google Patents

摄像装置及电子设备 Download PDF

Info

Publication number
CN114207828A
CN114207828A CN202080056554.7A CN202080056554A CN114207828A CN 114207828 A CN114207828 A CN 114207828A CN 202080056554 A CN202080056554 A CN 202080056554A CN 114207828 A CN114207828 A CN 114207828A
Authority
CN
China
Prior art keywords
transistor
layer
circuit
potential
wiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080056554.7A
Other languages
English (en)
Inventor
米田诚一
根来雄介
池田隆之
山崎舜平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN114207828A publication Critical patent/CN114207828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14616—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor characterised by the channel of the transistor, e.g. channel having a doping gradient
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/786—Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Ceramic Engineering (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Thin Film Transistor (AREA)

Abstract

提供一种具有图像处理功能，并能够进行高速工作的摄像装置。本发明是一种具有图像处理等附加功能的摄像装置，该摄像装置可以将在摄像工作中获取的模拟数据保持在像素中，而取出该模拟数据乘任意权重系数而得的数据。另外，在该摄像装置中，通过充电到布线的电荷的再次分配来生成用于像素中的运算的部分电位。因此，可以与将该电位从其他电路提供给像素的情况相比，可以以更高速、低功耗进行运算。

Description

摄像装置及电子设备
技术领域
本发明的一个方式涉及一种摄像装置。
注意，本发明的一个方式不局限于上述技术领域。本说明书等所公开的发明的一个方式的技术领域涉及一种物体、方法或制造方法。另外，本发明的一个方式涉及一种工序(process)、机器(machine)、产品(manufacture)或者组合物(composition of matter)。由此，更具体而言，作为本说明书所公开的本发明的一个方式的技术领域的一个例子可以举出半导体装置、显示装置、液晶显示装置、发光装置、照明装置、蓄电装置、存储装置、摄像装置、这些装置的工作方法或者这些装置的制造方法。
注意，在本说明书等中，半导体装置是指能够通过利用半导体特性而工作的所有装置。晶体管、半导体电路为半导体装置的一个方式。另外，存储装置、显示装置、摄像装置、电子设备有时包含半导体装置。
背景技术
使用形成在衬底上的氧化物半导体薄膜构成晶体管的技术受到关注。例如，专利文献1公开了将包括氧化物半导体的关态电流非常低的晶体管用于像素电路的结构的摄像装置。
另外，专利文献2公开了对摄像装置赋予运算功能的技术。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2011-119711号公报
[专利文献2]日本专利申请公开第2016-123087号公报
发明内容
发明所要解决的技术问题
随着技术的发展，在包括CMOS图像传感器等固态摄像元件的摄像装置中，能够容易拍摄高品质的图像。需要下一代摄像装置具有更高智能性的功能。
利用摄像装置取得的图像数据(模拟数据)被转换为数字数据且被提取到外部，然后根据需要被进行图像处理。当能够在摄像装置内进行该处理时，可以以更高速与外部设备联动，并且使用者的方便性提高。另外，也可以减少外围装置等的负载及功耗。另外，如果能够以模拟数据的状态进行复杂的数据处理，就可以缩短数据转换所需要的时间。
因此，本发明的一个方式的目的之一是提供一种能够进行图像处理的摄像装置。另外，本发明的一个方式的目的之一是提供一种可以进行高速工作的摄像装置。另外，本发明的一个方式的目的之一是提供一种低功耗的摄像装置。另外，本发明的一个方式的目的之一是提供一种可靠性高的摄像装置。另外，本发明的一个方式的目的之一是提供一种新颖的摄像装置等。另外，本发明的一个方式的目的之一是提供一种上述摄像装置的驱动方法。另外，本发明的一个方式的目的之一是提供一种新颖的半导体装置等。
注意，这些目的的记载不妨碍其他目的的存在。注意，本发明的一个方式并不需要实现所有上述目的。除上述目的外的目的从说明书、附图、权利要求书等的描述中是显而易见的，并且可以从所述描述中抽出。
解决技术问题的手段
本发明的一个方式涉及一种具有图像处理功能并可以进行高速工作的摄像装置。
本发明的一个方式是一种摄像装置，该摄像装置包括第一像素、第二像素以及第一晶体管，第一像素及第二像素各自包括第二晶体管及电容器，第二晶体管的源极和漏极中的一个与电容器的一个电极电连接，第一像素所包括的电容器的一个电极与第一晶体管的源极和漏极中的一个电连接，第二像素所包括的电容器的一个电极与第一晶体管的源极和漏极中的另一个电连接。
第一像素及第二像素各自可以还包括第三晶体管、第四晶体管、第五晶体管、第六晶体管及光电转换器件，电容器的另一个电极可以与第三晶体管的栅极、第四晶体管的源极和漏极中的一个及第五晶体管的源极和漏极中的一个电连接，第三晶体管的源极和漏极中的一个可以与第六晶体管的源极和漏极中的一个电连接，第五晶体管的源极和漏极中的另一个可以与光电转换器件的一个电极电连接。
光电转换器件可以包括对红外光具有光灵敏度的光电转换层。也可以将化合物半导体用于该光电转换层。
摄像装置也可以还包括第一电路，第一电路也可以具有输出第一电位或第二电位的功能，第一电路也可以与第一像素及第二像素各自包括的第二晶体管的源极和漏极中的另一个电连接。
摄像装置也可以还包括第二电路，第二电路也可以被用作相关双采样电路，第二电路也可以与第一像素及第二像素各自包括的第六晶体管的源极和漏极中的另一个电连接。
第一晶体管至第六晶体管中的一个以上优选在沟道形成区域中包含金属氧化物，金属氧化物优选包含In、Zn、M(M是Al、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、Nd和Hf中的一个或多个)。
另外，本发明的另一个方式是一种摄像装置，该摄像装置包括像素块、第一电路以及第二电路，像素块包括n(n为2以上的自然数)个像素，第一电路具有将选自第一电位、第二电位及第三电位中的两个以上的任意电位提供给n个像素的每一个的功能，n个像素的每一个具有取得第一图像数据的功能，n个像素的每一个具有将第一电位、第二电位和第三电位中的任意个与第一图像数据相加来生成第二图像数据的功能，像素块具有将第一电位、第二电位或第三电位的全部相加且该值除以n而生成第四电位的功能，该第一电位、第二电位或第三电位以选自n个像素的m(m为1至n的自然数)个像素为对象从第一电路被提供给m个像素的每一个，n个像素的每一个具有将第一图像数据与第四电位相加来生成第三图像数据的功能，第二电路具有生成第五图像数据的功能，该第五图像数据相当于n个像素所输出的第二图像数据之和与n个像素所输出的第三图像数据之和的差分。
发明效果
通过采用本发明的一个方式可以提供一种能够进行图像处理的摄像装置。另外，可以提供一种可以进行高速工作的摄像装置。另外，可以提供一种低功耗的摄像装置。另外，可以提供一种可靠性高的摄像装置。另外，可以提供一种新颖的摄像装置等。另外，可以提供一种上述摄像装置的驱动方法。另外，可以提供一种新颖的半导体装置等。
附图简要说明
图1是说明摄像装置的方框图。
图2是说明像素块200及电路201的图。
图3A、图3B是说明像素100的图。
图4A、图4B是说明像素100的图。
图5A至图5C是说明滤波器的图。
图6是说明像素块200的图。
图7A、图7B是说明滤波器的图。
图8是说明摄像装置的工作的时序图。
图9是说明电路304的一个例子的图。
图10是说明电路304的工作的时序图。
图11是说明电路304的工作的时序图。
图12A、图12B是说明电路301及电路302的图。
图13是说明存储单元的图。
图14A、图14B是说明神经网络的结构实例的图。
图15A至图15D是说明摄像装置的像素的结构的图。
图16A至图16C是说明光电转换器件的结构的图。
图17是说明像素的截面图。
图18A至图18C是说明Si晶体管的图。
图19是说明像素的截面图。
图20是说明像素的截面图。
图21A至图21D是说明OS晶体管的图。
图22是说明像素的截面图。
图23A至图23C是说明像素的立体图(截面图)。
图24A1至图24A3、图24B1至图24B3是收纳摄像装置的封装、模块的立体图。
图25A至图25F是说明电子设备的图。
图26是说明汽车的图。
图27A是从车辆内观察前方的驾驶者的视野的示意图，图27B是示出车辆的外观的图。
图28是示出显示系统的方框图的一个例子的图。
图29是示出系统的方框图的一个例子的图。
图30A、图30C是照片，图30B、图30D是数据。
图31A是照片，图31B是数据。
实施发明的方式
参照附图对实施方式进行详细说明。注意，本发明不局限于下面说明，所属技术领域的普通技术人员可以很容易地理解一个事实就是其方式及详细内容在不脱离本发明的宗旨及其范围的情况下可以被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在以下所示的实施方式所记载的内容中。另外，在下面所说明的发明的结构中，在不同的附图中共同使用相同的附图标记来表示相同的部分或具有相同功能的部分，而有时省略其重复说明。另外，有时在不同的附图中适当地省略或改变相同构成要素的阴影。
另外，即使在电路图上为一个构成要素，如果在功能上没有问题，该构成要素也可以使用多个构成要素构成。例如，有时被用作开关的多个晶体管可以串联或并联连接。此外，有时对电容器进行分割并将其配置在多个位置上。
此外，有时一个导电体具有布线、电极及端子等多个功能，在本说明书中，有时对同一构成要素使用多个名称。另外，即使在电路图上示出构成要素之间直接连接的情况，有时实际上该构成要素之间通过一个或多个导电体连接，本说明书中这种结构也包括在直接连接的范畴内。
(实施方式1)
在本实施方式中，参照附图说明本发明的一个方式的摄像装置。
本发明的一个方式是一种具备图像识别等附加功能的摄像装置。该摄像装置可以将在摄像工作中获取的模拟数据(图像数据)保持在像素而取出该模拟数据乘任意权重系数而得的数据。
通过将该数据引入神经网络等，可以进行图像识别等处理。由于可以将庞大的图像数据以模拟数据的状态保持在像素中，所以可以高效地进行处理。
另外，在本发明的一个方式的摄像装置中，通过充电到布线的电荷的再次分配来生成用于像素中的运算的部分电位。因此，可以与将该电位从其他电路提供给像素的情况相比，可以以更高速、低功耗进行运算。
<摄像装置>
图1是说明本发明的一个方式的摄像装置的方框图。摄像装置包括像素阵列300、电路201、电路301、电路302、电路303、电路304、电路305及电路306。注意，电路201及电路301至电路306不局限于由单个电路构成，有时由多个电路的组合构成。或者，也可以统合上述任意多个电路。另外，也可以连接有上述以外的电路。
像素阵列300具有拍摄功能及运算功能。电路201、301具有运算功能。电路302具有运算功能或数据转换功能。电路303、304、306具有选择功能。电路305具有对像素提供积和运算用电位的功能。具有选择功能的电路可以使用移位寄存器或译码器等。另外，电路301、302也可以设置在外部。
像素阵列300包括多个像素块200。像素块200如图2所示包括配置为矩阵状的多个像素100，各像素100通过布线112与电路201电连接。注意，电路201也可以设置在像素块200内。
另外，像素100与相邻的像素100通过晶体管150(晶体管150a至150j)电连接。将在后面说明晶体管150的功能。
像素100可以取得图像数据，并可以生成将图像数据与权重系数相加而得的数据。注意，图2中作为一个例子示出像素块200所具有的像素数为3×3，但是不局限于此。例如，也可以为2×2、4×4等。或者，水平方向与垂直方向的像素数也可以不同。另外，也可以使相邻的像素共有部分像素。
像素块200及电路201可以用作积和运算电路。
<像素电路>
像素100如图3A所示可以包括光电转换器件101、晶体管102、晶体管103、晶体管104、晶体管105、晶体管106及电容器107。
光电转换器件101的一个电极与晶体管102的源极和漏极中的一个电连接。晶体管102的源极和漏极中的另一个与晶体管103的源极和漏极中的一个及晶体管104的栅极以及电容器107的一个电极电连接。晶体管104的源极和漏极中的一个与晶体管105的源极和漏极中的一个电连接。电容器107的另一个电极与晶体管106的源极和漏极中的一个电连接。
光电转换器件101的另一个电极与布线114电连接。晶体管103的源极和漏极中的另一个与布线115电连接。晶体管105的源极和漏极中的另一个与布线112电连接。晶体管104的源极和漏极中的另一个与GND布线等电连接。晶体管106的源极和漏极中的另一个与布线111电连接。电容器107的另一个电极与布线117电连接。
晶体管102的栅极与布线121电连接。晶体管103的栅极与布线122电连接。晶体管105的栅极与布线123电连接。晶体管106的栅极与布线124电连接。
在此，将晶体管102的源极和漏极中的另一个、晶体管103的源极和漏极中的一个、电容器107的一个电极及晶体管104的栅极电连接的点(布线)记作节点FD。另外，将电容器107的另一个电极及晶体管106的源极和漏极中的一个电连接的点(布线)记作节点FDW。
布线114、115可以用作电源线。例如，布线114可以用作高电位电源线，布线115可以用作低电位电源线。布线121、122、123、124可以用作控制各晶体管的导通的信号线。布线111可以用作对像素100提供相当于权重系数的电位的布线。布线112可以用作使像素100与电路201电连接的布线。布线117可以用作通过晶体管150使该像素100的电容器107的另一个电极与其他像素100的电容器107的另一个电极电连接的布线(参照图2)。
另外，布线112也可以与放大电路、增益可调电路电连接。
作为光电转换器件101可以使用光电二极管。对光电二极管的类型没有限制，可以使用光电转换层中含有硅的Si光电二极管及光电转换层含有有机光导电膜的有机光电二极管等。注意，当想要提高低照度时的光检测灵敏度时，优选使用雪崩光电二极管。
晶体管102能够具有控制节点FD的电位的功能。晶体管103能够具有使节点FD的电位初始化的功能。晶体管104能够具有根据节点FD的电位控制流过电路201的电流的功能。晶体管105能够具有选择像素的功能。晶体管106能够具有对节点FDW提供相当于权重系数的电位。
另外，如图3B所示，晶体管104的源极和漏极中的一个也可以与晶体管105的源极和漏极中的一个电连接，晶体管104的源极和漏极中的另一个也可以与布线112连接，晶体管105的源极和漏极中的另一个也可以与GND布线等电连接。
另外，也可以如图4A及图4B所示使光电转换器件101的连接方向相反。在该情况下，布线114可以用作低电位电源线，布线115可以用作高电位电源线。
在作为光电转换器件101使用雪崩光电二极管时有时施加高电压，作为与光电转换器件101连接的晶体管优选使用高耐压的晶体管。作为该高耐压的晶体管，例如可以使用在沟道形成区域中使用金属氧化物的晶体管(以下，OS晶体管)等。具体而言，作为晶体管102，优选使用OS晶体管。
另外，OS晶体管还具有关态电流极低的特性。通过作为晶体管102、103、106使用OS晶体管，可以使节点FD及节点FDW能够保持电荷的期间极长。因此，可以采用在所有的像素中同时进行电荷储存工作的全局快门方式而无需采用复杂的电路结构或工作方式。另外，也可以在将图像数据保持在节点FD的同时进行用该图像数据的多次运算。
另一方面，有时优选晶体管104的放大特性良好。另外，晶体管106有时优选使用能够高速工作的迁移率高的晶体管。由此，作为晶体管104、106可以使用将硅用于沟道形成区域的晶体管(以下称为Si晶体管)。
注意，不局限于上述，也可以组合OS晶体管及Si晶体管而使用。另外，也可以作为所有晶体管都使用OS晶体管。或者，所有晶体管也都可以使用Si晶体管。作为Si晶体管，可以举出含有非晶硅的晶体管、含有结晶硅(微晶硅、低温多晶硅、单晶硅)的晶体管等。
像素100中的节点FD的电位根据将由布线115提供的复位电位以及因光电转换器件101的光电转换而生成的电位(图像数据)相加而得的电位决定。或者，由布线111提供的相当于权重系数的电位被电容耦合而决定。因此，相当于将图像数据与任意权重系数相加而得到的数据的电流可以流过晶体管105。
注意，以上是像素100的电路结构的一个例子，在采用其他电路结构的情况下也可以进行光电转换工作。
<电路201>
如图2所示，各像素100通过布线112彼此电连接。电路201可以利用各像素100的晶体管104中流过的电流之和进行运算。
电路201包括电容器202、晶体管203、晶体管204、晶体管205、晶体管206和电阻器207。
电容器202的一个电极与晶体管203的源极和漏极中的一个电连接。晶体管203的源极和漏极中的一个与晶体管204的栅极电连接。晶体管204的源极和漏极中的一个与晶体管205的源极和漏极中的一个电连接。晶体管205的源极和漏极中的一个与晶体管206的源极和漏极中的一个电连接。电阻器207的一个电极与电容器202的另一个电极电连接。
电容器202的另一个电极与布线112电连接。晶体管203的源极和漏极中的另一个与布线218电连接。晶体管204的源极和漏极中的另一个与布线219电连接。晶体管205的源极和漏极中的另一个与GND布线等基准电源线电连接。晶体管206的源极和漏极中的另一个与布线212电连接。电阻器207的另一个电极与布线217电连接。晶体管203的栅极与布线216电连接。晶体管205的栅极与布线215电连接。晶体管206的栅极与布线213电连接。
布线217、218、219可以用作电源线。例如，布线218可以用作提供读出专用电位的布线。布线217、219可以用作高电位电源线。布线213、215、216可以用作控制各晶体管的导通的信号线。布线212为输出线，例如，可以与图1所示的电路301电连接。
晶体管203可以具有将布线211的电位复位到布线218的电位的功能。晶体管204、205可以具有作为源极跟随器电路的功能。晶体管206可以具有控制读出的功能。另外，电路201也可以用作相关双采样电路(CDS电路)，也可以换用具有该功能的其他结构的电路。布线211是电连接电容器202的一个电极、晶体管203的源极和漏极中的一个及晶体管204的栅极的布线。
在本发明的一个方式中，去除图像数据(X)与权重系数(W)的积以外的偏置成分抽出想要的WX。WX可以利用同一像素的进行了拍摄的数据、没有进行拍摄的数据以及分别对其加权的数据来算出。
进行了拍摄时流过像素100的电流(Ip)总和为kΣ(X-Vth)2，加权时流过像素100的电流(Ip)总和为kΣ(W+X-Vth)2。另外，没有进行拍摄时流过像素100的电流(Iref)总和为kΣ(0-Vth)2，加权时流过像素100的电流(Iref)总和为kΣ(W-Vth)2。在此，k为常数，Vth为晶体管105的阈值电压。
首先，算出进行了拍摄的数据与对该数据进行了加权的数据之差分(数据A)。即，kΣ((X-Vth)2-(W+X-Vth)2)＝kΣ(-W2-2W·X+2W·Vth)。
接着，算出没有进行拍摄的数据与对该数据进行了加权的数据之差分(数据B)。即，kΣ((0-Vth)2-(W-Vth)2)＝kΣ(-W2+2W·Vth)。
然后，获取数据A与数据B的差分。即，kΣ(-W2-2W·X+2W·Vth-(-W2+2W·Vth))＝kΣ(-2W·X)。也就是说，可以去除图像数据(X)与权重系数(W)的积以外的偏置成分。
电路201可以读出数据A及数据B。数据A与数据B的差分运算例如可以利用电路301进行。
<滤波器>
在此，提供给像素块200整体的权重被用作滤波器。作为该滤波器，例如可以使用卷积神经网络(CNN)的卷积滤波器。或者，可以使用边缘提取滤波器等图像处理滤波器。作为边缘提取滤波器的一个例子，例如可以举出图5A所示的拉普拉斯滤波器、图5B所示的Prewitt滤波器、图5C所示的Sobel滤波器等。
当像素块200中的像素100的数量为3×3时，可以将上述边缘提取滤波器的要素作为权重分配给各像素100而供应。如上所述，为了计算出数据A及数据B，可以使用进行了拍摄的数据、没有进行拍摄的数据以及分别对其加权的数据。在此，可以将没有加权的数据换称为对所有的像素100附加了权重0的数据。
在图5A至图5C中例示出的边缘提取滤波器是滤波器的要素(权重：ΔW)之和(ΣΔW/N，N是要素的数量)为0的滤波器。因此，只要进行取得ΣΔW/N的工作而不重新进行从其他电路提供ΔW＝0的工作，就可以取得将所有的像素100与相当于ΔW＝0的值相加的数据。
该工作相当于使设置在像素100间的晶体管150(晶体管150a至150j)导通的工作(参照图2)。通过使晶体管150导通，各像素100的节点FDW都通过布线117短路。此时，再次分配储存在各像素100的节点FDW中的电荷，在使用图5A至图5C所例示出的边缘提取滤波器的情况下，节点FDW的电位(ΔW)为0或几乎0。因此，可以取得相加相当于ΔW＝0的值的数据。
注意，当通过从像素阵列300的外侧的电路提供电荷来改写权重(ΔW)时，由于距离较长的布线111的电容等而改写的完成需要一些时间。另一方面，像素块200是微小的区域，布线117的距离较短，其电容也小。因此，在储存在像素块200中的节点FDW的电荷的再次分配工作中，可以高速地改写权重(ΔW)。
在图2所示的像素块200中，示出晶体管150a至150j分别与互不相同的栅极线(布线113a至113j)电连接的结构。在该结构中，可以独立地控制晶体管150a至150j的导通，可以选择性地进行取得ΣΔW/N的工作。
例如，当使用图5B、图5C等所示的滤波器时，有初始被提供ΔW＝0的像素。在以ΣΔW/N＝0为前提的情况下，可以将被提供了ΔW＝0的像素从作为和的对象的像素排除。在排除该像素时，不需要提供用来使晶体管150a至150j的一部分工作的电位，因此可以抑制功耗。
注意，当以所有的像素为对象而进行取得ΣΔW/N的工作时，也可以采用如图6所示那样的晶体管150a至150j与一个栅极线(布线113)电连接的结构。在该结构中可以减少栅极线，因此可以简化控制。
注意，图2及图6示出在像素100间设置九个晶体管150(晶体管150a至150j)的例子，但是也可以进一步增加晶体管150的数量。另外，也可以从晶体管150g至150j排除几个晶体管150来删除并联路径。
另外，以上示出使用使ΣΔW/N＝0成立的滤波器的例子，但是也可以使用使ΣΔW/N≠0成立的滤波器。例如，如图7A所示，在中央为1且以中央为起点的八个方向为0的滤波器中，先提供的权重(ΔW)为0或1，ΣΔW/N＝1/9成立。当按照上述工作取得其差分时，有中央为8且八个方向为-1的要素，这相等于使用图5A所示的拉普拉斯滤波器的常数倍的运算工作。
另外，如图7B所示，在依次具有0的行、1的行、2的行的滤波器中，ΣΔW/N＝1成立。当与以上同样地取得差分时，各行为-1的行、0的行、1的行。这相等于使用图5B所示的Prewitt滤波器的运算工作。
以上，对图7A和图7B的两个例子进行说明，但是滤波器基本上是任意的，除了使用已知的滤波器以外还可以进行各种各样的运算。
<摄像工作>
接着，使用图8所示的时序图说明摄像工作及积和运算工作。注意，作为这里示出的像素块200采用图6所示的结构，作为像素100采用图3A或图3B所示的结构。另外，假设电源线等被提供规定的恒电位。注意，在以下说明中，将高电位记为“H”，将低电位记为“L”。
在时间T1，使布线121的电位为“H”，使布线122的电位为“H”且使布线124的电位为“H”，由此晶体管102、103导通，节点FD的电位为复位电位(布线115的电位)“VRES”。另外，晶体管106导通，因此节点FDW的电位为“L”(＝0)。
在时间T2，使布线121的电位变为“L”，使布线122的电位变为“L”且布线124的电位为“H”，由此晶体管102、103变为不导通，节点FD保持复位电位“VRES”。
在时间T3，使布线121的电位变为“H”，布线122的电位为“L”且布线124的电位为“H”，由此晶体管102变为导通，由于光电转换器件101的工作而节点FD的电位变为“VRES+ΔX”。
在时间T4，使布线121的电位变为“L”，布线122的电位为“L”且使布线124的电位变为“L”，由此晶体管102、106变为不导通，节点FD保持电位“VRES+ΔX”。“ΔX”是相当于图像数据的电位，到此工作相当于摄像的基本工作。
<积和运算工作>
接着，说明通过像素100及电路201中的积和运算工作计算出上述数据A及数据B的工作。注意，以上说明一个像素的工作，但是像素块200包括多个像素100。因此，可以在像素块200中的所有的像素100的摄像工作结束之后，进行以下说明的工作。
在时间T5，对布线111提供相当于权重的电位“ΔW”来使布线124的电位变为“H”，由此晶体管106变为导通，电位“ΔW”写入到节点FDW。因此，通过电容器107的电容耦合将节点FDW的电位的变化量加到节点FD，节点FD的电位变为“VRES+ΔX+ΔW’”。当电容器107的电容比节点FD的电容充分大时，“ΔW”和“ΔW’”是几乎相同的值。
在时间T6，使布线124的电位变为“L”，由此晶体管106变为不导通，节点FDW保持电位“ΔW”，节点FD保持电位“VRES+ΔX+ΔW’”。
在时间T7，使布线123的电位为“H”且使布线216(参照图2)的电位为“H”，由此晶体管105导通，根据节点FD的电位的电流从布线112流到晶体管104。另外，在电路201中，晶体管203导通，使布线211的电位为布线218的电位“Vr”。就是说，当电容器202的另一个电极的电位为对在像素100中取得的图像数据加权而得的输出电位时，电容器202的一个电极的电位被初始化为电位“Vr”。
在时间T8，使布线113(参照图6)的电位为“H”，由此晶体管150a至150j导通，各像素100的节点FDW短路，电荷再次被分配，节点FDW的电位变为“ΣΔW/N”。因此，通过电容器107的电容耦合将节点FDW的电位的变化量加到节点FD，节点FD的电位变为“VRES+ΔX+(ΣΔW/N)’”。在此，当电容器107的电容比节点FD的电容充分大时，“ΣΔW/N”和“(ΣΔW/N)’”是几乎相同的值。换言之，在是“ΣΔW/N”＝0的情况下，“(ΣΔW/N)’”＝0成立。
在时间T9，使布线113的电位变为“L”，布线123的电位为“H”，使布线213的电位为“H”，使布线215的电位为“Vbias”等适当的模拟电位，由此节点FDW及节点FD的电位被保持。另外，晶体管105导通，根据节点FD的电位的电流从布线112流到晶体管104。在此，电容器202的另一个电极的电位根据流过布线112的电流而变化，其变化量Y通过电容耦合被加到布线211的电位“Vr”。
因此，布线211的电位变为“Vr+Y”。在此，在Vr＝0时，Y即是差分，数据A被计算出来。另外，电路201可以通过源极跟随器工作输出对应于数据A的信号电位。
利用同样的步骤可以算出没有进行拍摄的数据以及对该数据进行加权后的数据之差分(数据B)。注意，由于没有进行拍摄，所以不进行积蓄工作。例如，当布线121为“H”时，通过使布线122也为“H”，节点FD可以维持复位电位。另外，也可以采用不设置使布线121的电位为“H的期间的工作。
通过上述工作，电路201输出的数据A及数据B被输入到电路301。在电路301中，进行获取数据A与数据B之差分的运算可以去除图像数据与权重系数的积以外的不需要的偏置成分。作为电路301，除了可以采用电路201那样的包括运算电路的结构之外，还可以采用利用存储器电路(也称为存储电路)及软件处理计算差分的结构。
权重系数可以从图1所示的电路305对布线111输出，优选在帧期间内改写权重系数一次以上。作为电路305，可以使用解码器。另外，电路305也可以具有D/A转换器及SRAM。
另外，可以从电路303向选择输入权重系数的像素100的布线124输出信号电位。作为电路303可以使用解码器或移位寄存器。
另外，可以从电路304向与像素100的晶体管105的栅极连接的布线123等输出信号电位。电路304可以使用译码器或移位寄存器。
另外，可以从电路306向与像素块200的晶体管150的栅极连接的布线113输出信号电位。电路306可以使用译码器或移位寄存器。
以上，对拍摄的图像数据的加工处理进行了说明，但是本发明的一个方式的摄像装置也可以不对图像数据进行加工而取出。
积和运算中，优选能够同时选择多个行的像素。另一方面，在仅取出拍摄数据的情况下，优选从一个行的像素取出数据。在本发明的一个方式中，用来选择像素100的电路304具有切换选择行数的功能。
<移位寄存器>
图9是能够用于电路304的电路的一个例子。该电路是移位寄存器电路，其中多个逻辑电路(SR)彼此电连接。各逻辑电路(SR)与布线RES、布线VSS_RDRS、布线RPWC_SE[0：3]、布线RCLK[0：3]、布线RSP等信号线连接，通过对各信号线输入适当的信号电位，可以从该逻辑电路(SR)依次进行选择信号电位的输出。
另外，逻辑电路(SR)与电路170电连接。电路170中设置有多个晶体管，并与布线SE_SW[0：2]、布线SX[0：2]等信号线连接，通过对各信号线输入适当的信号电位控制晶体管的导通。通过电路170的控制可以切换选择像素的行数。
一个逻辑电路(SR)的输出端子与一个晶体管的源极和漏极中的一个电连接，该晶体管的源极和漏极中的另一个与布线SE连接。布线SE与选择像素100的布线122电连接。
与布线SE[0]连接的晶体管的栅极可以被输入布线SE_SW[0]提供的信号电位。与布线SE[1]连接的晶体管的栅极可以被输入布线SE_SW[1]提供的信号电位。与布线SE[2]连接的晶体管的栅极可以被输入布线SE_SW[2]提供的信号电位。与布线SE[3]及其之后的布线连接的晶体管的栅极可以以同样的顺序被输入布线SE_SW[0：2]中的任意个提供的信号电位。
另外，相邻布线SE间通过一个晶体管电连接，布线SE[0]通过一个晶体管与电源线(VSS)电连接。
电连接电源线(VSS)与布线SE[0]的晶体管的栅极可以被输入布线SX[0]提供的信号电位。电连接布线SE[0]与布线SE[1]的晶体管的栅极可以被输入布线SX[1]提供的信号电位。电连接布线SE[1]与布线SE[2]的晶体管的栅极可以被输入布线SX[2]提供的信号电位。使那以后的布线SE电连接的晶体管的栅极可以以同样的顺序被输入布线SX[0：2]提供的信号电位中的任意个。
图10是说明利用图9所示的电路同时选择多个行(3行)的工作的时序图。(0)至(161)相当于逻辑电路(SR)对布线SE输出信号电位的时序。
在时序(0)，当布线SX[0]的电位为“L”，布线SX[1]的电位为“H”，布线SX[2]的电位为“H”，布线SE_SW[0]的电位为“H”，布线SE_SW[1]的电位为“L”且布线SE_SW[2]的电位为“L”时，各晶体管的导通被控制，向布线SE[0]输出“H”，向布线SE[1]输出“H”，向布线SE[2]输出“H”。向其他的布线SE输出“L”。
由此，可以同时选择3行，例如可以进行3行3列像素的积和运算。
在时序(1)，当布线SX[0]的电位为“H”，布线SX[1]的电位为“L”，布线SX[2]的电位为“H”，布线SE_SW[0]的电位为“L”，布线SE_SW[1]的电位为“H”且布线SE_SW[2]的电位为“L”时，各晶体管的导通被控制，向布线SE[0]输出“L”，向布线SE[1]输出“H”，向布线SE[2]输出“H”，向布线SE[3]输出“H”。向其他的布线SE输出“L”。
也就是说，在时序(1)可以进行从时序(0)偏移1行的步长1的积和运算。
图11是说明利用图9所示的电路进行选择一个行的工作的时序图。
按照该时序图的工作中，布线SE_SW[0：2]的电位一直为“H”，布线SX[0：2]的电位一直为“L”。所以，逻辑电路(SR)的输出原样出现在各布线SE，由此可以按每1行进行选择。
<电路301、302>
图12A是说明与电路201连接的电路301及电路302的图。电路201输出的积和运算结果的数据依次输入到电路301。电路301除了具有进行之前所述的数据A与数据B的差分的运算功能之外还可以具有各种各样的运算功能。例如，电路301可以采用与电路201相同的结构。或者，软件处理也可以替代电路301的功能。
另外，电路301也可以包括进行激活函数运算的电路。该电路例如可以使用比较器电路。比较器电路将对被输入的数据与设定的阈值进行比较的结果以二值数据的形式输出。也就是说，像素块200及电路301可以用作神经网络的部分要素。
另外，电路301也可以包括A/D转换器。当不进行积和运算等将图像数据输出到外部时，可以利用电路301将模拟数据转换为数字数据。
另外，像素块200所输出的数据相当于多个位的图像数据，但是在电路301被二值化时，可以说使图像数据压缩。
电路301输出的数据被依次输入到电路302。电路302例如可以具有包括锁存电路及移位寄存器等的结构。通过采用该结构，可以进行并串转换，并可以将并行被输入的数据作为串行数据输出到布线311。布线311的连接对象没有限制。例如，可以与神经网络、存储装置、通信装置等连接。
另外，如图12B所示，电路302也可以具有神经网络的结构。该神经网络包括配置为矩阵状的存储单元，在各存储单元保持有权重系数。从电路301输出的数据被分别输入到存储单元320可以进行积和运算。注意，图12B所示的存储单元的数量是一个例子而没有限制。
图12B所示的神经网络包括配置为矩阵状的存储单元320及参照存储单元325、电路330、电路350、电路360及电路370。
图13示出存储单元320及参照存储单元325的一个例子。参照存储单元325设置在任意一个列上。存储单元320及参照存储单元325具有彼此相同结构，都包括晶体管161、晶体管162及电容器163。
晶体管161的源极和漏极中的一个与晶体管162的栅极电连接。晶体管162的栅极与电容器163的一个电极电连接。在此，将晶体管161的源极和漏极中的一个、晶体管162的栅极与电容器163的一个电极连接的点记为节点NM。
晶体管161的栅极与布线WL电连接。电容器163的另一个电极与布线RW电连接。晶体管162的源极和漏极中的一个与GND布线等基准电位布线电连接。
在存储单元320中，晶体管161的源极和漏极中的另一个与布线WD电连接。晶体管162的源极和漏极中的另一个与布线BL电连接。
在参照存储单元325中，晶体管161的源极和漏极中的另一个与布线WDref电连接。晶体管162的源极和漏极中的另一个与布线BLref电连接。
布线WL与电路330电连接。作为电路330可以使用解码器或移位寄存器等。
布线RW与电路301电连接。各存储单元被写入电路301输出的二值数据。此外，电路301与各存储单元间也可以具有移位寄存器等时序电路。
布线WD及布线WDref与电路350电连接。作为电路350可以使用解码器或移位寄存器等。另外，电路350也可以包括D/A转换器或SRAM。电路350可以输出写入到节点NM的权重系数。
布线BL及布线BLref与电路360电连接。电路360可以具有与电路201相同的结构。由电路360可以得到从积和运算结果去除偏置成分的信号电位。
电路360与电路370电连接。另外，也可以将电路370称为激活函数电路。激活函数电路具有进行运算以根据预定义的激活函数转换从电路360输入的信号电位的功能。作为激活函数，例如可以使用sigmoid函数、tanh函数、softmax函数、ReLU函数及阈值函数等。由激活函数电路转换的信号电位作为输出数据输出到外部。
如图14A所示，神经网络NN可以由输入层IL、输出层OL及中间层(隐藏层)HL构成。输入层IL、输出层OL及中间层HL都包括一个或多个神经元(单元)。注意，中间层HL可以为一层或两层以上。包括具有两层以上的中间层HL的神经网络可以称为DNN(深度神经网络)。另外，利用深度神经网络的学习可以称为深度学习。
对输入层IL的各神经元输入输入数据。对中间层HL的各神经元输入前一层或后一层的神经元的输出信号。对输出层OL的各神经元输入前一层的神经元的输出信号。注意，各神经元既可以与前一层和后一层的所有神经元连结(全连结)，又可以与部分神经元连结。
图14B示出利用神经元的运算的例子。在此，示出神经元N及向神经元N输出信号的前一层的两个神经元。神经元N被输入前一层的神经元的输出x1及前一层的神经元的输出x2。在神经元N中，算出输出x1与权重w1的乘法结果(x1w1)和输出x2与权重w2的乘法结果(x2w2)之总和x1w1+x2w2，然后根据需要对其加偏压b，从而得到值a＝x1w1+x2w2+b。值a被激活函数h变换，从神经元N输出信号y＝ah。
如此，利用神经元的运算包括对前一层的神经元的输出与权重之积进行加法的运算，即，积和运算(上述x1w1+x2w2)。该积和运算既可以使用程序以软件进行，又可以以硬件进行。
在本发明的一个方式中，作为硬件使用模拟电路进行积和运算。在作为积和运算电路使用模拟电路时，可以缩小积和运算电路的电路规模或因向存储器访问的次数的减少而实现处理速度的提高及功耗的降低。
积和运算电路优选采用包括OS晶体管的结构。因为OS晶体管具有极低的关态电流，所以优选用作构成积和运算电路的模拟存储器的晶体管。另外，也可以使用Si晶体管和OS晶体管构成积和运算电路。
本实施方式可以与其他实施方式的记载适当地组合。
(实施方式2)
在本实施方式中对本发明的一个方式的摄像装置的结构实例等进行说明。
<结构实例>
图15A是示出摄像装置的像素结构的一个例子的图，可以采用层561及层563的叠层结构。
层561包括光电转换器件101。光电转换器件101如图16A所示可以包括层565a和层565b。注意，根据情况也可以将层称为区域。
图16A所示的光电转换器件101是pn结型光电二极管，例如可以将p型半导体用于层565a，可以将n型半导体用于层565b。或者，可以将n型半导体用于层565a，可以将p型半导体用于层565b。
上述pn结型光电二极管典型地可以使用单晶硅形成。将单晶硅用于光电转换层的光电二极管具有紫外光至近红外光的较宽的分光灵敏度特性，通过与后述的光学转换层组合，可以检测出各种波长的光。
此外，作为pn结型光电二极管的光电转换层也可以使用化合物半导体。作为该化合物半导体，例如，可以使用镓-砷-磷化合物(GaAsP)、镓-磷化合物(GaP)、铟-镓-砷化合物(InGaAs)、铅-硫化合物(PbS)、铅-硒化合物(PbSe)、铟-砷化合物(InAs)、铟-锑化合物(InSb)、汞-镉-碲化合物(HgCdTe)等。
化合物半导体优选为包含第13族元素(铝、镓、铟等)及第15族元素(氮、磷、砷、锑等)的化合物半导体(也称为III-V族化合物半导体)或者包含第12族元素(镁、锌、镉、汞等)及第16族元素(氧、硫、硒、碲等)的化合物半导体(也称为II-VI族化合物半导体)。
在化合物半导体中，根据构成元素的组合及其原子数比可以改变带隙，因此可以形成在紫外光至近红外光的各种波长范围具有灵敏度的光电二极管。
注意，一般可以被定义为如下：紫外光的波长为0.01μm附近至0.38μm附近，可见光的波长为0.38μm附近至0.75μm附近，近红外光的波长为0.75μm附近至2.5μm附近，中红外光的波长为2.5μm附近至4μm附近，远红外光的波长为4μm附近至1000μm附近。
例如，为了形成对紫外光至可见光具有光灵敏度的光电二极管，可以将GaP等用于光电转换层。另外，为了形成对紫外光至近红外光具有光灵敏度的光电二极管，可以将上述硅或GaAsP等用于光电转换层。另外，为了形成对可见光至中红外光具有光灵敏度的光电二极管，可以将InGaAs等用于光电转换层。另外，为了形成对近红外光至中红外光具有光灵敏度的光电二极管，可以将PbS或InAs等用于光电转换层。另外，为了形成对中红外光至远红外光具有光灵敏度的光电二极管，可以将PbSe、InSb或HgCdTe等用于光电转换层。
注意，使用上述化合物半导体的光电二极管可以不是pn结型光电二极管而是pin结型光电二极管。pn结及pin结不局限于同质结结构，也可以采用异质结结构。
例如，在是异质结的情况下，可以将第一化合物半导体用于pn结结构的一个层且将不同于第一化合物半导体的第二化合物半导体用于pn结结构的另一个层。可以将第一化合物半导体用于pin结结构的任一个层或任两个层且将不同于第一化合物半导体的第二化合物半导体用于pin结结构的其他层。此外，第一化合物半导体和第二化合物半导体中的一个也可以是硅等的单体半导体。
此外，也可以根据像素使用不同材料来形成光电二极管的光电转换层。通过采用该结构，可以形成包括检测出紫外光的像素、检测出可见光的像素和检测出红外光的像素等中的任两种像素或三种像素的摄像装置。
另外，层561中的光电转换器件101可以如图16B所示地采用层566a、层566b、层566c和层566d的叠层。图16B所示的光电转换器件101是雪崩光电二极管的一个例子，层566a、层566d相当于电极，层566b、566c相当于光电转换部。
层566a优选为低电阻金属层等。例如，可以使用铝、钛、钨、钽、银或其叠层。
层566d优选使用对可见光具有高透光性的导电层。例如，可以使用铟氧化物、锡氧化物、锌氧化物、铟锡氧化物、镓锌氧化物、铟镓锌氧化物或石墨烯等。另外，可以省略层566d。
光电转换部的层566b、566c例如可以具有将硒类材料作为光电转换层的pn结型光电二极管的结构。优选的是，作为层566b使用p型半导体的硒类材料，作为层566c使用n型半导体的镓氧化物等。
使用硒类材料的光电转换器件具有对可见光具有高外部量子效率的特性。该光电转换器件可以利用雪崩倍增而增加相对于入射光的量的电子放大量。另外，硒类材料具有高光吸收系数，所以例如可以以薄膜制造光电转换层，因此使用硒类材料从制造的观点来看有利。硒类材料的薄膜可以通过真空蒸镀法或溅射法等形成。
作为硒类材料，可以使用结晶硒(单晶硒、多晶硒)、非晶硒。这些硒对紫外光至可见光具有光灵敏度。另外，可以使用铜、铟、硒的化合物(CIS)或者铜、铟、镓、硒的化合物(CIGS)等。这些化合物对紫外光至近红外光具有光灵敏度。
n型半导体优选由带隙宽且对可见光具有透光性的材料形成。例如，可以使用锌氧化物、镓氧化物、铟氧化物、锡氧化物或者上述物质混在一起的氧化物等。另外，这些材料也具有空穴注入阻挡层的功能，可以减少暗电流。
另外，层561中的光电转换器件101可以如图16C所示地采用层567a、层567b、层567c、层567d和层567e的叠层。图16C所示的光电转换器件101是有机光导电膜的一个例子，层567a为下部电极，层567e是具有透光性的上部电极，层567b、567c、567d相当于光电转换部。
光电转换部的层567b、567d中的任一个可以为空穴传输层，另一个可以为电子传输层。另外，层567c可以为光电转换层。
作为空穴传输层，例如可以使用氧化钼等。作为电子传输层，例如可以使用C60、C70等富勒烯或其衍生物等。
作为光电转换层，可以使用n型有机半导体和p型有机半导体的混合层(本体异质结结构)。有机半导体有各种各样的种类，作为光电转换层选择对目的波长具有光灵敏度的材料即可。
图15A所示的层563例如可以使用硅衬底。该硅衬底包括Si晶体管等。通过使用该Si晶体管除了可以形成像素电路之外还可以形成驱动该像素电路的电路、图像信号的读出电路、图像处理电路、神经网络、通信电路等。另外，也可以形成DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等存储电路、CPU(Central Processing Unit：中央处理器)、MCU(Micro Controller Unit：微控制单元)等。注意，在本实施方式中，将除了像素电路之外的上述电路称为功能电路。
例如，可以将在实施方式1中说明的像素电路(像素100)及功能电路(电路201、301、302、303、304、305、306等)所包括的部分晶体管或所有晶体管设置于层563中。
另外，层563也可以如图15B所示地为多个层的叠层。图15B示出层563a、563b、563c的三层的例子，也可以为两层。或者，层563也可以为四层以上的叠层。这些层例如可以利用贴合工序等进行层叠。通过采用该结构可以将像素电路和功能电路分散在多个层中而可以重叠地设置像素电路和功能电路，由此可以制造小型且高性能的摄像装置。
另外，像素也可以如图15C所示地采用层561、层562及层563的叠层结构。
层562可以包括OS晶体管。上述功能电路中的一个以上可以使用OS晶体管形成。或者，也可以使用层563所包括的Si晶体管和层562所包括的OS晶体管形成功能电路中的一个以上。此外，也可以作为层563使用玻璃衬底等支撑衬底且用层562所包括的OS晶体管形成功能电路。
例如，可以使用OS晶体管及Si晶体管实现常关闭CPU(也称为“NoffCPU(注册商标)”)。NoffCPU是指包括即使栅极电压为0V也处于非导通状态(也称为关闭状态)的常关闭型晶体管的集成电路。
在NoffCPU中，可以停止向NoffCPU中的不需要工作的电路的供电，使该电路处于待机状态。在供电停止而处于待机状态的电路中，没有电力消耗。因此，NoffCPU可以将用电量抑制到最小限度。另外，即使供电停止，NoffCPU也可以长时间保持设定条件等工作所需要的信息。当从待机状态恢复时，只要再次开始向该电路的供电即可，而不需要设定条件等的再次写入。就是说，可以高速从待机状态恢复。如此，NoffCPU可以降低功耗，而无需大幅度降低工作速度。
另外，层562也可以如图15D所示为多个层的叠层。图15D中示出层562a、562b的两层结构，但是可以采用三层以上的叠层。这些层例如可以以层叠在层563上的方式形成。或者，也可以通过贴合形成在层563上的层与形成在层561上的层来形成。
作为用于OS晶体管的半导体材料，可以使用能隙为2eV以上，优选为2.5eV以上，更优选为3eV以上的金属氧化物。典型的有含有铟的氧化物半导体等，例如，可以使用后面提到的CAAC-OS或CAC-OS等。CAAC-OS中构成晶体的原子稳定，适用于重视可靠性的晶体管等。CAC-OS呈现高迁移率特性，适用于进行高速驱动的晶体管等。
由于OS晶体管的半导体层具有大能隙，所以呈现极低的关态电流特性，仅为几yA/μm(每沟道宽度1μm的电流值)。与Si晶体管不同，OS晶体管不会发生碰撞电离、雪崩击穿、短沟道效应等，因此能够形成具有高耐压性和高可靠性的电路。此外，Si晶体管中产生的起因于结晶性不均匀的电特性不均匀不容易产生在OS晶体管中。
作为OS晶体管中的半导体层，例如可以采用包含铟、锌及M(选自铝、钛、镓、锗、钇、锆、镧、铈、锡、钕和铪等金属中的一个或多个)的以“In-M-Zn类氧化物”表示的膜。典型的是，In-M-Zn类氧化物可以通过溅射法形成。或者，也可以通过ALD(Atomic layerdeposition：原子层沉积)法形成。
优选用来通过溅射法形成In-M-Zn类氧化物的溅射靶材的金属元素的原子数比满足In≥M及Zn≥M。这种溅射靶材的金属元素的原子数比优选为In:M:Zn＝1:1:1、In:M:Zn＝1:1:1.2、In:M:Zn＝3:1:2、In:M:Zn＝4:2:3、In:M:Zn＝4:2:4.1、In:M:Zn＝5:1:6、In:M:Zn＝5:1:7、In:M:Zn＝5:1:8等。注意，所沉积的半导体层的原子数比分别有可能在上述溅射靶材中的金属元素的原子数比的±40％的范围内变动。
作为半导体层，可以使用载流子密度低的氧化物半导体。例如，作为半导体层可以使用载流子密度为1×1017/cm3以下，优选为1×1015/cm3以下，更优选为1×1013/cm3以下，进一步优选为1×1011/cm3以下，更进一步优选为小于1×1010/cm3，1×10-9/cm3以上的氧化物半导体。将这样的氧化物半导体称为高纯度本征或实质上高纯度本征的氧化物半导体。该氧化物半导体的缺陷态密度低，因此可以说是具有稳定的特性的氧化物半导体。
注意，本发明不局限于上述记载，可以根据所需的晶体管的半导体特性及电特性(场效应迁移率、阈值电压等)来使用具有适当的组成的材料。另外，优选适当地设定半导体层的载流子密度、杂质浓度、缺陷密度、金属元素与氧的原子数比、原子间距离、密度等，以得到所需的晶体管的半导体特性。
当构成半导体层的氧化物半导体包含第14族元素之一的硅或碳时，氧空位增加，会使该半导体层变为n型。因此，将半导体层中的硅或碳的浓度(通过二次离子质谱分析法测得的浓度)设定为2×1018atoms/cm3以下，优选为2×1017atoms/cm3以下。
另外，有时当碱金属及碱土金属与氧化物半导体键合时生成载流子，而使晶体管的关态电流增大。因此，将半导体层的碱金属或碱土金属的浓度(通过二次离子质谱分析法测得的浓度)设定为1×1018atoms/cm3以下，优选为2×1016atoms/cm3以下。
另外，当构成半导体层的氧化物半导体含有氮时生成作为载流子的电子，载流子密度增加而容易n型化。其结果是，使用含有氮的氧化物半导体的晶体管容易具有常开启特性。因此，半导体层的氮浓度(通过二次离子质谱分析法测得的浓度)优选为5×1018atoms/cm3以下。
另外，当构成半导体层的氧化物半导体包含氢时，氢与键合于金属原子的氧起反应生成水，因此有时在氧化物半导体中形成氧空位。在氧化物半导体中的沟道形成区域包含氧空位的情况下，晶体管趋于具有常开启特性。再者，有时氢进入氧空位中而成的缺陷被用作供体而生成作为载流子的电子。此外，有时氢的一部分键合到与金属原子键合的氧而生成作为载流子的电子。因此，使用包含较多的氢的氧化物半导体的晶体管容易具有常开启特性。
氢进入氧空位中而成的缺陷会被用作氧化物半导体的供体。然而，定量地评价该缺陷是困难的。于是，在氧化物半导体中，有时不是根据供体浓度而是根据载流子浓度进行评价。由此，在本说明书等中，有时作为氧化物半导体的参数，不采用供体浓度而采用假定为不被施加电场的状态的载流子浓度。也就是说，本说明书等所记载的“载流子浓度”有时可以称为“供体浓度”。
由此，优选尽可能减少氧化物半导体中的氢。具体而言，在氧化物半导体中，利用二次离子质谱(SIMS：Secondary Ion Mass Spectrometry)测得的氢浓度低于1×1020atoms/cm3，优选低于1×1019atoms/cm3，更优选低于5×1018atoms/cm3，进一步优选低于1×1018atoms/cm3。通过将氢等杂质被充分减少的氧化物半导体用于晶体管的沟道形成区域，可以赋予稳定的电特性。
另外，半导体层例如也可以具有非单晶结构。非单晶结构例如包括具有c轴取向的结晶的CAAC-OS(C-Axis Aligned Crystalline Oxide Semiconductor)、多晶结构、微晶结构或非晶结构。在非单晶结构中，非晶结构的缺陷态密度最高，而CAAC-OS的缺陷态密度最低。
非晶结构的氧化物半导体膜例如具有无秩序的原子排列且不具有结晶成分。或者，非晶结构的氧化物膜例如是完全的非晶结构且不具有结晶部。
此外，半导体层也可以为具有非晶结构的区域、微晶结构的区域、多晶结构的区域、CAAC-OS的区域和单晶结构的区域中的两种以上的混合膜。混合膜有时例如具有包括上述区域中的两种以上的区域的单层结构或叠层结构。
下面，对非单晶半导体层的一个方式的CAC(Cloud-Aligned Composite)-OS的构成进行说明。
CAC-OS例如是指包含在氧化物半导体中的元素不均匀地分布的构成，其中包含不均匀地分布的元素的材料的尺寸为0.5nm以上且10nm以下，优选为1nm以上且2nm以下或近似的尺寸。注意，在下面也将在氧化物半导体中一个或多个金属元素不均匀地分布且包含该金属元素的区域以0.5nm以上且10nm以下，优选为1nm以上且2nm以下或近似的尺寸混合的状态称为马赛克(mosaic)状或补丁(patch)状。
氧化物半导体优选至少包含铟。尤其优选包含铟及锌。除此之外，也可以还包含选自铝、镓、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种。
例如，In-Ga-Zn氧化物中的CAC-OS(在CAC-OS中，尤其可以将In-Ga-Zn氧化物称为CAC-IGZO)是指材料分成铟氧化物(以下，称为InOX1(X1为大于0的实数))或铟锌氧化物(以下，称为InX2ZnY2OZ2(X2、Y2及Z2为大于0的实数))以及镓氧化物(以下，称为GaOX3(X3为大于0的实数))或镓锌氧化物(以下，称为GaX4ZnY4OZ4(X4、Y4及Z4为大于0的实数))等而成为马赛克状，且马赛克状的InOX1或InX2ZnY2OZ2均匀地分布在膜中的构成(以下，也称为云状)。
换言之，CAC-OS是具有以GaOX3为主要成分的区域和以InX2ZnY2OZ2或InOX1为主要成分的区域混在一起的构成的复合氧化物半导体。在本说明书中，例如，当第一区域的In与元素M的原子数比大于第二区域的In与元素M的原子数比时，第一区域的In浓度高于第二区域。
注意，IGZO是通称，有时是指包含In、Ga、Zn及O的化合物。作为典型例子，可以举出以InGaO3(ZnO)m1(m1为自然数)或In(1+x0)Ga(1-x0)O3(ZnO)m0(-1≤x0≤1，m0为任意数)表示的结晶性化合物。
上述结晶性化合物具有单晶结构、多晶结构或CAAC结构。CAAC结构是多个IGZO的纳米晶具有c轴取向且在a-b面上以不取向的方式连接的结晶结构。
另一方面，CAC-OS与氧化物半导体的材料构成有关。CAC-OS是指如下构成：在包含In、Ga、Zn及O的材料构成中，一部分中观察到以Ga为主要成分的纳米粒子状区域，一部分中观察到以In为主要成分的纳米粒子状区域，并且，这些区域以马赛克状无规律地分散。因此，在CAC-OS中，结晶结构是次要因素。
CAC-OS不包含组成不同的两种以上的膜的叠层结构。例如，不包含由以In为主要成分的膜与以Ga为主要成分的膜的两层构成的结构。
注意，有时观察不到以GaOX3为主要成分的区域与以InX2ZnY2OZ2或InOX1为主要成分的区域之间的明确的边界。
在CAC-OS中包含选自铝、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种以代替镓的情况下，CAC-OS是指如下构成：一部分中观察到以该金属元素为主要成分的纳米粒子状区域以及一部分中观察到以In为主要成分的纳米粒子状区域以马赛克状无规律地分散。
CAC-OS例如可以通过在对衬底不进行意图性的加热的条件下利用溅射法来形成。在利用溅射法形成CAC-OS的情况下，作为沉积气体，可以使用选自惰性气体(典型的是氩)、氧气体和氮气体中的一种或多种。另外，沉积时的沉积气体的总流量中的氧气体的流量比越低越好，例如，将氧气体的流量比设定为0％以上且低于30％，优选为0％以上且10％以下。
CAC-OS具有如下特征：通过根据X射线衍射(XRD：X-ray diffraction)测定法之一的Out-of-plane法利用θ/2θ扫描进行测定时，观察不到明确的峰。也就是说，根据X射线衍射，可知在测定区域中没有a-b面方向及c轴方向上的取向。
另外，在通过照射束径为1nm的电子束(也称为纳米束)而取得的CAC-OS的电子衍射图案中，观察到环状的亮度高的区域(环状区域)以及在该环状区域内的多个亮点。由此，根据电子衍射图案，可知CAC-OS的结晶结构具有在平面方向及截面方向上没有取向的nc(nano-crystal)结构。
另外，例如在In-Ga-Zn氧化物的CAC-OS中，根据通过能量分散型X射线分析法(EDX：Energy Dispersive X-ray spectroscopy)取得的EDX面分析(EDX-mapping)图像，可确认到：具有以GaOX3为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域不均匀地分布而混合的构成。
CAC-OS的结构与金属元素均匀地分布的IGZO化合物不同，具有与IGZO化合物不同的性质。换言之，CAC-OS具有以GaOX3等为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域互相分离且以各元素为主要成分的区域为马赛克状的构成。
在此，以InX2ZnY2OZ2或InOX1为主要成分的区域的导电性高于以GaOX3等为主要成分的区域。换言之，当载流子流过以InX2ZnY2OZ2或InOX1为主要成分的区域时，呈现氧化物半导体的导电性。因此，当以InX2ZnY2OZ2或InOX1为主要成分的区域在氧化物半导体中以云状分布时，可以实现高场效应迁移率(μ)。
另一方面，以GaOX3等为主要成分的区域的绝缘性高于以InX2ZnY2OZ2或InOX1为主要成分的区域。换言之，当以GaOX3等为主要成分的区域在氧化物半导体中分布时，可以抑制泄漏电流而实现良好的开关工作。
因此，当将CAC-OS用于半导体元件时，通过起因于GaOX3等的绝缘性及起因于InX2ZnY2OZ2或InOX1的导电性的互补作用可以实现高通态电流(Ion)及高场效应迁移率(μ)。
另外，使用CAC-OS的半导体元件具有高可靠性。因此，CAC-OS适用于各种半导体装置的构成材料。
<叠层结构1>
接着，参照截面图对摄像装置的叠层结构进行说明。注意，以下所示的绝缘层及导电层等构成要素只是一个例子，也可以含有其他的构成要素。或者，也可以省略以下所示的构成要素的一部分。另外，以下所示的叠层结构可以根据需要利用贴合工序、抛光工序等形成。
图17是如下叠层体的截面图的一个例子，该叠层体包括层560、层561及层563，并在构成层563的层563a与层563b间具有贴合面。
<层563b>
层563b可以包括设置在硅衬底611中的功能电路。在此，作为功能电路的一部分示出电路201中的电容器202、晶体管203及晶体管204。电容器202的一个电极、晶体管203的源极和漏极中的一个与晶体管204的栅极电连接。
层563b设置有硅衬底611、绝缘层612、613、614、615、616、617、618。绝缘层612用作保护膜。绝缘层613、613、616、617用作层间绝缘膜及平坦化膜。绝缘层615用作电容器202的介电层。绝缘层618及导电层619用作贴合层。导电层619与电容器202的一个电极电连接。
作为保护膜，例如可以使用氮化硅膜、氧化硅膜、氧化铝膜等。作为层间绝缘膜及平坦化膜，例如可以使用氧化硅膜等无机绝缘膜、丙烯酸树脂、聚酰亚胺树脂等有机绝缘膜。作为电容器的介电层，可以使用氮化硅膜、氧化硅膜、氧化铝膜等。贴合层将在后面进行详述。
作为可用作用于器件间的电连接的布线、电极及插头的导电体，适当地选择选自铝、铬、铜、银、金、铂、钽、镍、钛、钼、钨、铪、钒、铌、锰、镁、锆、铍、铟、钌、铱、锶和镧等中的金属元素、以上述金属元素为成分的合金或者组合上述金属元素的合金等而使用即可。该导电体既可以为单层又可以为由不同材料构成的多个层。
<层563a>
层563a包括像素100的构成要素。在此，作为像素100的构成要素的一部分示出晶体管102及晶体管105。图17所示的截面图中没有示出两者电连接的样子。
层563a中设置有硅衬底632、绝缘层631、633、634、635、637、638。另外，还设置有导电层636、639。
绝缘层631及导电层639可以用作贴合层。绝缘层634、635、637可以用作层间绝缘膜及平坦化膜。绝缘层633可以用作保护膜。绝缘层638可以使硅衬底632与导电层639绝缘。绝缘层638可以使用与其他绝缘层同样的材料形成。另外，绝缘层638可以使用与绝缘层631相同的材料形成。
导电层639与晶体管105的源极和漏极中的另一个及导电层619电连接。另外，导电层636与布线114(参照图3A)电连接。
图17所示的Si晶体管(晶体管102、105、203、204)是在硅衬底(硅衬底611、632)中具有沟道形成区域的鳍型晶体管。图18A示出沟道宽度方向的截面(图17的层563a的A1-A2截面)。另外，Si晶体管也可以是图18B所示的平面型晶体管。
或者，如图18C所示，也可以采用包括硅薄膜的半导体层545的晶体管。例如，半导体层545可以使用在硅衬底632上的绝缘层546上形成的单晶硅(SOI(Silicon onInsulator：绝缘体上硅))。
<层561>
层561包括光电转换器件101。光电转换器件101可以形成在层563a上。在图17中，示出作为光电转换器件101将图16C所示的有机光导电膜用作光电转换层的结构。这里，层567a为阴极，层567e为阳极。
层561中设置有绝缘层651、652、653、654及导电层655。
绝缘层651、653、654用作层间绝缘膜及平坦化膜。另外，绝缘层654以覆盖光电转换器件101的端部的方式设置而具有防止层567e和层567a之间发生短路的功能。绝缘层652用作元件分离层。元件分离层优选使用有机绝缘膜等。
相当于光电转换器件101的阴极的层567a与层563a中的晶体管102的源极和漏极中的一个电连接。相当于光电转换器件101的阳极的层567e通过导电层655与层563a中的导电层636电连接。
<层560>
层560形成在层561上。层560包括遮光层671、光学转换层672及微透镜阵列673。
遮光层671可以抑制光入射到相邻的像素。作为遮光层671可以使用铝、钨等的金属层。另外，也可以层叠该金属层与具有作为反射防止膜的功能的介电膜。
在光电转换器件101对可见光具有灵敏度时，作为光学转换层672可以使用滤色片。通过按每个像素将R(红色)、G(绿色)、B(蓝色)、Y(黄色)、C(青色)和M(品红色)等颜色分配给各滤色片，可以获得彩色图像。例如，如图23A的立体图(包括截面)所示，也可以将滤色片672R(红色)、滤色片672G(绿色)、滤色片672B(蓝色)分别分配给不同像素。
另外，在光电转换器件101和光学转换层672的适当的组合中，在作为光学转换层672使用波长截止滤波片时，可以实现能够获得各种波长区域的图像的摄像装置。
例如，当作为光学转换层672使用阻挡可见光线的波长以下的光的红外滤光片时，可以得到红外线摄像装置。另外，通过作为光学转换层672使用阻挡近红外线的波长以下的光的滤光片，可以得到远红外线摄像装置。另外，通过作为光学转换层672使用阻挡可见光线的波长以上的光的紫外滤光片，可以得到紫外线摄像装置。
此外，也可以在一个摄像装置内配置不同的多个光学转换层。例如，如图23B所示，可以将滤色片672R(红色)、滤色片672G(绿色)、滤色片672B(蓝色)、红外滤光片672IR分别分配给不同像素。通过采用这种结构，可以同时获取可见光图像及红外光图像。
或者，如图23C所示，可以将滤色片672R(红色)、滤色片672G(绿色)、滤色片672B(蓝色)、紫外滤光片672UV分别分配给不同像素。通过采用这种结构，可以同时获取可见光图像及紫外光图像。
另外，通过将闪烁体用于光学转换层672，可以得到用于X射线摄像装置等的获得使辐射强度可视化的图像的摄像装置。当透过拍摄对象的X射线等辐射入射到闪烁体时，由于光致发光现象而转换为可见光线或紫外光线等的光(荧光)。通过由光电转换器件101检测该光来获得图像数据。此外，也可以将该结构的摄像装置用于辐射探测器等。
闪烁体含有如下物质：当被照射X射线或伽马射线等辐射时吸收辐射的能量而发射可见光或紫外线的物质。例如，可以使用将Gd2O2S：Tb、Gd2O2S：Pr、Gd2O2S：Eu、BaFCl：Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnO等分散到树脂或陶瓷中的材料。
通过进行利用红外线或紫外线的摄像，可以对摄像装置赋予检测功能、安全功能、传感功能等。例如，通过进行利用红外光的摄像，可以进行如下检测：产品的无损检测、农产品的挑选(糖量计的功能等)、静脉识别、医疗检测等。另外，通过进行利用紫外光的摄像，可以检测从光源或火焰放出的紫外光，而可以进行光源、热源、生产装置等的管理等。
在光学转换层672上设置微透镜阵列673。透过微透镜阵列673所包括的各透镜的光穿过正下方的光学转换层672而照射到光电转换器件101。通过设置微透镜阵列673，可以将所集聚的光入射到光电转换器件101，所以可以高效地进行光电转换。微透镜阵列673优选由对目的波长的光具有高透光性的树脂或玻璃等形成。
<贴合>
接着，说明层563b与层563a的贴合。
层563b中设置有绝缘层618及导电层619。导电层619具有嵌入绝缘层618中的区域。另外，绝缘层618及导电层619的表面以高度一致的方式被平坦化。
层563a中设置有绝缘层631及导电层639。导电层639具有嵌入绝缘层631中的区域。另外，绝缘层631及导电层639的表面以高度一致的方式被平坦化。
在此，导电层619及导电层639的主要成分优选为相同的金属元素。另外，绝缘层618及绝缘层631优选由相同的成分构成。
例如，作为导电层619、639可以使用Cu、Al、Sn、Zn、W、Ag、Pt或Au等。从接合的容易性的观点来看，优选使用Cu、Al、W或Au。另外，绝缘层618、631可以使用氧化硅、氧氮化硅、氮氧化硅、氮化硅、氮化钛等。
换言之，优选的是，作为导电层619和导电层639使用上述金属材料中的相同金属材料。另外，优选的是，作为绝缘层618及绝缘层631使用上述绝缘材料中的相同绝缘材料。通过采用上述结构，可以进行以层563b和层563a的边界为接合位置的贴合。
注意，导电层619及导电层639也可以具有多个层的多层结构，此时表面层(接合面)使用相同金属材料即可。另外，绝缘层618及绝缘层631也可以具有多个层的多层结构，此时表面层(接合面)使用相同绝缘材料即可。
通过进行该贴合，可以获得导电层619与导电层639的电连接。另外，可以以足够的机械强度使绝缘层618及绝缘层631连接。
当接合金属层时，可以利用表面活化接合法。在该方法中，通过溅射处理等去除表面的氧化膜及杂质吸附层等并使清洁化且活化了的表面接触而接合。或者，可以利用并用温度及压力使表面接合的扩散接合法等。上述方法都可以发生原子级的结合，因此可以获得电上和机械上都优异的接合。
另外，当接合绝缘层时，可以利用亲水性接合法等。在该方法中，在通过抛光等获得高平坦性之后，使利用氧等离子体等进行过亲水性处理的表面接触而暂时接合，利用热处理进行脱水，由此进行正式接合。亲水性接合法也发生原子级的结合，因此可以获得机械上优异的接合。
在贴合层563b与层563a的情况下，由于在各接合面绝缘层与金属层是混在一起的，所以，例如，组合表面活化接合法及亲水性接合法即可。
例如，可以采用在进行抛光之后使表面清洁化，对金属层的表面进行防氧处理，然后进行亲水性处理来进行接合的方法等。另外，也可以作为金属层的表面使用Au等难氧化性金属，进行亲水性处理。另外，也可以使用上述以外的接合方法。
通过上述贴合可以使层563b中的电路201与层563a中的像素100的构成要素电连接。
<叠层结构1的变形实例>
图19是图17所示的叠层结构的变形实例，层561中的光电转换器件101的结构以及层563a的部分结构不同，层561与层563a间也有贴合面。
层561包括光电转换器件101、绝缘层661、662、664、665及导电层135、136。
光电转换器件101是pn结型光电二极管，包括相当于p型区域的层565b及相当于n型区域的层565a。注意，这里示出pn结型光电二极管形成在硅衬底中的例子。光电转换器件101是嵌入式光电二极管，通过设置在层565a的表面一侧(取出电流侧)的较薄的p型区域(层565b的一部分)抑制暗电流，从而减少噪声。
绝缘层661、导电层135、136用作贴合层。绝缘层662用作层间绝缘膜及平坦化膜。绝缘层664用作元件分离层。绝缘层665具有抑制载流子的流出的功能。
硅衬底中设置有使像素分离的槽，绝缘层665设置在硅衬底顶面及该槽中。通过设置绝缘层665可以抑制光电转换器件101内产生的载流子流入到相邻的像素。另外，绝缘层665还具有抑制杂散光的侵入的功能。因此，利用绝缘层665可以抑制混色。另外，也可以在硅衬底的顶面与绝缘层665之间设置反射防止膜。
元件分离层可以利用LOCOS(LOCal Oxidation of Silicon：硅局部氧化)法形成。或者，也可以利用STI(Shallow Trench Isolation：浅沟槽隔离)法等形成。绝缘层665例如可以使用氧化硅、氮化硅等无机绝缘膜、聚酰亚胺、丙烯酸树脂等有机绝缘膜。另外，绝缘层665也可以采用多层结构。
光电转换器件101的层565a(n型区域，相当于阴极)与导电层135电连接。层565b(p型区域，相当于阳极)与导电层136电连接。导电层135、136具有嵌入绝缘层661中的区域。另外，绝缘层661及导电层135、136的表面以高度一致的方式被平坦化。
在层563a中绝缘层637上形成有绝缘层638。此外，形成有与晶体管102的源极和漏极中的一个电连接的导电层133及与导电层636电连接的导电层134。
绝缘层638、导电层133、134用作贴合层。导电层133、134具有嵌入绝缘层638中的区域。另外，绝缘层638及导电层133、134的表面以高度一致的方式被平坦化。
在此，导电层133、134、135、136是与上述导电层619、639相同的贴合层。另外，绝缘层638、661是与上述绝缘层618、631相同的贴合层。
因此，通过贴合导电层133和导电层135，可以使光电转换器件的层565a(n型区域，相当于阴极)与晶体管102的源极和漏极中的一个电连接。另外，通过贴合导电层134与导电层136，可以使光电转换器件的层565b(p型区域，相当于阳极)与布线114(参照图3A)电连接。另外，通过贴合绝缘层638与绝缘层661，可以进行层561与层563a的电接合及机械接合。
<叠层结构2>
图20是包括层560、561、562、563而不具有贴合面的叠层体的截面图的一个例子。层563中设置有Si晶体管。层562中设置有OS晶体管。注意，层563、层561及层560的结构与图17所示的层563b、层561及层560的结构相同，所以省略其说明。
<层562>
层562形成在层563上。层562包括OS晶体管。在此，作为像素100的构成要素的一部分示出晶体管102及晶体管105。图20所示的截面图中没有示出两者电连接的样子。
层562中设置有绝缘层621、622、623、624、625、626、628。另外，还设置有导电层627。导电层627可以与布线114(参照图3A)电连接。
绝缘层621用作阻挡层。绝缘层622、623、625、626、628用作层间绝缘膜及平坦化膜。绝缘层624用作保护膜。
阻挡层优选使用具有防止氢扩散的功能的膜。在Si器件中，为了使悬空键终结需要氢，但是OS晶体管附近的氢成为在氧化物半导体层中产生载流子的原因之一而降低可靠性。因此，在形成Si器件的层与形成OS晶体管的层间优选设置氢阻挡膜。
作为该阻挡膜，例如可以使用氧化铝、氧氮化铝、氧化镓、氧氮化镓、氧化钇、氧氮化钇、氧化铪、氧氮化铪、氧化钇稳定氧化锆(YSZ)等。
晶体管105的源极和漏极中的另一个通过插头与电容器202的一个电极电连接。导电层627与布线114(参照图3A)电连接。
晶体管102的源极和漏极中的一个与层561中的光电转换器件101的阴极电连接。导电层627与层561中的光电转换器件101的阳极电连接。
图21A示出详细的OS晶体管。图21A所示的OS晶体管具有通过在氧化物半导体层及导电层的叠层上设置绝缘层而设置到达该氧化物半导体层的开口部来形成源电极705及漏电极706的自对准型结构。
除了形成在氧化物半导体层的沟道形成区域、源区域703及漏区域704以外，OS晶体管还可以包括栅电极701、栅极绝缘膜702。在该开口部中至少设置栅极绝缘膜702及栅电极701。在该开口部中也可以还设置氧化物半导体层707。
如图21B所示，OS晶体管也可以采用使用栅电极701作为掩模在半导体层中形成源区域703及漏区域704的自对准型结构。
或者，如图21C所示，可以采用具有源电极705或漏电极706与栅电极701重叠的区域的非自对准型的顶栅极型晶体管。
OS晶体管包括背栅极535，但也可以不包括背栅极。如图21D所示的晶体管的沟道宽度方向的截面图那样，背栅极535也可以与相对的晶体管的前栅极电连接。作为一个例子，图21D示出图21A所示的晶体管的B1-B2的截面，其他结构的晶体管也是同样的。另外，也可以采用能够对背栅极535供应与前栅极不同的固定电位的结构。
<叠层结构2的变形实例>
图22是图20所示的叠层结构的变形实例，层561中的光电转换器件101的结构以及层562的一部分结构不同，在层561与层562间具有贴合面。
层561中的光电转换器件101是pn结型光电二极管，与图19所示的结构相同。
在层562中，绝缘层628上形成有绝缘层648。此外，形成有与晶体管102的源极和漏极中的一个电连接的导电层138以及与导电层627电连接的导电层139。
绝缘层648、导电层138、139用作贴合层。导电层138、139具有嵌入绝缘层648的区域。另外，绝缘层648及导电层138、139的表面以高度一致的方式被平坦化。
在此，导电层138、139是与上述导电层619、639相同的贴合层。另外，绝缘层648是与上述绝缘层618、631相同的贴合层。
因此，通过贴合导电层138与导电层135，可以使光电转换器件的层565a(n型区域，相当于阴极)与晶体管102的源极和漏极中的一个电连接。另外，通过贴合导电层139与导电层136，可以使光电转换器件的层565b(p型区域，相当于阳极)与布线114(参照图3A)电连接。另外，通过贴合绝缘层648与绝缘层661，可以进行层561与层562的电接合及机械接合。
当层叠多个Si器件时，需要多次进行抛光工序及贴合工序。因此其存在工序数多、需要专用装置、成品率低等问题且制造成本高。由于OS晶体管可以以层叠在形成有器件的半导体衬底上的方式形成，所以可以减少贴合工序。
<封装及模块>
图24A1是收纳图像传感器芯片的封装的顶面一侧的外观立体图。该封装包括使图像传感器芯片450(参照图24A3)固定的封装衬底410、玻璃盖板420及贴合它们的粘合剂430等。
图24A2是该封装的底面一侧的外观立体图。在封装的底面包括以焊球为凸块440的BGA(Ball Grid Array：球栅阵列)。注意，不局限于BGA，也可以包括LGA(Land GridArray：地栅阵列)、PGA(Pin Grid Array：针栅阵列)等。
图24A3是省略玻璃盖板420及粘合剂430的一部分而图示的封装的立体图。在封装衬底410上形成电极焊盘460，电极焊盘460与凸块440通过通孔电连接。电极焊盘460通过引线470与图像传感器芯片450电连接。
另外，图24B1是将图像传感器芯片收纳在透镜一体型封装内的相机模块的顶面一侧的外观立体图。该相机模块包括使图像传感器芯片451(参照图24B3)固定的封装衬底411、透镜盖421及透镜435等。另外，在封装衬底411及图像传感器芯片451之间设置有用作摄像装置的驱动电路及信号转换电路等的IC芯片490(参照图24B3)，具有SiP(System inpackage：系统封装)的结构。
图24B2是该相机模块的底面一侧的外观立体图。封装衬底411的底面及侧面具有设置有安装用连接盘441的QFN(Quad flat no-lead package：四侧无引脚扁平封装)的结构。注意，该结构是一个例子，也可以设置QFP(Quad flat package：四侧引脚扁平封装)或上述BGA。
图24B3是省略透镜盖421及透镜435的一部分而图示的模块的立体图。连接盘441与电极焊盘461电连接，电极焊盘461通过导线471与图像传感器芯片451或IC芯片490电连接。
通过将图像传感器芯片收纳于上述方式的封装中，可以容易安装于印刷电路板等，将图像传感器芯片安装在各种半导体装置及电子设备中。
本实施方式可以与其他实施方式的记载适当地组合。
(实施方式3)
作为可以使用根据本发明的一个方式的摄像装置的电子设备，可以举出显示设备、个人计算机、具备记录媒体的图像存储装置或图像再现装置、移动电话机、包括便携式的游戏机、便携式数据终端、电子书阅读器、拍摄装置诸如视频摄像机或数码静态相机等、护目镜型显示器(头戴式显示器)、导航系统、音频再现装置(汽车音响系统、数字音频播放器等)、复印机、传真机、打印机、多功能打印机、自动柜员机(ATM)以及自动售货机等。图25A至图25F示出这些电子设备的具体例子。
图25A是移动电话机的一个例子，该移动电话机包括外壳981、显示部982、操作按钮983、外部连接接口984、扬声器985、麦克风986、摄像头987等。该移动电话机在显示部982具有触摸传感器。通过用手指或触屏笔等触摸显示部982可以进行打电话或输入文字等各种操作。此外，也可以将本发明的一个方式的摄像装置及其工作方法用于该移动电话机。
图25B是便携式数据终端，该便携式数据终端包括外壳911、显示部912、扬声器913、摄像头919等。通过显示部912所具有的触摸面板功能可以输入且输出信息。此外，可以从由摄像头919获取的图像中识别出文字等，并可以使用扬声器913以语音输出该文字。可以将本发明的一个方式的摄像装置及其工作方法用于该便携式数据终端。
图25C是监控摄像机，该监控摄像机包括支架951、摄像单元952及保护罩953等。在摄像单元952中设置旋转机构等，通过设置在天花板可以拍摄周围。可以将本发明的一个方式的摄像装置及其工作方法用于在该照相单元中用来获取图像的构成要素。注意，“监控摄像机”是一般名称，不局限于其用途。例如，具有作为监控摄像机的功能的设备被称为摄影机或视频摄像机。
图25D是视频摄像机，该视频摄像机包括第一外壳971、第二外壳972、显示部973、操作键974、透镜975、连接部976、扬声器977、麦克风978等。操作键974及透镜975设置在第一外壳971中，显示部973设置在第二外壳972中。可以将本发明的一个方式的摄像装置及其工作方法用于该视频摄像机。
图25E是数码相机，该数码相机包括外壳961、快门按钮962、麦克风963、发光部967以及透镜965等。可以将本发明的一个方式的摄像装置及其工作方法用于该数码相机。
图25F是手表型信息终端，该手表型信息终端包括显示部932、外壳兼腕带933以及摄像头939等。显示部932也可以包括用来进行信息终端的操作的触摸面板。显示部932及外壳兼腕带933具有柔性，并且适合佩戴于身体。可以将本发明的一个方式的摄像装置及其工作方法用于该信息终端。
图26是示出移动体的一个例子的汽车的外观图。汽车890包括多个摄像头891等。本发明的一个方式的摄像装置及其工作方法可以用于摄像头891。另外，汽车890包括红外线雷达、毫米波雷达、激光雷达等各种传感器(未图示)等。
汽车890分析摄像头891所取得的多个摄像方向892的图像，判断护栏或行人的有无等周围的交通状况，而可以进行自动驾驶。另外，可以将摄像头891用于进行导航、危险预测等的系统。
在本发明的一个方式的摄像装置中，通过对所得到的图像数据进行神经网络等的运算处理，例如可以进行图像的高分辨率化、图像噪声的减少、人脸识别(安全目的等)、物体识别(自动驾驶的目的等)、图像压缩、图像校正(宽动态范围化)、无透镜图像传感器的图像恢复、位置对准、文字识别、反射眩光的降低等处理。
注意，上面作为移动体的一个例子说明汽车，汽车可以为包括内燃机的汽车、电动汽车、氢能汽车等中的任意个。另外，移动体不局限于汽车。例如，作为移动体，也可以举出电车、单轨铁路、船舶、飞行物(直升机、无人驾驶飞机(无人机)、飞机、火箭)等，可以对这些移动体使用本发明的一个方式的计算机，以提供利用人工智能的系统。
本实施方式可以与其他实施方式的记载适当地组合。
(实施方式4)
使用根据实施方式1的电路或根据实施方式2的摄像装置，提供一种适合于实现部分自动驾驶的车辆的摄像装置。
在日本国内，关于汽车等车辆的行驶系统，自动驾驶等级根据1级至4级的四个等级被定义。1级是指实现加速、转向和制动中的任一个的自动化，被称为安全驾驶辅助系统。2级是指同时实现加速、转向和制动中的多个操作的自动化，被称为准自动行驶系统(也称为部分自动驾驶)。3级是指实现加速、转向和制动的全部的自动化，只在应急时驾驶者应对，这也被称为准自动行驶系统(也称为部分自动驾驶)。4级是指实现加速、转向和制动的全部的自动化，被称为驾驶者几乎不参与的完全自动驾驶。
在本实施方式中，主要以2级或3级的部分自动驾驶为前提提出新颖结构或新颖系统。
为了根据从各种摄像头或传感器能够取得的情况进行显示以便给驾驶者提供危险警告，需要确保对应于摄像头的数量或传感器的数量的显示区域的面积。
图27A是从车辆内观察前方的驾驶者的视野的示意图。驾驶者的视野上方有挡风玻璃10，视野下方设置有包括显示屏的显示装置11。挡风玻璃10夹在立柱12间。另外，图27B示出车辆20的外观图。
驾驶者一边主要看显示装置11一边进行加速、转向和制动，通过挡风玻璃辅助确认车外情况。作为显示装置11使用液晶显示装置、EL(电致发光)显示装置、Micro LED(发光二极管)显示装置中的任一个，即可。在此，将一边尺寸超过1mm的LED芯片称为Macro LED，将一边尺寸大于100μm且为1mm以下的LED芯片称为Mini LED，将一边尺寸为100μm以下的LED芯片称为Micro LED。作为用于像素的LED元件，尤其优选使用Micro LED。通过使用Micro LED，可以实现清晰度极高的显示装置。显示装置11的清晰度越高越好。显示装置11的像素密度可以为100ppi以上且5000ppi以下，优选为200ppi以上且2000ppi以下。
例如，在显示装置的显示屏的中央部11a上显示从设置在车身外前部的摄像装置取得的图像。另外，用显示屏的一部分11b、11c进行速度、预测的可行驶距离、异常警告显示等仪表显示。另外，在显示屏的左下部11L上显示车外左侧的影像，在显示屏的右下部11R上显示车外右侧的影像。
显示屏的左下部11L及显示屏的右下部11R实现后视镜(也称为侧视镜)的电子化，可以消除在车外大大突出的后视镜突出部。
也可以采用如下结构：通过采用可进行触摸输入操作的显示装置11的显示屏，进行影像的一部分的放大、缩小或者显示位置的变更、显示区域的面积扩大等。
另外，图28示出包括显示装置11的显示系统的方框图的一个例子。
显示装置11的显示屏的图像通过将来自多个摄像装置或传感器的数据合成来生成，因此使用GPU等图像信号处理装置13生成。
图像信号处理装置13可以并行处理来自多个摄像装置或多个传感器的信号。
在图28中，图像信号处理装置13与前方用图像传感器14a、后方用图像传感器14b、左侧用图像传感器14L、右侧用图像传感器14R电连接。注意，图27B还示出前方用图像传感器14a以及左侧用图像传感器14L的设置位置的一个例子。虽然图27B示出将前方用图像传感器14a设置在接近驾驶者的视线的位置上的例子，但是不局限于此，也可以将前方用图像传感器14a设置在前格栅或前保险杠上。另外，在本实施方式中，作为例子示出右侧驾驶的车辆但是不局限于此，在是左侧驾驶的车辆的情况下，只要根据驾驶者的位置进行设置即可。
优选作为这些图像传感器中的至少一个采用在实施方式2中示出的图像传感器芯片。
另外，虽然示出图像信号处理装置13还与仪器(仪表)用传感器15电连接的例子，但是不局限于本结构。也可以采用例如与温度传感器、加速度传感器、电池剩余电量表等更多的多个传感器电连接的结构。
另外，图28示出显示系统的一个例子，图29示出利用AI(人工智能)的新颖系统的方框图，以便给驾驶者提供更多的信息来实现部分自动驾驶。图29中的与图28相同的部分使用同一符号。
在图29中，神经网络部16与前方用图像传感器14a、后方用图像传感器14b、左侧用图像传感器14L以及右侧用图像传感器14R电连接。另外，仪器(仪表)用传感器15也与神经网络部16电连接。
神经网络部16通过图像信号处理装置13与显示装置11电连接。
通过使用图29所示的系统，可以实现分别提取图像中的物体和背景来检测出物体动作的动态识别的实用化等。
例如，可以使用没有滤色片的图像传感器取得动态范围宽的黑白图像，使用神经网络部16进行彩色化，合成出清晰的图像，将其显示在显示装置11上。例如，也可以合成出识别隧道里的黑暗人影的图像。
另外，也可以使用神经网络部16进行分割。注意，“分割”是指一种处理，其中识别输入图像的各像素是什么物体的像素。这还被称为语义分割。在神经网络部16中执行生成用于图像分析的多个图像片段的软件。具体而言，使用图像处理及卷积神经网络(CNN：Convolutional Neural Network)之一的U-net，基于学习的内容进行分割。
图30A示出使用CMOS传感器拍摄的图像，图30B示出使用神经网络部16对该图像进行分割的一个例子。以交通工具、天空、植物、地面等区别分割的标签。在图30B中，实际上根据距离分别涂有粉红色、淡蓝色、绿色以及灰色。在图30B中，至少能够识别出车辆。
另外，图30C示出使用CMOS传感器拍摄的图像，图30D示出使用神经网络部16对该图像进行深度预测的一个例子。使用已知的深度预测软件得到图30D的结果。在图30D中，实际上根据距离分别涂有蓝色、淡蓝色、黄色以及红色。
另外，图31A示出使用CMOS传感器拍摄的图像，图31B示出使用神经网络部16对该图进行轮廓提取的一个例子。
通过适当地使用这些利用AI的方法中的一个或多个，驾驶者主要看显示装置的显示图像，即利用图像传感器及AI的图像操作车辆，可以使看挡风玻璃前方为辅助动作。与只依赖于驾驶者的眼睛驾驶的情况相比，看利用AI的图像操作车辆会更加安全。另外，驾驶者可以有安全感操作车辆。
可以将显示装置用于大型车辆、中型车辆、小型车辆等各种车辆的驾驶座周边(也称为驾驶舱部)。另外，还可以将显示装置用于飞机、船舶等交通工具的驾驶座周边。
另外，通过作为摄像装置使用实施方式1的电路及实施方式2的摄像装置，可以进行AI的运算的一部分。另外，通过使用实施方式1的电路及实施方式2的摄像装置，可以进行黑白图像的彩色化、亮度平均化、选择性的感测、纵深程度的定量化、向自然的图像的转换以及以宽范围匹配焦点的处理、部分显示的提取、多个图像的中间图像的合成等。
另外，在图29中，分别示出图像信号处理装置13和神经网络部16但是不局限于此，也可以一体形成它们。
另外，可以将使用氧化物半导体的晶体管(OS晶体管)用于图像信号处理装置13的一部分及神经网络部16的一部分。通过使用OS晶体管，可以进一步降低功耗。
本实施方式可以与其他实施方式的记载自由地组合。
[符号说明]
10：挡风玻璃、11：显示装置、11a：中央部、11b：一部分、11c：一部分、11L：左下部、11R：右下部、12：立柱、13：图像信号处理装置、14a：前方用图像传感器、14b：后方用图像传感器、14L：左侧用图像传感器、14R：右侧用图像传感器、15：仪器(仪表)用传感器、16：神经网络部、20：车辆、100：像素、101：光电转换器件、102：晶体管、103：晶体管、104：晶体管、105：晶体管、106：晶体管、107：电容器、111：布线、112：布线、113：布线、113a：布线、113b：布线、113c：布线、113d：布线、113e：布线、113f：布线、113g：布线、113h：布线、113i：布线、113j：布线、114：布线、115：布线、117：布线、121：布线、122：布线、123：布线、124：布线、133：导电层、134：导电层、135：导电层、136：导电层、138：导电层、139：导电层、150：晶体管、150a：晶体管、150b：晶体管、150c：晶体管、150d：晶体管、150e：晶体管、150f：晶体管、150g：晶体管、150h：晶体管、150i：晶体管、150j：晶体管、161：晶体管、162：晶体管、163：电容器、170：电路、200：像素块、201：电路、202：电容器、203：晶体管、204：晶体管、205：晶体管、206：晶体管、207：电阻器、211：布线、212：布线、213：布线、215：布线、216：布线、217：布线、218：布线、219：布线、300：像素阵列、301：电路、302：电路、303：电路、304：电路、305：电路、306：电路、311：布线、320：存储单元、325：参照存储单元、330：电路、350：电路、360：电路、370：电路、410：封装衬底、411：封装衬底、420：玻璃盖板、421：透镜盖、430：粘合剂、435：透镜、440：凸块、441：连接盘、450：图像传感器芯片、451：图像传感器芯片、460：电极焊盘、461：电极焊盘、470：引线、471：导线、490：IC芯片、535：背栅极、545：半导体层、546：绝缘层、560：层、561：层、562：层、562a：层、562b：层、563：层、563a：层、563b：层、563c：层、565a：层、565b：层、566a：层、566b：层、566c：层、566d：层、567a：层、567b：层、567c：层、567d：层、567e：层、611：硅衬底、612：绝缘层、613：绝缘层、614：绝缘层、615：绝缘层、616：绝缘层、617：绝缘层、618：绝缘层、619：导电层、621：绝缘层、622：绝缘层、623：绝缘层、624：绝缘层、625：绝缘层、626：绝缘层、627：导电层、628：绝缘层、631：绝缘层、632：硅衬底、633：绝缘层、634：绝缘层、635：绝缘层、636：导电层、637：绝缘层、638：绝缘层、639：导电层、648：绝缘层、651：绝缘层、652：绝缘层、653：绝缘层、654：绝缘层、655：导电层、661：绝缘层、662：绝缘层、664：绝缘层、665：绝缘层、671：遮光层、672：光学转换层、672B：滤色片、672G：滤色片、672IR：红外滤光片、672R：滤色片、672UV：紫外滤光片、673：微透镜阵列、701：栅电极、702：栅极绝缘膜、703：源区域、704：漏区域、705：源电极、706：漏电极、707：氧化物半导体层、890：汽车、891：摄像头、892：摄像方向、911：外壳、912：显示部、913：扬声器、919：摄像头、932：显示部、933：外壳兼腕带、939：摄像头、951：支架、952：摄像单元、953：保护罩、961：外壳、962：快门按钮、963：麦克风、965：透镜、967：发光部、971：第一外壳、972：第二外壳、973：显示部、974：操作键、975：透镜、976：连接部、977：扬声器、978：麦克风、981：外壳、982：显示部、983：操作按钮、984：外部连接端口、985：扬声器、986：麦克风、987：摄像头。

Claims (9)

1.一种摄像装置，包括：
第一像素；
第二像素；以及
第一晶体管，
其中，所述第一像素及所述第二像素各自包括第二晶体管及电容器，
所述第二晶体管的源极和漏极中的一个与所述电容器的一个电极电连接，
所述第一像素所包括的所述电容器的一个电极与所述第一晶体管的源极和漏极中的一个电连接，
并且，所述第二像素所包括的所述电容器的一个电极与所述第一晶体管的源极和漏极中的另一个电连接。
2.根据权利要求1所述的摄像装置，
其中所述第一像素及所述第二像素各自还包括第三晶体管、第四晶体管、第五晶体管、第六晶体管及光电转换器件，
所述电容器的另一个电极与所述第三晶体管的栅极、所述第四晶体管的源极和漏极中的一个及所述第五晶体管的源极和漏极中的一个电连接，
所述第三晶体管的源极和漏极中的一个与所述第六晶体管的源极和漏极中的一个电连接，
并且所述第五晶体管的源极和漏极中的另一个与所述光电转换器件的一个电极电连接。
3.根据权利要求2所述的摄像装置，
其中所述光电转换器件对红外光具有光灵敏度。
4.根据权利要求2或3中任一项所述的摄像装置，
其中所述光电转换器件在光电转换层中包含化合物半导体。
5.根据权利要求1至4中任一项所述的摄像装置，还包括第一电路，
其中所述第一电路具有输出第一电位或第二电位的功能，
并且所述第一电路与所述第一像素及所述第二像素各自包括的所述第二晶体管的源极和漏极中的另一个电连接。
6.根据权利要求2至5中任一项所述的摄像装置，还包括第二电路，
其中所述第二电路被用作相关双采样电路，
并且所述第二电路与所述第一像素及所述第二像素各自包括的所述第六晶体管的源极和漏极中的另一个电连接。
7.根据权利要求2至6中任一项所述的摄像装置，
其中所述第一晶体管至所述第六晶体管中的一个以上在沟道形成区域包含金属氧化物，
并且所述金属氧化物包含In、Zn、M(M是Al、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、Nd和Hf中的一个或多个)。
8.一种摄像装置，包括：
像素块；
第一电路；以及
第二电路，
其中，所述像素块包括n(n为2以上的自然数)个像素，
所述第一电路具有将选自第一电位、第二电位及第三电位中的两个以上的任意电位提供给所述n个像素的每一个的功能，
所述n个像素的每一个具有取得第一图像数据的功能，
所述n个像素的每一个具有将所述第一电位、所述第二电位和所述第三电位中的任意个与所述第一图像数据相加来生成第二图像数据的功能，
所述像素块具有将所述第一电位、所述第二电位或所述第三电位的全部相加且该值除以所述n而生成第四电位的功能，所述第一电位、所述第二电位或所述第三电位以选自所述n个像素的m(m为1至n的自然数)个像素为对象从所述第一电路被提供给所述m个像素的每一个，
所述n个像素的每一个具有将所述第一图像数据与所述第四电位相加来生成第三图像数据的功能，
并且，所述第二电路具有生成第五图像数据的功能，该第五图像数据相当于所述n个像素所输出的所述第二图像数据之和与所述n个像素所输出的所述第三图像数据之和的差分。
9.一种包括权利要求1至8中任一项所述的摄像装置以及显示装置的电子设备。
CN202080056554.7A 2019-08-22 2020-08-07 摄像装置及电子设备 Pending CN114207828A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2019151829 2019-08-22
JP2019-151829 2019-08-22
JP2019203331 2019-11-08
JP2019-203331 2019-11-08
JP2020007843 2020-01-21
JP2020-007843 2020-01-21
JP2020110652 2020-06-26
JP2020-110652 2020-06-26
PCT/IB2020/057459 WO2021033065A1 (ja) 2019-08-22 2020-08-07 撮像装置および電子機器

Publications (1)

Publication Number Publication Date
CN114207828A true CN114207828A (zh) 2022-03-18

Family

ID=74660590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056554.7A Pending CN114207828A (zh) 2019-08-22 2020-08-07 摄像装置及电子设备

Country Status (5)

Country Link
US (1) US20220359592A1 (zh)
JP (1) JPWO2021033065A1 (zh)
KR (1) KR20220051350A (zh)
CN (1) CN114207828A (zh)
WO (1) WO2021033065A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11943554B2 (en) * 2019-04-29 2024-03-26 Semiconductor Energy Laboratory Co., Ltd. Imaging device operated by switching between product-sum operation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824123B1 (ko) 2009-11-06 2018-02-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
US9773832B2 (en) * 2014-12-10 2017-09-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
KR102554664B1 (ko) * 2017-05-26 2023-07-11 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치 및 전자 기기
JP7144413B2 (ja) * 2017-07-14 2022-09-29 株式会社半導体エネルギー研究所 撮像装置

Also Published As

Publication number Publication date
KR20220051350A (ko) 2022-04-26
WO2021033065A1 (ja) 2021-02-25
US20220359592A1 (en) 2022-11-10
JPWO2021033065A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
CN110651468B (zh) 摄像装置及电子设备
JP2023029438A (ja) 撮像装置及び電子機器
WO2021191719A1 (ja) 撮像装置および電子機器
CN114207828A (zh) 摄像装置及电子设备
CN113711339A (zh) 摄像装置、其工作方法及电子设备
WO2021214616A1 (ja) 撮像装置
WO2022018561A1 (ja) 撮像装置および電子機器
WO2021209868A1 (ja) 撮像装置および電子機器
WO2021165781A1 (ja) 撮像装置、電子機器および移動体
JP7480137B2 (ja) 撮像装置および電子機器
WO2021053449A1 (ja) 撮像システムおよび電子機器
TW202215654A (zh) 攝像裝置及電子裝置
CN115211101A (zh) 摄像装置及电子设备
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination