CN112470462B - 层叠式光接收传感器和电子装置 - Google Patents

层叠式光接收传感器和电子装置 Download PDF

Info

Publication number
CN112470462B
CN112470462B CN201980049297.1A CN201980049297A CN112470462B CN 112470462 B CN112470462 B CN 112470462B CN 201980049297 A CN201980049297 A CN 201980049297A CN 112470462 B CN112470462 B CN 112470462B
Authority
CN
China
Prior art keywords
substrate
receiving sensor
image
pixel array
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980049297.1A
Other languages
English (en)
Other versions
CN112470462A (zh
Inventor
浴良仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority claimed from PCT/JP2019/029909 external-priority patent/WO2020027161A1/ja
Publication of CN112470462A publication Critical patent/CN112470462A/zh
Application granted granted Critical
Publication of CN112470462B publication Critical patent/CN112470462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明在芯片中执行高级处理。根据一个实施方式的层叠式光接收传感器设置有：第一基板(100、200、300)；和结合到第一基板的第二基板(120、320)。第一基板包括像素阵列(101)，多个单位像素以二维矩阵形式布置在该像素阵列中。第二基板设置有：转换器(17)和处理单元(15)，该转换器将从像素阵列输出的模拟像素信号转换为数字图像数据，该处理单元基于神经网络计算模型对基于图像数据的数据进行处理。转换器的至少一部分布置在第二基板中的第一边侧上。处理单元布置在第二基板的与第一边侧相对的第二边侧上。

Description

层叠式光接收传感器和电子装置
技术领域
本发明涉及层叠式光接收传感器和电子装置。
背景技术
传统地，存在诸如传感器芯片、存储器芯片和数字信号处理器(DSP)芯片的芯片通过凸块并行连接的平面型图像传感器，作为获取静止图像和运动图像的成像装置。
近年来，为了成像装置的小型化目的，已经开发了具有层叠结构的单芯片图像传感器，在该层叠结构中层叠多个晶片。
引用列表
专利文献
专利文献1：WO2018/051809。
发明内容
技术问题
近年来，例如，在增加图像处理的种类和速度以及保护私人信息方面，图像传感器芯片中期望更先进的处理。
本公开研发了能够在芯片中执行更先进处理的层叠式光接收传感器和电子装置。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的层叠式光接收传感器包括：第一基板；以及第二基板，结合到第一基板，第一基板包括像素阵列，多个单位像素以二维矩阵布置在该像素阵列中，第二基板包括转换器和处理单元，转换器被配置为将从像素阵列输出的模拟像素信号转换为数字图像数据，处理单元被配置为基于神经网络计算模型对基于图像数据的数据进行处理，其中，转换器的至少一部分设置在第二基板的第一侧上，并且处理单元设置在第二基板中的与第一侧相对的第二侧上。
附图说明
图1是示出了根据第一实施方式的作为电子装置的成像装置的整体配置实例的框图。
图2是示出了根据第一实施方式的图像传感器的芯片配置的图示。
图3是示出了根据第一实施方式的第一布局实例中的第一基板的布局实例的图示。
图4是示出了根据第一实施方式的第一布局实例中的第二基板的布局实例的图示。
图5是示出了根据第一实施方式的第二布局实例中的第二基板的布局实例的图示。
图6是示出了根据第一实施方式的第三布局实例中的第二基板的布局实例的图示。
图7是示出了根据第一实施方式的第四布局实例中的第二基板的布局实例的图示。
图8是示出了根据第一实施方式的第五布局实例中的第二基板的布局实例的图示。
图9是示出了根据第一实施方式的第六布局实例中的第二基板的布局实例的图示。
图10是示出了根据第一实施方式的第七布局实例中的第二基板的布局实例的图示。
图11是示出了根据第一实施方式的第八布局实例中的第二基板的布局实例的图示。
图12是示出了根据第一实施方式的第九布局实例中的第二基板的布局实例的图示。
图13是示出了根据第二实施方式的图像传感器中的第一基板的整体配置实例的布局图。
图14是示出了根据第二实施方式的图像传感器的芯片配置实例的图示。
图15是示出了根据第三实施方式的图像传感器中的第一基板的整体配置实例的布局图。
图16是示出了根据第三实施方式的图像传感器中的第二基板的整体配置实例的布局图。
图17是示出了根据第三实施方式的图像传感器的芯片配置实例的图示。
图18是示出了车辆控制系统的整体配置的实例的框图。
图19是示出了车辆外部信息检测器和成像器的安装位置的实例的图示。
图20是示出了内窥镜手术系统的整体配置的实例的图示。
图21是示出了摄像头和CCU的功能配置的实例的框图。
图22是示出了诊断辅助系统的整体配置的实例的框图。
具体实施方式
下面将参考附图详细描述本公开的实施方式。在以下实施方式中，相同的部件用相同的附图标记表示，并且将省略重复的描述。
将按照以下项的顺序描述本公开。
1.第一实施方式
1.1成像装置的整体配置实例
1.2图像传感器芯片的芯片配置实例
1.3配备有基于预训练模型执行计算的处理单元的图像传感器芯片的技术问题
1.4降噪方法
1.4.1第一布局实例
1.4.1.1第一基板的布局实例
1.4.1.2第二基板的布局实例
1.4.2第二布局实例
1.4.3第三布局实例
1.4.4第四布局实例
1.4.5第五布局实例
1.4.6第六布局实例
1.4.7第七布局实例
1.4.8第八布局实例
1.4.9第九布局实例
1.5操作效果
2.第二实施方式
2.1图像传感器芯片的芯片配置实例
2.2操作效果
3.第三实施方式
3.1图像传感器芯片的芯片配置实例
3.2操作效果
4.应用于其他传感器
5.应用于可移动主体
6.应用于内窥镜手术系统
7.应用于整体玻片成像(WSI)系统
1.第一实施方式
首先，将参考附图详细描述第一实施方式。
1.1成像装置的整体配置实例
图1是示出了根据第一实施方式的作为电子装置的成像装置的整体配置实例的框图。如图1所示，成像装置1包括应用处理器20和作为固态成像装置的图像传感器10。图像传感器10包括成像器11、控制器12、转换器(模数转换器，在下文中称为ADC)17、信号处理器13、数字信号处理器(DSP)14、存储器15和选择器(也称为输出模块)16。
控制器12根据用户的操作或所设置的操作模式，来控制图像传感器10中的每个部分。
成像器11包括，例如，包括变焦透镜、聚焦透镜和孔径的光学系统104，以及具有如下配置的像素阵列101，在该配置中，包括诸如光电二极管的光接收元件的单位像素(图2中的单位像素101a)以二维矩阵布置。外部入射光穿过光学系统104以在作为像素阵列101中的光接收元件的阵列的光接收表面上形成图像。像素阵列101中的每个单位像素101a将入射到其光接收元件上的光转换为电，以根据入射光的量累积电荷，使得可以读出电荷。
ADC 17将从成像器11读取的每个单位像素101a的模拟像素信号转换为数字值，以产生数字图像数据，并且将产生的图像数据输出到信号处理器13和/或存储器15。ADC 17可以包括电压产生电路，该电路从电源电压等产生用于驱动成像器11的驱动电压。
信号处理器13对从ADC 17输入的数字图像数据或从存储器15读取的数字图像数据执行各种信号处理(在下文中称为处理目标图像数据)。例如，当处理目标图像数据是彩色图像时，信号处理器13将此图像数据的格式转换为YUV图像数据、RGB图像数据等。信号处理器13例如在必要时对处理目标图像数据执行诸如去噪和白平衡调节的处理。另外，信号处理器13对处理目标图像数据执行各种信号处理(也称为预处理)，以便DSP 14处理图像数据。
DSP 14执行例如存储在存储器15中的计算机程序以用作处理单元，该处理单元使用通过机器学习使用深度神经网络(DNN)创建的预训练模型(也称为神经网络计算模型)来执行各种处理。此预训练模型(神经网络计算模型)可以基于通过将训练数据输入到预定机器学习模型而生成的参数来设计，在该训练数据中，与像素阵列101的输出相对应的输入信号与该输入信号的标签相关联。预定机器学习模型可以是使用多层神经网络的学习模型(也称为多层神经网络模型)。
例如，DSP 14基于存储在存储器15中的预训练模型来执行计算处理，以执行将图像数据与存储在存储器15中的字典系数组合的处理。将通过这种计算处理获得的结果(计算结果)输出到存储器15和/或选择器16。计算结果可以包括通过使用预训练模型执行计算处理获得的图像数据和从图像数据获得的各种信息(元数据)。用于控制对存储器15的访问的存储器控制器可以嵌入在DSP 14中。
将由DSP 14处理的图像数据可以是从像素阵列101正常读出的图像数据，或者可以是通过抽取正常读出的图像数据的像素而减小了数据尺寸的图像数据。可替代地，待处理的图像数据可以是以比通过利用被抽取的像素执行从像素阵列101的读出而获得的正常尺寸小的数据尺寸读出的图像数据。如本文使用的，“正常读出”可以是在不抽取像素的情况下的读出。
如果需要，存储器15存储从ADC 17输出的图像数据、受到信号处理器13的信号处理的图像数据、从DSP 14获得的计算结果等。存储器15以计算机程序和字典系数的形式，存储将由DSP 14执行的预训练模型的算法。
DSP 14可通过使用训练数据改变学习模型中的各种参数的权重来训练学习模型，通过准备多个学习模型并根据计算处理改变要使用的学习模型，或者通过从外部装置获取预训练的学习模型，来执行上述计算处理。
选择器16根据来自控制器12的选择控制信号，例如选择性地输出从DSP 14输出的图像数据，或者存储在存储器15中的图像数据或计算结果。当DSP 14不处理从信号处理器13输出的图像数据并且选择器16输出从DSP 14输出的图像数据时，选择器16将从信号处理器13输出的图像数据按原样输出。
如上所述，将从选择器16输出的图像数据或计算结果输入到处理显示和用户界面的应用处理器20。应用处理器20例如配置有中央处理单元(CPU)，并且执行操作系统和各种应用软件。此应用处理器20可以配备有诸如图形处理单元(GPU)和基带处理器的功能。应用处理器20根据需要对输入图像数据或计算结果执行各种处理，或者向用户执行显示，或者通过预定网络40将输入图像数据或计算结果发送到外部云服务器30。
例如，各种网络，例如互联网、有线局域网(LAN)或无线LAN、移动通信网络，或蓝牙(注册商标)可以应用于预定网络40。图像数据或计算结果不仅可以被发送到云服务器30，而且可以被发送到具有通信功能的各种信息处理装置(系统)，例如，独立运行的服务器、存储各种数据的文件服务器、以及诸如移动电话的通信终端。
1.2图像传感器芯片的芯片配置实例
现在将参考附图在下面详细描述图1所示的图像传感器10的芯片配置的实例。
图2是示出了根据本实施方式的图像传感器的芯片配置的图示。如图2所示，图像传感器10具有层叠结构，其中形状像四边形平板的第一基板(晶片)100和同样形状像四边形平板的第二基板(晶片)120结合在一起。
第一基板100和第二基板例如可以具有相同的尺寸。第一基板100和第二基板120每个都可以是诸如硅基板的半导体基板。
在第一基板100中，设置有图1所示的图像传感器10的配置中的成像器11的像素阵列101。光学系统104的一部分或全部可以设置在第一基板100中的芯片上。
在第二基板120中，设置有图1所示的图像传感器10的配置中的ADC 17、控制器12、信号处理器13、DSP 14、存储器15和选择器16。未示出的接口电路、驱动器电路等可以设置在第二基板120中。
第一基板100和第二基板120可以通过芯片上芯片(CoC)技术或通过晶圆上芯片(CoW)技术或通过晶圆上晶圆(WoW)技术结合在一起，在芯片上芯片技术中，将第一基板100和第二基板120分别切割成芯片，并且这些切割的第一基板100和第二基板120结合在一起，在晶圆上芯片技术中，将第一基板100和第二基板120中的一者(例如，第一基板100)切割成芯片，并且切割的第一基板100结合到切割之前的第二基板120(即，处于晶圆状态)，在晶圆上晶圆技术中，都处于晶圆状态的第一基板100和第二基板120结合在一起。
例如，等离子体接合可以用作第一基板100和第二基板120之间的接合工艺。然而，本发明不限于此，并且可以使用各种接合工艺。
1.3配备有基于预训练模型执行计算的处理单元的图像传感器芯片的技术问题
当DSP 14作为基于如上所述的预训练模型执行计算处理的处理单元操作时，其操作算法的实现是通过运行计算机程序的软件实现方式。用于预训练模型的操作算法逐日更新。因此，难以提前掌握例如基于预训练模型执行计算处理的DSP 14在哪个定时执行处理、或者DSP 14的处理在哪个定时达到峰值。
如图2所示，在DSP 14作为基于预训练模型以像素阵列101安装在第一基板100上且DSP 14安装在第二基板120上的芯片配置执行计算的处理单元进行操作的情况下，如果在像素阵列101的重置期间、在像素阵列101的曝光期间，或者在从像素阵列101的每个单位像素101a读出像素信号期间，DSP 14开始计算处理或DSP 14中的处理达到峰值，则噪声(例如，电流或电场的波动)叠加在从像素阵列101读出的像素信号上，因此，由图像传感器10获取的图像的质量劣化。
然后本实施方式通过调整像素阵列101与DSP 14之间的位置关系，减少DSP 14进行信号处理时所产生的噪声侵入像素阵列101。因此，即使当DSP 14作为基于预训练模型执行计算的处理单元操作时，也可获取质量劣化较少的图像。
1.4降噪方法
现在将参考附图在下面详细描述根据本实施方式的像素阵列101和DSP 14之间的位置关系。在下文中，将通过采用层(第一基板100和第二基板120)的布局(也称为平面图)的几个实例来描述像素阵列101和DSP 14之间的位置关系。
1.4.1第一布局实例
图3和图4是根据本实施方式的用于说明第一布局实例的图示。图3示出了第一基板100的布局实例，以及图4示出了第二基板120的布局实例。
1.4.1.1第一基板的布局实例
如图3所示，在第一基板100中，设置有图1所示的图像传感器10的配置中的成像器11的像素阵列101。当光学系统104的一部分或全部安装在第一基板100上时，其设置在与像素阵列101相对应的位置。
像素阵列101偏心地布置到第一基板100的四个边L101至L104中的一个边L101。换句话说，像素阵列101被布置成使得其中心O101比第一基板100的中心O100更靠近边L101。当第一基板100中具有像素阵列101的表面为矩形时，边L101可以是例如更短的边。然而，本发明不限于此，并且像素阵列101可以被布置成向更长的边偏心。
在像素阵列101的四个边中的靠近边L101的区域中，换句话说，在边L101和像素阵列101之间的区域中设置TSV阵列102，其中，穿过第一基板100的多个硅通孔(在下文中称为TSV)被布置成用于将像素阵列101中的每个单位像素101a电连接到布置在第二基板120中的ADC 17的布线。这样，TSV阵列102设置在靠近像素阵列101的边L101附近，以确保用于第二基板120中的每个部件(例如ADC 17)的空间。
TSV阵列102还可以设置在与边L101相交的两个边L103和L104中的一个边L104(或者可以是边L103)附近的区域中，换句话说，设置在边L104(或边L103)和像素阵列101之间的区域中。
在第一基板100的四个边L101至L104中，具有多个线性布置的焊盘的焊盘阵列103，设置在未偏心布置有像素阵列101的边L102和L103中的每个上。包括在焊盘阵列103中的焊盘包括，例如，接收用于诸如像素阵列101和ADC 17的模拟电路的电源电压的焊盘(也称为电源引脚)、接收用于诸如信号处理器13、DSP 14、存储器15、选择器16和控制器12的数字电路的电源电压的焊盘(也称为电源引脚)、用于诸如移动工业处理器接口(MIPI)和串行外围接口(SPI)的接口的焊盘(也称为信号引脚)、以及用于时钟和数据的输入/输出的焊盘(也称为信号引脚)。每个焊盘通过布线电连接到例如外部电源电路或接口电路。优选地，每个焊盘阵列103和TSV阵列102充分地间隔开到一定程度，使得来自连接到焊盘阵列103中的每个焊盘的布线的信号反射的影响可以被忽略。
1.4.1.2第二基板的布局实例
另一方面，如图4所示，在第二基板120中，设置有图1所示的图像传感器10的配置中的ADC 17、控制器12、信号处理器13、DSP 14和存储器15。在第一布局实例中，将存储器15分成两个区域：存储器15A和存储器15B。类似地，将ADC 17分成两个区域：ADC 17A和数模转换器(DAC)17B。DAC 17B向ADC 17A供应用于AD转换的参考电压，并且，广义地说，DAC 17B包括在ADC 17的一部分中。虽然未在图4中示出，但是选择器16也布置在第二基板120上。
第二基板120还具有与穿过第一基板100的TSV阵列102(在下文中简称为TSV阵列102)中的TSV接触并电连接的布线122，以及焊盘阵列123，其中与第一基板100的焊盘阵列103中的焊盘电连接的多个焊盘线性地布置。
对于TSV阵列102和布线122之间的连接，例如，可采用以下技术：双TSV技术，其中两个TSV(即，设置在第一基板100中的TSV和从第一基板100设置到第二基板120的TSV)以芯片面向外的方式连接；或者共享TSV技术，其中从第一基板100设置到第二基板120的共享TSV提供连接。然而，本发明不限于此，并且可采用各种连接模式。实例包括Cu-Cu结合，其中暴露在第一基板100的接合表面上的铜(Cu)和暴露在第二基板120的接合表面上的Cu接合。
第一基板100上的焊盘阵列103中的焊盘与第二基板120的焊盘阵列123中的焊盘之间的连接模式可以是例如布线结合。然而，本发明不限于此，并且可以采用诸如通孔和城堡状封装的连接模式。
在第二基板120的布局实例中，例如，ADC 17A、信号处理器13和DSP 14沿着从像素阵列101读出的信号流从上游侧依次布置，其中上游侧是连接到TSV阵列102的布线122的附近。即，最初将从像素阵列101读出的像素信号输入到的ADC 17A，布置在最上游侧的布线122附近，接着布置信号处理器13，并且DSP 14布置在离布线122最远的区域中。沿着信号流从上游侧布置ADC 17到DSP 14的这种布局可以缩短连接部件的布线。此布局导致信号延迟的降低、信号传播损失的减少、信噪比的改善、以及更低的功耗。
控制器12例如布置在上游侧的布线122附近。在图4中，控制器12布置在ADC 17A和信号处理器13之间。当控制器12控制像素阵列101时，这种布局导致信号延迟的降低、信号传播损失的减少、信噪比的改善，以及更低的功耗。有利地，用于模拟电路的信号引脚和电源引脚可以共同地布置在模拟电路附近(例如，在图4的下侧)，用于数字电路的剩余信号引脚和电源引脚可以共同地布置在数字电路附近(例如，在图4的上侧)，或者用于模拟电路的电源引脚和用于数字电路的电源引脚可以彼此充分地间隔开。
在图4所示的布局中，DSP 14布置在与ADC 17A相对一侧的最下游侧。换句话说，利用这种布局，DSP 14可以布置在沿第一基板100和第二基板120的层叠方向(在下文中简称为顶底方向)不与像素阵列101重叠的区域中。
这样，在像素阵列101和DSP 14沿顶底方向不叠加的配置中，可以减少由于DSP 14的信号处理而产生的噪声侵入像素阵列101。结果，即使当DSP 14作为基于预训练模型执行计算的处理单元操作时，也可以减少由DSP 14的信号处理产生的噪声侵入像素阵列101，因此，可以获取质量劣化较少的图像。
DSP 14和信号处理器13通过配置为DSP 14的一部分或信号线的互连件14a来连接。选择器16例如布置在DSP 14的附近，当互连件14a是DSP 14的一部分时，DSP 14可以沿顶底方向与像素阵列101部分地重叠。然而，即使在这种情况下，与当整个DSP 14沿顶底方向叠加在像素阵列101上时相比，可以减少噪声侵入像素阵列101。
存储器15A和15B被布置成例如从三个方向围绕DSP 14。在存储器15A和15B围绕DSP 14的这种布置中，可以使存储器15中的每个存储元件与DSP 14之间的布线距离平均，同时可以整体减小该距离。因此，当DSP 14访问存储器15时，可以降低信号延迟、信号传播损失和功耗。
焊盘阵列123例如被布置在第二基板120上沿顶底方向与第一基板100的焊盘阵列103相对应的位置。这里，在包括在焊盘阵列123中的焊盘中，位于ADC 17A附近的焊盘，用于模拟电路(主要是ADC 17A)的电源电压或模拟信号的传播。另一方面，位于控制器12、信号处理器13、DSP 14、或存储器15A和15B附近的焊盘，用于数字电路(主要是控制器12、信号处理器13、DSP 14、存储器15A和15B)的电源电压和数字信号的传播。这种焊盘布局可以减小将焊盘连接到部件的布线的距离。此布局导致信号延迟的降低、信号和电源电压的传播损失的减少、信噪比的改善、以及更低的功耗。
1.4.2第二布局实例
现在将描述第二布局实例。在第二布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图5是示出了第二布局实例中的第二基板的布局实例的图示。如图5所示，在第二布局实例中，在与第一布局实例类似的布局中，DSP 14布置在布置有DSP 14和存储器15的区域的中心。换句话说，在第二布局实例中，存储器15被布置成从四个方向围绕DSP 14。
在从四个方向围绕DSP 14的存储器15A和15B的这种布置中，存储器15中的每个存储元件和DSP 14之间的布线距离可以进一步平均，同时该距离在整体上可以进一步减小。因此，当DSP 14访问存储器15时，可以进一步降低信号延迟、信号传播损失和功耗。
在图5中，DSP 14和像素阵列101被布置成沿顶底方向彼此不叠加。然而，本发明不限于此，并且DSP 14可以沿顶底方向部分地叠加在像素阵列101上。即使在这种情况下，与当整个DSP 14沿顶底方向叠加在像素阵列101上时相比，可以减少噪声侵入像素阵列101。
其他布局可以与第一布局实例类似，并且本文不进一步详细描述。
1.4.3第三布局实例
现在将描述第三布局实例。在第三布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图6是示出了第三布局实例中的第二基板的布局实例的图示。如图6所示，在第三布局实例中，在与第一布局实例类似的布局中，DSP 14被布置成与信号处理器13相邻。在这种配置中，可以缩短从信号处理器13到DSP 14的信号线。此布局导致信号延迟的降低、信号和电源电压的传播损失的减少、信噪比的改善、以及更低的功耗。
在第三布局实例中，存储器15被布置成从三个方向围绕DSP 14。因此，当DSP 14访问存储器15时，可以降低信号延迟、信号传播损失和功耗。
在第三布局实例中，DSP 14沿顶底方向部分地叠加在像素阵列101上。即使在这种情况下，与当整个DSP 14沿顶底方向叠加在像素阵列101上时相比，可以减少噪声侵入像素阵列101。
其他布局可以与其他布局实例类似，并且本文不进一步详细描述。
1.4.4第四布局实例
现在将描述第四布局实例。在第四布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图7是示出了第四布局实例中的第二基板的布局实例的图示。如图7所示，在第四布局实例中，在与第三布局实例类似的布局中，即，在DSP 14被布置成与信号处理器13相邻的布局中，DSP 14布置在远离两个TSV阵列102的位置处。
在DSP 14远离两个TSV阵列102的位置的这种布置中，由于ADC 17A到DSP 14可以被布置为更忠实于信号流，所以可进一步缩短从信号处理器13到DSP 14的信号线。结果，可进一步降低信号延迟、信号传播损失和功耗。
在第四布局实例中，存储器15被布置成从两个方向围绕DSP 14。因此，当DSP 14访问存储器15时，可以降低信号延迟、信号传播损失和功耗。
在第四布局实例中，DSP 14沿顶底方向部分地叠加在像素阵列101上。即使在这种情况下，与当整个DSP 14沿顶底方向叠加在像素阵列101上时相比，可以减少噪声侵入像素阵列101。
其他布局可以与其他布局实例类似，并且本文不进一步详细描述。
1.4.5第五布局实例
现在将描述第五布局实例。在第五布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图8是示出了第五布局实例中的第二基板的布局实例的图示。如图8所示，在第五布局实例中，在与第一布局实例类似的布局中，即，在DSP 14布置在最下游侧的布局中，DSP14布置在远离两个TSV阵列102的位置处。
即使在这种配置中，由于ADC 17A到DSP 14可以被布置为更忠实于信号流，所以可进一步缩短从信号处理器13到DSP 14的信号线。结果，可以进一步降低信号延迟、信号传播损失和功耗。
其他布局可以与其他布局实例类似，并且本文不进一步详细描述。
1.4.6第六布局实例
现在将描述第六布局实例。在第六布局实例中，第一基板100的布局实例可以类似于参考图3描述的第一布局实例中布局实例。
图9是示出了第六布局实例中的第二基板的布局实例的图示。如图9所示，在第六布局实例中，DSP 14在图中的顶底方向上夹在分成两个区域的存储器15C和15D之间。
在DSP 14夹在存储器15C和15D之间的这种布置中，存储器15中的每个存储元件与DSP 14之间的布线距离可以被平均，同时该距离可整体减少。因此，当DSP 14访问存储器15时，可以进一步降低信号延迟、信号传播损失和功耗。
其他布局可以类似于第一布局实例，并且本文不进一步详细描述。
1.4.7第七布局实例
现在将描述第七布局实例。在第七布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图10是示出了第七布局实例中的第二基板的布局实例的图示。如图10所示，在第七布局实例中，存储器15在图中的顶底方向上夹在分成两个区域的DSP 14A和14B之间。
在存储器15夹在DSP 14A和14B之间的这种布置中，存储器15中的每个存储元件与DSP 14之间的布线距离可以被平均，同时该距离可整体减少。因此，当DSP 14访问存储器15时，可以进一步降低信号延迟、信号传播损失和功耗。
其他布局可以类似于第一布局实例，并且本文不进一步详细描述。
1.4.8第八布局实例
现在将描述第八布局实例。在第八布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图11是示出了第八布局实例中的第二基板的布局实例的图示。如图11所示，在第八布局实例中，DSP 14在图中的左右方向上夹在分成两个区域的存储器15E和15F之间。
在DSP 14夹在存储器15E和15F之间的这种布置中，存储器15中的每个存储元件与DSP 14之间的布线距离可以被平均，同时该距离可整体减少。因此，当DSP 14访问存储器15时，可以进一步降低信号延迟、信号传播损失和功耗。
其他布局可以类似于第一布局实例，并且本文不进一步详细描述。
1.4.9第九布局实例
现在将描述第九布局实例。在第九布局实例中，第一基板100的布局实例可以与参考图3描述的第一布局实例中的布局实例类似。
图12是示出了第九布局实例中的第二基板的布局实例的图示。如图12所示，在第九布局实例中，存储器15在图中的左右方向上夹在分成两个区域的DSP 14C和14D之间。
在存储器15夹在DSP 14C和14D之间的这种布置中，存储器15中的每个存储元件与DSP 14之间的布线距离可以被平均，同时该距离可整体减少。因此，当DSP 14访问存储器15时，可以进一步降低信号延迟、信号传播损失和功耗。
其他布局可以类似于第一布局实例，并且本文不进一步详细描述。。
1.5操作效果
如上所述，根据本实施方式，调整像素阵列101与DSP 14之间的位置关系，使得第二基板120的DSP 14的至少一部分在第一基板100和第二基板120的层叠方向(顶底方向)上不叠加在像素阵列101上。此配置可以减少由DSP 14的信号处理产生的噪声侵入像素阵列101，因此，即使当DSP 14作为基于预训练模型执行计算的处理单元操作时，也可以提供质量劣化较少的图像。
2.第二实施方式
现在将参考附图详细描述第二实施方式。在以下描述中，与第一实施方式类似的配置由相同的附图标记表示，并且省略其重复描述。
根据第二实施方式的作为电子装置的成像装置可以类似于例如参考图1在第一实施方式中描述的成像装置1，因此将参考图1并且不再对其进行详细描述。
2.1图像传感器芯片的芯片配置实例
现在将参考附图在下面详细描述根据本实施方式的图像传感器的芯片配置的实例。图13是示出了根据本实施方式的图像传感器中的第一基板的整体配置实例的布局图。图14是示出了根据本实施方式的图像传感器的芯片配置实例的图示。
如图13和图14所示，在本实施方式中，第一基板200的尺寸小于第二基板120的尺寸。例如，第一基板200的尺寸根据像素阵列101的尺寸而减小。随着第一基板200的这种尺寸减小，许多第一基板200可由单个半导体晶圆制造。此外，可以减小图像传感器10的芯片尺寸。
对于第一基板200和第二基板120之间的结合，可以采用将第一基板200和第二基板120分别切割成芯片然后结合的芯片上芯片(CoC)技术，或者将切割的第一基板200结合到晶圆状态的第二基板120的晶圆上芯片(CoW)技术。
第一基板200的布局可以类似于例如第一实施方式中示出的第一基板100的布局，除了上部之外。第二基板120的布局可以类似于例如第一实施方式中示出的第二基板120。以与第一实施方式相同的方式，第一基板200与第二基板120之间的结合位置，可以是像素阵列101的至少一部分沿顶底方向不与第二基板120的DSP 14重叠的位置。
2.2操作效果
如上所述，即使当第一基板200根据像素阵列101的尺寸而减小尺寸时，也能够以与第一实施方式相同的方式减少由DSP 14的信号处理产生的噪声侵入像素阵列101。因此，即使当DSP 14作为基于预训练模型执行计算的处理单元操作时，也可以获取质量劣化较少的图像。其他配置(包括第二基板120的布局实例)和效果可以与第一实施方式的那些类似，并且本文将不进一步详细描述。
3.第三实施方式
现在将参考附图详细描述第三实施方式。在以下描述中，与第一实施方式或第二实施方式类似的配置由相同的附图标记表示，并且省略其重复描述。
根据第三实施方式的作为电子装置的成像装置，可以类似于例如参考图1在第一实施方式中描述的成像装置1，因此将参考图1并且不再对其进行详细描述。
3.1图像传感器芯片的芯片配置实例
现在将参考附图在下面详细描述根据本实施方式的图像传感器的芯片配置的实例。图15是示出了根据本实施方式的图像传感器中的第一基板的整体配置实例的布局图。图16是示出了根据本实施方式的图像传感器中的第二基板的整体配置实例的布局图。图17是示出了根据本实施方式的图像传感器的芯片配置实例的示图。
如图15至图17所示，在本实施方式中，第一基板300的尺寸根据像素阵列101的尺寸而减小。在本实施方式中，第二基板320的尺寸减小到与第一基板300的尺寸相同的程度。通过这种配置，在本实施方式中，可以减小第一基板300的多余区域，并且可以相应地进一步减小图像传感器10的芯片尺寸。
然而，在本实施方式中，像素阵列101和DSP 14在第一基板300和第二基板320的层叠方向(在下文中简称为顶底方向)上彼此叠加。因此，在一些情况下，由DSP 14产生的噪声可能叠加在从像素阵列101读出的像素信号上，并且可能降低由图像传感器10获取的图像的质量。
然后，在本实施方式中，ADC 17A和DSP 14彼此间隔开。具体地，例如，ADC 17A被布置为更靠近第二基板320的一个端部L321，而DSP 14被布置为更靠近与设置ADC 17A的端部L321相对一侧的端部L322。
通过这种配置，可以减少从DSP 14传播到ADC 17A的噪声，从而抑制由图像传感器10获取的图像的质量的劣化。靠近ADC 17A的端部L321可以是提供连接到TSV阵列102的布线122的端部。
通过这种布置，例如，以与上述实施方式相同的方式，沿着从像素阵列101读出的信号流从上游侧开始依次布置ADC 17A、信号处理器13和DSP 14，其中上游侧是连接到TSV阵列102的布线122的附近。因此，可以缩短连接这些部件的布线。因此，减小传输负载，导致信号延迟降低和更少的功耗。
3.2操作效果
如上所述，当第一基板300和第二基板320根据像素阵列101的尺寸而减小尺寸时，ADC 17A和DSP 14彼此间隔开，从而减少从DSP 14传播到ADC 17A的噪声。因此，可以抑制由图像传感器10获取的图像的质量的降低。
其他配置和效果与上述实施方式的那些类似，并且本文将不进一步详细描述。
4.应用于其他传感器
在上述实施方式中，根据本发明的技术应用于获取二维图像的固态成像装置(图像传感器10)。然而，根据本发明的技术的应用不限于固态成像装置。例如，根据本发明的技术可以应用于各种光接收传感器，例如飞行时间(ToF)传感器、红外(IR)传感器和动态视觉传感器(DVS)。即，当光接收传感器的芯片结构是层叠型时，可以实现传感器结果中包括的噪声的降低和传感器芯片的小型化。
5.应用于移动体
根据本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可实现为安装在任意类型移动体上(例如汽车、电动汽车、混合动力车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和舰、和机器人)的装置。
图18是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图18所示出的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图18的示例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图19是示出成像部12031的安装位置的示例的示图。
在图19中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
图19示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
应用根据本公开的技术的车辆控制系统的示例已经被如上所述。在上述配置中，根据本公开的技术应用于成像器12031等。当根据本公开的技术应用于成像器12031等时，可以实现成像器12031等的小型化，从而促进车辆12100的内部和外部的设计。当据本公开的技术应用于成像器12031等时，可以获得噪音减少的清晰图像，以向驾驶员提供更加可见的图像。因此，可以减轻驾驶员的疲劳。
6.应用于内窥镜手术系统
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
图20是可以应用根据本公开的实施方式的技术(本技术)的内窥镜手术系统的示意性构造的示例的示图。
在图20中，示出了外科医生(医师(medical doctor))11131正在使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如所描绘的，内窥镜手术系统11000包括内窥镜11100、其他手术工具11110如气腹管11111和能量治疗工具11112、支撑内窥镜11100的支撑臂装置11120和装配有用于内窥镜手术的各种装置的推车11200。
内窥镜11100包括其远端的预定长度的区域插入到患者11132的体腔中的透镜镜筒11101和连接到透镜镜筒11101的近端的摄像头11102。在所描绘的实例中，描绘了内窥镜11100，其包括具有硬质的透镜镜筒11101的硬质镜。然而，内窥镜11100也可以包括具有软质透镜镜筒11101的软质镜。
透镜镜筒11101在其远端具有安装物镜的开口。光源装置11203连接到内窥镜11100使得通过在透镜镜筒11101内延伸的光导将由光源装置11203产生的光引入到透镜镜筒11101的远端并通过物镜照射向患者11132的体腔的观察目标。应注意内窥镜11100可以是直视镜或可以是斜视镜或侧视镜。
摄像头11102内设置有光学系统和摄像元件使得来自观察目标的反射光(观察光)通过光学系统在摄像元件上聚集。观察光通过摄像元件光电转换来产生对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为RAW数据传输到CCU 11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等从而整体控制内窥镜11100和显示器装置11202的操作。进一步地，CCU 11201接收来自摄像头11102的图像信号并对图像信号进行各种图像处理用于基于图像信号显示图像，例如显影处理(去马赛克处理)。
显示装置11202在CCU 11201的控制下在其上显示基于图像信号的图像，对该图像信号已经通过CCU 11201进行了图像处理。
光源装置11203包括光源例如发光二极管(LED)等，并在将手术区域成像到内窥镜11100上时供应照射光。
输入装置11204是用于内窥镜手术系统11000的输入接口。使用者可以通过输入装置11204进行输入，将各种信息或指令输入到内窥镜手术系统11000中。例如，使用者输入改变内窥镜11100的摄像条件(照射光的类型、放大倍数、焦距等)的指令。
治疗工具控制装置11205控制能量治疗工具11112的驱动用于组织的灼烧或切割、血管的密封等。气腹装置11206通过气腹管11111向患者11132的体腔中进料气体来使体腔充气以确保内窥镜11100的视野和确保外科医生的工作空间。记录仪11207是能够记录与手术有关的各种信息的装置。打印机11208是能够将与手术有关的信息通过如文本、图像或图表等各种形式打印的装置。
应注意在将手术区域成像至内窥镜11100时供应照射光的光源装置11203可以包括白色光源，包括例如LED、激光源或它们的组合。在白色光源包括红色、绿色和蓝色(RGB)激光源的组合时，由于可以通过高精确度地控制每种颜色(每种波长)的输出强度和输出时间，所以可以通过光源装置11203进行拍摄的图像的白平衡的调节。进一步地，在这种情况下，如果按时间区分将各个RGB激光源的激光束照射在观察目标上，则与照射时间同步控制摄像头11102的摄像元件的驱动，则可以按时间区分拍摄单独对应于R、G和B颜色的图像。根据该方法，即使没有向摄像元件提供滤色器，也可以得到彩色图像。
进一步地，可以控制光源装置11203使得输出的光强度对于每种预定的时间改变。通过与光强度的改变的时间同步控制摄像头11102的摄像元件的驱动来获取根据时间区分的图像，并合成图像，可以生成没有曝光不足的过厚阴影和曝光过度的加亮区的高动态范围的图像。
进一步地，可以将光源装置11203配置为供应预定波段的光，准备用于特定的光观察。在特定的光观察中，例如，通过利用身体组织对光的吸收的波长依赖性、与普通观察时的照射光(即白光)相比使用窄频带的照射光，对预定组织如粘膜表面部分的血管等以高对比度进行成像即为窄频带观察(窄频带成像)。可替换地，在特定的光观察中，可以进行荧光观察，用于从通过照射激发光产生的荧光得到图像。在荧光观察中，可以通过在身体组织上照射激发光进行身体组织的荧光观察(自身荧光观察)，或可以通过将试剂如靛青绿(ICG)局部注射到身体组织中并照射对应于试剂的荧光波长的激发光到身体组织上得到荧光图像。光源装置11203可以配置为供应适用于上述特定光观察的这种窄频带光和/或激发光。
图21是描绘了在图20中描绘的摄像头11102和CCU 11201的功能构造的示例的框图。
摄像头11102包括透镜单元11401、摄像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输电缆11400连接用于彼此通信。
透镜单元11401是设置在与透镜镜筒11101的连接位置处的光学系统。由透镜镜筒11101的远端采集的观察光被引导至摄像头11102并被引入到透镜单元11401中。透镜单元11401包括多个透镜的组合，包括变焦透镜和聚焦透镜。
摄像单元11402包括的摄像元件的数目可以是一个(单板型)或多个(多板型)。在摄像单元11402配置为多板型时，例如，由各摄像元件产生对应于各个R、G和B的图像信号，并可以合成图像信号来得到彩色图像。摄像单元11402还可以配置为具有一对摄像元件，用于获取分别对应于三维(3D)显示的用于右眼和左眼的图像信号。如果进行3D显示，那么外科医生11131可以更精确地了解手术区域中的活体组织的深度。应注意，在摄像单元11402配置为多板型时，对应于各个摄像元件，透镜单元11401也提供多个系统。
进一步地，摄像单元11402可以不必设置在摄像头11102上。例如，可以将摄像单元11402设置在紧随透镜镜筒11101内的物镜之后。
驱动单元11403包括致动器并在摄像头控制单元11405的控制下以沿着光轴的预定距离移动透镜单元11401的变焦透镜和聚焦透镜。从而可以合适地调节通过摄像单元11402拍摄的图像的放大倍数和焦点。
通信单元11404包括用于将各种信息传输至CCU 11201和接收来自CCU 11201的各种信息的通信装置。通信单元11404通过传输电缆11400将由摄像单元11402获取的图像信号作为RAW数据传输至CCU 11201。
另外，通信单元11404接收来自CCU 11201用于控制摄像头11102的驱动的控制信号并将控制信号供应至摄像头控制单元11405。控制信号包括与摄像条件有关的信息，例如指定拍摄图像的帧速率的信息、指定拍摄图像时的曝光值的信息和/或指定拍摄图像的放大倍数和焦点的信息。
应注意摄像条件如帧速率、曝光值、放大倍数或焦点可以由使用者适当指定，也可以基于获取的图像信号通过CCU 11201的控制单元11413自动地设置。在后一种情况下，在内窥镜11100中搭载了自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元11405基于通过通信单元11404从CCU 11201接受的控制信号来控制摄像头11102的驱动。
通信单元11411包括用于将各种信息传输至摄像头11102和接收来自摄像头11102的各种信息的通信装置。通信单元11411通过传输电缆11400接收从摄像头11102传输至其的图像信号。
进一步地，通信单元11411将用于控制摄像头11102的驱动的控制信号传输至摄像头11102。可以通过电通信、光通信等传输图像信号和控制信号。
图像处理单元11412对从摄像头11102传输至其的以RAW数据形式的图像信号进行各种图像处理。
控制单元11413进行和通过内窥镜11100对手术区域等的摄像，以及显示通过对手术区域等的摄像得到的拍摄图像相关的各种控制。例如，控制单元11413生成用于控制摄像头11102的驱动的控制信号。
进一步地，控制单元11413基于已通过图像处理单元11412进行图像处理的图像信号控制显示装置11202来显示拍摄的图像，其中成像了手术区域等。此时，控制单元11413可以使用各种图像识别技术来识别拍摄的图像中的各种对象。例如，控制单元11413可以通过检测拍摄的图像中包含的对象的边缘的形状、颜色等来识别手术工具如钳子等、具体的活体区域、流血、当使用能量治疗工具11112时的雾气等。当其控制显示装置11202来显示拍摄的图像时，控制单元11413可以利用识别结果将各种手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示并呈现给外科医生11131时，可以降低外科医生11131的负担且外科医生11131可以肯定地继续进行手术。
将摄像头11102和CCU 11201彼此连接的传输电缆11400是用于电信号的通信的电信号电缆、用于光通信的光纤或是用于电通信和光通信两者的复合电缆。
此处，虽然在描述的示例中通过利用传输电缆11400进行有线通信，但是摄像头11102和CCU 11201之间的通信也可以是无线通信。
应用根据本公开的技术的内窥镜手术系统的示例已经被如上所述。根据本公开的技术可应用于例如摄像头11102中的成像器11402等。当根据本公开的技术应用于摄像头11102时，摄像头11102等可以被小型化，实现紧凑型内窥镜系统11000。当根据本公开的技术应用于摄像头11102等，可以获得噪音减少的清晰图像，以向外科医生提供更加可见的图像。因此，可以减轻外科医生的疲劳。
尽管本文通过示例描述了内窥镜手术系统，但是根据本公开的技术可以应用于例如显微镜手术系统。
7.应用于整体玻片成像(WSI)系统
根据本公开的技术可应用于各种产品。例如，根据本公开的技术可以应用于病理诊断系统及其辅助系统(在下文中称为诊断辅助系统)，该病理诊断系统允许医生通过观察从患者采样的细胞和组织来诊断病理变化。此诊断辅助系统可以是整体玻片成像(WSI)系统，用于基于使用数字病理技术获取的图像来诊断病理变化，并且辅助诊断。
图22是示出了应用根据本公开的技术的诊断辅助系统的整体配置的示例的图示。如图22所示，诊断辅助系统包括一个或多个病理系统5510。诊断辅助系统还可以包括医疗信息系统5530和导出装置5540。
一个或多个病理系统5510中的每个是主要由病理学家使用并引入例如研究实验室或医院的系统。病理系统5510可以被引入不同的医院，并且通过各种网络连接到医疗信息系统5530和导出装置5540，该网络例如是广域网(WAN)(包括互联网)、局域网(LAN)、公共网络和移动通信网络。
每个病理系统5510包括显微镜5511、服务器5512、显示控制装置5513和显示装置5514。
显微镜5511具有光学显微镜的功能，并且捕获载玻片上的观察目标的图像，以获取是数字图像的病理图像。观察目标是例如从患者采样的组织或细胞，并且可以是一块器官、唾液或血液。
服务器5512将由显微镜5511获取的病理图像存储并保存到未示出的存储单元中。当从显示控制装置5513接受检查请求时，服务器5512在未示出的存储单元中搜索病理图像，并且将搜索到的病理图像发送到显示控制装置5513。
显示控制装置5513将从用户接受的对病理图像的检查请求发送到服务器5512。然后显示控制装置5513使用液晶、电致发光(EL)、阴极射线管(CRT)等在显示装置5514上显示从服务器5512接收的病理图像。显示装置5514可以支持4K或8K，并且可以提供一个或多个显示装置5514。
这里，当观察目标是诸如一块器官的固体物质时，观察目标可以是例如染色切片。例如，可以通过对从诸如器官的样本切出的块进行切片来制备切片。当切片时，块可以由例如石蜡固定。
在对切片进行染色时，可以采用各种染色，例如普通染色(例如苏木精-曙红(HE)染色)以确定组织的形式，以及免疫染色(例如免疫组织化学(IHC))以识别组织的免疫状态。这样做时，可以使用不同种类的试剂对一个切片进行染色，或者可以使用不同的试剂对从相同块连续切出的两个以上的切片(也称为相邻切片)进行染色。
显微镜5511可以包括用于以低分辨率捕获图像的低分辨率成像器和用于以高分辨率捕获图像的高分辨率成像器。低分辨率成像器和高分辨率成像器可以是不同的光学系统或相同的光学系统。在相同光学系统的情况下，显微镜5511可以具有根据成像目标而改变的分辨率。
将具有观察目标的载玻片放置在位于显微镜5511视角内的载物台上。显微镜5511首先使用低分辨率成像器获取视角中的整个图像，并且根据所获取的整个图像指定观察目标的区域。随后，显微镜5511将包括观察目标的区域分成多个具有预定尺寸的划分区域，并且使用高分辨率成像器连续捕获划分区域的图像，以获取划分区域的高分辨率图像。在切换目标划分区域时，可以移动载物台，可以移动成像光学系统，或者可以移动这两者。每个划分区域可以与相邻的划分区域重叠，以防止由于载玻片的非故意滑动而导致的成像遗漏区域的出现。整个图像可以包括用于将整个图像与患者相关联的识别信息。识别信息的示例包括字符串和QR码(注册商标)。
将由显微镜5511获取的高分辨率图像输入到服务器5512。服务器5512将每个高分辨率图像划分成具有较小尺寸的部分图像(在下文中称为区块图像)。例如，服务器5512将一个高分辨率图像垂直地和水平地分成10×10(总共100)个区块图像。这样做时，如果相邻的划分区域重叠，则服务器5512可以使用诸如模板匹配的技术，来对彼此相邻的高分辨率图像执行拼接处理。在此情况下，服务器5512可以将拼接的高分辨率图像作为整体进行划分，以生成区块图像。然而，可以在拼接过程之前从高分辨率图像生成区块图像。
服务器5512还可以划分区块图像以生成具有较小尺寸的区块图像。可以重复生成这种区块图像，直到生成设置为最小单位的区块图像。
在生成作为最小单位的区块图像时，服务器5512对所有区块图像执行区块组合处理，以组合预定数量的相邻区块图像并生成一个区块图像。可以重复此区块组合处理，直到最终生成一个区块图像。通过这种处理，生成具有金字塔结构的区块图像组，其中，每个层配置有一个或多个区块图像。在此金字塔结构中，某一层上的区块图像和与此层不同的层上的区块图像具有相同的像素数，但是其分辨率不同。例如，当2×2总共四个区块图像在更高的层上组合到一个区块图像中时，该更高层上的区块图像的分辨率是组合时使用的更低层的区块图像的分辨率的一半。
当构造具有金字塔结构的这种区块图像组时，可以根据要显示的区块图像所属的层，来改变显示装置上出现的观察目标的细节水平。例如，当使用最低层上的区块图像时，详细显示观察目标的窄区域，并且当使用更高层上的区块图像时，粗略显示观察目标的较宽区域。
例如，将所生成的具有金字塔结构的区块图像组与唯一识别每个区块图像的识别信息(称为区块识别信息)一起存储在未示出的存储单元中。当从另一装置(例如，显示控制装置5513或导出装置5540)接收包括区块识别信息的区块图像的获取请求时，服务器5512将与区块识别信息对应的区块图像发送到另一装置。
对于每个成像条件(例如焦距和染色条件)，可以生成作为病理图像的区块图像。当针对每个成像条件生成区块图像时，可以并排显示特定病理图像、以及与不同于特定成像条件的成像条件相对应并且与特定病理图像处于相同区域的另一病理图像。可以由检查员指定该特定成像条件。当检查者指定多个成像条件时，可以并排显示与各个成像条件相对应的相同区域中的病理图像。
服务器5512可以将具有金字塔结构的区块图像组存储在除了服务器5512之外的存储装置中，例如，云服务器。例如，可以由云服务器执行如上所述的区块图像生成处理的一部分或全部。
显示控制装置5513根据用户的输入操作，从具有金字塔结构的区块图像组中提取期望的区块图像，并且将其输出到显示装置5514。通过这种处理，用户可以在改变观察倍率的同时获得观看观察目标的感觉。即，显示控制装置5513用作虚拟显微镜。这里的虚拟观察放大率实际上对应于分辨率。
高分辨率图像可通过任何方法捕获。可以通过在重复停止和移动载物台的同时捕获划分区域的图像来获取高分辨率图像，或者可以通过在以预定速度移动载物台的同时捕获划分区域的图像来获取条带上的高分辨率图像。从高分辨率图像生成区块图像的处理不是必要的配置，并且可以逐步改变拼接的高分辨率图像整体的分辨率，以生成分辨率逐步改变的图像。在此情况下，也能够将宽区域中的低分辨率图像到窄区域中的高分辨率图像逐步地呈现给用户。
医疗信息系统5530是电子健康记录系统，并且存储与诊断相关的信息，例如识别患者的信息、患者的疾病信息、用于诊断的检查信息和图像信息、诊断结果、以及处方药物。例如，通过对患者的观察目标进行成像而获得的病理图像，可以通过服务器5512立即存储，然后通过显示控制装置5513显示在显示装置5514上。使用病理系统5510的病理学家基于出现在显示装置5514上的病理图像进行病理诊断。将由病理学家进行的病理诊断的结果存储在医疗信息系统5530中。
导出装置5540可以执行病理图像的分析。在此分析中，可以使用通过机器学习创建的学习模型。导出装置5540可以导出特定区域的分类结果、组织的识别结果等作为分析结果。导出装置5540还可以导出诸如细胞信息、计数、位置和亮度信息、其评分信息等的识别结果。由导出装置5540导出的这些信息可以作为诊断辅助信息显示在病理系统5510的显示装置5514上。
导出装置5540可以是包括一个或多个服务器(包括云服务器)的服务器系统。导出装置5540可以是结合到例如病理系统5510中的显示控制装置5513或服务器5512中的配置。即，可以在病理系统5510中执行对病理图像的各种分析。
在上述配置中，根据本公开的技术可以优选地应用于例如显微镜5511。具体地，根据本公开的技术可以应用于显微镜5511中的低分辨率成像器和/或高分辨率成像器。将根据本公开的技术应用于低分辨率成像器和/或高分辨率成像器，导致低分辨率成像器和/或高分辨率成像器的小型化，并且因此导致显微镜5511的小型化。小型化有利于显微镜5511的运输，从而有利于系统引入和系统更换。另外，当将根据本公开的技术应用于低分辨率成像器和/或高分辨率成像器时，可以在显微镜5511中即时执行从病理图像的获取到病理图像的分析的部分或全部，使得可以更迅速和适当地输出诊断辅助信息。
上述配置不限于诊断辅助系统，并且通常可以应用于诸如共焦显微镜、荧光显微镜和视频显微镜的生物显微镜。这里，观察目标可以是生物样本，例如培养的细胞、受精卵和精子，诸如细胞片和三维细胞组织的生物材料，以及诸如斑马鱼和老鼠的活体。观察目标可以在微量培养板或培养皿中观察，而不是在载玻片上观察。
可以从使用显微镜获取的观察目标的静止图像生成运动图像。例如，可以从在预定时间段内连续捕获的静止图像生成运动图像，或者可以从以预定间隔捕获的静止图像生成图像序列。对于从静止图像生成的运动图像，可以使用机器学习来分析观察目标的动态特征，例如，诸如癌细胞、神经细胞、心肌组织、精子等的搏动、扩张、移动的运动，以及培养细胞和受精卵的分裂过程。
虽然以上已经描述了本公开的实施方式，但是本公开的技术范围不像那样限于上述实施方式，并且在不脱离本公开的精神的情况下可以进行各种修改。可以适当地组合不同实施方式和修改中的构成元件。
本说明书中描述的实施方式中的效果仅是示例性的，而并非旨在是限制性的，并且可以实现任何其他效果。
上述实施方式可以单独使用或者可以与其他实施方式组合使用。
本技术可以采用如下配置。
(1)一种层叠式光接收传感器，包括：
第一基板；以及
第二基板，结合到第一基板，
第一基板包括像素阵列，多个单位像素以二维矩阵布置在该像素阵列中，
第二基板包括
转换器，被配置为将从像素阵列输出的模拟像素信号转换为数字图像数据，以及
处理单元，被配置为基于神经网络计算模型对基于图像数据的数据进行处理，其中
转换器的至少一部分设置在第二基板中的第一侧上，并且
处理单元设置在第二基板中的与第一侧相对的第二侧上。
(2)根据(1)的层叠式光接收传感器，其中，神经网络计算模型是基于通过将训练数据输入到预定的机器学习模型而生成的参数来设计的，在该训练数据中，与像素阵列的输出相对应的输入信号与用于输入信号的标签相关联。
(3)根据(2)的层叠式光接收传感器，其中，预定的机器学习模型是多级神经网络模型。
(4)根据(1)至(3)中任一项的层叠式光接收传感器，其中，基于图像数据的数据是从像素阵列读出的图像数据、或具有通过对图像数据的像素进行抽取而数据尺寸减小的图像数据。
(5)根据(1)至(4)中任一项的层叠式光接收传感器，其中，在第一基板和第二基板结合在一起的状态下，第一基板在与第二基板的第一侧对应的第三侧上包括连接布线，该连接布线将像素阵列电连接到转换器。
(6)根据(5)的层叠式光接收传感器，其中，连接布线是穿过第一基板的硅通孔(TSV)。
(7)根据(5)的层叠式光接收传感器，其中
第二基板在第一侧上具有连接布线，该连接布线电连接到转换器，并且
第一基板的连接布线和第二基板的连接布线通过金属接头直接接合。
(8)根据(1)至(7)中任一项的层叠式光接收传感器，其中
第二基板还包括信号处理器，被配置为对图像数据执行信号处理，并且
信号处理器设置在第二基板中的转换器和处理单元之间。
(9)根据(1)至(8)中任一项的层叠式光接收传感器，其中
第二基板还包括用于存储数据的存储器，并且
存储器设置在第二基板中的与处理单元相邻的区域中。
(10)根据(9)的层叠式光接收传感器，其中，存储器设置在在至少两个方向上与处理单元相邻的区域中。
(11)根据(9)的层叠式光接收传感器，其中，存储器设置在从两个方向夹着处理单元的区域中。
(12)根据(9)的层叠式光接收传感器，其中
处理单元被划分成第二基板中的两个区域并布置在两个区域中，并且
存储器布置在由划分的处理单元夹着的区域中。
(13)根据(9)的层叠式光接收传感器，其中，存储器存储处理单元用于执行处理的计算机程序。
(14)根据(1)至(13)中任一项的层叠式光接收传感器，其中
第二基板还包括控制器，用于控制从像素阵列读出像素信号，并且
控制器设置在第二基板中的转换器和处理单元之间。
(15)根据(1)至(14)中任一项的层叠式光接收传感器，其中，第一基板中的结合到第二基板的表面的尺寸基本上等于第二基板中的结合到第一基板的表面的尺寸。
(16)根据(1)至(14)中任一项的层叠式光接收传感器，其中，第一基板中的结合到第二基板的表面的尺寸小于第二基板中的结合到第一基板的表面的尺寸。
(17)根据(1)至(16)中任一项的层叠式光接收传感器，其中，第一基板和第二基板通过芯片上芯片(CoC)技术、晶圆上芯片(CoW)技术和晶圆上晶圆(WoW)技术中的一种结合在一起。
(18)根据(5)至(7)中任一项的层叠式光接收传感器，其中，第一基板包括靠近不同于第三侧的至少一侧的焊盘。
(19)根据(18)的层叠式光接收传感器，其中
焊盘包括接收待供应给转换器的电源电压的第一电源焊盘、和接收待供应给处理单元的电源电压的第二电源焊盘，
第一电源焊盘设置在比第二电源焊盘更靠近转换器的位置，并且
第二电源焊盘设置在比第一电源焊盘更靠近处理单元的位置。
(20)一种电子装置，包括：
层叠式光接收传感器，包括第一基板和结合到第一基板的第二基板，第一基板包括像素阵列，多个单位像素以二维矩阵布置在该像素阵列中，第二基板包括转换器和处理单元，转换器被配置为将从像素阵列输出的模拟像素信号转换为数字图像数据，处理单元被配置为基于神经网络计算模型对基于图像数据的数据进行处理，转换器的至少一部分设置在第二基板中的第一侧上，处理单元设置在第二基板中的与第一侧相对的第二侧上；以及
处理器，被配置为对从层叠式光接收传感器输出的图像数据执行预定处理。
(21)一种层叠式光接收传感器，包括：
第一基板；以及
第二基板，结合到第一基板，
第一基板包括像素阵列，多个单位像素以二维矩阵布置在该像素阵列中，
第二基板包括
转换器，被配置为将从像素阵列输出的模拟像素信号转换为数字图像数据，以及
处理单元，被配置为基于神经网络计算模型对基于图像数据的数据进行处理，其中
第二基板结合到第一基板，使得在第一基板和第二基板的层叠方向上，第二基板中具有处理单元的区域的一半以上不叠加在第一基板中具有像素阵列的区域上。
附图标记列表
1 成像装置
10 图像传感器
11 成像器
12 控制器
13 信号处理器
14、14A、14B、14C、14D DSP (机器学习单元)
14a 互连件
15、15A、15B、15C、15D、15E、15F 存储器
16 选择器
17、17A ADC
17B DAC
20 应用处理器
30 云服务器
40 网络
100、200、300 第一基板
101 像素阵列
101a 单位像素
102 TSV阵列
103 焊盘阵列
104 光学系统
120、320 第二基板
L101至L104 边
O100 第一基板的中心
O101 像素阵列的中心。

Claims (20)

1.一种层叠式光接收传感器，包括：
第一基板；以及
第二基板，结合到所述第一基板，
所述第一基板包括像素阵列，多个单位像素以二维矩阵布置在所述像素阵列中，
所述第二基板包括：
转换器，被配置为将从所述像素阵列输出的模拟的像素信号转换为数字的图像数据，以及
处理单元，被配置为基于神经网络计算模型对基于所述图像数据的数据进行处理，其中
所述转换器的至少一部分设置在所述第二基板的第一边侧上，并且
所述处理单元设置在所述第一基板和所述第二基板的堆叠方向上不与所述像素阵列叠加的区域中的、所述第二基板的与所述第一边侧相对的第二边侧上。
2.根据权利要求1所述的层叠式光接收传感器，其中，所述神经网络计算模型是基于通过将训练数据输入到预定的机器学习模型而生成的参数来设计的，在所述训练数据中，与所述像素阵列的输出相对应的输入信号与用于所述输入信号的标签相关联。
3.根据权利要求2所述的层叠式光接收传感器，其中，所述预定的机器学习模型是多层神经网络模型。
4.根据权利要求1所述的层叠式光接收传感器，其中，基于所述图像数据的数据是从所述像素阵列读出的图像数据、或具有通过对所述图像数据的像素进行抽取而数据尺寸减小的图像数据。
5.根据权利要求1所述的层叠式光接收传感器，其中，在所述第一基板和所述第二基板结合在一起的状态下，所述第一基板在与所述第二基板的所述第一边侧对应的第三边侧上包括连接布线，所述连接布线将所述像素阵列电连接到所述转换器。
6.根据权利要求5所述的层叠式光接收传感器，其中，所述连接布线是贯通所述第一基板的硅通孔。
7.根据权利要求5所述的层叠式光接收传感器，其中
所述第二基板在所述第一边侧上具有电连接到所述转换器的连接布线，并且
所述第一基板的连接布线和所述第二基板的连接布线通过金属接头直接接合。
8.根据权利要求1所述的层叠式光接收传感器，其中
所述第二基板还包括被配置为对所述图像数据执行信号处理的信号处理器，并且
所述信号处理器设置在所述第二基板中的所述转换器和所述处理单元之间。
9.根据权利要求1所述的层叠式光接收传感器，其中
所述第二基板还包括用于存储数据的存储器，并且
所述存储器设置在所述第二基板中与所述处理单元相邻的区域中。
10.根据权利要求9所述的层叠式光接收传感器，其中，所述存储器设置在从至少两个方向上与所述处理单元相邻的区域中。
11.根据权利要求9所述的层叠式光接收传感器，其中，所述存储器设置在从两个方向夹着所述处理单元的区域中。
12.根据权利要求9所述的层叠式光接收传感器，其中
所述处理单元在所述第二基板中被划分设置成两个区域，并且所述存储器设置在由被划分的所述处理单元夹着的区域中。
13.根据权利要求9所述的层叠式光接收传感器，其中，所述存储器存储所述处理单元用于执行处理的计算机程序。
14.根据权利要求1所述的层叠式光接收传感器，其中
所述第二基板还包括控制器，所述控制器用于控制从所述像素阵列读出所述像素信号，并且
所述控制器设置在所述第二基板中的所述转换器和所述处理单元之间。
15.根据权利要求1所述的层叠式光接收传感器，其中，所述第一基板中的结合到所述第二基板的表面尺寸等于所述第二基板中的结合到所述第一基板的表面尺寸。
16.根据权利要求1所述的层叠式光接收传感器，其中，所述第一基板中的结合到所述第二基板的表面尺寸小于所述第二基板中的结合到所述第一基板的表面尺寸。
17.根据权利要求1所述的层叠式光接收传感器，其中，所述第一基板和所述第二基板通过芯片上芯片技术、晶圆上芯片技术和晶圆上晶圆技术中的一种结合在一起。
18.根据权利要求5所述的层叠式光接收传感器，其中，所述第一基板包括靠近不同于所述第三边侧的至少一边侧的焊盘。
19.根据权利要求18所述的层叠式光接收传感器，其中
所述焊盘包括接收待供应给所述转换器的电源电压的第一电源焊盘、和接收待供应给所述处理单元的电源电压的第二电源焊盘，
所述第一电源焊盘设置在比所述第二电源焊盘更靠近所述转换器的位置，并且
所述第二电源焊盘设置在比所述第一电源焊盘更靠近所述处理单元的位置。
20.一种电子装置，包括：
层叠式光接收传感器，包括第一基板和结合到所述第一基板的第二基板，所述第一基板包括像素阵列，多个单位像素以二维矩阵布置在所述像素阵列中，所述第二基板包括转换器和处理单元，所述转换器被配置为将从所述像素阵列输出的模拟的像素信号转换为数字的图像数据，所述处理单元被配置为基于神经网络计算模型对基于所述图像数据的数据进行处理，所述转换器的至少一部分设置在所述第二基板的第一边侧上，所述处理单元设置在所述第一基板和所述第二基板的堆叠方向上不与所述像素阵列叠加的区域中的、所述第二基板的与所述第一边侧相对的第二边侧上；以及
处理器，被配置为对从所述层叠式光接收传感器输出的所述图像数据执行预定处理。
CN201980049297.1A 2018-07-31 2019-07-30 层叠式光接收传感器和电子装置 Active CN112470462B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-143973 2018-07-31
JP2018143973 2018-07-31
PCT/JP2019/029909 WO2020027161A1 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び電子機器

Publications (2)

Publication Number Publication Date
CN112470462A CN112470462A (zh) 2021-03-09
CN112470462B true CN112470462B (zh) 2024-06-07

Family

ID=69619053

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980049297.1A Active CN112470462B (zh) 2018-07-31 2019-07-30 层叠式光接收传感器和电子装置
CN201980049008.8A Active CN112470461B (zh) 2018-07-31 2019-07-31 层叠型受光传感器以及车载摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980049008.8A Active CN112470461B (zh) 2018-07-31 2019-07-31 层叠型受光传感器以及车载摄像装置

Country Status (6)

Country Link
US (2) US11735614B2 (zh)
EP (2) EP3833007B1 (zh)
JP (2) JP6689437B2 (zh)
KR (2) KR20210029205A (zh)
CN (2) CN112470462B (zh)
TW (1) TWI846718B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022044465A (ja) * 2020-09-07 2022-03-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119375A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119377A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP2022119374A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
JP2022119379A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119378A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器
US20240090759A1 (en) * 2021-02-12 2024-03-21 Sony Group Corporation Medical observation device, observation device, observation method, and adapter
WO2022239495A1 (ja) * 2021-05-14 2022-11-17 ソニーグループ株式会社 生体組織観察システム、生体組織観察装置及び生体組織観察方法
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US20240246241A1 (en) * 2021-06-03 2024-07-25 Sony Group Corporation Information processing apparatus, information processing system, and information processing method
WO2023276242A1 (ja) * 2021-06-30 2023-01-05 ソニーグループ株式会社 医療用観察システム、情報処理装置及び情報処理方法
US20230061830A1 (en) * 2021-09-02 2023-03-02 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
WO2023132002A1 (ja) * 2022-01-05 2023-07-13 キヤノン株式会社 光電変換装置、光電変換システム、移動体
WO2023181783A1 (ja) 2022-03-24 2023-09-28 ソニーグループ株式会社 センサ装置、センサ制御システム、制御方法
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233465A (zh) * 2014-04-15 2016-12-14 索尼公司 摄像元件和电子装置
JP2018007035A (ja) * 2016-07-01 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018079331A1 (ja) * 2016-10-31 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
JP5272773B2 (ja) * 2009-02-12 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9142262B2 (en) * 2009-10-23 2015-09-22 Rambus Inc. Stacked semiconductor device
JP5685898B2 (ja) 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
US9818202B2 (en) * 2011-12-13 2017-11-14 Sony Corporation Object tracking based on distance prediction
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
DE102013102819A1 (de) 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Kameramodul sowie Verfahren zur Herstellung
US20150296158A1 (en) 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
US9621769B2 (en) 2014-06-11 2017-04-11 Magna Electronics Inc. Camera module for vehicle vision system
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
JP6295983B2 (ja) 2015-03-05 2018-03-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックＩｐマネジメント株式会社 画像処理装置、および、電子ミラーシステム
JP6453158B2 (ja) * 2015-05-25 2019-01-16 株式会社オプトエレクトロニクス 撮像装置及び光学的情報読取装置
JP2017118445A (ja) * 2015-12-25 2017-06-29 日本電産エレシス株式会社 車載カメラ
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
JP2018051809A (ja) 2016-09-26 2018-04-05 セイコーエプソン株式会社 液体吐出装置、駆動回路および駆動方法
KR102707595B1 (ko) * 2016-12-01 2024-09-19 삼성전자주식회사 눈 검출 방법 및 장치
US10522061B2 (en) * 2017-03-22 2019-12-31 Solera Holdings, Inc. Vehicle smart mirror system with heads-up display
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233465A (zh) * 2014-04-15 2016-12-14 索尼公司 摄像元件和电子装置
JP2018007035A (ja) * 2016-07-01 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018079331A1 (ja) * 2016-10-31 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Also Published As

Publication number Publication date
JP2020025263A (ja) 2020-02-13
EP3833007A4 (en) 2021-08-25
CN112470461A (zh) 2021-03-09
TWI846718B (zh) 2024-07-01
EP3833006A4 (en) 2021-09-01
US11735614B2 (en) 2023-08-22
US20210266488A1 (en) 2021-08-26
JP2020025264A (ja) 2020-02-13
US20210168318A1 (en) 2021-06-03
TW202021105A (zh) 2020-06-01
CN112470461B (zh) 2024-09-06
KR20210029205A (ko) 2021-03-15
JP6705044B2 (ja) 2020-06-03
CN112470462A (zh) 2021-03-09
EP3833006A1 (en) 2021-06-09
EP3833007B1 (en) 2024-03-13
KR20210029202A (ko) 2021-03-15
EP3833007A1 (en) 2021-06-09
JP6689437B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
CN112470462B (zh) 层叠式光接收传感器和电子装置
TWI840429B (zh) 積層型受光感測器及電子機器
JP7414869B2 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
US20240080546A1 (en) Imaging apparatus and electronic equipment
US20240121536A1 (en) Light receiving device, electronic apparatus, and light receiving method
WO2020027074A1 (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant