CN107623826B - 像素单元、图像传感器、感测光信号的方法、操控像素单元的方法以及生成图像的方法 - Google Patents
像素单元、图像传感器、感测光信号的方法、操控像素单元的方法以及生成图像的方法 Download PDFInfo
- Publication number
- CN107623826B CN107623826B CN201710569830.XA CN201710569830A CN107623826B CN 107623826 B CN107623826 B CN 107623826B CN 201710569830 A CN201710569830 A CN 201710569830A CN 107623826 B CN107623826 B CN 107623826B
- Authority
- CN
- China
- Prior art keywords
- signal
- pixel cell
- multiplexing
- multiplexed
- multiplexed signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000010354 integration Effects 0.000 claims abstract description 15
- 230000003139 buffering effect Effects 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 38
- 239000004065 semiconductor Substances 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 abstract description 33
- 238000010586 diagram Methods 0.000 description 13
- 239000003990 capacitor Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Light Receiving Elements (AREA)
Abstract
本发明涉及一种用于图像传感器(100)的像素单元(102)。像素单元(102)包括用于将光信号(106)转换成处理信号(108)的光电二极管(104)、复用单元(110)以及存储装置(112)，所述复用单元构造用于在使用所述处理信号(108)的情况下至少产生第一复用信号(118)以及与所述第一复用信号(118)不同的第二复用信号(120)，所述存储装置至少具有用于缓存所述第一复用信号(118)的时间限界的积分值的第一存储单元(114)和用于缓存所述第二复用信号(120)的时间限界的积分值的第二存储单元(116)。因此，所述像素单元(102)实现了所述第一复用信号(118)与所述第二复用信号(120)的时间上重叠的采样。
Description
技术领域
本发明涉及一种设备和一种方法。本发明的主题也是一种计算机程序。
背景技术
图像传感器的采样通常借助相对于最终的图像率相对短的曝光时间来实现。在此，曝光时间作用为低通滤波器，所述低通滤波器可以在时域中理想化地视为一个矩形。
发明内容
在这种背景下，以在此所提出的方案提出一种用于图像传感器的像素单元、一种图像传感器、一种用于感测光信号的方法、一种用于操控像素单元的方法以及一种用于在使用像素单元的情况下生成图像的方法，另外还提出一种设备，所述设备使用所述方法中的至少一个，以及最后提出一种根据本发明的相应的计算机程序。通过在以下列出的措施，可以实现本发明的设备的有利的构型和改善方案。
提出一种用于图像传感器的像素单元，其中，所述像素单元具有以下特征：
用于将光信号转换成处理信号的必要时复杂的(komplex)光电二极管；
复用单元，所述复用单元构造用于在使用处理信号的情况下产生至少一个第一复用信号和与所述第一复用信号不同的第二复用信号；
存储装置，其具有用于缓存(zwischenspeichern)所述第一复用信号的时间限界的积分值的至少一个第一存储单元和用于缓存所述第二复用信号的时间限界的积分值的第二存储单元。
这实现了经低通滤波的复用输入端信号的时间上重叠的采样。由两个复用信号的在存储装置中所存储的时间限界的积分值可以重构图像信号，所述图像信号代表由像素单元所检测的图像。
有利地，可以在使用处理信号的情况下，同时产生多个(例如至少2个或至少3个)彼此不同的信号，并且这是根据一种实施方式对于每个连续的时刻或至少对于许多离散时刻来说的。
像素单元可以理解为用于感测光信号的单元。光电二极管可以理解为用于将光子流转换成电子流的必要时复杂的光敏元件。光信号例如可以理解为具有任意的(空间上和时间上的)(调制)变化率的时间连续的并且不恒定的电磁信号。处理信号可以理解为光电二极管的电输出信号。复用单元可以理解为信号复用器。复用单元例如可以构造为连续的分配器(Teiler)、离散的分配器即时间复用器。复用信号可以理解为由复用单元通过放大处理信号所产生的信号。第一存储单元和第二存储单元例如可以分别涉及电容器。根据一种实施方式，复用信号之间的不同由在产生信号中的至少一个期间所执行的信号放大或衰减(即乘法)造成。
在此所提出的方案基于以下认知，通过使用由复用器与至少两个存储单元结合的硬件结构可以如此匹配图像传感器的像素设计和像素读取结构，使得借助低通滤波器能够实现光信号的时间上正确的采样。
根据一种实施方式，复用单元可以构造用于以第一放大因数放大处理信号来产生第一复用信号，或附加地或替代地以第二放大因数放大处理信号来产生第二复用信号。第一放大因数和第二放大因数可以彼此不同。通过该实施方式，可以视产生第一复用信号和第二复用信号的时刻而定不同强度地给存储单元充电。
根据一种实施方式，复用单元可以构造用于同时产生第一复用信号和第二复用信号。如果产生其他复用信号，则同样可以同时产生所述其他复用信号。有利地，根据该实施方式，复用单元可以实施为连续的分配器。
根据另一实施方式，复用单元可以构造用于在第一时刻产生第一复用信号并且在第二时刻产生复用信号。这在处理信号为时间离散的信号时尤其适合。然而，所述方案也在时间连续的处理信号的情况下应用。根据该实施方式，复用单元可以实施为时间离散的分配器。
根据另一实施方式，光电二极管、复用单元和存储单元可以彼此串联连接。在此，第一存储单元和第二存储单元可以彼此并联连接。由此实现像素单元内的简单并且稳健的连接。
还有利的是，像素单元具有用于同时地、分开地读取第一存储单元和第二存储单元的读取接通部。读取接通部可以理解为与第一存储单元和第二存储单元导电连接的接通元件。由此能够实现像素单元的简单的电接通。
此外，光电二极管可以构造用于将连续的电流作为处理信号提供给复用单元。在此，复用单元可以构造用于在使用处理信号的情况下产生第一电流作为第一复用信号并且产生与第一电流不同的第二电流作为第二复用信号。由此可以将复用单元实现为连续的因子分配器(Divisor Teiler)。
替代地，复杂的光电二极管可以构造用于将具有时间表(Zeitschema)的时间离散信号作为处理信号提供给复用单元。根据一种实施方式，复用单元构造用于使用时间表来产生第一复用信号和第二复用信号。例如可以将处理信号的第一脉冲提供给第一存储单元并且将处理信号的接下来的第二脉冲提供给第二存储单元。在此，还可以通过复用单元分别合适地对脉冲进行放大、例如操纵或做乘法。
根据另一实施方式，像素单元例如可以具有至少一个连接到光电二极管与复用单元之间的用于缓存处理信号的附加存储单元。在此，复用单元可以构造用于在使用在附加存储单元中所缓存的处理信号的情况下产生第一复用信号，附加地或替代地产生第二复用信号。附加存储单元例如可以是中间电容器。由此也可以保证对弱的光信号的高效的处理。
根据一种实施方式，直接在“脉冲模式”的光电二极管之后总是以少量电子给表现为额外的电容的附加存储器充电并且然后在各个贮存器(Storage)中复用分配给缓存器的节点。这能够实现用于高放大的小电容。
在连续模式中，通过复用器的连续运行对其电容(当存在时)放电。电容即必要时也已经作用为低通滤波器、例如作为RC元件。
根据一种实施方式，在没有电容器的连续模式中，复用器不借助电压工作、而借助电流工作。
像素单元可以借助由第一半导体层与第二半导体层构成的层复合体实现。在此，光电二极管可以布置在第一半导体层中。视实施方式而定，复用单元或附加地或替代地存储装置可以布置在第二半导体层中。在层复合体的情况下，例如可以涉及所谓的堆叠式芯片复合体(Stacked-Die-Verbund)。通过该实施方式，可以成本有利地使像素单元微型化。
半导体层必要时可以实施为晶片或基于硅的功能单元。
根据另一实施方式，复用单元可以构造用于在使用处理信号的情况下同时或在至少一个另外的时刻产生与第一复用信号或附加地或替代地与第二复用信号不同的至少一个另外的复用信号。相应地，存储装置可以具有用于缓存另外的复用信号的时间限界的积分值的至少一个另外的存储单元。由此可以提高所缓存的复用信号的数量。
此外，在此所提出的方案提出一种具有根据以上实施方式中的一个的至少一个像素单元的图像传感器。
另外，在此所描述的方案提出一种用于感测光信号的方法，其中，所述方法包括以下步骤：
将所述光信号转换成处理信号；
在使用所述处理信号的情况下产生至少一个第一复用信号和与所述第一复用信号不同的第二复用信号；
在第一存储单元中缓存第一复用信号的时间限界的积分值并且在第二存储单元中缓存所述第二复用信号的时间限界的积分值。
例如可以在使用根据以上实施方式中的一个的像素单元的情况下执行所述方法。
在此提出的方案还提出一种用于操控根据以上实施方式中的一个的像素单元的方法，其中，所述方法包括以下步骤：
读取处理信号；
输出用于在使用处理信号的情况下控制复用单元的控制信号。
根据一种实施方式，给独立的“计时器”的复用器供给其控制信号、即具有任意权重函数G1(t)的第一复用信号和具有任意权重函数G2(t)的第二复用信号。可以全局完成权重信号的产生。
此外，在此所描述的方案提出一种用于在使用根据以上实施方式中的一个的像素单元的情况下生成图像的方法，其中，所述方法包括以下步骤：
通过至所述存储装置的接口读取所述第一复用信号和所述第二复用信号；
在使用所述第一复用信号和所述第二复用信号的情况下重构代表所述图像的图像信号。
所述方法例如可以在软件或硬件中或在软件和硬件的混合形式中、例如在控制设备中实现。尤其可以在下层的堆叠式芯片中进行所述实现。
有利地，可以为了在整体系统中不需要很多存储器，在堆叠式芯片的非传感器层中执行所述重构。
为此，所述设备可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个至传感器或执行器的用于从传感器读取传感器信号或用于将数据信号或控制信号输出给执行器接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器等，其中，存储单元可以是闪存、EPROM或磁存储单元。通信接口可以构造用于无线地和/或有线的读取或输出数据，其中，可以读取或输出有线数据的通信接口可以以电地或光学地从相应的数据传输线路中读取数据或将数据输出到相应的数据传输线路中。
设备可以在此理解为电设备，所述电设备处理传感器信号并且取决于此来输出控制信号和/或数据信号。设备可以具有接口，所述接口可以硬件方式和/或软件方式构造。在硬件方式构造的情况下，接口例如可以是所谓的系统ASIC的一部分，该部分包含设备的最不同的功能。但是也可以实现的是，接口是独立集成电路或至少部分地由离散构件构成。在软件构造的情况下，接口可以是软件模块，所述软件模块例如和其他软件模块一起存在于微控制器上。
有利的是具有程序代码的计算机程序产品或计算机程序，所述程序代码可以存储在机器可读的载体或存储介质上，例如半导体存储器、硬盘存储器或光学存储器，并且尤其当在计算机或设备上实施所述程序产品或程序时，可以使用所述代码用于执行、实现和/或操控根据前面所描述的实施方式中任一项所述的方法的步骤。
附图说明
本发明的实施例在附图中示出并且在接下来的说明中进一步阐述。附图示出：
图1根据一种实施例的图像传感器的光传感器的示意图；
图2根据一种实施例的图像传感器的示意图；
图3根据一种实施例的图像传感器的示意图；
图4根据一种实施例的设备的示意图；
图5用于示意性示出用于控制根据一种实施例的复用单元的三个控制信号的曲线图；
图6用于示意性示出低通特性的曲线图；
图7用于示意性示出用于以相应的重叠的低通滤波器来进行理想的时间上的采样的曝光方案的曲线图；
图8用于示意性示出对图像传感器的典型地在时间上进行采样的曲线图；
图9用于感测光信号的方法的实施例的流程图；
图10用于操控根据一种实施例的像素单元的方法的流程图；
图11用于在使用根据一种实施例的像素单元的情况下生成图像的方法的流程图。
在本发明的有利实施例的以下描述中，对于在不同附图中示出的并且起类似作用的元素使用相同的或类似的参考标记，其中，不再对这些元件作重复的描述。
具体实施方式
图1示出根据一种实施例的图像传感器100的光传感器的示意图。示出用于对图像传感器100进行时间上正确的采样的像素结构的原理性结构。图像传感器100包括具有用于将光信号106转换成处理信号108的光电二极管104的像素单元102、复用单元110以及由第一存储单元114和第二存储单元116构成的存储装置112。存储装置112连接到复用单元110的复用输出端。根据该实施例，光电二极管104、复用单元110和存储装置112彼此串联。复用单元110构造用于由处理信号108同时或在不同时刻产生第一复用信号118并且产生至少一个第二复用信号120。在同时产生情况下，复用单元110可以实施为连续的复用器。在不同时刻产生的情况下，复用单元110可以实施为时间离散的复用器。复用单元110构造用于通过复用输出端将第一复用信号118传导到第一存储单元114中，所述第一存储单元构造用于缓存第一复用信号118的时间限界的积分值。相应地，复用单元110构造用于通过复用输出端将第二复用信号120类似于第一复用信号118传导到第二存储单元116中并且在那里缓存时间限界的积分值。
根据图1，除了两个存储单元114、116之外，存储装置112还包括至少一个可选的另外的存储单元122用于至少缓存另一复用信号124，复用单元114在使用处理信号108的情况下产生所述另外的复用信号。至少三个存储单元114、116、122例如彼此并联连接并且分别与用于同时读取三个所缓存的复用信号118、120、124的读取接通部126可切换导电地(elektrisch schaltbar 
)连接。根据在图1中所示出的实施例，三个存储单元114、116、122构造为电容器C1、C2、C3。
图2示出根据一种实施例的图像传感器100的示意图。在图2中所示出的图像传感器100基本上相应于前面根据图1所描述的图像传感器，区别在于，在光电二极管104与复用单元110之间连接有可选的附加存储单元200，在此，附加电容器CS作为在光电二极管后面的缓存器。附加存储单元200构造用于缓存处理信号108，其中，复用单元110从附加存储单元200接收所缓存的处理信号108并且以前面根据图1所描述的方式来处理所述处理信号。
图3示出根据一种实施例的图像传感器100(例如前面根据图2所描述的那样的图像传感器)的示意图。示出像素结构在光子电子转换中的分配以及以堆叠式芯片技术(Stacked-Die-Technologie)的信号预处理。为此，像素单元102借助由第一半导体层302(也称为信号生成层)与第二半导体层302(也称为信号后处理层)构成的层复合体实现。第一半导体层300包括光电二极管100以及附加存储单元200。第二半导体层302包括复用单元110、存储装置112以及用于生成代表图像的图像信号306的设备304。例如通过读取接通部连接到三个存储单元114、116、122上的设备304构造用于在使用三个存储器内容(也称为存储器信号)的情况下重构时间上的图像信号306。
在此，如下信息适用于所有所描述的实施例：复用器信号118、120、124不是经低通滤波的。低通滤波在在此实施为电容器的存储装置114、116、122中才发生。然后，由在此称为电容器信号的存储器信号进行重构。
图4示出根据一种实施例的设备304(例如前面根据图3所描述的设备)的示意图。设备304包括用于读取三个复用信号118、120、124的读取单元410。重构单元420构造用于在使用来自存储装置114、116、122的三个存储信号的情况下重构图像信号306。
根据该实施例，读取单元410还构造用于读取处理信号108并且将该处理信号传递给输出单元430。输出单元430构造用于对处理信号108的接收作出响应地输出用于操控复用单元的控制信号432。
图5示出用于示意性示出用于控制根据一种实施例的复用单元的三个控制信号432、500、502的曲线图。三个控制信号例如可以由前面根据图3和4所描述的设备生成。每个时刻存在用于存储装置的每个存储节点C的信号权重。
图6示出用于示意性示出低通特性600的曲线图。示出具有基本上三角形的曲线变化过程的期望采样的低通特性。
图7示出用于示意性示出用于以相应的重叠的低通滤波器700、702、704、702、704、706进行理想的时间上的采样的曝光方案的曲线图。
图8示出用于示意性示出图像传感器的典型的时间上的采样的曲线图。示出代表时域中的低通滤波器的矩形信号800。
图9示出用于感测光信号的方法900的一种实施例的流程图。例如可以在使用前面根据图1至5所描述的像素单元的情况下执行所述方法900。在此，在第一步骤910中，将光信号转换为处理信号。在另一步骤920中，在使用处理信号的情况下，产生第一复用信号和与第一复用信号不同的第二复用信号。最后，在步骤930中，在第一存储单元中缓存第一复用信号的时间限界的积分值并且在第二存储单元中缓存第二复用信号的时间限界的积分值。
图10示出用于操控根据一种实施例的像素单元(例如前面根据图1至5所描述的那样的像素单元)的方法1000的流程图。在此，在第一步骤1010中，读取处理信号。在第二步骤1020中，在使用处理信号的情况下，输出用于控制像素单元的复用单元的控制信号。
图11示出用于在使用根据一种实施例的像素单元(例如前面根据图1至5所描述的像素单元)的情况下生成图像的方法1100的流程图。在此，在第一步骤1110中，通过至存储装置的接口(例如通过读取接通部)读取第一复用信号和第二复用信号。在第二步骤1120中，在使用两个复用信号的存储在存储装置中的时间限界的积分值的情况下，重构代表图像的图像信号。
以下根据图1至11再次以其他表达方式描述所提出的方案的各个实施例。
现代图像传感器通常根据以下原理工作。光学器件在平面传感器(也称为图像传感器或成像仪：Imager)上产生光图像。图像传感器在空间上和时间上对所述图像进行采样。通过图像率(Bildrate)、在一些设计当中也通过独立的光传感器采样率(Lichtsensor-Abtastrate)确定时间上的采样，。
在此，通常的摄像机构件满足以下功能。光学器件作用为空间上的低通滤波器。如今，光传感器由几百万的单个的光传感器构成，其中，每个光传感器表现为一个空间上的采样点。曝光时间作用为时间上的低通滤波器。
对于无混叠的(Aliasing-frei)采样，应该如此使低通滤波器匹配于采样频率，使得采样频率根据香农奈奎斯特采样定理至少是低通滤波器的极限频率的两倍。此外适用的是，信号总是应该在采样前通过低通滤波器。
如果不是这种情况，则采样的信号包含混叠假象(Aliasing-Artefakte)。空间上的混叠效应通常可以在具有高对比度的作为色边(Farbsaum)的边缘处、在通过消失和再出现的点状对象处以及在作为所谓的莫尔效应的具有均匀的、周期性的图案对象处看到。
在时间信号中，表现有通过如下效应造成的混叠效应：卷帘快门效应(Rolling-Shutter-Effekte)，其中，弯曲地成像移动的、直线的对象；马车轮效应(Wagon-Wheel-Effekte)，其中，车轮从一个确定的速度开始看起来像反着转；以及在接收脉冲光源、例如LED交通标志或车辆的尾灯时的问题。这种效应也出现在人的视觉中并且表明，也在此不可以完全防止时间上的混叠效应。
对于在机器视觉领域中的应用，光流是重要的辅助量。可以通过在时间上正确采样的信号明显地提高光流的质量。
当前的图像传感器的功能方式基于相对于最终的图像率的相对短的曝光时间。曝光时间作用为低通滤波器，所述低通滤波器可以理想地在时域中视为矩形。
在频域中，具有宽度texp的矩形低通滤波器表现为si函数。
si曲线的第一过零点(Nulldurchgang)在：
πftexp.＝π
并且同时表现为对于低通滤波器的极限频率的通常的近似。
如果通常的曝光时间texp≈500μs与通常的刷新率(Bildwiederholrate)或采样频率t帧≈1/30≈33ms进行比较，然后得出采样频率f采样和低通滤波器的极限频率fNyq.：
f采样＝30
但是，根据采样定理应该适用的是：
f极限≈fNyq.
图8示出当前通常的采样方案。因此，明显地违背了奈奎斯特定理。这只要在世界上不出现高频率、例如在缓慢移动的云或摄影的情况下，就不是问题。
在基于视频的驾驶员辅助领域，情景中的快速变化尤其在标准应用情况下是特别重要的，例如在计算行人肢体上的光流的情况下或在探测LED光如制动光或交通标志的情况下。因此，也应该在时间上正确地对光信号进行采样。
对于时间上正确的采样应该满足：
但是，由此得出：
2fNyq.≤f采样
这表明，对于正确的采样的曝光时间应该持续通常的帧的两倍的时间。附加地，对于更好的低通滤波器，还需要时间上匹配的信号建模。图6和7示出符合奈奎斯特定理的(Nyquist-konform)采样方案。
现在，实际上的帧率(Framerate)在符合奈奎斯特定理的情况下取决于低通滤波器的宽度。在通常的图像传感器的情况下，由于边界条件例如SNR或适于夜晚的设计，白天仅能够困难地实现长于1ms的积分时间。由此在时间上正确的采样中也提高了帧率。但是，可以通过连接在后面的图像处理，再次降低到更小的帧率，以便获得数据率。因为输出信号不包含混叠效应，所以具有降低的帧率的最终信号在正确的下采样中不包含混叠。
视低通设计而定，即应该对各个帧进行加权并且将其重叠地曝光。该问题在图像传感器的情况下在空间上的采样中已经是已知概念“标准采样”。在空间上光学器件的模糊确保，超过像素维度的信号被低通过滤出，然而迄今缺少对于时间上的维度的相应的应对方案(Gegenstück)。
相比之下，在此所描述的方案实现用于时间上正确的采样的时间上的低通滤波器的像素设计可行方案。
在像素设计的领域中，应该确保，未经过时间上量化的信号受到模拟的低通滤波。在此，光电二极管104作用为光子至电子转换器。光电二极管的输出信号(也称为处理信号108)现在应该通过电学时间上的低通滤波器传导。接下来描述相应的实现可行方案性。
通过时间上的采样的重叠，对于每个光电二极管单元104需要两个或更多个存储单元。存储单元例如作为电容器实现。第一帧中的积分还没有结束，而第二帧的积分已经开始。当第一帧结束时，第三帧的积分开始。因为第一帧也需要有限的读取时间，例如至少三个存储单元连接到复用单元110上。一般适用的是：如果低通滤波器比帧率宽，则相应于重叠需要更多的存储单元。
在充分地高开销地设计的后处理中，现在可以由三个存储单元114、116、122的信号在所期望的时刻正确地重构光信号306并且在进一步的低通滤波之后也以目标帧率输出。
另外，在此存在如下可行方案：计算并且输出信号在两个时刻之间的平均变化，也称为时间梯度图像(Zeit-Gradientenbild)。
也由图像的单次曝光计算出：信号的时间上的变化、也称为特征掩码(Feature-Maske)是多大。在此，例如通过阈值函数来进行经重构的图像点的标记。如果例如传感器元件的信号在采样周期中以大于阈值变化、例如大于25％，则以标记位(Marker-Bit)将涉及的图像区域标记为波动的。这可以对于人工光源的探测是很有帮助的。阈值是可调节的。
像素单元102具有以以下顺序的原理结构：光电二极管104、可选的附加存储单元200、复用单元110和存储电容114、116、122。功能性地，复用单元110确保时间上的低通性能。图5表明了可能的控制信号，以所述控制信号加载复用单元110，以便满足所述任务。复用单元110针对每个时刻设置相应于低通特性的信号权重。现在将该权重应用到光电二极管信号108或附加存储单元200的信号上。
技术上，将复用单元110例如实现为连续的因子(Divisor)。为此，将处理信号108实现为电流并且将其连续地提供给复用单元110。所述复用单元现在视时刻而定产生用于各个存储单元的不同强度的电流。复用单元110即是复杂电路，该复杂电路将时间上独立的放大因数应用到光电流上并且因此根据当前时刻不同强度地给存储单元充电。则存储单元在最后包含关于其采样时刻的时间上经低通滤波的信号。这对于整个功能是重要的。
所描述的连续的过程也可以实现为时间上离散的过程。为此，重复地在低通时间段期间读取光电二极管104，例如好几百次。呈所缓存的处理信号108形式的结果信号现在要么在势垒电容中要么在附加存储单元200中作为电子的累积数量存在。在复用单元110中，现在将这些电子相应于当前的权重提供给存储单元。
也可以将上面所描述的信号分配器转换到时域中。为此，再次在低通时间段中好几百次地读取光电二极管104。然而，现在相应于低通滤波器的当前权重匹配各个读取脉冲的持续时间。复用单元110将每个脉冲所生成的信号提供给三个存储节点114、116、122中的仅一个。这当在确定的曝光情况下仅能够收集少量电子时是有意义的。
在经典的半导体工艺中，电路在平面2D结构中并排实现。但是，现代半导体工艺可以在3D装置中上下叠置并且连接多个电路。这也称为堆叠式芯片技术(Stacked-Die-Technologie)。
对于时间上正确采样的情况来说，如上面所提及的复杂的硬件结构是必需的。这典型地不能在2D结构中成本高效地实现。然而，借助堆叠式芯片工艺，可以克服所述障碍。
为此，将用于光子至电子的转换的单元保留在上层300中，而将复用单元110和用于执行其他后处理步骤(例如用于在帧时刻(Framezeitpunkt)梯度构造或信号重构)的单元布置到深层302中。视实施例而定，也可以在另一制造技术中将第二层302制造为第一层300，例如以14nm或7nm，由此能够实现明显更复杂的标准信号处理步骤。图3示出像素单元102的这种结构的示意图。
如果一个实施例包括第一特征与第二特征之间的“和/或”连接，则这要如此解读：所述实施例根据一种实施方式既具有第一特征也具有第二特征并且根据另一实施方式要么仅具有第一特征要么仅具有第二特征。
Claims (14)
1.一种用于图像传感器(100)的像素单元(102)，其中，所述像素单元(102)具有以下特征：
用于将光信号(106)转换成处理信号(108)的光电二极管(104)；
复用单元(110)，所述复用单元构造用于在使用所述处理信号(108)的情况下产生至少一个第一复用信号(118)以及与所述第一复用信号(118)不同的第二复用信号(120)；
存储装置(112)，其具有用于缓存所述第一复用信号(118)的至少一个第一存储单元(114)和用于缓存所述第二复用信号(120)的时间限界的积分值的第二存储单元(116)，
其中，所述复用单元(110)构造用于以第一放大因数放大所述处理信号(108)来产生所述第一复用信号(118)并且以第二放大因数放大所述处理信号(108)来产生所述第二复用信号(120)，其中，所述第一放大因数和所述第二放大因数彼此不同。
2.根据权利要求1所述的像素单元(102)，其中，所述复用单元(110)构造用于同时产生所述第一复用信号(118)和所述第二复用信号(120)。
3.根据权利要求1所述的像素单元(102)，其中，所述复用单元(110)构造用于在第一时刻产生所述第一复用信号(118)并且在第二时刻产生所述第二复用信号(120)。
4.根据上述权利要求中任一项所述的像素单元(102)，其中，所述光电二极管(104)、所述复用单元(110)和所述存储装置(112)彼此串联连接，其中，所述第一存储单元(114)和所述第二存储单元(116)彼此并联连接。
5.根据上述权利要求中任一项所述的像素单元(102)，其具有用于同时读取所述第一存储单元(114)和所述第二存储单元(116)的读取接通部(126)。
6.根据上述权利要求中任一项所述的像素单元(102)，其中，所述光电二极管(104)构造用于将连续的电流作为所述处理信号(108)提供给所述复用单元(110)。
7.根据权利要求1至5中任一项所述的像素单元(102)，其中，所述光电二极管(104)构造用于将具有时间表的时间离散的信号作为所述处理信号(108)提供给复用单元(110)，并且所述复用单元(110)构造用于使用所述时间表来产生所述第一复用信号(118)和所述第二复用信号(120)。
8.根据上述权利要求中任一项所述的像素单元(102)，所述像素单元具有至少一个在所述光电二极管(104)与所述复用单元(110)之间连接的用于缓存所述处理信号(108)的附加存储单元(200)，其中，所述复用单元(110)构造用于在使用在所述附加存储单元(200)中缓存的处理信号(108)的情况下产生所述第一复用信号(118)和/或所述第二复用信号(120)。
9.根据上述权利要求中任一项所述的像素单元(102)，所述像素单元具有由第一半导体层(300)和第二半导体层(302)构成的层复合体，其中，所述光电二极管(104)布置在所述第一半导体层(300)中并且所述复用单元(110)和/或所述存储装置(112)布置在所述第二半导体层(302)中。
10.根据上述权利要求中任一项所述的像素单元(102)，其中，所述复用单元(110)构造用于在使用所述处理信号(108)的情况下同时或在至少一个另外的时刻产生与所述第一复用信号(118)和/或所述第二复用信号(120)不同的至少一个另外的复用信号(124)，其中，所述存储装置(112)具有用于缓存所述另外的复用信号(124)的时间限界的积分值的至少一个另外的存储单元(122)。
11.一种图像传感器(100)，所述图像传感器具有根据上述权利要求中任一项所述的像素单元(102)。
12.一种用于感测光信号(106)的方法(900)，其中，所述方法(900)包括以下步骤：
将所述光信号(106)转换(910)成处理信号(108)；
在使用所述处理信号(108)的情况下产生至少一个第一复用信号(118)和与所述第一复用信号(118)不同的第二复用信号(120)；
在第一存储单元(114)中缓存(930)所述第一复用信号(118)的时间限界的积分值并且在第二存储单元(116)中缓存所述第二复用信号(120)的时间限界的积分值，
其中，以第一放大因数放大所述处理信号(108)来产生所述第一复用信号(118)并且以第二放大因数放大所述处理信号(108)来产生所述第二复用信号(120)，其中，所述第一放大因数和所述第二放大因数彼此不同。
13.一种用于在使用根据权利要求1至10中任一项所述的像素单元(102)的情况下生成图像的方法(1100)，其中，所述方法(1100)包括以下步骤：
通过至所述存储装置(112)的接口(126)读取所述第一复用信号(118)和所述第二复用信号(120)；
在使用所述第一复用信号(118)和所述第二复用信号(120)的情况下重构(1120)代表所述图像的图像信号(306)。
14.一种具有单元(410，420，430)的设备(304)，所述单元构造用于实施和/或操控根据权利要求12所述的方法(1000)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016212765.9A DE102016212765A1 (de) | 2016-07-13 | 2016-07-13 | Pixeleinheit für einen Bildsensor, Bildsensor, Verfahren zum Sensieren eines Lichtsignals, Verfahren zum Ansteuern einer Pixeleinheit und Verfahren zum Generieren eines Bildes unter Verwendung einer Pixeleinheit |
| DE102016212765.9 | 2016-07-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107623826A CN107623826A (zh) | 2018-01-23 |
| CN107623826B true CN107623826B (zh) | 2022-03-08 |
Family
ID=59676679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710569830.XA Active CN107623826B (zh) | 2016-07-13 | 2017-07-13 | 像素单元、图像传感器、感测光信号的方法、操控像素单元的方法以及生成图像的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10321085B2 (zh) |
| JP (1) | JP6948172B2 (zh) |
| CN (1) | CN107623826B (zh) |
| DE (1) | DE102016212765A1 (zh) |
| GB (1) | GB2553648A (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214949A (zh) * | 2019-06-25 | 2021-01-12 | 中国航发商用航空发动机有限责任公司 | 一种用于滑油金属屑传感器的信号模拟电路及信号模拟装置 |
| CN111901533B (zh) * | 2020-06-30 | 2022-02-01 | 北京空间机电研究所 | 一种图像数据通道分时复用的采集方法和系统 |
| DE102020210957A1 (de) * | 2020-08-31 | 2022-03-03 | Siemens Healthcare Gmbh | Auswerteeinheit für einen Röntgendetektor, Röntgendetektor, medizinische Bildgebungsvorrichtung und Verfahren zum Betreiben eines Röntgendetektors |
| CN115278100B (zh) * | 2022-07-19 | 2023-10-17 | 杭州海康微影传感科技有限公司 | 一种像素单元电路、信号采集装置和信号采集方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491323A (zh) * | 2013-09-02 | 2014-01-01 | 上海集成电路研发中心有限公司 | 一种cmos图像传感器的像素单元 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE59708194D1 (de) | 1996-10-31 | 2002-10-17 | Markus Boehm | Farbbildsensor für kurzzeitbelichtung |
| US6078037A (en) | 1998-04-16 | 2000-06-20 | Intel Corporation | Active pixel CMOS sensor with multiple storage capacitors |
| US6803958B1 (en) * | 1999-03-09 | 2004-10-12 | Micron Technology, Inc. | Apparatus and method for eliminating artifacts in active pixel sensor (APS) imagers |
| US6121843A (en) * | 1999-06-04 | 2000-09-19 | Raytheon Company | Charge mode capacitor transimpedance amplifier |
| US6730897B2 (en) * | 2000-12-29 | 2004-05-04 | Eastman Kodak Company | Linearity and dynamic range for complementary metal oxide semiconductor active pixel image sensors |
| US7286174B1 (en) | 2001-06-05 | 2007-10-23 | Dalsa, Inc. | Dual storage node pixel for CMOS sensor |
| US6803555B1 (en) | 2001-09-07 | 2004-10-12 | Indigo Systems Corporation | Two-stage auto-zero amplifier circuit for electro-optical arrays |
| US7586074B2 (en) | 2003-02-17 | 2009-09-08 | Raytheon Company | Multi-mode high capacity dual integration direct injection detector input circuit |
| ATE306745T1 (de) * | 2003-03-10 | 2005-10-15 | Suisse Electronique Microtech | Elektrische schaltung, verfahren und vorrichtung zur demodulation eines intensitätsmodulierten signals |
| JP5177981B2 (ja) | 2006-09-06 | 2013-04-10 | 浜松ホトニクス株式会社 | 光検出装置 |
| KR101126322B1 (ko) * | 2007-09-05 | 2012-07-12 | 가부시키가이샤 시마쓰세사쿠쇼 | 고체촬상소자 |
| US7830425B2 (en) * | 2008-07-11 | 2010-11-09 | Cmos Sensor, Inc. | Areal active pixel image sensor with programmable row-specific gain for hyper-spectral imaging |
| WO2011155442A1 (ja) | 2010-06-11 | 2011-12-15 | 株式会社ブルックマンテクノロジ | 増幅型固体撮像装置 |
| US8405763B2 (en) * | 2010-12-23 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Video camera for reconstructing varying spatio-temporal resolution videos |
| JP5784426B2 (ja) * | 2011-09-06 | 2015-09-24 | オリンパス株式会社 | 撮像装置 |
| US9118883B2 (en) | 2011-11-28 | 2015-08-25 | Semiconductor Components Industries, Llc | High dynamic range imaging with multi-storage pixels |
| KR20130062188A (ko) | 2011-12-02 | 2013-06-12 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 처리 장치 |
| JP6149572B2 (ja) * | 2013-07-25 | 2017-06-21 | ソニー株式会社 | イメージセンサ、制御方法、及び、電子機器 |
| US9500752B2 (en) | 2013-09-26 | 2016-11-22 | Varian Medical Systems, Inc. | Pixel architecture for imaging devices |
| JP6334908B2 (ja) * | 2013-12-09 | 2018-05-30 | キヤノン株式会社 | 撮像装置及びその制御方法、及び撮像素子 |
| JP6480114B2 (ja) * | 2014-07-09 | 2019-03-06 | ルネサスエレクトロニクス株式会社 | 固体撮像装置、画像データ伝送方法、およびカメラシステム |
-
2016
- 2016-07-13 DE DE102016212765.9A patent/DE102016212765A1/de active Pending
-
2017
- 2017-06-12 US US15/619,879 patent/US10321085B2/en active Active
- 2017-06-28 JP JP2017125940A patent/JP6948172B2/ja active Active
- 2017-07-10 GB GB1711061.0A patent/GB2553648A/en not_active Withdrawn
- 2017-07-13 CN CN201710569830.XA patent/CN107623826B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491323A (zh) * | 2013-09-02 | 2014-01-01 | 上海集成电路研发中心有限公司 | 一种cmos图像传感器的像素单元 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107623826A (zh) | 2018-01-23 |
| US10321085B2 (en) | 2019-06-11 |
| DE102016212765A1 (de) | 2018-01-18 |
| JP6948172B2 (ja) | 2021-10-13 |
| GB201711061D0 (en) | 2017-08-23 |
| JP2018050280A (ja) | 2018-03-29 |
| GB2553648A (en) | 2018-03-14 |
| US20180020177A1 (en) | 2018-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107623826B (zh) | 像素单元、图像传感器、感测光信号的方法、操控像素单元的方法以及生成图像的方法 | |
| US6518558B1 (en) | Color image sensor for short-time exposure | |
| US7456879B2 (en) | Digital correlated double sampling using dual analog path | |
| JPH11506579A (ja) | マルチプレクスされてオーバサンプリングされるアナログ−デジタル変調のための方法および装置 | |
| JPH07508150A (ja) | マルチプレクスされてオーバサンプリングされるアナログ−デジタル変調のための方法および装置 | |
| US20140368703A1 (en) | Digital domain accumulative cmos-tdi image sensor with low power consumption | |
| JP2009543454A (ja) | 高ダイナミック・レンジ読み出し用のアナログおよびデジタル混成ピクセル | |
| US10038869B2 (en) | Optical electronic device including enhanced global shutter pixel array and related methods | |
| JP7068796B2 (ja) | 固体撮像装置、駆動方法、および電子機器 | |
| CN103139500A (zh) | 用于图像传感器基于sigma-delta ADC的读出电路及工作时序 | |
| Zhang et al. | A closed-loop, all-electronic pixel-wise adaptive imaging system for high dynamic range videography | |
| CN111466030B (zh) | 强度标准化的图像传感器 | |
| CN109479099B (zh) | 光传感器、用于生成图像的方法以及机器可读的存储介质 | |
| JP6671715B2 (ja) | 受光デバイスおよび受光デバイスの信号読み出し方法 | |
| EP4226606A1 (en) | Digital pixel sensor having reduced quantization operation | |
| KR20010041292A (ko) | 아날로그-디지털 변환 회로 | |
| KR102658560B1 (ko) | 픽셀 판독 회로 및 이미징 방법 | |
| JP2022505571A (ja) | 超高ダイナミックレンジｃｍｏｓセンサ | |
| US20230051657A1 (en) | Self calibrating barrier modulation pixel | |
| JP3844807B2 (ja) | 固体撮像素子 | |
| CN112449123A (zh) | Ad转换电路、光电转换装置、光电转换系统及移动体 | |
| US20220141405A1 (en) | Digital pixel sensor with adaptive noise reduction | |
| CN117957855A (zh) | 固体摄像元件 | |
| CN109040526B (zh) | 基于片内多帧合成的led闪烁消除的系统及方法 | |
| Newman et al. | A closed-loop all-electronic pixel-wise adaptive imaging system for high dynamic range video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |