CN105025278B - 具有缩放滤波器阵列和像素内装仓的图像传感器 - Google Patents
具有缩放滤波器阵列和像素内装仓的图像传感器 Download PDFInfo
- Publication number
- CN105025278B CN105025278B CN201410355660.1A CN201410355660A CN105025278B CN 105025278 B CN105025278 B CN 105025278B CN 201410355660 A CN201410355660 A CN 201410355660A CN 105025278 B CN105025278 B CN 105025278B
- Authority
- CN
- China
- Prior art keywords
- pixel
- wave filter
- photoresponse
- scaling
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000007667 floating Methods 0.000 claims abstract description 20
- 238000009792 diffusion process Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 32
- 206010020751 Hypersensitivity Diseases 0.000 claims description 15
- 208000026935 allergic disease Diseases 0.000 claims description 15
- 230000009610 hypersensitivity Effects 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 206010034960 Photophobia Diseases 0.000 description 5
- 208000013469 light sensitivity Diseases 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000983670 Ficus natalensis subsp. leprieurii Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 208000024754 bloodshot eye Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请案涉及具有缩放滤波器阵列和像素内装仓的图像传感器。设备的实施例包含包括分组成具有两个或两个以上个别像素的像素内核的多个个别像素的像素阵列，其中每一像素内核包含电耦合到所述内核中的所有个别像素的浮动扩散。彩色滤波器阵列CFA定位在所述像素阵列上且光学地耦合到所述像素阵列，所述CFA包括多个平铺的最小重复单元，每一最小重复单元包含多个缩放滤波器，每一缩放滤波器具有选自两个或两个以上不同光响应的光响应。每一像素内核内的个别像素光学耦合到缩放滤波器。耦合到所述像素阵列的电路和逻辑使所述设备以第一模式操作，其中将来自个别像素子集的信号被个别地转移到其浮动扩散并读取，从而产生高分辨率、低敏感性子图像，以及以第二模式操作，其中将来自每个像素内核中的个别像素的信号装仓到所述内核的浮动扩散中并读取，从而产生高分辨率、低敏感性图像。
Description
技术领域
所揭示实施例大体上涉及图像传感器，且确切地说(但非排他地)涉及包含缩放滤波器阵列和像素内装仓的图像传感器。
背景技术
模拟或数字装仓(其中几个像素值被组合成一个)是用于捕获微光场景的技术。在具有拜耳(Bayer)模式彩色滤波器的图像传感器中，装仓可由于混叠而引起色彩假影。同样，因为在现有图像传感器中同样色彩的像素不彼此相邻放置，所以难以进行像素内装仓(浮动扩散(FD)节点上的电荷共享)。
发明内容
一个实施例提供一种设备，所述设备包括：像素阵列，其包含分组成具有两个或两个以上个别像素的像素内核的多个个别像素，其中每一像素内核包含电耦合到所述内核中的所有个别像素的浮动扩散；彩色滤波器阵列，其定位在所述像素阵列上且光学耦合到所述像素阵列，所述彩色滤波器阵列包括多个平铺的最小重复单元，每一最小重复单元包含多个缩放滤波器，每一缩放滤波器具有选自两个或两个以上不同光响应的光响应，其中每一像素内核内的所述个别像素光学耦合到对应缩放滤波器；以及电路和逻辑，其耦合到所述像素阵列以使所述设备以多个图像捕获模式操作，包含：第一模式，其中将来自所述像素阵列内的像素子集内的个别像素的信号个别地转移到其浮动扩散并读取，从而产生高分辨率、低敏感性子图像，以及第二模式，其中将来自每个像素内核中的所有个别像素的信号装仓到所述内核的所述浮动扩散中并读取，从而产生低分辨率、高敏感性图像。
另一实施例提供一种方法，所述方法包括：在图像传感器中，其包含：像素阵列，其包含分组成具有两个或两个以上个别像素的像素内核的多个个别像素，其中每一像素内核包含电耦合到所述内核中的所有个别像素的浮动扩散，以及彩色滤波器阵列，其定位在所述像素阵列上且光学耦合到所述像素阵列，所述彩色滤波器阵列包括多个平铺的 最小重复单元，每一最小重复单元包含多个缩放滤波器，每一缩放滤波器具有选自两个或两个以上光响应的光响应，其中每一像素内核内的所述个别像素光学耦合到对应缩放滤波器，编程电路和逻辑，其耦合到所述像素阵列以使所述图像传感器在操作时包含多个图像捕获模式操作，包含：第一模式，其中将来自所述像素阵列的子集内的个别像素的信号个别地转移到其浮动扩散并读取，从而产生高分辨率、低敏感性子图像，以及第二模式，其中将来自每个像素内核中的所有个别像素的信号装仓到所述内核的所述浮动扩散中并读取，从而产生低分辨率、高敏感性图像。
附图说明
参考以下图式来描述非限制性和非详尽的实施例，其中除非以其它方式指定，否则遍及各图中相同的参考标号指代相同的部分。
图1是包含彩色滤波器阵列的图像传感器的实施例的示意图。
图2是具有耦合的彩色滤波器阵列的像素阵列的实施例的平面图。
图3是具有耦合的彩色滤波器阵列的像素阵列的另一实施例的平面图。
图4A-4D是像素内核(在右边)的实施例的示意图和对应的缩放滤波器(在左边)的平面图。
图5A-5C是包含缩放滤波器的最小重复单元的实施例的平面图。
图6是说明图像传感器第一操作模式的实施例的流程图。
图7是图像传感器第二操作模式的实施例的流程图。
图8A-8C是可用于图像传感器第二操作模式的实施例中的像素子集的实施例的平面图。
具体实施方式
描述了包含缩放滤波器阵列和像素内装仓的用于图像传感器的设备、系统和方法的实施例。描述了具体细节以提供实施例的透彻理解，但是相关领域的技术人员将认识到所述实施例可在没有所述细节中的一或多者的情况下实践或用其它方法、组件、材料等来实践。在一些例子中，众所周知的结构、材料或操作未被详细展示或描述，但仍然被包括在所述发明的范围内。
遍及所述说明书参考“一个实施例”或“一实施例”意思是所述的特征、结构或特性可包含于至少一种所述实施例中，因此“在一个实施例中”或“在一实施例中”的出现未必都指同一实施例。此外，特定的特征、结构或特性可以任何合适的方式组合于一 个或多个实施例中。
一些机器视觉应用程序(例如汽车的应用程序)需要增加像素分辨率以辨识在更远距离处的物体(例如交通标志)。另一约束是光学格式必须保持不变。因此像素尺寸必须被减小，其不幸地导致由较小像素区域引起的较低光敏性、较低量子效率和较高串扰。所揭示实施例试图通过使用较大的彩色滤波器于每种颜色覆盖一个以上像素且通过使用浮动扩散(FD)节点上的电荷域装仓来使光敏性最大化。每一个别彩色滤波器的区域经缩放以实质上与共享像素的群集或内核相匹配。所说明的共享像素架构能够实现共同浮动扩散(FD)节点上的电荷共享。经缩放彩色滤波器阵列(CFA)模式和共享像素的此类组合使信噪比最大化。所揭示实施例适于下一代汽车成像器，其中增加的分辨率(较小像素)是一种需要。这将满足客户的预期，当在装仓模式中操作时相较于当代大像素传感器来说，光敏性应相等或更好。
图1说明互补金属氧化物半导体(CMOS)图像传感器100的实施例，其包含彩色像素阵列105、耦合到所述像素阵列的读出电路170、耦合到读出电路的功能逻辑115和耦合到像素阵列的控制电路120。像素阵列105是个别成像传感器的二维(“2D”)阵列或具有X像素列和Y像素行的像素(例如，像素P1、P2…、Pn)。每一像素被布置成行(例如，行R1到Ry)和列(例如，列C1到Cx)以获取人、地或物的图像数据，所述图像数据接着可用于呈现人、地或物的2D图像。可将像素阵列105实施为前照式(FSI)或背照式(BSI)像素阵列，其包含下文讨论的像素内核配置和缩放滤波器配置中的任一者。
在像素阵列105中，可使用耦合到像素阵列的彩色滤波器阵列(“CFA”)将色彩指派到每一像素。CFA通过将单独原色滤波器放置到像素上来指派所述原色到每一像素。因此，例如通常将像素称为“清晰像素”(如果其没有滤波器或耦合到清晰(也就是说无色)滤波器)、称为“蓝色像素”(如果其耦合到蓝色滤波器)、称为“绿色像素”(如果其耦合到绿色滤波器)，或称为“红色像素”(如果其耦合到红色滤波器)。当光子通过某一原色的滤波器到达像素时，只有落在所述原色的波长范围之内的波长通过。所有其它波长被吸收。在所说明实施例中，彩色像素阵列105除了红色(R)、绿色(G)和蓝色(B)像素之外还包含清晰(也就是说无色)像素。
在像素阵列105中的每一像素已获取其图像数据或图像电荷之后，图像数据由读出电路170读出并转移到功能逻辑115以供存储、额外处理等。读出电路170可包含放大电路、模拟/数字(“ADC”)转换电路或其它电路。功能逻辑115可简单地存储图像数据，和/或通过应用后图像效应(例如裁剪、旋转、移除红眼、调整亮度，调整对比度或其它)来操纵图像数据。功能逻辑115还可在一个实施例中用于处理图像数据以校正(也就是说 减少或移除)固定模式噪声。控制电路120耦合到像素阵列105以控制彩色像素阵列105的操作特性。举例来说，控制电路120可产生快门信号以用于控制图像获取。
图2说明具有耦合的彩色滤波器阵列(CFA)202的像素阵列200的实施例。CFA 202包含多个个别滤波器，且每一个别滤波器具有特定光响应并光学耦合到像素阵列中对应个别像素。每一像素具有特定的光响应，其对于电磁频谱的某些部分具有高敏感性而同时对于所述频谱中的其它部分具有低敏感性。术语彩色像素将指具有色彩光响应的像素。
经选择以用于CFA中的色彩光响应组通常具有三种色彩(如在拜耳CFA中所展示)，但其还可包含四种或四种以上色彩。如在本文中使用，清晰或全色光响应指具有比选定光响应组中表现的那些频谱敏感性更宽的频谱敏感性的光响应。全色光响应可具有横跨整个可见频谱的高敏感性。术语全色像素指具有全色光响应的像素。尽管全色像素通常具有比色彩光响应组更宽的频谱敏感性，但每一全色像素可具有相关联滤波器。此类滤波器是中性密度滤波器或无色滤波器。
CFA 202中的个别滤波器以通过将多个最小重复单元(MRU)(例如MRU 204)平铺在一起而形成的模式排列。最小重复单元是使得没有其它重复单元具有更少个别滤波器的重复单元。给定的彩色滤波器阵列可包含几个不同的重复单元，但如果阵列中存在包含更少个别滤波器的另一重复单元，那么重复单元不是最小重复单元。
图3说明耦合到彩色滤波器阵列(CFA)302的图像传感器300的实施例。CFA 302包含缩放滤波器306。缩放滤波器是单个光响应的连续单个滤波器或单个光响应的滤波器群，其可光学耦合到连续个别像素的M×N块。缩放滤波器306是四像素缩放滤波器的实例，因其可光学耦合到个别像素的2×2块。
所说明实施例是绿色缩放滤波器，但当然缩放滤波器的其它实施例可以是绿色以外的颜色。正如在CFA 302中，CFA 302包含多个平铺的最小重复单元304。但在CFA 302中，最小重复单元304与MRU 204的不同之处在于：MRU 304是由缩放滤波器306而不是个别滤波器构成。此外MRU 304是具有四个缩放滤波器的2×2 MRU。在所说明实施例中，MRU 304包含具有三个不同光响应(以众所周知的拜耳模式排列的红色(R)、绿色(G)和蓝色(B))的缩放滤波器，但MRU 304的其它实施例可包含具有额外或不同的光响应(除R、G和B之外或代替R、G和B)的缩放滤波器。举例来说，其它实施例可包含蓝绿色(C)、品红色(M)和黄色滤波器(Y)、清晰(也就是说全色或无色)滤波器、红外线滤波器、紫外线滤波器、x射线滤波器等。MRU的其它实施例可包含比针对MRU 304所说明的更大或更小数目的缩放滤波器，且无需是如所展示的正方形而可代替具有不同 形状(例如长方形)。
图4A-4D说明像素内核和对应缩放滤波器的实施例；在每一图中，像素内核的示意图在右边且对应缩放滤波器的示意图在左边。像素内核是共享共同组件的两个或两个以上个别像素的M×N群。在图4A-4D的实施例中，像素内核共享共同的浮动扩散节点(FD)。每一内核中的所有个别像素经由转移晶体管发射器(TX)耦合到FD，且每一FD额外地耦合到可用于从FD读取信号的源极跟随器晶体管SF。通过选择性地启动或停止转移晶体管TX，在集成周期期间(在此期间像素暴露于可转移到FD的光)电荷累积到个别像素中，且来自FD的电荷可经源极跟随器晶体管SF读出。图4A-4D中所展示的实施例的主要差异在于像素内核的大小和形状：图4A-4B说明呈正方形的M×N缩放滤波器，意味着对于这些滤波器M＝N。图4C-4D说明M≠N的缩放像素内核和缩放滤波器的实施例，意味着这些滤波器不是正方形，而是长方形。在图4C的缩放滤波器中，M小于N，但在图4D中M大于N。
图4A-4D的像素内核可取决于像素内核定位于其中的图像传感器的操作模式而不同地操作。在一种模式中，来自每一个别像素的电荷可被一次一个地转移到FD并且接着被SF晶体管一次一个地读取，使得像素被个别地读取且所得图像是合并来自阵列中每个像素的信息的全分辨率图像。在另一模式中，所有转移晶体管TX可被同时或有序地启动，直到来自内核中所有个别像素的电荷已累积在FD中，因此来自整个像素内核的信号被装仓到FD中。接着使用SF晶体管来读出FD，其导致具有较高敏感性但较低分辨率的图像。在另一模式中，装仓可在少于整个像素的级别发生。举例来说，在图4A中，来自像素G11和G12的电荷可转移到FD，接着被读取，有效地将仅这两个像素限制在内核内。接下来，来自像素G21和G22的电荷可被转移到FD，接着被读取，在此从所述像素内核装仓仅两个像素。此导致具有介于两个先前模式之间的分辨率和敏感性的图像。在其它实施例中，在内核内装仓的像素的其它组合也是可能的。
图5A-5C说明使用具有不同光响应组合的缩放滤波器的最小重复单元(MRU)的实施例。所有所说明的MRU实施例是正方形，但使用所说明的光响应组合的MRU的其它实施例无需是正方形。图5A说明具有四个缩放滤波器的实施例，每一缩放滤波器是四像素(2×2)滤波器。在图5A的MRU中，缩放滤波器以拜耳模式定位，其中缩放滤波器具有红色、绿色和蓝色光响应。当然其它实施例可包含或多或少的缩放滤波器，且缩放滤波器可具有不同的大小。
图5B说明具有四个缩放滤波器的MRU的另一实施例，每一缩放滤波器是四像素(2×2)缩放滤波器。在所说明的实施例中，MRU中的缩放滤波器包含三种不同的色彩响 应：清晰或全色(也就是说无色)、红色和绿色。清晰缩放滤波器沿着MRU的主对角线(从左上到右下)定位，而绿色和红色缩放滤波器沿着MRU的次对角线(从左下到右上)定位。
图5C说明具有四个缩放滤波器的MRU的另一实施例，每一缩放滤波器是四像素(2×2)缩放滤波器。在所说明的实施例中，MRU中的缩放滤波器具有四种不同的光响应：清晰或全色(也就是说中性或无色)、红色、蓝色和绿色。
图6是使用任何前述像素内核和CFA来操作图像传感器的第一模式的实施例的流程图。第一模式是高分辨率、低敏感性模式。过程在方框602开始，其中将图像传感器设置为其高分辨率、低敏感性模式且发生任何必需的初始化。在方框604，使用像素阵列中的所有个别像素来捕获图像。
在方框606，过程确定图像中是否存在需要高分辨率的特征或决定此类确定是否已由第二模式进行，例如在方框712(见图7)。如果在方框606没有图像特征已被识别为需要高分辨率子图像，那么过程停在方框608。但如果在方框606有图像特征被识别为确实需要高分辨率子图像，那么过程从方框606继续到方框610。
在方框610，过程读取包含需要高分辨率子图像的感兴趣特征的像素子集。在不同的实施例中，如图8A-8C所示，被读出以形成子图像的像素子集可具有不同形状。举例来说，在图像8A中，像素子集可以是在像素阵列的整个第一维上但在小于像素阵列的整个第二维上延伸的像素条带。在图像8B中，像素子集可以是在像素阵列的整个第二维上但小于整个第一维上延伸的像素条带。在图像8C中，像素子集可以是延伸小于像素阵列的第一维和第二维两者的像素框。读取适当的像素子集后，可在方框612处理由像素子集表示的子图像。
在于方框612处理子图像后，处理继续到方框614，方框614如其虚线轮廓所指示而为可选的。在于方框612处处理之后，在方框614可检查子图像以观察是否需要较多光敏性。如果在方框614存在需要较多光敏性的确定，那么过程可通过继续到图7中的方框702而调用第二模式。如果在方框614不需要较多光敏性，那么过程继续到方框616，其中确定是否还有图像留待被捕获。如果在方框616还有图像被捕获，那么过程回到方框604。如果在方框614没有图像被捕获，那么过程在方框618结束。
图7说明使用任何前述像素内核和CFA来操作图像传感器的第二模式的实施例。第二模式是低分辨率/高敏感性的模式。在方框702，将图像传感器设置成第一模式且进行任何初始化。在方框704，像素阵列中的所有个别像素在集成周期期间暴露于光，使得 每一者在集成周期结束时具有累积的电荷且因此像素信号。
在方框706，将每一像素内核内的个别像素装仓到内核的浮动扩散(FD)中；如上所述，可将每一内核中所有或少于所有的个别像素装仓到内核的浮动扩散中。在方框708，从每一内核FD读取信号，且在方框710处理从所有内核FD读取的图像。在方框712，其如其虚线轮廓所指示而为可选的，在方框710处的处理后，可检查图像以观察其是否含有在其上放大的特征，也就是说可能需要获得高分辨率子图像的特征。如果在方框712图像中存在需要较高分辨率子图像的特征，那么过程可通过继续到图7中的方框702而调用第一模式。如果在方框712在低分辨率图像中没有发现需要高分辨率子图像的特征，那么过程继续到方框714，其中其确定是否还有图像留待被捕获。如果在方框714还有图像被捕获，那么过程回到方框704。如果在方框714没有图像留待被捕获，那么过程在方框716结束。
尽管高分辨率/低敏感性模式在上文被描述为“第一模式”，且低分辨率/高敏感性模式被描述为“第二模式”，但此仅仅指示模式不同，而不是其必须按此顺序执行。第一和第二模式的执行顺序完全可逆。在一个实施例中，第一模式可被首先执行，接着是第二模式，但在其它实施例中第二模式可被首先执行，接着是第一模式。又在其它实施例中，不需要任何模式切换：可完全地在第一模式中操作或完全地在第二模式中操作。如果需要或想要，那么在每一情况中其它模式是可用的，但如果不需要或不想要，那么其无需被执行。
本发明的所说明实施例的上文描述(包含在摘要中的描述)并不既定是详尽的或将本发明限于所揭示的精确形式。尽管本发明的具体实施例或实例出于说明性的目的在本文被描述，但是如相关领域的技术人员将认识到，在本发明范围内的各种等效修改是可能的。可鉴于以上详细描述而对本发明进行这些修改。
随附权利要求书中所使用的术语不应被解释为将本发明限于说明书和权利要求书中所揭示的具体实施例。更确切地说，本发明的范围完全由随附权利要求书确定，所述随附权利要求书应根据权利要求解释的所建立原则来解释。
Claims (26)
1.一种图像传感器设备，其包括：
像素阵列，其包含分组成具有两个以上个别像素的像素内核的多个个别像素，其中每一像素内核包含电耦合到所述内核中的所有个别像素的浮动扩散；
彩色滤波器阵列，其定位在所述像素阵列上且光学耦合到所述像素阵列，所述彩色滤波器阵列包括多个平铺的最小重复单元，每一最小重复单元包含多个缩放滤波器，每一缩放滤波器具有选自两个以上不同光响应的光响应，其中每一像素内核内的所述个别像素光学耦合到对应缩放滤波器；以及
电路和逻辑，其耦合到所述像素阵列以使所述设备以多个图像捕获模式操作，包含：
第一模式，其中将来自所述像素阵列内的个别像素的信号个别地转移到其浮动扩散并读取，从而产生高分辨率、低敏感性图像，以及
第二模式，其中将来自每个像素内核中的所有个别像素的信号装仓到所述内核的所述浮动扩散中并读取，从而产生低分辨率、高敏感性图像；
其中所述电路和逻辑进一步以第一顺序或第二顺序来操作所述第一模式和所述第二模式，所述第一顺序包括：
使用所述第一模式来捕获所述高分辨率、低敏感性图像，
确定所述高分辨率、低敏感性图像中的感兴趣特征，
仅对来自所述高分辨率、低敏感性图像的包括至少所述感兴趣特征的像素子集进行处理以产生高分辨率、低敏感性子图像，以及
使用所述第二模式来捕获所述包括至少所述感兴趣特征的像素子集的低分辨率、高敏感性子图像。
2.根据权利要求1所述的设备，其中每一像素内核包含M×N个像素且其中M、N或两者大于1。
3.根据权利要求2所述的设备，其中M等于N或其中M不等于N。
4.根据权利要求2所述的设备，其中每一缩放滤波器光学耦合到M×N个像素。
5.根据权利要求1所述的设备，其中所述最小重复单元是：
G R
B G
其中
G表示具有绿色光响应的缩放滤波器，
B表示具有蓝色光响应的缩放滤波器，以及
R表示具有红色光响应的缩放滤波器。
6.根据权利要求1所述的设备，其中所述最小重复单元是：
C R
G C
其中
G表示具有绿色光响应的缩放滤波器，
C表示具有无色光响应的缩放滤波器，以及
R表示具有红色光响应的缩放滤波器。
7.根据权利要求1所述的设备，其中所述最小重复单元是：
G R
B C
其中
G表示具有绿色光响应的缩放滤波器，
B表示具有蓝色光响应的缩放滤波器，
R表示具有红色光响应的缩放滤波器，以及
C表示具有无色光响应的缩放滤波器。
8.根据权利要求1所述的设备，其中所述最小重复单元是：
C Y
Y M
其中
Y表示具有黄色光响应的缩放滤波器，
C表示具有无色光响应的缩放滤波器，以及
M表示具有品红色光响应的缩放滤波器。
9.根据权利要求1所述的设备，其中所述像素阵列具有第一维和第二维，且其中所述像素子集包括像素条带，其延伸所述像素阵列的整个所述第一维但小于整个所述第二维。
10.根据权利要求1所述的设备，其中每一缩放滤波器是光学耦合到对应像素内核中的所述像素的连续滤波器。
11.根据权利要求1所述的设备，其中所述第一模式在所述第二模式之前被执行。
12.根据权利要求1所述的设备，其中所述第二顺序包括：
使用所述第二模式来捕获所述低分辨率、高敏感性图像，
处理所述低分辨率、高敏感性图像以确定所述低分辨率、高敏感性图像中的感兴趣特征，以及
如果所述感兴趣特征需要高分辨率图像则调用所述第一顺序。
13.根据权利要求1所述的设备，其中所述第一模式和所述第二模式中的仅一者被执行。
14.一种形成图像传感器的方法，所述方法包括：
在所述图像传感器中，其包含：
像素阵列，其包含分组成具有两个以上个别像素的像素内核的多个个别像素，其中每一像素内核包含电耦合到所述内核中的所有个别像素的浮动扩散，以及
彩色滤波器阵列，其定位在所述像素阵列上且光学耦合到所述像素阵列，所述彩色滤波器阵列包括多个平铺的最小重复单元，每一最小重复单元包含多个缩放滤波器，每一缩放滤波器具有选自两个以上光响应的光响应，其中每一像素内核内的所述个别像素光学耦合到对应缩放滤波器，
对电路和逻辑进行编程，所述电路和逻辑耦合到所述像素阵列以使所述图像传感器在操作时包含多个图像捕获模式，包含：
第一模式，其中将来自所述像素阵列内的个别像素的信号个别地转移到其浮动扩散并读取，从而产生高分辨率、低敏感性图像，以及
第二模式，其中将来自每个像素内核中的所有个别像素的信号装仓到所述内核的所述浮动扩散中并读取，从而产生低分辨率、高敏感性图像；
其中所述电路和逻辑进一步经编程而以第一顺序或第二顺序来操作所述第一模式和所述第二模式，所述第一顺序包括：
使用所述第一模式来捕获所述高分辨率、低敏感性图像，
确定所述高分辨率、低敏感性图像中的感兴趣特征，
仅对来自所述高分辨率、低敏感性图像的包括至少所述感兴趣特征的像素子集进行处理以产生高分辨率、低敏感性子图像，以及
使用所述第二模式来捕获所述包括至少所述感兴趣特征的像素子集的低分辨率、高敏感性子图像。
15.根据权利要求14所述的方法，其中每一像素内核包含M×N个像素且其中M、N或两者大于1。
16.根据权利要求15所述的方法，其中M等于N或其中M不等于N。
17.根据权利要求15所述的方法，其中每一缩放滤波器光学耦合到M×N个像素。
18.根据权利要求14所述的方法，其中所述最小重复单元是：
G R
B G
其中
G表示具有绿色光响应的缩放滤波器，
B表示具有蓝色光响应的缩放滤波器，以及
R表示具有红色光响应的缩放滤波器。
19.根据权利要求14所述的方法，其中所述最小重复单元是：
C R
G C
其中
G表示具有绿色光响应的缩放滤波器，
C表示具有无色光响应的缩放滤波器，以及
R表示具有红色光响应的缩放滤波器。
20.根据权利要求14所述的方法，其中所述最小重复单元是：
G R
B C
其中
G表示具有绿色光响应的缩放滤波器，
B表示具有蓝色光响应的缩放滤波器，
R表示具有红色光响应的缩放滤波器，以及
C表示具有无色光响应的缩放滤波器。
21.根据权利要求14所述的方法，其中所述最小重复单元是：
C Y
Y M
其中
Y表示具有黄色光响应的缩放滤波器，
C表示具有无色光响应的缩放滤波器，以及
M表示具有品红色光响应的缩放滤波器。
22.根据权利要求14所述的方法，其中所述像素阵列具有第一维和第二维，且其中所述像素子集包括像素条带，其延伸所述像素阵列的整个所述第一维但小于整个所述第二维。
23.根据权利要求14所述的方法，其中每一缩放滤波器是光学耦合到对应像素内核中的所述像素的连续滤波器。
24.根据权利要求14所述的方法，其中在所述第二模式之前执行所述第一模式。
25.根据权利要求14所述的方法，其中所述第二顺序包括：
使用所述第二模式来捕获所述低分辨率、高敏感性图像，
处理所述低分辨率、高敏感性图像以确定所述低分辨率、高敏感性图像中的感兴趣特征，以及
如果所述感兴趣特征需要高分辨率图像则调用所述第一顺序。
26.根据权利要求14所述的方法，其中执行所述第一模式和所述第二模式中的仅一者。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/259,567 US9438866B2 (en) | 2014-04-23 | 2014-04-23 | Image sensor with scaled filter array and in-pixel binning |
| US14/259,567 | 2014-04-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105025278A CN105025278A (zh) | 2015-11-04 |
| CN105025278B true CN105025278B (zh) | 2017-08-01 |
Family
ID=54336000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410355660.1A Active CN105025278B (zh) | 2014-04-23 | 2014-07-24 | 具有缩放滤波器阵列和像素内装仓的图像传感器 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9438866B2 (zh) |
| CN (1) | CN105025278B (zh) |
| HK (1) | HK1212129A1 (zh) |
| TW (1) | TWI610426B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150127928A (ko) * | 2014-05-07 | 2015-11-18 | 에스케이하이닉스 주식회사 | 카운터, 그 카운터를 포함하는 아날로그/디지털 컨버터 및 그 아날로그/디지털 컨버터를 포함하는 이미지 센싱 장치 |
| US9888198B2 (en) * | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
| US9686486B2 (en) * | 2015-05-27 | 2017-06-20 | Semiconductor Components Industries, Llc | Multi-resolution pixel architecture with shared floating diffusion nodes |
| CN105578072A (zh) * | 2015-12-18 | 2016-05-11 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
| CN105430363B (zh) * | 2015-12-18 | 2018-07-17 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
| CN105578005B (zh) | 2015-12-18 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
| US10764515B2 (en) * | 2016-07-05 | 2020-09-01 | Futurewei Technologies, Inc. | Image sensor method and apparatus equipped with multiple contiguous infrared filter elements |
| US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
| DE102016217282A1 (de) | 2016-09-12 | 2018-03-15 | Conti Temic Microelectronic Gmbh | Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung |
| CN106604001B (zh) | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
| CN106507068B (zh) * | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
| CN106341670B (zh) * | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106504218B (zh) * | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| KR102354991B1 (ko) | 2017-05-24 | 2022-01-24 | 삼성전자주식회사 | 픽셀 회로 및 이를 포함하는 이미지 센서 |
| CN110378185A (zh) * | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| US10750108B2 (en) * | 2018-09-25 | 2020-08-18 | Omnivision Technologies, Inc. | Image sensor with correction of non-uniform dark current |
| KR102629343B1 (ko) * | 2018-12-21 | 2024-01-26 | 삼성전자주식회사 | 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치 |
| WO2020177123A1 (en) * | 2019-03-07 | 2020-09-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Color imaging system |
| KR102600681B1 (ko) * | 2019-03-26 | 2023-11-13 | 삼성전자주식회사 | 비닝을 수행하는 테트라셀 이미지 센서 |
| WO2021112763A1 (en) * | 2019-12-05 | 2021-06-10 | Ams Sensors Singapore Pte. Ltd. | Time of flight sensing method |
| KR20220053067A (ko) * | 2020-10-21 | 2022-04-29 | 삼성전자주식회사 | 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법 |
| US11924563B2 (en) * | 2021-12-22 | 2024-03-05 | Qualcomm Incorporated | High dynamic range (HDR) photography with in-sensor zoom |
| WO2023140678A1 (ko) * | 2022-01-21 | 2023-07-27 | 삼성전자 주식회사 | 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501484B1 (en) * | 1998-09-29 | 2002-12-31 | Globalstreams, Inc. | System and method for high definition video rescaling |
| CN102625047A (zh) * | 2011-01-25 | 2012-08-01 | 株式会社电装 | 面部成像系统和用于控制面部成像系统的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8184190B2 (en) | 2006-11-28 | 2012-05-22 | Youliza, Gehts B.V. Limited Liability Company | Simultaneous global shutter and correlated double sampling read out in multiple photosensor pixels |
| US8471939B2 (en) | 2008-08-01 | 2013-06-25 | Omnivision Technologies, Inc. | Image sensor having multiple sensing layers |
| WO2011053711A1 (en) * | 2009-10-30 | 2011-05-05 | Invisage Technologies, Inc. | Systems and methods for color binning |
| US8742309B2 (en) * | 2011-01-28 | 2014-06-03 | Aptina Imaging Corporation | Imagers with depth sensing capabilities |
-
2014
- 2014-04-23 US US14/259,567 patent/US9438866B2/en active Active
- 2014-07-21 TW TW103124981A patent/TWI610426B/zh active
- 2014-07-24 CN CN201410355660.1A patent/CN105025278B/zh active Active
-
2015
- 2015-12-23 HK HK15112634.0A patent/HK1212129A1/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501484B1 (en) * | 1998-09-29 | 2002-12-31 | Globalstreams, Inc. | System and method for high definition video rescaling |
| CN102625047A (zh) * | 2011-01-25 | 2012-08-01 | 株式会社电装 | 面部成像系统和用于控制面部成像系统的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI610426B (zh) | 2018-01-01 |
| US9438866B2 (en) | 2016-09-06 |
| US20150312537A1 (en) | 2015-10-29 |
| CN105025278A (zh) | 2015-11-04 |
| TW201541619A (zh) | 2015-11-01 |
| HK1212129A1 (zh) | 2016-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105025278B (zh) | 具有缩放滤波器阵列和像素内装仓的图像传感器 | |
| CN105633105B (zh) | 用以最小化颜色混叠的rgbc彩色滤光器阵列图案 | |
| CN103579268B (zh) | 具有色彩滤光器的分割图像传感器的透镜阵列 | |
| KR100982685B1 (ko) | 고성능 컬러 필터 모자이크 어레이를 위한 시스템 및 방법 | |
| CN105451006B (zh) | 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法 | |
| CN104025579B (zh) | 固体摄像装置 | |
| TWI600927B (zh) | 用於減少顏色混疊之彩色濾光器陣列圖案 | |
| KR20150003687A (ko) | 컬러 앨리어싱을 줄이기 위한 컬러 및 적외선 필터 어레이 패턴 | |
| CN103458162B (zh) | 用于分区图像传感器的透镜阵列 | |
| CN104580950B (zh) | 多透镜阵列模块中的紧凑间隔件 | |
| CN106331662A (zh) | 一种图像撷取装置及图像撷取方法 | |
| CN103283240B (zh) | 彩色成像设备 | |
| US9368530B2 (en) | Image sensor and color filter array including multiple selectable meshed filter sets | |
| CN103299643A (zh) | 彩色成像设备 | |
| CN106851139A (zh) | 用于全局快门校正的像素电路及成像系统 | |
| CN106506997A (zh) | 包括相位差检测像素的图像传感器 | |
| US9674493B2 (en) | Color image sensor with metal mesh to detect infrared light | |
| CN207251823U (zh) | 成像设备和成像系统 | |
| CN108305883A (zh) | 图像传感器 | |
| CN103380623B (zh) | 彩色图像拾取元件 | |
| EP3973696B1 (en) | Color filter array apparatus | |
| JP2008016862A (ja) | 固体撮像素子 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1212129 Country of ref document: HK |
|
| CB02 | Change of applicant information |
Address after: American California Applicant after: OmniVision Technologies, Inc. Address before: American California Applicant before: Omnivision Tech Inc. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1212129 Country of ref document: HK |