CN102741670B - 使用具有空间变化阈值的二进制传感器阵列的强度估计 - Google Patents

使用具有空间变化阈值的二进制传感器阵列的强度估计 Download PDF

Info

Publication number
CN102741670B
CN102741670B CN201080062859.5A CN201080062859A CN102741670B CN 102741670 B CN102741670 B CN 102741670B CN 201080062859 A CN201080062859 A CN 201080062859A CN 102741670 B CN102741670 B CN 102741670B
Authority
CN
China
Prior art keywords
sensor
state
distribution
light
output state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080062859.5A
Other languages
English (en)
Other versions
CN102741670A (zh
Inventor
T·里萨
S·科斯基南
M·维金科斯基
T·玛基-玛蒂南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102741670A publication Critical patent/CN102741670A/zh
Application granted granted Critical
Publication of CN102741670B publication Critical patent/CN102741670B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J1/46Electric circuits using a capacitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/18Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors using comparison with a reference electric value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

一种设备,其包括包含N个亚衍射极限光传感器的阵列,每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值,其中光吸收激活阈值位于一个值范围内。该设备进一步包括与存储器连接的处理器,该存储器包括计算机程序代码,其中存储器和计算机程序代码被配置成与处理器一起,使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。

Description

使用具有空间变化阈值的二进制传感器阵列的强度估计
技术领域
本发明的示例性和非限制性的实施方式一般地涉及成像系统、方法、装置和计算机程序,并且更具体地,涉及使用由光传感器的阵列构成的光传感器阵列的成像系统,该光传感器的阵列产生二进制输出信号。 
背景技术
该部分旨在提供权利要求中所描述的本发明的背景或上下文。这里的描述可以包括可能被追寻的概念,但不必是之前已经被想到、实现或描述的那些概念。因此,除非在这里相反地指示,在这部分所描述的内容并不是本申请的说明书和权利要求书的现有技术,并且不会因为包括在此而被承认是现有技术。 
最近已经感兴趣用小的二进制光电传感器的二维阵列替代传统的CCD(电荷耦合器件)光电传感器。这方面可以参考例如E.R.Fossum,What to do with Sub-Diffraction-Limit(SDL)Pixels?A Proposal for a Gigapixel Digital Film Sensor,Proc.of the 2005 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors,Karuizawa,日本,2005年6月;L.Sbaiz,F.Yang,E.Charbon,S.Süsstrunk,M.Vetterli,The gigavision camera,Proc.of IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),2009,第1093-1096页;以及L.Sbaiz,F.Yang,E.Charbon,S.Süsstrunk,M.Vetterli,Image reconstruction in gigavision camera,ICCV workshop OMNIVIS 2009。 
由于相比较于传统的光电传感器(例如CCD光电传感器),二进制光电传感器的尺寸小,可以合理地假定二进制传感器阵列的传感器单元的数目(例如,16-256个单元)小于爱里斑的传感器单元(例如,可以位于爱里斑的尺寸内)的数目。因此,可以合理的假定传感器阵列上的光子分布可以建模为同质二维空间泊松过程。任务接着变为确定在给定二进制传感器阵列的输出下的光强度。 
二进制传感器是仅具有两个状态的简单传感器:初始为零,并且检测到的光子的数目超过某个预定的阈值,状态改变为一。现有技术的二进制传感器系统已经仅考虑固定阈值的二进制传感器。 
发明内容
根据本发明的示例性实施方式,上述和其他的问题被克服,并且其他优势被实现。 
在其第一方面中,本发明的示例性实施方式提供一种设备,其包括包含N个亚衍射极限光传感器的阵列,每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值,其中光吸收激活值位于一个值范围内。该设备进一步包括与存储器连接的处理器,该存储器包括计算机程序代码,其中存储器和计算机程序代码被配置成与处理器一起,使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。 
在其另外的方面中,本发明的示例性实施方式提供一种方法,其包括提供包含N个亚衍射极限光传感器的阵列,每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值,其中光吸收激活值位于一个值范围内;以及基于阵列的电输出来估计照射该阵列的光强度。 
附图说明
在下面的具体实施方式中,当结合附图阅读时,本发明的示例性实施方式的上述和其他方面将变得更为明显,其中: 
图1A示出示例性二进制传感器阵列的顶视图; 
图1B示出二进制传感器的激活; 
图2图形地绘出:关于强度被激活的传感器数目的期望值; 
图3图形地绘出:关于强度被激活的传感器数目的期望值的导数; 
图4绘出用于实现图1A的光传感器的接收器的一个合适和非限制性类型的电路; 
图5示出可以被构建为包括根据本发明的示例性实施方式的图像传感器的装置的框图; 
图6是示出根据本发明的示例性实施方式的方法的操作以及包括在计算机可读存储器上的计算机程序指令的执行的结果的逻辑流程图。 
具体实施方式
本发明的示例性实施方式涉及数字照相机光传感器技术,并且更具体地,涉及更具体地,涉及具有指数级很高数目的像素(“位单元”)的二进制类型传感器(“接收器”),数目可能超过10亿(“千兆”,1×109)。如上所指出,“二进制”意味着每个此类的传感器或接收器单元可以仅具有两个可能的值:零(未曝光的)或一(曝光的)。本发明的示例性实施方式也涉及所谓的亚衍射极限传感器或接收器。这意味着投射在接收器上的图像并不是极为平滑,而是相比较于传感器元件的尺寸而言或多或少“模糊”。 
本发明的示例性实施方式考虑比先前已经考虑过的更为一般的情形,其中阵列中的每个二进制传感器具有固定然而任意的阈值。阵列中的每个二进制传感器的阈值可以假定为初始未知。 
在下面的描述中考虑两种不同的情形。在第一个情形中,假定可以获得一些训练数据,即,测试二进制传感器阵列并且光强度值以及二进制传感器阵列的相应输出被记录。阵列中每个二进制传感 器的阈值接着可以使用例如贝叶斯推理来确定。在第二情形中,假定无法获得训练数据。该第二情形可以进一步划分成两个子情形,在第一子情形中(本发明的示例性实施方式最为感兴趣),阈值的概率质量函数是已知的或至少被近似。在第二子情形中,不知道关于阈值的任何情况。 
本发明的示例性实施方式从事并且解决使用有限二进制传感器阵列来估计光子强度的问题。相比较于使用同质二进制传感器的阵列,提供了具有空间变化阈值的二进制传感器的阵列。 
可以对图1A做出参考,该图1A用于示出二进制传感器2的示例性阵列1的顶视图。传感器2以由x和y轴定义的规则网格图案来安排(在该非限制性实施方式中)。总计有N个传感器,其中N具有例如大约106到大约109或更大范围内的值。与阵列1关联的是读取电子电路3的框图,该电子电路3配置成对传感器2进行寻址并且读取传感器值,以及数据处理器4,其与体现为存储器5的数据存储介质连接。存储器5存储计算机软件程序(Prog)6,当由数据处理器4执行时,使得经由读取电子电路3接收到的传感器输出被处理。 
在图1A中示出的各种组件可以包括图像捕获(照相机)芯片、芯片组或模块8,其可以以单机的方式使用,或者可以并入进另一个装置或设备中。在图5中示出一个示例性实施方式,其中图1A的照相机模块8可以形成并入进用户设备(例如,并入进蜂窝电话)的照相机28的所有或一部分。 
图1B示出一些二进制传感器2的激活的例子。传感器F和H没有被激活,因为没有光子在它们上撞击。传感器B、C、D和G被激活(即,假设逻辑一状态),因为它们接收(吸收)数目等于或大于它们各自的阈值的光子。传感器A和E保持不活跃(即保持在逻辑零状态),因为它们接收(吸收)数目小于它们各自的阈值的光子。 
假设每个二进制传感器2的阈值固定但未知的情形。此外,假 设可以获得训练数据。首先,训练数据用于求解(或估计,取决于数据的数量)每个二进制传感器2的阈值。接着,给定曝光的二进制传感器阵列1的输出,使用二进制传感器2的阈值和它们的方位(位置)的知识来估计强度。 
假设在二维阵列1中存在N个传感器2,数目从1到N。第i个二进制传感器的状态Si是贝努里随机变量,并且传感器i的阈值Ti是离散正随机变量。进一步假设具体二进制传感器2的状态独立于其他传感器2的状态。我们的第一个任务是确定每个传感器的阈值,给定训练数据的集合S,包括二进制传感器的输出 以及相应的强度λ(j),其中i=1,...,N,并且j=1,...,|S|。每个传感器2的阈值独立于其他传感器的阈值来确定。给定传感器i的阈值Ti=ti和光强度λ,传感器i被激活的概率是 
P ( S i = 1 | t i , λ ) = 1 - Σ k = 0 t i - 1 λ k e - λ k ! .
从上面接着可以将针对阈值Ti的似然函数写为: 
P ( S i | T i = t i ) = Π j P ( S i = 1 | t i , λ j ) s i j P ( S i = 0 | t i , λ j ) 1 - s i j ,
其中Si是对应于第i个传感器的S的子集。可以使用例如最大似然估计来估计传感器i的阈值Ti的后验模式。 
假设传感器2的阈值彼此独立。如果相邻传感器的阈值不是独立的,则马尔可夫随机域的理论可以用于加速学习(例如,参见G.Winkler,图像分析,随机域和马尔可夫链蒙特卡洛法施普林格,2003)。 
现在假定针对所有i=1,...,N确定第i个二进制传感器的阈值Ti。给定二进制传感器阵列1的输出 下一个步骤是估计光子强度。如前,针对强度λ的似然函数可以写为: 
P ( ( s j ) j = 1 N | λ ) = Π i = 1 N P ( S i = 1 | λ ) s i P ( S i = 0 | λ ) 1 - s i .
针对强度λ的估计现在可以通过使用例如具有先验分布 的最大后验估计来获得。 
在上文中,分析贝叶斯方法用于估计光子强度。然而,使用前馈神经网络也能很好地合适于该任务(例如,参见S.Haykin,Neural Networks:Comprehensive Foundation,IEEE Press,2nd edition,1999)。一般来说,可获得的训练数据可以用于训练神经网络以从传感器阵列输出估计强度。 
考虑不使用训练数据的估计。更具体地,在给定二进制传感器阵列1的输出以及阈值的概率质量函数,考虑如何确定强度。该特定的情形不同于先前的情形,因为二进制传感器2的阈值并不是显式确定地。替代地,概率质量函数和被激活的传感器2的数目的知识用于产生强度的估计。 
假设二进制传感器阵列1的阈值根据概率质量函数pT(k)分布。目的在于在给定二进制传感器阵列1的输出下确定强度。在给定强度λ下激活特定传感器2的概率是: 
P ( S = 1 | λ ) = Σ k = 1 M p T ( k ) P ( S = 1 | T = k , λ ) ,
其中M是传感器二进制阵列1中的最大阈值并且 
P ( S = 1 | T = k , λ ) = 1 - Σ i = 0 k - 1 λ i e - λ i !
在给定强度λ存在l个被照亮的传感器2的概率是 
P ( llitsensors | λ ) = N l P ( S = 1 | λ ) l P ( S = 0 | λ ) N - l
针对λ的最大似然估计是最大化先前等式的值。注意本发明的示例性实施方式不限于前述的估计器,并且也可以使用其他的估计器。 
图2图形化地绘出:关于强度λ的被激活的传感器2的数目的期望值。对于实线,传感器阈值保持不变,具有值T=1、T=2、T=3和T=4,并且对于虚线,阈值在1和4之间平均地分布。 
在图3中,不同二进制传感器阵列1的性能被比较。更具体地,图3图形化绘出关于强度λ,被激活的传感器2的数目的期望值的导数。对于实线,传感器阈值保持不变,具有值T=1、T=2、T=3和T=4,并且对于虚线,阈值在1和4之间平均地分布。 
如可以被期待的,当光强度低时,其中所有的阈值等于一的二 进制传感器阵列1最佳地执行。另一方面,当所有的阈值等于四时,当强度高时,执行是好的,但在低强度处,传感器阵列1将比可接受的执行的差。在其中阈值被平均分布的传感器阵列1组合其他类型的传感器阵列的最佳特征,即,甚至当具有阈值1的阵列几乎饱和时,阵列1能够产生信息,并且阵列1在低强度水平处相对敏感,其中具有所有的阈值等于四的阵列基本上无功能。 
具有空间变化阈值的二进制传感器阵列1的情形是重要的。例如,如果具有单个光子灵敏度的二进制传感器阵列1将被构建,例如通过使用光刻技术,阵列1中的二进制传感器2的阈值将有些变化,作为制造工艺中瑕疵的结果。如上所示出,通过将此考虑进可以改进二进制传感器阵列1的性能。注意阈值也可以有目的地改变并且具有不同程度的控制性(即,使用已知分布但具有未知的位置)。进一步注意到来自于制造工艺的信息可以被馈入到方法中,以便改进性能。 
图4中示出用于实现接收器2的一个合适和非限制性类型的电路。在该情形中,每个接收器2包括与基于简单反相的比较器电路2B连接的光电二极管2A,用于一比特幅度量化。由于背景照射,可调节的阈值电流可以用于阻止触发。当信号电流(加背景电流)超过阈值电流It并且由于放电电流Is+Ib-It,跨Cpix的电压Uin下降低于比较器2B的阈值电压(~-Udd/2)。假设相比较于信号脉冲的幅度It是小的,通过对像素的输入电容放电所需的光能量Epix确定像素的灵敏度: 
Epix≈(CpixΔU)/SKF, 
其中Cpix是像素的总输入电容,包括光电二极管和电路输入电容,ΔU是在输入处触发比较器2B所需的电压变化,S是光电二极管响应度并且KF是像素填充因子。作为非限制性的例子,其他可能的方法包括使用雪崩或碰撞电离以提供像素内增益,或使用量子点。 
注意如到目前所描述的,阵列1中的各个传感器2的阈值可变性可以假定为从阵列1制造工艺中的固有可变性得到(例如,由于材料均匀性中的差别、光刻掩膜均匀性中的差别、掺杂水平中的差 别、掺杂浓度等)。然而,有意地在传感器1间导出阈值可变性也在示例性实施方式的范围内。这可以例如通过电气方式来获得,例如通过选择性地设置上述的阈值电流,从而在传感器1之间和/或多组传感器1之间做出区别。通过这种方式,可以稍微改变或调节如图2和3中示出的虚线的形状。 
图5以平面图(左)和截面图(右)二者图示出装置(例如用户设备(UE)10)的示例性和非限制性实施方式。在图5中,UE 10具有图形显示接口20和示出为小型键盘的用户接口22,但也理解包含在图形显示接口20处的触摸屏技术以及在麦克风24处接收的语音识别技术。功率致动器26控制由用户打开和关闭装置。 
示例性UE 10包括照相机28,其示为面向前(例如,用于视频呼叫),但可以可选地或附加地是面向后(例如,用于捕获图像和视频以用于本地存储)。照相机28由快门致动器30来控制并且可选地由缩放致动器30来控制,当照相机28不处于活跃模式时,其可以替代地充当用于扬声器34的音量调节。 
照相机28可以假设包括图像传感器阵列1,其根据本发明的示例性实施方式来构建和操作,如上详细描述的。如上所指出的,照相机28可以包括图1A中示出的照相机模块8。 
在图5的截面图内看到通常用于蜂窝通信的多个发送/接收天线36。天线36可以是与UE中的其他无线电设备一起使用的多带。功率芯片38控制被发送的信道上的功率放大和/或跨其中使用空间分集同时发送的天线上的功率放大,并且放大接收到的信号。功率芯片38向射频(RF)芯片40输出放大的接收的信号,该射频芯片40解调和下变频信号以用于基带处理。基带(BB)芯片42检测接着被转化为比特流并且最终被解码的信号。类似的处理逆向发生于在设备10中产生并且从其发送的信号。 
前进到以及来自于照相机28的信号可以经过编码和解码各种图像帧的图像/视频处理器44。也可以存在单独的音频处理器46,其控制来往于扬声器34和麦克风24的信号。图形显示接口20从如由用 户接口芯片50控制的帧存储器48来刷新,该用户接口芯片50可以处理来往于显示器接口20的信号和/或附加地处理来自于小键盘22和其他处的用户输入。 
UE 10的某些实施方式也可以包括一个或多个次级无线电设备,例如无线局域网无线电WLAN 37和蓝牙无线电设备39,其可以结合片上的天线或者可以耦合到片外的天线。 
遍布装置的是各种存储器,例如随机存取存储器RAM 43、只读存储器ROM 45以及在一些实施方式中,可以是可移动存储器,例如示出的存储器卡47,在其上存储有各种程序10C。UE 10内的所有这些组件通常由便携式电源例如电池49来供能。 
如果体现为UE 10中的分开实体,处理器38、40、42、44、46、50可以以对主处理器10A、12A的从关系来操作,而主处理器10A、12A接着可以处于对它们的主关系。本发明的实施方式可以部署于跨所示出的各种芯片和存储器,或布置在结合针对图5如上所述的一些功能的另一处理器内。图5的任意或所有的这些各种处理器访问各种存储器的一个或多个存储器,其可以与处理器在芯片上或与它们分开。 
上述的各种集成电路(例如,芯片38、40、42等)可以组合成比所描述的更少的数目,并且在最为紧凑的情形中,可以都物理地体现在单个芯片内。 
在其他的实施方式中,用户设备可以不具有无线通信能力。通常,用户设备可以例如是包括照相机28的个人数字助理、包括照相机28的个人计算机(例如,膝上型或笔记本计算机)、包括照相机28的游戏装置,或简单地数字照相设备,作为若干非限制性的例子。 
本发明的示例性实施方式的使用和应用提供多个技术优势和效果。例如,这样的包含二进制传感器2的二进制传感器阵列1仍可以用于形成图像,即,其(本性)具有可变的阈值,并且常规地被认为是不可用的,因为常规的方法将采取某个已知(固定的)传感器阈值。通过选择阈值的分布,即使在不可控的可变性情形中,可 以改进二进制传感器2的阵列1的成像性能(质量)。 
基于上文,应该明显的是本发明的示例性实施方式提供估计照射包含N个亚衍射极限光传感器的阵列的光强度的方法、设备和计算机程序。 
图6是示出根据本发明的示例性实施方式的方法的操作以及计算机程序指令的执行结果的逻辑流程图。根据这些示例性实施方式,一种方法在块6A处执行提供包含N个亚衍射极限光传感器的阵列的步骤,每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值,其中光吸收激活值位于一个值范围内。在块6B中,存在基于阵列的电输出估计照射该阵列的光强度的步骤。 
在前面段落所描述的方法中,估计的步骤使用训练数据来确定每个传感器的光吸收激活阈值,并且基于阵列的电输出,使用传感器的确定的光吸收激活阈值和它们的位置来估计强度。估计可以使用贝叶斯方法,或其可以使用前馈神经网络,其中训练数据用于训练神经网络以从阵列的电输出估计强度。 
在图6中所描述的方法中,估计的步骤使用阵列的电输出来确定被激活的传感器的数目以及概率质量函数,以确定传感器的光吸收激活阈值的分布。估计该强度可以使用最大似然估计。 
在如前面的段落所描述的方法中,其中N处于大约106到在约109或更大的范围中,并且其中光吸收激活值位于大约1到大约4的值的范围内。 
在前面段落所描述的方法中,其中方法在包括在用户设备中的照相机模块中执行。 
在图6中示出的各种块可以视为方法步骤,和/或从计算机程序代码的操作所获得的操作,和/或构建成执行相关联的功能的多个耦合的逻辑电路元件。 
一般地,各种示例性实施方式可以实现在硬件或专用电路、软件、逻辑或其任意组合中。例如,一些方面可以实现在硬件中,而 其他方面可以实现在固件或软件中,这些固件或软件可以由控制器、微处理器或其他计算装置来执行,尽管本发明并不限于此。尽管本发明的示例性实施方式的各种方面可以示为和描述为框图、流程图、或者使用一些其他图形表示,将很好理解这里所描述的这些块、设备、系统、技术或方法作为非限制性的例子可以实现在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算装置,或者其他组合中。 
因此应该理解的是本发明的示例性实施方式的一些方面可以实现在例如集成电路芯片和模块的各种组件中,并且本发明的示例性实施方式可以实现在体现为集成电路的装置中。集成电路或多个电路可以包括用于体现数据处理器或多个数据处理器的一个或多个的电路(以及可能地固件)以及可以配置成从而根据本发明的示例性实施方式操作的数字信号处理器或多个处理器。 
当结合附图阅读时,鉴于前述的描述,本发明的前述示例性实施方式的各种修改和改动对于本领域技术人员来说可以变得明显。然而,任意和所有的修改仍将落入到本发明的非限制性和示例性实施方式的范围内。 
例如,尽管在图1中示出作为二进制光传感器2的二维阵列1,在其他的实施方式中,阵列1可以是二进制光传感器的三维阵列(即,可以存在沿阵列1的z轴布置的另外图像传感器2,例如在下面的共同未决美国专利申请中描述,该专利序列号12/384,549,提交于04/06/2009,“Image Sensor”,Ossi M.Kalevo,Samu T.Koskinen,Terro Rissa)。 
应该注意到术语“连接”、“耦合”或其任意变形意味着在两个或多个元件之间直接或间接的任意连接或耦合,并且可以包括“连接”或“耦合”在一起的两个元件之间的一个或多个中间元件。元件之间的耦合或连接可以是物理的、逻辑的或其组合。如这里所使用的,通过使用一个或多个导线、线缆和/或印刷电连接,以及通过使用电磁能、例如具有射频区域、微波区域和光(可见光和非可见 光)区域中波长的电磁能量,两个元件可以被认为是“连接”或“耦合”在一起,作为若干个非限制性和非穷举性的例子。 
进一步,本发明的各种非限制性和示例性实施方式的一些特征可以有利地使用而不需要其他特征的相应使用。这样,前述的描述应该被理解为仅仅示例本发明的原理、教导和示例性实施方式,并且不是对其的限制。 

Claims (20)

1.一种用于估计光的设备,包括:
多个亚衍射极限光传感器,其中每个传感器具有用于将所述传感器的输出状态从第一状态向第二状态切换的关联激活阈值,并且其中至少一些传感器的激活阈值由不同数目的光子来限定;
处理器;以及
存储器,该存储器包括计算机程序代码,其中所述存储器和计算机程序代码被配置成与所述处理器一起,使得该设备至少执行通过根据所述传感器的不同激活阈值的分布来解释所述多个传感器的输出状态,以估计入射在所述多个传感器上的光,其中由不同数目的光子限定不同的激活阈值。
2.根据权利要求1所述的设备,其中所述传感器是二进制传感器,该二进制传感器具有作为输出状态的仅所述第一状态和所述第二状态。
3.根据权利要求1或2所述的设备,其中所述设备根据所述传感器的不同激活阈值的分布,将输出状态的空间分布转换成入射光的空间分布。
4.根据权利要求1或2所述的设备,其中估计使用贝叶斯方法。
5.根据权利要求1或2所述的设备,其中所述不同激活阈值从包括以下的组中的至少一项得到:
材料均匀性中的差别、光刻掩膜均匀性中的差别、掺杂水平中的差别和掺杂浓度。
6.根据权利要求1或2所述的设备,其中以电方式来主动地控制所述激活阈值。
7.根据权利要求1或2所述的设备,其中以规则的网格来布置所述多个传感器。
8.根据权利要求1或2所述的设备,其中所述多个传感器包括多于106个传感器。
9.根据权利要求1或2所述的设备,体现为用户设备中的照相机。
10.一种用于估计光的方法,包括:
提供多个亚衍射极限光传感器,其中每个传感器具有用于将所述传感器的输出状态从第一状态向第二状态切换的关联激活阈值,其中至少一些传感器的激活阈值由不同数目的光子来限定;以及
通过根据所述传感器的不同激活阈值的分布来解释所述多个传感器的输出状态,估计入射在所述多个传感器上的光,其中由不同数目的光子限定不同的激活阈值。
11.根据权利要求10所述的方法,包括使用具有作为输出状态的仅所述第一状态和所述第二状态的二进制传感器。
12.根据权利要求10或11所述的方法,包括根据所述传感器的不同激活阈值的分布,将输出状态的空间分布转换成入射光的空间分布。
13.根据权利要求10或11所述的方法,其中估计使用贝叶斯方法。
14.根据权利要求10或11所述的方法,包括使用训练数据来确定所述传感器的不同激活阈值的分布,并且使用所述多个传感器的电输出和所述传感器的位置、使用所述传感器的不同激活阈值的确定的分布来估计光。
15.根据权利要求10或11所述的方法,其中估计使用所述多个传感器的电输出来确定被激活的传感器的数目以及概率质量函数,以确定所述传感器的不同激活阈值的分布。
16.一种用于估计光的设备,包括:
用于通过根据传感器的不同激活阈值的分布来解释所述多个传感器的输出状态,估计入射在多个传感器上的光的装置,其中每个传感器具有用于将所述传感器的输出状态从第一状态向第二状态切换的关联激活阈值,其中由不同数目的光子限定不同的激活阈值。
17.根据权利要求16所述的设备,其中所述传感器是二进制传感器,该二进制传感器具有作为输出状态的仅所述第一状态和所述第二状态。
18.根据权利要求16或17所述的设备,进一步包括:
用于根据所述传感器的不同激活阈值的分布,将输出状态的空间分布转换成入射光的空间分布的装置。
19.根据权利要求16或17所述的设备,其中估计使用贝叶斯方法。
20.根据权利要求16或17所述的设备,进一步包括:
用于确定所述传感器的不同激活阈值的分布的装置。
CN201080062859.5A 2009-12-23 2010-12-22 使用具有空间变化阈值的二进制传感器阵列的强度估计 Expired - Fee Related CN102741670B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/645,721 2009-12-23
US12/645,721 US8420996B2 (en) 2009-12-23 2009-12-23 Intensity estimation using binary sensor array with spatially varying thresholds
PCT/IB2010/056033 WO2011077398A1 (en) 2009-12-23 2010-12-22 Intensity estimation using binary sensor array with spatially varying thresholds

Publications (2)

Publication Number Publication Date
CN102741670A CN102741670A (zh) 2012-10-17
CN102741670B true CN102741670B (zh) 2015-03-04

Family

ID=44150616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080062859.5A Expired - Fee Related CN102741670B (zh) 2009-12-23 2010-12-22 使用具有空间变化阈值的二进制传感器阵列的强度估计

Country Status (7)

Country Link
US (1) US8420996B2 (zh)
EP (1) EP2517459B1 (zh)
KR (1) KR101397351B1 (zh)
CN (1) CN102741670B (zh)
BR (1) BR112012015711B1 (zh)
CA (1) CA2784873C (zh)
WO (1) WO2011077398A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319855B2 (en) * 2010-01-19 2012-11-27 Rambus Inc. Method, apparatus and system for image acquisition and conversion
WO2013070932A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Conditional-reset, temporally oversampled image sensor
WO2013070942A1 (en) 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
US9185311B2 (en) 2012-07-31 2015-11-10 Rambus Inc. Image sensor with a split-counter architecture
US9036065B1 (en) 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
US9432604B2 (en) 2012-10-12 2016-08-30 Samsung Electronics Co., Ltd. Image sensor chips
US9679929B2 (en) 2012-10-12 2017-06-13 Samsung Electronics Co., Ltd. Binary image sensors including quantum dots and unit pixels thereof
US9177987B2 (en) 2012-10-12 2015-11-03 Samsung Electronics Co., Ltd. Binary CMOS image sensors, methods of operating same, and image processing systems including same
US9462202B2 (en) 2013-06-06 2016-10-04 Samsung Electronics Co., Ltd. Pixel arrays and imaging devices with reduced blooming, controllers and methods
KR20150081093A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 이미지 센서, 및 이를 포함하는 이미지 처리 시스템
US10387743B2 (en) * 2016-03-16 2019-08-20 Ramot At Tel-Aviv University Ltd. Reconstruction of high-quality images from a binary sensor array
US10823611B2 (en) * 2018-09-12 2020-11-03 Bae Systems Information And Electronic Systems Integration Inc. Light sensing apparatus with automatic gain control
AU2021275061B2 (en) * 2020-05-20 2023-01-19 Ysi, Inc. Spatial gradient-based fluorometer

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659860A (zh) * 2002-04-04 2005-08-24 摩托罗拉公司 图像传感器电路及其方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036546A (en) * 1986-10-06 1991-07-30 Grumman Aerospace Corporation Pseudo-noise product coded aperture arrays and method for designing same
EP1251364A2 (en) * 1994-12-23 2002-10-23 Digirad Corporation Semiconductor gamma-ray camera and medical imaging system
US7106377B2 (en) * 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
US20040096820A1 (en) * 2002-05-31 2004-05-20 Ciphergen Biosystems, Inc. Comparative proteomics of progressor and nonprogressor populations
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
KR100855470B1 (ko) * 2006-09-28 2008-09-01 삼성전자주식회사 광원 추정 방법 및 장치
KR100835380B1 (ko) * 2007-01-15 2008-06-05 한국과학기술원 영상의 경계를 검출하는 방법 및 그 장치와 이를 구현할 수있는 컴퓨터로 읽을 수 있는 기록 매체
EP2432015A1 (en) * 2007-04-18 2012-03-21 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
EP2283644A4 (en) 2008-05-09 2011-10-26 Ecole Polytech PICTURE SENSOR WITH NONLINEAR REACTION
US8816460B2 (en) * 2009-04-06 2014-08-26 Nokia Corporation Image sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659860A (zh) * 2002-04-04 2005-08-24 摩托罗拉公司 图像传感器电路及其方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image reconstruction in the gigavision camera;Yang Feng,et al;《2009 IEEE 12th International Conference on Computer Vision Workshops》;20090927;第2212-2219页 *
T/SPIE Electronic Imaging. International Society for Optics and Photonics》.2010,第7533卷第75330K页. *
The gigavision camera;Luciano Sbaiz,et al;《IEEE International Conference on Acoustics,Speech and Signal Processing》;20090419;第1093-1096页 *
Yang Feng,et al.An optimal algorithm for reconstructing images from binary measurements.《IS&amp *

Also Published As

Publication number Publication date
KR101397351B1 (ko) 2014-05-21
US20110149274A1 (en) 2011-06-23
BR112012015711A2 (pt) 2021-07-20
CA2784873A1 (en) 2011-06-30
EP2517459A1 (en) 2012-10-31
BR112012015711B1 (pt) 2022-02-08
US8420996B2 (en) 2013-04-16
KR20120096594A (ko) 2012-08-30
EP2517459B1 (en) 2021-02-17
WO2011077398A1 (en) 2011-06-30
CA2784873C (en) 2014-08-19
CN102741670A (zh) 2012-10-17
EP2517459A4 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN102741670B (zh) 使用具有空间变化阈值的二进制传感器阵列的强度估计
Chen et al. Pulse-modulation imaging—Review and performance analysis
CN102460700B (zh) 用于子衍射极限传感器的滤色器
WO2006039494A3 (en) Semiconductor crystal high resolution imager
CN100473121C (zh) Cmos图像传感器的图像像素
CN104023183A (zh) 具有多个放大器晶体管的高动态范围像素
CN101902583B (zh) 影像传感器及具有高转换增益的低噪声像素读出电路
US20220318971A1 (en) Electronic device for supporting machine learning-based image processing
JP7179071B2 (ja) 画像走査装置、画像走査光信号受信の制御方法及び装置
US11303840B1 (en) Image sensor and sensing method thereof with polarizers for removing background noise
CN117280705A (zh) 电子装置及其图像捕获方法
US12101565B2 (en) Electronic device and method for obtaining an amount of light
Yang et al. On pixel detection threshold in the gigavision camera
US20230139967A1 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus
US11997401B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus with improved performance
KR102015585B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN115118891B (zh) 信号控制电路、图像传感器、电子设备及图像处理方法
US20230154132A1 (en) Method for providing image and electronic device supporting the same
Kisku et al. AI driven Wide Dynamic Range CMOS Image Sensor
Ma et al. Wide-angle lens array spatial acquisition with ultrawide field of view in optical links under atmospheric scintillation and background radiation
Maity et al. Cmos active pixel design using 0.6 μm image sensor technology
KR20220141663A (ko) 영상을 처리하는 방법 및 이를 수행하는 전자 장치
Bae et al. Optimization of linear-logarithmic CMOS image sensor using a photogate and a cascode MOSFET for reducing pixel response variation
KR20240047889A (ko) 카메라를 포함하는 전자 장치
KR20230024566A (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160120

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

Termination date: 20191222