CN109565532A - 在成像系统中控制透镜失准 - Google Patents

在成像系统中控制透镜失准 Download PDF

Info

Publication number
CN109565532A
CN109565532A CN201780048108.XA CN201780048108A CN109565532A CN 109565532 A CN109565532 A CN 109565532A CN 201780048108 A CN201780048108 A CN 201780048108A CN 109565532 A CN109565532 A CN 109565532A
Authority
CN
China
Prior art keywords
sensing element
signal
array
imaging system
photosensitive area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780048108.XA
Other languages
English (en)
Other versions
CN109565532B (zh
Inventor
D·J·费题格
G·A·阿干诺夫
G·罗森布拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN109565532A publication Critical patent/CN109565532A/zh
Application granted granted Critical
Publication of CN109565532B publication Critical patent/CN109565532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)

Abstract

本发明提供了一种成像系统,该成像系统包括使用成像系统(20)对场景成像,该成像系统包括辐射感测元件的阵列(24)和被配置为将来自场景的辐射聚焦到阵列上的光学器件(22),该辐射感测元件包括具有对称角响应的第一感测元件(40)和散布于第一感测元件之间、具有非对称角响应的第二感测元件(46,54,60,62)。该方法还包括处理由第一感测元件输出的第一信号,以便识别阵列上均匀辐照度的一个或多个区域;并处理位于所识别区域中的第二感测元件输出的第二信号,以便检测光学器件与阵列的失准。

Description

在成像系统中控制透镜失准
技术领域
本发明整体涉及成像系统,更具体地讲,涉及检测成像光学器件的失准。
背景技术
紧凑的数字成像系统在诸如移动电话和平板电脑的便携式数字设备中普遍存在。典型的系统包括成像透镜和图像传感器,例如位于光学器件的图像平面中的感测元件阵列。在一些应用中,有利的是让图像传感器引导成像透镜的聚焦。
发明内容
下文描述的本发明的实施方案提供用于检测光学成像系统中透镜失准的方法和装置。
因此,根据本发明的实施方案,提供了一种用于成像的方法。该方法包括使用成像系统对场景成像,该成像系统包括辐射感测元件的阵列。该阵列包括具有对称角响应的第一感测元件和散布于第一感测元件之间、具有非对称角响应的第二感测元件,以及配置为将来自场景的辐射聚焦到阵列上的光学器件。该方法包括处理由第一感测元件输出的第一信号,以便识别阵列上均匀辐照度的一个或多个区域;并处理位于所识别区域中的第二感测元件输出的第二信号,以便检测光学器件与阵列的失准。
在一个实施方案中,第二感测元件包括形成于衬底中的光敏区,设置于光敏区上方的微镜头,以及插入衬底和微镜头之间、部分地覆盖光敏区的不透明屏蔽件。除此之外或另选地,第二感测元件包括形成于衬底中的至少一个光敏区和设置于光敏区上方的微镜头,其中至少一个光敏区相对于通过微镜头指向感测元件的主光线是偏移的。
在一个实施方案中,处理第二信号包括监测光学器件相对于阵列的横向偏移,并且监测横向偏移包括通过使第二信号相对于所识别区域中的第一感测元件输出的第一信号规格化来计算所识别区域中的第二感测元件的增益,评估所计算增益与所存储增益的偏差值,并且基于所述偏差来估计所述横向偏移。。
在另一个实施方案中,第二感测元件包括具有不同相应对称角度的不同组的第二感测元件,且监测横向偏移包括比较不同组输出的第二信号,以便评估横向偏移的方向。
在另一个实施方案中,处理第二信号包括监测光学器件相对于阵列的倾斜度。
在一个实施方案中,处理第二信号包括存储针对多个类型的失准的相应增益图,通过使第二信号相对于所识别区域中的第一感测元件输出的第一信号规格化来计算所识别区域中的第二感测元件的增益,以及将所计算的增益与所存储的增益图进行比较,以确定失准的类型和大小。
在另外的实施方案中,处理第二信号包括评估光学器件的主光线与阵列相交的角度。除此之外或另选地,处理第二信号包括基于第二信号校准成像系统的对准。除此之外或另选地,处理第二信号包括基于第二信号验证成像系统已被组装到预先确定的公差之内。
根据本发明的实施方案,还提供了一种成像系统。该成像系统包括辐射感测元件的阵列、被配置为将来自场景的辐射聚焦到阵列上的光学器件,以及耦接到阵列的控制电路,辐射感测元件包括具有对称角响应的第一感测元件和散布于第一感测元件之间、具有非对称角响应的第二感测元件。控制电路被配置为处理第一信号,以便识别阵列上均匀辐照度的一个或多个区域,并处理位于所识别区域中的第二感测元件输出的第二信号,以便检测光学器件与阵列的失准。
结合附图,从下文中对本发明的实施方案的详细描述将更完全地理解本发明,在附图中:
附图说明
图1是根据本发明的一个实施方案的成像系统的示意图;
图2是根据本发明的一个实施方案,具有非对称角响应的感测元件的示意图;
图3是根据本发明的另一个实施方案,具有非对称角响应的感测元件的示意图;
图4是根据本发明的另一个实施方案,具有非对称角响应的感测元件的示意图;
图5是根据本发明的另一个实施方案,具有相反非对称角响应的两个感测元件的示意图;
图6是根据本发明的一个实施方案,从感测元件的视场中心被追踪到对称感测元件的光线的示意图;
图7是根据本发明的一个实施方案,从感测元件的视场中心被追踪到非对称感测元件的光线的示意图;
图8是根据本发明的一个实施方案,从感测元件的视场的偏离中心位置被追踪到对称感测元件的光线的示意图;
图9是根据本发明的一个实施方案,从感测元件的视场的偏离中心位置被追踪到非对称感测元件的光线的示意图;
图10是根据本发明的一个实施方案,具有不同尺寸的屏蔽件的左右屏蔽感测元件的模拟角响应的图示;
图11是根据本发明的一个实施方案,对准的光学系统的视场中心的对称感测元件和非对称感测元件输出的模拟信号的图示;
图12是根据本发明的一个实施方案,对准的光学系统的视场偏离中心位置的对称感测元件和非对称感测元件输出的模拟信号的图示;
图13是根据本发明的一个实施方案,失准的光学系统的视场中心的对称感测元件和非对称感测元件输出的模拟信号的图示;
图14是根据本发明的一个实施方案,失准的光学系统的视场偏离中心位置的对称感测元件和非对称感测元件输出的模拟信号的图示;
图15是根据本发明的一个实施方案,在对准光学系统和失准光学系统中,来自整个视场中非对称感测元件,在成像透镜的数值孔径上集成的模拟信号的图示;
图16是根据本发明的一个实施方案,非对称感测元件输出的实测信号作为成像透镜的横向偏移的函数的图示;
图17是根据本发明的一个实施方案,成像透镜的实测噪声等价横向偏移作为非对称感测元件的数量和对称感测元件中的信号电平的函数的图示;以及
图18是根据本发明的一个实施方案,示意性示出了用于计算和使用针对成像透镜失准的度量的方法的流程图。
具体实施方式
成像透镜相对于图像传感器的位置和倾斜度在成像系统中起着关键作用。一些成像系统对透镜相对于图像传感器的失准特别敏感。此类系统的示例包括但不限于利用结构化光并且基于三角测量原理的各种深度感测成像系统。深度感测系统寿命期间透镜相对于图像传感器位置或倾斜度的改变可能导致深度估计值有显著误差。对透镜失准敏感的系统的其他示例包括相机,其中在相机寿命期间的透镜失准可能导致相机整个视场范围的空间分辨率下降。
本文所述本发明的实施方案提供了用于控制成像透镜失准的成本效益的方法以及实施这些方法的装置。这些方法基于利用表现出非对称角灵敏度的感测元件。这些非对称感测元件散布在图像传感器的正常对称感测元件之间,占据感测元件位点的较小比例,例如最高几个百分比。
例如,通过在感测元件的光敏区和将光收集到感测元件上的微镜头之间插入不透明屏蔽件(部分地覆盖感测元件),或者通过从其在微镜头下方的对称位置偏移光敏区,生成非对称感测元件。角非对称性的方向由光敏区的哪个部分被屏蔽件覆盖或者向哪个方向偏移光敏区来确定。在单个微镜头下让两个光敏区沿相反反向偏移,获得了增强的定向灵敏度,在微镜头下方具有光敏区的2x2阵列获得了具有增强定向灵敏度的两个正交方向。另选地,对本领域的技术人员显而易见的是,在生成非对称感测响应时可以使用其他技术。
现代成像系统常常配备有非远心成像透镜,尤其是当用于具有小外形光学器件的移动设备中时。对于视场中心的感测元件而言,主光线垂直于图像传感器,但对于在非远心系统视场边缘处的感测元件而言,主光线可偏离法线多达30°。为了使偏心对称感测元件具有角对称的响应,相对于光敏区偏移微镜头,使得对称光轴与主光线角重合。该场的偏心位置的非对称感测元件将使其微镜头进行类似偏移,但此外,还例如通过上述方法之一产生局部主光线周围的角非对称性。
现在考虑视场(例如,与感测元件相邻)上基本相同位置的两个非对称感测元件,非对称的量相同但方向相反。为了清晰的说明而又不失实施方案的一般性,我们将在包含成像系统光轴的单个平面中涉及到成像透镜偏移和感测元件非对称性,并将把偏移方向称为左和右,将两个感测元件称为左元件和右元件。(通过相同的符号,方向可以是“上”和“下”,或在两个对角方向上。)由于这两个感测元件围绕局部主光线对称布置,它们将接收到相同量的辐射并输出相同的信号,前提条件是,在空间上,图像传感器上的局部辐照度是均匀的,并且成像透镜处于标称对准中。
如果现在将成像透镜横向偏移(垂直于其光轴),整个图像平面上的整组主光线将随之偏移,则左右感测元件之间的角平衡将被改变,并且左右感测元件将输出不相等的信号。这样,成像透镜的横向偏移被转换成由左右非对称感测元件输出的信号之间的不平衡。这种不平衡现在可以被用作校正动作的反馈信号,或者——在知道相对于透镜偏移的信号不平衡的灵敏度的情况下——可以用于计算偏移量。可以使用感测元件阵列中的对称感测元件以对主光线角不敏感的方式监测辐照度并识别用于偏移测量的均匀辐照度区域,从而确定用于均匀辐照度的上述条件。在本说明书和权利要求书的语境中,如果区域中没有高对比度边缘,则认为辐照度在图像的给定区域上是“均匀的”。例如,如果某区域之内的像素亮度水平变化超过特定指定阈值,例如在四个相邻像素之间超过10%,则该区域可被视为包含高对比度边缘。
在公开的实施方案中,使用以下算法确定成像透镜的横向(左/右)偏移的度量:
1.在视场中识别辐照度在预先确定的阈值之内均匀的区域;
2.计算所识别区域之内对称感测元件输出的平均信号;
3.针对每个左/右非对称感测元件计算增益值(通过将非对称感测元件的信号乘以这一增益),将会使该结果到达平均信号电平;
4.针对每个非对称感测元件计算所计算的增益值与所存储增益值图的偏差;以及
5.根据所识别区域上增益偏差的平均值计算横向偏移的度量。
在其他实施方案中,在阵列的不同区域中的非对称感测元件输出的信号用于评估成像透镜失准的多个分量。评估基于以下事实:透镜移动的每个自由度都在感测元件阵列上方产生不同的增益偏差图。这些自由度包括透镜作为刚体的移动(诸如沿横向轴的横向偏移、沿焦点轴的偏移,以及围绕横向轴的任一者的倾斜)以及内部透镜元件相对于彼此的移动(诸如内部横向偏移、垂直偏移和倾斜)。这些图被用作每个自由度的签名,允许对成像透镜及其部件的不同移动进行单独检测,以及增强测量的灵敏度。对由特定增益偏差图加权的增益偏差求平均值以获得用于成像透镜相应移动的度量。通过这种方式,例如,通过计算加权增益偏差平均值来提取成像透镜的倾斜度量,其中权重是从倾斜特定增益偏差图获得的。
如上文计算,以及如使用适当的灵敏度特征转换成实际偏移和倾斜度那样,可以将度量与用于表示对校正动作的需求的预设阈值比较(升高“标志”)或例如在如下应用中用作连续度量:
a)在成像系统的产生中:
i.监测组件公差;
ii.识别故障组件;
iii.测量已组装透镜的实际位置用于初始校准;
b)在成像系统的使用中:
i.利用度量作为反馈信号识别对准漂移,以引导非对称感测元件和整体成像系统,包括其成像处理算法的重新校准;
ii.驱动补偿由于温度变化造成的透镜位置变化;
iii.识别使用成像系统期间透镜的显著失准,诸如由于机械冲击造成,需要重新对准或修复成像系统;
iv.构建并监测主光线角图,用于优化感测元件的使用并监测成像透镜的总体光学行为;
v.周期性地和/或在已知事件(例如机械冲击)之后监测成像系统;
vi.记录度量的时间平均值和趋势,以实现确定成像透镜失准的更高精确度。
在正常图像捕获中,由非对称感测元件输出的信号值可乘以所存储的增益值图的值,并且结合来自对称感测元件的像素值用于输出像素值,从而保持完整图像分辨率。还可在校正增益之后施加用于缺陷校正的标准算法,以进一步改善图像质量。
图1是根据本发明的一个实施方案的成像系统20的示意图。成像系统包括成像透镜22、位于成像透镜的图像平面中的感测元件阵列24,以及连接到感测元件阵列的控制电路34。通过例示的方式,透镜22将来自场景的光聚焦到位于成像系统20视场中心的点26和位于视场周边的点28上。指向点26的主光线30以法向角度照射到感测元件阵列上,而指向点28的主光线32由于成像系统20为非远心的而以非法向角度照射在感测元件阵列上。如上所述,主光线32与法线的偏差可高达30°。
基于来自阵列24的信号,控制电路34检测成像透镜22与阵列24之间的失准,如下文详述。在一些实施方案中,控制电路34包括通用微处理器或嵌入式微控制器,其在软件或固件中被编程控制以执行本文所描述的检测方法。除此之外或另选地,控制电路34包括执行这些功能的至少一部分的可编程或硬连线逻辑电路。所有这些具体实施被视为在本发明的范围内。
图2-图5是可集成在阵列24中的具有非对称角响应的感测元件的示意图。
图2是根据本发明的一个实施方案,具有非对称角响应的感测元件40的示意图。感测元件40包括定位在光敏区44上方的微镜头42。通过在微镜头下方的偏移位置(与对称位置相比)配置光敏区来实现非对称角响应。
图3是根据本发明的另一个实施方案,具有非对称角响应的感测元件46的示意图。感测元件46包括定位在光敏区50上方的微镜头48,以及在微镜头和光敏区之间插入、部分地覆盖后者的不透明屏蔽件52。它是由产生非对称角响应的屏蔽件实现的部分覆盖。
图4是根据本发明的另一个实施方案,具有非对称角响应的感测元件54的示意图。感测元件54包括定位于两个光敏区58上方的微镜头56,在微镜头下对称地偏移。图示的感测元件为图2中所示感测元件的延伸,因为来自光敏区的每一个的角响应都是非对称的,增加的特征在于,两个光敏区都在相反方向上使其角响应偏移。
图5是根据本发明的另一个实施方案的两个感测元件60和62的示意图。感测元件60与图3的感测元件46相同,并且感测元件62为其镜像。感测元件60对从右方(在图5的视图中)到达的辐射更灵敏,感测元件62对从左方到达的辐射更灵敏。为了清楚起见,后续的详细描述将按如下方式指代这两个感测元件:将感测元件60指代“右感测元件”,将感测元件62指代“左感测元件”。
不过,本发明的范围不以任何方式限于这些特定的感测元件,可以利用现有技术已知的具有非对称角响应的基本任何种类的感测元件来应用本文所述的原理。方向“左”和“右”是随意使用的,可指成像系统的图像平面中的任何方向。
图6-图9是追踪到诸如系统20的成像系统视场的中心和偏心位置的对称感测元件和非对称感测元件的光线的示意图。
图6是根据本发明的一个实施方案,追踪到视场中心的对称感测元件70的光线的示意图。对称感测元件70包括微镜头72(由被追踪光线束74遮蔽)和光敏区76。光线束74中的所有光线都到达光敏区76。光线在虚线78处略微折射,这表示从空气过渡到覆盖光敏区76的固体材料(未示出固体材料以增强图的清晰度)。在图7-图9中,从空气过渡到固体被类似地示为虚线78。
图7是根据本发明的一个实施方案,追踪到视场中心的非对称感测元件80的光线的示意图。类似于对称感测元件70(图6),非对称感测元件80包括微镜头82(由被追踪光线束84遮蔽)和光敏区86。此外,感测元件包括在微镜头和光敏区之间插入、部分地覆盖光敏区并遮挡光线束一部分的不透明屏蔽件88。图7中追踪的光线的大约一半到达光敏区。
图8是根据本发明的一个实施方案,被追踪到视场偏心位置的对称感测元件90的光线的示意图,主光线从法线偏离30°角。类似于对称感测元件70(图6),对称感测元件90包括微镜头92(由被追踪光线束94遮蔽)和光敏区96。与对称感测元件70相比,差异在于,由于视场中特定位置的主光线有30°倾角,已经使微镜头92偏移,以便确保被微镜头通过的整个光束都到达光敏区。
图9是根据本发明的一个实施方案,被追踪到视场偏心位置的非对称感测元件100的光线的示意图,主光线从法线偏离30°角。类似于处于同一偏心位置的对称感测元件90(图8),非对称感测元件100包括微镜头102(由被追踪光束104遮蔽)和光敏区106,微镜头被偏移以补偿主光束倾角。类似于非对称感测元件80(图7),已在微镜头和光敏区之间插入不透明屏蔽件108,以便遮挡光束的一部分,定位不透明屏蔽件以使大约一半的光线束到达光敏区。
图10-图15是前面实施方案中的感测元件输出的模拟信号的示意图。在图10-图14中,水平轴120表示入射辐射从-40°至+40°的角度,并且竖直轴122表示相对单位的信号。
图10是根据本发明的一个实施方案,针对不同尺寸的屏蔽件,左右屏蔽的感测元件的模拟角响应的图示。图10中的曲线描绘了位于视场中心的左右非对称元件输出的信号作为光敏区入射辐射的角度的函数,因此关于0°角是对称的。个体曲线对应于所插入不透明屏蔽件遮挡的不同量,如下文将详细所述。曲线的系列110示出了右非对称感测元件输出的信号,曲线的系列112示出了左非对称感测元件输出的信号。
例如,来自系列110(右非对称感测元件)的一条曲线114表明,在18°(从右侧入射的辐射)的入射辐射角度下,获得了信号最大值,而垂直入射(0°)是18°入射角下最大信号值的55%。通过对称的方式,来自系列112(左非对称感测元件)的曲线116表明,在-18°(从左侧入射的辐射)的入射辐射角度下,获得了信号最大值,而垂直入射(0°)是-18°入射角下最大信号值的55%。两个曲线图在点118处相交于0°。
这两条曲线114和116下方的曲线涉及被不透明屏蔽件遮蔽更大的非对称感测元件,而上方的曲线涉及更小的遮蔽。较大的遮蔽增强了非对称感测元件的角灵敏度,同时减小信噪比。另一方面,较小的遮蔽减少了角度灵敏度,同时提高了信噪比。因此,可以相对于角度灵敏度和信噪比两个相反的性能因素优化遮蔽量。
图11是根据本发明的一个实施方案,对准的光学系统的视场中心的对称感测元件和非对称感测元件输出的模拟信号作为入射辐射的角度的函数的图示。对于非对称感测元件,不透明屏蔽件覆盖光敏区的一半。曲线130表示来自对称感测元件的信号,而曲线132和134分别表示来自左非对称感测元件和右非对称感测元件的信号。来自将光聚焦到f数为2.2的感测元件阵列(f/2.2透镜)成像透镜的角辐射分布也被示为曲线136。在这种情况下,左非对称感测元件和右非对称感测元件将输出大致相等的信号。信号的对称性表明光学系统得到对称地对准。曲线130-136的相同标记法适用于图12-图14。
图12是根据本发明的一个实施方案,视场偏心位置的对称感测元件和非对称感测元件输出的模拟信号作为入射辐射的角度的函数的图示。本示例是针对对准光学系统中-20°的主光线角度计算的。左非对称感测元件和右非对称感测元件在-20°的入射角两边平衡,如其信号132和134相应地在这一角度处相等的事实所示。由曲线136表示的来自成像透镜的角辐射分布也在此角度居中。
图13是根据本发明的一个实施方案,光学系统的视场中心的对称感测元件和非对称感测元件输出的模拟信号作为入射辐射的角度的函数的图示。在这种情况下,该成像透镜已经被横向偏移,导致主光线发生+5°的偏移。由感测元件输出的信号与图11的信号相同,但如曲线136所示,来自f/2.2成像透镜的角辐射分布现在居中于+5°,从而与右非对称感测元件的响应曲线重叠更大,与左非对称感测元件的响应曲线重叠更小。因此,由于透镜的失准,右非对称感测元件将输出比左非对称感测元件相对更强的信号。
图14是根据本发明的一个实施方案,视场偏心位置的对称感测元件和非对称感测元件输出的模拟信号作为入射辐射的角度的函数的图示,主光线的角度为-20°。在该实施例中,成像透镜同样已经被横向偏移,导致主光线发生+5°的偏移。由感测元件输出的信号与图12的信号相同,但曲线136所示的f/2.2成像透镜的角辐射分布现在偏移5°并且居中于-15°。同样,成像透镜失准导致来自右非对称感测元件的信号比来自左非对称感测元件的更强。
图15是根据本发明的一个实施方案,来自成像系统整个视场中分布的非对称感测元件,在f/2.2成像透镜的数值孔径上集成的模拟信号的图示。两条曲线142和144分别示出了来自右非对称元件和左非对称元件的适当光学对准的系统的响应,而曲线146和148分别来自右非对称元件和左非对称元件,对应于成像透镜5°的失准。图15中的信号是通过对场中若干位置(诸如,图11-图14中针对两个场位置示出的那些)的感测元件信号集成,通过f/2.2透镜的辐照分布进行加权并由对称感测元件输出的信号进行规格化而获得的。
水平轴138表示在视场中的位置,50%是指视场的中心,0%和100%分别是指视场的左边缘和右边缘。垂直轴140表示规格化信号。
成像透镜的5°度偏移(相对于主光线偏移而言)具有增大右非对称感测元件输出的信号(来自曲线142到曲线146)并减小左非对称感测元件输出的信号(来自曲线144到曲线148)的效果。这些偏移由控制电路34(图1)用于监测成像透镜的横向失准。
图16-图17是曲线图,基于使用具有图像传感器(具有对称感测元件和非对称感测元件)的光学系统的实测信号示出了结果。
图16是根据本发明的一个实施方案,来自四种“左”和“右”非对称感测元件的实测信号电平作为成像透镜的横向偏移的函数的图示。来自四种非对称感测元件的信号由四条曲线154、156、158和160表示。水平轴150以微米为单位表示成像透镜的横向偏移,竖直轴152表示为了使其信号到达周围对称感测元件的平均值而必须施加到非对称感测元件的计算增益。曲线在非零横向偏移处的交叉点的位置代表实验的定位公差。
图17是根据本发明的一个实施方案,成像系统中成像透镜的实测噪声等价横向偏移作为系统中非对称感测元件的数量和对称感测元件中的信号电平的函数的图示。水平轴170表示图像传感器中非对称感测元件的数量(单位为千),并且竖直轴172表示基于由非对称感测元件输出的信号来计算的以微米为单位的成像透镜的噪声等价横向偏移。数据点是从诸如图16中所示实验的实验中获得的。四条曲线174、176、178和180是指来自对称感测元件的220电子、1430电子、4440电子和6940电子的相应信号电平。对于高信号,可获得计算透镜偏移时优于0.2微米的精确度,对于低信号,可获得优于0.9微米的精确度。
图18是根据本发明的一个实施方案,示意性示出了用于计算和使用成像透镜失准的度量的方法的流程图190。这种方法可以例如由控制电路34用于监测成像系统20的对准。
在识别步骤200中,使用阵列24中的对称感测元件输出的信号,控制电路34识别视场中辐照度在预先确定的阈值之内均匀的区域。在平均步骤202中,将使用所识别区域中对称感测元件输出的信号的平均值作为参考值。在增益计算步骤204中,控制电路34处理非对称感测元件输出的信号,其灵敏度方向与要计算的失准方向重合。对于这些信号中的每一个,控制电路34通过用来自非对称感测元件中的每一个输出的信号除以参考值来计算增益。
在比较步骤206中,例如,通过从所存储的增益图减去增益,将每个非对称感测元件的增益与所存储的增益值进行比较,从而产生增益偏差。在增益偏差平均步骤208中,这些增益偏差在均匀辐照度的区域上被平均化,并且在增益比较步骤210中,将平均值与预先确定的阈值进行比较。当在决策步骤212中平均增益偏差超过阈值时,在校正动作步骤216中采取一个或多个校正动作(例如,重新对准光学器件或重新校准图像处理算法)。否则,如果平均增益偏差低于阈值,则根据无动作步骤214,不执行任何动作。
应当理解,上文所描述的实施方案以示例的方式引用,并且本实用新型不限于上文已特别示出或描述的内容。相反,本发明的范围包括上文所述的各种特征、以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。

Claims (20)

1.一种用于成像的方法,包括:
使用成像系统对场景成像,所述成像系统包括辐射感测元件的阵列和被配置为将来自所述场景的辐射聚焦到所述阵列上的光学器件,所述辐射感测元件的阵列包括具有对称角响应的第一感测元件和散布于所述第一感测元件之中、具有非对称角响应的第二感测元件;
处理由所述第一感测元件输出的第一信号,以便识别所述阵列上均匀辐照度的一个或多个区域;以及
处理由位于所识别区域中的所述第二感测元件输出的第二信号,以便检测所述光学器件与所述阵列的失准。
2.根据权利要求1所述的方法,其中所述第二感测元件包括:
光敏区,所述光敏区形成于衬底中;
微镜头,所述微镜头设置于所述光敏区上方;和
不透明屏蔽件,所述不透明屏蔽件置于所述衬底和所述微镜头之间、部分地覆盖所述光敏区。
3.根据权利要求1所述的方法,其中所述第二感测元件包括:
至少一个光敏区,所述至少一个光敏区形成于衬底中;和
微镜头,所述微镜头设置于光敏区上方,
其中所述至少一个光敏区相对于通过所述微镜头指向所述感测元件的主光线是偏移的。
4.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括监测所述光学器件相对于所述阵列的横向偏移。
5.根据权利要求4所述的方法,其中监测所述横向偏移包括:
通过使所述第二信号相对于所述所识别区域中的所述第一感测元件输出的所述第一信号规格化来计算所述所识别区域中的所述第二感测元件的增益;
评估所计算增益与所存储增益的偏差值;以及
基于所述偏差来估计所述横向偏移。
6.根据权利要求4所述的方法,其中所述第二感测元件包括具有不同相应非对称角度的不同组的第二感测元件,并且其中监测所述横向偏移包括比较所述不同组输出的第二信号,以便评估所述横向偏移的方向。
7.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括监测所述光学器件相对于所述阵列的倾斜度。
8.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括:
存储针对多个类型的失准的相应增益图;
通过使所述第二信号相对于所述所识别区域中的所述第一感测元件输出的所述第一信号规格化来计算所述所识别区域中的所述第二感测元件的增益;以及
将所计算的增益与所存储的增益图进行比较,以便识别所述失准的类型和量值。
9.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括评估所述光学器件的主光线与所述阵列相交的角度。
10.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括基于所述第二信号校准所述成像系统的对准。
11.根据权利要求1至3中任一项所述的方法,其中处理所述第二信号包括基于所述第二信号验证所述成像系统已被组装到预先确定的公差之内。
12.一种成像系统,包括:
辐射感测元件的阵列,包括:
具有对称角响应的第一感测元件,所述第一感测元件被配置为输出第一信号;和
具有非对称角响应的第二感测元件,所述第二感测元件散布于所述第一感测元件之中并被配置为输出第二信号;
光学器件,所述光学器件被配置为将来自场景的辐射聚焦到所述阵列上;和
控制电路,所述控制电路被耦接到所述阵列并被配置为处理所述第一信号,以便识别所述阵列上均匀辐照度的一个或多个区域,并处理位于所识别区域中的所述第二感测元件输出的第二信号,以便检测所述光学器件与所述阵列的失准。
13.根据权利要求12所述的成像系统,其中所述第二感测元件包括:
光敏区,所述光敏区形成于衬底中;
微镜头,所述微镜头设置于所述光敏区上方;和
不透明屏蔽件,所述不透明屏蔽件置于所述衬底和所述微镜头之间、部分地覆盖所述光敏区。
14.根据权利要求12所述的成像系统,其中所述第二感测元件包括:
形成于衬底中的至少一个光敏区;和
微镜头,所述微镜头设置于所述光敏区上方,
其中所述至少一个光敏区相对于通过所述微镜头指向所述感测元件的主光线是偏移的。
15.根据权利要求12至14中任一项所述的成像系统,其中由所述控制电路监测的所述失准包括所述光学器件相对于所述阵列的横向偏移。
16.根据权利要求15所述的系统,其中所述第二感测元件包括具有不同相应非对称角度的不同组的第二感测元件,并且
其中所述控制电路被配置为比较由所述不同组输出的第二信号,以便评估所述横向偏移的方向。
17.根据权利要求12至14中任一项所述的成像系统,其中由所述控制电路监测的所述失准包括所述光学器件相对于所述阵列的倾斜度。
18.根据权利要求12至14中的任一项所述的成像系统,其中所述控制电路被配置为通过处理所述第二信号来评估所述光学器件的主光线与所述阵列相交的角度。
19.根据权利要求12至14中任一项所述的成像系统,其中所述控制电路被配置为基于所述第二信号校准所述成像系统的对准。
20.根据权利要求12至14中任一项所述的成像系统,其中所述控制电路被配置为基于所述第二信号验证所述成像系统已被组装到预先确定的公差之内。
CN201780048108.XA 2016-08-02 2017-06-22 在成像系统中控制透镜失准 Active CN109565532B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662369773P 2016-08-02 2016-08-02
US62/369,773 2016-08-02
US15/498,507 2017-04-27
US15/498,507 US10205937B2 (en) 2016-08-02 2017-04-27 Controlling lens misalignment in an imaging system
PCT/US2017/038641 WO2018026443A1 (en) 2016-08-02 2017-06-22 Controlling lens misalignment in an imaging system

Publications (2)

Publication Number Publication Date
CN109565532A true CN109565532A (zh) 2019-04-02
CN109565532B CN109565532B (zh) 2021-03-23

Family

ID=61069749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048108.XA Active CN109565532B (zh) 2016-08-02 2017-06-22 在成像系统中控制透镜失准

Country Status (3)

Country Link
US (1) US10205937B2 (zh)
CN (1) CN109565532B (zh)
WO (1) WO2018026443A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013219966B2 (en) 2012-02-15 2015-04-02 Apple Inc. Scanning depth engine
US10908383B1 (en) 2017-11-19 2021-02-02 Apple Inc. Local control loop for projection system focus adjustment
US11178392B2 (en) 2018-09-12 2021-11-16 Apple Inc. Integrated optical emitters and applications thereof
WO2020163139A2 (en) 2019-02-04 2020-08-13 Apple Inc. Vertical emitters with integral microlenses
US11994694B2 (en) 2021-01-17 2024-05-28 Apple Inc. Microlens array with tailored sag profile

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060147113A1 (en) * 2004-12-28 2006-07-06 Han Seung-Hoon Apparatus to detect homogeneous region of image using adaptive threshold
US20150062422A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Lens alignment in camera modules using phase detection pixels

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060147113A1 (en) * 2004-12-28 2006-07-06 Han Seung-Hoon Apparatus to detect homogeneous region of image using adaptive threshold
US20150062422A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Lens alignment in camera modules using phase detection pixels

Also Published As

Publication number Publication date
US20180041755A1 (en) 2018-02-08
WO2018026443A1 (en) 2018-02-08
CN109565532B (zh) 2021-03-23
US10205937B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109565532A (zh) 在成像系统中控制透镜失准
US7652251B1 (en) Registration methods for fusing corresponding infrared and visible light images
US10277887B2 (en) Calibration method and measurement tool
KR101000267B1 (ko) 태양광을 센싱하는 태양센서장치
CN100409058C (zh) 摄像元件的偏斜测量装置及其测量方法
CN101326622B (zh) 表面粗糙度检查装置
KR20110124703A (ko) 웨이퍼 결함 검사 장치 및 웨이퍼 결함 검사 방법
US10397565B2 (en) Imaging device with alignment analysis
CN102455247A (zh) 投影物镜最佳焦面检测装置及方法
CN103676487B (zh) 一种工件高度测量装置及其校正方法
JP2007505304A (ja) 調査する目標物の方向の測定方法
US20160169667A1 (en) Ultra-Miniature Wide-Angle Lensless CMOS Visual Edge Localizer
CN103808299B (zh) 太阳敏感器
CN108291742A (zh) 校准热电太阳能发电厂的定日镜
CN109751917A (zh) 一种热成像瞄准镜安装基准偏轴度的校准方法
US7436516B2 (en) Reflection characteristic measuring apparatus
US10362303B2 (en) Sensor-assisted autofocus calibration
WO2022076295A1 (en) Method and apparatus for in-field stereo calibration
JP5531883B2 (ja) 調整方法
US10481007B2 (en) System for detecting electromagnetic radiation
JP2006343143A (ja) 撮像素子の検査装置
US8416404B2 (en) Method and system for measurement and correction of thermally induced changes of boresight, effective focal length, and focus
JP4962763B2 (ja) 欠陥検査装置および欠陥検査方法
JP2948798B1 (ja) 石炭パイルの温度測定装置
US7692161B2 (en) System and method for correcting spatial luminance variation of computed radiography image plates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant