CN103907342B - 利用阻隔红外传感器确定绝对辐射值的方法和装置 - Google Patents
利用阻隔红外传感器确定绝对辐射值的方法和装置 Download PDFInfo
- Publication number
- CN103907342B CN103907342B CN201280054228.8A CN201280054228A CN103907342B CN 103907342 B CN103907342 B CN 103907342B CN 201280054228 A CN201280054228 A CN 201280054228A CN 103907342 B CN103907342 B CN 103907342B
- Authority
- CN
- China
- Prior art keywords
- infrared sensor
- shielding
- scene
- frame
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005855 radiation Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000004888 barrier function Effects 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 56
- 238000004806 packaging method and process Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 230000004043 responsiveness Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 34
- 238000001931 thermography Methods 0.000 abstract description 9
- 238000003331 infrared imaging Methods 0.000 description 70
- 230000008569 process Effects 0.000 description 54
- 230000033001 locomotion Effects 0.000 description 42
- 238000001914 filtration Methods 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 17
- 230000001052 transient effect Effects 0.000 description 17
- 230000008878 coupling Effects 0.000 description 12
- 238000010168 coupling process Methods 0.000 description 12
- 238000005859 coupling reaction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 11
- 239000000758 substrate Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 238000003705 background correction Methods 0.000 description 6
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 239000004411 aluminium Substances 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012536 packaging technology Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 229910052759 nickel Inorganic materials 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 238000009416 shuttering Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 229910001935 vanadium oxide Inorganic materials 0.000 description 2
- 229910052725 zinc Inorganic materials 0.000 description 2
- 239000011701 zinc Substances 0.000 description 2
- PFNQVRZLDWYSCW-UHFFFAOYSA-N (fluoren-9-ylideneamino) n-naphthalen-1-ylcarbamate Chemical compound C12=CC=CC=C2C2=CC=CC=C2C1=NOC(=O)NC1=CC=CC2=CC=CC=C12 PFNQVRZLDWYSCW-UHFFFAOYSA-N 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- XHCLAFWTIXFWPH-UHFFFAOYSA-N [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] XHCLAFWTIXFWPH-UHFFFAOYSA-N 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 239000005387 chalcogenide glass Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010338 mechanical breakdown Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000017702 response to host Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009461 vacuum packaging Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
Abstract
提供各种技术用于热成像装置的一个或多个屏蔽(例如阻挡、阻隔和/或遮盖)红外传感器。在一个示例中,方法包括捕捉来自屏蔽红外传感器的信号,其中屏蔽红外传感器实质上受阻隔无法接收来自场景的红外辐射。该方法还包括捕捉来自设置为接收来自场景的红外辐射的未屏蔽红外传感器的信号。该方法还包括基于捕捉到的屏蔽红外传感器的信号确定屏蔽和未屏蔽红外传感器的平均热像偏移参考。该方法还包括基于平均热像偏移参考和捕捉到的未屏蔽红外传感器的信号来确定场景的绝对辐射值。
Description
相关申请的交叉引用
本申请要求2012年03月28日提交的、名称为“利用阻隔红外传感器确定绝对辐射值(DETERMINATION OF AN ABSOLUTE RADIOMETRIC VALUE USING BLOCKED INFRAREDSENSORS)”的第61/616,766号美国临时专利申请的权益,该文献以其整体参考引用于此。
本申请要求2011年10月07日提交的、名称为“红外成像装置的非均匀校正技术(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)”的第61/545,056号美国临时专利申请的权益,该文献以其整体参考引用于此。
本申请还要求2011年06月10日提交的、名称为“红外照相机包装系统和方法(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS)”的第61/495,873号美国临时专利申请的权益,该文献以其整体参考引用于此。
本申请还要求2011年06月10日提交的、名称为“红外照相机系统架构(INFRAREDCAMERA SYSTEM ARCHITECTURES)”的第61/495,879号美国临时专利申请的权益,该文献以其整体参考引用于此。
本申请还要求2011年06月10日提交的、名称为“红外照相机校正技术(INFRAREDCAMERA CALIBRATION TECHNIQUES)”的第61/495,888号美国临时专利申请的权益,该文献以其整体参考引用于此。
技术领域
本发明的一个或多个实施例总体上涉及热成像装置,更具体地,例如涉及在这样的装置中的阻隔红外传感器(blocked infrared sensor)的利用。
背景技术
现有的热成像器典型地与在阵列中排列的多个红外传感器一起实施,从而捕捉目标场景的热图像。各个红外传感器总体上呈现像素到像素变化(pixel-to-pixelvariation),使得如果左边未校正,则接收相同红外辐射的红外传感器可以呈现显著不同的输出信号。
为了补偿这样的变化,可以在工厂测试过程中确定标准项(calibration term)。可惜,这样的工厂测试通常费时且昂贵。还可以通过温度控制快门的使用周期性地确定标准项。就这一点而言,快门可以用于暂时地阻隔红外传感器的阵列。通过捕捉快门的图像,可以为各个红外传感器确定各个偏移值。这些各个偏移值可以应用于目标场景的随后捕捉到的热图像,从而为红外传感器提供实质上一致的性能。可惜,传统的快门实施方式会易于发生机械故障。这样的快门还会增加热成像器的费用、重量以及复杂性。
发明内容
提供技术用于利用热成像装置的一个或多个屏蔽(例如,阻挡、阻隔和/或遮盖)红外传感器。在一个示例中,可以确定场景的热图像的每一个像素的绝对辐射值。例如,屏蔽红外传感器(shielded infrared sensor)可以用于确定平均热像偏移参考(averagethermographic offset reference),该平均热像偏移参考可以进一步用于确定绝对辐射值。有利地,绝对辐射值可以用于在不依靠由工厂标准操作和/或基于快门的技术确定的像素到像素偏移值的情况下确定场景的热图像的每一个像素的温度。
根据一个实施例,方法包括捕捉来自屏蔽红外传感器的信号,其中屏蔽红外传感器实质上受阻隔无法接收来自场景的红外辐射;捕捉来自设置为接收来自场景的红外辐射的未屏蔽红外传感器(unshielded infrared sensor)的信号;基于捕捉到的屏蔽红外传感器的信号确定屏蔽和未屏蔽红外传感器的平均热像偏移参考;以及基于平均热像偏移参考和捕捉到的未屏蔽红外传感器的信号确定场景的绝对辐射值。
根据另一实施例,装置包括实质上受阻隔无法接收来自场景的红外辐射的屏蔽红外传感器;配置为接收来自场景的红外辐射的未屏蔽红外传感器;以及处理装置,该处理装置配置为:基于从屏蔽红外传感器捕捉到的信号确定屏蔽和未屏蔽红外传感器的平均热像偏移参考,以及基于平均热像偏移参考和从未屏蔽红外传感器捕捉到的信号确定场景的绝对辐射值。
本发明的范围由权利要求限定,权利要求参考引用到本章节中。本发明的实施例的更加完整的理解以及其附加优势的实现将通过一个或多个实施例的以下详细说明的考虑提供给所属技术领域的技术人员。将对首先进行简要描述的附图作出参照。
附图说明
图1表示根据本发明的实施例配置为在主机装置(host device)中实施的红外成像模块(infrared imaging module)。
图2表示根据本发明的实施例的组装的红外成像模块。
图3表示根据本发明的实施例并置在托座(socket)上的红外成像模块的分解图。
图4表示根据本发明的实施例包括红外传感器的阵列的红外传感器组件(infrared sensor assembly)的方框图。
图5表示根据本发明的实施例确定NUC项的各个操作的流程图。
图6表示根据本发明的实施例的在邻近像素之间的差值。
图7表示根据本发明的实施例的平场校正技术(flat field correctiontechnique)。
图8表示根据本发明的实施例的图5的各种图像处理技术以及在图像处理管线(image processing pipeline)中应用的其它操作。
图9表示根据本发明的实施例的暂态噪声降低过程(temporal noise reductionprocess)。
图10表示根据本发明的实施例的图6的图像处理管线的若干个过程的特殊实施细节。
图11表示根据本发明的实施例的像素的邻域(neighborhood)中的空间相关FPN。
图12表示根据本发明的实施例包括未屏蔽和屏蔽红外传感器的红外传感器组件的横截面侧视图。
图13表示根据本发明的实施例利用未屏蔽和屏蔽红外传感器的各个操作的流程图。
通过参照接下来的详细说明将最好地理解本发明的实施例及其优点。应当领会的是相同的附图标记用于识别一个或多个附图中表示的相同的元件。
具体实施方式
图1表示根据本发明的实施例配置为在主机装置102中实施的红外成像模块100(例如,红外照相机或红外成像装置)。对于一个或多个实施例,红外成像模块100可以与小封装技术(small form factor)一起并根据圆片级封装技术(wafer level packagingtechnique)或其它封装技术实施。
在一个实施例中,红外成像模块100可以配置为在例如移动电话、平板电脑装置、笔记本电脑装置、个人数字助理、可见光相机(visible light camera)、音乐播放器或任何其它适当的移动装置这样的小型便携式主机装置102中实施。就这一点而言,红外成像模块100可以用于对主机装置102提供红外成像功能。例如,红外成像模块100可以配置为捕捉、处理和/或以其它方式管理红外图像,并对主机装置102提供这样的红外图像以任何期望的方式供使用(例如,用于进一步处理、存储在存储器中、显示、被主机装置102中运行的各种应用使用、输出到其它装置,或其它用途)。
在各个实施例中,红外成像模块100可以配置为以低电压等级并跨越宽温度范围操作。例如,在一个实施例中,红外成像模块100可以利用大约2.4伏特、2.5伏特、2.8伏特,或较低电压的电源操作,并且跨越大约-20摄氏度至大约+60摄氏度的温度范围操作(例如,跨越大约80摄氏度的环境温度范围提供合适的动态范围和性能)。在一个实施例中,通过以低电压等级操作红外成像模块100,与其它类型的红外成像装置相比,红外成像模块100会经历降低量的自热。结果,可以利用减少的措施操作红外成像模块100,从而补偿这样的自热。
如图1所示,主机装置102可以包括托座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其它组件198。托座104可以配置为容纳红外成像模块100,如由箭头101识别的那样。就这一点而言,图2表示根据本发明的实施例的组装在托座104中的红外成像模块100。
可以通过一个或多个加速计、陀螺仪或可以用于检测主机装置102的移动的其它适当的装置实施运动传感器194。运动传感器194可以通过处理模块160或处理器195进行监测,并且可以对处理模块160或处理器195提供信息,从而检测运动。在各个实施例中,运动传感器194可以实施为主机装置102的一部分(如图1所示)、红外成像模块100,或连接到主机装置102或以其它方式与主机装置102接口的其它装置。
处理器195可以实施为可以被主机装置102用于执行例如在存储器196中提供的软件指令这样的适当的指令的任何适当的处理装置(例如逻辑装置、微控制器、处理器、专用集成电路(ASIC),或其它装置)。显示器197可以用于显示捕捉到的和/或经处理的红外图像和/或其它图像、数据和信息。其它组件198可以用于根据各种应用(例如时钟、温度传感器、可见光相机,或其它组件)所期望的,实施主机装置102的任何功能。此外,可以提供机器可读介质(machine readable medium)193用于存储加载到存储器196中并由处理器195执行的永久指令。
在各个实施例中,红外成像模块100和托座104可以实现大规模生产,从而促进高容量应用,例如,在移动电话或其它装置(例如,需要小封装技术)中实施。在一个实施例中,红外成像模块100和托座104的组合会呈现大约8.5mm乘8.5mm乘5.9mm的总尺寸,同时红外成像模块100安装在托座104中。
图3表示根据本发明的实施例并置在托座104上的红外成像模块100的分解图。红外成像模块100可以包括透镜镜筒(lens barrel)110、外壳120、红外传感器组件128、电路板170、底座(base)150和处理模块160。
透镜镜筒110可以至少部分地围绕光学元件180(例如透镜),光学元件180通过透镜镜筒110中的孔112在图3中部分可见。透镜镜筒110可以包括实质上圆柱形延伸部114,其可以用于在外壳120中接合透镜镜筒110和孔122。
红外传感器组件128可以例如与安装在基板(substrate)140上的帽状物(cap)130(例如,盖子)一起实施。红外传感器组件128可以包括在阵列中或以其它方式在基板140上实施并被帽状物130覆盖的多个红外传感器132(例如红外检测器)。例如,在一个实施例中,红外传感器组件128可以实施为焦平面阵列(FPA)。这样的焦平面阵列可以实施为例如真空包装组件(例如,被帽状物130和基板140密封)。在一个实施例中,红外传感器组件128可以实施为圆片级封装(例如,红外传感器组件128可以从提供在圆片上的一组真空包装组件中分离)。在一个实施例中,可以实施红外传感器组件128从而利用大约2.4伏特、2.5伏特、2.8伏特或类似伏特的电源操作。
红外传感器132可以配置为检测来自目标场景的红外辐射(例如红外能),目标场景包括,例如中波红外波段(MWIR)、长波红外波段(LWIR)和/或根据在特殊实施方式中期望的其它热成像波段。在一个实施例中,可以根据圆片级封装技术提供红外传感器组件128。
红外传感器132可以实施为例如以任何期望的阵列模式排列的微测热辐射计(microbolometer)或其它类型的热成像红外传感器,从而提供多个像素。在一个实施例中,红外传感器132可以实施为具有17μm像素间距的氧化钒(VOx)检测器。在各个实施例中,可以使用大约32乘32红外传感器132、大约64乘64红外传感器132、大约80乘64红外传感器132的阵列,或者其它阵列尺寸。
基板140可以包括各种电路,其中电路包括例如在一个实施例中规模小于大约5.5mm乘5.5mm的读出集成电路(ROIC)。基板140还可以包括接合焊盘(bond pad)142,当红外成像模块100组装为图2所示那样时,接合焊盘142可以用于接触放置在外壳120的内表面上的互补连接。在一个实施例中,ROIC与低压差线性稳压器(LDO)一起实施从而完成电压调整,以降低引入红外传感器组件128中的电源噪声,因此提供提高的电源抑制比(PSRR)。而且,通过实施LDO和ROIC(例如,在圆片级封装中),可以消费较小的芯片面积(die area)并且需要较少的分立模具(discrete die)(或芯片(chip))。
图4表示根据本发明的实施例包括红外传感器132的阵列的红外传感器组件128的方框图。在所示的实施例中,提供红外传感器132作为ROIC402的单元晶胞阵列(unit cellarray)的一部分。ROIC 402包括偏压生成和定时控制电路(bias generation and timingcontrol circuitry)404、列放大器(column amplifier)405、列多路复用器(columnmultiplexer)406、行多路复用器(row multiplexer)408以及输出放大器410。由红外传感器132捕捉到的图像帧(例如,热图像)可以通过输出放大器410提供至处理模块160、处理器195和/或任何其它适当的组件,从而完成这里描述的各种处理技术。尽管图4中示出了8乘8阵列,但在其它实施例中可以使用任何期望的阵列排列。ROIC和红外传感器(例如,微测热辐射计电路)的进一步描述可以在2000年02月22日授权的第6,028,309号美国专利中找到,该文献以其整体参考引用于此。
红外传感器组件128可以捕捉图像(例如,图像帧)并且以各种速率提供来自其ROIC的这样的图像。处理模块160可以用于完成捕捉到的红外图像的适当的处理并且可以根据任何适当的构架实施。在一个实施例中,处理模块160可以实施为ASIC。就这一点而言,这样的ASIC可以配置为在高性能和/或高效率的情况下完成图像处理。在另一实施例中,处理模块160可以与通用中央处理单元(CPU)一起实施,通用中央处理单元(CPU)可以配置为执行适当的软件指令从而完成图像处理、利用各种图像处理块(image processing block)协调和完成图像处理、协调处理模块160和主机装置102之间的接口连接,和/或其它操作。在又一实施例中,处理模块160可以与现场可编程门阵列(FPGA)一起实施。如所属技术领域的技术人员可以理解的那样,在其它实施例中处理模块160可以与其它类型的处理和/或逻辑电路一起实施。
在这些和其它实施例中,在适当的情况下,处理模块160还可以与例如易失性存储器、非易失性存储器和/或一个或多个接口(例如,红外检测器接口、内置集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行为组织(JTAG)接口(例如IEEE 1149.1标准测试访问端口和边界扫描结构)和/或其它接口)这样的其它组件一起实施。
在一些实施例中,红外成像模块100可以进一步包括一个或多个执行器(actuator)199,其用于调整由红外传感器组件128捕捉到的红外图像帧的焦点。例如,执行器199可以用于相对于彼此移动光学元件180、红外传感器132和/或其它组件,从而根据这里所描述的技术选择性地使红外图像帧聚焦和散焦。可以根据任何类型的诱导运动装置或机制实施执行器199,并且根据适于不同的应用,执行器199可以设置在红外成像模块100内或外部的任何位置。
当组装红外成像模块100时,外壳120可以实质上围绕红外传感器组件128、底座150和处理模块160。外壳120可以促进红外成像模块100的各个组件的连接。例如,在一个实施例中,如进一步描述的那样,外壳120可以提供电气连接部分(electrical connection)126,从而连接各个组件。
当组装红外成像模块100时,电气连接部分126(例如,导电电气路径、踪迹或其它类型的连接部分)可以与接合焊盘142电气连接。在各个实施例中,电气连接部分126可以嵌入外壳120中、提供在外壳120的内表面上,和/或以其它方式由外壳120提供。电气连接部分126可以终止在如图3所示的从外壳120的底面伸出的连接部分124。当组装红外成像模块100时,连接部分124可以与电路板170连接(例如,在各个实施例中外壳120可以置于电路板170上)。处理模块160可以通过适当的电气连接部分与电路板170电气连接。结果,红外传感器组件128可以通过例如由接合焊盘142、外壳120的内表面上的补充连接部分、外壳120的电气连接部分126、连接部分124以及电路板170提供的导电电气路径与处理模块160电气连接。有利地,在不需要在红外传感器组件128和处理模块160之间提供引线键合(wire bond)的情况下,可以实施这样的布置。
在各个实施例中,外壳120中的电气连接部分126可以由任何期望的材料(例如铜或任何其它适当的导电材料)制成。在一个实施例中,电气连接部分126可以帮助从红外成像模块100中散热。
在其它实施例中可以使用其它连接部分。例如,在一个实施例中,传感器组件128可以通过陶瓷板连接至处理模块160,其中陶瓷板通过引线键合连接至传感器组件128并且通过球栅极阵列(BGA)连接至处理模块160。在另一实施例中,传感器组件128可以直接安装在刚性柔性板上并且与引线键合电气连接,并且处理模块160可以利用引线键合或BGA安装并连接至刚性柔性板。
提供这里阐明的红外成像模块100和主机装置102的各种实施方式用于示例的目的,而非用于限制。就这一点而言,这里描述的各种技术中的任何一种可以应用于任何红外照相机系统、红外成像器或用于完成红外/热成像的其它装置。
红外传感器组件128的基板140可以安装在底座150上。在各个实施例中,底座150(例如基座)可以由例如通过金属注射成型(MIM)形成并且拥有黑色氧化物或镀镍涂料(nickel-coated finish)的铜制成。在各个实施例中,底座150可以由任何期望的材料制成,根据给定应用的需要,例如锌、铝或镁,并且底座150可以通过任何期望的适用过程制成,根据特殊应用的需要,例如铸铝、MIM或锌快速铸造。在各个实施例中,在适当的情况下,底座150可以实施为提供结构支撑、各种电路通道、热散热器(thermal heat sink)性能以及其它功能。在一个实施例中,底座150可以是利用陶瓷材料至少部分地实施的多层结构。
在各个实施例中,电路板170可以容纳外壳120,因此可以物理支承红外成像模块100的各个组件。在各个实施例中,电路板170可以实施为印刷电路板(例如,FR4电路板或其它类型的电路板)、刚性或柔性互连(例如,胶带或其它类型的互连)、柔性电路基板、柔性塑料基板或其它适当的结构。在各个实施例中,底座150可以与描述电路板170的各种功能和属性一起实施,并且反之亦然。
托座104可以包括配置为容纳红外成像模块100的腔106(例如,如图2的组装视图中所示)。红外成像模块100和/或托座104可以包括适当的调整片(tab)、臂、销、紧固件或可以用于利用摩擦、拉伸、粘附和/或任何其它适当的方式将红外成像模块100固定到托座104上或固定至托座104中的任何其它适当的接合部件。托座104可以包括接合部件107,当红外成像模块100插入托座104的腔106中时,接合部件107可以接合外壳120的表面109。
红外成像模块100可以通过适当的电气连接部分(例如触点、销、电线或任何其它适当的连接部分)与托座104电气连接。例如,托座104可以包括电气连接部分108,其可以接触红外成像模块100的对应电气连接部分(例如互连焊盘、触点或电路板170的侧面或底面上的其它电气连接部分、底座150上的接合焊盘142或其它电气连接部分,或者其它连接部分)。电气连接部分108可以由任何期望的材料(例如,铜或任何其它适当的导电材料)制成。在一个实施例中,电气连接部分108可以是机械偏置的,从而当红外成像模块100插入托座104的腔106中时挤压红外成像模块100的电气连接部分。在一个实施例中,电气连接部分108可以在托座104中至少部分地固定红外成像模块100。在其它实施例中可以使用其它类型的电气连接部分。
托座104可以通过类似类型的电气连接部分与主机装置102电气连接。例如,在一个实施例中,主机装置102可以包括经过孔190与电气连接部分108连接的电气连接部分(例如,焊接连接部分、卡扣式连接部分或其它连接部分)。在各个实施例中,可以在托座104的侧面和/或底部提供这样的电气连接部分。
红外成像模块100的各个组件可以与倒装芯片技术(flip chip technology)一起实施,倒装芯片技术用于在没有引线键合连接部分典型地需要的额外的间隙的情况下,将组件直接安装至电路板。作为示例,倒装芯片连接部分可以用于减小红外图像模块100的总尺寸,以供紧凑的小封装技术应用使用。例如,在一个实施例中,处理模块160可以利用倒装芯片连接部分安装至电路板170。例如,红外成像模块100可以与这样的倒装芯片构造一起实施。
在各个实施例中,红外成像模块100和/或关联的组件可以根据2010年07月27日提交的第12/844,124号美国专利申请以及2011年03月30日提交的第61/469,651号美国临时专利申请中阐明的各种技术(例如,圆片级封装技术)实施,这些文献以它们的整体参考引用于此。此外,根据一个或多个实施例,红外成像模块100和/或关联的组件可以根据例如2008年12月30日授权的第7,470,902号美国专利、2000年02月22日授权的第6,028,309号美国专利、2004年11月02日授权的第6,812,465号美国专利、2006年04月25日授权的第7,034,301号美国专利、2010年03月16日授权的第7,679,048号美国专利、2008年12月30日授权的第7,470,904号美国专利、2008年09月02日提交的第12/202,880号美国专利申请以及2008年09月02日提交的第12/202,896号美国专利申请中阐明的各种技术实施、标准化、测试和/或使用,这些文献以它们的整体参考引用于此。
再次参照图1,在各个实施例中,主机装置102可以包括快门105。就这一点而言,当红外成像模块100安装在托座104中时,快门105可以选择性地放置在托座104上(例如,如由箭头103识别的那样)。就这一点而言,当未使用时,快门105可以用于例如保护红外成像模块100。如所属技术领域的技术人员将理解的那样,快门105还可以用作作为红外成像模块100的标准化过程(例如,NUC过程或其它标准化过程)的一部分的温度参考。
在各个实施例中,快门105可以由各种材料制成,例如聚合物、玻璃、铝(涂覆的或受过阳极化处理的)或其它材料。在各个实施例中,快门105可以包括一个或多个涂层,从而选择性地过滤电磁辐射和/或调整快门105的各种光学性质(例如,均匀的黑体涂层或反光金色涂层)。
在另一实施例中,快门105可以固定在适当位置从而一直保护红外成像模块100。在该情况下,快门105或快门105的一部分可以由没有实质上过滤期望的红外波长的适当的材料(例如,聚合物或红外透射材料,例如,硅、锗、硒化锌或硫族化合物玻璃)制成。在另一实施例中,如所属技术领域的技术人员将理解的那样,快门可以作为红外成像模块100的一部分(例如,在透镜镜筒中或作为透镜镜筒的一部分,或在红外成像模块100的其它组件中或作为红外成像模块100的其它组件的一部分)实施。
作为选择,在另一实施例中,不需要提供快门(例如,快门105或其它类型的外部或内部快门),相反地可以利用无快门技术完成NUC过程或其它类型的标准化。在另一实施例中,可以结合基于快门的技术完成利用无快门技术的NUC过程或其它类型的标准化。
红外成像模块100和主机装置102可以根据2011年06月10提交的第61/495,873号美国临时专利申请、2011年06月10日提交的第61/495,879号美国临时专利申请以及2011年06月10日提交的第61/495,888号美国临时专利申请中阐明的各种技术中的任何一种实施,这些文献以它们的整体参考引用于此。
在各个实施例中,主机装置102和/或红外成像模块100的组件可以实施为具有通过有线和/或无线网络彼此通信的组件的本地或分布式系统。因此,本发明中识别的各个操作可以如特殊实施方式中期望的那样通过本地的和/或远程的组件完成。
图5表示根据本发明的实施例确定NUC项的各个操作的流程图。在一些实施例中,图5的操作可以通过对由红外传感器132捕捉到的图像帧进行操作的处理模块160或处理器195(二者总体上还称为处理器)完成。
在框505中,红外传感器132开始捕捉场景的图像帧。典型地,场景将是真实世界环境,主机装置102当前位于该场景中。就这一点而言,可以打开快门105(如果可选择地提供)从而允许红外成像模块接收来自场景的红外辐射。在图5中所示的所有操作过程中,红外传感器132可以继续捕捉图像帧。就这一点而言,如进一步讨论的那样,可以对各个操作使用连续捕捉到的图像帧。在一个实施例中,捕捉到的图像帧可以在它们用在图5所示的操作之前得到暂态滤波(例如,根据这里针对图8进一步描述的框826的过程)并且由其它项(例如,如这里针对图8进一步描述的工厂增益项(factory gain term)812、工厂偏移项(factoryoffset term)816、之前确定的NUC项817、列FPN项820和行FPN项824)处理。
在框510中,检测到NUC过程发起事件。在一个实施例中,可以响应于主机装置102的物理移动发起NUC过程。可以例如通过运动传感器194检测这样的移动,其可以通过处理器查询。在一个示例中,用户可以以特殊的方式移动主机装置102,例如通过在“擦除(erase)”或“刮擦(swipe)”移动中有意地来回晃动主机装置102。就这一点而言,用户可以根据预先确定的速度和方向(速率),例如以上上下下、一边到另一边或其它模式发起NUC过程,来移动主机装置102。在该示例中,使用这样的移动可以允许用户直观地操作主机装置102,从而模拟捕捉到的图像帧中的噪声的“擦除”。
在另一示例中,如果超出超过阈值的运动(例如,大于普通用途期望的运动),则NUC过程可以由主机装置102发起。可以预期的是主机装置102的任何期望类型的空间平移可以用于发起NUC过程。
在又一实施例中,如果由于之前完成的NUC过程,最短时间已经消逝,则NUC过程可以由主机装置102发起。在另一示例中,如果由于之前完成的NUC过程,红外成像模块100已经经历过最小温度改变,则NUC过程可以由主机装置102发起。在再一示例中,可以连续发起和重复NUC过程。
在框515中,在检测到发起事件的NUC过程之后,确定是否应当实际上完成NUC过程。就这一点而言,可以基于是否满足一个或多个附加条件选择性地发起NUC过程。例如,在一个实施例中,可以不完成NUC过程,除非由于之前完成的NUC过程,最短时间已经消逝。在另一个实施例中,可以不完成NUC过程,除非由于之前完成的NUC过程,红外成像模块100已经经历过最小温度改变。在其它实施例中可以使用其它标准或条件。如果已经满足适当的标准或条件,那么流程图继续至框520。否则,流程图回到框505。
在NUC过程中,模糊图像帧可以用于确定NUC项,NUC项可以应用于捕捉到的图像帧从而校正FPN。如讨论的那样,在一个实施例中,模糊图像帧可以通过积累移动场景的多个图像帧(例如,当场景和/或热成像器在运动时捕捉到的)获得。在另一实施例中,模糊图像帧可以通过使热成像器的光学元件或其它组件散焦获得。
因此,在框520中,提供任一方法的选择。如果使用基于运动的方法,那么流程图继续至框525。如果使用基于散焦的方法,那么流程图继续至框530。
现在参照基于运动的方法,在框525中检测到运动。例如,在一个实施例中,可以基于由红外传感器132捕捉到的图像帧检测运动。就这一点而言,适当的运动检测过程(例如,图像配准过程(image registration process)、帧到帧差值计算(frame-to-framedifference calculation)或其它适当的过程)可以应用于捕捉到的图像帧,从而确定运动是否存在(例如,静止或移动图像帧是否已经捕捉到)。例如,在一个实施例中,可以确定连续的图像帧的像素附近的像素或区域是否已经改变超过用户定义的量(例如,百分数和/或阈值)。如果像素的至少给定的百分数已经改变至少用户定义的量,那么运动将在足够确定性的情况下进行检测,从而继续至框535。
在另一实施例中,可以在逐像素基础上确定运动,其中仅积累呈现明显改变的像素,从而提供模糊图像帧。例如,可以为每一个像素提供计数器,并将其用于确保为每一个像素积累相同数量的像素值,或将其用于基于为每一个像素实际上积累的像素值的数量算出像素值的平均值。可以完成其它类型的基于图像的运动检测,例如完成拉东变换(Radontransform)。
在另一实施例中,可以基于由运动传感器194提供的数据检测运动。在一个实施例中,这样的运动检测可以包括检测主机装置102是否沿相对直的轨迹(trajectory)移动通过空间。例如,如果主机装置102正沿相对直的轨迹移动,那么出现在成像的场景中的某些对象并不十分模糊是可能的(例如,在可以与直的轨迹对齐或实质上平行于直的轨迹移动的场景中的对象)。因此,在这样的实施例中,由运动传感器194检测到的运动可以在呈现或不呈现特殊轨迹的主机装置102上适应。
在又一实施例中,可以使用运动检测过程和运动传感器194。因此,利用这些各个实施例中的任何一个,可以作出关于当场景的至少一部分和主机装置102相对于彼此运动时是否捕捉到每一个图像帧的确定(例如,其会被相对于场景移动的主机装置102、相对于主机装置102移动的场景的至少一部分或二者引起)。
可以预料的是由于与场景移动相互作用的红外传感器132的热时间常数(例如,微测热辐射计热时间常数),检测运动所针对的图像帧会呈现捕捉到的场景的一些二次模糊(例如,与场景关联的模糊热图像数据)。
在框535中,积累检测运动所针对的图像帧。例如,如果检测到连续系列的图像帧的运动,那么可以积累该系列的图像帧。作为另一示例,如果检测到仅一些图像帧的运动,那么可以略过非移动的图像帧,并且非移动的图像帧可以不包括在积累中。因此,可以基于检测到的运动选择连续或不连续的一组图像帧进行积累。
在框540中,算出积累的图像帧的平均值以提供模糊图像帧。因为在运动过程中捕捉积累的图像帧,所以可以预料的是真实场景信息将在图像帧之间变化,因此引起场景信息在因而产生的模糊图像帧中进一步模糊(框545)。
相比之下,FPN(例如,由红外成像模块100的一个或多个组件引起的)在运动过程中将在至少短的一段时间内以及在场景辐照度中至少有限改变内保持固定。结果,在运动过程中在时间和空间中极为接近的情况下捕捉到的图像帧将受到相同或至少非常类似的FPN。因此,尽管场景信息可以在连续的图像帧中改变,但FPN将保持本质上不变。通过算出平均值,在运动过程中捕捉到的多个图像帧将使场景信息变模糊,但将不会使FPN模糊。结果,FPN将保持在框545中提供的模糊图像帧中比场景信息更加清楚地限定。
在一个实施例中,在框535和540中累积32或更多图像帧并算出平均值。然而,在其它实施例中可以使用任何期望数量的图像帧,但当帧数减少时通常会降低校正准确性。
现在参照基于散焦的方法,在框530中,可以完成散焦操作从而有意地使由红外传感器132捕捉到的图像帧散焦。例如,在一个实施例中,可以使用一个或多个执行器199调整、移动或以其它方式转化光学元件180、红外传感器组件128和/或红外成像模块100的其它组件,从而引起红外传感器132捕捉场景的模糊(例如,未聚焦)图像帧。对于有意地使红外图像帧散焦来说,还可以预期基于其它非执行器的技术,例如手工(例如,用户发起)散焦。
尽管场景可以在图像帧中出现模糊,但FPN(例如,由红外成像模块100的一个或多个组件引起的)将保持不受散焦操作的影响。结果,场景的模糊图像帧将具备保持在模糊图像中比场景信息更加清楚地限定的FPN(框545)。
在上述讨论中,已经针对单个捕捉到的图像帧描述基于散焦的方法。在另一实施例中,基于散焦的方法可以包括积累多个图像帧,同时红外成像模块100已经散焦并算出散焦的图像帧的平均值,从而去除暂态噪声的影响并在框545中提供模糊图像帧。
因此,将领会到的是可以通过基于运动的方法或基于散焦的方法在框545中提供模糊图像帧。因为许多场景信息将通过运动或散焦,或者运动和散焦变得模糊,所以模糊图像帧可以实际上视为关于场景信息的原始捕捉到的图像帧的低通滤波版本(low passfiltered version)。
在框550中,处理模糊图像帧以确定更新的行和列FPN项(例如,如果之前尚未确定行和列FPN项,那么更新的行和列FPN项在框550的第一次迭代中可以是新的行和列FPN项)。如在本发明中使用的那样,可以根据红外传感器132和/或红外成像模块100的其它组件的取向交替地使用项行和列。
在一个实施例中,框550包括确定模糊图像帧的每一行的空间FPN校正项(例如,每一行可以具有其自己的空间FPN校正项),以及还确定模糊图像帧的每一列的空间FPN校正项(例如,每一列可以具有其自己的空间FPN校正项)。这样的处理可以用于减少例如由可以显示为图像帧中的垂直和水平条纹、在ROIC 402中的放大器的1/f噪声特性引起的热成像器固有的空间和缓慢变化的(1/f)行和列FPN。
有利地,通过利用模糊图像帧确定空间行和列FPN项,将存在在真实成像的场景中的垂直和水平对象被误认为是行和列噪声的降低的风险(例如,真实场景内容将是模糊的,而FPN保持不模糊)。
在一个实施例中,行和列FPN项可以通过考虑模糊图像帧的邻近像素之间的差值确定。例如,图6表示根据本发明的实施例的邻近像素之间的差值。具体地,在图6中,像素610与其8个最接近的水平邻近像素进行比较:一侧的d0-d3以及另一侧的d4-d7。可以算出邻近像素之间的差值的平均值以获得所示的像素的组的偏移误差的估计。可以计算行或列中每一个像素的偏移误差,并且平均值结果可以用于校正整个行或列。
为了防止真实场景数据被解释为噪声,可以使用上、下阈值(thPix以及–thPix)。落到这些阈值之外的像素值(在该示例中,像素d1和d4)没有用于获得偏移误差。此外,行和列FPN校正的最大值可以由这些阈值限制。
完成空间行和列FPN校正处理的进一步的技术在2009年03月02日提交的第12/396,340号美国专利申请中阐明,该文献以其整体参考引用于此。
再次参照图5,存储(框552)在框550中确定的更新的行和列FPN项,并将其应用至(框555)在框545中提供的模糊图像帧中。在应用这些项之后,模糊图像帧中的一些空间行和列FPN会减少。然而,因为总体上对行和列应用这样的项,所以附加的FPN可以保持,例如与像素到像素漂移或其它原因关联的空间无关FPN(spatially uncorrelated FPN)。还可以保持空间相关FPN的邻域,其可以与各个行和列没有直接关联。因此,可以如以下讨论的那样完成进一步处理以确定NUC项。
在框560中,确定模糊图像帧中的局部对比度值(local contrast value)(例如,邻近或小群体像素之间的边缘或绝对值的梯度)。如果模糊图像帧中的场景信息包括没有明显模糊的(例如,原始场景数据中的高对比度边缘)对比区域,那么这样的特征可以通过在框560中的对比度确定过程确定。
例如,可以计算模糊图像帧中的局部对比度值,或者任何其它期望类型的边缘检测过程可以应用于将模糊图像中的特定像素识别为局部对比度的区域的一部分。在该方法中标记的像素可以认为是包含将解释为FPN的极度高空间频率场景信息(例如,这样的区域可以对应于尚未足够模糊的场景的一部分)。正因如此,这些像素可以排除在用在NUC项的进一步确定之外。在一个实施例中,这样的对比度检测处理可以依靠大于与FPN关联的预期对比度值的阈值(例如,呈现大于阈值的对比度值的像素可以认为是场景信息,并且呈现小于阈值的对比度值的那些像素可以认为是呈现FPN)。
在一个实施例中,在行和列FPN项已经应用于模糊图像帧之后可以对模糊图像帧完成框560的对比度确定(例如,如图5所示)。在另一实施例中,可以在确定行和列FPN项之前,先于确定对比度的框550完成框560(例如,为了防止基于场景的对比度促成这样的项的确定)。
接着框560,可以预料保持在模糊图像帧中的任何高空间频率内容可以总体上由空间无关FPN产生。就这一点而言,接着框560,许多的其它噪声或基于真实期望的场景的信息已经去掉或排除在模糊图像帧之外,原因在于:图像帧的有意模糊(例如,通过在框520到545中的运动或散焦)、行和列FPN项的应用(框555)以及(框560)的对比度确定。
因此,可以预料的是接着框560,任何剩下的高空间频率内容(例如,呈现为模糊图像帧中的对比度或差值区域)可以由空间无关FPN产生。因此,在框565中,模糊图像帧是高通滤波的。在一个实施例中,这可以包括应用高通滤波器(high pass filter)从模糊图像帧中提取高空间频率内容。在另一实施例中,这可以包括对模糊图像帧应用低通滤波器(low pass filter)并取得低通滤波图像帧和未过滤模糊图像帧之间的差值,从而获得高空间频率内容。根据本发明的各个实施例,高通滤波器可以通过计算传感器信号(例如,像素值)及其邻近信号之间的平均差来实施。
在框570中,对高通滤波模糊图像帧完成平场校正过程,从而确定更新的NUC项(例如,如果NUC过程之前尚未完成,那么更新的NUC项在框570的第一次迭代中可以是新的NUC项)。
例如,图7表示根据本发明的实施例的平场校正技术700。在图7中,可以利用每一个像素710的邻近像素712到726的值确定模糊图像帧的每一个像素710的NUC项。对于每一个像素710,可以基于各个邻近像素的值之间的绝对差来确定若干个梯度。例如,可以在像素712和714(左到右对角线梯度)之间、像素716和718(上到下垂直梯度)之间、像素720和722(右到左对角线梯度)之间以及像素724和726(左到右水平梯度)之间确定绝对值差。
可以计算这些绝对差的总和以提供像素710的总和梯度。可以确定像素710的加权值(weight value),其与总和梯度成反比。可以为模糊图像帧的所有像素710完成该过程直到提供每一个像素710的加权值。对于具有低梯度的区域(例如,模糊或具有低对比度的区域),加权值将接近一。相反地,对于具有高梯度的区域,加权值将是零或接近零。由高通滤波器估计的NUC项的更新与加权值相乘。
在一个实施例中,通过将一定量的暂态阻尼(temporal damping)应用到NUC项确定过程中可以进一步降低将场景信息引入NUC项中的风险。例如,可以选择0和1之间的暂态阻尼因子λ,使得存储的新的(new)NUC项(NUCNEW)是旧的(old)NUC项(NUCOLD)和估计的更新(updated)NUC项(NUCUPDATE)的加权平均值。在一个实施例中,这可以表示为NUCNEW=λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
尽管已经针对梯度对NUC项的确定进行描述,但在适当的情况下可以使用局部对比度值代替。还可以使用其它技术,例如标准偏差计算。可以完成其它类型的平场校正过程来确定NUC项,包括例如2000年02月22日授权的第6,028,309号美国专利、2004年11月02日授权的第6,812,465号美国专利以及2008年05月05日提交的第12/114,865号美国专利申请中各种识别的过程,这些文献以它们的整体参考引用于此。
再次参照图5,框570可以包括NUC项的附加处理。例如,在一个实施例中,为了保留场景信号平均数,可以通过从每一个NUC项中减去NUC项平均数使所有NUC项的总和正规化至零。也在框570中,为了避免行和列噪声影响NUC项,每一个行和列的平均数值可以从每一个行和列的NUC项中减去。结果,利用在框550中确定的行和列FPN项的行和列FPN滤波器可以在NUC项应用于捕捉到的图像之后(例如,在框580中在这里进一步讨论的)的进一步迭代(例如,如图8中进一步表示的)中能够更好地滤除行和列噪声。就这一点而言,行和列FPN滤波器可以普遍采用更多数据计算每行和每列偏移系数(例如,行和列FPN项),并且因此可以提供比基于高通滤波的NUC项更加稳健、用于降低空间相关FPN的替代,从而捕捉空间无关的噪声。
在框571-573中,可以可选择地完成附加的高通滤波和更新的NUC项的进一步确定,从而去掉具有比之前由行和列FPN项去掉的空间频率低的低空间频率的空间相关FPN。就这一点而言,红外传感器132或红外成像模块100的其它组件中的一些可变性可以导致不能容易地模型为行或列噪声的空间相关FPN噪声。这样的空间相关FPN可以包括例如对辐照度作出与邻近红外传感器132不同响应的传感器包或一组红外传感器132上的窗样缺损(window defect)。在一个实施例中,这样的空间相关FPN可以利用偏移校正得到缓和。如果这样的空间相关FPN的量很可观,那么噪声在模糊图像帧中还可以是可检测的。因为该类型的噪声会影响像素的邻域,所以具有小内核(small kernel)的高通滤波器可以不检测邻域中的FPN(例如,用在高通滤波器中的所有值可以从受影响的像素的邻域中取得,因此会受相同的偏移误差的影响)。例如,如果利用小内核完成框565的高通滤波(例如,考虑仅落入受空间相关FPN影响的像素的邻域中的直接邻近像素),那么可以未检测宽广分布的空间相关FPN。
例如,图11表示根据本发明的实施例在像素的邻域中的空间相关FPN。如样品图像帧1100中所示,像素1110的邻域可以呈现与各个行和列没有精确相关并且分布在若干个像素的邻域中(例如,在该示例中大约4乘4像素的邻域)的空间相关FPN。样品图像帧1100还包括呈现实质上一致的响应、未用于过滤计算的一组像素1120,以及用于估计像素1110的邻域的低通值的一组像素1130。在一个实施例中,像素1130可以是许多可被二整除的像素,从而促进有效率的硬件或软件计算。
再次参照图5,在框571-573中,可以可选择地完成附加的高通滤波和更新的NUC项的进一步确定,从而去掉例如由像素1110呈现的空间相关FPN。在框571中,在框570中确定的更新的NUC项应用于模糊图像帧。因此,这个时候,将为空间相关FPN首先校正模糊图像帧(例如,通过框555中的更新的行和列FPN项的应用),并且还为空间无关FPN首先校正模糊图像帧(例如,通过框571中的更新的NUC项的应用)。
在框572中,应用具有比用在框565中大的内核的另一高通滤波器,并且可以在框573中确定另一更新的NUC项。例如,为了检测存在于像素1110中的空间相关FPN,在框572中应用的高通滤波器可以包括来自像素的十分足够大的邻域的数据,使得可以在未受影响的像素(例如,像素1120)和受影响的像素(例如,像素1110)之间确定差值。例如,可以使用具有大的内核的低通滤波器(例如,大于3乘3像素的N乘N内核),并且可以减去结果从而完成适当的高通滤波。
在一个实施例中,对于计算效率,可以使用稀疏内核(sparse kernel)使得仅使用N乘N邻域内部的少量邻近像素。对于利用远处的邻近的任何给定高通滤波操作(例如,大的内核),存在将真实(潜在模糊的)场景信息模型为空间相关FPN的风险。因此,在一个实施例中,暂态阻尼因子λ可以为在框573中确定的更新的NUC项设置为接近1。
在各个实施例中,可以重复(例如,串联)框571-573从而在增加内核尺寸的情况下迭代地完成高通滤波从而提供进一步更新的NUC项,进一步校正期望邻域尺寸的空间相关FPN。在一个实施例中,判定完成这样的迭代可以由空间相关FPN是否已经被之前完成的框571-573的更新的NUC项去掉而确定。
完成框571-573之后,作出关于是否将更新的NUC项应用于捕捉到的图像帧的判定(框574)。例如,如果整个图像帧的NUC项的绝对值的平均值小于最小阈值,或大于最大阈值,则NUC项可以视为谬误或者不可能提供有意义的校正。作为选择,阈值标准可以应用于各个像素从而确定哪一个像素接收更新的NUC项。在一个实施例中,阈值可以对应于最近计算的NUC项和之前计算的NUC项之间的差值。在另一实施例中,阈值可以与之前计算的NUC项无关。可以应用其它测试(例如,空间相关测试)确定是否应当应用NUC项。
如果NUC项视为谬误或不可能提供有意义的校正,那么流程图返回框505。否则,存储最近确定的NUC项(框575)以代替之前的NUC项(例如,由图5的之前完成的迭代确定的)并将最近确定的NUC项应用于捕捉到的图像帧(框580)。
图8表示根据本发明的实施例的图5的各种图像处理技术和在图像处理管线800中应用的其它操作。就这一点而言,管线800识别在用于校正由红外成像模块100提供的图像帧的全部迭代图像处理方案的背景下的图5的各个操作。在一些实施例中,管线800可以通过在由红外传感器132捕捉到的图像帧上操作的处理模块160或处理器195(二者也总体上称为处理器)提供。
可以将由红外传感器132捕捉到的图像帧提供给帧平均器(frame averager)804,帧平均器804整合多个图像帧以提供具有提高的信噪比的图像帧802。帧平均器804可以由红外传感器132、ROIC 402和实施为支持高图像捕捉率的红外传感器组件128的其它组件有效地提供。例如,在一个实施例中,红外传感器组件128可以以240Hz(例如,每秒240个图像)的帧速率捕捉红外图像帧。在该实施例中,这样的高帧速率可以通过例如以相对低的电压(例如,与移动电话电压兼容)操作红外传感器组件128以及通过利用红外传感器132的相对小的阵列(例如,在一个实施例中64乘64红外传感器的阵列)实施。
在一个实施例中,这样的红外图像帧可以以高的帧速率(例如,240Hz或其它帧速率)从红外传感器组件128提供至处理模块160。在另一实施例中,红外传感器组件128可以整合较长时间周期,或多个时间周期,以按照较低的帧速率(例如,30Hz、9Hz或其它帧速率)将整合的(例如,平均的)红外图像帧提供至处理模块160。关于可以用于提供高图像捕捉率的实施方式的进一步信息可以在之前在这里参考的第61/495,879号美国临时专利申请中找到。
图像帧802通过管线800进行,在这里图像帧802通过用于确定各个调整项和补偿的增益的各个项、暂态滤波得到调整。
在框810和814中,工厂增益项812和工厂偏移项816应用于图像帧802从而分别补偿在生产和测试过程中确定的各个红外传感器132和/或红外成像模块100的其它组件之间的增益和偏移差值。
在框580中,如讨论的那样,NUC项817应用于图像帧802以校正FPN。在一个实施例中,如果NUC项817尚未确定(例如,在已经发起NUC过程之前),那么可以不完成框580,或者初始化值可以用于NUC项817,导致对图像数据没有改变(例如,每一个像素的偏移将等于零)。
在框818和822中,列FPN项820和行FPN项824分别应用于图像帧802。可以根据如讨论的框550确定列FPN项820和行FPN项824。在一个实施例中,如果列FPN项820和行FPN项824尚未确定(例如,在已经发起NUC过程之前),那么可以不完成框818和822,或者初始化值可以用于列FPN项820和行FPN项824,导致对图像数据没有改变(例如,每一个像素的偏移将等于零)。
在框826中,根据暂态噪声降低(TNR)过程对图像帧802完成暂态滤波。图9表示根据本发明的实施例的TNR过程。在图9中,处理当前接收到的图像帧802a和之前暂态滤波的图像帧802b以确定新的暂态滤波图像帧802e。图像帧802a和802b包括分别围绕像素805a和805b的像素803a和803b的局部邻域。邻域803a和803b对应于图像帧802a和802b内的相同位置并且是图像帧802a和802b中的总像素的子集。在所示的实施例中,邻域803a和803b包括5乘5像素的面积。在其它实施例中可以使用其它邻域尺寸。
确定对应的邻域803a和803b的像素之间的差值,并算出其平均值,以提供对应于像素805a和805b的位置的平均德尔塔值(delta value)805c。平均德尔塔值805c可以用于在框807中确定加权值,从而应用于图像帧802a和802b的像素805a和805b。
在一个实施例中,如图表809所示,在框807中确定的加权值可以与平均德尔塔值805c成反比,使得当邻域803a和803b之间存在大的差值时,加权值快速下降至零。就这一点而言,邻域803a和803b之间的大的差值可以表明改变已经在场景中发生(例如,由于运动),并且像素802a和802b可以是适当地加权的,在一个实施例中,从而避免引入横跨帧到帧场景改变的模糊。加权值和平均德尔塔值805c之间的其它关联可以用在各个实施例中。
在框807中确定的加权值可以应用于像素805a和805b从而确定对应的图像帧802e的像素805e的值(框811)。就这一点而言,根据平均德尔塔值805c和在框807中确定的加权值,像素805e可以具有是像素805a和805b的加权平均值(或其它组合)的值。
例如,暂态滤波图像帧802e的像素805e可以是图像帧802a和802b的像素805a和805b的加权总和。如果像素805a和805b之间的平均差是由于噪声产生的,那么可以预料的是邻域805a和805b之间的平均值改变将接近零(例如,对应于无关改变的平均值)。在这种情况下,可以预料的是邻域805a和805b之间的差值的总和将接近零。在该情况下,图像帧802a的像素805a可以都是适当地加权的,以便促成像素805e的值。
然而,如果这些差值的总和不是零(例如,在一个实施例中甚至与零相差一定量),那么改变可以解释为由运动而不是噪声产生。因此,可以基于由邻域805a和805b呈现的平均值改变检测运动。在这种情况下,图像帧802a的像素805a可以是重加权,而图像帧802b的像素805b可以是轻加权。
还可以预期其它实施例。例如,尽管平均德尔塔值805c已经描述为基于邻域805a和805b确定,在其它实施例中,平均德尔塔值805c可以基于任何期望的标准(例如,基于各个像素或其它类型的像素集的组)确定。
在上述实施例中,图像帧802a已经描述为目前接收到的图像帧,并且图像帧802b已经描述为之前暂态滤波的图像帧。在另一实施例中,图像帧802a和802b可以是由红外成像模块100捕捉到的、尚未暂态滤波的第一和第二图像帧。
图10表示关于框826的TNR过程的进一步实施细节。如图10所示,图像帧802a和802b可以分别被读到行缓存区1010a和1010b中,并且图像帧802b(例如,之前的图像帧)可以在被读到行缓存区1010b中之前存储在帧缓存区1020中。在一个实施例中,行缓存区1010a-b和帧缓存区1020可以由通过红外成像模块100和/或主机装置102的任何适当组件提供的一块随机存取存储器(RAM)实施。
再次参照图8,图像帧802e可以转到自动增益补偿框828以进行进一步处理,从而提供可以根据需要被主机装置102使用的结果图像帧830。
图8进一步表示各个操作,完成这些操作以确定所讨论的行和列FPN项和NUC项。在一个实施例中,这些操作可以利用如图8中所示的图像帧802e。因为已经暂态滤波图像帧802e,因此可以去除至少一些暂态噪声,因此将不会无意地影响行和列FPN项824和820以及NUC项817的确定。在另一实施例中,可以使用非暂态滤波的图像帧802。
在图8中,图5的框510、515和520共同地表示在一起。如讨论的那样,可以选择性地发起NUC过程,并且响应于发起事件的各个NUC过程并且基于各种标准或条件完成NUC过程。还如讨论的那样,可以根据基于运动的方法(框525、535和540)或基于散焦的方法(框530)完成NUC过程,从而提供模糊图像帧(框545)。图8进一步表示之前针对图5讨论的各个附加的框550、552、555、560、565、570、571、572、573和575。
如图8所示,可以以迭代的方式确定并应用行和列FPN项824和820以及NUC项817,使得利用图像帧802确定更新的项,其中之前的项已经应用于图像帧802。结果,图8的全过程可以重复地更新并且应用这样的项,从而连续地减少将被主机装置102使用的图像帧830中的噪声。
再次参照图10,涉及管线800为图5和8的各个框说明进一步实施细节。例如,框525、535和540所示为以由管线800接收到的图像帧802的正常帧速率进行操作。在如图10所示的实施例中,在框525中作出的确定表示为判定菱形,该判定菱形用于确定给定的图像帧802是否已经足够改变,使得其可以被认为是如果增加到其它图像帧中将增加模糊的图像帧,因此是积累的(在该实施例中框535由箭头表示)以及平均的(框540)。
还是在图10中,列FPN项820的确定(框550)表示为以更新速率进行操作,在该示例中,由于在框540中完成的求平均值,更新速率是传感器帧速率(例如,正常帧速率)的1/32。其它实施例中可以使用其它更新速率。尽管在图10中仅识别出列FPN项820,但行FPN项824可以以类似方式以减小的帧速率实施。
图10还表示涉及框570的NUC确定过程的进一步实施细节。就这一点而言,模糊图像帧可以被读到行缓存区1030中(例如,由红外成像模块100和/或主机装置102的任何适当的组件提供的一块RAM实施)。可以在模糊图像帧上完成图7的平场校正技术700。
鉴于本发明,应当领会的是这里描述的技术可以用于去掉各种类型的FPN(例如,包括非常高振幅的FPN),例如空间相关行和列FPN以及空间无关FPN。
还可以预期其它实施例。例如,在一个实施例中,更新行和列FPN项和/或NUV项的速率可以与模糊图像帧中的模糊的估计量成反比,和/或与局部对比度值的量值(例如,在框560中确定)成反比。
在各个实施例中,描述的技术可以提供优于传统的基于快门的噪声校正技术的优势。例如,通过利用无快门过程,不需要提供快门(例如,快门105),因此允许尺寸、重量、费用和机械复杂性的降低。如果快门不需要进行机械操作,则也可以降低应用于红外成像模块100或由红外成像模块100生成的功率和最大电压。通过去掉作为潜在的故障点的快门将提高可靠性。无快门过程还消除了通过快门成像的场景的暂时阻塞引起的潜在图像中断。
而且,通过有意地利用从真实世界场景(并非由快门提供的均匀的场景)捕捉到的模糊图像帧校正噪声,可以在具有与期望成像的真实场景类似的辐照度级的图像帧上完成噪声校正。这可以提高根据描述的各种技术确定的噪声校正项的准确度和有效性。
根据附加的实施例,提供技术用于利用热成像装置的一个或多个屏蔽(例如,阻挡、阻隔和/或遮盖)红外传感器。在一个实施例中,可以确定由红外成像模块100捕捉到的场景的热图像的每一个像素的绝对(例如,非相关的)辐射值。就这一点而言,红外传感器组件128的一个或多个红外传感器132可以与场景屏蔽(例如阻挡、阻隔和/或遮盖),而红外传感器组件128的其它红外传感器132保持未屏蔽并且用于捕捉场景的热图像。屏蔽红外传感器132可以用于确定平均热像偏移参考,平均热像偏移参考用于确定由未屏蔽红外传感器132捕捉到的热图像的每一个像素的绝对辐射值。
绝对辐射值可以用于例如在不需要从红外成像模块100向场景传输的情况下以及不需要场景中的局部温度测量值的情况下确定场景的每一个像素的绝对温度(例如,通过放置在场景中和/或远离红外成像模块100的传感器)。如特殊应用期望的那样,绝对辐射值可以用在其它过程中。
图12表示根据本发明的实施例包括未屏蔽红外传感器132A和屏蔽红外传感器132B的红外传感器组件128的横截面侧视图。如讨论的那样,红外传感器组件128可以实施为圆片级封装。就这一点而言,红外传感器132A-B可以提供为圆片级封装的一部分并放置在帽状物130下面。红外传感器132A-B可以实施为例如在任何期望的阵列模式中或其它期望的分布中排列的微测辐射热计或其它类型的热成像红外传感器。红外传感器132A-B还可以与基板140热分离,并且可以利用与红外传感器组件128的所有红外传感器132实质上相同的响应度和其它操作特征实施。
未屏蔽红外传感器132A(例如,也称为主动红外传感器)放置为接收由场景1201产生的的红外辐射1210,并且可以与一个或多个未屏蔽红外传感器132A一起使用以捕捉场景1201的热图像。如图12所示,帽状物130可以包括具有孔1204的上表面1202,孔1204中使通过光学元件180容纳的红外辐射1210通过。
放置屏蔽红外传感器132B(例如,也称为阻挡或阻隔红外传感器)使得其实质上和/或完全无法接收红外辐射1210。例如,在图12所示的实施例中,屏蔽红外传感器132B放置在阻隔红外辐射1210的屏蔽1206下面。如果需要,可以提供附加的屏蔽1208以阻隔附加的红外传感器。
尽管屏蔽1206和1208表示为连接至帽状物130的侧壁的结构,但可以使用其它类型的屏蔽。例如,在各个实施例中,帽状物130可以配置为基于帽状物130的物理形状或构造、提供在帽状物130的内和/或外表面上的吸气剂(getter)和/或其它材料,和/或通过其它技术阻隔红外辐射1210和屏蔽红外传感器132B。在各个实施例中,可以根据在2011年03月30日提交的第61/469,651号美国临时专利申请中识别的任何技术配置帽状物130,该文献以其整体参考引用于此。还可以预期采用各种结构的形式的其它屏蔽,这些屏蔽完全阻隔或部分阻隔屏蔽红外传感器132B和红外辐射1210的各种来源。
尽管这里针对圆片级封装实施方式描述了未屏蔽和屏蔽红外传感器132A-B的使用,但还可以预期其它实施例。例如,在适当的情况下,这里描述的技术可以利用其它结构应用于传统红外照相机。
尽管在图12中仅示出了一个未屏蔽红外传感器132A和一个屏蔽红外传感器132B,但可以提供任何期望数量的未屏蔽红外传感器132A和屏蔽红外传感器132B。在一个实施例中,红外传感器132A-B可以根据例如图4的各个红外传感器132实施。例如,图4中所示的红外传感器132的一个或多个列或行可以实施为屏蔽红外传感器132B,剩下的实施为未屏蔽红外传感器132A。
未屏蔽红外传感器132A可以接收来自各种来源的红外辐射。例如,未屏蔽红外传感器132A可以通过角度β1接收由场景1201产生的红外辐射1210。未屏蔽红外传感器132A还可以接收由光学元件180产生的红外辐射1211。在图12中,红外辐射1211表示为在红外传感器组件128中与红外辐射1210重合,并且通过与角度β1重合的角度β2接收。未屏蔽红外传感器132A还可以通过角度β3接收由帽状物130产生的红外辐射1213。
尽管屏蔽1206可以实质上阻隔屏蔽红外传感器132B无法接收分别由场景1201和光学元件180产生的红外辐射1210和1211,但屏蔽红外传感器132B可以接收来自各种其它来源的红外辐射。例如,屏蔽红外传感器132B可以通过角度α1接收由屏蔽1206产生的红外辐射1214。屏蔽红外传感器132B还可以通过角度α2接收由帽状物130产生的红外辐射1212。
尽管各种类型的红外辐射已经描述为被红外传感器132A-B接收,但这样的红外辐射的特殊类型、数量和角度可以根据红外传感器132A-B、红外传感器组件128和/或其它因素的特殊物理布局、构造和实施方式而变化。因此,应当理解的是图12中识别的特殊红外辐射已经描述为示例的目的,并且红外辐射的不同组合可以在各个实施例中促成由红外传感器132A-B检测到的真实红外辐射。
红外传感器组件128可以与一个或多个温度传感器1220、1222、1224和1226一起实施,温度传感器1220、1222、1224和1226可以用于分别检测光学元件180的温度(表示为Toptical)、帽状物130的温度(表示为Tcap)、屏蔽(shield)1206的温度(表示为Tshield)和屏蔽1208的温度。这样的温度传感器可以实施为例如热敏电阻和/或其它适当的装置。利用检测到的一个或多个这样的组件的温度,可以完成适当的处理(例如,在一个实施例中通过处理器195)来确定来自这样的组件的各种类型的红外辐射的贡献(例如,可以基于检测到的温度确定每一个这样的组件的辐射值)。应当理解的是图12中所示的各个温度传感器的数量、类型和布置表示为示例的目的,并且可以预期其它构造。例如,在一个实施例中,红外传感器132的整个阵列的温度传感器可以用于当放置在接近阵列的位置时确定屏蔽1206和1208的温度。在适当的情况下,红外传感器组件128的各个部分的温度可以根据具备基板140或其它地方的一个或多个温度传感器推算。
如讨论的,屏蔽红外传感器132B可以用于确定红外传感器组件128的所有红外传感器132的平均热像偏移参考,其可以用于确定由特定未屏蔽红外传感器132A成像的场景1201的每一个像素的绝对辐射值。
来自红外传感器132之一的原始信号SR可以表示为:
SR=R·W+O (等式1)
在等式1中,R是红外传感器132的响应度,W是由红外传感器132接收到的总入射辐射,以及O是红外传感器132的总热像偏移参考。
尽管红外传感器组件128的所有红外传感器132可以实施为相同类型的传感器(例如,相同类型的微测热辐射计),但在各个红外传感器132之间可以依然存在变体。例如,接收相同总入射辐射W的红外传感器132然而由于它们的响应度R以及特定于每一个红外传感器132的不同的总热像偏移参考O,可以在它们的原始信号SR中呈现差异。
来自红外传感器132之一的总热像偏移参考O可以表示为:
在等式2中,是由所有红外传感器132呈现的平均热像偏移参考,以及ΔO是特殊红外传感器132的特定传感器热像偏移参考(sensor-specific thermographic offsetreference)。就这一点而言,特定传感器热像偏移参考ΔO是与平均热像偏移参考的另一偏移。
当应用于屏蔽红外传感器132B时,等式1和2可以重写为:
利用等式3和4,可以用屏蔽红外传感器132B的原始信号响应度Rsh、总入射辐射Wsh以及特定传感器热像偏移参考偏移ΔOsh表示用于所有红外传感器132的平均热像偏移参考
通过在等式5中代入原始信号和响应度Rsh的平均值(例如,计算多个屏蔽红外传感器132B的平均值),可以去掉特定传感器热像偏移参考偏移ΔOsh,并且平均热像偏移参考可以表示为:
如讨论的那样,屏蔽红外传感器132B可以接收由帽状物130产生的红外辐射1212和由屏蔽1206产生的红外辐射1214。由屏蔽红外传感器132B从这些来源接收到的总入射辐射Wsh可以表示为:
Wsh=α1·W(Tshield)+α2·W(Tcap) (等式7)
在等式7中,由屏蔽1206产生的红外辐射1214的辐射值(表示为W(Tshield))是屏蔽1206的温度的函数并且通过角度α1缩放。由帽状物130产生的红外辐射1212的辐射值(表示为W(Tcap))是帽状物130的温度的函数并且通过角度α2缩放。
现在转到未屏蔽(例如,主动)红外传感器132A,等式1和2可以重写为:
如讨论的那样,未屏蔽红外传感器132A可以接收由场景1201产生的红外辐射1210、由光学元件180产生的红外辐射1211以及由帽状物130产生的红外辐射1213。由未屏蔽红外传感器132A从这些来源接收到的总入射辐射的辐射值Wa可以表示为:
Wa=β1·W(Tscene)+β2·W(Toptical)+β3·W(Tcap) (等式10)
在等式10中,由场景(scene)1201产生的红外辐射1210的辐射值(表示为W(Tscene))是场景1201的温度的函数并且通过角度β1缩放。由光学元件(optical element)180产生的红外辐射1211的辐射值(表示为W(Toptical))是光学元件180的温度的函数并且通过角度β2缩放。由帽状物130产生的红外辐射1213的辐射值(表示为W(Tcap))是帽状物130的温度的函数并且通过角度β3缩放。
通过将未屏蔽红外传感器132A的总热像偏移参考Oa(等式9)和总入射辐射的辐射值Wa(等式10)代入等式8中,可以为由未屏蔽红外传感器132A成像的场景1201的部分提供绝对辐射值(W(Tscene)),可以表示为:
通过将平均热像偏移参考(等式6)代入等式11,绝对辐射值W(Tscene)可以进一步表示为:
通过将由屏蔽红外传感器132B接收到的总入射辐射Wsh(等式7)代入等式12,绝对辐射值W(Tscene)可以进一步表示为:
因此,通过对每一个未屏蔽红外传感器132A应用上述技术,可以确定在红外传感器132的阵列中的每一个未屏蔽红外传感器132A的绝对辐射值W(Tscene)。可以对绝对辐射值W(Tscene)完成适当的处理,从而确定由每一个未屏蔽红外传感器132A成像的场景1201的绝对温度Tscene。
可以为每一个未屏蔽红外传感器132A单个地确定并应用在等式11、12和13中识别的用于各个未屏蔽红外传感器132A的特定值(例如,ΔOa、Ra、β1、β2和β3)。基于屏蔽红外传感器132B和红外传感器组件128的特性的数值(例如,Wsh、W(Tshield)、W(Tcap)、W(Toptical)、α1、α2)可以应用于所有未屏蔽红外传感器132A。
如等式13中识别的那样,每一个未屏蔽红外传感器132A的绝对辐射值W(Tscene)可以基于在等式13中识别的各种测量的、已知的和/或计算的项确定。例如,在一个实施例中,原始信号可以通过由未屏蔽红外传感器132A捕捉场景1201的信号来确定。
在一个实施例中,平均原始信号可以通过算出若干个屏蔽红外传感器132B的捕捉到的信号的平均值来确定。在另一实施例中,信号屏蔽红外传感器132B的捕捉到的信号可以用作平均信号的代表。
平均响应度可以通过计算若干个屏蔽红外传感器132B的已知响应度的平均值确定。在一个实施例中,这样的响应度可以基于若干个屏蔽红外传感器132B的工厂标准和/或测量值确定。在另一个实施例中,特定响应度值可以用作平均响应度的代表(例如,响应度说明或在屏蔽红外传感器132B或所有红外传感器132的已知响应度范围内选择的值)。
角α1、α2、β1、β2和β3可以基于红外传感器组件128的物理实施方式确定。辐射值W(Toptical)、W(Tcap)和W(Tshield)可以基于由温度传感器1220、1222和1224提供的光学元件180、帽状物130和屏蔽1206的温度测量值分别确定。可以完成适当的处理从而确定作为测量的温度的函数的辐射值。
未屏蔽红外传感器132A的特定传感器热像偏移参考ΔOa可以例如利用这里讨论的NUC项817确定。就这一点而言,为未屏蔽红外传感器132A确定的NUC项817可以有效地提供总热像偏移参考Oa,总热像偏移参考Oa用于促使未屏蔽红外传感器132A的性能与其它红外传感器132实质上一致。如等式9中识别的那样,总热像偏移参考Oa是平均热像偏移参考和特定传感器热像偏移参考ΔOa的总和。如之前图6中识别的那样,可以按照可以在上述讨论中得到确定的其它已知项表示平均热像偏移参考因此,在一个实施例中,特定传感器热像偏移参考ΔOa可以基于以下二者之间的差值确定:为未屏蔽红外传感器132A确定的NUC项817;以及利用等式6的已知项确定的平均热像偏移参考
图13表示根据本发明的实施例利用未屏蔽和屏蔽红外传感器132A-B的各个操作的流程图。在一些实施例中,图13的操作可以通过例如红外传感器组件128、处理模块160、处理器195和/或其它这样的红外成像模块100的适当的组件完成。
在框1310中,确定(例如,检测)辐射到未屏蔽和屏蔽红外传感器132A-B上的各种组件的温度。在一个实施例中,温度传感器1220、1222和1224和/或其它适当的装置可以用于检测光学元件180的温度Toptical、帽状物130的温度Tcap、屏蔽1206的温度Tshield和/或红外传感器组件128或红外成像模块100的其它部分的温度。
在框1320中,温度转化为与各个组件关联的辐射值。在一个实施例中,由光学元件180产生的红外辐射1211的辐射值W(Toptical)、由帽状物130产生的红外辐射1213的辐射值W(Tcap)以及由屏蔽1206产生的红外辐射1214的辐射值W(Tshield)可以通过在框1310中确定的温度Toptical、Tcap和Tshield的适当的处理来确定。
在框1330中,捕捉来自红外传感器132的信号。在一个实施例中,从所有未屏蔽红外传感器132A中捕捉原始信号并且从所有屏蔽红外传感器132B中捕捉原始信号
在框1340中,确定平均热像偏移参考在一个实施例中,如等式6中识别的那样,这可以基于在框1330中由屏蔽红外传感器132B捕捉到的原始信号的平均值屏蔽红外传感器132B的响应度Rsh的平均值以及由屏蔽红外传感器132B之一接收到的总入射辐射Wsh确定。如等式7中识别的那样,总入射辐射Wsh可以基于红外传感器组件128的特征(例如,α1和α2)以及框1320中确定的辐射值(例如W(Tshield)和W(Tcap))确定。
在框1350中,为未屏蔽红外传感器132A确定NUC项817。在一个实施例中,NUC项817可以根据图5和8的适当的操作确定。
在框1360中,确定每一个未屏蔽红外传感器132A的特定传感器热像偏移参考ΔOa。在一个实施例中,可以基于在框1350中确定的特殊未屏蔽红外传感器132A的NUC项817和在框1340中确定的平均热像偏移参考之间的差值确定每一个特定传感器热像偏移参考ΔOa。
在框1370中,确定每一个未屏蔽红外传感器132A的绝对辐射值W(Tscene)。就这一点而言,每一个绝对辐射值W(Tscene)对应于由红外传感器组件128捕捉到的热图像的像素的特定的一个未屏蔽红外传感器132A接收到的基于场景的辐射。在一个实施例中,如在等式11、12和13中识别的那样,可以基于在图13的其它框中确定的各个项以及红外传感器组件128的特征确定绝对辐射值W(Tscene)。
在框1380中,可以利用在框1370中确定的绝对辐射值W(Tscene)完成附加处理。在一个实施例中,场景1201的热图像的每一个像素的绝对温度Tscene可以通过对应的未屏蔽红外传感器132A的绝对辐射值W(Tscene)确定。可以根据需要在其它实施例中完成其它处理。
有利地,图13的操作允许在不依靠工厂标准操作和/或基于快门的技术的情况下完成绝对温度确定,从而确定各个红外传感器132之间的像素到像素偏移值。更确切的说,通过使用屏蔽的红外传感器132B,可以利用NUC项817确定并使用平均热像偏移参考从而补偿像素到像素差值。
还可以预期其它实施例,例如,在一个实施例中,如果需要,工厂标准项可以用于代替NUC项817,同时依然允许图13的过程在没有快门的情况下完成。
在适当的情况下,可以利用硬件、软件或硬件和软件的组合实施本发明提供的各个实施例。同样在适当的情况下,在不背离本发明的主旨的情况下,这里阐明的各种硬件组件和/或软件组件可以组合到包含软件、硬件和/或软件和硬件的复合组件中。在适当的情况下,在不背离本发明的主旨的情况下,这里阐明的各种硬件组件和/或软件组件可以分成包含软件、硬件或软件和硬件的子组件。此外,在适当的情况下,可以预期的是软件组件可以实施为硬件组件,并且反之亦然。
根据本发明的软件,例如永久指令、程序代码和/或数据,可以存储在一个或多个永久机器可读介质上。还可以预期的是可以利用一个或多个通用或具体目的的计算机和/或计算机系统、网络化和/或其它实施这里识别的软件。在适当的情况下,这里所述的各种步骤的排序可以改变、结合到复合步骤中,和/或分成子步骤,从而提供这里所述的功能。
上述实施例举例说明但没有限制本发明。还应当理解的是根据本发明的原则可以存在许多修改和变体。因此,本发明的范围仅由以下权利要求限定。
Claims (17)
1.一种利用受阻隔的红外传感器来确定绝对辐射值的方法,包含:
捕捉来自屏蔽红外传感器的信号,屏蔽红外传感器实质上受阻隔无法接收来自场景的红外辐射;
捕捉来自未屏蔽红外传感器的信号,未屏蔽红外传感器设置为接收来自场景的红外辐射,而所述屏蔽红外传感器保持实质上受阻隔而无法接收来自场景的红外辐射;
基于捕捉到的屏蔽红外传感器的信号确定屏蔽和未屏蔽红外传感器的平均热像偏移参考;
基于平均热像偏移参考和捕捉到的未屏蔽红外传感器的信号确定场景的绝对辐射值;
其中,在没有使用温度控制快门的情况下确定绝对辐射值;
其中,所述平均热像偏移参考进一步基于:
屏蔽红外传感器的响应度,以及
由屏蔽红外传感器从圆片级封装的组件接收到的红外辐射;以及
其中,所述绝对辐射值进一步基于由未屏蔽红外传感器从所述组件接收到的红外辐射和未屏蔽红外传感器的特定传感器热像偏移参考,所述特定传感器热像偏移参考包括来自平均热像偏移参考的另一偏移参考;以及
所述方法进一步包含利用非均匀校正(NUC)项或工厂增益项确定特定传感器热像偏移参考。
2.根据权利要求1所述的方法,其中:
屏蔽和未屏蔽红外传感器是所述圆片级封装的一部分。
3.根据权利要求2所述的方法,进一步包含:
检测圆片级封装的组件的温度;以及
基于检测到的温度确定来自组件的红外辐射。
4.根据权利要求1所述的方法,进一步包含基于绝对辐射值确定场景的温度。
5.根据权利要求1所述的方法,进一步包含:
完成多个屏蔽红外传感器和多个未屏蔽红外传感器的捕捉操作,其中捕捉到的未屏蔽红外传感器的信号提供包含多个像素的场景的热图像;以及
基于以下为每一个像素确定场景的绝对辐射值:
对应的捕捉到的与像素关联的未屏蔽红外传感器的信号,以及
平均热像偏移参考,其中平均热像偏移参考进一步基于捕捉到的屏蔽红外传感器的信号的平均值。
6.根据权利要求1所述的方法,其中:
屏蔽和未屏蔽红外传感器是所述圆片级封装的一部分;以及
屏蔽红外传感器实质上被圆片级封装的帽状物阻隔。
7.根据权利要求1所述的方法,其中屏蔽和未屏蔽红外传感器是微测辐射热计。
8.根据权利要求1所述的方法,
其中,确定所述平均热像偏移参考为将多个屏蔽红外传感器的捕捉的信号的平均值减去所述多个屏蔽红外传感器的响应度的平均值与屏蔽红外传感器从所述组件接收到的总入射辐射的乘积,其中所述组件包括屏蔽。
9.一种利用受阻隔的红外传感器来确定绝对辐射值的装置,包含:
实质上受阻隔无法接收来自场景的红外辐射的屏蔽红外传感器;
未屏蔽红外传感器,该未屏蔽红外传感器配置为接收来自场景的红外辐射,而所述屏蔽红外传感器保持实质上受阻隔而无法接收来自场景的红外辐射;以及
处理装置,该处理装置配置为:
基于从屏蔽红外传感器捕捉到的信号确定屏蔽和未屏蔽红外传感器的平均热像偏移参考;
基于平均热像偏移参考和从未屏蔽红外传感器捕捉到的信号确定场景的绝对辐射值;
其中,在没有使用温度控制快门的情况下确定绝对辐射值;
其中,所述平均热像偏移参考进一步基于:
屏蔽红外传感器的响应度,以及
由屏蔽红外传感器从圆片级封装的组件接收到的红外辐射;以及
其中,所述绝对辐射值进一步基于由未屏蔽红外传感器从所述组件接收到的红外辐射和未屏蔽红外传感器的特定传感器热像偏移参考,所述特定传感器热像偏移参考包括来自平均热像偏移参考的另一偏移参考;以及
所述处理装置进一步适合利用非均匀校正(NUC)项或工厂增益项确定特定传感器热像偏移参考。
10.根据权利要求9所述的装置,进一步包含圆片级封装,其中:
屏蔽和未屏蔽红外传感器是圆片级封装的一部分。
11.根据权利要求10所述的装置,进一步包含配置为检测组件的温度的温度传感器,其中处理装置进一步配置为基于检测到的温度确定来自组件的红外辐射。
12.根据权利要求9所述的装置,其中处理装置进一步适合基于绝对辐射值确定场景的温度。
13.根据权利要求9所述的装置,进一步包含:
多个屏蔽红外传感器;
多个未屏蔽红外传感器,其中捕捉到的未屏蔽红外传感器的信号提供包含多个像素的场景的热图像;以及
其中处理装置进一步适合基于以下为每一个像素确定场景的绝对辐射值:
对应的捕捉到的与像素关联的未屏蔽红外传感器的信号,以及
平均热像偏移参考,其中平均热像偏移参考进一步基于捕捉到的屏蔽红外传感器的信号的平均值。
14.根据权利要求9所述的装置,进一步包含圆片级封装,其中:
屏蔽和未屏蔽红外传感器是圆片级封装的一部分;以及
屏蔽红外传感器实质上被圆片级封装的帽状物阻隔。
15.根据权利要求9所述的装置,其中屏蔽和未屏蔽红外传感器是微测热辐射计。
16.根据权利要求9所述的装置,其中处理装置是逻辑装置、微控制器、处理器或专用集成电路(ASIC)。
17.根据权利要求9所述的装置,其中,确定所述平均热像偏移参考为将多个屏蔽红外传感器的捕捉的信号的平均值减去所述多个屏蔽红外传感器的响应度的平均值与屏蔽红外传感器从所述组件接收到的总入射辐射的乘积,其中所述组件包括屏蔽。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161545056P | 2011-10-07 | 2011-10-07 | |
US61/545,056 | 2011-10-07 | ||
US201261616766P | 2012-03-28 | 2012-03-28 | |
US61/616,766 | 2012-03-28 | ||
PCT/US2012/049051 WO2013052196A1 (en) | 2011-10-07 | 2012-07-31 | Determination of an absolute radiometric value using blocked infrared sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103907342A CN103907342A (zh) | 2014-07-02 |
CN103907342B true CN103907342B (zh) | 2018-10-23 |
Family
ID=46755089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280054228.8A Active CN103907342B (zh) | 2011-10-07 | 2012-07-31 | 利用阻隔红外传感器确定绝对辐射值的方法和装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2764685A1 (zh) |
CN (1) | CN103907342B (zh) |
WO (1) | WO2013052196A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10602082B2 (en) | 2014-09-17 | 2020-03-24 | Fluke Corporation | Triggered operation and/or recording of test and measurement or imaging tools |
WO2016065261A1 (en) | 2014-10-24 | 2016-04-28 | Fluke Corporation | Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection |
WO2016197010A1 (en) * | 2015-06-05 | 2016-12-08 | Flir Systems, Inc. | Systems and methods for enhanced dynamic range infrared imaging |
US20170078544A1 (en) | 2015-09-16 | 2017-03-16 | Fluke Corporation | Electrical isolation for a camera in a test and measurement tool |
WO2017070629A1 (en) | 2015-10-23 | 2017-04-27 | Fluke Corporation | Imaging tool for vibration and/or misalignment analysis |
WO2020236567A1 (en) * | 2019-05-17 | 2020-11-26 | Flir Commercial Systems, Inc. | Imager health monitoring system and method |
US20220210399A1 (en) * | 2020-12-30 | 2022-06-30 | Flir Commercial Systems, Inc. | Anomalous pixel detection systems and methods |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1221093A (zh) * | 1997-12-22 | 1999-06-30 | 三星电子株式会社 | 微波炉 |
US6583416B1 (en) * | 1999-11-15 | 2003-06-24 | Sarnoff Corporation | Uncooled IR detector array having improved temperature stability and reduced fixed pattern noise |
CN101158603A (zh) * | 2000-12-26 | 2008-04-09 | 霍尼韦尔国际公司 | 重量轻的红外照相机 |
CN102192791A (zh) * | 2010-01-27 | 2011-09-21 | 索尼公司 | 图像拾取装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4998826A (en) * | 1988-11-30 | 1991-03-12 | Telatemp Corporation | Agricultural infrared thermometer |
US6028309A (en) | 1997-02-11 | 2000-02-22 | Indigo Systems Corporation | Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array |
US5967661A (en) * | 1997-06-02 | 1999-10-19 | Sensarray Corporation | Temperature calibration substrate |
US7034301B2 (en) | 2002-02-27 | 2006-04-25 | Indigo Systems Corporation | Microbolometer focal plane array systems and methods |
US6812465B2 (en) | 2002-02-27 | 2004-11-02 | Indigo Systems Corporation | Microbolometer focal plane array methods and circuitry |
IL157344A0 (en) * | 2003-08-11 | 2004-06-20 | Opgal Ltd | Internal temperature reference source and mtf inverse filter for radiometry |
IL167637A (en) * | 2005-03-24 | 2009-09-22 | Semi Conductor Devices An Elbi | Method and system for determining the rate of non uniformity of bolometer based systems |
US7235773B1 (en) * | 2005-04-12 | 2007-06-26 | Itt Manufacturing Enterprises, Inc. | Method and apparatus for image signal compensation of dark current, focal plane temperature, and electronics temperature |
US7470902B1 (en) | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera electronic architectures |
US7470904B1 (en) | 2006-03-20 | 2008-12-30 | Flir Systems, Inc. | Infrared camera packaging |
US7679048B1 (en) | 2008-04-18 | 2010-03-16 | Flir Systems, Inc. | Systems and methods for selecting microbolometers within microbolometer focal plane arrays |
WO2010048303A1 (en) * | 2008-10-21 | 2010-04-29 | Lifescan, Inc. | Infrared temperature measurement of strip |
-
2012
- 2012-07-31 CN CN201280054228.8A patent/CN103907342B/zh active Active
- 2012-07-31 EP EP12751646.6A patent/EP2764685A1/en not_active Ceased
- 2012-07-31 WO PCT/US2012/049051 patent/WO2013052196A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1221093A (zh) * | 1997-12-22 | 1999-06-30 | 三星电子株式会社 | 微波炉 |
US6583416B1 (en) * | 1999-11-15 | 2003-06-24 | Sarnoff Corporation | Uncooled IR detector array having improved temperature stability and reduced fixed pattern noise |
CN101158603A (zh) * | 2000-12-26 | 2008-04-09 | 霍尼韦尔国际公司 | 重量轻的红外照相机 |
CN102192791A (zh) * | 2010-01-27 | 2011-09-21 | 索尼公司 | 图像拾取装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2013052196A1 (en) | 2013-04-11 |
CN103907342A (zh) | 2014-07-02 |
EP2764685A1 (en) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103875235B (zh) | 用于红外成像装置的非均匀性校正技术 | |
CN103907342B (zh) | 利用阻隔红外传感器确定绝对辐射值的方法和装置 | |
US10122944B2 (en) | Low power and small form factor infrared imaging | |
US9843742B2 (en) | Thermal image frame capture using de-aligned sensor array | |
EP2923187B1 (en) | Hybrid infrared sensor array having heterogeneous infrared sensors | |
US20170374298A1 (en) | Hybrid infrared sensor array having heterogeneous infrared sensors | |
US9900526B2 (en) | Techniques to compensate for calibration drifts in infrared imaging devices | |
US10232237B2 (en) | Thermal-assisted golf rangefinder systems and methods | |
CN104782116B (zh) | 热图像中的行和列降噪 | |
US10079982B2 (en) | Determination of an absolute radiometric value using blocked infrared sensors | |
EP2939413B1 (en) | Techniques to compensate for calibration drifts in infrared imaging devices | |
US9961277B2 (en) | Infrared focal plane array heat spreaders | |
WO2014105904A1 (en) | Infrared focal plane array heat spreaders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |