CN204996085U - 确定高尔夫球场上距离的设备、系统及旗杆 - Google Patents
确定高尔夫球场上距离的设备、系统及旗杆 Download PDFInfo
- Publication number
- CN204996085U CN204996085U CN201520714492.0U CN201520714492U CN204996085U CN 204996085 U CN204996085 U CN 204996085U CN 201520714492 U CN201520714492 U CN 201520714492U CN 204996085 U CN204996085 U CN 204996085U
- Authority
- CN
- China
- Prior art keywords
- flagpole
- image
- infrared
- hot target
- heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
Abstract
公开了用于确定高尔夫球场上距离的设备、系统和用于高尔夫球场的旗杆。所述设备包括:红外成像模块,其配置成捕获包括旗杆的高尔夫球场的一部分的红外图像,旗杆包括热靶;光源,其配置成发射光;光检测器,其配置成检测从旗杆反射的至少一部分光;处理器,其耦合至光源和光检测器,并且基于检测的光确定并提供到旗杆的距离;以及可见光光学装置,其配置成放大高尔夫球场的所述部分。系统包括设备和旗杆。旗杆包括:旗;热靶,其配置成发射热辐射;以及杆,其包括第一端和第二端,其中与所述第二端相比所述旗和所述热靶的位置更靠近所述第一端,并且所述第二端适于放置在高尔夫球洞中。本实用新型提出了一种改进的确定高尔夫球场上距离的方案。
Description
相关申请的交叉引用
本申请是申请号为14/101,245,申请日为2013年12月9日,题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
申请号为14/101,245的美国专利申请是申请号为PCT/US2012/041744,申请日为2012年6月8日,题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的国际专利申请的继续申请,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/US2012/041744要求申请号为61/656,889,申请日为2012年6月7日,题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/US2012/041744要求申请号为61/545,056,申请日为2011年10月7日,题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/US2012/041744要求申请号为61/495,873,申请日为2011年6月10日,题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/US2012/041744要求申请号为61/495,879,申请日为2011年6月10日,题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041744要求申请号为61/495,888,申请日为2011年6月10日,题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为14/099,818,申请日为2013年12月6日,题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
申请号为14/099,818的美国专利申请是申请号为PCT/US2012/041749,申请日为2012年6月8日,题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的国际专利申请的继续申请,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041749要求申请号为61/545,056,申请日为2011年10月7日,题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041749要求申请号为61/495,873,申请日为2011年6月10日,题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041749要求申请号为61/495,879,申请日为2011年6月10日,题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041749要求申请号为61/495,888,申请日为2011年6月10日,题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为14/101,258,申请日为2013年12月9日,题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请14/101,258是申请号为PCT/US2012/041739,申请日为2012年6月8日,题为“INFRAREDCAMERASYSTEMARCHITECTURES”的国际专利申请的继续申请,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041739要求申请号为61/495,873,申请日为2011年6月10日,题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041739要求申请号为61/495,879,申请日为2011年6月10日,题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
国际专利申请PCT/US2012/041739要求申请号为61/495,888,申请日为2011年6月10日,题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为13/437,645,申请日为2012年4月2日,题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请13/437,645是申请号为13/105,765,申请日为2011年5月11日,题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请13/437,645还要求申请号为61/473,207,申请日为2011年4月8日,题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
美国专利申请13/437,645还是申请号为12/766,739,申请日为2010年4月23日,题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请13/105,765是申请号为PCT/EP2011/056432,申请日为2011年4月21日,题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的国际专利申请的继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请13/105,765还是申请号为12/766,739的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/EP2011/056432是申请号为12/766,739的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
国际专利申请No.PCT/EP2011/056432还要求申请号为61/473,207的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为14/138,058,申请日为2013年12月21日,题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请No.14/138,058要求申请号为61/748,018,申请日为2012年12月31日,题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为12/477,828,申请日为2009年6月3日,题为“INFRAREDCAMERASYSTEMSANDMETHODSFORDUALSENSORAPPLICATIONS”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
本申请是申请号为14/138,040,申请日为2013年12月21日,题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请No.14/138,040要求申请号为61/792,582,申请日为2013年3月15日,题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
美国专利申请No.14/138,040还要求申请号为61/746,069,申请日为2012年12月26日,题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
本申请是申请号为14/138,052,申请日为2013年12月21日,题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请,通过引用的方式将其作为整体合并于此。
美国专利申请No.14/138,052要求申请号为61/793,952,申请日为2013年3月15日,题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
美国专利申请No.14/138,052还要求申请号为61/746,074,申请日为2012年12月26日,题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利申请的权益,通过引用的方式将其作为整体合并于此。
技术领域
本实用新型的一个或多个实施方式大体涉及用于确定高尔夫球场上距离的设备和系统,更具体地涉及例如用于借助红外成像来确定距离的设备和系统,以及用于高尔夫球场的旗杆。
背景技术
已经通过引入测距仪来辅助对从观察者到靶的距离的估计。测距仪测量距离,例如从观察者到靶的距离。测距仪一般包括激光器,该激光器发射激光束以基于对激光束的飞行时间的测量来确定距离。飞行时间是激光束行进到靶并回来所花费的时间。测量的准确性取决于各种因素,包括激光束是否从预定靶反射并且如果激光束从其他物体反射则会负面地影响测量的准确性。然而,使激光器精确地指向靶可能是具有挑战性的。当靶远离并且从一定距离观察时靶小或窄,则尤其具有挑战性。
手持式高尔夫测距仪用于确定从高尔夫球场上的观察者到草地上的旗杆或杆(pin)的距离。旗杆可包括光学回射器以帮助取得从测距器返回的光束信号。然而,为了使得观察者利用测距仪确定到旗杆的距离,观察者必须使激光器精确地指向在旗杆上以测量距离。以这种方式将激光器瞄向旗杆可能是具有挑战性的,尤其是在旗杆距离远并且由此在观察者看来显得窄和遥远的时候。
因此,期望提供一种在高尔夫球场上确定到旗杆的距离的改进方法、设备和系统。
实用新型内容
根据一个或多个实施方式,公开了用于在高尔夫球场上确定距离的设备和系统,以及用于高尔夫球场的旗杆。
在各种实施方式中,提供了这样的设备和系统,在其中可以使用红外成像来辅助确定距离。根据各种实施方式,系统(例如,测距仪系统)可包括热成像模块、光源(例如,激光器)和用于检测从光源发射的光的反射部分的接收器。系统还可以包括处理器,该处理器用于处理来自热成像模块的热图像和接收的光的反射部分以确定距离。系统还可以包括显示器。系统还可以包括可见光成像器。
根据本实用新型的实施方式,提供了一种用于在高尔夫球场上确定距离的设备,所述包括:红外成像模块,其配置成捕获包括旗杆的高尔夫球场的一部分的红外图像,其中旗杆包括热靶;光源,其配置成发射光;光检测器,其配置成检测从旗杆反射的至少一部分光;处理器,其耦合至光源和光检测器,并且其配置成基于检测的光确定并提供到旗杆的距离;以及可见光光学装置,其配置成放大所述高尔夫球场的所述部分。
根据本实用新型的优选实施方式,所述红外成像模块配置成检测所述旗杆的所述热靶发射的热辐射;以及所述可见光光学装置配置成基于检测的热辐射呈现用户可视的提示,所述用户可视的提示指示应当如何指引光源以将光发射到所述旗杆。
根据本实用新型的优选实施方式,所述处理器还配置成基于所述红外图像检测旗杆的热靶并基于检测的热靶产生对准引导信息以提供给用户。
根据本实用新型的优选实施方式,该所述对准引导信息包括用户可视的提示,所述用户可视的提示指示应当如何指引光源以将光提供到所述旗杆;该设备还包括显示器,其配置成呈现所述用户可视的提示。
根据本实用新型的优选实施方式,该设备还包括:所述红外成像模块配置成捕获附加的红外图像;所述处理器配成至基于所述红外图像和所述附加的红外图像追踪所述热靶;以及所述光源配置成基于追踪的热靶调整所述光源的方向以将光发射到所述旗杆。
根据本实用新型的优选实施方式,该设备还包括:可见光摄像机,其配置成捕获包括旗杆的高尔夫球场的所述部分的可见光图像;以及一个或多个图像稳定模块,其配置成稳定所述红外成像模块捕获的所述红外图像或所述可见光摄像机捕获的可见光图像,或者稳定二者。
根据本实用新型的优选实施方式,所述可见光光学装置包括用于光学放大的透镜。
根据本实用新型的优选实施方式,所述可见光光学装置还包括:可见光摄像机,其配置成捕获包括所述旗杆的所述高尔夫球场的所述部分的可见光图像;以及显示器,其配置成呈现所述可见光图像或所述可见光图像的放大图像。
根据本实用新型的优选实施方式,所述处理器配置成基于所述可见光图像和所述红外图像产生组合图像,其中所述组合图像是添加有可见光图像数据的所述红外图像的对比增强版本;以及所述显示器配置成呈现所述组合图像。
根据本实用新型的优选实施方式,所述红外成像模块包括红外微辐射热计阵列,并且其中所述红外图像是热图像。
根据本实用新型的实施方式,提供了一种用于确定高尔夫球场上距离的系统,其包括上述设备和旗杆,其中所述旗杆包括:旗;热靶,其配置成发射热辐射;以及杆,其包括第一端和第二端,其中与所述第二端相比所述旗和所述热靶的位置更靠近所述第一端,并且其中所述第二端适于放置在高尔夫球洞中。
根据本实用新型的实施方式,提供了一种用于高尔夫球场的旗杆,包括:旗;热靶,其配置成发射热辐射;以及杆,其包括第一端和第二端,其中与所述第二端相比所述旗和所述热靶的位置更靠近所述第一端,并且其中所述第二端适于放置在高尔夫球洞中。
根据本实用新型的优选实施方式,该旗杆还包括一个或多个回射器,其适于反射所述光源发射的光,其中与所述第二端相比所述一个或多个回射器的位置更靠近所述第一端,并且其中所述热靶的温度是可调整的。
在各种实施方式中,可以捕获包括具有热靶的旗杆的高尔夫球场的一部分的红外图像(例如,热图像)。可以基于红外图像检测旗杆的热靶。可以基于检测的热靶将光(例如,光束(比如,激光束))朝向旗杆发射。一些或所有光可以从旗杆反射回接收器并且被检测。可以基于检测的反射光计算到旗杆的距离并且提供该距离。
在一种实施方式中,可以基于红外图像和检测的热靶产生并提供对准引导信息。对准引导信息包括例如用户可视的提示,其指示如何指引光源以向旗杆发射光。用户可视的提示可包括呈现在显示器上的图形(例如,指向箭头)、文本、框标线等。在另一实施方式中,基于红外图像和检测的热靶追踪热靶。可以基于追踪的热靶调整光源发射的方向以发射光到旗杆。
在一些实施方式中,捕获高尔夫球场的所述部分的可见光图像。可以产生可见光图像和红外图像的组合图像。组合图像可以呈现在测距仪系统的显示器上。组合的图像可以是例如具有附加可见光图像数据的对比增强版本的红外图像。
在各种实施方式中,用于执行确定距离的方法的设备是热辅助的测距仪,其包括:红外成像模块,其配置成捕获高尔夫球场的一部分和具有热靶的旗杆的红外图像;光源(例如激光器),其配置成发射光到旗杆;光检测器,其配置成检测从旗杆反射的光;可见光光学装置,其配置成放大高尔夫球场的所述部分;以及处理器,其配置成与红外成像模块通信。所述处理器检测旗杆的热靶、基于检测的光计算到热靶的距离并提供所述距离。所述处理器可通过例如使用红外图像执行物体检测操作以检测红外图像中的物体来检测旗杆的热靶。
在一个实施方式中,处理器基于红外图像产生对准引导信息。对准引导信息可包括用户可视的提示,其基于红外图像和检测的热靶指示如何指引光源以向旗杆发射光。处理器可将用户可视的提示呈现在可见光光学装置上。在另一实施方式中,处理器操作以基于红外图像和检测的热靶追踪热靶,并调整光源的方向以基于追踪的热靶发射光到旗杆。
可见光光学装置可包括用于光学放大的透镜、显示器和/或配置为捕获高尔夫球场的所述部分的可见光图像的可见光摄像机。可以在显示器上呈现可见光图像、可见光图像的放大和/或用户可视的提示。在一些实施方式中,处理器产生可见光图像和红外图像的组合图像并在显示器上呈现组合图像。
在各种实施方式中,旗杆包括旗、配置成发射热辐射的热靶、和杆。旗和热靶位于更靠近旗杆的一端,而旗杆的另一端适于放置在高尔夫球洞中以使得旗杆从球洞向上延伸成对于测距器可见。
在各种实施方式中,系统包括热辅助的距离探测器和具有热靶的旗杆以执行用于确定距离的方法。
本实用新型的范围由权利要求书限定,通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施方式的详细描述,将会向本领域技术人员提供对本实用新型实施方式的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。
附图说明
图1示出了根据本公开实施方式的、被配置为在主机装置中实现的红外成像模块。
图2示出了根据本公开实施方式的、装配后的红外成像模块。
图3示出了根据本公开的实施方式的、并列的置于插座之上的红外成像模块的分解图。
图4示出了根据本公开的实施方式的、包括红外传感器阵列的红外传感器组件的框图。
图5示出了根据本公开实施方式的、确定NUC项的各种操作的流程图。
图6示出了根据本公开实施方式的、相邻像素之间的差值。
图7示出了根据本公开实施方式的平场校正技术。
图8示出了根据本公开实施方式的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。
图9示出了根据本公开实施方式的时域噪声削减步骤。
图10示出了根据本公开实施方式的、图6的图像处理流水线的几个步骤的具体的实施细节。
图11示出了根据本公开实施方式的、附近像素中的空间相关的FPN。
图12示出了根据本公开实施方式的、包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。
图13示出了根据本公开实施方式的、图12的红外传感器组件的一部分的电路图。
图14示出了根据本公开实施方式的、具有红外成像模块和可见光摄像机的主机系统的框图。
图15示出了根据本公开实施方式的、可使用红外成像模块捕获并由处理器分析的实例热图像。
图16示出了根据本公开实施方式的、用于组合热图像和可见光图像的过程。
图17示出了根据本公开实施方式的、实施成具有红外成像模块的热辅助的测距仪的主机装置的框图。
图18示出了根据本公开实施方式的、包括热辅助的测距仪和具有热靶的旗杆的实例性测距仪系统。
图19示出了根据本公开实施方式的、用于使用热辅助的测距仪来确定到旗杆的距离的方法。
图20示出了根据本公开实施方式的、可以呈现给用户的用户可视图像。
通过参考下面的详细说明,将会更好的理解本实用新型的实施方式及其优点。应当理解的是,相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。
具体实施方式
图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成像模块100(例如,红外摄像机或者红外成像装置)。在一个或者多个实施例中,可根据晶圆级封装技术或者其他封装技术,实现小形状因子的红外成像模块100。
在一个实施例中,红外成像模块100可被配置为在小型的便携式主机装置102中实现,例如,移动电话、平板计算装置、膝上型计算装置、个人数字助理、可见光摄像机、音乐播放器、可穿戴成像装置、测距仪或者任何其他合适的移动装置。就这方面而言,红外成像模块100可用于向主机装置102提供红外成像功能。例如,红外成像模块100可被配置为捕获、处理、和/或管理红外图像,并将该红外图像提供给主机装置102,主机装置102能够以任何期望的方式来使用该红外图像(例如,对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。
在各种实施例中,红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如,在一个实施例中,红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作,并且可在约-20℃到约+60℃的温度范围中工作(例如,在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中,通过使红外成像模块100在低电压电平下工作,与其他类型的红外成像装置相比,红外成像模块100自身所产生的热量较少。因此,红外成像模块100在工作时,可利用简化的措施来补偿这种自身产生的热量。
如图1所示,主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言,图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。
可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息,以检测运动。在各种实施例中,运动传感器194可实现为主机装置102的一部分(如图1所示),也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。
处理器195可实现为任何合适的处理装置(例如,逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置),主机装置102可使用上述处理装置来执行适当的指令,例如,存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能,如可能期望的各种应用(例如,时钟、温度传感器、可见光摄像机或者其他部件)。另外,机器可读介质193可用于存储非临时性指令,可将该非临时性指令加载到存储器196中并由处理器195执行。
在各种实施例中,可大量生产红外成像模块100和插座104,以推动它们的广泛应用,例如,其可应用在移动电话或者其他装置(例如,需要小形状因子的装置)中。在一个实施例中,当红外成像模块100安装到插座104中时,红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。
图3示出了根据本公开的实施例的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。
透镜镜筒110可至少部分的装入光学元件180(例如,透镜),通过透镜镜筒110中的孔112,所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114,其可用于使透镜镜筒110与外壳120中的孔122接触。
例如,可由安装在基板140上的帽130(例如,盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如,红外探测器)。例如,在一个实施例中,红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如,由帽130和基板140密封)。在一个实施例中,红外传感器组件128可实现为晶片级封装(例如,红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施例中,红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。
红外传感器132可被配置为检测目标场景的红外辐射(例如,红外能量),所述目标场景包括:例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施例中,可根据晶片级封装技术来提供红外传感器组件128。
红外传感器132可实现为例如微辐射热计探测器,或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中,红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中,可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。
基板140可包括各种电路,其中包括例如读出集成电路(ROIC),在一个实施例中,该读出集成电路(ROIC)的尺寸比约5.5mm×5.5mm小。基板140还可包括接合焊盘142,其可用于当如图5A,5B和5C所示的那样装配好红外成像模块100时,与放置在外壳120的内表面上的相辅相成的连接点相接触。在一个实施例中,可利用执行电压调节的低压差稳压器(LDO)来实现ROIC,以降低引入到红外传感器组件128中的噪声,从而提供改进的电源抑制比(PSRR)。另外,通过实现具有ROIC的LDO(例如,在晶圆级封装内),可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。
图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中,红外传感器132作为ROIC402的单位晶格阵列的一部分。ROIC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即,热图像)提供给处理模块160、处理器195和/或任何其他合适的部件,以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列,但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到,通过引用的方式将其作为整体合并于此。
红外传感器阵列128可捕获图像(例如,图像帧),并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理,并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中,处理模块160可实现为ASIC。就这方面而言,这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施例中,可利用通用中央处理单元(CPU)来实现处理模块160,所述CPU可被配置为执行适当的软件指令,以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施例中,可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中,如本领域技术人员所理解的,可利用其他类型的处理和/或逻辑电路来实现处理模块160。
在这些和其他实施例中,处理模块160还可与其他合适的部件来实现,例如,易失性存储器、非易失性存储器和/或一个或者多个接口(例如,红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如,IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。
在一些实施例中,红外成像模块100可进一步包括一个或者多个致动器199,其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如,致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件,以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199,并且可将致动器199放置在红外成像模块100内部或者外部的任何位置,以适应不同的应用。
当将红外成像模块100装配好后,外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如,在一个实施例中,外壳120可提供用于连接各种部件的电连接部件126,下面将对其进行详细描述。
当将红外成像模块100装配好时,电连接部件126(例如,导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施例中,可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示,电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时,连接部件124可与电路板170连接(例如,在各种实施例中,外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此,红外传感器组件128可例如通过导电路径与处理模块160电连接,所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是,这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。
在各种实施例中,可使用任何期望的材料(例如,铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施例中,电连接部件126可有助于对红外成像模块100产生的热量进行散热。
其他连接可用于其他实施例中。例如,在一个实施例中,传感器组件128可通过陶瓷板连接到处理模块160,所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中,传感器组件128可直接安装到刚柔性板上并与焊线电连接,并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。
本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例,而不是限制。就这方面而言,本文所描述的各种技术中的任何一个均可应用到任何红外摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。
红外传感器组件128的基板140可安装到基座150上。在各种实施例中,基座150(例如,底座)可例如由通过金属注射成形(MIM)形成的铜制造,并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中,基座150可由任何期望的材料制造,例如,可根据特定应用,由例如锌、铝或者镁制造,并且,基座150可通过任何期望的应用流程形成,例如,可根据特定应用,例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中,基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中,基座150可以是至少部分使用陶瓷材料实现的多层结构。
在各种实施例中,电路板170可容纳外壳120,从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中,电路板170可实现为印刷电路板(例如,FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如,互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中,基座150可实现为具有描述的电路板170的各种功能和属性,反之亦然。
插座104可包括被配置为容纳红外成像模块100(例如,如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件,所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104,或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107,其可在当红外成像模块100插入到插座104的腔体106中时,接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。
红外成像模块100可通过适当的电连接部件(例如,触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如,插座104可包括电连接部件108,其可与红外成像模块100的相应的电连接部件(例如,互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如,铜或者任何其他合适的导电材料)制造。在一个实施例中,电连接部件108可被机械的压扁,以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施例中,电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施例中。
插座104可通过类似类型的电连接部件与主机102电连接。例如,在一个实施例中,主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如,焊接连接、搭扣式连接或者其他连接)。在各种实施例中,这种电连接部件可置于插座104的侧面和/或底部。
可通过倒装芯片技术来实现红外成像模块100的各种部件,所述倒装芯片技术可用于将部件直接安装到电路板上,而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因子应用中减少红外成像模块100的整体尺寸。例如,在一个实施例中,可使用倒装芯片连接部件将处理模块160安装到电路板170。例如,可使用这种倒装芯片配置来实现红外成像模块100。
在各种实施例中,可根据如申请号为12/844,124,申请日为2010年7月27日的美国专利申请和申请号为61/469,651,申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如,圆晶级封装技术),来实现红外成像模块100和/或相关的部件,通过引用的方式将其作为整体合并于此。另外,根据一个或者多个实施例,可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件,所述文献例如为:如公开号为7,470,902、公开日为2008年12月30日的美国专利,公开号为6,028,309、公开日为2000年2月22日的美国专利,公开号为6,812,465、公开日为2004年11月2日的美国专利,公开号为7,034,301、公开日为2006年4月25日的美国专利,公开号为7,679,048、公开日为2010年3月16日的美国专利,公开号为7,470,904、公开日为2008年12月30日的美国专利,申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请,通过引用的方式将上述文献作为整体合并于此。
再次参考图1,在各种实施例中,主机装置102可包括快门105。就这方面而言,可在红外成像模块100安装在插座中时,将快门105选择性的放置在插座104上(例如,如箭头103所确定的方向)。就这方面而言,快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考,如本领域技术人员所应当理解的,所述温度参考作为红外成像模块100的校正过程(例如,非均匀性校正(NUC)过程或者其他校正过程)的一部分。
在各种实施例中,快门105可由各种材料制造,例如,聚合物、玻璃、铝(例如,涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施例中,快门105可包括一个或者多个涂层(例如,均匀的黑体涂层或者反射性的镀金涂层),其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。
在另一个实施例中,可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下,快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如,聚合物,或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的,在另一个实施例中,快门可实现为红外成像模块100的一部分(例如,在透镜镜筒或者红外成像模块100的其他部件内,或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。
可选的,在另一个实施例中,无需提供快门(例如,快门105或者其他类型的外部或者内部快门),而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中,使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。
可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102,所述文献为:申请号为61/495,873,申请日为2011年6月10日的美国临时专利申请;申请号为61/495,879,申请日为2011年6月10日的美国临时专利申请;以及申请号为61/495,888,申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。
在各种实施例中,主机装置102和/或红外成像模块100的部件可实现为本地系统,或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此,可根据特定实施的需要,通过本地和/或远程部件来执行本公开所提及的各种操作。
图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中,可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。
在块505,红外传感器132开始捕获场景的图像帧。通常,场景将会是主机装置102当前处于的真实环境。就这方面而言,快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间,红外传感器132可连续地捕获图像帧。就这方面而言,连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中,可对捕获的图像帧进行时域滤波(例如,根据块826的步骤对捕获的图像帧进行时域滤波,本文将根据图8对其进一步描述),并且在所述图像帧被用于图5所示的操作之前,由其他项(例如,工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824,本文将根据图8对其做进一步描述)对它们进行处理。
在块510,检测到NUC步骤的启动事件。在一个实施例中,NUC步骤可响应于主机装置102的物理移动而启动。例如,可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中,用于可能会以特定的方式来移动主机装置102,例如,通过有意的来回移动主机装置102,使主机装置102做“消除”或者“重击”运动。就这方面而言,用户可根据预定的速率和方向(速度),例如,通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中,这种移动的使用可允许用户直观的操作主机装置102,以模拟对捕获的图像帧的噪声“消除”。
在另一个例子中,如果运动超过阈值(例如,运动超过了期望的正常使用),则可由主机装置102来启动NUC步骤。可以预期的是,主机装置102的任何期望的类型的空间移位均可用于启动NUC步骤。
在另一个例子中,如果自从先前执行的NUC步骤以来,已经过去了最小时间,则可由主机装置102启动NUC步骤。在另一个例子中,如果自从先前执行的NUC步骤以来,红外成像模块100已经经历了最小的温度改变,则可由主机装置102启动NUC步骤。在另外的例子中,可连续地启动并重复NUC步骤。
在块515,检测到NUC步骤启动事件之后,确定是否应该真正地执行NUC步骤。就这方面而言,可基于一个或者多个附加条件是否满足,来选择性地启动NUC步骤。例如,在一个实施例中,除非自从先前执行的NUC步骤以来,已经过去了最小时间,否则不会执行NUC步骤。在另一个实施例中,除非自从先前执行的NUC步骤以来,红外成像模块100已经经历了最小的温度变化,否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件,流程图就会继续到块520。否则,流程图返回到块505。
在NUC步骤中,模糊图像帧可用于确定NUC项,所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的,在一个实施例中,可通过累加运动场景的多个图像帧(例如,当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中,可通过使热成像仪的光学元件或者其他部件散焦,来获得模糊图像帧。
因此,块520提供了两种方法的选择。如果使用基于运动的方法,则流程图继续到块525。如果使用基于散焦的方法,则流程图继续到块530。
现在参考基于运动的方法,在块525,检测到运动。例如,在一个实施例中,可基于红外传感器132捕获的图像帧检测运动。就这方面而言,合适的运动检测步骤(例如,图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧,以确定是否存在运动(例如,是否已经捕获到静态的或者运动的图像帧)。例如,在一个实施例中,能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如,百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量,则可以非常肯定的检测到运动,从而流程图转到块535。
在另一个实施例中,可以在每个像素的基础上确定运动,其中,只累加那些显示出明显变化的像素,以提供模糊图像帧。例如,可以为每个像素设置计数器,所述计数器用于保证每个像素累加的像素值的数量相同,或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测,例如,执行拉东(Radon)变换。
在另一个实施例中,可基于运动传感器194提供的数据来检测运动。在一个实施例中,这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如,如果主机装置102正沿着相对笔直的轨迹移动,那么下述情况是可能的:出现在成像后的场景中的某些对象可能不够模糊(例如,场景中的对象与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此,在该实施例中,只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时,运动传感器194才能检测到运动。
在另一个实施例中,可使用运动检测步骤和运动传感器194二者。因此,使用这些各种实施例中任意一个,能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如,这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起),是否捕获到每个图像帧。
可以预期的是,检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如,与场景相关的模糊的热图像数据),所述次级模糊是由于红外传感器132的热时间常数(例如,微辐射热时间常数)与场景移动交互而引起的。
在块535,对检测到运动的图像帧进行累加。例如,如果检测到连续的一系列图像帧的运动,则可对系列图像帧进行累加。做为另外一个例子,如果只检测到某些图像帧的运动,则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此,可基于检测到的运动,选择连续的或者不连续的一系列图像帧进行累加。
在块540,对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的,所以我们期望图像帧之间实际的场景信息将会不同,从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。
与此相反,在运动期间,在至少短时间内以及场景辐射的至少有限变化时,FPN(例如,由红外成像模块100的一个或者多个部件引起的)保持不变。结果是,在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此,尽管连续图像帧中的场景信息可能会改变,但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均,所述多个图像帧将会模糊场景信息,但是不会模糊FPN。结果是,与场景信息相比,FPN将在块545提供的模糊图像帧中保持的更加清楚。
在一个实施例中,在块535和540中,对32个或者更多图像帧进行累加和平均。然而,任何期望数量的图像帧均可用在其他实施例中,只是随着帧的数量的减少,校正精度通常会降低。
现在参考基于散焦的方法,在块530,进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如,在一个实施例中,一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件,以使得红外传感器132捕获场景的模糊的(例如,没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦,例如,如人工(例如,用户启动的)散焦。
尽管图像帧中的场景可能会出现模糊,但是通过散焦操作,FPN(例如,由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是,场景的模糊图像帧(块545)将会具有FPN,并且与场景信息相比,所述FPN将在所述模糊图像中保持的更加清楚。
在上面的讨论中,已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中,基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加,并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。
因此,可以理解的是,既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊,所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。
在块505,对模糊图像帧进行处理以确定更新的行和列的FPN项(例如,如果之前没有确定行和列的FPN项,那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的,根据红外传感器132和/或红外成像模块100的其他部件的方向,术语行和列可互换的使用。
在一个实施例中,块550包括确定每行模糊图像帧(例如,每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项,以及还确定每列模糊图像帧(例如,每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f),这种缓慢变化例如是由ROIC402中的放大器的1/f噪声特征引起,所述1/f噪声特征可表现为图像帧中的垂直和水平条。
有利的是,通过利用模糊图像帧确定空间行和列的FPN,会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如,真实场景内容被模糊,而FPN保持不被模糊)。
在一个实施例中,可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如,图6示出了根据本公开实施例的、相邻像素之间的差值。具体地,在图6中,将像素610与它附近的8个水平相邻像素进行比较:d0-d3在一侧,d4-d7在另一侧。可对相邻像素之间的差值进行平均,以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算,并且得到的平均值可用于校正整个行或者列。
为了防止将真实的场景数据解释为噪声,可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中,是像素d1和d4)不用于获得偏移误差。另外,这些阈值可限制行和列FPN校正的最大量。
申请号为12/396,340,申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术,通过引用的方式将其作为整体合并于此。
再次参考图5,将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后,可降低模糊图像帧中的一些空间行和列的FPN。然而,因为这些项通常应用于行和列,所以附加的FPN可保持,例如,空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此,可进行进一步的处理以确定NUC项,下面将对其进行描述。
在块560,确定模糊图像帧中的局部反差值(例如,相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如,原始场景数据中的高反差边缘),那么可由块560的反差确定步骤来识别这些特征。
例如,可计算模糊图像帧中的局部反差值,或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息,可将该很高空间频率的场景信息解释为FPN(例如,这种区域可对应于还没有被充分模糊的场景的部分)。因此,可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中,这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如,可以认为显示出的反差值高于阈值的像素是场景信息,而认为那些低于阈值的像素是显示FPN)。
在一个实施例中,在行和列FPN项已经应用于模糊图像帧之后,可对模糊图像帧执行块560的反差确定(例如,如图5所示)。在另一个实施例中,可在块550之前执行块560,以在确定行和列FPN项之前确定反差(例如,以防止基于场景的反差对于确定该项有影响)。
在块560之后,可以预期的是,残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言,在块560之后,已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外,这是因为:对图像帧的有意地模糊(例如,通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。
因此,可以预期的是,在块560之后,任何残留的高空间频率分量(例如,显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此,在块565,对模糊图像帧进行高通滤波。在一个实施例中,这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中,这可包括对模糊图像帧应用低通滤波器,并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例,可通过计算传感器信号(例如,像素值)和其相邻信号之间的平均差值来实现高通滤波器。
在块570,对高通滤波后的模糊图像帧进行平场校正处理,以确定更新的NUC项(例如,如果先前没有进行NUC步骤,那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。
例如,图7示出了根据本公开实施例的平场校正技术700。在图7中,可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说,可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如,可确定下述像素之间的绝对差值:像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。
可对这些绝对差值进行求和,以提供像素710的求和梯度。可确定像素710的权重值,所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤,直到为每个像素710提供加权值。对于具有低梯度的区域(例如,被模糊的区域或者具有低对比度的区域)来说,权重值将会接近1。相反,对于具有高梯度的区域来说,权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。
在一个实施例中,通过将一定量的时间衰减应用到NUC项确定步骤,能够进一步地降低将场景信息引入到NUC项的风险。例如,可选择位于0和1之间的时间衰减因子λ,这样存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的平均加权值。在一个实施例中,这可表示为:NUCNEW=λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
尽管已经描述了根据梯度来确定NUC项,但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术,例如,标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项,包括:例如公开号为6,028,309,公开日为2000年2月22日的美国专利;公开号为6,812,465,公开日为2004年11月2日的美国专利;以及申请号为12/114,865,申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。
再次参考图5,块570可包括对NUC项的附加处理。例如,在一个实施例中,为了保留场景信号的平均值,可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570,为了避免行和列噪声影响NUC项,可从每行和列的NUC项中减去每行和列的平均值。结果是,使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如,在块580所进行的步骤,本文将对此作进一步地描述)的进一步的迭代中(例如,如图8所详细示出的)的行和列噪声。就这方面而言,行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如,行和列的FPN项),并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比,可从而提供更加可靠的、用于减少空间相关的FPN的可选项。
在块571-573,可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN,所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言,红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声,不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损,所述红外传感器132组与相邻的红外传感器132相比,其响应不同的辐射度。在一个实施例中,可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多,则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素,具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如,高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取,从而所述全部值可被同样的偏移误差影响)。例如,如果使用小的内核执行块565的高通滤波(例如,只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素),则可能不能检测到广泛分布的空间相关的FPN。
例如,图11示出了根据本公开实施例的、附近像素中的空间相关的FPN。如采样的图像帧1100所示,像素1110附近的像素可表现出空间相关的FPN,所述空间相关的FPN不准确的与单个行和列相关,并且分布于附近的多个像素(例如,在该例子中,附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130,所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应,所述像素1130用于估计像素1110附近的像素的低通值。在一个实施例中,像素1130可以是可分为2个的多个像素,以便于硬件或者软件的有效计算。
再次参考图5,在块571-573,可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理,以消除空间相关的FPN,例如,像素1110表现出的空间相关的FPN。在块571,将在块570确定的更新的NUC项应用到模糊图像帧。因此,此时,模糊图像帧将会已经用于初步校正空间相关的FPN(例如,通过在块555应用更新的行和列FPN项),并且也用于初步校正空间不相关的FPN(例如,通过在块571应用更新的NUC项)。
在块572,进一步的应用高通滤波器,该高通滤波器的核比块565中使用的高通滤波器的核大,并且可在块573进一步地确定更新的NUC项。例如,为了检测像素1110中存在的空间相关的FPN,在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据,从而能够确定没有受到影响的像素(例如,像素1120)和受到影响的像素(例如,像素1110)之间的差值。例如,可使用具有大核的低通滤波器(例如,远大于3×3像素的N×N内核),并且可减去得到的结果以进行适当的高通滤波。
在一个实施例中,为了提高计算效率,可使用稀疏内核,从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如,具有大核的高通滤波器)来说,存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此,在一个实施例中,可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。
在各种实施例中,可重复块571-573(例如,级联),以利用递增的核尺寸迭代地执行高通滤波,从而提供进一步更新的NUC项,所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施例中,可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除,来确定执行这种迭代的决定。
在块571-573完成之后,作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如,如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值,或者大于最大的阈值,则可认为该NUC项是假的或者不能提供有意义的校正。可选的,可将阈值标准应用到各个像素,以确定哪个像素接收到更新的NUC项。在一个实施例中,阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中,阈值可独立于先前计算的NUC项。可应用其他测试(例如,空间相关性测试)以确定是否应用该NUC项。
如果认为NUC项是假的或者不可能提供有意义的校正,则流程图返回到块505。否则,存储最新确定的NUC项(块575)以替代先前的NUC项(例如,由图5中先前执行的迭代确定),并将所述最新确定的NUC项应用到(块580)捕获的图像帧。
图8示出了根据本公开实施例的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言,流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下,图5的各种操作。在一些实施例中,可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。
可将红外传感器132捕获的图像帧提供给帧平均器804,所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如,在一个实施例中,红外传感器组件128可以以240Hz的帧速率(例如,每秒捕获240幅图像)来捕获红外图像帧。在该实施例中,例如可通过使红外传感器组件128工作在相对较低的电压(例如,与移动电话的电压相兼容),以及通过使用相对较小的红外传感器132阵列(例如,在一个实施例中,为64×64的红外传感器阵列),来实现这样高的帧速率。
在一个实施例中,可以以较高的帧速率(例如,240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施例中,红外传感器组件128可以在较长的时间段或者多个时间段进行积分,从而以较低的帧速率(例如,30Hz、9Hz或者其他帧速率)将积分后的(例如,取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495,879的美国临时专利申请中找到。
通过流水线800处理的图像帧802用于确定各种调整项和增益补偿,其中,由各种项、时域滤波来对所述图像帧802进行调整。
在块810和814,将工厂增益项812和工厂偏移项816应用于图像帧802,以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。
在块580,将NUC项817应用于图像帧802,以如上所述的校正FPN。在一个实施例中,如果还没有确定NUC项817(例如,在已经启动NUC步骤之前),则可能不会执行块580,或者可将初始值用于不会导致图像数据改变的NUC项817(例如,每个像素的偏移值将等于0)。
在块818到822,分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中,如果还没有确定列FPN项820和行FPN项824(例如,在已经启动NUC步骤之前),则可能不会执行块818和822,或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如,每个像素的偏移值将等于0)。
在块826,根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR步骤。在图9中,对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置,并且是图像帧802a和802b全部像素的子集。在示出的实施例中,相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施例中。
确定相邻像素803a和803b对应的像素的差值并对其求平均,以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值,以将其应用到图像帧802a和802b的像素805a和805b。
在一个实施例中,如曲线图809所示,在块807确定的权重值可与平均增量值805c成反比,以使得当相邻像素803a和803b之间差别较大时,权重值迅速的降低到0。就这方面而言,相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如,由于运动而发生的变化),并且在一个实施例中,可对像素802a和802b进行适当的加权,以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施例中。
在块807确定的权重值可用于像素805a和805b,以确定图像帧802e的相应像素805e的值(块811)。就这方面而言,像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。
例如,时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的,那么可以预期的是,相邻像素805a和805b之间的平均值的变化将会接近于0(例如,对应于不相关的变化的平均值)。在这种情况下,可以预期的是,相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下,可对图像帧802a的像素805a进行适当的加权,以有助于生成像素805e的值。
然而,如果该差值的和不为0(例如,在一个实施例中,甚至很接近于0),那么可将变化解释为是由运动引起的,而不是由噪声引起的。因此,可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下,可对图像帧802a的像素805a施加较大的权重,而对图像帧802b的像素805b施加较小的权重。
其他实施例也是可以考虑的。例如,尽管描述的是根据相邻像素805a和805b来确定平均增量值805c,但是在其他实施例中,可根据任何期望的标准(例如,根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。
在上面的实施例中,已经将图像帧802a描述为当前接收到的图像帧,并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中,图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。
图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示,分别将图像帧802a和802b读入到行缓冲器1010a和1010b,并且在将图像帧802b(例如,先前图像帧)读入到行缓冲器1010b之前,可将其存储到帧缓冲器1020中。在一个实施例中,可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。
再次参考图8,可将图像帧802e传送到自动增益补偿块828,其对图像帧802e进行进一步地处理,以提供主机装置102可根据需要使用的结果图像帧830。
图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中,这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波,所以可消除至少某些时域噪声,从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中,可使用没有经过时域滤波的图像帧802。
在图8中,图5的块510、515和520集中的表示在一起。如所讨论的,可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的,可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤,以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。
如图8所示,可确定行和列FPN项824和820以及NUC项817,并且以迭代的方式应用上述项,以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是,图8的所有步骤可重复地更新,并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。
再次参考图10,其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如,将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中,将在块525所做的决定表示为决定菱形(decisiondiamond),其用于确定给定图像帧802是否已经充分的改变,从而可以认为如果将图像帧加入到其他图像帧中,该图像帧将会增强模糊,因此将该图像帧进行累加(在该实施例中,通过箭头来表示块535)和平均(块540)。
同样的在图10中,将对列FPN项820的确定(块550)显示为以更新速率操作,在该例子中,由于在块540执行的平均处理,该更新速率为传感器帧速率(例如,正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820,但是可以以相同的方式,以降低的帧速率来实现行FPN项824。
图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言,可将模糊图像帧读入到行缓冲器1030(例如,由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。
鉴于本公开的内容,应当理解的是,本文描述的技术可用于消除各种类型的FPN(例如,包括很高幅度的FPN),例如,空间相关的行和列FPN以及空间不相关的FPN。
其他实施例也是可以考虑的。例如,在一个实施例中,行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比,和/或与局部反差值(例如,在块560确定的局部反差值)的大小成反比。
在各种实施例中,描述的技术优于传统的基于快门的噪声校正技术。例如,通过使用无快门的步骤,不需要设置快门(例如,如快门105),从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门,还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除,将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。
同样的,通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声,可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。
如所讨论的,在各种实施例中,红外成像模块100可被配置为在低电压下工作。特别的,可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100,所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如,移动装置及其他装置)中实现。
例如,图12示出了根据本公开实施例的、包括红外传感器132和低压差稳压器(LDO)1220的红外传感器组件128的另一个实现方式的框图。如图所示,图12还示出了各种部件1202、1204、1205、1206、1208和1210,可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图12还示出了偏压校正电路1212,其可用于对提供给红外传感器132的一个或者多个偏压电压进行调整(例如,以补偿温度改变、自热和/或其他因素)。
在一些实施例中,可将LDO1220设置为红外传感器组件128的一部分(例如,位于相同的芯片上和/或晶片级封装为ROIC)。例如,可将LDO1220设置为具有红外传感器组件128的FPA的一部分。如所讨论的,这种实现可减少引入到红外传感器组件128中的电源噪声,从而提供改进的PSRR。另外,通过利用ROIC来实现LDO,可消耗较少的模片面积,并且需要较少的分离模片(或者芯片)。
LDO1220通过馈电线1232接收电源1230提供的输入电压。LDO1220通过馈电线1222向红外传感器组件128的各种部件提供输出电压。就这方面而言,LDO1220可响应于从电源1230接收到的单输入电压,向红外传感器组件128的各个部件提供基本上相同的调节输出电压。
例如,在一些实施例中,电源1230可提供从大约2.8v到大约11v范围的输入电压(例如,在一个实施例中为大约2.8v),并且LDO1220可提供从大约1.5v到大约2.8v范围的输出电压(例如,在一个实施例中大约为2.5v)。就这方面而言,无论电源1230是提供大约9v到大约11v的传统电压范围,还是提供低电压(例如,大约2.8v),LDO1220都可用于提供恒定的调节输出电压。因此,尽管为输入和输出电压提供了多种电压范围,但是可以预期的是,不管输入电压如何变化,LDO1220的输出电压将会保持不变。
与用于FPA的传统电源相比,将LDO1220实现为红外传感器组件128的一部分具有很多优点。例如,传统的FPA通常依赖于多个电源,所述多个电源中的每一个可分开的向FPA供电,并且分开的分布于FPA的各个部件。通过由LDO1220对单电源1230进行调节,合适的电压可分别的提供给(例如,以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源1230的输入电压发生改变(例如,如果由于电池或者用于电源1230的其他类型的装置的充电或者放电而使输入电压增加或者降低),LDO1220的使用还使得红外传感器组件128仍能以恒定的方式工作。
图12中示出的红外传感器组件128的各种部件也可实现为在比传统装置使用的电压更低的电压下工作。例如,如所讨论的,LDO1220可实现为提供低电压(例如,大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比,所述多个较高电压例如为:用于为数字电路供电的大约3.3v到大约5v的电压;用于为模拟电路供电的大约3.3v的电压;以及用于为负载供电的大约9v到大约11v的电压。同样的,在一些实施例中,LDO1220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。
参考图13,可进一步地理解红外传感器组件128的低电压操作的其他方面。图13示出了根据本公开实施例的、图12的红外传感器组件128的一部分的电路图。特别的,图13示出了连接到LDO1220和红外传感器132的偏压校正电路1212的其他部件(例如,部件1326、1330、1332、1334、1336、1338和1341)。例如,根据本公开的实施例,偏压校正电路1212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件,可进一步地理解这些其他附件的操作,通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128,通过引用的方式将其作为整体合并于此。
在各种实施例中,全部或者部分偏压校正电路1212可实现在如图13所示的整体阵列基础上(例如,用于集中在阵列中的所有红外传感器132)。在其他实施例中,可在单个传感器基础上实现全部或者部分偏压校正电路1212(例如,对每个传感器132都全部或者部分地复制)。在一些实施例中,图13的偏压校正电路1212和其他部件可实现为ROIC1202的一部分。
如图13所示,LDO1220向沿着馈电线1222中的一个的偏压校正电路1212提供负载电压Vload。如所讨论的,在一些实施例中,Vload可以大约为2.5v,与此形成对比的是,可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。
基于Vload,偏压校正电路1212在节点1360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路1370(例如,由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中,可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路1370。
每个红外传感器132均包括通过开关电路1370接收Vbolo的节点1350以及可接地的另一个节点1352、基底和/或负参考电压。在一些实施例中,节点1360处的电压与节点1350处的Vbolo基本相同。在其他实施例中,可调整在节点1360处的电压,以补偿与开关电路1370和/或其他因素有关的可能的压降。
可利用通常比传统红外传感器偏压所使用的电压较低的电压来实现Vbolo。在一个实施例中,Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施例中,Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施例中,Vbolo大约为0.5v。相比之下,传统红外传感器通常使用的偏置电压大约为1v。
与传统的红外成像装置相比,根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的,每个红外传感器132的功耗以偏置电压的平方减少。因此,电压的降低(例如,从1.0v降到0.5v)提供了显著的功耗的降低,特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。
根据本公开的其他实施例,提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。就这方面而言,当红外传感器组件128以所描述的低电压工作时,如果不对噪声、自热和/或其他现象进行校正,所述噪声、自热和/或其他现象会在红外传感器组件128所提供的图像帧中变得更加明显。
例如,参考图13,当LDO1220以本文所述的方式保持在低电压Vload时,Vbolo也将保持在它的相应的低电压,并且可降低它的输出信号的相对尺寸。因此,噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响,从而导致输出信号的变化(例如,错误)。如果不进行校正,这些变化可能表现为图像帧中的噪声。此外,尽管低电压工作可以降低某些现象(例如,自热)的总体数量,但是较小的输出信号可使得残留的误差源(例如,残留的自热)在低电压工作期间对输出信号产生不成比例的影响。
为了补偿这种现象,可利用各种阵列尺寸、帧率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如,如所讨论的,各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施例中,可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。
有利的是,当利用这种相对小的阵列尺寸实现红外传感器组件128时,所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下,以相对高的帧率来提供图像帧。例如,在一些实施例中,帧率的范围可以从大约120Hz到大约480Hz。
在一些实施例中,阵列尺寸和帧率可以相对于彼此之间增减(例如,以成反比例的方式或者其他方式),以使得较大的阵列实现为具有较低的帧率,而较小的阵列实现为具有较高的帧率。例如,在一个例子中,160×120的阵列可提供大约为120Hz的帧率。在另一个实施例中,80×60的阵列可提供相应的大约为240Hz的较高的帧率。其他帧率也是可以考虑的。
通过阵列尺寸和帧率相对于彼此之间的增减,无论实际的FPA尺寸或者帧率为多少,FPA的行和/或列的特定读出定时都可以保持不变。在一个实施例中,读出定时可以为大约每行或列63微秒。
如之前关于图8的讨论,红外传感器132捕获的图像帧可提供给帧平均器804,所述帧平均器804求多个图像帧的积分以提供具有低帧率(例如,大约30Hz、大约60Hz或者其他帧率)和改进的信噪比的图像帧802(例如,处理后的图像帧)。特别的,通过对由相对小的FPA提供的高帧率图像帧进行平均,可将图像帧802中由于低电压工作而产生的图像噪声有效的平均掉和/或显著的减少。因此,红外传感器组件128可以工作在由如所讨论的LDO1220提供的相对低的电压,并且在帧平均器804对产生的图像帧802进行处理之后,红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。
其他实施例也是可以考虑的。例如,尽管示出了红外传感器132的单个阵列,但是可以预期的是,可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如,一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的,每个这样的阵列均可工作在低电压,并且也可为每个这样的阵列配置相关的ROIC电路,以使得每个阵列仍然可以相对高的帧率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧率图像帧进行平均,以减少和/或消除与低电压工作相关的噪声。因此,当工作在低电压时仍然可获得高分辨率红外图像。
在各种实施例中,可将红外传感器组件128实现为合适的尺寸,以使得红外成像模块100能够与小形状因子的插座104(例如,用于移动装置的插座)一起使用。例如,在一些实施例中,可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如,在一个实施例中,大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸,以使得能够与实现为各种尺寸的插座104一起使用,所述插座104的尺寸例如为:8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸,例如,如本文之前引用的申请号为61/495,873的美国临时专利申请表1所示的那些尺寸。
现在参考图14,示出了主机系统102的另一实现方式的框图,其示出了根据本公开的实施方式,除了一个或多个红外成像模块(例如,红外成像模块100)之外,系统102可如何包括一个或多个非热成像模块(例如,可见光摄像机模块1406)。系统102可用于成像真实世界场景(例如,场景1430(例如,高尔夫球场的一部分))。
系统102可包括一个或多个红外成像模块100、一个或多个可见光摄像机1406以及上述与图1相关的附加部件(例如,处理器195、存储器196、显示器197、一个或多个运动传感器194和/或其他部件198,例如控制面板、警告部件或通信部件)。在各种实施方式中,图14的系统102的部件可以以与图1的主机装置102的对应部件相同或相似的方式实施。另外,系统102的部件可配置成执行本文描述的各种NUC过程和其他过程。
如图14所示,在一些实施方式中,红外成像模块100可包括引导来自场景1430的红外辐射到红外成像模块100的FPA的各种光学元件1403(例如,一个或多个红外传送透镜、一个或多个红外传送棱镜、一个或多个红外反射镜、或者一个或多个红外光纤元件)。在一些实施方式中,光学元件1403可用于合适地限定或更改红外成像模块100的FOV1404。可以提供可切换的FOV(例如,可由红外成像模块100和/或处理器195选择),其例如在需要场景1430的一部分的选择的特写视图时可能是有用的。
光学元件1403还可包括一个或多个滤波器(例如,短波红外(SWIR)滤波器、中波红外(MWIR)滤波器、长波红外(LWIR)滤波器和窄带滤波器),其适于使一些波长的红外辐射通过但基本上阻挡其他波长的红外辐射。这样的滤波器可用于适应地修改红外成像模块100,以增加对于红外波长的需要的波段的敏感度。在一些实施方式中,滤波器是可选择的(例如,提供为可选择滤波器轮)。在其他实施方式中,适宜于系统102的需要的应用,滤波器可以是固定的。
可见光摄像机1406可以是小形状因子非热成像模块或成像装置,并且可以以类似于本文中公开的红外成像模块100的各种实施方式的方式实现,但是其中一个或多个传感器响应非热辐射(例如,电磁频谱中的可见、近红外、短波红外或其他非热部分中的辐射)。例如,在一些实施方式中,可见光摄像机1406可以用电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器、增强型电荷耦合器件(ICCD)或其他传感器实现。
如图14所示,在一些实施方式中,可见光摄像机1406可包括将来自场景1430的非热辐射引导至可见光摄像机模块1406的各种光学元件1405(例如,一个或多个透镜、一个或多个颜色滤波器、一个或多个棱镜、一个或多个反光镜或一个或多个光纤元件)。在一些实施方式中,光学元件1405可以用于合适地限定或更改可见光摄像机模块1406的FOV1407。可以提供可切换的FOV(例如,可由可见光摄像机模块1406和/或处理器195选择),其例如在需要场景1430的一部分的选择的特写视图时可能是有用的。如果需要,元件1403和1405可以可操作以在系统102的红外成像模式和可见光成像模式之间交替切换。
光学元件1405还可以包括一个或多个滤波器(例如,红色滤波器、蓝色滤波器、绿色滤波器、近红外色滤波器、短波红外滤波器和窄带滤波器),其适于使一些波长(颜色)的辐射通过但是基本阻挡其他波长的辐射。在一些实施方式中,元件1405的滤波器是可选择的(例如,提供为可选择滤波器轮)。在其他实施方式中,适宜于系统102的需要的应用,元件1405的滤波器可以是固定的。尽管摄像机模块1406在本文中有时作为实例被称为可见光摄像机模块,然而应当理解摄像机模块1406可以是本文描述的任何合适的非热摄像机模块,其响应于具有任何合适的对应范围的非热波长(例如,可见光波长、近红外波长、短波红外波长或相对热红外波长更短的其他波长)的入射光而产生图像。
在一些实施方式中,可以由可见光摄像机1406捕获的非热图像(比如,可见光图像)由处理器195接收,如下文进一步描述的,处理器195可配置成将可见光图像与红外成像模块100捕获的热图像融合、叠加或以其他方式组合。
在一些实施方式中,可见光摄像机1406可以与外壳结构中的红外成像模块100协同定位并被定向成使得可见光摄像机1406的FOV1407至少部分重叠红外成像模块100的FOV1404。在一个实例中,根据通过引用的方式并入本文的申请号为61/748,018的美国临时专利申请描述各种技术,红外成像模块100和可见光摄像机1406可被实现为共用公共基板的双传感器模块。这样的双传感器模块实现方式可以包括用于红外成像和可见光成像的公共电路和/或公共限制装置,借此相比于红外成像模块100和可见光摄像机1406被实施为单独的模块的实施方式潜在地减小了系统102的整体尺寸。另外,双传感器模块的实现方式可适于通过减小红外成像模块100和可见光摄像机1406之间的距离来减小红外成像模块100和可见光摄像机1406捕获的图像之间的视差。
红外成像模块100捕获、处理和/或以其他方式管理的红外图像可以是在辐射测定上标准化的红外图像(例如。热图像)。即,组成捕获的图像的像素可以包括校准的热数据(例如,温度数据)。如上面相关于图1讨论的,可以使用合适的技术来校准红外成像模块100和/或相关部件,以使得由红外成像模块100捕获的图像是被适当地校准的热图像。在一些实施方式中,可以由红外成像模块100和/或处理器195周期地执行合适的校准过程,以使得红外成像模块100并且因此由其捕获的热图像可以保持适当校准。
辐射测定的标准化使得红外成像模块100和/或处理器195能够从热图像中高效地检测具有特定温度范围的物体。红外成像模块100和/或处理器195可以高效并有效地检测这样的物体,因为具有特定温度的物体的热图像可以容易地从背景和其他物体辨别出来,并且同时较不受照明条件和遮挡(例如,被树木或其他植物遮挡)的影响。例如,使用在辐射测定上标准化的热图像可以高效并有效地检测具有在已知温度下的热靶的旗杆。
还是参考图15,示出了可以由红外成像模块100捕获的实例热图像1530(为了容易理解,示出为用户可视热图像)。如该实例热图像1530示出的,高尔夫球场上的旗杆1502可包括热靶1504,热靶1504相比于旗杆1502的其余部分和背景(例如,高尔夫球场1506)展现了不同的温度(例如,更高的温度或较低的温度)。另外,热靶1504可以展现在热图像(例如,热图像1530)中区分出来的相对固定的温度或在一定范围内的温度(例如,已知温度)。这样,可以使用本文和其他文件中描述的合适检测和跟踪操作来准确并高效地区分和跟踪在热图像(例如,热图像1530)中检测的热靶1504。
可以加热或冷却热靶1504以控制热靶1504的温度来增强靶在热图像中的可检测性。例如,热靶1504可包括相对于旗杆1502的其他部分和高尔夫球场1506对热靶加热(例如,到需要的温度)的内部电源和加热器(未示出)。在另一实例中,热靶1504可包括相对于旗杆1502的其他部分和高尔夫球场1506减小热靶1504的温度(例如,到需要的温度)的电源和冷却器或其他热沉(未示出)。在其他实施方式中,热靶1504由吸收性或反射性材料制成,由吸收性或反射性材料高效地吸收日光以加热热靶或防止日光的吸收以保持热靶相对地冷凉(作为实例)。
在一些实施方式中,如果可见光摄像机1406捕获的可见光图像是可以利用的,则处理器195可配置成附加地或可选地基于可见光图像来追踪场景(例如,旗杆1502的热靶1504)的特征。例如,在某些环境光条件下,可见光图像相比于热图像可提供更多细节和对比,并且因而可使用在这样有利的光条件下合适的追踪算法来分析可见光图像。在另一实例中,可以分析可见光图像和热图像两者来互补地增加检测和追踪准确性。在另一实例中,可以如在下文进一步描述地组合或融合可见光图像和热图像,并且可以分析组合或融合的图像以追踪场景的特征。如果处理器195被配置成使用可见光图像来检测和追踪场景的特征,则处理器195可进一步被配置成将可见光图像中被追踪特征的像素坐标转换到热图像中的对应像素坐标。
在一些实施方式中,可以融合或组合来自一个或多个红外成像模块(例如,红外成像模块100)的热图像和来自一个或多个非热摄像机模块(例如,可见光摄像机模块1406)的非热图像以产生具有更高清晰度、对比度和/或细节的图像。
可以参考图16更加详细地描述根据一个或多个实施方式的融合或组合操作,图16是组合或融合热图像和非热(例如,可见光)图像的过程1600的流程图。组合图像可包括辐射测定数据和/或对应于场景1430的其他红外特性,但是相比于一般由热或非热图像单独提供的图像相比具有显著更多的物体细节(例如,轮廓或边缘细节)和/或对比。这样,例如,这些实例中产生的组合图像可有利地提供充分的辐射测定数据、细节和对比,以使得能够对场景1430(例如,高尔夫球场)中物体(例如,旗杆和/或旗杆的热靶)的存在、场所、位置或其他特征进行更容易的识别和/或解读。
尽管本文相关于图16描述的过程作为实例讨论了融合或组合热图像和可见光图像,然而应当理解该过程可以适用于组合热图像和任何合适的非热图像(例如,可见光图像、近红外图像、短波红外图像、EMCCD图像、ICCD图像或其他非热图像)。
在块1602,可以接收可见光图像和红外图像(例如,热图像)。例如,可以由可见光摄像机1406捕获场景1430的可见光图像并且可以由处理器195接收捕获的可见光图像。处理器195例如可以使用热图像和非热图像两者执行过程1600的各种操作。
在块1604,可以从在块1602中接收的可见光图像和热图像中的一个或多个获得来自可见光图像和热图像中的一个或多个的高空间频率内容。根据各种实施方式获得的高空间频率内容可以包括例如从可见光图像和热图像中的一个或多个提取的边缘/轮廓细节和/或高对比像素。
在一个实施方式中,可以通过在图像上执行高通滤波(例如,空间滤波)操作而从接收的图像获得高空间频率内容,其中高通滤波操作的结果是高空间频率内容。在可选的实施方式中,可以通过在图像上执行低通滤波操作并且然后从原始图像减去该结果以得到剩余内容而从接收的图像获得高空间频率内容,该剩余内容即高空间频率内容。在另一实施方式中,可以例如通过差分成像从选择的图像获得高空间频率内容,其中将一个图像从第二图像减去,第二图像以某种方式从第一图像扰动得出,并且减去的结果即高空间频率内容。例如,红外成像模块100的光学元件1403和/或可见光摄像机1406的光学元件1405可配置成将抖动、散焦和/或运动假象引入由红外成像模块100和可见光摄像机1406中的一者或二者捕获的一系列图像中。可以从图像(例如,该一系列图像中相邻的图像)的相减获得高空间频率内容。
在一些实施方式中,可以仅从可见光图像或热图像获得高空间频率内容。在其他实施方式中,可以仅从单个可见光图像或热图像获得高空间频率内容。在另外的实施方式中,可以从可见光图像和/或热图像的一个或多个分量(例如,举例来说,可见光图像的亮度分量,或热图像的辐射测定分量)获得高空间频率内容。产生的高空间频率内容可以临时存储(例如,在存储器196中)和/或可根据块1608进一步处理。
在块1606,可以去噪一个或多个热图像。例如,处理器195可配置成利用各种图像处理操作去噪、平滑或模糊场景1430的一个或多个热图像。在一个实施方式中,从热图像去除高空间频率噪声使得经处理的热图像能够与根据块1604获得的高空间频率内容组合,其中极大减小了将双边缘(例如,边缘噪声)引入场景1430的组合图像中描绘的物体中的风险。
在一个实施方式中,从热图像去除噪声可包括在图像上执行低通滤波(例如,空间和/或时间滤波)操作,其中低通滤波的结果是经去噪或经处理的热图像。在另外的实施方式中,从一个或多个热图像去除噪声可包括向下采样热图像并且然后向上采样图像回到原始分辨率。
在另一实施方式中,可以通过主动模糊场景1430的热图像来获得经处理的热图像。例如,光学元件1403可配置成轻微散焦红外成像模块100捕获的一个或多个热图像。如下文进一步描述的,产生的经有意模糊的热图像可以是经充分去噪或模糊的,以便减少或消除将双边缘引入场景1430的组合图像的风险。在其他实施方式中,模糊或平滑图像处理操作可以由处理器195在接收的热图像上作为选择或作为使用光学元件1403主动地模糊场景1430的热图像的增补来执行。产生的经处理的热图像可以临时存储(例如,在存储器196中)和/或可根据块1608进一步处理。
在块1608,可以将高空间频率内容与一个或多个热图像混合。例如,处理器195可以配置成混合在块1604中获得的高空间频率内容和场景1430的一个或多个热图像,例如在块1606中提供的经处理的热图像。
在一个实施方式中,高空间频率内容可以通过将高空间频率内容叠加到热图像上而与热图像混合,其中高空间频率内容替代或覆盖热图像的与高空间频率内容存在位置对应的那些部分。例如,高空间频率内容可以包括描绘在场景1430的图像中的物体边缘,但是可以不存在于这些物体的内部。在这样的实施方式中,如在块1610中描述的,经混合的图像数据可以只包括高空间频率内容,其随后可以被编码成组合图像的一个或多个分量。
例如,热图像的辐射测定分量可以是热图像的色度分量,并且高空间频率内容可以来源于可见光图像的亮度和/或色度分量。在这种实施方式中,组合图像可以包括编码成组合图像的色度分量的辐射测定分量(例如,热图像的色度分量)和直接编码成(例如,作为混合图像数据但是没有热图像贡献)组合图像的亮度分量的高空间频率内容。如此,可以保持热图像的辐射测定分量的辐射测定校准。在类似实施方式中,混合图像数据可以包括加到热图像的亮度分量的高空间频率内容,和编码成由此产生的组合图像的亮度分量的由此产生的混合数据。
在其他实施方式中,可以从一个或一系列可见光和/或热图像的一个或多个特定分量获得高空间频率内容,并且高空间频率内容可以编码成组合图像的对应的一个或多个分量。例如,可以从可见光谱图像的亮度分量获得高空间频率内容,并且在该实施方式中全部都为亮度图像数据的高空间频率内容可以编码成组合图像的亮度分量。
在另一实施方式中,可以利用混合参数和算数等式来将高空间频率内容与热图像混合。例如,在一个实施方式中,可以从可见光图像的亮度分量获得高空间频率内容。在这种实施方式中,可以根据混合参数和混合等式来将高空间频率内容与热图像的对应亮度分量混合以产生混合图像数据。混合的图像数据可例如编码成组合图像的亮度分量,并且热图像的色度分量可以编码成组合图像的色度分量。在红外图像的辐射测定分量可以是它们的色度分量的实施方式中,组合图像可以保持热图像的辐射测定校准。在其他实施方式中,辐射测定分量的部分可以与高空间频率内容混合并且然后编码成组合图像。
更一般地,可以从可见光图像和/或热图像的一个或多个分量获得高空间频率内容。在这样的实施方式中,可以将高空间频率内容与热图像的一个或多个分量混合以产生混合图像数据(例如,利用混合参数和混合等式),并且产生的组合图像可包括编码成组合图像的对应的一个或多个分量的混合图像数据。在一些实施方式中,混合数据的一个或多个分量没有必要对应于组合图像的最终的一个或多个分量(例如,可以执行彩色空间/格式转换作为编码过程的一部分)。
可以由用户选择混合参数值,或者可以由处理器195例如根据背景或其他数据或根据系统102期望的图像增强水平来自动地确定混合参数值。在一些实施方式中,混合参数可以在组合图像正在被显示(例如,由显示器197)时调整或改善。在一些实施方式中,可以将混合参数选择成使得混合图像数据仅包括热特性,或者可选地,仅包括可见光特性。可以也对混合参数例如在范围上进行限制,以便不产生相对于特定彩色空间/格式或显示器的动态范围超出边界的混合数据。
除了上面描述的处理之外或者作为上面描述的处理的备选,如在美国专利申请No.13/437,645中公开的,根据高对比模式的处理可包括一个或多个处理步骤、处理步骤的排序、算数组合和/或对混合参数的调整。例如,下述等式可以用于利用来自经高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的分量Y、Cr和Cb。
hp_y_vis=highpass(y_vis)
(y_ir,cr_ir,cb_ir)=colored(lowpass(ir_signal_linear))
在上面的等式中,highpass(y_vis)可以是从对可见光图像的亮度分量的高通滤波获得的高空间频率内容。colored(lowpass(ir_signal_linear))可以是在热图像经低通滤波后产生的热图像的亮度和色度分量。在一些实施方式中,热图像可包括被选择为0.5倍最大亮度(例如,显示器或处理步骤的最大亮度)的亮度分量。在相关实施方式中,热图像的辐射测定分量可以是热图像的色度分量。在一些实施方式中,可以丢弃热图像的y_ir分量并且组合图像的分量可以是(hp_y_vis,cr_ir,cb_ir),其中利用了上面的记号。
在另一实施方式中,可以使用下面的方程利用来自经高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的Y、Cr和Cb分量。
comb_y=y_ir+alpha×hp_y_vis
comb_cr=cr_ir
comb_cb=cb_ir
alpha的变化因此赋予用户决定在组合图像中需要多少对比的机会。当alpha接近零时,将只显示出热图像,但是当alpha非常高时,在组合图像中可以看到非常清晰的轮廓/边缘。理论上,alpha可以是无穷大的数,但是在实践中将可能需要限制,以将可以选择的alpha的大小限制到便于当前应用的大小。
一旦高空间频率内容与一个或多个热图像混合,处理即可行进到块1610,其中混合数据可以编码成组合图像的分量以便形成组合图像。
在块1610,混合数据可以编码成组合图像的一个或多个分量。例如,处理器195可配置成将根据块1608获得或产生的混合数据编码成组合图像,该组合图像增加、改善或以其他方式增强由被独立观看的可见光图像或热图像传达的信息。在一些实施方式中,将混合图像数据编码成组合图像的分量可包括另外的图像处理操作,举例来说,例如动态范围调整、归一化、增益和偏移操作、降噪和彩色空间转换。
另外,处理器195可配置成将其他图像数据编码成组合图像。例如,如果混合图像数据被编码成组合图像的亮度分量,则可见光图像或热图像的色度分量可以被编码成组合图像的色度分量。可以例如通过用户输入而做出源图像的选择,或者可以基于背景或其他数据自动确定源图像的选择。更一般地,在一些实施方式中,组合图像的未利用混合数据编码的分量可以利用可见光图像或热图像的对应分量编码。通过这样做,可以在产生的组合图像中保持热图像的辐射测定校准和/或可见光图像的彩色空间校准。
在一些实施方式中,在此描述的处理器195的至少某部分或一些功能可以实施为上面相关于图3描述的处理模块160处的红外成像模块100的一部分。在一些实施方式中,处理器195的至少某部分或一些功能可以是外部装置的其他既有处理器的一部分或者利用外部装置的其他既有处理器来实施,外部装置例如移动电话、平板装置、移动手持机、膝上型计算机、桌面计算机、汽车信息显示系统或者可用于呈现来自监测系统的监测信息的任何其他装置。在其他实施方式中,处理器195可以与这样的其他外部处理器及与这样的处理器关联的部件接口和通信。
在本文中时常作为实例进行讨论的一个合适配置中,系统102可以实施为测距仪(例如,图17的热辅助的测距仪1700)。如图17所示,热辅助的测距仪1700可以包括一个或多个红外成像模块100和一个或多个测距仪部件(例如,测距仪部件1710)。一个或多个红外成像模块100每一个都可具有覆盖场景(例如,图14的场景1430(例如,高尔夫球场))的一部分的视场(FOV)。一个或多个测距仪部件1710可包括光源和光检测器或接收器。例如,测距仪部件1701可包括激光器和激光检测器(例如,配置成检测激光器发射的激光的反射部分的传感器)。
如图17所示,热辅助的测距仪1700可包括一个或多个电池(例如,电池1704)、存储器(例如,存储器196)、一个或多个处理器(例如,处理器195)、一个或多个显示器197、一个或多个运动传感器194、有线或无线通信部件(例如,通信部件1706)、一个或多个可见光光学装置1720和一个或多个图像稳定模块1708。
电池1704可以是锂离子电池、锂聚合物电池、镍镉电池、镍金属氢化物电池或用于便携式可穿戴成像装置的电池技术的其他任何类型的电池。装置1700可包括一个、两个、三个或三个以上的电池,或者如果需要装置1700可以由外部电池或电池组供电(例如,通过至背包或其他便携式容器中的电池的有线连接)。
存储器196可包括存储包括热图像和监测信息的数据和信息的一个或多个存储器装置。一个或多个存储器装置可包括用于热图像和其他信息存储的各种类型的存储器,包括易失性和非易失性存储器装置,例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪速存储器和/或磁盘驱动器。在一个实施方式中,存储在一个或多个存储器装置中的热图像和监测信息可以随后重新取回以用于回顾和/或进一步诊断装置1700监测的环境状况的目的。在各种实施方式中,处理器195可配置成执行存储在存储器196中的软件指令以以本文描述的方式执行各种方法、过程或操作。
显示器197可配置成呈现、指示或以其他方式传达由处理器195、红外成像模块100和/或可见光摄像机1406产生的信息。显示器197可以包括在可见光光学装置170中作为显示器1722或者可以是单独的显示器。在各种实施方式中,显示器197可以利用电子显示屏实现,例如液晶显示器(LCD)、阴极射线管(CRT)、发光二极管(LED)或各种其他类型的已知的视频显示器和监视器。根据这样的实施方式的显示器197可以适用于呈现由处理器195从红外成像模块100捕获的热图像转换的用户可视热图像。
在一些实施方式中,外部装置(例如,移动电话、平板装置、膝上型计算机、桌面计算机、汽车信息显示系统或任何其他装置)上的既有显示屏可接收热图像和/或来自热辅助的测距仪1700的测距仪信息已将测距仪信息呈现给用户。
就这方面而言,通信部件1706可配置成处理、管理或以其他方式促进热辅助的测距仪1700的各种部件之间以及热辅助的测距仪1700和外部装置之间的有线和/或无线通信。例如,热辅助的测距仪1700将数据发射到外部装置并从外部装置接收数据,其中外部装置可通过配置成管理有线和/或无线连接的通信部件1706接收并进一步处理原始/经处理的热图像和/或检测信息用于呈现给用户。
在各种实施方式中,通信部件1706可包括无线通信部件(例如,基于IEEE802.11WiFi标准、BluetoothTM标准、ZigBeeTM标准或其他合适的短距离无线通信标准)、无线宽带部件(例如,基于WiMax技术)、移动蜂窝部件、无线卫星部件或其他合适的无线通信部件。通信模块1706还可以配置成用于基于射频(RF)、微波频率(MWF)、红外频率(IRF)和/或其他合适的无线传输技术的专有无线通信协议和接口。通信部件1706可包括联接到其上的天线以用于无线通信目的。这样,在一个实例中,通信部件1706可通过建立到无线路由器、集线器或其他合适的无线联网装置来处理、管理或以其他方式促进无线通信。
在各种实施方式中,通信部件1706可配置成经由有线通信部件(例如,以太网接口、电力线调制解调器、数字用户线(DSL)调制解调器、公共交换电话网(PSTN)调制解调器、电缆调制解调器和/或用于有线通信的其他合适部件)与有线网络接口。专有有线通信协议和接口可以由通信部件1706支持。通信部件1706可配置成在用于有线通信目的的有线链路上(例如,通过网络路由器、交换机、集线器或其他网络装置)进行通信。例如,有线链路可以利用电力线缆、同轴电缆、光纤缆或支持相应的有线网络技术的其他合适缆或线来实现。
在一些实施方式中,热辅助的测距仪1700可包括用于热辅助的测距仪1700的各种应用所需要的尽可能多的此类通信部件1706以适应各种类型的监测环境。在其他实施方式中,通信部件1706可以结合到热辅助的测距仪1700的各种其他部件的一部分或者实施为热辅助的测距仪1700的各种其他部件的一部分。例如,红外成像模块100、处理器195和显示器197每个都可包括子部件,该子部件可配置成执行通信部件1706的操作并且可以在没有单独的部件1706的情况下经由有线和/或无线连接进行通信。
可以由红外成像模块100和/或处理器195检测运动传感器194并且运动传感器194可将信息提供给红外成像模块100和/或处理器195以用于执行本文描述的各种NUC技术或者以对红外成像模块和/或可见光摄像机1724捕获的图像执行图像稳定。
在各种实施方式中,在需要时或者根据应用需求,可以组合和/或实施热辅助的测距仪1700的一个或多个部件,或者不组合和/或实施。例如,处理器195可以与红外成像模块100、存储器196和/或通信部件1706组合。在另一实例中,处理器195可以与红外成像模块100组合,其中仅处理器195的某些操作由红外成像模块100内的电路(例如,处理器、逻辑器件、微处理器、微控制器等)执行。
如果需要,热辅助的测距仪1700可以包括一个或多个可见光光学装置1720。可见光光学装置1720可包括一个或多个光学透镜1726,光学透镜1726配置成放大场景(例如,高尔夫球场)用于由用户观看。例如,一个或多个光学透镜1726可以是望远镜。可见光光学装置1720可以包括可见光摄像机1724(例如,图14的可见光摄像机1406的实现方式)和显示器1722。可见光摄像机1724可配置成捕获场景的可见光图像并将可见光图像或放大的可见光图像呈现在显示器1722上。以这种方式,当用户在高尔夫球场并且用户正尝试瞄准旗杆处的光源1712,可见光光学装置1720允许用户观看高尔夫球场的放大版本。高尔夫球场的放大视图可以通过光学部件直接呈现给用户眼睛或者可以是呈现在显示器上的放大视图的图像。显示器可用于使用显示器利用对准引导信息增补高尔夫球场的放大视图。
在某些实施方式中,热辅助的测距仪1700可配置成稳定红外成像模块100捕获的红外图像和/或可见光摄像机1724捕获的可见光图像。在一个实例中,热辅助的测距仪1700可包括配置成执行图像稳定的光学图像稳定模块1708,例如基于透镜的光学图像稳定器或传感器移位光学图像稳定器。在另一实例中,热辅助的测距仪1700(例如,处理器195)可配置成在捕获的图像上执行数字图像稳定。热辅助的测距仪1700可以配置成实施其他图像稳定技术。
热辅助的测距仪1700的红外成像模块100配置成捕获、处理和/或以其他方式管理场景(例如,高尔夫球场)的红外图像(例如,包括热图像)。在这方面,红外成像模块100可以附接、装架、安装或以其他方式布置在装置1700上或内的允许场景的至少一部分置于红外成像模块100的视场(FOV)1404内的任意合适位置。
现在参考图18,实例性测距仪系统可包括热辅助的测距仪(例如,热辅助的测距仪1700)和具有热靶的旗杆(例如,旗杆1820)。在各种实施方式中,热辅助的测距仪1700包括安装在测距仪1802上的成像模块1804。成像模块1804可包括红外成像模块100、可见光摄像机1406、红外成像模块100和可见光摄像机1406、一个以上的红外成像模块100、一个以上的可见光摄像机1406或各个成像部件的任何其他合适组合。
热辅助的测距仪1700可包括壳体(例如,壳体1812)中的成像模块1804。在一些实施方式中,壳体1812可包括夹具、架子、吸杯、轨道或其他合适的附接机构以可释放地将壳体1812并且因此成像部件(例如,红外成像模块100)附接到合适的测距仪(例如,测距仪1802)。以这种方式,包括红外成像模块100的成像模块1804可以配置为辅加装置,其配置成附接到测距仪1802以提供辅加的功能,即热辅助。在一些实施方式中,壳体1812可以利用合适紧固件固定附接到安装结构。在一些实施方式中,壳体1812可以利用合适的紧固件固定地附接到安装结构。然而,这些实例仅仅是说明性的。在其他实施方式中,一个或多个成像模块和相关的光学元件和/或电路可以和测距器部件一起形成在公共壳体中以形成一体式热辅助测距仪装置,其中由本文描述的装置合作地执行热成像和测距操作。另外的部件(例如,处理器195、通信部件1706和存储器196)可以位于壳体1812内、位于测距仪1802的壳体内或者测距仪1802的其他部分内。
热辅助的测距仪1700可进一步包括配置成发射光1834(例如,光束,比如激光束)的光源1712和配置成检测射入光1836的光检测器1714。射入光1836可以是从旗杆(例如,旗杆1820)反射的光1834的一部分。
在各种实施方式中,旗杆(例如,旗杆1820)包括热源(比如,热靶1822)、旗1826和支撑结构(例如,杆1828)。旗杆1820还可以包括回射器1824。热靶1822可辅助热辅助的测距仪1700确定从热辅助的测距仪1700到旗杆1820的距离。热靶1822可具有与旗杆1820的其他部分和周围场景(例如,高尔夫球场)不同的温度。
在一个实施方式中,可以利用电源(例如,电池)和加热器或冷却器将热靶1822保持在预定的基本恒定的温度或预定的温度范围。电源可包括太阳能面板(例如,一个或多个太阳能光伏模块)和可充电电池。热靶1822可使用加热器/冷却器和电源来发射热辐射1832,热辐射1832的温度和/或热辐射率不同于由旗杆1820的其他部分和/或高尔夫球场中的物体(例如,草、水、岩石、沙和树)发射的热辐射。
在另一实施方式中,热靶1822包括以与旗杆1820的其他部分和/或高尔夫球场中的物体吸收和/或辐射热的速率不同的速率吸收和/或辐射热的材料。例如,热靶1822可包括这样的材料,其以比旗杆1820的其他部分相对更高的速率吸收能量(例如,日光)并有效地辐射热使得热靶1822相对于旗杆1820的剩余部分和高尔夫球场以更高的速率发射热辐射1832。
在一个实施方式中,热辅助的测距仪1700(例如,处理器195)可以配置成产生图像数据(例如,来自成像模块1804的热图像),并从热图像检测具有近似在热靶1822的温度范围内的温度的像素的连续区域,热靶1822的温度范围可以由热靶1822的制造商或者热靶1822的操作员(比如,高尔夫球场管理人员)预先确定。这样的像素块可指示热靶1822存在于装置1700的视场内,并且可进一步分析这样的像素块以确定热靶1822的存在、追踪热靶1822的移动、确定热靶1822的位置和/或确定与检测的热靶1822相关的各种其他属性。
处理器195可以配置成接收红外成像模块100捕获的热图像数据。如本文进一步描述的,处理器195可以配置成在接收的场景的热图像上执行各种热图像处理和分析操作,以例如检测和追踪热靶(例如,热靶1822)并确定与热靶1822相关的各种属性。处理器195可以配置成收集、编辑、分析或以其他方式处理热图像处理和分析操作的结果以产生监测信息。
在一个实例中,热辅助的测距仪1700可以配置成在检测到热靶1820时使用热图像确定热靶1822的存在和位置并产生对准引导信息,该对准引导信息可包括用户可视的提示。在这方面,热辅助的测距仪1700可配置成根据公开的一个或多个实施方式检测和追踪在热图像中的热靶1820的位置。热辅助的测距仪1700可配置成在装置1700的显示器上给装置1700的用户呈现用户可视的提示。用户可视的提示可包括图形(例如,指向箭头)、文本、框标线等。例如,呈现在显示器上的图像(例如,用户可视红外图像、可见光图像或组合图像)可以包括对应于热靶1822的图像的框标线以及指向装置1700的用户应当移动装置1700以将装置1700的光源1712指引/定向成朝向旗杆发射光的方向的箭头。
在其他实施方式中,如果成像模块1804中的可见光摄像机1406捕获的可见光图像可以利用,则热辅助的测距仪1700可以配置成附加地或可选地基于可见光图像来检测和追踪热靶1820。例如,在某些环境光条件下,可见光图像可以提供比热图像更多的细节和对比,因此可以使用在这样的有利的光条件下合适的目标追踪算法来分析可见光图像。在另一实例中,可以分析可见光图像和热图像两者来互补地增加检测和追踪准确性。在另一实例中,可以如在下文进一步描述地组合或融合可见光图像和热图像,并且可以分析组合或融合的图像以检测和追踪热靶1820。如果热辅助的测距仪1700被配置成使用可见光图像来检测和追踪场景的特征,则处理器195可进一步被配置成将可见光图像中被追踪特征的像素坐标转换到热图像中的对应像素坐标。
在其他实施方式中,热辅助的测距仪1700可配置成通过在热图像和包含在其中的辐射测定数据上执行合适的处理和分析操作来计算物体的近似温度。在各种实施方式中,如果检测到具有热靶1820的近似温度的物体(如热图像确定的),则处理器195可配置成产生对准引导信息(例如,用户可视提示)。
现在参考图19,示意了用于使用热辅助的测距仪1700来确定距离的过程1900的流程图。
在块1902,可以由一个或多个红外成像模块(例如,热辅助的测距仪1700的红外成像模块100)捕获场景(例如,高尔夫球场的一部分)的热图像(例如,包含具有响应于红外辐射而产生的图像数据(例如,红外光强度值或辐射测定温度数据)的像素的图像)。捕获的热图像可以是如上面相关于红外成像模块100描述的辐射测定上校准的热图像或者可以是未校准的热图像。如果需要,还可以在块1902使用热辅助的测距仪1700的可见光摄像机1406捕获可见光图像。
在块1904,可以在捕获的热图像上执行处理操作。处理操作可包括NUC校正、其他噪声校正、校准操作、平滑操作、滤波操作、边缘检测操作、透视校准操作或其他图像处理操作。还可以在可选地在块1902捕获的可见光图像上执行另外的处理操作。
在一个实施方式中,热辅助的测距仪1700(例如,处理器195)可配置成使用合适的方法和算法转换热图像。在一个实施方式中,包含在热图像的像素中的辐射测定数据(例如,温度数据)可以转换成灰度或色阶像素以构造可以由人观看的图像。
在一些实施方式中,如果场景的可见光图像是可用的(例如,由可见光摄像机1406捕获),那么在块1904执行的图像处理操作可包括在上面相关于图14和16描述(作为实例)的组合或融合热图像和可见光图像。热辅助的测距仪1700(例如,处理器195)可以配置成叠加、融合、混合或以其他方式组合热图像和可见光图像以产生具有更高清晰度和/或对比的用户可视图像。例如,如在文本进一步描述的,处理器195可配置成产生组合的图像,该组合的图像包括辐射测定数据和/或对应于场景的其他红外特性,但是相比于一般单独由热图像或可见光图像提供的具有显著更多的物体细节(例如,轮廓和/或边缘细节)和/或对比。再另一实例中,如在本文引用的各种专利申请中公开的合适实施方式描述的,图像可以是包括辐射测定数据和对应于场景中一个或多个物体(例如,旗杆的热靶)的可见光特性(例如,可见光谱色彩)的组合图像,所述专利申请例如:美国专利申请No.61/473,207、61/746,069、61/746,074、61/792,582、61/793,952、12/766,739、13/105,765或13/437,645,或者国际专利申请No.PCT/EP2011/056432或者其他合适的申请。在这些实例中产生的组合图像可提供充足的辐射测定数据、边缘细节和对比以允许更容易地识别和/或解读检测的热靶的存在、场所和位置。
在进一步的实施方式中,可以在捕获的热图像上执行NUC校正过程以例如通过使用本文公开的各种NUC技术来去除其中的噪声。另外,在一些实施方式中,可以对捕获的热图像进行缩放和/或透视校准。缩放和透视校准操作可以手动执行或者利用存储在存储器196中的缩放或透视校准数据自动执行。
在块1906,可以使用经处理的热图像检测和/或追踪旗杆(例如,图18的旗杆1822)的热靶。检测热靶可包括识别热图像中的对应于热靶的图像像素(例如,热靶的温度)或者以其他方式识别图像的对应于待检测的期望热靶的特性。基于红外图像和检测的热靶可以在连续或随后捕获的图像中追踪热靶。在一个实施方式中,热辅助的测距仪1700可以基于追踪的热靶自动调整光源的方向以将光发射到旗杆。例如,可以移动测距仪1700的一个或多个可移动光学部件和/或光源以重新指引光(例如,从测距仪发生的激光)到检测的靶。
可以在捕获的热图像上执行各种分析和处理操作以检测和追踪物体(例如,热靶),并确定与检测的热靶和/或高尔夫球场相关的各种属性。在一个实施方式中,可以从辐射测定上校准的热图像中检测具有在特定范围中的温度值的连续像素的区域以用于对热靶的检测。例如,检测操作可区分具有属于旗杆的热靶的特性的表面温度分布的区域。可以通过例如执行各种滤波操作并分析可能的热靶的尺寸、形状和/或热特性来进一步处理和/或分析热图像和在其中检测的可能的热靶,以检测热靶并进一步确定热靶的位置。
在另一实施方式中,可以分析热图像以例如使用背景建模技术、边缘检测技术或适于用于热图像的其他前景物体检测技术来检测一个或多个候选前景物体。然后可以分析候选物体的辐射测定属性(例如,表面温度)以确定它们是否对应于可能存在于高尔夫球场上的热靶的辐射测定属性。例如,初始,可能将岩石或树或其他物体检测为候选前景物体,但是之后这些物体的辐射测定属性会很快表明它们不具有旗杆的热靶的表明温度特性。如该实例示出的,与使用可见光图像或常规测距仪的一般直通视(through-sight)光学器件的物体检测技术相比,使用热图像的物体检测可以较不受假性物体的错误检测的影响。还可以分析候选物体的尺寸和形状,以使得可以基于检测的候选物体的尺寸、形状和辐射测定属性确定所述检测。如上所述,如果需要确定热靶的特性的位置和追踪热靶的特性,则可以执行进一步的处理和分析操作。
在该实施方式的一个方面,背景建模技术可以用来检测高尔夫球场上的热靶。由于高尔夫球场的背景几乎不变并且由于热图像一般对变化的照明条件不敏感,因此可以以高准确性构建背景模型(例如,属于背景的像素),并且不同于背景的像素区域(也称之为“兴趣区域”)可以容易地区别为候选前景物体。如上所述,然后可以分析这样的兴趣区域(ROI)的辐射测定属性以进一步确认检测的ROI是否有可能代表热靶。
在各种实施方式中,可以省略或包括对于块1906描述的各种处理和分析操作,并且,对于块1906描述的各种处理和分析操作可以以合适于检测热靶的任何其他顺序执行。例如,在一些实施方式中,在热图像中检测到相对温暖的区域或相对寒冷的区域可以足以检测和追踪高尔夫球场中的热靶,而在其他实施方式中,可能要组合地执行各种热图像分析以提高检测的准确性。
在一些实施方式中,如果可见光图像是可用的(例如,由可见光摄像机1406捕获),那么块1906的操作可以附加地或可选地包括在可见光图像或可见光图像和热图像的组合图像上执行合适的目标检测和追踪算法。如果是使用可见光图像执行热靶的检测和追踪,则块1906的操作可进一步包括将可见光图像中被追踪目标的像素坐标转换到热图像中的对应像素坐标。用于通过分析热图像、可见光图像和/或组合图像来检测热图像中的热靶的其他合适技术也可以用于块1906。
在一些实施方式中,检测和追踪热靶进一步包括确定检测的热靶的位置。确定检测的热靶的位置包括确定热靶在特定成像模块捕获的图像内的位置,以便局部化经确定的位置。确定热靶在捕获的图像内的位置可包括确定图像中的哪些像素包括热靶。确定检测的热靶的位置可包括确定热靶在热辅助的测距仪1700的用户的参考系中的角位置。例如,用户的参考系可以具有对于直接在用户前面的前向位置的零度角位置。然而,这仅仅是示意性的。如果需要,检测的热靶的角位置可以在任何合适的参考系或坐标系统中确定,例如固定到围绕用户的物理环境的参考系。
在一些实施方式中,可以在块1906通过进一步的分析和处理和/或在对于检测执行的处理和分析过程中确定附加的热靶信息。例如,可以通过分析和处理热图像来确定近似的靶温度和近似的环境温度。
在块1908,可以基于检测的热靶产生对准引导信息。对准引导信息可包括用户可视的提示,例如图形(例如,指向箭头)、文本、框标线等,其指示如何去指引/定向光源以向旗杆发射光。在一个实施方式中,通过将用户可视的提示呈现在显示器上来将对准引导信息提供给用户。用户可视的提示可以经由透明或半透明显示器而通过透镜1726叠加在场景的用户的直接视图上。在另一实施方式中,对准引导信息可以经由扬声器由声音提示(例如,“左”或“右”)提供。
在块1910,可以将图像呈现在热辅助的测距仪1700的显示器上。在一个实施方式中,可以产生并在显示器上呈现包括检测的热靶的高尔夫球场的一部分的用户可视图像。用户可视图像可包括可见光光学装置1720的可见光摄像机1724捕获可见光图像。用户可以在可见光光学装置1720的显示器1722上观看可见光图像或可见光图像的放大图像。还可以产生用户可视的提示并将其呈现在显示器上。用户可视的提示可以叠加在用户可视图像上或者与其组合。
在另一实施方式中,热辅助的测距仪1700的可见光光学装置1720包括一个或多个光学透镜1726和透明或半透明显示器,光学透镜1726例如望远镜,以放大高尔夫球场的一部分,透明或半透明显示器可以是显示器1722的实现方式。用户可以直接通过透镜1726观察场景以观察高尔夫球场的一部分的放大图像。通过透镜1726提供放大视图可以是将放大的图像呈现在显示器上的备选或者附加。可以产生用户可视的提示并将其呈现在透明或半透明显示器上以使得用户可视的提示叠加在通过透镜1726的场景的用户的直接视图上。
可见光光学装置1720可包括标线,当观看显示器或直接通过透镜观看场景时可以看见标线,标线指示热辅助的测距仪1700的光源正指向的地方。标线可以是实体的或者永久地画在可见光光学装置1720的特征上,或者可以是呈现在显示器上的特征。当标线叠加在热靶上时,其可以改变形状或形式。
在各种实施方式中,图像可以是基于在块1904的捕获的红外图像(例如,热图像)产生的用户可视图像。可以通过使用合适的方法和算法将热图像转换到用户可视图像来产生用户可视图像。例如,包含在热图像的像素中的热数据(例如,温度数据)可以转换成灰度或色阶像素以构造可以由人观看的图像。用户可视热图像可以可选地包括图例或标度,其指示检测的物体的近似温度和/或位置。产生用户可视图像可包括将来自多个成像模块的图像数据拼接在一起、组合热和可见光图像、将热图像叠加在场景的直接视图或显示器视图上、将靶的热图像叠加在场景的直接视图或显示器视图上或以其他方式处理或组合图像数据以产生用户可视图像。组合的图像可以是带有附加的可见光图像数据的红外图像。用户可视图像可以呈现在热辅助的测距仪1700的显示器197上或者在与另一系统相关的外部显示器上。用户可视的提示还可以与用户可视图像一起产生和呈现,例如通过将用户可视的提示叠加在用户可视图像上。
在块1912,可以基于检测的热靶将热辅助的测距仪1700的光源1712发射的光(例如,光束(比如,激光束))发射到旗杆上。在一个实施方式中,基于热靶的提供的热图像,用户可以移动装置1700以将可见光光学装置1720的标线(其指示光源正在指向的地方)居中于旗杆的热靶上。在另一实施方式中,热辅助的测距仪1700可自动地将来自光源的光朝向检测的热靶指引。在一个实施方式中,当光源被指引到旗杆时,自动发射光。热辅助的测距仪1700可基于在块1906执行的对热源的检测和追踪来确定光源被指引到旗杆。在另外的实施方式中,当用户激活热辅助的测距仪1700上的光源时(例如,当用户按压按钮或致动开关时)发射光。
在一些实施方式中,热辅助的测距仪1700自动调整光源的方向以向旗杆发射光。例如,当用户尽其可能地将标线居中在热靶上时,热辅助的测距仪1700可调整光源的方向以更精确地向旗杆发射光。在另一实例中,热辅助的测距仪1700配置成当旗杆处于离光源的方向的预定范围内的角度时调整光源的方向以向旗杆发射光。该预定的角度范围可以相对大,以使得用户可将热辅助的测距仪1700指向旗杆的大致方向以向旗杆发射光。当来自光源的光(例如,激光)入射在旗杆上(例如,旗杆的反射器上)时,一些或所有光可以从旗杆反射到热辅助的测距仪1700的检测器或接收器上。
在块1914,可以检测发射的光中的从旗杆反射的那部分光。光可以从旗杆的任何部分(例如,热源、旗或杆)反射。在一个实施方式中,旗杆包括一个或多个回射器,并且光由一个或多个回射器中的至少一个反射。
在块1916,可以基于检测的光计算到旗杆的距离并且该距离可以提供给热辅助的测距仪的用户。到旗杆的距离可以大致等于从热辅助的测距仪1700到旗杆的距离。例如,可以基于光的飞行时间计算该距离。飞行时间可以是光从热辅助的测距仪1700行进到旗杆并从旗杆返回到热辅助的测距仪1700花费的时间。可以基于在热辅助的测距仪的接收器处检测的对应于光源发射的激光脉冲的上升边缘的强度的上升或者可以基于发射的光的一个或多个属性的检测来确定飞行时间。
参考图20,示意了可以呈现给热辅助的测距仪的用户的用户可视图像2030。图像2030包括高尔夫球场2006的一部分,高尔夫球场2006包括旗杆2002,旗杆2002包括热靶2004。图像2030可以是场景的放大图像(例如,8倍放大),其可以由用户调整。
在各种实施方式中,图像2030包括中央标线2012,其指示热辅助的测距仪1700的光源1712正在指向的位置。中央标线1712可以是圆、图20中示出的十字、圆和十字的组合或者其他形状。当光由光源1712发射时,光沿中央标线1700指示的方向行进。这样,当中央标线2012居中于旗杆2002上时,光被发射到旗杆2002。
在某些实施方式中,图像2030可包括一个或多个用户可视提示。可以基于红外成像模块100捕获的红外图像和检测的热靶产生用户可视提示作为对准引导信息。例如,用户可视提示可包括图形(例如,指向箭头2014)、文本、围绕图像2030中热靶2004的框标线2016等。当热靶2004在图像2030中移动时,框标线2016可动态跟随热靶2004。
在一个实施方式中,如上面相关于图17描述的,可见光光学装置1720包括一个或多个透镜1726和透明或半透明显示器。用户可以直接通过透镜1726观看场景(例如,高尔夫球场的一部分)。可以通过调整透镜1726来放大直接观看的场景。呈现给用户的图像2030可包括通过透镜1726直接观看的场景和经由透明或半透明显示器叠加在直接观看的场景上的用户可视提示。
在另一实施方式中,可见光光学装置1720包括显示器1722和可见光摄像机1724。图像2030可以基于可见光摄像机1724捕获的可见光图像。图像2030可包括可见光图像、放大的可见光图像和/或用户可视提示(例如,叠加在可见光图像上),并且可以呈现在显示器上(例如,显示器1722)。
在另一实施方式中,图像2030包括基于红外成像模块100捕获的红外图像的图像(例如,用户可视热图像或用户可视组合图像)和用户可视提示,并且可以呈现在显示器上。用户可视热图像和用户可视组合图像可以例如以用户的放大设定进行放大。在一些实施方式中,用户可以设定呈现哪种类型的图像或者在各种类型的图像之间切换。
用户可以沿箭头2014的方向移动装置1700直到标线2012居中于靶2004(例如,在框标线2016内)。当标线2012居中于靶2004时,光源(例如,激光器)可发射光(例如,激光)到旗杆上进行本文描述的测距操作。在一些实施方式中,装置1700的自动化部件可以更改光源发射光的方向,以将光发射到旗杆用于本文描述的测距操作。
尽管已经描述了各种图像处理技术,但是可以使用在本文参考的专利申请的任一个中阐述的各种处理技术中的任一种。例如,在一些实施方式中,可以根据在下述专利申请中阐述的任何技术来混合或以其他方式组合可见光图像和/或热图像:美国专利申请No.61/473,207、61/746,069、61/746,074、61/792,582、61/793,952、12/766,739、13/105,765或13/437,645,或者国际专利申请No.PCT/EP2011/056432,或者合适的其他专利申请。
在合适的情况下,可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下,在不脱离本公开的精神的情况下,可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下,在不脱离本公开的精神的情况下,可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外,在合适的情况下,可以预期的是,软件部件能够实现为硬件部件,反之亦然。
根据本公开的软件,例如,非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是,可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下,本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤,以提供本文所描述的功能。
以上所描述的实施例仅为了举例说明,而不是限制本实用新型。还应当理解的是,根据本实用新型的原理,许多修改和改变是可能的。因此,本实用新型的范围仅由下面的权利要求书限定。
Claims (13)
1.一种用于确定高尔夫球场上距离的设备,其特征在于,所述设备包括:
红外成像模块,其配置成捕获包括旗杆的高尔夫球场的一部分的红外图像,其中旗杆包括热靶;
光源,其配置成发射光;
光检测器,其配置成检测从旗杆反射的至少一部分光;
处理器,其耦合至光源和光检测器,并且配置成基于检测的光确定并提供到旗杆的距离;以及
可见光光学装置,其配置成放大所述高尔夫球场的所述部分。
2.根据权利要求1所述的设备,其特征在于,
所述红外成像模块配置成检测所述旗杆的所述热靶发射的热辐射;以及
所述可见光光学装置配置成基于检测的热辐射呈现用户可视的提示,所述用户可视的提示指示应当如何指引光源以将光发射到所述旗杆。
3.根据权利要求1所述的设备,其特征在于,所述处理器配置成基于所述红外图像检测旗杆的热靶并基于检测的热靶产生对准引导信息以提供给用户。
4.根据权利要求3所述的设备,其特征在于,所述对准引导信息包括用户可视的提示,所述用户可视的提示指示应当如何指引光源以将光提供到所述旗杆;该设备还包括显示器,其配置成呈现所述用户可视的提示。
5.根据权利要求1所述的设备,其特征在于,
所述红外成像模块配置成捕获附加的红外图像;
所述处理器配成至基于所述红外图像和所述附加的红外图像追踪所述热靶;以及
所述光源配置成基于追踪的热靶调整所述光源的方向以将光发射到所述旗杆。
6.根据权利要求1所述的设备,其特征在于,还包括:
可见光摄像机,其配置成捕获包括旗杆的高尔夫球场的所述部分的可见光图像;以及
一个或多个图像稳定模块,其配置成稳定所述红外成像模块捕获的所述红外图像或所述可见光摄像机捕获的可见光图像,或者稳定二者。
7.根据权利要求1所述的设备,其特征在于,所述可见光光学装置包括用于光学放大的透镜。
8.根据权利要求1所述的设备,其特征在于,所述可见光光学装置包括:
可见光摄像机,其配置成捕获包括所述旗杆的所述高尔夫球场的所述部分的可见光图像;以及
显示器,其配置成呈现所述可见光图像或所述可见光图像的放大图像。
9.根据权利要求8所述的设备,其特征在于,所述处理器配置成基于所述可见光图像和所述红外图像产生组合图像,其中所述组合图像是添加有可见光图像数据的所述红外图像的对比增强版本;以及
所述显示器配置成呈现所述组合图像。
10.根据权利要求1所述的设备,其特征在于,所述红外成像模块包括红外微辐射热计阵列,并且其中所述红外图像是热图像。
11.一种用于确定高尔夫球场上距离的系统,其特征在于,其包括根据权利要求1所述的设备和旗杆,其中所述旗杆包括:
旗;
热靶,其配置成发射热辐射;以及
杆,其包括第一端和第二端,其中与所述第二端相比所述旗和所述热靶的位置更靠近所述第一端,并且其中所述第二端适于放置在高尔夫球洞中。
12.一种用于高尔夫球场的旗杆,其特征在于,包括:
旗;
热靶,其配置成发射热辐射;以及
杆,其包括第一端和第二端,其中与所述第二端相比所述旗和所述热靶的位置更靠近所述第一端,并且其中所述第二端适于放置在高尔夫球洞中。
13.根据权利要求12所述的旗杆,其特征在于,还包括一个或多个回射器,其适于反射所述光源发射的光,其中与所述第二端相比所述一个或多个回射器的位置更靠近所述第一端,并且其中所述热靶的温度是可调整的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462050726P | 2014-09-15 | 2014-09-15 | |
US62/050,726 | 2014-09-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN204996085U true CN204996085U (zh) | 2016-01-27 |
Family
ID=55152992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201520714492.0U Expired - Fee Related CN204996085U (zh) | 2014-09-15 | 2015-09-15 | 确定高尔夫球场上距离的设备、系统及旗杆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN204996085U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146904A (zh) * | 2018-08-13 | 2019-01-04 | 合肥英睿系统技术有限公司 | 在可见光图像中显示红外图像目标物轮廓的方法及设备 |
TWI761562B (zh) * | 2017-07-27 | 2022-04-21 | 日商世雅遊戲股份有限公司 | 站立位置引導機構及具備該機構之擲標遊戲裝置 |
-
2015
- 2015-09-15 CN CN201520714492.0U patent/CN204996085U/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI761562B (zh) * | 2017-07-27 | 2022-04-21 | 日商世雅遊戲股份有限公司 | 站立位置引導機構及具備該機構之擲標遊戲裝置 |
CN109146904A (zh) * | 2018-08-13 | 2019-01-04 | 合肥英睿系统技术有限公司 | 在可见光图像中显示红外图像目标物轮廓的方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10232237B2 (en) | Thermal-assisted golf rangefinder systems and methods | |
CN205157051U (zh) | 红外传感器组件 | |
US20180198960A1 (en) | Device attachment with infrared imaging sensor | |
US9986175B2 (en) | Device attachment with infrared imaging sensor | |
US10169666B2 (en) | Image-assisted remote control vehicle systems and methods | |
CN105191288B (zh) | 异常像素检测 | |
US10841508B2 (en) | Electrical cabinet infrared monitor systems and methods | |
CN205449295U (zh) | 装置附件 | |
JP4620772B2 (ja) | 三角測量オートフォーカスシステムを有するデジタルカメラ、及び関連する方法 | |
CN105009568B (zh) | 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质 | |
CN103188990B (zh) | 热检测系统、方法和设备 | |
CN205265783U (zh) | 成像系统 | |
EP2741491B1 (en) | Camera and method for thermal image noise reduction using post processing techniques | |
CN105027557A (zh) | 补偿红外成像装置中校准漂移的技术 | |
US20110169960A1 (en) | Video enhancement system | |
US20120307046A1 (en) | Methods and apparatus for thermographic measurements | |
CN204649311U (zh) | 测量装置 | |
CN205080731U (zh) | 用于遥控交通工具的系统 | |
US20170111557A1 (en) | Camera assembly with filter providing different effective entrance pupil sizes based on light type | |
CN103748867A (zh) | 低功耗和小形状因子红外成像 | |
CN104902182B (zh) | 一种实现连续自动对焦的方法和装置 | |
CN112672054B (zh) | 对焦方法、装置及电子设备 | |
CN105009169B (zh) | 用于抑制图像中的天空区域的系统和方法 | |
CN205157061U (zh) | 红外传感器模块和红外成像设备 | |
CN204996085U (zh) | 确定高尔夫球场上距离的设备、系统及旗杆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160127 Termination date: 20180915 |