CN106068446B - 具有双波段成像传感器的设备附件 - Google Patents

具有双波段成像传感器的设备附件 Download PDF

Info

Publication number
CN106068446B
CN106068446B CN201480076762.8A CN201480076762A CN106068446B CN 106068446 B CN106068446 B CN 106068446B CN 201480076762 A CN201480076762 A CN 201480076762A CN 106068446 B CN106068446 B CN 106068446B
Authority
CN
China
Prior art keywords
equipment
thermographic
thermal
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480076762.8A
Other languages
English (en)
Other versions
CN106068446A (zh
Inventor
佩尔·埃尔莫福斯
迈克尔·肯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Phillips Systems Inc
Original Assignee
Phillips Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2013/078551 external-priority patent/WO2014106276A2/en
Priority claimed from US14/246,006 external-priority patent/US9674458B2/en
Priority claimed from US14/281,883 external-priority patent/US9900478B2/en
Priority claimed from US14/299,987 external-priority patent/US9083897B2/en
Priority claimed from PCT/US2014/059200 external-priority patent/WO2015051344A1/en
Application filed by Phillips Systems Inc filed Critical Phillips Systems Inc
Publication of CN106068446A publication Critical patent/CN106068446A/zh
Application granted granted Critical
Publication of CN106068446B publication Critical patent/CN106068446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0205—Mechanical elements; Supports for optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/04—Casings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
    • G01J5/0804—Shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0846—Optical arrangements having multiple detectors for performing different types of detection, e.g. using radiometry and reflectometry channels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0893—Arrangements to attach devices to a pyrometer, i.e. attaching an optical interface; Spatial relative arrangement of optical elements, e.g. folded beam path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0896—Optical arrangements using a light source, e.g. for illuminating a surface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0254—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

公开的各种技术用于提供一种配置为可释放地附接到移动电话或其他便携式电子设备并向其提供红外成像功能的设备附件。所述设备附件可包括红外成像模块和非热成像模块，所述红外成像模块和非热成像模块与被附接的设备中非热成像模块和被附接的设备中光源中的一个或多个配合以捕获并处理图像。

Description

具有双波段成像传感器的设备附件
相关申请的交叉引用
本申请主张2014年1月5日提交并且题为“DEVICE ATTACHMENT WITH DUAL BANDIMAGING SENSOR”的美国临时专利申请No.61/923,732的权益，通过引用的方式将其作为整体并入本文中。
本申请是2014年5月19日提交并且题为“DEVICE ATTACHMENT WITH INFRAREDIMAGING SENSOR”的美国专利申请No.14/281,883的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/281,883是2013年9月27日提交并且题为“DEVICEATTACHMENT WITH INFRARED IMAGING SENSOR”的国际专利申请No.PCT/US2013/062433的部分连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请NO.PCT/US2013/062433主张2013年9月20日提交并且题为“DEVICEATTACHMENT WITH INFRARED IMAGING SENSOR”的美国临时专利申请No.61/880,827的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2013/062433是2013年5月23日提交并且题为“DEVICEATTACHMENT WITH INFRARED IMAGING SENSOR”的美国专利申请No.13/901,428的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/901,428主张2012年5月25日提交并且题为“DEVICEATTACHMENT WITH INFRARED IMAGING SENSOR”的美国临时专利申请No.61/652,075的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/901,428是2012年5月25日提交并且题为“DEVICEATTACHMENT WITH CAMERA”的美国外观设计专利申请No.29/423,027的部分连续案，通过引用的方式将其作为整体并入本文中。
本申请是2013年12月31日提交并且题为“INFRARED IMAGING DEVICE HAVING ASHUTTER”的国际专利申请No.PCT/US2013/78551的部分连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2013/78551主张2012年12月31日提交并且题为“INFRARED IMAGING DEVICE HAVING A SHUTTER”的美国临时专利申请No.61/747,789的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2013/78551是2013年8月13日提交并且题为“INFRAREDCAMERA SYSTEM HOUSING WITH METALIZED SURFACE”的美国专利申请No.13/966,052的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/966,052主张2012年8月14日提交并且题为“INFRAREDCAMERA SYSTEM HOUSING WITH METALIZED SURFACE”的美国临时专利申请No.61/683,124的权益，通过引用的方式将其作为整体并入本文中。
本申请是2014年10月3日提交并且题为“DURABLE COMPACT MULTISENSOROBSERVATION DEVICES”的国际专利申请No.PCT/US2014/59200的部分连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月9日提交并且题为“LOW POWERAND SMALL FORM FACTOR INFRARED IMAGING”的美国专利申请No.14/101,245的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/101,245是2012年6月8日提交并且题为“LOW POWER ANDSMALL FORM FACTOR INFRARED IMAGING”的国际专利申请No.PCT/US2012/041744的连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041744主张2012年6月7日提交并且题为“LOWPOWER AND SMALL FORM FACTOR INFRARED IMAGING”的美国临时专利申请No.61/656,889的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041744主张2011年10月7日提交并且题为“NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国临时专利申请No.61/545,056的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041744主张2011年6月10日提交并且题为“INFRARED CAMERA PACKAGING SYSTEMS AND METHODS”的美国临时专利申请No.61/495,873的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041744主张2011年6月10日提交并且题为“INFRARED CAMERA SYSTEM ARCHITECTURES”的美国临时专利申请No.61/495,879的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041744主张2011年6月10日提交并且题为“INFRARED CAMERA CALIBRATION TECHNIQUES”的美国临时专利申请No.61/495,888的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月6日提交并且题为“NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国专利申请No.14/099,818的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/099,818是2012年6月8日提交并且题为“NON-UNIFORMITYCORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的国际专利申请No.PCT/US2012/041749的连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041749主张2011年10月7日提交并且题为“NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国临时专利申请No.61/545,056的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041749主张2011年6月10日提交并且题为“INFRARED CAMERA PACKAGING SYSTEMS AND METHODS”的美国临时专利申请No.61/495,873的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041749主张2011年6月10日提交并且题为“INFRARED CAMERA SYSTEM ARCHITECTURES”的美国临时专利申请No.61/495,879的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041749主张2011年6月10日提交并且题为“INFRARED CAMERA CALIBRATION TECHNIQUES”的美国临时专利申请No.61/495,888的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月9日提交并且题为“INFRAREDCAMERA SYSTEM ARCHITECTURES”的美国专利申请No.14/101,258的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/101,258是2012年6月8日提交并且题为“INFRARED CAMERASYSTEM ARCHITECTURES”的国际专利申请No.PCT/US2012/041739的连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041739主张2011年6月10日提交并且题为“INFRARED CAMERA PACKAGING SYSTEMS AND METHODS”的美国临时专利申请No.61/495,873的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041739主张2011年6月10日提交并且题为“INFRARED CAMERA SYSTEM ARCHITECTURES”的美国临时专利申请No.61/495,879的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2012/041739主张2011年6月10日提交并且题为“INFRARED CAMERA CALIBRATION TECHNIQUES”的美国临时专利申请No.61/495,888的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月21日提交并且题为“COMPACTMULTI-SPECTRUM IMAGING WITH FUSION”的美国专利申请No.14/138,058的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/138,058主张2012年12月31日提交并且题为“COMPACTMULTI-SPECTRUM IMAGING WITH FUSION”的美国临时专利申请No.61/748,018的权益，通过引用的方式将其作为整体并入本文中。
本专利申请是2014年6月9日提交并且题为“INFRARED CAMERA SYSTEMS ANDMETHODS FOR DUAL SENSOR APPLICATIONS”的美国专利申请No.14/299,987的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/299,987是2009年6月3日提交并且题为“INFRARED CAMERASYSTEMS AND METHODS FOR DUAL SENSOR APPLICATIONS”的美国专利申请No.12/477,828的连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月21日提交并且题为“TIMESPACED INFRARED IMAGE ENHANCEMENT”的美国专利申请No.14/138,040的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/138,040主张2013年3月15日提交并且题为“TIME SPACEDINFRARED IMAGE ENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/138,040还主张2012年12月26日提交并且题为“TIME SPACEDINFRARED IMAGE ENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/US2014/59200是2013年12月21日提交并且题为“INFRAREDIMAGING ENHANCEMENT WITH FUSION”的美国专利申请No.14/138,052的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/138,052主张2013年3月15日提交并且题为“INFRAREDIMAGING ENHANCEMENT WITH FUSION”的美国临时专利申请No.61/793,952的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/138,052还主张2012年12月26日提交并且题为“INFRAREDIMAGING ENHANCEMENT WITH FUSION”的美国临时专利申请No.61/746,074的权益，通过引用的方式将其作为整体并入本文中。
本专利申请是2014年4月4日提交并且题为“SMART SURVEILLANCE CAMERASYSTEMS AND METHODS”的美国专利申请No.14/246,006的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/246,006是2012年4月2日提交并且题为“INFRAREDRESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION”的美国专利申请No.13/437,645的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/437,645是2011年5月11日提交并且题为“INFRAREDRESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION”的美国专利申请No.13/105,765的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/437,645还主张2011年4月8日提交并且题为“INFRAREDRESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION”的美国临时专利申请No.61/473,207的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/437,645还是2010年4月23日提交并且题为“INFRAREDRESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION”的美国专利申请No.12/766,739的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/105,765是2011年4月21日提交并且题为“INFRAREDRESOLUTION AND CONTRAST ENHANCEMENT WITH FUSION”的国际专利申请No.PCT/EP2011/056432的连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/105,765还是美国专利申请No.12/766,739的部分连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/EP2011/056432是美国专利申请No.12/766,739的部分连续案，通过引用的方式将其作为整体并入本文中。
国际专利申请No.PCT/EP2011/056432还主张美国临时专利申请No.61/473,207的权益，通过引用的方式将其作为整体并入本文中。
本专利申请是2013年9月17日提交并且题为“ROW AND COLUMN NOISE REDUCTIONIN THERMAL IMAGES”的美国专利申请No.14/029,716的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/029,716主张2012年12月21日提交并且题为“ROW ANDCOLUMN NOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,489的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/029,716主张2012年12月21日提交并且题为“PIXEL-WISENOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,504的权益，通过引用的方式将其作为整体并入本文中。
美国专利申请No.14/029,716是2012年9月18日提交并且题为“SYSTEMS ANDMETHODS FOR PROCESSING INFRARED IMAGES”的美国专利申请No.13/622,178的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/622,178是2012年6月21日提交并且题为“SYSTEMS ANDMETHODS FOR PROCESSING INFRARED IMAGES”的美国专利申请No.13/529,772的部分连续案，通过引用的方式将其作为整体并入本文中。
美国专利申请No.13/529,772是2009年3月2日提交并且题为“SYSTEMS ANDMETHODS FOR PROCESSING INFRARED IMAGES”的美国专利申请No.12/396,340的连续案，通过引用的方式将其作为整体并入本文中。
技术领域
本发明的一个或多个实施例总体上涉及红外成像设备，更具体地，例如，涉及用于便携式设备的红外成像设备，以及例如涉及利用红外成像设备进行多光谱成像的系统和方法。
背景技术
各种类型的便携式电子设备(例如，智能电话、蜂窝电话、平板设备、便携式媒体播放器，便携式游戏设备、数码摄像机和笔记本电脑)正在广泛应用。这些设备通常包括使用户能够拍摄静止图像或者视频片段的可见光图像传感器或者摄像机。这种嵌入式摄像机日益普及的原因之一可能是移动电话和其他便携式电子设备的普遍性。也就是说，因为用户可能已经携带移动电话和其他便携式电子设备，所以当用户需要一个摄像机时，这种嵌入式摄像机通常就在手边。日益普及的另一个原因可能是日益提高的处理能力、存储容量、和/或显示能力，这允许利用移动电话和其他便携式电子设备足够快地捕获、处理以及存储大、高质量的图像。
然而，在这些便携式电子设备中使用的图像传感器通常是限于捕获可见光图像的基于CCD或者基于CMOS的传感器。因此，这些传感器充其量仅可以检测非常有限的可见光范围或者接近于可见光的波长(例如，当利用近红外光谱中的光主动照明对象时的近红外光)。因此，需要以便携式电子设备的形状因子提供红外成像能力的技术。
发明内容
公开了用于提供配置为可释放地附接到移动电话或其他便携式电子设备并向移动电话或其他便携式电子设备提供红外成像功能的设备附件的各种技术。例如，设备附件可以包括：壳体，在所述壳体的后表面上具有形成为至少部分地接纳用户设备的部分的封围体(例如，槽或者开口)，布置在所述壳体内并配置为捕获红外图像数据和可见光图像数据的多波长图像传感器组件，以及通信地耦接到所述多波长传感器组件并配置为将所述红外图像数据和/或所述可见光图像数据传输到所述用户设备的处理模块。
所述设备附件可配置为与被附接的设备(例如，智能电话)中的一个或多个部件配合以捕获和/或处理图像数据。例如，被附接到设备附件的智能电话上的附加的可见光摄像机可用于捕获附加的可见光图像，所述附加的可见光图像可与利用设备附件中的可见光图像传感器捕获的可见光图像一起用于利用两个可见光图像传感器之间的对象的视差来测量到场景中的对象的距离。测量的距离可用于对准或者以其他方式将来自红外图像传感器的红外图像与来自可见光成像模块的可见光图像进行组合。作为另一个例子，可操作被附接到所述设备附件的智能电话中的光源以照明要由所述设备附件中的成像模块成像以用于组合红外和可见光图像的场景的一些或者全部。
定时器可用于确定所述设备附件中的热成像模块何时可用于确定被成像的对象的校准的温度。
本发明的范围由权利要求书限定，通过引用的方式将权利要求书的内容合并到该部分。通过考虑下文对一个或多个实施例的详细描述，本领域技术人员将会更完整的理解本发明的实施例及其另外的优点的实现。将会对附图进行参考，首先对附图进行简要描述。
附图说明
图1示出了根据本公开实施例的设备附件的前透视图。
图2示出了根据本公开实施例的设备附件的滑块模块。
图3示出了根据本公开实施例的设备附件的后透视图。
图4示出了根据本公开实施例的设备附件和被附接的设备的简图，其中示出了来自设备附件和被附接的设备的非热图像数据如何用于合并来自设备附件的非热图像数据和热图像数据。
图5示出了根据本公开实施例的、用于在合并来自设备附件的非热图像数据和热图像数据中使用来自设备附件和被附接的设备的非热图像数据的各种操作的流程图。
图6示出了根据本公开实施例的、用于校准来自设备附件和被附接的设备的非热图像数据以便以后用于合并来自设备附件的非热图像数据和热图像数据的各种操作的流程图。
图7示出了根据本公开实施例的、用于使用从校准以来的时间用于确定是否能够确定基于校准的图像的温度的各种操作的流程图。
图8示出了根据本公开实施例的、增强场景的成像的各种操作的流程图。
图9示出了根据本公开实施例的、基于用户输入增强场景的成像的各种操作的流程图。
通过参考下面的详细描述会最好地理解本发明的实施例及其优点。应当理解，相同的参考标号用于标识在一副或者多副附图中示出的相同的元件。
具体实施方式
现在参考图1和图2，其中示出了具有红外成像模块7000和非热摄像机模块7002的设备附件1250的各种视图。红外图像传感器(例如，红外成像模块7000)能够捕获从温度高于绝对零度的所有对象发射的热能量辐射的图像，并且从而可用于生成红外图像(例如，热谱图)，其可有利地用于各种情形中，包括：在低光条件或者无光条件下观察、检测人体体温异常(例如，用于检测疾病)、检测不可见的气体、检查结构的漏水和绝热层损坏、检测机电设备的不可见的损坏、以及真实的红外图像可以提供有用信息的其他情形。
设备附件1250可以配置为接纳便携式电子设备，例如用户设备1200。在图1的实施例中，示出了具有用于接纳苹果公司的设备1200(例如，iPhoneTM设备、iPadTM设备或者iPod TouchTM设备)的形状的设备附件的后透视图。然而，这仅是示例性的。如果需要，设备附件1250可以具有适于接纳三星电子有限公司的设备(例如，Galaxy TabTM设备、其他GalaxyTM设备、或者三星的其他设备)或者任何其他制造商的智能电话、平板或便携式电子设备的形状。
如图1所示，设备附件1250可以包括摄像机窗口1240，通过该摄像机窗口1240，设备摄像机101(例如，诸如可见光摄像机模块的非热摄像机模块)可以捕获图像，设备光源103(例如，摄像机闪光或者闪光灯)可以对场景的一些或者全部进行照明，并且/或设备1200的一个或者多个其他传感器105可以接收或者发射光。设备附件1250可以包括多个成像部件，例如红外成像模块7000和非热摄像机模块7002，以及一个或多个内部电子部件，例如电池1208或者其他内部部件，例如处理器、存储器或者通信部件(作为例子)。如果需要，设备附件1250还可以包括机械快门，例如，用户可操作的快门。设备附件1250的用户可以通过滑动按钮7004(例如，开/关开关)来移动用户可操作的快门，以利用附接到按钮7004的内部快门元件选择性的阻挡或者不阻挡成像部件7000和7002。
图2是滑块组件248的透视图，所述滑块组件248具有按钮7004和具有开口252和254的快门元件250。按钮7004可用于沿着箭头256指示的方向推动元件250，以选择性地将开口252和254移动到图1的成像模块7000和7002的前方。当开口252和254位于成像模块7000和7002的前方时，成像模块7000和7002可以通过开口252和254接收来自场景的光以进行图像捕获操作。当移动按钮7004以使快门部件250的部分阻挡成像模块7000和/或7002时，可以阻止来自场景的光到达成像模块7000和/或7002。在一些实施例中，按钮7004可配置为当移动快门元件250以阻挡或者不阻挡成像部件7000和7002时打开或者关闭设备附件1250的电源。
在一些实施例中，快门部件250可用于例如在不使用成像部件7000和7002时对其进行保护。如本领域技术人员所理解的，快门250还可用作作为用于红外成像模块7000的校准过程(例如，如2013年12月6日提交的美国专利申请No.14/099,818(通过引用的方式将其作为整体并入本文中)中描述的非均匀性校正(NUC)过程，辐射测量校准过程和/或其他校准过程)的一部分的温度参考。设备附件1250可以包括前部分7007和后部分7009。前部分7007可以由壳体形成，所述壳体封围设备附件的功能部件(例如，电池、连接器、成像部件、处理器、存储器、通信部件)和/或如本文所述的设备附件的其他部件。后部分7009可以是结构性壳体部分，其具有形成凹槽的形状，用户设备1200被配置为可释放的附接到该凹槽中。
图3是图1的设备附件的前透视图，其示出了具有显示器201的苹果公司的用户设备1200可以如何通过将该设备插入到用于设备附件的壳体中的凹槽来可释放地附接到设备附件1250，其中，所述用于设备附件的壳体由至少部分地围绕该设备的后壁和至少一个侧壁形成。设备附件1250可以包括设备连接器，当被附接时，所述设备连接器承载到或者来自用户设备1200的各种信号和电功率。可将设备连接器布置在与用户设备1200的相应的设备连接器插座或者插口适当地对准的位置，以使得当设备附件1250附接到用户设备1200时，设备连接器可以与用户设备1200的相应的设备连接器插座或者插口接合。例如，如果用户设备1200在其底侧表面上配备有连接器插座，则可以将设备连接器定位在设备附件1250的底部侧壁上的适当位置。设备连接器还可以包括用于支持和/或对准用户设备1200的机械固定装置(例如，锁定/闩锁连接器插头)。
设备连接器可以根据与用户设备1200的类型相关的连接器规范来实现。例如，设备连接器可以实现为专属连接器(例如，用于iPodTM和iPhoneTM的苹果基座连接器，例如，“闪电(lightning)”连接器、30针连接器或者其他连接器)或者标准化连接器(例如，各种版本的通用串行总线(USB)连接器、便携式数字媒体接口(PDMI)、或者在用户设备中提供的其他标准连接器)。
在一个实施例中，可以可互换地提供设备连接器，以使得设备附件1250可以适应接纳不同设备连接器的不同类型的用户设备。例如，可以提供各种类型的设备连接器插头并可将其被配置为使其附接到基座连接器设备附件1250，以使得在将设备附件1250附接到用户设备1200之前，可将与用户设备1200兼容的连接器插头附接到基座连接器。在另一个实施例中，可以固定地提供设备连接器。
设备附件1250还可以通过无线连接与用户设备1200通信。就这方面而言，设备附件1250可以包括配置为促进用户设备1200和设备附件1250之间的无线通信的无线通信模块。在各种实施例中，无线通信模块可以支持IEEE 802.11WiFi标准、蓝牙TM标准、ZigBeeTM标准、或者其他合适的短距离无线通信标准。因此，如果通过设备连接器的连接不可用或者不需要时，设备附件1250可在不依赖于设备连接器的情况下与用户设备1200一起使用。
对于一个或多个实施例，红外成像模块7000可以实现有小形状因子并且根据晶片级封装技术或其他封装技术来实现。红外成像模块7000可以包括透镜镜筒、外壳、红外传感器组件、电路板、基座和处理模块。
红外传感器组件可以包括在基板上以阵列或者其他形式实现并由盖子覆盖的多个红外传感器(例如，红外检测器)。例如，在一个实施例中，红外传感器组件可以实现为焦平面阵列(FPA)。例如，这种焦平面阵列可以实现为真空封装组件。在一个实施例中，红外传感器组件可以实现为晶片级封装(例如，从一组设置在晶片上的真空封装组件中单体分割出)。在一个实施例中，红外传感器组件可以实现为使用约2.4伏、2.5伏、2.8伏或类似电压的电源来操作。
红外成像模块7000中的红外传感器可被配置为检测来自目标场景的红外辐射(例如红外能量)，包括，例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如特定实现中可能需要的其他热成像波段。例如，红外传感器可以实现为微测辐射热计或者以任何期望的阵列图案布置以提供多个像素的其他类型的热成像红外传感器。
用户设备1200可以是可被配置为与设备附件1250通信以接收由红外传感器组件7000捕获的红外图像和/或非热图像(例如，来自非热成像模块7002的可见光图像)的任何类型的便携式电子设备。
可将红外成像模块7000捕获的红外图像数据和/或非热图像数据(例如，由非热成像模块7002捕获的可见光图像数据)提供给设备附件1250和/或设备1200的处理模块以进行进一步的处理。
处理模块可被配置为对捕获的红外图像数据执行适当的处理，并将原始和/或处理后的红外图像数据传输到用户设备1200。例如，当设备附件1250附接到用户设备1200时，处理模块可以通过有线设备连接器或者通过本文进一步描述的适当的无线部件无线地将原始和/或处理后的红外图像数据传输到用户设备1200。因此，例如，用户设备1200可被合适地配置为从设备附件1250接收红外图像数据(例如，热图像数据)和/或非热图像数据，以在显示器201上向用户显示用户可观看的红外图像(例如，热谱图)，并允许用户存储红外图像数据、非热图像数据、多波长图像数据和/或用户可观看的红外图像。也就是说，用户设备1200可被配置为运行合适的软件指令(例如，智能电话“app(应用程序)”)以作为允许用户构图并拍摄红外、非红外和/或组合的静止图像、视频或二者的红外摄像机。设备附件1250和用户设备1200可被配置为执行其他红外成像功能，例如，存储和/或分析包含在红外图像数据内的热成像数据(例如，温度信息)。
设备附件1250还可以包括电池1208(例如，参见图1)。电池1208可被配置为用作设备附件1250的内部部件的电源，以便当设备附件1250附接到用户设备1200时，设备附件1250不耗尽用户设备1200的电池。另外，设备附件1250的电池1208可被配置为例如通过设备连接器向用户设备1200提供电功率。因此，电池1208可以有利地为用户设备1200提供备用电源以进行运行和从其充电。相反，如果当即使设备附件1250的电池耗尽时用户仍然希望使用设备附件1250的功能，则设备附件1250的各种部件可被配置为使用来自用户设备1200的电池的电功率(例如，通过设备连接器)。
在一些实施例中，设备1200的非热摄像机模块101可与设备附件1250的非热摄像机模块7002一起使用。当混合红外(例如，热)和非红外(例如，可见光)视频图像时，可以逐像素地将两个图像彼此映射。可以补偿两个摄像机之间的差异(例如，失真，视差，指向角等)。可以将成像模块7000和7002彼此靠近地安装以减少利用该成像模块捕获的图像之间的视差差异。为了提供对任何其余的视差差异(特别是图像中非常靠近的对象)的校正，设备1200中的非热摄像机101可以与非热摄像机模块7002结合使用以确定到场景中的对象的距离。即使场景距离可变，确定的距离仍然可随后用于调整红外(例如，热)和非热(例如，可见光)视频图像的对准。
如图4所示，非热摄像机模块7002和非热摄像机模块101可以各自将场景的非热(例如，可见光)图像提供给处理电路(例如，距离测量引擎301)。距离测量引擎301可以利用非热摄像机模块7002和非热摄像机模块101之间的已知距离D以及非热摄像机模块7002和非热摄像机模块101提供的图像中场景对象的测量的位置的移位来确定到场景对象的距离。
可将测量的距离、由非热成像模块7002捕获的非热图像和来自热成像模块7000的热图像(例如，红外图像)提供给处理电路(例如，合并引擎303)。合并引擎303可以利用测量的距离来校正热图像和非热图像之间的任何其余的视差差异，从而将热图像和非热图像合并提供给显示器201以显示给用户。距离测量引擎301和合并引擎303可以表示由逻辑器件(例如，可编程逻辑器件或微处理器)执行的算法。
图5是示出用于利用设备附件中的非热成像模块和被附接的设备中的非热成像模块来提供对由设备附件中的非热成像模块和设备附件中的热成像模块捕获的图像的视差校正的操作的流程图。
在框400，可利用设备附件中的非热图像传感器捕获第一非热图像，并且可选地，可利用设备附件中的热图像传感器捕获热图像。
在框402，可利用设备摄像机中的非热图像传感器捕获第二非热图像。
在框404，可利用第一和第二非热图像确定到场景对象的距离(例如，通过确定第一和第二非热图像中的对象的视差引起的移位，并利用确定的移位和设备附件中的非热图像传感器和设备中的非热图像传感器的已知的相对位置来三角测量到对象的距离)。可基于每个相应的设备中的非热图像传感器的已知位置和设备附件内设备的已知位置，和/或基于通过利用这两个非热图像传感器捕获已知距离的对象的图像并利用该对象的图像和已知距离来确定非热图像传感器的相对位置而执行的校正操作，来确定已知的相对位置。
在一些实施例中，可以控制非热图像的捕获，以提高确定第一和第二非热图像之间的视差引起的移位的准确度，其反过来将提高确定的距离和视差校正的准确度。例如，如果在用户和/或对象运动时捕获第一和第二非热图像，则由于由运动引起的图像中的对象的移位和/或模糊可能会影响确定视差引起的移位的准确度。例如，如果第一和第二非热图像传感器进行的捕获的定时没有充分同步，就会发生这种运动引起的移位。
因此，在一个实施例中，图5的操作可以涉及检测设备和/或设备附件的运动(例如，通过设置在设备和/或设备附件中的加速度计或者其他类型的运动检测器)和/或检测场景中的目标对象的运动(例如，如本领域技术人员所理解的，通过处理捕获的图像)。在该实施例中，可在检测的运动低于期望的阈值时捕获非热图像和/或对捕获的图像进行同步以获得受运动影响较小的非热图像。
在另一个实施例中，图5的操作可以涉及：在操作光源(例如，用户设备1200的光源103)对场景的全部或者一些闪烁(例如，照明短的时间段)时，分别通过第一和第二非热图像传感器捕获多帧非热图像。可以对第一非热图像传感器捕获的帧进行处理以检测并选择包含被闪烁的场景的图像的帧。类似地，可以检测并选择包含被闪烁的场景的图像的帧(例如，在闪烁事件的开头、中间或者结尾的帧)。通过这种方式，例如，可以使选择的帧与场景被照明的时刻(或者时间段的某个时刻)基本上同步，从而减少了运动引起的以为(如果存在的话)的影响(例如，获得捕获的图像的足够同步)。
在框406，可以利用确定的到对象的距离组合热图像和第一非热图像(例如，通过利用确定的距离执行热图像和第一非热图像之间的视差校正)。
为了改进利用设备附件中的非热摄像机模块和设备中的非热摄像机模块确定的视差校正，可以校准设备附件中的非热摄像机模块和设备中的非热摄像机模块之间的任何失真和对准误差。例如，可以利用设备附件中的非热摄像机模块、设备附件中的热成像模块和设备中的非热摄像机模块捕获对象(例如，热学上及视觉上均匀的背景前方的手)的图像。可以使用处理电路(例如，运行在设备处理器上的智能电话app)以匹配在所有三幅图像中的手的边缘并且将两个非热摄像机模块之间的对准关联到设备附件中的非热摄像机模块和设备附件中的热成像模块之间的工厂校准的对准。
图6是用于校准设备附件中的非热摄像机模块和设备中的非热摄像机模块之间的失真和/或对准的操作的流程图。
在框500，可以利用设备附件中的热图像传感器、设备附件中的非热图像传感器和被附接的设备中的非热图像传感器中的每一个在共同时间捕获对象(例如，手)的图像。
在框502，可以检测每个捕获的图像中的对象的边缘。
在框504，可以基于检测的边缘的图像中的位置，确定设备附件中的非热图像传感器和被附接的设备中的非热图像传感器之间的对准和失真校正。
在框506，可以存储对准和失真校正(例如，存储在设备附件或者设备中)以用于距离测量，所述距离测量用于在利用设备附件中的热图像传感器和非热图像传感器捕获的图像之间进行视差校正。
尽管关于利用用户设备(例如，电话摄像机)中的非热图像传感器和设备附件中的热图像传感器和非热图像传感器描述了上面参考图5和图6示出的各种实施例，但是还可以预期的是，本公开的原理和精神可应用于用户设备和/或设备附件中的图像传感器的任何其他适当的组合。例如，在热图像传感器可以额外地或者替代地设置在用户设备中的情况下，用户设备的非热图像传感器和用于该用户设备的设备附件的非热图像传感器可用于提供用户设备的热图像传感器和用户设备或者设备附件的非热图像传感器之间的视差校正。在另一个例子中，对于可包括两个或更多个非热图像传感器(例如，为了立体成像或者其他目的)的用户设备来说，用户设备的非热图像传感器可用于提供对设备(和/或设备附件(如果存在))的图像传感器的视差校正。
在一些实施例中，热成像模块7000可用于确定基于图像校准的对象的温度(例如，如本领域技术人员所理解的，通过捕获一个或多个校准的热图像并根据热图像中的对象的强度和/或光谱确定对象的温度)。通过确保在要进行基于图像的温度测量时最近已经对热成像模块进行了校准，可以提高这种类型的基于图像的温度测量的准确度。
图7是示出用于确保在要进行基于图像的温度测量时最近已经对热成像模块进行了校准的操作的流程图。
在框600，系统(例如，包括具有热图像传感器的设备附件和被附接的设备的系统)可以利用关闭的快门(例如，通过关闭快门并利用热图像传感器捕获快门的一个或多个图像)来执行热图像传感器(例如，设备附件中的热图像传感器)的校准。
在框602，系统可以监测从热图像传感器的最后校准以来的时间(例如，通过设备附件中的处理器或者被附接的设备中的处理器)。
在框604，系统可以从用户接收基于图像的温度确定的请求。
在框606，系统可以利用监测的时间确定从校准以来的时间是否小于最大可允许时间。例如，该最大可允许时间可以小于从最后校准以来20秒、小于从最后校准以来10秒、小于从最后校准以来1分钟或者小于从最后校准以来30秒。响应于确定从最后校准以来的时间小于最大可允许时间，系统可以行进到框608。
在框608，可以捕获对象的一个或多个热图像和/或红外光谱。
在框610，系统可以根据热图像和/或红外光谱确定对象的温度。
如果在框606确定从最后校准以来的时间大于最大可允许时间，则系统可以行进到框612。
在框612，系统可以指示用户利用关闭的快门执行热成像模块的新的校准，以确保随后的温度测量是准确的。
在一些实施例中，附接到具有热成像模块的设备附件的便携式电子设备中的光源可以与热成像模块和非热成像模块配合使用以增强对场景的成像。例如，设备1200的光源103(参见图1)可用于以由成像模块7000、7002和/或101中的一个或多个感测的光谱照明场景的至少一部分。光源103可以进行闪光或操作在闪光灯模式以在利用成像模块7000和7002进行图像捕获的操作期间照明场景的一些或者全部。光源103可响应于用户输入而打开和/或闪烁，或者可以基于例如利用成像模块7002、设备摄像机101或者其他光传感器确定的光等级而自动地打开和/或闪烁。
图8示出了根据实施例的利用场景的热图像和主动照明来增强场景的成像的各个操作的流程图。
在步骤800，可利用设备附件中的热图像传感器捕获热图像数据并且可利用设备附件中的非热图像传感器捕获非热图像数据。如果需要，可利用被附接的设备中的摄像机捕获额外的非热图像数据。
在步骤802，在利用设备附件捕获热图像数据和非热图像数据时，可以操作被附接的设备的光源。可以在图像捕获操作期间，基于例如用户输入和/或自动地确定的光等级来操作(例如，闪烁或者一直发光)光源。利用光源照明场景可以增强由设备附件中的非热图像传感器捕获的非热图像。
在步骤804，可以将来自设备附件的捕获的热图像数据和捕获的非热图像数据进行组合，以形成增强的输出图像，该增强的输出图像包括热图像数据和主动地照明的非热图像数据中的一些或者全部。在一些实施例中，可以利用高对比度处理对热图像和非热图像进行处理以生成组合图像。
关于高对比度处理，可以从热和非热图像中的一个或多个获得高空间频率内容(例如，通过执行高通滤波、差分成像和/或其他技术)。组合图像可以包括热图像的辐射测量分量和混合分量，该混合分量包括根据混合参数混合有高空间频率内容的场景的红外(例如，热)特征，在一些实施例中，可由用户和/或机器调整所述混合参数。在一些实施例中，可以通过将高空间频率内容叠加到热图像上，来使来自非热图像的高空间频率内容与热图像相混合，其中，高空间频率内容替代或者覆盖与存在高空间频率内容的部分相对应的红外图像的那些部分。例如，高空间频率内容可以包括在场景的图像中描绘的对象的边缘，但是可以不存在于这样的对象的内部。在这种实施例中，混合的图像数据可以简单地包括高空间频率内容，该高空间频率内容随后可被编码为混合的图像的一个或多个分量。
例如，热图像的辐射测量分量可以是热图像的色度分量，并且高空间频率内容可以从非热图像的亮度和/或色度分量中导出。在该实施例中，组合图像可以包括被编码为组合图像的色度分量的辐射测量分量(例如，热图像的色度分量)和被直接编码(例如，作为混合的图像数据，但没有热图像贡献)为组合图像的亮度分量的高空间频率内容。通过这样做，可以保留对热图像的辐射测量分量的辐射测量校准。在类似的实施例中，混合的图像数据可以包括添加到热图像的亮度分量的高空间频率内容和编码为作为结果的组合图像的亮度分量的作为结果的混合的数据。非热图像可以来自任何类型的非热成像仪，包括，例如可见光成像仪、低光可见光成像仪、CCD成像设备、EMCCD成像设备、CMOS成像设备、sCMOS成像设备、近红外成像设备、短波红外成像设备、或其他类型的非热成像仪(例如，包括本领域技术人员可以理解的被动或主动照明)。
例如，在下述申请中公开的任何技术都可用于各种实施例：2009年6月3日提交的美国专利申请No.12/477,828；2010年4月23日提交的美国专利申请No.12/766,739；2011年5月11日提交的美国专利申请No.13/105,765；2012年4月2日提交的美国专利申请No.13/437,645；2011年4月8日提交的美国临时专利申请No.61/473,207；2012年12月26日提交的美国临时专利申请No.61/746,069；2012年12月26日提交的美国临时专利申请No.61/746,074；2012年12月31日提交的美国临时专利申请No.61/748,018；2013年3月15日提交的美国临时专利申请No.61/792,582；2013年3月15日提交的美国临时专利申请No.61/793,952；以及2011年4月21日提交的国际专利申请No.PCT/EP2011/056432，通过引用的方式将所有这些申请作为整体并入到本文中。本文描述的或者本文引用的其他申请或专利描述的任何一种技术可应用于本文描述的各种热设备、非热设备和使用中的任意一种。
在一些实施例中，设备附件1250或设备1200中的任何一个可被配置为：接收指示要由第一成像模块(例如，红外成像模块7000)成像的感兴趣的部分的用户输入、控制光源103以由第二成像模块(例如，可见光谱成像模块7002和/或101)感测的光谱照明至少所述感兴趣的部分、从第二成像模块接收捕获的照明的感兴趣的部分的图像以及生成包括从照明的捕获的图像中导出的场景的照明的特征的组合图像。在一些实施例中，热图像可用于检测图像(例如，断路器盒的图像)中的“热”点。光源103可用于照明断路器的标签以提供更好的图像和潜在地精确指定热点的原因。
图9示出了根据本公开实施例基于用户输入增强场景的成像的各种操作的流程图。例如，过程5800的一个或多个部分可由设备附件1250、设备1200和/或成像模块7000和/或7002中的每一个以及利用其中描述和/或列举的任何一个部件来执行。应当理解，可以以不同于图9示出的实施例的顺序或安排来执行过程5800的任何步骤、子步骤、子过程或者框。
在一些实施例中，过程5800的任何部分可以实现为循环，以对一系列红外和/或可见光谱图像(例如，场景的视频)进行连续操作。在其他实施例中，过程5800可以实现为部分反馈回路，例如包括向用户显示中间处理(例如，在接收红外和/或可见光谱图像、彼此配准图像、生成照明的和/或组合图像或执行过程5800的其他处理时或者之后)和/或包括接收用户输入，例如涉及任何中间处理步骤的用户输入。另外，在一些实施例中，过程5800可以包括一个或多个步骤、子步骤、子过程或本文描述的任何其他过程的框。
在框5810，设备附件1250生成场景的可见光谱图像。例如，成像模块7002可被配置为生成场景的一个或多个可见光谱图像。在一些实施例中，框5810可以包括参考图5-8的过程讨论的一个或多个操作。如果需要，设备摄像机(例如，摄像机101)也可以捕获可见光谱图像。
在框5812，可选地在与框5810相同的时间，设备附件1250生成场景的红外图像。例如，成像模块7000可被配置为生成场景的一个或多个红外图像。在一些实施例中，框5812可以包括参考图5-8的过程讨论的一个或多个操作。
在框5820，设备附件1250产生对应于生成的图像的数据的输出信号。例如，成像模块7000或7002和/或处理器中的任意一个可适于产生对应于在框5810和5812中生成的图像的数据的输出信号。在一些实施例中，输出信号可以遵循特定的接口标准，举例来说，例如
在框5830，设备附件1250和/或设备1200根据共同数据格式存储数据。例如，可以根据共同数据格式将数据存储到期望的数据文件中。
在框5840，设备附件1250和/或设备1200将图像彼此配准。例如，设备附件1250和/或设备1200可适于通过对图像中的一个或多个执行内插、缩放、裁剪、旋转变换、变形和/或滤波操作中的一个或多个以基本匹配图像内的空间内容来将生成的图像中任何一个与生成的图像彼此配准。在一些实施例中，设备附件1250和/或设备1200可适于利用结合图4-6描述的一个或多个过程将图像彼此配准。
在框5850，设备附件1250和/或设备1200接收指示场景的感兴趣的部分的用户输入。例如，设备附件1250和/或设备1200可适于接收由一个或多个其他部件、触摸屏显示器和/或指示已成像的场景的感兴趣的部分的其他设备提供的用户输入。用户输入可用于指定对应于感兴趣的部分的像素或者像素群组。在一些实施例中，用户输入可以与在框5840中执行的配准操作的选择相组合，以确定在各种捕获的图像中的相应像素。
在框5852，光源(例如，设备1200的光源103)照明感兴趣的部分。例如，设备附件1250和/或设备1200中的任何一个可适于控制光源103来照明特定场景中的全部或者指定的感兴趣的部分。在一些实施例中，可通过控制与照明模块耦接或以其他方式关联的MEMS透镜和/或其他系统来选择场景的特定的光谱和/或部分。
在框5854，设备附件1250和/或设备1200生成感兴趣的部分的照明的图像。例如，对在框5852中照明的光谱敏感的成像模块7000、7002或101中的任意一个可适于生成在光源103正在照明在框5850中指定的至少感兴趣的部分时捕获的照明的图像。
在框5860，设备附件1250和/或设备1200根据可见光谱图像、红外图像和/或照明的图像生成场景的组合图像。在一个实施例中，组合图像可以包括具有对应于可见光谱数据的每个像素的红外图像数据的嵌入数据的可见光谱图像。当显示这种组合图像时，用户可以借助用户接口选择像素或者像素群组以及对应于可以在可见光谱图像旁边显示的红外图像数据的文本，举例来说，例如文本框或者图例。在一些实施例中，成像模块7000、7002和/或101中的任意一个可适于利用本文描述的一个或多个过程(包括结合图5-8描述的过程)来生成组合图像。
在框5870，设备1200显示一个或多个生成的图像。例如，设备1200可适于使用的显示器(例如，图2的显示器201)显示在过程5800中生成的一个或多个图像。在一些实施例中，框5870可以包括参考图4-6的过程讨论的一个或多个操作。上文描述的实施例示意而非限制本发明。应当理解，根据本发明的原理，可以做出许多修改和变型。因此，本发明的范围仅由随附的权利要求书限定。
尽管针对设备附件描述了本文示出的各个实施例，但是应当理解，本发明的一个或多个实施例还可以适用于仅设备或者设备与设备附件的结合。例如，热图像传感器可以直接实现到设备(例如，设备1200)中，并且还可选地，附加的非热图像传感器可以实现在设备内。因此，可基于在设备内实现的传感器应用本文教导的原理。
虽然已经结合有限数量的实施例详细描述了本发明，但是应当容易的理解，本发明并不限于这些公开的实施例。相反，可以对本发明进行修改以并入此前未描述但与本发明的精神和范围相称的任何数量的变化、变更、替代或者等效布置。另外，虽然已经描述了本发明的各种实施例，但是应当理解，本发明的方面可以仅包括描述的某些实施例。因此，本发明不应视为受前述描述的限制，而是仅受所附的权利要求书的限制。

Claims (23)

1.一种利用红外成像设备进行多光谱成像的方法，包括：
利用便携式电子设备中的摄像机捕获第一非热图像；
利用设备附件中的非热成像模块捕获第二非热图像，该设备附件附接到所述便携式电子设备；
利用所述第一非热图像和第二非热图像确定到对象的距离；
利用所述设备附件中的热成像模块捕获第一热图像；
基于确定的距离，确定所述设备附件中的所述热成像模块与所述非热成像模块的视差校正；
对所述第一热图像或所述第一非热图像中的至少一个执行所述视差校正；以及
在执行所述视差校正之后将所述第一热图像和所述第二非热图像进行组合以形成增强的输出图像。
2.根据权利要求1所述的方法，进一步包括将所述设备附件中电池的电力提供给所述便携式电子设备。
3.根据权利要求1所述的方法，进一步包括：
操作所述便携式电子设备的光源；以及
基于对所述光源的操作使所述第一非热图像和第二非热图像的捕获同步。
4.根据权利要求1所述的方法，进一步包括：
监视所述便携式电子设备和所述设备附件的移动；以及
当所述移动低于期望阈值时捕获所述第一非热图像和第二非热图像。
5.根据权利要求1所述的方法，进一步包括：
利用所述摄像机、所述非热成像模块和所述热成像模块捕获附加对象的附加图像；
检测所述附加图像的每个中的附加对象的边缘；以及
确定所述摄像机和所述非热成像模块之间的对准和失真校正以在执行视差校正时使用。
6.根据权利要求1所述的方法，进一步包括：
对附接到所述便携式电子设备的所述设备附件中的所述热成像模块执行校准操作；
从用户接收基于图像的温度确定请求；
确定从执行所述校准操作以来的时间是否小于最大允许时间；以及
如果确定从执行所述校准操作以来的时间小于最大允许时间，则利用所述热成像模块捕获第二热图像。
7.根据权利要求6所述的方法，其中，执行所述校准操作包括利用所述热成像模块捕获所述设备附件的关闭的快门的一个或多个图像。
8.根据权利要求7所述的方法，进一步包括：
如果确定从执行所述校准操作以来的时间大于最大允许时间，则向用户提供关闭所述快门来对所述热成像模块执行新的校准的指示。
9.根据权利要求1所述的方法，其中，所述热成像模块包括多个微测辐射热计。
10.根据权利要求1所述的方法，其中，所述距离进一步基于所述设备附件中的所述非热成像模块和所述便携式电子设备中的摄像机的相对位置。
11.一种利用红外成像设备进行多光谱成像的系统，包括：
设备附件，其包括：
壳体；
所述壳体内的红外传感器组件，所述红外传感器组件配置为捕获红外图像数据；以及
所述壳体内的非热摄像机模块，所述非热摄像机模块配置为捕获
非热图像数据；以及
通信地耦接到所述红外传感器组件和所述非热摄像机模块的处理模块，
其中，所述设备附件的所述壳体被配置成可释放地附接到用户设备，所述用户设备包括：
非热摄像机模块；以及
光源，其中所述处理模块配置为与所述红外传感器组件、所述设备附件中的非热摄像机模块以及所述用户设备中的非热摄像机模块或者所述光源中的至少一个配合以捕获并处理图像；以及
其中，所述处理模块被配置为基于来自所述设备附件的非热摄像机模块的第一非热图像和来自所述用户设备的非热摄像机模块的第二非热图像，确定用于所述红外传感器组件和所述设备附件的所述非热摄像机模块的视差校正。
12.根据权利要求11所述的系统，其中所述处理模块配置为在捕获所述红外图像数据和非热图像数据时操作所述光源，以与所述红外传感器组件、所述设备附件中的非热摄像机模块和所述光源配合以捕获并处理图像。
13.根据权利要求12所述的系统，其中所述处理模块配置为将在操作所述光源时捕获的所述红外图像数据和所述非热图像数据进行组合以形成增强的输出图像。
14.根据权利要求11所述的系统，其中所述处理模块配置为：
接收所述红外图像数据、所述第一非热图像和所述第二非热图像；以及
基于所述视差校正将所述红外图像数据和所述第一非热图像进行组合。
15.根据权利要求11所述的系统，其中所述红外传感器组件包括多个微测辐射热计。
16.根据权利要求11所述的系统，其中，所述处理模块配置为：
利用所述第一非热图像和所述第二非热图像来确定到对象的距离；以及
基于确定的距离来确定对所述红外传感器组件和所述设备附件的所述非热摄像机模块的视差校正。
17.根据权利要求16所述的系统，其中，所述处理模块配置为基于所述对象在所述第一非热图像和第二非热图像中的视差引起的移位并基于所述设备附件的所述非热摄像机模块和所述用户设备的所述非热摄像机模块之间的已知距离来确定所述距离。
18.根据权利要求16所述的系统，其中，所述距离进一步基于所述设备附件的所述非热摄像机模块和所述用户设备的所述非热摄像机模块的相对位置。
19.根据权利要求11所述的系统，其中，所述处理模块包括所述设备附件的处理模块。
20.根据权利要求11所述的系统，进一步包括附接到所述设备附件的所述用户设备。
21.根据权利要求11所述的系统，其中，所述处理模块包括所述用户设备的处理模块。
22.根据权利要求11所述的系统，其中，所述用户设备包括移动电话。
23.根据权利要求11所述的系统，其中，所述处理模块配置为利用确定的视差校正将来自所述红外传感器组件的热图像与所述第一非热图像进行组合。
CN201480076762.8A 2013-12-31 2014-12-31 具有双波段成像传感器的设备附件 Active CN106068446B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
USPCT/US2013/078551 2013-12-31
PCT/US2013/078551 WO2014106276A2 (en) 2012-12-31 2013-12-31 Infrared imaging device having a shutter
US201461923732P 2014-01-05 2014-01-05
US61/923,732 2014-01-05
US14/246,006 US9674458B2 (en) 2009-06-03 2014-04-04 Smart surveillance camera systems and methods
US14/246,006 2014-04-04
US14/281,883 2014-05-19
US14/281,883 US9900478B2 (en) 2003-09-04 2014-05-19 Device attachment with infrared imaging sensor
US14/299,987 US9083897B2 (en) 2009-06-03 2014-06-09 Infrared camera systems and methods for dual sensor applications
US14/299,987 2014-06-09
USPCT/US2014/059200 2014-10-03
PCT/US2014/059200 WO2015051344A1 (en) 2013-10-03 2014-10-03 Durable compact multisensor observation devices
PCT/US2014/073096 WO2015103446A2 (en) 2013-12-31 2014-12-31 Device attachment with dual band imaging sensor

Publications (2)

Publication Number Publication Date
CN106068446A CN106068446A (zh) 2016-11-02
CN106068446B true CN106068446B (zh) 2019-10-25

Family

ID=53494229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480076762.8A Active CN106068446B (zh) 2013-12-31 2014-12-31 具有双波段成像传感器的设备附件

Country Status (3)

Country Link
KR (1) KR102418369B1 (zh)
CN (1) CN106068446B (zh)
WO (1) WO2015103446A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106031630A (zh) * 2015-03-12 2016-10-19 沈渊瑶 用于体温检测的手持行动通讯装置及其体温检测方法
KR102525937B1 (ko) 2018-03-20 2023-04-28 삼성전자주식회사 복수의 광원을 포함하는 전자 장치
CN111193821B (zh) * 2020-03-03 2021-04-13 覃立 具有红外成像测温功能的手机及其测温方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633231B1 (en) * 1999-06-07 2003-10-14 Horiba, Ltd. Communication device and auxiliary device for communication
WO2014159758A1 (en) * 2013-03-14 2014-10-02 Drs Rsta, Inc. System architecture for thermal imaging and thermography cameras

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014105241A1 (en) * 2012-12-26 2014-07-03 Flir Systems, Inc. Device attachment with infrared imaging sensor
JP2005338359A (ja) * 2004-05-26 2005-12-08 Constec Engi Co 撮像装置
US7820967B2 (en) * 2007-09-11 2010-10-26 Electrophysics Corp. Infrared camera for locating a target using at least one shaped light source
JP2010117587A (ja) * 2008-11-13 2010-05-27 Ftc:Kk 工事用カメラシステム及びカメラ付き携帯電話機用ストロボ装置
US9843743B2 (en) * 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9235023B2 (en) * 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
JP2013235532A (ja) * 2012-05-11 2013-11-21 Azone Co Ltd 端末用アダプタ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633231B1 (en) * 1999-06-07 2003-10-14 Horiba, Ltd. Communication device and auxiliary device for communication
WO2014159758A1 (en) * 2013-03-14 2014-10-02 Drs Rsta, Inc. System architecture for thermal imaging and thermography cameras

Also Published As

Publication number Publication date
KR20160105513A (ko) 2016-09-06
CN106068446A (zh) 2016-11-02
WO2015103446A3 (en) 2015-08-27
KR102418369B1 (ko) 2022-07-08
WO2015103446A2 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
US11297264B2 (en) Device attachment with dual band imaging sensor
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
CN205449295U (zh) 装置附件
US20210014429A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US10321031B2 (en) Device attachment with infrared imaging sensor
KR101499081B1 (ko) 열화상 카메라 모듈 및 스마트폰
US9986175B2 (en) Device attachment with infrared imaging sensor
Vidas et al. A mask-based approach for the geometric calibration of thermal-infrared cameras
CN109639988A (zh) 电子装置以及自动曝光收敛方法
EP2608531A2 (en) Thermal imaging camera for infrared rephotography
US20130258112A1 (en) Visible light and ir hybrid digital camera
CN106068446B (zh) 具有双波段成像传感器的设备附件
US10268108B2 (en) Function enhancement device, attaching/detaching structure for function enhancement device, and function enhancement system
EP2741491A2 (en) Camera and method for thermal image noise reduction using post processing techniques
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
US20160316119A1 (en) Techniques for device attachment with dual band imaging sensor
CN113418606A (zh) 分光计模块
CN109040746A (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
JP2017059927A (ja) ユーザ端末、色彩補正システム及び色彩補正方法
KR20190104796A (ko) 복수의 파장대역을 감지할 수 있는 카메라를 이용하여 복수의 정보를 생성하는 방법 및 이를 구현한 전자 장치
US11893771B2 (en) Image acquisition apparatus, image acquisition method, and electronic device including the same
US20210303824A1 (en) Face detection in spherical images using overcapture
CN204996085U (zh) 确定高尔夫球场上距离的设备、系统及旗杆
KR20140074808A (ko) 촬상 장치
WO2015103448A2 (en) Techniques for device attachment with dual band imaging sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant