CN111801569B - 使用多波段传感器阵列系统和方法动态确定辐射值 - Google Patents

使用多波段传感器阵列系统和方法动态确定辐射值 Download PDF

Info

Publication number
CN111801569B
CN111801569B CN201880090584.2A CN201880090584A CN111801569B CN 111801569 B CN111801569 B CN 111801569B CN 201880090584 A CN201880090584 A CN 201880090584A CN 111801569 B CN111801569 B CN 111801569B
Authority
CN
China
Prior art keywords
image
scene
radiation
gas
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090584.2A
Other languages
English (en)
Other versions
CN111801569A (zh
Inventor
H·维克伦德
J·桑德斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Philwalker Mojie Saab Ii Co ltd
Flir Systems AB
Original Assignee
Taili Danfilier Co ltd
Flir Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taili Danfilier Co ltd, Flir Systems AB filed Critical Taili Danfilier Co ltd
Publication of CN111801569A publication Critical patent/CN111801569A/zh
Application granted granted Critical
Publication of CN111801569B publication Critical patent/CN111801569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0014—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation from gases, flames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G01N21/3518—Devices using gas filter correlation techniques; Devices using gas pressure modulation techniques
    • G01N2021/3522—Devices using gas filter correlation techniques; Devices using gas pressure modulation techniques balancing by two filters on two detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G01N2021/3531—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis without instrumental source, i.e. radiometric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

提供了一种用于定量检测到的气体的改进技术。在一个示例中，一种方法包括在传感器阵列处从场景接收红外辐射，该传感器阵列包括分别与红外辐射的第一波长范围和第二波长范围相关联的第一组红外传感器和第二组红外传感器。该方法还包括分别由该第一组红外传感器和第二组红外传感器捕获第一图像和第二图像。该方法还包括检测第一图像中的背景对象。该方法还包括跟踪该背景对象以识别第二图像中的背景对象。该方法还包括利用第一辐射值和第二辐射值更新辐射场景图，该第一辐射值和第二辐射值与该第一图像和第二图像相关联，并且与该场景中的背景对象的位置相关。该方法还包括使用该辐射场景图执行气体定量。还提供了其他系统和方法。

Description

使用多波段传感器阵列系统和方法动态确定辐射值
相关申请的交叉引用
本申请要求享有2018年1月3日提交的题为“DYNAMIC DETERMINATION OFRADIOMETRIC VALUES USING MULTIPLE BAND SENSOR ARRAY SYSTEMS AND METHODS”的美国临时专利申请NO.62/613,247的优先权和权益，通过引用的方式将其整体并入本文中。
技术领域
本发明总体上涉及红外成像，更具体地，涉及使用热图像进行气体检测和定量。
背景技术
在光学气体成像(OGI)领域中，采用了各种技术来检测气体的存在，例如，特定的气体可能会以特定的方式发射和/或吸收特定波长的红外(例如热)辐射。可以捕获场景的图像并对其进行分析以确定是否存在某些波长的辐射。通过将这些波长与已知气体相关的波长进行比较，可以确定特定的关注的气体的存在。
然而，即使检测到气体的存在，许多现有的OGI系统也无法将场景中存在的气体量定量到所需的准确度。因此，常规的气体定量技术可能是有问题的。
例如，气体定量计算可能会因某些时变因素(例如，涉及与背景对象相关和/或穿过大气的红外辐射的散射、发射率和反射率)而变得复杂。当试图通过使用被动气体可视化来测量现实生活中的微小气体浓度长度和质量流量时，这些因素可能会成为问题。
尽管可以通过缩短红外成像器到成像场景的距离来减少某些大气因素，但是即使距离很短，与场景中的背景对象相关的反射率变化仍然会带来问题。特别地，基于背景对象的表面特性，这种反射率可以作为波长的函数而显著变化。
例如，背景对象可以包括各种类型的材料，例如混凝土、草、木材、钢、油漆和许多其他材料。这些材料可能表现出不同的辐射特性。例如，这些材料在不同的红外波长范围内可能具有不同的反射特性。
场景中存在的气体在不同的红外波长范围内(例如，可能与背景材料相关的波长重叠或不重叠)也可能具有不同的辐射特性。因此，如果没有也向常规的OGI系统提供关于在不同的红外波长范围的与场景的背景部分相关联的辐射值的足够信息，则常规的OGI系统可能难以成功地对检测到的场景中的气体的量进行定量。特别的，许多常规的OGI系统通常限于在单个波段中进行检测，因此不能支持足够准确的气体定量确定。
发明内容
提供了一种用于定量检测到的气体的改进技术。在各个实施例中，可以使用两种或更多种类型的红外传感器来检测场景的背景部分的不同的红外(例如，热)波长范围。通过利用与不同波长范围(例如，波段)相关的红外传感器跟踪背景对象的运动并用对它们进行成像，可以确定场景的背景部分的与不同波长范围相对应的多个辐射值的辐射场景图。辐射场景图可用于更好地区分检测到的气体和场景的背景部分，从而提高系统定量气体的能力，其准确性高于常规的单波段技术。
在一个实施例中，提供了一种方法，包括：在传感器阵列处从场景接收红外辐射，所述传感器阵列包括分别与红外辐射的第一波长范围和第二波长范围相关联的第一组红外传感器和第二组红外传感器；分别通过所述第一组红外传感器和所述第二组红外传感器捕获第一图像和第二图像；检测所述第一图像中的背景对象；跟踪所述背景对象以识别所述第二图像中的所述背景对象；利用第一辐射值和第二辐射值更新辐射场景图，所述第一辐射值和所述第二辐射值与所述第一图像和所述第二图像相关联并且与所述场景中的所述背景对象的位置相关；以及使用所述辐射场景图执行气体定量。
在另一个实施例中，提供了一种系统，该系统包括传感器阵列，其被配置为从场景接收红外辐射，所述传感器阵列包括：第一组红外传感器，其被配置为捕获与所述红外辐射的第一波长范围相关联的第一图像，以及第二组红外传感器，其被配置为捕获与所述红外辐射的第二波长范围相关联的第二图像；以及处理器，其配置为：检测所述第一图像中的背景对象；跟踪所述背景对象以识别所述第二图像中的所述背景对象；利用第一辐射值和第二辐射值更新辐射场景图，所述第一辐射值和所述第二辐射值与所述第一图像和所述第二图像相关联并且与所述场景中的所述背景对象的位置相关；以及使用所述辐射场景图执行气体定量。
本发明的范围由权利要求限定，通过引用的方式将权利要求并入到本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更全面地理解本发明的实施例以及实现本发明的附加优点。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的实施例的成像系统的框图。
图2示出了根据本公开实施例的图像捕获部件的框图。
图3示出了根据本公开实施例的与成像场景的各个位置有关的传感器阵列。
图4示出了根据本公开实施例的红外传感器和一个或多个相关联的滤光片的侧视图。
图5示出了根据本公开实施例的场景相对于传感器阵列的几个位置，以准备辐射场景图。
图6示出了根据本公开实施例的构建辐射场景图的过程。
图7示出了根据本公开实施例的确定场景位置的辐射值的过程。
图8示出了根据本公开实施例的执行气体检测和定量的过程。
通过参考下面的详细描述，将最好地理解本发明的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元件。
具体实施方式
根据本文提供的各种实施例，可以使用红外传感器阵列确定场景的背景部分的辐射值，该红外传感器阵列提供与两个或更多个红外波段(例如，“双带”或“双色”红外传感器)相关的像素值。就这方面而言，传感器阵列可以包括响应于不同的红外波段的两组或更多组红外传感器。例如，在一些实施例中，一组红外传感器可以响应于气体透明波段(例如，与关注的气体的吸收不相关的无气体波段)，而另一组红外传感器可以响应于气体吸收波段(例如，气体波段)。
在一些实施例中，可以对不同组的红外传感器捕获的红外图像执行运动检测过程(例如，包括对象检测、位置跟踪、图像稳定和/或其他技术)，以确定场景中给定位置的相同的对象是否由不同类型的红外传感器捕获。例如，可以检测对象是否由一种类型的红外传感器被捕获在红外图像中，并且可以进一步检测对象是否由与后续图像中的不同波长范围相对应的不同类型的红外传感器捕获。在一些实施例中，由于例如用户移动传感器阵列(例如，在使用手持式热像仪时，用户手的振动或抖动)、传感器阵列和/或与其相关联的光学元件的有意运动和/或其他运动而施加到传感器阵列的物理力，可能导致对象在传感器阵列的视场上的运动。
由于捕获场景的所有背景位置的红外图像(例如，通过平移或传感器阵列的其他类型的运动)，可以逐渐获取两种类型的红外传感器捕获的辐射值并将其添加到辐射场景图(例如，也称为平衡图)。随着时间的流逝，可以对场景的整个背景的完整辐射场景图进行编译，该完整辐射场景图具有与场景中的每个背景位置相关联的两个或更多个辐射值。
在各种实施例中，辐射场景图可用于为场景内的检测到的气体提供改进的气体定量确定。特别地，多个辐射值可用于提供改进的气体浓度×长度的测量值以支持定量气体流量估计计算。通过确定与场景的背景部分的不同波长范围相关联的辐射值，成像系统也许能够更准确地区分背景部分和介于背景部分与红外检测器之间的气体，从而减少与不同背景发射率相关的问题，从而改善了气体定量计算。
在某些情况下，场景中可能存在气体羽流，其位于红外传感器阵列和场景的背景部分之间。因此，在一些实施例中，可以对捕获的图像执行对象检测过程，以确定哪些像素与气体羽流相关联，以及哪些像素不与气体羽流相关联。就这方面而言，如果检测到气体羽流，就可以忽略捕获的那些像素的辐射值，以便确定辐射场景图的背景辐射值。
在各种实施例中，可以捕获响应于不同波长(例如，对应于不同波段的不同波长范围)的不同图像。另外，例如，通过在红外传感器中设置各种结构的不同物理配置和/或通过对不同组的红外传感器提供的信号执行附加处理，可以使该信号相对于彼此平衡(例如，标准化)。
在一些实施例中，不同组的红外传感器可以彼此交错并且分布在整个传感器阵列中。因此，相邻的红外传感器可以捕获在空间上和在时间上彼此对准的不同图像。例如，红外传感器可以响应于不同的光谱带以捕获图像中的不同特征(例如，一个图像中的关注的气体和另一个图像中的场景的背景部分)。这样的图像可以有利地用于以更高的准确性和高置信度来检测气体的存在。
因此，传感器阵列可以有效地同时捕获场景的至少两个不同图像。例如，第一图像可以对应于红外辐射的第一波长范围，而第二图像可以对应于红外辐射的第二波长范围。
在一些实施例中，可以随着时间的推移捕获连续的图像，其中，在这种捕获之间发生传感器阵列的各种运动。例如，不同组的红外传感器可以在第一时间同时捕获图像，然后进行运动，在此之后，不同组的红外传感器可以在第二时间同时捕获另外的图像。可以在各个图像上检测和跟踪背景对象，以确定与和成像场景中的特定位置相关联的对象的不同波长范围相对应的多个辐射值。
通过实施与至少两个不同光谱带(例如，波长范围)相关联的至少两种类型的红外传感器，捕获的图像可以用于检测和定量关注的气体。例如，一组红外传感器可以响应于与气体相关的波长，而提供像素对应于传感器阵列在气体波长的响应的一个图像(例如，由相应的“气体像素”组成的“气体图像”)。另一组红外传感器可以响应于与场景的背景辐射相关的波长，而提供像素对应于传感器阵列在背景波长的响应的另一个图像(例如，由相应的“无气体像素”组成的“无气体图像”)。在一些示例中，图像的波长可以重叠(例如，两个图像可以都响应于背景波长，而仅一个图像进一步响应于气体波长)。红外传感器组的不同响应特性可以用于提供根据红外传感器的响应特性被有效滤波的图像。
在各种实施例中，可以选择特定的波长范围，以使得所有传感器(例如，接收气体或无气体过滤的红外辐射)表现出与所捕获图像的像素值的期望范围相对应的响应(例如，提供信号)。因此，可以对捕获的图像进行更有效地处理、校准和相互比较。
在某些情况下，气体图像可能会表现出低的噪声当量浓度长度(NECL)和高的气体对比度。另外，无气体图像可能仅表现出与关注的气体相关的吸收或发射的最小贡献。因此，所得到的气体图像和无气体图像可以表现出高图像质量，并且可以用于精确的定量和气体可视化。因此，在一些实施例中，可以优化各种波长范围以实现低NECL和高气体对比度。而且，在一些实施例中，可以选择各种波长范围和滤光片相关部件的位置，以使反射率最小(例如，以避免由于反射率引起的快速变化的响应，这可能导致红外传感器表现出随时间变化的不一致的信号)。
这样的布置与仅对一部分传感器阵列进行滤光的常规的单滤光片方法相反。在这种单滤光片方法中，仅对传感器的子集进行滤光以生成用于识别背景辐射的图像，而其余未滤光的传感器用于生成用于识别关注的气体的图像。因此，未滤光的传感器接收整个宽范围波长的红外辐射，而经过滤光的传感器仅接收红外辐射的过滤后的部分。这会导致在阵列的已滤光和未滤光的传感器的响应中产生明显差异。在这种情况下，必须对未滤光和已滤光的传感器进行各种校准。因此，可能无法同时完全捕获来自过滤和未过滤图像的图像。
此外，在常规的单滤光片方法中，由滤光和未滤光的传感器接收的红外辐射的波长通常存在明显的重叠。例如，背景辐射滤光片仍可以使与关注的气体相关联的波长的至少一个子集通过。因此，成像场景中存在的气体可能会使已滤光的传感器和未滤光的传感器都做出响应。使用过滤后的图像和未过滤的图像，这可能会使气体可视化和定量过程明显复杂并降低准确性。例如，未过滤的图像可能对应于较宽的波长范围，从而导致气体对比度较低。另外，过滤后的图像由于其窄带而可能表现出高的噪声等效温差(NETD)值，从而使定量的准确性降低。
相反，如本文所讨论的，使用响应对应于不同波段并且位置相邻的至少两组红外传感器，使得可以可靠地捕获并有效地处理两个不同过滤的图像。例如，因为不同的红外传感器分布在整个传感器阵列中，所以对不同的红外传感器捕获的不同图像进行物理对准(例如，以去除图像之间的视差)和时间对准(例如，同时捕获)。
同样的，在对阵列的所有传感器都进行预滤光(例如，通过全阵列滤光片进行预滤光)的情况下，去除了多余的带外红外辐射，因此，得到的像素仅对应于关注的特定波长。因此，在一些实施例中，可以用相同的积分周期(例如，积分时间)来校准传感器，并且传感器表现出可接受的低NETD值。在其他实施例中，不同的积分时间可以用于不同类型的红外传感器，以进一步平衡由此提供给捕获的图像的信号。
尽管本文中讨论了具有与两个对应的波长范围相关联的两种类型的红外传感器的传感器阵列，但是应当理解，可以使用其他类型的红外传感器。例如，在一些实施例中，在适当的情况下，可以使用三个或更多个图像，每个图像对应于三个或更多个波长范围之一。类似地，在一些实施例中，附加辐射值可以与辐射场景图相关联。
现在转向附图，图1示出了根据本公开实施例的成像系统100的框图。成像系统100可以用于根据本文描述的技术捕获和处理图像。在一些实施例中，可以在相机部件101(例如，成像相机)中设置成像系统100的各个部件。在其他实施例中，成像系统100的一个或多个部件可以以分布式方式(例如，联网或其他方式)彼此远离地实现。
在一些实施例中，成像系统100可以用于检测和/或定量场景170内的一种或多种关注的气体。例如，成像系统100可以配置为响应从场景170接收到的红外辐射171而使用相机部件101(例如，热成像相机)捕获场景170的一个或多个图像。红外辐射171可以对应于场景170内的气体172发射和/或吸收的波长，以及包括一个或多个背景对象175的场景170的背景部分173发射和/或吸收的其他波长。
捕获的图像可以由处理部件110接收并存储在存储器部件120中。处理部件110可以被配置为根据本文讨论的气体检测和定量技术处理捕获的图像。
在一些实施例中，成像系统100包括处理部件110、机器可读介质113、存储器部件120、图像捕获部件130(例如，由下文进一步讨论的包括至少两组交替的传感器的红外传感器230的传感器阵列228实现)、一个或多个滤光片133、光学部件132(例如，被配置为通过相机部件101中的孔径134接收红外辐射171的一个或多个镜头)、图像捕获接口部件136、显示部件140、控制部件150、通信部件152和其他感测部件160。
在一些实施例中，成像系统100可以被实现为成像相机(例如，相机部件101)，以捕获例如场景170(例如，视场)的图像。在一些实施例中，相机部件101可以包括容纳在保护罩(例如，壳体)中的图像捕获部件130、光学部件132和图像捕获接口部件136。在各种实施例中，可以将系统100的任何期望的组合的部件适当地设置在可由用户保持和/或安装在固定位置的壳体或其他类型的保护罩中。成像系统100可以表示例如检测电磁辐射(例如，红外辐射171)并提供表示性数据(例如，一个或多个静止图像或视频图像)的任何类型的相机系统。例如，成像系统100可以表示用于检测红外辐射和/或可见光并提供相关的图像数据的相机部件101。
在一些实施例中，成像系统100可以包括便携式设备，并且可以实现为例如耦接到各种类型的车辆(例如，汽车、卡车或其他陆上车辆)。可以通过一种或多种类型的结构支架在各种类型的固定场景(例如，汽车道路、火车铁路或其他场景)中用相机部件101来实现成像系统100。在一些实施例中，相机部件101可以以固定排列的方式安装，以捕获场景170的重复图像。
在一些实施例中，处理部件110可以包括任何期望类型的逻辑电路，举例来说，例如微处理器、单核处理器、多核处理器、微控制器、可编程逻辑设备、数字信号处理(DSP)设备、用于存储可执行指令(例如软件、固件或其他指令)的一个或多个存储器、和/或处理设备和/或存储器的任何其他适当组合，以执行指令，从而执行任何本文所述的各种操作。处理部件110被配置为与图1所示的各种部件接口连接并通信，以执行如本文所述的方法和处理步骤。在各种实施例中，应当理解，可以将处理操作和/或指令并入到作为处理部件110的一部分的软件和/或硬件中，或者可以并入到存储在存储器部件120中的代码(例如，软件或配置数据)。可以由机器可读介质113以非暂时性方式(例如，存储器、硬盘驱动器、光盘、数字视频盘或闪存)存储本文公开的处理操作和/或指令的实施例，以由计算机(例如，基于逻辑或基于处理器的系统)执行，以执行本文公开的各种方法。
在各种实施例中，可以包括机器可读介质113作为成像系统100的一部分和/或与成像系统100分离，其中，通过将机器可读介质113耦接到成像系统100和/或通过成像系统100从机器可读介质(例如，包含暂时性信息)下载指令，将存储的指令提供给成像系统100。在各种实施例中，如本文所述，指令提供用于对场景170的各个图像进行处理的实时应用。
在一些实施例中，存储器部件120可以包括一个或多个存储器设备(例如，一个或多个存储器)以存储数据和信息。一个或多个存储器设备可以包括各种类型的存储器，包括易失性和非易失性存储器设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存或其他类型的存储器。在一个实施例中，处理部件110被配置为执行存储在存储器部件120和/或机器可读介质113中的软件，以便以本文所述的方式执行各种方法、过程和操作。
在一些实施例中，图像捕获部件130可包括用于捕获场景170的图像的传感器阵列(例如，任何类型的可见光、红外或其他类型的检测器)。在一个实施例中，图像捕获部件130的传感器用于将捕获的场景170的图像表示(例如，转换)为数字数据(例如，通过包括在传感器中并作为传感器的一部分或与传感器分离而作为成像系统100的一部分的模数转换器)。如本文进一步讨论的，图像捕获部件130可以实现为具有至少两种不同类型的传感器的红外传感器阵列，该至少两种不同类型的传感器分布在阵列的各个传感器之间并且用于捕获不同的波长范围。
如还示出的，相机部件101还可以包括通过连接141而受处理部件110的控制的致动器131、135和137。在一些实施例中，处理部件110可以通过经由连接141提供的信号来控制致动器131、135和/或137，以使光学部件132、滤光片133和/或图像捕获部件130运动(例如，从而相对于场景170调整此类部件提供的光路的物理位置)。相机部件101还可以包括运动传感器139(例如，加速度计或其他合适的设备)，其用于检测相机部件101的运动并通过连接141向处理部件110提供相应的信号。如本文中进一步讨论的，作为致动器131/135/137的有意运动和/或运动传感器139检测到的运动的结果，可以捕获场景170的相同位置的对应于不同波长范围的图像。
在一些实施例中，处理部件110可以被配置为通过连接141从图像捕获部件130接收图像、处理图像、将原始和/或处理后的图像存储到存储器部件120中，和/或从存储器部件120中获取存储的图像。在各个方面，如本文所述，处理部件110可以位于远程，并且处理部件110可以被配置为经由与图像捕获接口部件136的有线或无线通信从图像捕获部件130远程接收图像。处理部件110可以被配置为处理存储在存储器部件120中的图像，以将图像(例如，捕获和/或处理后的图像)提供给显示部件140以供用户观看。
在一些实施例中，显示部件140可以包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。处理部件110可以被配置为在显示部件140上显示图像数据和信息。处理部件110可以被配置为从存储器部件120获取图像数据和信息，并且在显示部件140上显示任何获取到的图像数据和信息。显示部件140可以包括显示电子设备，处理部件110可以使用显示电子设备来显示图像数据和信息。显示部件140可以经由处理部件110直接从图像捕获部件130接收图像数据和信息，或者可以经由处理部件110从存储器部件120传送图像数据和信息。
在一些实施例中，控制部件150可以包括具有一个或多个用户致动的部件(例如，被配置为生成一个或多个用户致动的输入控制信号的一个或多个按钮、滑动条、可旋转的旋钮或键盘)的用户输入和/或接口设备。控制部件150可以被配置为集成为显示部件140的一部分，以同时用作用户输入设备和显示设备，举例来说，例如，被配置为从用户触摸的显示屏的不同部分接收输入信号的触摸屏设备。处理部件110可以被配置为感测来自控制部件150的控制输入信号并且对从其接收的任何感测的控制输入信号作出响应。
在一些实施例中，控制部件150可以包括控制面板单元(例如，有线或无线手持式控制单元)，该控制面板单元具有被配置为与用户连接并接收用户输入控制信号的一个或多个用户致动的机构(例如，按钮、旋钮、滑块或其他机构)。在各种实施例中，应当理解，控制面板单元可以被配置为包括一个或多个其他用户致动的机构，以提供成像系统100的各种其他控制操作，例如自动对焦、菜单启用和选择、视场(FoV)、亮度、对比度、增益、偏移、空间、时间和/或其他各种特征和/或参数。
在一些实施例中，控制部件150可以包括图形用户界面(GUI)，可以将其集成为显示部件140(例如，用户致动的触摸屏)的一部分，显示部件140具有被配置为与用户连接并通过显示部件140接收用户输入的控制信号的用户致动的机构(例如，按钮、旋钮、滑块或其他机构)的一个或多个图像。作为本文进一步讨论的一个或多个实施例的示例，显示部件140和控制部件150可以表示平板电脑、膝上型计算机、台式计算机或其他类型的设备的适当部分。
在一些实施例中，处理部件110可以被配置为与图像捕获接口部件136通信(例如，通过从图像捕获部件130接收数据和信息)。图像捕获接口部件136可以被配置为从图像捕获部件130接收图像并且以本文进一步描述的通信部件152的方式，直接或者通过一个或多个有线或无线通信部件(例如，由连接141表示)将图像传送到处理部件110。在各种实施例中，相机部件101和处理部件110可以彼此靠近或远离。
在一些实施例中，取决于感测的应用或实现，成像系统100可以包括一种或多种其他类型的感测部件160(包括环境和/或操作传感器)，感测部件160向处理部件110提供信息(例如，通过从每个感测部件160接收传感器信息)。在各种实施例中，其他感测部件160可以被配置为提供与环境状况有关的数据和信息，例如，内部和/或外部温度状况、光线状况(例如，白天、黑夜、黄昏和/或黎明)、湿度水平、特定天气状况(例如，晴天、下雨和/或下雪)、距离(例如，激光测距仪)和/或是否已经进入或退出了隧道、室内停车场或某种类型的围场。因此，其他感测部件160可以包括一个或多个本领域技术人员已知的常规传感器，其用于监视可能对图像捕获部件130提供的数据产生影响(例如，对图像外观产生影响)的各种状况(例如，环境状况)。
在一些实施例中，其他感测部件160可以包括经由无线通信将信息中继到处理部件110的设备。例如，每个感测部件160可以被配置为通过本地广播(例如，射频)传输、通过移动或蜂窝网络和/或通过基础设施(例如，传输或高速公路信息信标基础设施)中的信息信标或其他各种有线或无线技术从卫星接收信息。
在一些实施例中，通信部件152可以实现为网络接口部件(NIC)，其被配置为与包括网络中的其他设备的网络进行通信。在各种实施例中，通信部件152可以包括一个或多个有线或无线通信部件，例如，以太网连接、基于IEEE 802.11标准的无线局域网(WLAN)部件、无线宽带部件、移动蜂窝部件、无线卫星部件、或各种其他类型的无线通信部件，包括被配置为与网络通信的射频(RF)、微波频率(MWF)和/或红外频率(IRF)部件。这样，通信部件152可以包括耦接到该通信部件152的天线以用于无线通信目的。在其他实施例中，通信部件152可以被配置为与DSL(例如，数字订户线)调制解调器、PSTN(公共交换电话网)调制解调器、以太网设备和/或被配置为与网络通信的各种其他类型的有线和/或无线网络通信设备进行接口连接。
在一些实施例中，网络可以实现为单个网络或多个网络的组合。例如，在各种实施例中，网络可以包括因特网和/或一个或多个内联网、陆线网络、无线网络和/或其他合适类型的通信网络。在另一个示例中，网络可以包括被配置为与诸如因特网的其他通信网络进行通信的无线电信网络(例如，蜂窝电话网络)。这样，在各个实施例中，成像系统100和/或其各个相关联的部件可以与特定的网络链路(举例来说，例如，URL(统一资源定位符)、IP(互联网协议)地址和/或移动电话号码)相关联。
图2示出了根据本公开实施例的图像捕获部件130的框图。在该示出的实施例中，图像捕获部件130是焦平面阵列(FPA)，其包括红外传感器230(例如，实现为单位单元)的传感器阵列228和读出集成电路(ROIC)202。尽管示出的是8×8的红外传感器230的阵列，并且本公开进一步标识了其他阵列大小，但是这仅出于示例和易于说明的目的。可以根据需要使用任何期望的传感器阵列大小。
ROIC 202包括偏置产生和时序控制电路204、列放大器205、列多路复用器206、行多路复用器208和输出放大器210。可以由输出放大器210将红外传感器230捕获的图像提供给处理部件110和/或任何其他合适的部件，以执行本文所述的各种处理技术。在2000年2月22日发布的美国专利NO.6,028,309中可以找到ROIC和红外传感器(例如，微辐射热计电路)的进一步说明，通过引用的方式将其作为整体并入到本文中。
例如，每个红外传感器230可以由红外检测器(例如，微测辐射热计)和相关的电路来实现，以为捕获的图像的像素提供图像数据(例如，与捕获的电压相关的数据值)。就这方面而言，可以由红外传感器230将时分复用的电信号提供给ROIC 202。
现在参考图3，传感器阵列228可以包括至少两组红外传感器230(例如，被标识为红外传感器230A和230B)，每组红外传感器用于捕获不同的波长范围(例如，气体波段和无气体波段)。在各种实施例中，红外传感器230A和230B可以以各种图案进行排列，以允许对应于不同光谱响应图案的两个图像由同一FPA捕获。
例如，图3示出了根据本公开实施例的具有以交替的棋盘图案布置的两组红外传感器230A和230B的传感器阵列228。还可以构想其他图案，包括例如交替的行或列图案(例如，行和列在本文中可以互换使用)和/或其他适当的图案。
在图3中，场景170由与辐射场景图310中的位置相对应的各种场景位置330表示。如本文所讨论的，可以捕获对于所有场景位置330的与两个不同波长范围相对应的辐射值，以填充辐射场景图310，以用于气体浓度处理。
还如图3所示，传感器阵列228位于场景170的前方，以捕获与辐射场景图310的子集328相对应的图像。例如，如图所示，红外传感器230A中的一个被定位为从子集328的场景位置330(1)接收红外辐射171(例如，在一些实施例中的过滤后的辐射174)。另一个红外传感器230B的位置被设置为从子集328的场景位置330(2)接收红外辐射171(例如，在一些实施例中的过滤后的辐射174)。因为红外传感器230A和230B用于捕获不同的波长范围，因此可以捕获子集328中不同位置330的两个不同的红外图像350A和350B，每个红外图像对应于不同的波长范围。
各种实施方式可用于通过红外传感器230A和230B捕获不同的波长范围。例如，在一些实施例中，红外传感器230A和230B的结构可以被配置为使它们表现出与特定波长范围相对应的特定光谱响应图案，例如，配置有各种类型的吸收层、桥结构、腿结构、材料选择和/或其他部件的微辐射热测量仪，例如，2017年12月29日提交的美国专利申请No.62/612,272中提出的那些微辐射热测量仪，通过引用的方式将其作为整体合并到本文中。
在一些实施例中，可以使由光掩模、基板、涂层和/或其他材料实现的一个或多个滤光片位于红外传感器230A和230B的前面(例如，作为光学部件132、滤光片133和/或其他部件的一部分)，以过滤红外辐射171，使得红外传感器230A和230B接收对应于所需波长范围的过滤后的红外辐射。在一些实施例中，可以根据2017年12月5日提交的国际专利申请No.PCT/US2017/064759提出的那些滤光片来实现本文中设想的任何滤光片，通过引用的方式将其作为整体合并到本文中。
在一些实施例中，这样的滤光片可以设置有用统一的一组红外传感器230实现的FPA(例如，在红外传感器230A和230B之间没有提供不同的物理配置)。在其他实施例中，这样的滤光片可以设置用本文讨论的红外传感器230A和230B的一个或多个物理配置实现的FPA。
在一些实施例中，红外传感器230A可以实现为气体传感器，该气体传感器提供与和要检测的一种或多种气体相关联的波长相对应的图像。因此，红外传感器230A可以用于提供气体图像的气体像素。红外传感器230B可以实现为无气体传感器，其提供忽略了与一种或多种待检测气体相关的波长的图像。因此，红外传感器230B可以用于提供无气体图像的无气体像素。
因为红外传感器230A和230B分布在整个传感器阵列中(例如，以所讨论的各种图案分布)，所以产生的气体图像和无气体图像可以更有效地彼此对准。另外，因为红外传感器230A和230B和/或滤光片133可以被配置为限制用于提供这种图像的波长，所以红外传感器230A和230B可以以一些实施例中的相同(例如，同样)的积分周期、增益设置和读出帧速率操作。在其他实施例中，这些对于红外传感器230A和230B可以是不同的。
在一些实施例中，ROIC 202可以被配置为补偿从红外传感器230A和230B接收的不同信号。例如，由于红外传感器230A和230B可以与不同的波长(例如，它们可以彼此部分重叠或可以不重叠)相关联，因此ROIC从红外传感器230A和230B接收到的所得电流信号的幅度可以彼此不同或不均衡。因此，在一些实施例中，ROIC 202可以被配置为调整积分时间、增加或减少所得的捕获电压(或其他模拟信号或数字值)和/或与红外传感器230A和/或230B相关联的其他特征，从而它们可以有效地相互比较。在一些实施例中，可以根据在以下文献中确定的各种配置中的任意一种来实现ROIC 202：2017年1月13日提交的美国专利申请No.62/446,287，2017年1月26日提交的美国专利申请No.62/450,967，2017年11月20日提交的美国专利申请No.62/588,878，2017年12月15日提交的美国专利申请No.62/599,574和/或2017年12月29日提交的美国专利申请No.62/611,711，通过引用的方式将其作为整体并入到本文中。
图4示出了根据本公开实施例的红外传感器230A和230B以及一个或多个滤光片133的侧视图。如图所示，滤光片133从场景170接收红外辐射171(例如，与气体172和/或包括背景对象175的背景部分173发射和/或吸收的波长相对应的红外辐射)，并将过滤后的红外辐射174A和174B分别提供给图像捕获部件130的传感器阵列228的红外传感器230A和230B。
在一些实施例中，滤光片133可以实现为逐像素滤光片，其中每个滤光片133与对应的红外传感器230A或230B相关联。在一些实施例中，滤光片133可以包括一个或多个全阵列滤光片，以去除从场景170接收的无关的带外辐射，使得提供给红外传感器230A和230B的过滤后的红外辐射174A和174B进一步限于关注的特定的过滤后的波长。因此，红外传感器230A和230B提供的对于其相关像素的信号可以表现出改善的信噪比。
在一些实施例中，如所讨论的，红外传感器230A和230B本身的结构可以被配置为提供与关注的波长范围相对应的期望的光谱响应。因此，将理解的是，滤光片和/或红外传感器结构的任何期望的组合都可以用于捕获与关注的波长范围相对应的图像。
取决于要被成像以提供气体波段和无气体波段图像的关注的特定气体，各种波长范围都可以与红外传感器230A和230B捕获的图像相关联。就这方面而言，可以选择(例如，调整或优化)波长范围以检测各种关注的气体。
例如，就甲烷(CH 4)(例如，其通常吸收约7微米至约8.5微米的波长范围内的辐射)来说，约7微米至约10微米的气体波段波长范围可用于红外传感器230A，并且约8.5微米至约10微米的无气体波段波长范围可用于红外传感器230B。因此，红外传感器230A提供的图像350A可以是表示场景170内的气体172中是否存在甲烷的气体图像，而红外传感器230B提供的图像350B可以是表示场景170的背景部分173的无气体图像。
作为另一示例，就制冷剂气体(例如，其通常吸收约8微米至约8.6微米的波长范围内的辐射)来说，约8微米至约11微米的气体波段波长范围可用于红外传感器230A，并且大于8微米到约11微米的无气体波段波长范围可用于红外传感器230B。因此，红外传感器230A提供的图像350A可以是表示场景170内的气体172中是否存在制冷剂气体的气体图像，而红外传感器230B提供的图像350B可以是表示场景170的背景部分173的无气体图像。
作为另一个示例，就六氟化硫(SF6)和铵(NH4)(例如，其通常吸收约10微米至约11微米波长范围内的辐射)来说，约8.8微米至约11微米的气体波段波长范围可用于红外传感器230A，并且约8.8微米至约10微米的无气体波段波长范围可用于红外传感器230B。因此，红外传感器230A提供的图像350A可以是表示场景170内的气体172中是否存在六氟化硫(SF6)和铵(NH4)的气体图像，而红外传感器230B提供的图像350B可以是表示场景170的背景部分173的无气体图像。
尽管已经讨论了各种波长范围，但是将理解，仅出于示例的目的而提供它们。这样，可以适当地使用任何期望的波长范围。
图5示出了根据本公开的实施例的在图像捕获期间场景170相对于传感器阵列228的红外传感器230A和230B的几个位置，以准备辐射场景图330。特别地，示出了场景170相对于传感器阵列228的初始位置502，并且示出了场景170相对于传感器阵列228的后续位置504(例如，接着是本文讨论的运动)。
在位置502，传感器阵列228包括不同的红外传感器230A和230B，其位置被设置为捕获场景位置330的子集328。类似于根据图3的讨论，其中一个红外传感器230A的位置被设置为捕获对应于场景位置330(1)的红外图像的像素值，并且另一个红外传感器230B的位置被设置为捕获对应于场景位置330(2)的红外图像的像素值。
在位置502和504的时间之间，发生了运动，使得红外传感器230A和230B相对于场景170向左移动了一个像素。作为该移动的结果，在位置502时，场景位置330(1)先前由其中的一个红外传感器230A成像，然而在位置504，由其中的一个红外传感器230B对场景位置330(1)成像。箭头510表示场景170的相应位置，其已经在位置502和504之间相对于图像传感器230A和230B偏移。
通过利用红外传感器230A和230B在位置502和504两者处捕获图像，可以捕获场景位置330的对应于不同波长区域的两个辐射值(例如，对应于红外传感器230A和230B提供的图像像素的信号)，场景位置330重叠位置502和504的图像。如根据图3所讨论的那样，可以将这两个辐射值添加到辐射场景图310中。
例如，图5进一步示出了特定示出的场景170的辐射场景图310。在这种情况下，由于在位置502和504捕获的图像，已经利用两种类型的红外传感器230A和230B对一组场景位置530进行了成像。因此，辐射场景图310将包括每个场景位置530的两个辐射值。同时，场景位置540仅由红外传感器230A成像，因此仅具有一个与辐射场景图330的一个波长范围相关联的辐射值。类似地，场景位置550仅由红外传感器230B成像，因此仅具有一个与辐射场景图330的另一个波长范围相关联的辐射值。此外，场景位置530未被红外传感器230A或230B捕获，因此其没有辐射场景图330的辐射值。
随着时间的流逝，随着另外的运动发生并且红外传感器230A和230B继续捕获图像，场景170的所有场景位置330最终可以由两种类型的红外传感器230A和230B成像。因此，对于每个场景位置330可以获得两个辐射值，以提供完整的辐射场景图310。
图6示出了根据本公开实施例的构建辐射场景图330的过程。在框610，系统100从场景170接收红外辐射171。例如，如图5的位置502所示，可以确定系统100相对于场景170的初始位置。
在框615，图像捕获部件130开始使用不同类型的红外传感器230A和230B来捕获场景位置330的子集328的图像。因此，可以捕获与子集328的不同部分相对应的场景100的不同图像350A和350B。图像捕获部件130可以在图6的过程期间继续捕获图像，以便如本文所讨论的获得场景图310的所有场景位置330的辐射值。
同样在框615，如本文所讨论的，在连续捕获的图像之间引起运动，使得子集328相对于场景170移动位置(例如，从位置502到位置504)。同样在框615，处理部件110对捕获的图像执行运动检测处理，以确定是否已经通过两种类型的红外传感器230A和230B捕获了给定场景位置330的辐射值。本文根据图7进一步讨论了在框615执行的操作的其他细节。
在框620，处理部件110将与位置330的两个波长范围相对应的辐射值添加到场景图310中，其中，确定已由红外传感器230A和230B成像的位置330。
在框625，如果已经确定了场景图310中的所有场景位置330的与两个波长范围相对应的辐射值，则过程继续至框630。否则，过程返回至框615以继续捕获图像、引起运动并进行处理，直到已确定了场景图310中的所有场景位置330的与两个波长范围相对应的辐射值为止。
在框630，如根据图8进一步讨论的，可以执行附加的气体检测和气体定量操作。
图7示出了根据本公开实施例的确定场景位置330的辐射值的过程。例如，在一些实施例中，可以在图6的框615期间执行图7的过程。
在框710，红外传感器230A和230B在图5的位置502时捕获场景170的子集328的图像350A和350B。在框715，处理部件110接收捕获的图像350A和350B并开始执行运动检测处理，例如目标检测和跟踪。
在框720，处理部件110识别位置330(1)处的对象175。因此，处理部件110可以确定场景位置330(1)处的对象175已经由与气体波段波长范围相对应的红外传感器230A之一捕获。
在框725，引起运动和/或检测到运动，运动使得红外传感器230A和230B相对于场景170从位置502移动到位置504。如所讨论的，这种运动可以由以下原因引起：例如，施加于传感器阵列228的与传感器阵列228的用户运动有关(例如，在握持相机部件101时用户的手的振动或摇晃)的物理力、由致动器131、135和/或137引起的有意运动和/或其他运动。
例如，在振动或摇动的情况下，运动传感器139可以检测运动并向处理部件110提供适当的响应信号。在由致动器131/135/137施加力的情况下，致动器131/135/137中的一个或多个可以用于移动由光学部件132、滤光片133和图像捕获部件130提供的光路的位置，以使红外传感器230A和230B从场景170的不同部分接收红外辐射171。有利地，在致动器131/135/137施加力的情况下，可以以受控的方式执行引入的运动，以使得可以执行预定的位置移动(例如，在一些实施例中，移动一个像素或任何奇数个的像素)。
在框730，红外传感器230A和230B在图5的位置504时捕获场景170的子集328的图像350A和350B。在框735，处理部件110接收捕获的图像350A和350B(例如，对应于移动的位置504)，并继续执行运动检测处理。
在框740，处理部件110识别位置330(1)处的对象175。例如，处理部件110可以确定对象175仍处于场景位置330(1)，现在已经由对应于无气体波段波长范围的红外传感器230B之一捕获其图像。
因此，处理部件110可以确定捕获了对象175的与两个波长范围(例如，在框710由红外传感器230A捕获的波长范围和在框730由红外传感器230B捕获的波长范围)相对应的辐射值。因此，在图6的框620，处理部件110可以继续更新辐射场景图310。
虽然图6和图7的过程针对单个对象175进行讨论，但是可以检测和跟踪与场景170中的各个不同场景位置330相对应的多个对象。因此，可以确定辐射场景图310中的所有场景位置330的辐射值。
在一些实施例中，辐射场景图310可以在有限的时间段内有效。这可以由以下因素确定：例如，振动的时间常数、检测到的场景170中的对象的运动、检测到的运动和/或传感器阵列228接收到的红外辐射171的总量。因此，在一些实施例中，可以重复图6的过程以适当地更新辐射场景图310，以便获得当前辐射值。
在一些实施例中，本文讨论的对象检测和运动跟踪处理可以包括确定检测到的对象的形状和/或运动是否与场景170中的气体172相对应。如所讨论的，图6和图7的过程可用于确定场景170的背景部分173的辐射值，以提高气体浓度确定的准确性。这样，在某些情况下，如果添加到辐射场景图310的辐射值对应于气体172而不是背景部分173，则可能适得其反。因此，在一些实施例中，如果确定检测到并跟踪的对象是气体172而不是背景对象175，则处理部件110可以丢弃或以其他方式忽略与那些图像相关联的辐射值。
尽管在所讨论的示例中标识的是移动单个像素，但是将理解，可以发生任何数量的像素移动。例如，如所讨论的，在移动奇数个像素的情况下，则在框710和730，可以由不同类型的红外传感器230A和230B捕获给定场景位置330。
然而，在移动偶数个像素的情况下，则在框710和730，可以由相同类型的红外传感器230A或230B捕获给定的场景位置330。在这种情况下，可能仅获得一个波长范围的辐射值。在各种实施例中，这样的辐射值可以被丢弃、作为背景数据被收集、被添加以部分的填充辐射场景图330和/或用于其他处理。
如根据图6的框630所讨论的，可以执行附加操作。因此，图8示出了根据本公开实施例的执行气体检测和定量的过程。例如，在一些实施例中，可以在图6的框630期间执行图8的过程。
在框810，系统100从场景170接收红外辐射171。如所讨论的，红外辐射171可以包括由场景170中的气体172发射和/或吸收的波长，以及由场景170中的包括背景对象175的背景部分173发射和/或吸收的其他波长。红外辐射171穿过孔径134和光学部件132，孔径134和光学部件132使红外辐射171指向并聚焦到图像捕获部件130的传感器阵列228。
在框815，例如，通过测量由感测部件160提供的一个或多个温度传感器的测量值和/或通过处理一个或多个捕获的图像，接收场景170的气体172的温度Tgas(例如，空气温度)(例如，假设气体温度与空气快速达到热平衡)和背景部分173的温度Tb。
在框820，红外传感器230A和230B分别捕获气体和无气体图像。如所讨论的，红外传感器230A和230B捕获的波长范围可以由红外传感器230A和230B和/或一个或多个滤光片133的结构确定。在一些实施例中，使用至少两组不同配置的以交替方式排列的红外传感器230A和230B，使得气体图像和无气体图像可以彼此物理对准，并且通过同时捕获也可以时间对准。在一些实施例中，与捕获的图像相关的信号可以作为电流信号从红外传感器230A和230B传递到ROIC 202，ROIC 202的电容器将电流信号存储为电压。
在框825，ROIC 202将气体图像和无气体图像(例如，从存储的电压转换为数字计数)提供给图像捕获接口部件136，图像捕获接口部件136通过连接141将它们提供给处理部件110。
在框830，处理部件110校准气体图像和无气体图像。在一些实施例中，这可以包括相对于彼此校准图像、对图像执行辐射校准和/或其他处理。在一些实施例中，这可以包括调整图像的气体像素和/或无气体像素的增益，使得总像素值(例如，数字计数)彼此可以比较。
在一些实施例中，由于如所讨论的与红外传感器230A和230B相关的波长范围有限，因此可以在框830更有效地校准气体图像和无气体图像。该校准可以显著提高由气体图像和无气体图像生成的差分图像的质量(例如，在气体172和背景部分173之间提供更高的对比度，以便在差分图像中更好地区分它们)，从而提供更可靠的定量以及更准确的警报。
在框835，处理部件110基于校准的气体图像和无气体图像生成差分图像。例如，处理部件110可以从一个捕获图像中减去另一个捕获图像。将理解的是，由于可以根据本文讨论的技术以空间对准和时间对准的方式捕获原始的气体图像和无气体图像，所以可以精确且高置信度地执行这种相减。因此，所得的差分图像将在其无气体部分和气体部分之间表现出高对比度，以用于本文所述的进一步处理。
在框840，处理部件110将差分图像中明显的气体波段响应与一个或多个已知的气体波段响应(例如，已知的气体波段响应存储在机器可读介质113和/或存储部件120维护的数据库或其他数据结构中)进行比较。就这方面而言，处理部件110可以确定差分图像是否表现出与数据库中的一种或多种已知气体相关的显著的吸收和/或发射图案。
在方框845，确定气体温度Tgas和背景温度Tb的绝对温度差DT(例如，DT＝Tb-Tgas)。同样在框845，例如，通过使用来自辐射场景图310的数据(例如，辐射场景图310的数据存储在机器可读介质113和/或存储部件120维护的数据库或其他数据结构中)，该温度差DT用于确定气体浓度长度。
在框850，处理部件110基于框840的比较来识别场景170中的特定气体172。
在框855，处理部件110基于在框842确定的浓度长度、差分图像、一个或多个捕获的气体图像和无气体图像、和/或辐射场景图310，执行气体定量处理。在各种实施例中，例如，这样的处理可以包括一个或多个浓度长度(CL)图像的生成和分析、气体流量计算和/或其他操作。如所讨论的，通过提供具有各个场景位置330的背景部分173的不同波长范围的两个辐射值的辐射场景图310，可以更容易地将气体浓度与背景部分173区别开来。
在框860，处理部件100响应于框850和/或855的识别和/或定量而生成一个或多个警报。例如，在各种实施例中，可以通过显示部件140、通信部件152和/或其他部件，使用各种媒体(例如，文本、图形、音频信号和/或其他适当方式)，将警报传达给用户。
在一些实施例中，使用具有不同响应特性的红外传感器230A和230B，使得差分图像能够表现出气体172和背景部分173之间的增加的对比度。这种增加的对比度(例如，通过将差分图像中的气体172与背景部分173进一步分离)使得处理部件110能够更好地区分差分图像中的气体172和背景部分173，从而提高框850的气体识别、框855的气体定量和/或框860的警报生成的准确性860(例如，降低误报率)。
在框865，处理部件110将颜色施加于差分图像，以向用户提供可见图像。在框870，处理部件110将用户可视图像提供给显示部件140，以进行显示和/或供系统100的用户进一步处理。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，可以将本文提出的各种硬件组件和/或软件组件组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，可以将本文提出的各种硬件组件和/或软件组件分成包括软件、硬件或两者的子组件。另外，在适用的情况下，可以预期的是，软件组件可以实现为硬件组件，反之亦然。
可以将根据本公开的软件(例如，程序代码和/或数据)存储在一个或多个计算机可读介质中。还可预期，可以使用联网的和/或其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文提到的软件。在适用的情况下，可以更改本文描述的各个步骤的顺序、组合为复合步骤和/或分成子步骤以提供本文描述的特征。
上述实施例是示例性的而不限制本发明。还应该理解，根据本发明的原理，可以作出多种修改和变化。因此，本发明的范围仅由所附权利要求书限定。

Claims (20)

1.一种气体检测和定量方法，包括：
在传感器阵列处从场景接收红外辐射，所述传感器阵列包括分别与红外辐射的第一波长范围和第二波长范围相关联的第一组红外传感器和第二组红外传感器，所述第一波长范围与所述第二波长范围不同；
由所述第一组红外传感器捕获所述场景的第一图像；
检测所述第一图像中的背景对象；
所述传感器阵列相对于背景对象运动，由所述第二组红外传感器捕获所述场景的第二图像，其中，所述第二组红外传感器捕获所述第二图像的场景位置与第一图像对应的场景位置相同；
跟踪所述背景对象以识别所述第二图像中的所述背景对象，以确定已经捕获了所述背景对象的对应于第一波长范围和第二波长范围的第一辐射值和第二辐射值；
利用所述第一辐射值和所述第二辐射值更新辐射场景图，所述第一辐射值和所述第二辐射值与所述第一图像和所述第二图像相关联并且与所述场景中的所述背景对象的位置相关；以及
使用所述辐射场景图执行气体定量。
2.根据权利要求1所述的方法，还包括：在捕获所述第一图像和所述第二图像之间，在所述传感器阵列处接收力，以相对于所述第一图像移动所述第二图像中的所述背景对象的所述位置。
3.根据权利要求2所述的方法，其中：
所述方法由手持式热像仪执行；并且
所述力由用户在握持所述热像仪时引起。
4.根据权利要求2所述的方法，还包括操作致动器以向所述传感器阵列提供力。
5.根据权利要求2所述的方法，其中，所述移动对应于所述第二图像相对于所述第一图像的像素移动奇数个像素。
6.根据权利要求1所述的方法，还包括在执行所述气体定量之前，通过对多个背景对象的更新来重复所述接收，以利用与所述场景中的所述背景对象的多个位置相关的辐射值来更新所述辐射场景图。
7.根据权利要求1所述的方法，其中：
所述第一波长范围与关注的气体的气体波段相关联；并且
所述第二波长范围与无气体波段相关联。
8.根据权利要求1所述的方法，其中，所述第一组红外传感器和所述第二组红外传感器以交替的棋盘图案或交替的列图案布置。
9.根据权利要求1所述的方法，还包括：
执行背景对象检测，以检测至少一个所述图像中的气体羽流；以及
避免针对所述场景中的所述气体羽流的位置更新所述辐射场景图。
10.根据权利要求1所述的方法，其中，所述第二图像在与所述第一图像不同的时间被捕获，所述方法还包括：
分别由所述第一组红外传感器和所述第二组红外传感器捕获第三图像和第四图像；
在执行所述气体定量之前，对所述第三图像和所述第四图像进行处理以检测所述场景中的气体；以及
其中，执行所述气体定量还包括使用第三图像和第四图像。
11.一种气体检测和定量系统，包括：
传感器阵列，所述传感器阵列被配置为从场景接收红外辐射，所述传感器阵列包括：
第一组红外传感器，所述第一组红外传感器被配置为捕获与所述红外辐射的第一波长范围相关联的第一图像，以及
第二组红外传感器，所述第二组红外传感器被配置为捕获与所述红外辐射的第二波长范围相关联的第二图像，其中，所述第二组红外传感器捕获所述第二图像的场景位置与第一图像对应的场景位置相同，其中，所述第一波长范围与所述第二波长范围不同；以及
处理器，所述处理器被配置为：
检测所述第一图像中的背景对象；
跟踪所述背景对象以识别所述第二图像中的所述背景对象，以确定已经捕获了所述背景对象的对应于第一波长范围和第二波长范围的第一辐射值和第二辐射值；
利用所述第一辐射值和所述第二辐射值更新辐射场景图，所述第一辐射值和所述第二辐射值与所述第一图像和所述第二图像相关联并且与所述场景中的所述背景对象的位置相关；以及
使用所述辐射场景图执行气体定量。
12.根据权利要求11所述的系统，其中，所述传感器阵列被配置为：在捕获所述第一图像和所述第二图像之间接收力，以相对于所述第一图像移动所述第二图像中的所述背景对象的所述位置。
13.根据权利要求12所述的系统，其中：
所述系统是手持式热像仪；并且
所述力由用户在握持所述热像仪时引起。
14.根据权利要求12所述的系统，还包括致动器，所述致动器被配置为向所述传感器阵列提供力。
15.根据权利要求12所述的系统，其中，所述移动对应于所述第二图像相对于所述第一图像的像素移动奇数个像素。
16.根据权利要求11所述的系统，其中，所述处理器被配置为：在执行所述气体定量之前，利用与所述场景中的所述背景对象的多个位置相关的辐射值来更新所述辐射场景图。
17.根据权利要求11所述的系统，其中：
所述第一波长范围与关注的气体的气体波段相关联；并且
所述第二波长范围与无气体波段相关联。
18.根据权利要求11所述的系统，其中，所述第一组红外传感器和所述第二组红外传感器以交替的棋盘图案或交替的列图案布置。
19.根据权利要求11所述的系统，其中，所述处理器被配置为：
执行背景对象检测，以检测至少一个所述图像中的气体羽流；以及
避免针对所述场景中的所述气体羽流的位置更新所述辐射场景图。
20.根据权利要求11所述的系统，其中：
所述第二图像在与第一图像不同的时间被捕获；
所述处理器被配置为：在执行所述气体定量之前，对分别由所述第一组红外传感器和所述第二组红外传感器捕获的第三图像和第四图像进行处理，以检测所述场景中的气体；以及
所述气体定量还使用第三图像和第四图像。
CN201880090584.2A 2018-01-03 2018-12-21 使用多波段传感器阵列系统和方法动态确定辐射值 Active CN111801569B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862613247P 2018-01-03 2018-01-03
US62/613247 2018-01-03
PCT/US2018/067334 WO2019164578A2 (en) 2018-01-03 2018-12-21 Dynamic determination of radiometric values using multiple band sensor array systems and methods

Publications (2)

Publication Number Publication Date
CN111801569A CN111801569A (zh) 2020-10-20
CN111801569B true CN111801569B (zh) 2023-10-13

Family

ID=66857960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090584.2A Active CN111801569B (zh) 2018-01-03 2018-12-21 使用多波段传感器阵列系统和方法动态确定辐射值

Country Status (4)

Country Link
US (1) US11474030B2 (zh)
EP (1) EP3735577B1 (zh)
CN (1) CN111801569B (zh)
WO (1) WO2019164578A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250296B2 (en) * 2019-07-24 2022-02-15 Nvidia Corporation Automatic generation of ground truth data for training or retraining machine learning models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559721B1 (en) * 2010-04-28 2013-10-15 Exelis, Inc. Filter mosaic for detection of fugitive emissions
CA2890559A1 (en) * 2014-05-01 2015-11-01 Rebellion Photonics, Inc. Dual-band divided aperture infra-red spectral imaging system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4659234A (en) 1984-06-18 1987-04-21 Aluminum Company Of America Emissivity error correcting method for radiation thermometer
US6028309A (en) 1997-02-11 2000-02-22 Indigo Systems Corporation Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array
GB2340222B (en) * 1998-07-14 2000-07-26 Infrared Integrated Syst Ltd Multi-array sensor and method of identifying events using same
US20050276308A1 (en) 2004-06-10 2005-12-15 Pint Charles S Method and apparatus for measuring temperature and emissivity
US7186978B2 (en) 2004-10-15 2007-03-06 Millennium Enginerring And Integration Company Compact emissivity and temperature measuring infrared detector
GB2462137B (en) * 2008-06-25 2013-01-23 Thales Holdings Uk Plc Imaging apparatus and method
EP2590138B1 (en) * 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
CN103675019B (zh) 2013-12-11 2015-08-19 中国电子科技集团公司第十三研究所 一种红外热像仪快速测量材料表面发射率的方法
US9464984B2 (en) * 2014-06-20 2016-10-11 Fluke Corporation Laser illuminated gas imaging device for determining inoperable gas detection pixels
WO2015199912A1 (en) * 2014-06-23 2015-12-30 Exxonmobil Upstream Research Company Image quality enhancement of a differential image for a multiple detector system
US9581543B2 (en) * 2014-11-10 2017-02-28 Ci Systems (Israel) Ltd. Infrared detection and imaging device with no moving parts
EP3265996A1 (en) * 2015-03-02 2018-01-10 Flir Systems AB Quantifying gas in passive optical gas imaging
WO2016139261A1 (en) * 2015-03-02 2016-09-09 Flir Systems Ab Wavelength band based passive infrared gas imaging
US9767572B2 (en) * 2015-05-01 2017-09-19 Raytheon Company Systems and methods for 3D point cloud processing
EP3957969A1 (en) * 2015-10-29 2022-02-23 Konica Minolta, Inc. Image processing device for gas detection, image processing method for gas detection and image processing program for gas detection
US10488355B2 (en) * 2015-12-15 2019-11-26 Konica Minolta, Inc. Gas concentration-thickness product measurement device, gas concentration-thickness product measurement method, and computer-readable recording medium having gas concentration-thickness product measurement program recorded thereon
CN111033231B (zh) * 2017-06-12 2023-11-24 前视红外系统股份公司 用于量化气体泄漏的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559721B1 (en) * 2010-04-28 2013-10-15 Exelis, Inc. Filter mosaic for detection of fugitive emissions
CA2890559A1 (en) * 2014-05-01 2015-11-01 Rebellion Photonics, Inc. Dual-band divided aperture infra-red spectral imaging system

Also Published As

Publication number Publication date
EP3735577B1 (en) 2023-01-25
US11474030B2 (en) 2022-10-18
CN111801569A (zh) 2020-10-20
EP3735577A2 (en) 2020-11-11
WO2019164578A2 (en) 2019-08-29
US20200326276A1 (en) 2020-10-15
WO2019164578A3 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
US10598550B2 (en) Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor
US11445131B2 (en) Imager with array of multiple infrared imaging modules
US10425603B2 (en) Anomalous pixel detection
US9292909B2 (en) Selective image correction for infrared imaging devices
US20110221599A1 (en) Imager with multiple sensor arrays
EP2898670B1 (en) Row and column noise reduction in thermal images
WO2014143338A2 (en) Imager with array of multiple infrared imaging modules
WO2012142048A2 (en) Techniques for selective noise reduction and imaging system characterization
US11635370B2 (en) Gas imaging systems and methods
EP2936799A1 (en) Time spaced infrared image enhancement
US11035786B2 (en) Infrared sensor array with sensors configured for different spectral responses
WO2014100786A1 (en) Selective image correction for infrared imaging devices
CN111801569B (zh) 使用多波段传感器阵列系统和方法动态确定辐射值
CN212228729U (zh) 成像系统
KR20220085006A (ko) 적외선 이미징-관련 불확실성 측정 시스템 및 방법
US11885740B2 (en) Determination of level and span for gas detection systems and methods
EP4090010A1 (en) Selective processing of anomalous pixels systems and methods
CN110168602B (zh) 使用频谱变换的图像降噪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Swedish tibbers

Applicant after: FLIR SYSTEMS AB

Applicant after: Taili danfilier Co.,Ltd.

Address before: Swedish tibbers

Applicant before: FLIR SYSTEMS AB

Applicant before: Philwalker Mojie Saab II Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20230828

Address after: Swedish tibbers

Applicant after: FLIR SYSTEMS AB

Applicant after: Philwalker Mojie Saab II Co.,Ltd.

Address before: Swedish tibbers

Applicant before: FLIR SYSTEMS AB

Applicant before: FLIR SYSTEMS, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant