CN114175610A - 成像器健康监测系统和方法 - Google Patents

成像器健康监测系统和方法 Download PDF

Info

Publication number
CN114175610A
CN114175610A CN202080051523.2A CN202080051523A CN114175610A CN 114175610 A CN114175610 A CN 114175610A CN 202080051523 A CN202080051523 A CN 202080051523A CN 114175610 A CN114175610 A CN 114175610A
Authority
CN
China
Prior art keywords
unit cell
detector
image
fpa
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051523.2A
Other languages
English (en)
Inventor
D·M·罗德里格斯
E·A·库尔特
N·霍加斯藤
T·R·赫尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flier Business Systems
Original Assignee
Flier Business Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flier Business Systems filed Critical Flier Business Systems
Publication of CN114175610A publication Critical patent/CN114175610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Mechanical Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了用于成像器健康监测系统和方法的技术。在一个示例中，一种方法包括确定焦平面阵列(FPA)的有效单位单元和/或FPA的参考单位单元的特性。有效单位单元包括被选择性地屏蔽入射场景的检测器。参考单位单元包括被屏蔽入射场景的参考检测器。该方法还包括至少部分地基于该特性来确定FPA的状态。该方法还包括传输FPA的状态的指示，以选择性地引起FPA的调整。还提供了相关设备和系统。

Description

成像器健康监测系统和方法
相关申请的交叉引用
本申请要求于2019年5月17日提交且名称为“成像器健康监测系统和方法(IMAGERHEALTH MONITORING SYSTEMS AND METHODS)”的美国临时专利申请第62/849,479号的优先权和权益，该申请的全部内容通过引用并入本文。
技术领域
一个或多个实施例总体上涉及成像系统，并且更具体地，例如，涉及成像器健康监测系统和方法。
背景技术
成像系统可以包括检测器阵列，每个检测器用作像素以产生二维图像的一部分。存在各种各样的图像检测器，例如可见光图像检测器、红外图像检测器或可以设置在图像检测器阵列中用于捕获图像的其他类型的图像检测器。例如，可以在图像检测器阵列中设置多个传感器，以检测期望波长的电磁(EM)辐射。在一些情况下，例如对于红外成像，由检测器捕获的图像数据的读出可以由读出集成电路(ROIC)以时分复用方式执行。读出的图像数据可以传送到其他电路，例如进行处理、存储和/或显示。在某些情况下，检测器阵列和ROIC的组合可称为焦平面阵列(FPA)。FPA和图像处理工艺技术的进步提高了所得成像系统的能力和复杂性。
发明内容
在一个或多个实施例中，一种方法包括确定焦平面阵列的至少一个有效单位单元和/或焦平面阵列的至少一个参考单位单元的特性。至少一个有效单位单元包括被选择性地屏蔽入射场景的检测器。至少一个参考单位单元包括被屏蔽入射场景的参考检测器。该方法还包括至少部分地基于该特性确定焦平面阵列的状态。该方法还包括传输焦平面阵列的状态的指示，以选择性地引起焦平面阵列的调整。
在一个或多个实施例中，一种成像系统包括焦平面阵列。焦平面阵列包括多个有效单位单元。每个有效单位单元包括被配置为响应于入射场景选择性地生成输出的检测器。焦平面阵列还包括多个参考单位单元。每个参考单位单元包括检测器和被配置成阻挡入射场景不被参考单位单元的检测器接收的结构。该成像系统还包括处理电路，其被配置为确定多个有效单位单元中的至少一个有效单位单元和/或多个参考单位单元中的至少一个参考单位单元的特性。处理电路还被配置为至少部分地基于该特性来确定焦平面阵列的状态。处理电路还被配置为传输焦平面阵列的状态的指示，以选择性地引起焦平面阵列的调整。
在一个或多个实施例中，一种方法包括接收包括数据和第一散列值的图像。该方法还包括基于该数据生成第二散列值。该方法还包括基于第一散列值和第二散列值确定图像的有效性。
本公开的范围由权利要求限定，权利要求通过引用并入本部分。通过考虑对一个或多个实施例的以下详细描述，将向本领域技术人员提供对本公开的实施例的更完整理解，以及实现其附加优点。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的一个或多个实施例的示例成像系统的框图。
图2A示出了根据本公开的一个或多个实施例的示例图像传感器组件的框图。
图2B示出了根据本公开的一个或多个实施例的示例图像传感器组件。
图3A、3B和3C分别表示了根据本公开的一个或多个实施例的固定模式噪声、随机噪声以及固定模式噪声和随机噪声的加权和的功率谱密度。
图4示出了示出根据本公开的一个或多个实施例的用于测量微测辐射热计电阻的电路的示例的电路图以及微测辐射热计的侧视图。
图5示出了根据本公开的一个或多个实施例的作为时间函数的测辐射热计的电阻变化的示例图。
图6示出了根据本公开的一个或多个实施例的有效单位单元的示例阵列和一个或多个参考单位单元的潜在位置。
图7示出了根据本公开的一个或多个实施例的示例图像帧格式。
图8示出了根据本公开的一个或多个实施例的用于促进监测成像设备的健康的过程的示例的流程图。
图9示出了根据本公开的一个或多个实施例的用于生成图像的过程的示例的流程图。
图10示出了根据本公开的一个或多个实施例的用于确定接收的图像的有效性的过程的示例的流程图。
通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。需要注意的是，各种部件的尺寸和这些部件之间的距离在图中并未按比例绘制。应当理解，相似的附图标记用于标识一个或多个图中所示的相似元件。
具体实施方式
下面阐述的详细描述旨在作为对本主题技术的各种配置的描述，并不旨在表示本主题技术可以在其中实践的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对主题技术的透彻理解的特定细节。然而，对于本领域技术人员来说清楚且显而易见的是，本主题技术不限于这里阐述的具体细节并且可以使用一个或多个实施例来实践。在一个或多个实例中，结构和部件以框图形式示出以避免模糊本主题技术的构思。本主题公开的一个或多个实施例由一个或多个图示出和/或结合一个或多个图进行描述并且在权利要求中阐述。需要注意的是，附图中各种部件的尺寸不一定按比例绘制。
在一个或多个实施例中，提供了各种系统和方法以促进监测成像设备的健康。成像设备可包括焦平面阵列(FPA)，其包括有效单位单元和参考单位单元。监测成像设备的健康可以基于成像设备的有效单位单元的特性和/或成像设备的参考单位单元的对应特性。作为一个示例，监测成像设备的健康状况可以基于有效单位单元的特性与参考单位单元的对应特性的比较，例如噪声特性的比较。在一些方面，由成像设备传输的图像帧可以利用促进包含在图像帧中的数据的验证的图像帧格式。
每个有效单位单元可以包括检测器(例如，也称为像素)。每个有效单位单元的检测器可以捕获入射场景的一部分并生成关联的输出。每个有效单位单元具有选择性地阻挡有效单位单元的检测器不接收入射在有效单位单元上的场景的结构(例如，快门、盖、罩、叶片)或其部分。在某些情况下，该结构向检测器提供/呈现均匀的场景。每个参考单位单元可以包括检测器和阻挡入射或外部辐射(例如热辐射)被检测器接收的结构(例如，快门、盖、罩、叶片)或其部分。在这点上，该结构阻挡检测器不接收入射在有效单位单元上的场景。在一些情况下，参考单位单元可以在包括有效单位单元的有效阵列之外并且行为类似于有效检测器，除了参考单位单元被屏蔽场景并因此实际上对场景不可见之外。因此，参考单位单元及其检测器可以分别被称为盲单位单元和盲检测器。在实施例中，每个有效单位单元和参考单位单元包括测辐射热计(例如，微侧辐射热计)作为它们的检测器。
在一些方面，成像设备可以是更大系统的一部分。在某些情况下，更大的系统可以包括一个或多个附加传感器。出于解释的目的，成像设备可用于机动载具(AV)的高级驾驶员辅助系统(ADAS)。在汽车行业中，成像系统可用于ADAS和AV，用于安全性关键的应用，例如制动、转向和加速。根据功能的关键性，汽车安全完整性等级(ASIL)有不同的评级。例如，ASIL评级可以通过故障的严重性、故障发生的概率以及检测和控制影响的能力来确定。应注意，虽然关于汽车行业描述了各种实施例，但成像设备可单独使用(例如，不是任何更大系统的一部分)或作为与汽车行业无关的一个或多个系统的一部分来使用。
在各种实施例中，故障检测可以被包括在成像设备中(例如，而不是在成像设备的下游实现故障检测算法)以减少故障检测时间间隔(FTDI)。成像设备中潜在故障的检测和将其传送到安全系统可以促进这样的故障的减轻并且可以允许主机(例如，ADAS主机系统或其用户)做出决定以评估和确保系统(例如，AV系统)的安全。
现在参考附图，图1示出了根据本公开的一个或多个实施例的示例成像系统100(例如，红外相机)的框图。然而，并非所有描绘的部件都需要，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。
根据本公开的实施例，成像系统100可用于捕获和处理图像。成像系统100可以表示检测电磁(EM)辐射的一个或多个范围(例如，频带)并提供表示性数据(例如，一个或多个静态图像帧或视频图像帧)的任何类型的成像系统。成像系统100可以包括至少部分地封闭成像系统100的部件的外壳，例如促进成像系统100的紧凑性和保护。例如，图1中标记为100的实线框可以表示成像系统100的外壳。外壳可以包含比图1中实线框内描绘的部件更多、更少和/或不同的成像系统100的部件。在实施例中，成像系统100可以包括便携式设备并且可以被结合到例如需要存储和/或显示图像的载具或非移动装置。载具可以是陆基载具(例如，汽车)、海基载具、飞行器(例如，无人驾驶飞行器(UAV))、太空载具或者一般地可以结合(例如，安装在其中、安装在其上等)成像系统100的任何其他类型的载具。在另一示例中，成像系统100可以通过一种或多种类型的安装件耦接到各种类型的固定位置(例如，家庭安全安装件、营地或户外安装件或其他位置)。
根据一个实施方式，成像系统100包括处理部件105、存储器部件110、图像捕获部件115、图像接口120、控制部件125、显示部件130、感测部件135和/或网络接口140。根据各种实施例，处理部件105包括处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、单核处理器、多核处理器、微控制器、可编程逻辑器件(PLD)(例如现场可编程门阵列(FPGA))、专用集成电路(ASIC)、数字信号处理(DSP)器件或可以通过硬连线、执行软件指令或两者的组合来配置成执行此处针对本公开的实施例讨论的各种操作的其他逻辑器件中的一个或多个。处理部件105可以被配置为与成像系统100的各种其他部件(例如，110、115、120、125、130、135等)连接和通信以执行这样的操作。例如，处理部件105可以被配置为处理从图像捕获部件115接收的捕获的图像数据，将图像数据存储在存储器部件110中，和/或从存储器部件110获取存储的图像数据。在一方面，处理部件105可以被配置为执行各种系统控制操作(例如，控制成像系统100的各种部件的通信和操作)和其他图像处理操作(例如，数据转换、视频分析等)。
在一个实施例中，存储器部件110包括一个或多个存储器设备，其被配置为存储数据和信息，包括红外图像数据和信息。存储器部件110可包括一种或多种不同类型的存储器设备，包括易失性和非易失性存储器设备，例如随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、非易失性随机存取存储器存储器(NVRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘驱动器和/或其他类型的存储器。如上所述，处理部件105可以被配置为执行存储在存储器部件110中的软件指令，以便执行方法和过程步骤和/或操作。处理部件105和/或图像接口120可以被配置为在存储器部件110中存储由图像捕获部件115捕获的图像或数字图像数据。处理部件105可以被配置为将经处理的静态和/或视频图像存储在存储器部件110中。在一些方面，存储器部件110可以包括可以用作用于确定成像系统100的健康的比较目的的参考点的信息。作为非限制性示例，该信息可以包括与图像检测器电路165关联的特性，例如功率谱密度、热时间常数等。
在一些实施例中，单独的机器可读介质145(例如，诸如硬盘驱动器、紧凑式盘、数字视频盘或闪存的存储器)可以存储软件指令和/或配置数据，其可以由计算机(例如，逻辑器件或基于处理器的系统)执行或访问以执行各种方法和操作，例如与处理图像数据关联的方法和操作。在一方面，机器可读介质145可以是便携式的和/或位于与成像系统100分离的位置，通过将机器可读介质145耦接到成像系统100和/或通过成像系统100从机器可读介质145下载(例如，经由有线链路和/或无线链路)，将存储的软件指令和/或数据提供给成像系统100。应当理解，各种模块可以集成在软件和/或硬件中作为处理部件105的一部分，其中，模块的代码(例如，软件或配置数据)被存储在例如存储器部件110中。
成像系统100可以表示成像设备，例如视频和/或静态相机，以捕获和处理场景160的图像和/或视频。在这点上，成像系统100的图像捕获部件115可以被配置为以特定频谱或模态捕获场景160的图像(例如，静态和/或视频图像)。图像捕获部件115包括图像检测器电路165(例如，热红外检测器电路)和读出电路170(例如，ROIC)。在一些方面，图像检测器电路165包括有效单位单元和参考单位单元。例如，图像捕获部件115可以包括IR成像传感器(例如，IR成像传感器阵列)，其被配置为检测近、中和/或远IR光谱中的IR辐射并且提供表示来自场景160的IR辐射的IR图像(例如，IR图像数据或信号)。例如，图像检测器电路165可以捕获(例如，检测、感测)具有在从约700nm到约2mm的范围或其一部分内的波长的IR辐射。例如，在一些方面，图像检测器电路165可以对(例如，更好地检测)短波IR(SWIR)辐射、中波IR(MWIR)辐射(例如，波长为2-5μm的EM辐射)和/或长波IR(LWIR)辐射(例如，波长为7-14μm的EM辐射)或任何期望的IR波长(例如，通常在0.7到14μm范围内)敏感。在其他方面，图像检测器电路165可以捕获来自EM频谱的一个或多个其他频带的辐射，例如可见光、紫外光等。
图像检测器电路165可以捕获与场景160关联的图像数据。为了捕获图像，图像检测器电路165可以检测场景160的图像数据(例如，以EM辐射的形式)并且基于场景160生成图像的像素值。图像可以被称为帧或图像帧。在一些情况下，图像检测器电路165可以包括检测器阵列(例如，也称为像素阵列)，其可以检测特定频带的辐射，将检测到的辐射转换成电信号(例如，电压、电流等)，并基于电信号生成像素值。阵列中的每个检测器可以捕获图像数据的相应部分并基于由检测器捕获的相应部分生成像素值。在一方面，每个检测器具有用于捕获图像数据的相应部分的有效区域。检测器的非有效区域可以指检测器的不是有效区域的任何部分。由检测器生成的像素值可以被称为检测器的输出。作为非限制性示例，每个检测器可以是光电检测器，例如雪崩光电二极管、红外光电检测器、量子阱红外光电检测器、微测辐射热计或能够将EM辐射(例如，特定波长的EM辐射)转换为像素值的其他检测器。检测器阵列可以布置成行和列。尽管本公开一般地涉及对行和/或列执行的各种操作，但是在适当情况下行可以被用作列并且列可以被用作行。
在一方面，成像系统100(例如，成像系统100的图像捕获部件115)可以包括一个或多个光学元件(例如，反射镜、透镜、分束器、光束耦合器等)以将EM辐射引导到图像检测器电路165。在一些情况下，光学元件可以至少部分地位于成像系统100的外壳内。
图像可以是或可以被认为是包括像素的数据结构并且是与场景160关联的图像数据的表示，其中，每个像素具有表示从场景的一部分发射或反射并由生成像素值的检测器接收的EM辐射的像素值。基于上下文，像素可以指图像检测器电路165的检测器，其生成关联的像素值或从生成的像素值形成的图像的像素(例如，像素位置、像素坐标)。
在实施例中，由图像检测器电路165生成的像素值可以根据基于从转换检测到的辐射获得的电信号生成的数字计数值来表示。例如，在图像检测器电路165包括或以其他方式耦接到ADC电路的情况下，ADC电路可以基于电信号生成数字计数值。对于可以使用14位表示电信号的ADC电路，数字计数值的范围可以从0到16383。在这样的情况下，检测器的像素值可以是从ADC电路输出的数字计数值。在其他情况下(例如，在没有ADC电路的情况下)，像素值本质上可以是模拟的，其值是或指示电信号的值。例如，对于红外成像，入射到图像检测器电路165(例如，IR图像检测器电路)上并被其检测到的更大量的IR辐射与更高的数字计数值和更高的温度关联。
图像检测器电路165可以耦接到读出电路170。读出电路170可以设置在由例如硅、碳化硅、砷化镓、锗或适合支持半导体器件的集成的任何其他材料形成的基板上。读出电路170可以用作检测图像数据的图像检测器电路165和处理由读出电路170读出的检测到的图像数据的处理部件105之间的接口，其中，通过图像接口120促进数据从读出电路170到处理部件105的传送。图像捕获帧速率可以指图像检测器电路165依序检测图像并通过读出电路170将图像提供给处理部件105的速率(例如，每秒图像数)。读出电路170可以根据积分时间(例如，也称为积分周期)读出由图像检测器电路165生成的像素值。在一些情况下，用于为图像检测器电路165的检测器生成数字计数值的ADC电路可以被实现为图像检测器电路165的一部分。在其他情况下，这样的ADC电路可以被实现为读出电路170的一部分。
在各种实施例中，图像检测器电路165和读出电路170的组合可以是、可以包括或可以一起提供FPA。在一些方面，图像检测器电路165可以是包括微测辐射热计阵列的热图像检测器电路，并且图像检测器电路165和读出电路170的组合可以被称为微测辐射热计FPA。在一些情况下，微测辐射热计阵列可以布置成行和列。微测辐射热计可以检测IR辐射并基于检测到的IR辐射生成像素值。例如，在一些情况下，微测辐射热计可以是热IR检测器，其检测热能形式的IR辐射并基于检测到的热能量生成像素值。微测辐射热计FPA可以包括IR检测材料，例如非晶硅(a-Si)、氧化钒(VOx)、它们的组合和/或其他检测材料。在一方面，对于微测辐射热计FPA，积分时间可以是或可以指示微测辐射热计被偏置的时间间隔。在这种情况下，较长的积分时间可以与较高的IR信号增益关联，但不会收集更多的IR辐射。可以通过微测辐射热计以热能的形式收集红外辐射。
在一些情况下，图像捕获部件115可以包括一个或多个滤波器，该滤波器适于通过一些波长的辐射但基本上阻挡其他波长的辐射。例如，图像捕获部件115可以是包括一个或多个滤波器的IR成像设备，该滤波器适于通过一些波长的IR辐射同时基本上阻挡其他波长的IR辐射(例如，MWIR滤波器、热IR滤波器和窄带滤波器)。在该示例中，这样的滤波器可用于定制图像捕获部件115以提高对期望IR波长带的灵敏度。在一方面，当IR成像设备针对捕获热IR图像被定制时，IR成像设备可以被称为热成像设备。其他成像设备，包括针对捕获热范围外的红外IR图像而定制的IR成像设备，可以被称为非热成像设备。
在一个特定的非限制性示例中，图像捕获部件115可以包括具有响应于包括近红外(NIR)、SWIR、MWIR、LWIR和/或极长波红外(VLWIR)辐射的检测器FPA的IR成像传感器。在一些其他实施例中，替代地或另外地，图像捕获部件115可以包括互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器，其可以在任何消费级相机(例如，可见光相机)中找到。
可以包含在图像捕获部件115中的其他成像传感器包括光子混合器器件(PMD)成像传感器或其他飞行时间(ToF)成像传感器、光检测和测距(LIDAR)成像设备、毫米成像设备、正电子发射断层扫描(PET)扫描仪、单光子发射计算机断层扫描(SPECT)扫描仪、超声成像设备或以特定模态和/或光谱操作的其他成像设备。值得注意的是，对于被配置为在特定模态和/或光谱(例如，红外光谱等)中捕获图像的这些成像传感器中的一些，例如，当与一般的基于CMOS或基于CCD的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像设备比较时，它们更易于产生具有低频阴影的图像。
由图像捕获部件115提供的图像或与图像对应的数字图像数据可以与相应的图像尺寸(也称为像素尺寸)关联。图像尺寸或像素尺寸通常是指图像中像素的数量，其可以例如表示为二维图像的宽度乘以高度或以其他方式适合于图像的相关尺寸或形状进行表示。因此，具有原始分辨率的图像可以被大小调整为更小的尺寸(例如，具有更小的像素尺寸)，以便例如降低处理和分析图像的成本。可以基于对调整大小的图像的分析来生成滤波器(例如，非均匀性估计)。然后，在应用于图像之前，可以将滤波器的大小调整为图像的原始分辨率和尺寸。
在一些实施例中，图像接口120可以包括适当的输入端口、连接器、开关和/或电路，其被配置为与外部设备(例如，远程设备150和/或其他设备)连接，以接收由外部设备生成或以其他方式存储在外部设备处的图像(例如，数字图像数据)。接收的图像或图像数据可以被提供给处理部件105。在这一点上，接收的图像或图像数据可以被转换成适合于由处理部件105处理的信号或数据。例如，在一个实施例中，图像接口120可以被配置为接收模拟视频数据并将其转换成合适的数字数据，以提供给处理部件105。
在一些实施例中，图像接口120可以包括各种标准视频端口，其可以连接到视频播放器、摄像机或能够生成标准视频信号的其他设备，并且可以将接收的视频信号转换成适合于由处理部件105处理的数字视频/图像数据。在一些实施例中，图像接口120还可以被配置为与图像捕获部件115接口连接并从图像捕获部件115接收图像(例如，图像数据)。在其他实施例中，图像捕获部件115可以直接与处理部件105接口连接。
在一个实施例中，控制部件125包括用户输入和/或接口设备，例如可旋转旋钮(例如，电位计)、按钮、滑杆、键盘和/或其他设备，其适于生成用户输入控制信号。处理部件105可以被配置为感测经由控制部件125来自用户的控制输入信号，并且响应从其接收的任何感测到的控制输入信号。如本领域技术人员通常理解的，处理部件105可以被配置为将这样的控制输入信号解释为值。在一个实施例中，控制部件125可以包括具有适于与用户交互并接收用户输入控制值的按钮的控制单元(例如，有线或无线手持控制单元)。在一个实施方式中，控制单元的按钮可用于控制成像系统100的各种功能，例如自动对焦、菜单启用和选择、视场、亮度、对比度、噪声过滤、图像增强和/或成像系统或相机的各种其他功能。
在一个实施例中，显示部件130包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的众所周知的视频显示器或监视器。处理部件105可以被配置为在显示部件130上显示图像数据和信息。处理部件105可以被配置为从存储器部件110获取图像数据和信息并在显示部件130上显示任何获取的图像数据和信息。显示部件130可以包括显示电路，处理部件105可以利用该显示电路来显示图像数据和信息。显示部件130可以适于直接从图像捕获部件115、处理部件105和/或图像接口120接收图像数据和信息，或者图像数据和信息可以经由处理部件105从存储器部件110传送。
在一个实施例中，感测部件135包括一个或多个各种类型的传感器，如本领域技术人员将理解的，这取决于应用或实现要求。感测部件135的传感器至少向处理部件105提供数据和/或信息。一方面，处理部件105可被配置为与感测部件135通信。在各种实施方式中，感测部件135可提供关于环境条件的信息，例如室外温度、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度水平、特定天气条件(例如，太阳、雨和/或雪)、距离(例如，激光测距仪或飞行时间相机)和/或是否进入或退出隧道或其他类型的封闭物。感测部件135可以表示如本领域技术人员公知的用于监测可能对图像捕获部件115提供的图像数据具有影响(例如，对图像外观)的各种条件(例如，环境条件)的常规传感器。
在一些实施方式中，感测部件135(例如，一个或多个传感器)可以包括经由有线和/或无线通信将信息中继到处理部件105的设备。例如，感测部件135可以适于通过本地广播(例如，射频(RF))传输、通过移动或蜂窝网络和/或通过基础设施(例如，交通或公路信息信标基础设施)中的信息信标或各种其他有线和/或无线技术从卫星接收信息。在一些实施例中，处理部件105可以使用从感测部件135获取的信息(例如，感测数据)来修改图像捕获部件115的配置(例如，调整光敏度水平、调整图像捕获部件115的方向或角度、调整光圈等)。
在一些实施例中，成像系统100的各种部件可以分布在网络155上并且彼此通信。在这点上，成像系统100可以包括网络接口140，其被配置为促进成像系统100的各种部件之间通过网络155的有线和/或无线通信。在这样的实施例中，如果成像系统100的特定应用需要，则部件也可以被复制。也就是说，被配置用于相同或相似操作的部件可以分布在网络上。此外，如果需要，可以使用通过网络155经由网络接口140与成像系统100的各种部件通信的远程设备150(例如，常规数字视频记录器(DVR)、被配置用于图像处理的计算机和/或其他设备)的部件来实现各种部件中的任一个的全部或部分。因此，例如，处理部件105的全部或部分、存储器部件110的全部或部分和/或显示部件130的全部或部分可在远程设备150处实现或复制。在一些实施例中，成像系统100可以不包括成像传感器(例如，图像捕获部件115)，而是从与处理部件105和/或成像系统100的其他部件位置分离和远离的成像传感器接收图像或图像数据。应当理解，在不脱离本公开的范围和精神的情况下，成像系统100的分布式实施方式的许多其他组合也是可能的。
此外，在各种实施例中，成像系统100的各种部件可根据需要或取决于应用或需求被组合和/或被实现或不被实现。在一个示例中，处理部件105可以与存储器部件110、图像捕获部件115、图像接口120、显示部件130、感测部件135和/或网络接口140组合。在另一示例中，处理部件105可以与图像捕获部件115组合，使得处理部件105的某些功能由图像捕获部件115内的电路(例如，处理器、微处理器、逻辑器件、微控制器等)执行。
图2A示出了根据本公开的一个或多个实施例的示例图像传感器组件200的框图。然而，并非所有描绘的部件都需要，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。在实施例中，图像传感器组件200可以是FPA，例如，被实现为图1的图像捕获部件115。
图像传感器组件200包括单位单元阵列205、列多路复用器210和215、列放大器220和225、行多路复用器230、控制偏置和定时电路235、数模转换器(DAC)240以及数据输出缓冲器245。单位单元阵列205包括单位单元的阵列。在一方面，每个单位单元可以包括检测器和接口电路。每个单位单元的接口电路可以响应于由单位单元的检测器提供的检测器信号(例如，检测器电流、检测器电压)而提供输出信号，例如输出电压或输出电流。输出信号可以指示由检测器接收的EM辐射的大小。列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可用于提供来自单位单元阵列205的输出信号作为数据输出线250上的数据输出信号。数据输出线250上的输出信号可以提供给图像传感器组件200下游的部件，例如处理电路(例如，图1的处理部件105)、存储器(例如，图1的存储器部件110)、显示设备(例如，图1的显示部件130)和/或促进输出信号的处理、存储和/或显示的其他部件。数据输出信号可以是由图像传感器组件200的像素值形成的图像。在这点上，列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以共同提供图像传感器组件200的ROIC(或其一部分)。
列放大器225通常可以表示适用于给定应用(模拟和/或数字)的任何列处理电路，并且不限于用于模拟信号的放大器电路。在这点上，在这样的方面，列放大器225可以更一般地称为列处理器。由列放大器225接收的信号，例如模拟总线上的模拟信号和/或数字总线上的数字信号，可以根据信号的模拟或数字性质进行处理。例如，列放大器225可以包括用于处理数字信号的电路。作为另一示例，列放大器225可以是来自单位单元阵列205的数字信号穿过以到达列多路复用器215的路径(例如，无处理)。作为另一示例，列放大器225可以包括用于将模拟信号转换为数字信号(例如，以获得数字计数值)的ADC。这些数字信号可以提供给列多路复用器215。
每个单位单元可以接收偏置信号(例如，偏置电压、偏置电流)以偏置单位单元的检测器从而补偿由于例如温度变化、制造差异和/或其他因素而导致的单位单元的不同响应特性。例如，控制偏置和定时电路235可以生成偏置信号并将它们提供给单位单元。通过向每个单位单元提供适当的偏置信号，可以有效地校准单位单元阵列205以响应入射在单位单元的检测器上的光(例如，IR光)来提供准确的图像数据。
在一方面，控制偏置和定时电路235可以生成偏置值、定时控制电压和开关控制电压。在一些情况下，DAC 240可以将作为数据输入信号线255上的数据输入信号或作为该数据输入信号的一部分而接收的偏置值转换成偏置信号(例如，模拟信号线260上的模拟信号)，其可以是通过列多路复用器210、列放大器220和行多路复用器230的操作而被提供给单独的单位单元。在另一方面，控制偏置和定时电路235可以生成偏置信号(例如，模拟信号)并在不使用DAC 240的情况下将偏置信号提供给单位单元。在这一点上，一些实施方式不包括DAC 240、数据输入信号线255和/或模拟信号线260。在实施例中，控制偏置和定时电路235可以是图1的处理部件105和/或图像捕获部件115、可以包括图1的处理部件105和/或图像捕获部件115、可以是图1的处理部件105和/或图像捕获部件115的一部分或可以以其他方式耦接到图1的处理部件105和/或图像捕获部件115。
在一个实施例中，图像传感器组件200可以被实现为成像系统(例如，100)的一部分。除了图像传感器组件200的各种部件之外，该成像系统还可以包括一个或多个处理器、存储器、逻辑、显示器、接口、光学器件(例如，透镜、反射镜、分束器)和/或可能适用于各种实施方式的其他部件。在一方面，数据输出线250上的数据输出信号可以提供给处理器(未示出)以进行进一步处理。例如，数据输出信号可以是由来自图像传感器组件200的单位单元的像素值形成的图像。处理器可以执行诸如非均匀性校正(NUC)、空间和/或时间滤波以及/或其他操作的操作。图像(例如，经处理的图像)可以存储在存储器(例如，在成像系统外部或本地)中和/或显示在显示设备(例如，在成像系统外部和/或与成像系统集成)上。
作为非限制性示例，单位单元阵列205可以包括512×512(例如，512行和512列的单位单元)、1024×1024、2048×2048、4096×4096、8192×8192和/或其他阵列大小。在一些情况下，阵列大小可以具有不同于列大小(例如，一列中的检测器数量)的行大小(例如，一行中的检测器数量)。帧速率的示例可以包括30Hz、60Hz和120Hz。在一方面，单位单元阵列205的每个单位单元可以表示一个像素。在一方面，单位单元阵列205可以包括有效单位单元和参考单位单元。在另一方面，单位单元阵列205可以仅包括有效单位单元。在这点上，参考单位单元(如果存在)可以被认为与单位单元阵列205分离。
在一个实施例中，图像传感器组件200的部件可以被实现为使得检测器阵列混合到(例如，结合到)读出电路。例如，图2B示出了根据本公开的一个或多个实施例的示例图像传感器组件265。然而，并非所有描绘的部件都需要，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的部件和/或更少的部件。在实施例中，图像传感器组件265可以是图像传感器组件200、可以包括图像传感器组件200或者可以是图像传感器组件200的一部分。
图像传感器组件265包括器件晶片270、读出电路275和触点280，以将器件晶片270接合(例如，机械和电接合)到读出电路275。器件晶片270可以包括检测器(例如，单位单元阵列205)。触点280可以将器件晶片270的检测器和读出电路275接合。触点280可以包括器件晶片270的检测器的导电触点、读出电路275的导电触点和/或检测器的导电触点和读出电路275的导电触点之间的金属接合部。例如，触点280可以包括形成在检测器上的触点层，以促进与读出电路275的耦接。在一个实施例中，器件晶片270可以使用接合凸块而凸块接合到读出电路275。接合凸块可以形成在器件晶片270和/或读出电路275上，以允许器件晶片270和读出电路275之间的连接。在一方面，将器件晶片270混合到读出电路275可以指将器件晶片270(例如器件晶片270的检测器)接合到读出电路275，以将器件晶片270和读出电路275机械和电结合。在一个实施例中，光屏蔽可以耦接到读出电路275的表面，以阻挡杂散光被器件晶片270的检测器捕获。
在一个或多个实施例中，提供了各种系统和方法以促进监测成像设备的健康。在一个实施例中，成像设备可以是图1的成像系统100、可以包括图1的成像系统100、或者可以是图1的成像系统100的一部分。成像设备可以包括FPA，其包括有效单位单元和参考单位单元。每个有效单位单元可以包括检测器。每个有效单位单元的检测器可以捕获入射场景的一部分并生成关联的输出。每个有效单位单元具有选择性地阻挡有效单位单元的检测器接收入射在有效单位单元上的场景的结构(例如，快门、盖、罩、叶片)或其部分。每个参考单位单元可以包括检测器和阻挡入射或外部辐射(例如热辐射)被检测器接收的结构(例如，快门、盖、罩、叶片)或其部分。在一些情况下，在芯片上，参考单位单元可以在包括有效单位单元的有效阵列之外并且行为类似于有效检测器，除了参考检测器被屏蔽场景并因此实际上对场景不可见之外。在实施例中，有效单位单元和参考单位单元包括辐射热计(例如，微辐射热计)作为它们的检测器。
在各种实施例中，监测成像设备的健康可以基于成像设备的有效单位单元的特性和/或成像设备的参考单位单元的特性。在一些方面，监测成像设备的健康可以基于将有效单位单元的特性与参考单位单元的对应特性进行比较。替代地或另外地，监测成像设备的健康可以基于将有效单位单元和/或参考单位单元的特性与先前确定且存储(例如，例如在工厂或现场执行的校准事件期间)的对应特性进行比较。在某些情况下，成像设备是更大系统(例如ADAS)的一部分。成像设备可以向系统指示(例如，发送消息、指示、警报)成像设备或其部件(例如，参考单位单元、有效单位单元)的健康，使得成像设备或其输出(例如，图像)的问题可以被相应地解决、减轻和/或处理。作为非限制性示例，当识别成像设备的潜在问题时，系统可以执行缓解动作，例如利用不同的成像设备对场景进行成像、关闭成像设备的电源直到可以修复成像设备、忽略由成像设备提供的场景的图像(例如，因为图像可能是场景的不准确表示)和/或其他动作。
出于说明的目的，成像设备是或包括红外成像设备，但是各种实施例可以应用于用于捕获红外波带之外的波带的图像的成像设备。关于红外成像设备，有效单位单元会对场景温度的变化(例如，微小变化)敏感。例如，对于辐射热计，辐射热计的电阻响应于场景温度的变化而变化。每个辐射热计的电阻变化可以通过FPA的ROIC转换成时分复用的电信号。各种类型的红外检测器依赖与周围环境的高热隔离来实现期望的性能水平(例如，期望的检测器灵敏度)。例如，为了实现期望的性能水平，有效单位单元与耦接到有效单位单元的ROIC和/或传感器腔内的对流热隔离。
在各个方面，由检测器阵列(例如，辐射热计阵列)和ROIC形成的FPA可以位于真空封装内，以提供有助于实现来自检测器阵列的期望灵敏度的高真空环境。由于各种因素，例如除气和/或泄漏，真空完整性会随着时间的推移而降低。例如，当丧失真空时，空气和/或其他气体会进入传感器腔并对检测器的热隔离产生不利影响。真空完整性的这样的降低会导致真空压力逐渐丧失，并从而导致FPA的灵敏度和整体性能降低。FPA的参考检测器被屏蔽入射或外部辐射，并且与有效检测器类似，与ROIC基板基本热隔离。有效检测器和参考检测器可以共享各种属性，例如在同一真空腔内操作、时间噪声属性和/或空间噪声属性。这样的属性的共享可允许将参考单位单元用于故障检测和补偿技术。因此，使用各种实施例，有效单位单元和参考单位单元之间的比较可用于监测成像设备的健康。
在一些实施例中，可以基于与有效检测器关联的噪声和与参考检测器关联的噪声来确定真空完整性。在这点上，可以监测和比较有效检测器的噪声特性和参考检测器的噪声特性，以确定真空完整性，并且从而确定包括有效检测器和参考检测器的成像设备的健康。在一些方面，噪声可以通过测量功率谱密度(PSD)来表征(例如，量化)。PSD可以包括固定模式噪声(FPN)和时间变化随机噪声(RND)。在噪声特性方面，真空的降低或丧失会降低或消除检测器的热隔离，因为检测器与环境腔热耦合，造成随着时间常数的增加，每个检测器的输出更均匀，并且时间RND噪声更低。当确定与有效检测器和/或参考检测器关联的真空水平已下降到阈值以下时，可能存在与有效检测器和/或参考检测器关联的故障。在其他情况下，可以利用表征噪声的其他方式。可以在校准期间确定噪声的PSD和/或其他特性。
在一方面，每个检测器可用于捕获帧并且这些帧用于计算/表征检测器的PSD。PSD的FPN和RND分量可以用各种方式表征。在一种情况下，可以使用二维(2D)离散余弦变换(DCT)来表征FPN分量和RND分量。作为示例，图3A、3B和3C使用大小为8×8的2D DCT来计算/表征FPN、RND、以及FPN和RND的加权和(例如，混合)的PSD。在图3C中，γPSD＝0.5。
在一些实施例中，为了获得FPN和RND，可以执行快门事件，其中，使用快门或类似结构来阻挡有效检测器(例如，有效辐射热计)不接收场景内容。因此，在快门事件期间，有效检测器被阻挡在场景之外，而参考检测器保持被阻挡在场景之外。如果需要，可以在校准时确定FPN和RND，并在每个快门事件期间改进FPN和RND。对于给定检测器，一旦检测器的PSD(例如，图3A-3C示例中的8×8矩阵)在工厂确定或以其他方式处于已知的检测器健康状态，则检测器的特性通常不会改变，只要检测器处于与检测器被表征的相同健康状态。在某些情况下，可以存储检测器的PSD以提供检测器的已知健康状态，以便在检测器的运行时间期间进行比较以在运行时间期间确定检测器是否仍处于健康状态。就这一点而言，在运行时间期间的给定时刻，可以确定PSD并将其与从校准确定的一个或多个历史性能进行比较，以确定检测器的健康。在某些情况下，快门事件可能是更大校准事件的一部分。在某些情况下，每个检测器的PSD可能在出厂前就已确定。例如，在离开工厂之前，检测器可用于捕获帧并基于捕获的帧计算/表征检测器的PSD。如果需要，可以随后在每个快门事件期间(例如，在现场执行)测量和改进每个检测器的PSD。
PSD可以在正常操作期间确定(例如，当结构没有阻挡有效检测器接收场景时)。在对真实世界场景进行成像时，有效检测器的PSD与对均匀场景(例如在校准事件或快门事件期间提供的场景)进行成像时的有效检测器的PSD不同。当有效检测器对真实场景进行成像时，盲检测器仍然被结构阻挡不接收场景，从而对场景不可见。在这一点上，参考检测器的PSD可用于表示均匀图像的已知状态。有效检测器的PSD在操作温度范围内随着背景信号的变化以及噪声随信号的大小变化而大小变化。可以在每一帧上计算参考检测器的PSD，以归一化有效检测器的PSD。参考检测器的PSD可以即时地(on the fly，例如，在现场运行时间期间)随温度提供有效检测器的噪声特性的校准。
在一些实施例中，可以实时利用与有效单位单元和参考单位单元关联的PSD并将其与关联于成像设备的历史PSD值进行比较以指示成像设备的健康。在一些方面，可以基于与有效单位单元关联的PSD与关联于参考单元的PSD的比较来确定成像设备的健康(例如，有效单位单元和/或参考单位单元的健康)。
在潜在故障模式的第一示例中，当有效检测器应当对真实场景(例如，不是用于校准目的的均匀场景)进行成像时，有效检测器具有与参考检测器的PSD相同(例如，匹配)或充分相似的PSD。这样的情况可以指示结构被卡住(例如，快门无法移出有效检测器的视场)、光学器件被遮挡和/或来自场景的信号不佳的指示。在成像设备是更大系统(例如，ADAS)的一部分的情况下，成像设备可以向系统指示(例如，发送消息、指示、警报)场景和/或成像设备捕获的场景的图像的质量可能较差，和/或可能存在有效检测器和/或参考检测器的问题。作为示例，在一方面，可以利用快门事件来确定纯噪声的PSD，其中，如果需要纯噪声PSD在校准时被测量并在每个快门事件期间被改进。如果捕获的信号与纯噪声没有区别，则有可能是快门卡在关闭状态、光圈被挡住、真空丧失、透镜破损、对焦不准、存在不利于成像的天气条件(例如，极端湿度)，否则有效检测器基本上是盲的。
相反，当结构(例如，快门、均匀叶片)在有效检测器上方关闭时，可以预期有效检测器具有类似于校准的特性并且在参考检测器的测量误差内。在故障模式的第二示例中，在校准事件和/或快门事件期间，有效检测器的PSD与参考检测器的PSD不同。在这种情况下，结构可能被卡住(例如，快门可能无法在有效检测器上方关闭)。作为利用参考检测器的示例，由于参考检测器不响应场景的变化，所以参考检测器中的偏移跟踪FPA的温度。在某些情况下，如果成像设备使用内部快门(例如，在光学器件和FPA之间)，则结构的温度也可以近似为FPA的温度。在快门事件期间，可以将来自参考检测器的偏移与有效检测器进行比较，并比较两个场的平均值。在正常状态(例如，非故障状态)下，两个场的平均值通常是相似的。如果两个场的变化超过阈值量，则有效单位单元的快门可能被卡在打开状态(例如，未在有效检测器上方关闭)。在成像设备是更大的系统(例如，ADAS)的一部分的情况下，成像设备可以向系统指示(例如，发送消息、指示、警报)有效检测器和/或参考检测器可能存在问题。
通常，检测器对信号变化(例如，IR辐射变化)的响应不是瞬时的。在检测器是测辐射热计的情况下，检测器的响应可以是响应于检测器接收的IR辐射的变化的电阻变化。作为示例，在测辐射热计阵列中，每个有效测辐射热计被配置为接收外部IR辐射并且与ROIC基板基本上热隔离。测辐射热计电阻随温度变化而变化，其中，电阻变化被ROIC测量并转换为信号。测辐射热计阵列通常对温度的微小变化敏感，通过测辐射热计与ROIC的热隔离和/或传感器腔内的对流促进了这样的敏感性。
作为示例，图4示出了示出根据本公开的一个或多个实施例的用于测量微测辐射热计电阻的电路的示例的电路图以及微测辐射热计的侧视图。然而，图4不是限制性的，并且本文公开的实施例可以应用于由于施加电偏压而表现出自热的各种各样的温度感测设备(例如，红外检测器)和关联的电路配置。因此，尽管在一个或多个实施例中可以讨论微测辐射热计作为特定实施方式示例，但是应当理解，本文公开的技术可以应用于各种各样温度感测设备和关联的配置。
如图4所示，电压(表示为V)施加在微测辐射热计405和电阻负载410的串联组合上。微测辐射热计405(例如，也称为有效微测辐射热计)与基板415热隔离并且接收入射红外辐射420，而电阻负载410可以是微测辐射热计(例如，也称为负载微测辐射热计)，与基板415热短接。基板415可以包括ROIC。作为示例，微测辐射热计405(例如，图4中所示的截面侧视图示例)通过腿430提供桥425，其中，腿430为桥425提供结构支撑、热隔离和到基板415的电连接。横跨微测辐射热计405测量输出电压(表示为Vout)，以确定微测辐射热计405的电阻。
对于微测辐射热计，例如微测辐射热计405，微测辐射热计的电阻随时间变化而变化。因此，红外图像的捕获基于对微测辐射热计电阻的测量。为了使捕获的IR图像准确地表示场景的红外辐射(例如，420)，微测辐射热计与ROIC和传感器腔内的对流热隔离。
在一些实施例中，可以利用热时间常数(TTC)来确定有效单位单元和/或参考单位单元的健康。测辐射热计的变化率的表征可由测辐射热计的TTC提供。TTC提供指示检测器改变到指示由检测器接收的信号的电阻水平所需的时间量的量度。当向测辐射热计提供瞬时信号时，测辐射热计电阻改变(1-1/e)(即约63％)的时间量就是测辐射热计的TTC。对于每个连续的TTC周期，测辐射热计的电阻相对于前一个TTC周期改变另一(1-1/e)。作为示例，测辐射热计的标称TTC可以是8毫秒。
作为示例，图5示出了根据本公开的一个或多个实施例的作为时间函数的辐射热计的电阻变化的示例图。在时间t＝0时，立即将100％的信号提供给微测辐射热计。在一个TTC过去后(表示为t＝τ)，微测辐射热计的电阻改变了(1-1/e)(例如，约63％)。在另一TTC过去后(表示为t＝2τ)，测辐射热计的电阻相对于t＝τ时的电阻改变了另一(1-1/e)。在图中，在t＝τ时，检测器电阻的变化指示测辐射热计接收的信号的约63％左右。在t＝2τ、3τ和4τ时，检测器电阻的变化指示测辐射热计接收的信号的约86.5％、95.0％和98.2％。
在一方面，检测器的TTC可以通过测量由于对检测器进行脉冲偏置的自热来确定。可以改变偏置(例如偏置电压和/或偏置占空比)以加热有效测辐射热计超过测辐射热计的正常自热并观察温度衰减。可以从温度衰减确定TTC。参考检测器不用于检测场景信息，而可用作与有效检测器处于同一真空中的检测器并可用于测量TTC。可以在成像设备的操作期间改变施加到成像设备的参考检测器的偏置，以便成像设备实时对每帧测量TTC并使TTC确定成像设备的真空是否已经降低或丧失。在一方面，真空压力的变化与TTC的成比例变化关联。用于脉冲偏置检测器的示例技术可以在美国专利第8,471,206号中找到，该专利的全部内容通过引用并入本文。
在实施例中，为了测量成像设备的健康，可以通过以帧速率与有效检测器同时读取参考检测器来以帧速率评估参考检测器的TTC和/或真空完整性。在另一实施例中，可以以比帧速率更快的速度评估TTC和/或真空完整性。在一些方面，参考单位单元相对于有效单位单元的定位可影响可评估TTC和/或真空完整性的速率。在基于行的读出架构的情况下，脉冲偏置技术可以一次应用于每行的盲检测器。主机(例如，ADAS或其用户)可以监测参考检测器的输出并确定温度衰减是否在标称操作范围内，以确定帧数据的其余部分是否已经在有效状态下被捕获。当确定成像设备健康时，帧数据可以被称为在有效状态下被捕获。对于不健康的成像设备，来自成像设备的帧数据可能是场景的不准确表示。
可以在成像设备的一个或多个位置中提供参考单位单元。作为示例，图6示出了根据本公开的一个或多个实施例的有效单位单元的示例阵列600(例如，也称为有效阵列)和一个或多个参考单位单元的潜在位置605、610、615和620。阵列600的有效单位单元通常对场景温度的变化(例如，微小变化)敏感。为了促进这种敏感性，阵列600可以与例如耦接到阵列600的ROIC和/或传感器腔内的对流热隔离。在一些实施例中，热隔离可以通过检测器通过ROIC上的细腿机械升高在类似桌台的结构(例如，类似台面的结构)上，并且被封装在真空中以防止通过气体颗粒传递热量的热对流来实现。在实施例中，阵列600和潜在位置605、610、615和620可以共同提供图2的单位单元阵列205，包括图2的单位单元阵列205、作为图2的单位单元阵列205的一部分。注意，潜在位置605、610、615和/或620，或潜在位置605、610、615和620中的任何一个都不包括一个或多个参考单位单元。还要注意，潜在位置605、610、615和/或620是作为非限制性示例提供的。替代地或另外地，一个或多个参考单位单元可以设置在另一位置。
潜在位置605是独立的并且远离阵列600。在这种情况下，脉冲偏置方法可以与阵列600和在潜在位置605处的一个或多个参考单位单元一起使用，来以帧速率确定真空健康。潜在位置610表示阵列600上方和/或下方的一行或多行参考单位单元。参考单位单元的行与阵列600(例如，阵列600的有效单位单元)共享基于行的读出架构。类似于在潜在位置605处设置参考单位单元，参考单位单元的行也将被限制为以帧速率读出。在一种情况下，潜在位置620可以包括与在潜在位置610处的参考单位单元一起读出的参考单位单元。
潜在位置615表示阵列600左侧和/或右侧的一列或多列参考单位单元。参考单位单元的列共享基于行的读出架构并且可以在每行的结尾读出。在一种情况下，潜在位置620可以包括与潜在位置615处的参考单位单元一起读出的参考单位单元。通过使用这样的参考列并以用于脉冲偏置方法的行速率(例如，帧速率除以阵列600的行数)测量成像设备的健康(例如，成像设备的真空完整性)，相对于以帧速率读取参考单位单元的情况，检测故障(例如，ADAS应用中的FTDI)的时间量可以发生得更快。
注意，前述是关于基于行的读出架构。在基于列的读出架构中，潜在位置610可以包括阵列600左侧和/或右侧的一列或多列参考单位单元，其中，阵列600和参考单位单元共享基于列的读出架构。当利用潜在位置610处的参考单位单元时，可以以帧速率发生对故障的检测。潜在位置615可以包括阵列600上方和/或下方的一行或多行参考单位单元。在这种情况下，可以基于读出盲行以列速率(例如，帧速率除以阵列600的列数)确定成像设备的健康。
在一些方面，主机(例如，ADAS或其用户)评估各种有效和/或参考单位单元。在一些方面，参考检测器的评估可由ROIC执行以将参考检测器的衰减率与具有已知衰减率的电路进行比较。在某些情况下，这样的评估可以作为实时测试模式和/或由ROIC提供。参考检测器可以被脉冲偏置，并且参考检测器的输出可以通过比较器。
作为示例，参考检测器可以被脉冲偏置并且与诸如6ms的第一阈值衰减率进行比较。在该示例中，如果TTC高于第一阈值衰减率，则可以在输出数据流中设置错误位(例如，错误标志)。替代地或另外地，可以将参考检测器与第二阈值衰减率(例如10ms)进行比较。如果TTC低于第二阈值衰减率，则可以在输出数据结构中设置单独的错误位。盲检测器的衰减可以与6ms和10ms的参考衰减进行比较。如果衰减超出参考衰减，则可以在传感器的输出数据中设置错误位。在ROIC(或成像设备的其他部件)处执行这样的评估时，主机可以不必比较来自参考检测器的实时数据，而是从ROIC(或成像设备的其他部件)查找状态位(例如，错误位状态)，这可以通过减少主机(例如，主机ADAS系统)处的处理时间来减少故障检测时间(例如，FTDI)。
一般而言，知道每次数据传输的(例如，成像设备的)数据的有效性是重要的。在各种实施例中，提供技术以促进这样的数据的有效性。在示例汽车应用中，数据传输可以从检测器(例如，测辐射热计)到图像处理电子设备、电子控制单元(ECU)、最终的ADAS决策器(例如，用于控制汽车的导航)，和/或任何中间数据切换。表1提供了示例图像帧格式，用于促进成像设备和ECU之间的数据验证。
表1：图像帧格式
Figure BDA0003463309360000241
其中，FC表示帧计数器，LC表示线计数器，STAT表示状态数据，TELE表示遥测线，VIDEOx表示来自成像设备的图像/视频数据行，其中x＝0,1,...,511,CRC表示校验和(例如，32位校验和)，并且PAD表示填充位(例如，32位零以保留8字节边界方案)。如表1所示，图像帧的第0线和第1线包括遥测数据，并且第2线到第513线包括图像/视频数据。例如，图像帧的第2线包括来自检测器阵列的第0行中的检测器的图像/视频数据，并且图像帧的第513线包括来自检测器阵列的第511行中的检测器的图像/视频数据。
在一些实施例中，可以在图像帧中提供(例如，注入)来自检测器的测试和元数据，以促进对成像设备的健康的监测。这样的数据及其验证可用于确定是否存在丢失的帧、延迟、等待时间和/或变化的帧速率。数据及其验证可用于确保成像设备和成像设备下游的部件(例如，ADAS系统的其他部件)正在处理给定时间的正确数据(例如，而不是过时的数据或以其他方式不同步的数据)。成像设备可以在由ROIC读出的同时对行内的每个检测器进行计数。这样的计数器值可以称为检测器计数器/数字或像素计数器/数字。可以将这样的计数器值附加到行(例如，与行关联的图像帧的数据)以及当前帧计数器/数字、当前线计数器/数字(例如，指示当前行计数器/数字)和元数据。当图像帧的线(例如，与行关联)完成时，可以对于该线计算散列值并将其附加到该线。在一方面，散列可以是循环冗余校验(CRC)。可以对于成像设备的检测器阵列的每行计算散列值，并将其嵌入数据输出(例如，图像帧)中。
作为示例，图7示出了根据本公开的一个或多个实施例的示例图像帧格式700。图像帧格式可用于汽车应用。具有图像帧格式700的图像帧包括线(例如，ECU遥测线或相机线)，其中每个线包括帧计数器(FC)、线计数器(LC)、像素计数器(PC)、元数据(Meta)和散列数据(HASH)。图像帧格式700包括指示ECU、成像设备(在图7中表示为相机)和成像设备的检测器(在图7中表示为传感器)的FC、LC、PC、元数据和散列的数据。Meta数据可以包括例如来自数据路径更上游的输入计数器和/或时间戳。对于每个线确定散列值(例如，CRC值)，表示为ECU线散列和相机线散列。注意，图7提供了一种示例图像帧格式。图像帧格式700的各个字段可以从图7所示的字段重新排序。其他图像帧格式可以包括附加的、更少的和/或不同的字段。
通过包括对于图像帧的每一线的相应散列值(例如，CRC)，成像设备可以计算图像帧的每一线(例如，与行关联)的预期散列值(基于图像帧中嵌入的不包括散列值本身的每一行的数据)，并将期望的散列值与嵌入的散列值进行比较，以确定来自成像设备的数据传输的有效性。散列值可用于验证嵌入图像帧中的各种计数器/数字的质量。在图像帧的每一线中提供的帧计数器可用于验证数据流是连续的，帧以正确的顺序被接收，和没有丢失或创建数据。还可以执行验证以确定存在正确数量的行、行的顺序正确和每行中存在正确数量的检测器。
在一些方面，嵌入图像帧中的元数据包括时间戳。时间戳提供了相对系统时钟，该相对系统时钟可由根据外部系统时钟运行的成像设备使用，以允许验证来自成像设备的帧之间的延迟和等待时间。这样的验证可以允许成像设备与更大系统(例如，汽车系统)的其他设备(例如，传感器)的准确同步，并且可以允许精确地确定来自成像设备的数据何时被获取、来自成像设备的延迟和/或等待时间。这样的验证与常规方法形成对比。在常规方法中，成像设备接收同步脉冲并且响应于接收的同步脉冲生成帧，但是成像设备无法及时确定哪个脉冲对应于哪个图像帧。
在一方面，时间戳和/或计数器可以被提供给ROIC(和/或其他相机电子设备)以用于ROIC(和/或其他ROIC电子设备)在传感器输出中编码。可以利用计数器来促进对帧的定时的监测，并且可以利用散列值来验证计数器。在某些情况下，时间戳标记或帧计数器可以提供给ROIC或其他相机电子设备，以帮助确保提供给主机的数据中不存在掉帧。在某些情况下，时间戳标记/计数器和CRC可以作为元数据(例如遥测数据)提供给主机，以帮助确保/验证系统健康。在某些情况下，传感器级时间戳(例如，每线或每帧)可用于与其他传感器同步。可以促进丢失帧、等待时间、帧速率变化和非期望延迟的检测。系统可以确定它在正确的时间对正确的数据进行操作，这有助于增强安全性。在一方面，汽车的主机或中央处理器可以向成像设备提供计数器或时间戳。成像设备可以对输入执行CRC或以其他方式标记输入并将CRC或其他标记嵌入成像设备输出的数据中。这样的主机提供的输入可以是提供给一个或多个其他传感器的相同计数器，这然后允许主机或汽车通过利用传感器和成像设备来确定通过整个系统的延迟和等待时间。
在一些实施例中，可以在图像帧中提供(例如，注入到图像帧中)已知的数字图案以促进成像设备的健康的验证。数字图案可以嵌入像素数据中。该图案可以嵌入来自有效像素和/或参考像素的数据中。这样的图案可以被相机电子设备分析并随后去除。在一方面，该图案可用于验证成像设备的健康并在数据被破坏时警告主机。在这点上，成像设备知道叠加在像素数据上的图案，并且预期能够在使用(例如，被提供以进行处理、存储和/或显示)图案之前从数据中去除图案。例如，相机电子设备可以监测图案并在图案改变时警告主机。在该示例中，如果在提取之后图案的一部分保留在图像中，则可以确定传感器存在问题。在一方面，这样的数字图案可以被称为数字水印。
在一方面，这样的数字图案可以在ADC之后提供。在ADC之后，传感器可以将图案叠加到图像数据上。图案可以是静态的或变化的图案。作为一个示例，图案可以在固定位置但随时间变化(例如，像时间戳一样)。作为另一示例，图案可以是固定的图案，其随着每一帧改变位置。例如，图案可以沿着每一帧滑动，使得对于每一帧，图案相对于前一帧移动一个像素。
图8示出了根据本公开的一个或多个实施例的用于促进监测成像设备的健康的过程800的示例的流程图。出于解释的目的，这里参考图1的成像系统100描述过程800；然而，过程800不限于图1的成像系统100的各种部件。注意，一个或多个操作可以根据需要被组合、省略和/或以不同的顺序执行。
在框805处，确定FPA(例如，成像系统100的FPA)的至少一个有效单位单元的特性和/或FPA的至少一个参考单位单元的特性(例如，通过成像系统100)。在某些情况下，该特性可以与FPA的真空完整性关联。作为非限制性示例，该特性可以是PSD(例如，FPN和/或RND分量)、热时间常数和温度衰减率。
在框810处，至少部分地基于该特性来确定(例如，由成像系统100)FPA的状态。作为一个示例，FPA的状态可以基于有效单位单元的特性(例如，PSD和/或真空完整性)与参考单位单元的对应特性的比较来确定。作为另一示例，可以基于有效单位单元的特性(例如，PSD)与先前确定并存储的对应特性(例如，在先前校准事件期间确定并存储供将来使用的PSD)的比较来确定FPA的状态。在一方面，FPA的状态可以是健康状态或不健康状态。
在框815处，传输FPA的状态的指示。作为示例，该指示可以被传输到包括FPA的成像系统100的另一部分和/或包括成像系统100的更大的系统，例如ADAS。在某些情况下，可以传输健康状态的指示以验证FPA被确定为正确操作。在某些情况下，不健康的指示可能表明可能需要对FPA执行缓解动作。当通过该指示识别和标记FPA的潜在问题时，可以执行缓解动作。作为非限制性示例，缓解动作可以包括利用不同的成像设备对场景进行成像、关闭成像设备的电源直到可以修复成像设备、忽略由成像设备提供的场景的图像(例如，由于图像可能是场景的不准确表示)和/或其他动作。
图9示出了根据本公开的一个或多个实施例的用于生成图像的过程900的示例的流程图。出于解释的目的，这里参考图1的成像系统100描述过程900；然而，过程900不限于图1的成像系统100的各种部件。注意，一个或多个操作可以根据需要被组合、省略和/或以不同的顺序执行。
在框905处，捕获与场景160关联的图像数据(例如，由图像检测器电路165)。在框910处，至少基于图像数据生成散列值(例如，由读出电路170或其他部件)。在一些情况下，进一步基于与生成图像数据的相应部分的图像检测器电路165的检测器关联的相应检测器标识符、当前帧号、当前线号、与图像数据的捕获时间关联的时间戳和/或数据图案(例如，水印)来生成散列值的至少子集。在图像检测器电路165包括检测器阵列的情况下，阵列的行可以与图像的线关联。在框915处，传输图像。图像包括图像数据、散列值和用于生成散列值的其他数据(例如，当前帧号、当前线号)。
图10示出了根据本公开的一个或多个实施例的用于确定接收的图像的有效性的过程1000的示例的流程图。注意，一个或多个操作可以根据需要被组合、省略和/或以不同的顺序执行。在实施例中，过程1000可以由包括或以其他方式耦接到成像系统100的ADAS系统执行。在框1005处，(例如，由ADAS系统)接收包括数据和第一散列值的图像。该数据可以包括图像数据和其他数据，例如检测器标识符、当前帧号、当前线号、与图像数据的捕获时间关联的时间戳和/或数据图案(例如，水印)。在框1010处，基于该数据生成第二散列值。在框1015处，基于第一散列值和第二散列值确定图像的有效性。如果第一散列值与第二散列值匹配，则可以确定图像是有效的并且可以(例如，由ADAS系统)使用图像数据和/或包含在其中的其他数据。如果第一散列值与第二散列值不匹配，则可以确定该图像无效。当确定图像无效时，可以执行后续处理，以确定图像中包含的数据是否可用。替代地或另外地，可以对生成图像的成像系统100执行故障排除和/或缓解动作(例如，修复)。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，本文中阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，在此阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。此外，在适用的情况下，可以预期软件部件可以实现为硬件部件，反之亦然。
根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还预期本文中标识的软件可以使用一个或多个通用或专用计算机和/或联网的和/或不联网的计算机系统来实现。在适用的情况下，这里描述的各个步骤的顺序可以改变、组合成复合步骤和/或分成子步骤以提供这里描述的特征。
上述描述并非旨在将本公开内容限制为所公开的精确形式或特定使用领域。上述实施例说明但不限制本发明。考虑到本发明的各种替代实施例和/或修改，无论在本文中明确描述还是暗示，都是可能的。因此，本发明的范围仅由随附的权利要求限定。

Claims (30)

1.一种方法，所述方法包括：
确定焦平面阵列(FPA)的至少一个有效单位单元和/或所述FPA的至少一个参考单位单元的特性，其中，所述至少一个有效单位单元包括被选择性地屏蔽入射场景的检测器，并且其中，所述至少一个参考单位单元包括被屏蔽所述入射场景的参考检测器；
至少部分基于所述特性确定所述FPA的状态；和
传输所述FPA的状态的指示，以选择性地引起所述FPA的调整。
2.根据权利要求1所述的方法，其中，所述指示作为包括指示所述入射场景的图像数据的图像的一部分被传输。
3.根据权利要求1所述的方法，其中，所述指示被传输到高级驾驶员辅助系统，以促进包括所述FPA的载具的操作。
4.根据权利要求1所述的方法，还包括：
基于至少部分地与所述入射场景关联的数据来生成散列值；
生成包括所述数据和所述散列值的图像；和
传输所述图像。
5.根据权利要求4所述的方法，其中，所述数据包括与所述至少一个有效单位单元关联的检测器标识符、帧号、与所述至少一个有效单位单元关联的线号、时间戳和/或水印。
6.根据权利要求1所述的方法，其中，所述特性指示与所述至少一个有效单位单元关联的真空完整性和/或与所述至少一个参考单位单元关联的真空完整性。
7.根据权利要求1所述的方法，其中，所述特性包括与所述至少一个参考单位单元关联的热时间常数。
8.根据权利要求1所述的方法，还包括：
向所述至少一个参考单位单元施加脉冲偏置信号；和
在所述施加之后确定与所述至少一个参考单位单元关联的温度衰减率，
其中，所述特性至少部分地基于所述温度衰减率。
9.根据权利要求8所述的方法，其中，所述温度衰减率由所述FPA的读出电路确定。
10.根据权利要求8所述的方法，其中，所述特性包括与所述至少一个参考单位单元关联的热时间常数。
11.根据权利要求8所述的方法，其中，所述FPA的状态基于所述温度衰减率是否低于第一阈值、高于第二阈值和/或在所述第一阈值和所述第二阈值之间。
12.根据权利要求1所述的方法，其中，所述特性包括当所述至少一个有效单位单元的检测器被屏蔽所述入射场景时与所述至少一个有效单位单元关联的功率谱密度和与所述至少一个参考单位单元关联的功率谱密度之间的差。
13.根据权利要求1所述的方法，其中，所述特性包括当所述至少一个有效单位单元的检测器不被屏蔽所述入射场景时与所述至少一个有效单位单元关联的功率谱密度和与所述至少一个参考单位单元关联的功率谱密度之间的差。
14.根据权利要求1所述的方法，还包括当所述至少一个有效单位单元的检测器不被屏蔽所述入射场景时确定与所述至少一个有效单位单元关联的功率谱密度，并且其中，所述特性包括所述功率谱密度与在所述FPA的校准期间确定的存储的功率谱密度之间的差。
15.根据权利要求1所述的方法，其中，所述特性由读出电路确定。
16.根据权利要求1所述的方法，其中：
每个有效单位单元包括选择性地捕获所述入射场景的检测器；并且
每个参考单位单元包括检测器和阻挡所述入射场景不被所述参考单位单元的检测器接收的结构。
17.一种方法，所述方法包括：
接收包括数据和第一散列值的图像；
基于所述数据生成第二散列值；和
基于所述第一散列值和所述第二散列值确定所述图像的有效性。
18.根据权利要求17所述的方法，其中，所述数据包括与有效单位单元关联的检测器标识符、帧号、与所述有效单位单元关联的线号、时间戳和/或水印。
19.根据权利要求17所述的方法，还包括至少基于所述第一散列值和所述第二散列值来确定丢失帧的存在、延迟、等待时间和/或非恒定帧速率，并且其中，所述图像的有效性至少基于丢失帧的存在、延迟、等待时间和/或非恒定帧速率。
20.一种成像系统，所述成像系统包括：
焦平面阵列(FPA)，所述焦平面阵列包括：
多个有效单位单元，其中，每个有效单位单元包括被配置为选择性地响应于入射场景生成输出的检测器；
多个参考单位单元，其中，每个参考单位单元包括检测器和被配置成阻挡入射场景不被所述参考单位单元的检测器接收的结构；以及
处理电路，所述处理电路被配置为：
确定所述多个有效单位单元中的至少一个有效单位单元和/或所述多个参考单位单元中的至少一个参考单位单元的特性；
至少部分地基于所述特性确定所述FPA的状态；和
传输所述FPA的状态的指示，以选择性地引起所述FPA的调整。
21.根据权利要求20所述的成像系统，其中，所述多个有效单位单元被布置在阵列的列和行中，并且其中，所述FPA还包括读出电路，所述读出电路被配置为与所述多个参考单位单元中的相应的一个或多个同时读取所述阵列的每一行。
22.根据权利要求20所述的成像系统，其中，所述指示被传输到高级驾驶员辅助系统，以促进包括所述成像系统的载具的操作。
23.根据权利要求20所述的成像系统，其中，所述处理电路还被配置为：
基于至少部分地与所述入射场景关联的数据生成散列值；
生成包括所述数据和所述散列值的图像；和
传输所述图像。
24.根据权利要求23所述的成像系统，其中，所述数据包括与所述至少一个有效单位单元关联的检测器标识符、帧号、与所述至少一个有效单位单元关联的线号、时间戳和/或水印。
25.根据权利要求20所述的成像系统，其中，所述特性指示与所述至少一个有效单位单元关联的真空完整性和/或与所述至少一个参考单位单元关联的真空完整性。
26.根据权利要求20所述的成像系统，其中，所述特性包括与所述至少一个参考单位单元关联的热时间常数。
27.根据权利要求20所述的成像系统，其中，所述处理电路被配置为响应于施加到所述至少一个参考单位单元的脉冲偏置信号来确定与所述至少一个参考单位单元关联的温度衰减率，并且其中，所述特性至少部分地基于所述温度衰减率。
28.根据权利要求20所述的成像系统，其中，所述特性包括与所述至少一个有效单位单元关联的功率谱密度和与所述至少一个参考单位单元关联的功率谱密度之间的差。
29.根据权利要求20所述的成像系统，其中，所述处理电路还被配置为确定当所述至少一个有效单位单元的检测器不被屏蔽所述入射场景时与所述至少一个有效单位单元关联的功率谱密度，并且其中，所述特性包括所述功率谱密度与在所述FPA的校准期间确定的存储的功率谱密度之间的差。
30.根据权利要求20所述的成像系统，其中，所述FPA还包括读出电路，并且其中，所述读出电路包括所述处理电路。
CN202080051523.2A 2019-05-17 2020-05-15 成像器健康监测系统和方法 Pending CN114175610A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962849479P 2019-05-17 2019-05-17
US62/849479 2019-05-17
PCT/US2020/033087 WO2020236567A1 (en) 2019-05-17 2020-05-15 Imager health monitoring system and method

Publications (1)

Publication Number Publication Date
CN114175610A true CN114175610A (zh) 2022-03-11

Family

ID=70977580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051523.2A Pending CN114175610A (zh) 2019-05-17 2020-05-15 成像器健康监测系统和方法

Country Status (3)

Country Link
EP (1) EP3942793A1 (zh)
CN (1) CN114175610A (zh)
WO (1) WO2020236567A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
US8471206B1 (en) * 2009-07-14 2013-06-25 Flir Systems, Inc. Infrared detector vacuum test systems and methods
CN103907342A (zh) * 2011-10-07 2014-07-02 菲力尔系统公司 利用阻隔红外传感器确定绝对辐射值
GB2515472A (en) * 2013-06-14 2014-12-31 Canon Kk Method for processing an image received over a radio network, to decide whether to discard the image from transmitting it to a target video application
US20150254813A1 (en) * 2012-07-16 2015-09-10 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
CN106797440A (zh) * 2014-08-20 2017-05-31 塞克热量股份有限公司 成像系统的操作偏置的自适应调整

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6444983B1 (en) * 1999-10-07 2002-09-03 Infrared Solutions, Inc. Microbolometer focal plane array with controlled bias
JP2005176232A (ja) * 2003-12-15 2005-06-30 Canon Inc アイソクロナス転送を使用する通信システム
CN204927290U (zh) * 2012-12-14 2015-12-30 菲力尔系统公司 具有分段式焦平面阵列的系统
US10677656B2 (en) * 2012-12-31 2020-06-09 Flir Systems, Inc. Devices and methods for infrared reference pixels
US9384520B2 (en) * 2013-06-21 2016-07-05 Signs & Wonders Unlimited, Llc System and method for encoding and authenticating a digital image
JP2015198343A (ja) * 2014-04-01 2015-11-09 日本放送協会 非圧縮デジタル映像信号を伝送する送信装置及び受信装置
US9826252B2 (en) * 2014-07-29 2017-11-21 Nxp Usa, Inc. Method and video system for freeze-frame detection
US9924116B2 (en) * 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
US10075704B2 (en) * 2015-05-20 2018-09-11 Semiconductor Components Industries, Llc Methods and apparatus for generating test and overlay patterns in image sensors
JP6953244B2 (ja) * 2017-09-07 2021-10-27 キヤノン株式会社 画像伝送装置およびその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220193A1 (en) * 2009-03-02 2010-09-02 Flir Systems, Inc. Systems and methods for processing infrared images
US8471206B1 (en) * 2009-07-14 2013-06-25 Flir Systems, Inc. Infrared detector vacuum test systems and methods
CN103907342A (zh) * 2011-10-07 2014-07-02 菲力尔系统公司 利用阻隔红外传感器确定绝对辐射值
US20150254813A1 (en) * 2012-07-16 2015-09-10 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
GB2515472A (en) * 2013-06-14 2014-12-31 Canon Kk Method for processing an image received over a radio network, to decide whether to discard the image from transmitting it to a target video application
CN106797440A (zh) * 2014-08-20 2017-05-31 塞克热量股份有限公司 成像系统的操作偏置的自适应调整

Also Published As

Publication number Publication date
WO2020236567A1 (en) 2020-11-26
EP3942793A1 (en) 2022-01-26
US20220217326A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US10598550B2 (en) Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor
US10110833B2 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
EP2923187B1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
Schimert et al. Advances in small-pixel, large-format α-Si bolometer arrays
Fièque et al. Uncooled amorphous silicon XGA IRFPA with 17μm pixel-pitch for high end applications
US20230040963A1 (en) Readout addressing verification systems and methods
US20230046320A1 (en) Non-uniformity correction calibrations in infrared imaging systems and methods
US20220187136A1 (en) Infrared imaging-related uncertainty gauging systems and methods
US12101459B2 (en) Imager health monitoring systems and methods
US20220217326A1 (en) Imager health monitoring systems and methods
EP4096216B1 (en) Temperature compensation in infrared imaging systems and methods
US20220141384A1 (en) Situational awareness-based image annotation systems and methods
EP4144080B1 (en) Imaging method and imaging device with unit cell selection verification
US20230160751A1 (en) Vacuum health detection for imaging systems and methods
CN114928692B (zh) 图像非均匀性减轻系统和方法
US12096143B2 (en) Burn-in mitigation and associated imaging systems and methods
US20230131678A1 (en) Imager verification systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: U.S.A.

Address after: California, USA

Applicant after: Taili Diane Ferrier business systems

Address before: California, USA

Applicant before: Flier business systems

Country or region before: U.S.A.

CB02 Change of applicant information