CN103828343B

CN103828343B - 基于行的图像处理和柔性存储系统

Info

Publication number: CN103828343B
Application number: CN201280037714.9A
Authority: CN
Inventors: D·W·达特; W·西埃赫; N·霍根斯特恩; T·R·赫尔特; K·斯特兰德玛; P·布朗热; B·夏普; E·A·库尔特
Original assignee: Flir Systems Inc
Current assignee: Teledyne Flir LLC
Priority date: 2011-06-10
Filing date: 2012-06-08
Publication date: 2017-07-11
Anticipated expiration: 2032-06-08
Also published as: US20140098237A1; US9538038B2; CN103828343A; EP2719166A2; WO2012170954A2; US9521289B2; WO2012170954A9; US20140092258A1; WO2012170954A3; EP2719166B1

Abstract

提供技术以实现热图像的基于行的处理和柔性存储系统。在一个实例中，可以将热图像帧的独立行提供到图像处理流水线。在图像处理流水线阶段可以对该独立行执行图像处理操作。存储系统可以用于在流水线阶段缓冲独立行。在另一实例中，存储系统可以用于在不依赖于单一共享总线的情况下在各种部件之间发送和接收数据。可以通过使用转换结构在不同总线上路由数据而在不同部件和存储系统的不同存储器之间执行数据传输。在另一实例中，存储系统可以在不需要部件和存储系统与同一时钟源完全同步的情况下，使用不同部件的不同时钟来支持数据传输。

Description

基于行的图像处理和柔性存储系统

相关申请的交叉引用

该申请要求2012年5月14日提交的名称为“LINE BASED IMAGE PROCESSING”的U.S.临时专利申请No.61/646,750的权益，在此通过参考将它的全部并入本文。

该申请要求2012年5月14日提交的名称为“FLEXIBLE MEMROY SYSTEM”的U.S.临时专利申请No.61/646,732的权益，在此通过参考将它的全部并入本文。

该申请要求2011年10月7日提交的名称为“NON-UNIFORMITY CORRECTIONTECHNIQUES FOR INFRARED IMAGING DEVICES”的U.S.临时专利申请No.61/545,056的权益，在此通过参考将它的全部并入本文。

该申请还要求2011年6月10日提交的名称为“INFRARED CAMERA PACKAGINGSYSTES AND METHODS”的U.S.临时专利申请No.61/495,873的权益，在此通过参考将它的全部并入本文。

该申请还要求2011年6月10日提交的名称为“INFRARED CAMERA SYSTEARCHITECTURES”的U.S.临时专利申请No.61/495,879的权益，在此通过参考将它的全部并入本文。

该申请还要求2011年6月10日提交的名称为“INFRARED CAMERA CALIBRATIONTECHNIQUES”的U.S.临时专利申请No.61/495,888的权益，在此通过参考将它的全部并入本文。

技术领域

本发明的一个或多个实施例通常涉及热成像装置，且尤其涉及例如热图像的处理。

背景技术

传统的图像处理一般需要显著的处理能力和大量存储资源。在这一点上，捕获的图像（例如，图像帧）可以包括很多像素，每个像素可以具有关联数据的许多位或者字节。结果，会需要大量的存储器来存储捕获的图像，而且会需要操作来对所有的许多像素执行处理以处理甚至单个捕获的图像。在不引入显著等待或者其它延迟的情况下，这些困难混合在需要捕获和处理连续图像的实时应用中。

可惜，基于传统框架的图像处理方法常常是有困难的。例如，满意地处理整个图像会需要强大的处理器。另外，这种处理器会依赖于集中存储系统以通过共享内存总线向大容量存储块反复地读取和写入图像数据。这种方法在处理器和存储系统的使用和操作中会导致处理延迟和瓶颈。

发明内容

根据在此进一步描述的实施例，提供多种技术来实现热成像的基于行的处理。在一个实施例中，可以将热图像帧的独立行（individual line）提供给图像处理流水线（image processing pipeline）。在进行图像处理流水线阶段可以对独立行执行图像处理操作。

还提供了多种技术以提供柔性存储系统。在一个实施例中，该存储系统在图像处理流水线的流水线阶段可以用于缓冲独立行。在另一实施例中，该存储系统可以用于在不依赖于部件之间的单个共享总线的情况下，在各个部件（例如，处理设备或者其它部件）之间发送和接收数据。例如，可以通过使用转换结构在不同总线上同时或基本上同时地路由数据，而在不同部件和存储系统的不同存储器之间实施数据传输。

在另一实施例中，在不要求部件和存储系统与同一时钟脉冲源完全同步的情况下，可以使用各个部件的不同时钟来实现数据传输以支持该存储系统。

在另一实施例中，一种方法包括接收包含多个独立行的热图像帧，其中每个独立行基本上包括由多个红外传感器捕获的整排或列的热图像数据；将热图像帧的每个独立行提供给基于行的图像处理流水线；在图像处理流水线阶段对独立行执行图像处理操作；和在流水线阶段缓冲该独立行。

在另一实施例中，红外成像模块包括适合接收包含多个独立行的热图像帧的传感器输入块，其中每个独立行基本上包括由多个红外传感器捕获的整排或列的热图像数据；包括基于行的图像处理流水线的处理设备，该基于行的图像处理流水线适合在图像处理流水线阶段对独立行执行图像处理操作，和适合在流水线阶段缓冲独立行的存储系统。

在另一实施例中，一种设备包括适合传输热图像数据的多个部件；连接部件的多个总线；和通过该总线连接部件的存储系统，该存储系统包括多个存储缓冲器，每个存储缓冲器包括：包含适合每次支持单一读取或者写入操作的单一接口的存储块，多个端口，其中使每个端口适合经由对应的一个总线与对应的一个部件通信，和转换结构块，其适合选择性耦合一个接口与存储块，以允许通过耦合的端口和单一接口在对应的一个部件和存储块之间传输至少一部分热图像数据。

在另一实施例中，一种操作存储系统和通过相应的总线连接存储系统的多个部件的方法包括操作转换结构以使存储缓冲器的第一端口与存储缓冲器的存储块耦合，其中存储块包括适合每次支持单一读取或者写入操作的单一接口，其中该存储缓冲器是存储系统的一部分；通过第一端口和通过该单一接口，经由第一总线在第一部件和存储块之间传输第一热图像数据；随后操作该转换结构以使存储缓冲器的第二端口与存储块耦合；和通过第二端口和通过该单一接口，经由第二总线在第二部件和存储块之间传输第二热图像数据。

本发明的范围由权利要求限定，通过参考将其并入该部分。通过考虑下面详细描述的一个或多个实施例，本领域技术人员将会更完全地理解本发明的实施例，还会认识到其附加优势。将参考首先简略描述的附图的附加页。

附图说明

图1示出了根据本公开的实施例的配置为在主机设备中实现的红外成像模块。

图2示出了根据本公开的实施例的装配好的红外成像模块。

图3示出了根据本公开的实施例的并置在插槽上方的红外成像模块的分解图。

图4示出了根据本公开的实施例的包括红外传感器阵列的红外传感器组件的方框图。

图5示出了根据本公开的实施例的确定非均匀校正（NUC）项的各种操作的流程图。

图6示出了根据本公开的实施例的邻近像素之间的差异。

图7示出了根据本公开的实施例的平场校正技术。

图8示出了根据本公开的实施例的图5的各种图像处理技术和在图像处理流水线中应用的其它操作。

图9示出了根据本公开的实施例的时域降噪过程。

图10示出了根据本公开的实施例的图6的图像处理流水线的几个过程的特定实现细节。

图11示出了根据本公开的实施例的邻近像素中的空间关连的FPN。

图12示出了根据本公开的实施例的处理模块的方框图。

图13示出了根据本公开的实施例的主存储器片（MMS）的方框图。

图14示出了根据本公开的实施例的虚拟行缓冲器（VLB）的方框图。

图15示出了根据本公开的实施例的与各种部件通信的一部分存储系统的方框图。

图16A-E示出了根据本公开的实施例的由存储系统和处理设备执行的各种操作。

通过参考随后的详细说明，最容易理解该发明的实施例和它们的优点。应该意识到，使用相同的附图标记来识别在一个或多个图中说明的相同的元件。

具体实施方式

图1示出了根据本公开的实施例的配置为在主机设备102中实现的红外成像模块100（例如，红外摄像机或红外成像设备）。对于一个或多个实施例，可以用小形状因素（small form factor）和根据晶圆级封装技术或者其它封装技术实现红外成像模块100。

在一个实施例中，可以配置红外成像模块100以在例如移动电话、平板电脑设备、笔记本电脑设备、掌上电脑、可见光摄像机、音乐播放器或者任何其它适合的移动设备的小型便携式主机设备102中实现。在这一点上，红外成像模块100可以用于为主机设备102提供红外成像特征。例如，可以配置红外成像模块100以捕获、处理和/或另外管理红外图像并将这种红外图像提供给主机设备102，用于以任何所希望的方式使用（例如，用于进一步处理，以存储在存储器中、显示、使用运行在主机设备102上的各种应用软件、传输到其它设备或其它用途）。

在各种实施例中，可以配置红外成像模块100以在低电压电平下和宽温度范围上操作。例如，在一个实施例中，红外成像模块100可以使用约2.4伏、2.5伏、2.8伏或者更低电压的电源操作，以及在约-20摄氏度到约+60摄氏度的温度范围内操作（例如，在约80摄氏度的环境温度范围上提供适当的动态范围和性能）。在一个实施例中，通过在低电压电平处理红外成像模块100，与其它类型的红外成像设备相比，红外成像模块100可以受到减少的自加热的量。结果，可以用减少的措施操作红外成像模块100以补偿这种自加热。

如图1所示，主机设备10可以包括插槽104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其它部件198。插槽104可以被配置成接收由箭头101标识的红外成像模块100。在这一点上，图2示出了根据本公开的实施例的插槽104中装配的红外成像模块100。

运动传感器194可以由可用于检测主机设备102运动的一个或多个加速度计、陀螺仪或者其它适当设备来实现。运动传感器194可以由处理模块160或者处理器195监控并向处理模块160或者处理器195提供信息以检测运动。在各种实施例中，运动传感器194可以实现为主机设备102（如图1所示）、红外成像模块100或者附接到或者以其它方式与主机设备102接口的其它设备的一部分。

处理器195可以实现为任何适当的处理设备（例如，逻辑设备、微控制器、处理器、专用集成电路（ASIC）或其它设备），其可以被主机设备102使用以执行诸如存储器196中提供的软件指令的适当指令。显示器197可以用于显示捕获的和/或处理的红外图像和/或其它图像、数据和信息。可以使用其它部件198来实现各种应用（例如，时钟、温度传感器、可见光摄像机或者其它部件）所需的主机设备102的任一特征。另外，可以提供机器可读介质193用于存储装入存储器196中的并由处理器195执行的非暂时性指令。

在各种实施例中，可以大规模生产实现红外成像模块100和插槽104，以促使高容量的应用，诸如在移动电话或者其它设备（例如需要小形状因素）中实现。在一个实施例中，当将红外成像模块100安装在插槽104中时，红外成像模块100和插槽104的组合的总尺寸可以为约8.5mm×8.5mm×5.9mm。

图3示出了根据本公开的实施例的并置在插槽104上方的红外成像模块100的分解图。红外成像模块100可以包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基底150和处理模块160。

透镜镜筒110可以至少部分包围经由透镜镜筒110中的光圈112在图3中部分可见的光学元件180（例如，透镜）。透镜镜筒110可以包括基本圆柱状的延伸部114，其可以用于使透镜镜筒110与外壳120中的光圈122连接。

可以实现红外传感器组件128，例如，具有安装在基底140上的帽盖130（例如，盖）。红外传感器组件128可以包括在基底140上以阵列或者其它形式实现的并且由帽盖130覆盖的多个红外传感器132（例如，红外探测器）。例如，在一个实施例中，可以将红外传感器组件128实现为焦平面阵列（FPA）。例如，可以将上述焦平面阵列实现为真空封装组件（例如，由帽盖130和基底140密封的）。在一个实施例中，可以将红外传感器组件128实现为晶圆级封装（例如，红外传感器组件128可以由晶片上提供的一组真空封装组件切单而成）。在一个实施例中，可以使用约2.4伏、2.5伏、2.8伏或者类似电压的电源实施红外传感器组件128以进行操作。

红外传感器132可以配置成检测来自包括例如在具体实现中所需的中波红外波段（MWIR）、长波红外波段（LWIR）和/或其它热成像波段的目标场景的红外辐射（例如，红外能量）。在一个实施例中，可以根据晶圆级封装技术提供红外传感器组件128。

红外传感器132可以实现为，例如，以任一所需的阵列图案排列的提供多个像素的微辐射探测仪或者其它类型的热成像红外传感器。在一个实施例中，可以将红外传感器132实现为像素间距为17μm的氧化钒（VOx）探测器。在各种实施例中，可以使用约32×32的红外传感器132、约64×64的红外传感器132、约80×64的红外传感器132的阵列或者其它阵列尺寸。

基底140可以包括各种电路，例如在一个实施例中包含尺寸小于约5.5mm×5.5mm的读出集成电路（ROIC）。当如图5A、5B和5C所示装配红外成像模块100时，基底140还可以包括可用于连接安置在外壳120内表面上的互补连接点的接合垫142。在一个实施例中，可以用低压差线性稳压器（LDO）实现ROIC，以执行电压调节从而减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比（PSRR）。而且，通过实现具有ROIC的LDO（例如，在晶圆级封装内），可以消耗较小的管芯面积并且需要较少的离散管芯（或者芯片）。

图4示出了根据本公开的实施例的包含红外传感器132阵列的红外传感器组件128的方框图。在该示例性的实施例中，提供红外传感器132作为ROIC402的部分单元阵列。ROIC402包括偏压产生定时控制电路404、列放大器405、列多路复用器406、排多路复用器408和输出放大器410。可以通过输出放大器410将由红外传感器132捕获的图像帧（例如，热图像）提供给处理模块160、处理器195和/或任何其它适当的部件以执行在此描述的各种处理技术。虽然图4中示出的是8×8阵列，但在其它实施例中可以使用任何所需的阵列结构。在2000年2月22日发布的U.S.专利No.6,028,309中可以找到ROIC和红外传感器（例如，微辐射探测仪）的进一步描述，在此通过参考将它的全部并入本文。

红外传感器组件128可以捕获图像（例如，图像帧）并以各种速率提供来自其ROIC的这种图像。处理模块160可以用于对捕获的红外图像进行适当的处理并且可以根据任何适当的结构实施。在一个实施例中，可以将处理模块160实现为ASIC。在这一点上，这种ASIC可以配置成高性能和/或高效率执行图像处理。在另一实施例中，处理模块160可以用通用中央处理器（CPU）来实现，其可以配置为执行适当的软件指令以执行图像处理、与各个图像处理块协调并执行图像处理、协调处理模块160和主机设备102之间的连接、和/或其它操作。在另一实施例中，可以用现场可编程门阵列（FPGA）实现处理模块160。如本领域技术人员将了解的，在其它实施例中，可以用其它类型的处理和/或逻辑电路实现处理模块160。

在这些和其它实施例中，还可以用适当的其它部件，如易失性存储器、非易失性存储器和/或一个或多个接口（例如，红外探测器接口、内部集成电路（I2C）接口、移动行业处理器接口（MIPI）、联合测试行动小组（JTAG）接口（例如，IEEE1149.1标准测试访问端口和边界扫描结构），和/或其它接口）来实现处理模块160。

在一些实施例中，红外成像模块100可以进一步包括一个或多个执行器199，其用于调整由红外传感器组件128捕获的红外图像帧的焦点。例如，执行器199可以用于相对于彼此移动光学元件180、红外传感器132和/或其它部件，以根据在此描述的技术选择性聚焦和散焦红外图像帧。可以根据任一类型的运动感应设备或者机构实现执行器199，并且由于适合不同应用可以将执行器199安置在红外成像模块100的内部或和外部的任何位置。

当装配红外成像模块100时，外壳120基本上可包围住红外传感器组件128、基底150和处理模块160。外壳120便于连接红外成像模块100的各个部件。例如，在一个实施例中，外壳120可以提供电连接126以连接进一步描述的各个部件。

当装配红外成像模块100时，电连接126（例如，导电路径、迹线或者其它类型的连接）可以与接合垫142电连接。在各种实施例中，可以将电连接126嵌入在外壳120中，提供在外壳120的内表面上，和/或以其他方式由外壳120提供。如图3所示，电连接126可以终止由外壳120的底表面伸出的连接124。当装配红外成像模块100时（例如，在各种实施例中外壳120可以搁在电路板170的顶上），连接124可以与电路板170连接。处理模块160可以通过适当的电连接与电路板170电连接。结果，经由例如由：接合垫142、外壳120内表面上的补充连接、外壳120的电连接126、连接124和电路板170提供的导电路径，可以使红外传感器组件128与处理模块160电连接。有利地，在不需要在红外传感器组件128和处理模块160之间提供的引线接合的情况下可以实现这种布置。

在各种实施例中，外壳120中的电连接126可以由任何的所需材料（例如，铜或者任何其它适当的导电材料）制成。在一个实施例中，电连接126可以帮助红外传成像模块100散热。

在其它实施例中可以使用其它连接。例如，在一个实施例中，传感器组件128可以经由用引线接合连接至传感器组件128和用球栅格阵列（BGA）连接至处理模块160的陶瓷板，连接到处理模块160。在另一实施例中，传感器组件128可以直接安装在刚柔性板上并且与引线接合电连接，并且处理模块160可以用引线接合或者BGA安装并且连接到该刚柔性板。

提供在此阐述的红外成像模块100和主机设备102的各种实现方式目的在于举例，而不是限制。在这一点上，在此描述的各种技术中的任一种都可以适用于执行红外/热成像的任何红外摄像机系统、红外成像仪或者其它装置。

可以将红外传感器组件128的衬底140安装在基底150上。在各种实施例中，基底150（例如，底座）可以由例如用金属注射成型（MIM）形成的并提供有黑氧化物或者镍涂层磨光的铜制成。在各种实施例中，基底150可以由给定应用所需的诸如锌、铝或镁的任意所需的材料制成，并且可以由特定应用所需的诸如铝铸造、MIM或者锌的快速铸造的任意所需的可应用工艺形成。在各种实施例中，基底150可以被实现为提供结构性支撑、各种电路路径、热的散热性质和适当的其它特征。在一个实施例中，基底150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可以接纳外壳120，因此可以物理支撑红外成像模块100的各种部件。在各种实施例中，可以将电路板170实现为印刷电路板（例如，FR4电路板或者其它类型的电路板）、刚性或者柔性互连（例如，带或者其它类型的互连）、柔性电路衬底、柔性塑料衬底或者其它适合的结构。在各种实施例中，可以用关于电路板170描述的各种特征和属性实现基底150，反之亦然。

插槽104可以包括配置成接收红外成像模块100的腔106（例如，如图2的装配图所示）。红外成像模块100和/或插槽104可以包括适合的片、臂、针、紧固件或者其它适合的接合组件，其可以用于利用摩擦、拉紧、粘合和/或任何其它适合的方式确保红外成像模块100固定到或处于插槽104的内部。插槽104可以包括当将红外成像模块100插入到插槽104的腔106中时可以接合外壳120的表面109的接合组件107。在其它实施例中可以使用其它类型的接合组件。

红外成像模块100可以经由适当的电连接（例如，触点、针、引线或者其它的适当连接）与插槽104电连接。例如，插槽104可以包括电连接108，其可以接触红外成像模块100的相应电连接（例如，电路板170的侧表面或底表面上的互连垫、触点或者其它电连接，基底150上的接合垫142或者其它电连接，或者其它连接）。电连接108可以由任何的所需材料（例如，铜或者任何其它适当的导电材料）制成。在一个实施例中，当将红外成像模块100插入到插槽104的腔106中时，可以机械偏压电连接108以压紧红外成像模块100的电连接。在一个实施例中，电连接108可以至少部分将红外成像模块100固定在插槽104中。在其它实施例中可以使用其它类型的电连接。

插槽104可以通过类似类型的电连接与主机设备102电连接。例如，在一个实施例中，主机设备102可以包括穿过孔径190与电连接108连接的电连接（例如，焊接头、咬合连接或者其它连接）。在各种实施例中，可以将这种电连接制作在插槽104的侧面和/或底面。

红外成像模块100的各种部件可以用倒装芯片技术实现，该技术可以用于将部件直接安装到电路板，而没有一般引线接合连接需要的附加空隙。作为实例，可以使用倒装芯片连接来减小红外成像模块100的整体尺寸，以在小而紧凑的小外形应用中使用。例如，在一个实施例中，可以利用倒装芯片连接将处理模块160安装到电路板170。例如，可以用这种倒装芯片结构实现红外成像模块100。

在各种实施例中，可以根据2010年7月27日提交的U.S.专利申请No.12/844,124和2011年3月30日提交的U.S.临时专利申请No.61/469,651中阐述的各种技术（例如，晶圆级封装技术）实现红外成像模块100和/或相关部件，通过参考将它们的全部并入这里。此外，根据一个或多个实施例，可以根据诸如在2008年12月30日发布的U.S.专利No.7,470,902、2000年2月22日发布的U.S.专利No.6,028,309、2004年11月2日发布的U.S.专利No.6,812,465、2006年4月25日发布的U.S.专利No.7,034,301、2010年3月16日发布的U.S.专利No.7,679,048、2008年12月30日发布的U.S.专利No.7,470,904、2008年9月2日提交的U.S.专利申请No.12/202,880和2008年9月2日提交的U.S.专利申请No.12/202,896中阐述的各种技术，实现、校准、检测和/或使用红外成像模块100和/或相关部件，通过参考将它们的全部并入这里。

再次参考图1，在各种实施例中，主机设备102可以包括快门105。在这一点上，当在那里安装红外成像模块100时，可以将快门105选择性布置在插槽104的上方（例如，用箭头103标识）。在这一点上，在不使用时，例如可以使用快门105来保护红外成像模块100。如本领域技术人员所了解的，快门105还可以用作用于红外成像模块100的部分校准化处理（例如，NUC处理或者其它校准处理）的温度参考。

在各种实施例中，快门105可以由诸如聚合物、玻璃、铝（例如，涂绘或者阳极氧化的）或者其它材料的各种材料制成。在各种实施例中，快门105可以包括一个或多个涂层以选择性过滤电磁辐射和/或调整快门105的各种光学性质（例如，均匀的黑体涂层或者反光的金涂层）。

在另一实施例中，可以将快门105安装在适当的位置以一直保护红外成像模块100。在这种情况下，快门105或者的快门105一部分可以由没有充分过滤所希望红外波长的适当的材料（例如，聚合物或者诸如硅、锗、硒化锌或者硫卤玻璃的红外透射材料）制成。在另一实施例中，如本领域技术人员所了解的，可以实现快门作为红外成像模块100的一部分（例如，在内部或者作为透镜镜筒的一部分或者红外成像模块100的其它部件）。

备选地，在另一实施例中，不需要提供快门（例如，快门105或者其它类型的外部或者内部快门），而不是利用无快门技术可以执行NUC处理或者其它类型的校准。在另一实施例中，可以结合以快门为基础的技术执行利用无快门技术的NUC处理或者其它类型的校准。

可以根据2011年6月10提交的U.S.临时专利申请No.61/495,873、2011年6月10提交的U.S.临时专利申请No.61/495,879和2011年6月10提交的U.S.临时专利申请No.61/495,888中阐述的各种技术中的任何一种技术实现红外成像模块100和主机设备102，通过参考将它们的全部并入这里。

在各种实施例中，主机设备102和/或红外成像模块100的部件可以实现为具有通过有线和/或无线网络彼此通信的部件的本地或者分布式系统。因此，可以通过特定实现方式中希望的本地和/或远程部件执行该公开中确定的各种操作。

图5示出了根据本公开的实施例的确定NUC项的各种操作的流程图。在一些实施例中，可以通过对由红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195（两者一般也都称为处理器）来执行图5操作。

在方框505，红外传感器132开始捕获场景的图像帧。通常，该场景是主机设备102当前所在位置的现实世界环境。在这一点上，可以打开快门105（如果任选地提供）以允许红外成像模块接收来自该场景的红外辐射。红外传感器132可以在图5所示的整个操作期间继续捕获图像帧。在这一点上，连续捕获的图像帧可以用于进一步论述的各种操作。在一个实施例中，捕获的图像帧可以在图5所示的操作中使用他们之前，被时域滤波（例如，根据关于图8在此进一步描述的方框826的操作）和被其它项（例如，关于图8在此进一步描述的工厂增益项812（factory gain term）、工厂偏移项816（factory offset term）、事先确定的NUC项817、列FPN项820和排FPN项824）处理。

在方框510，检测NUC处理发起事件。在一个实施例中，响应主机设备102的物体运动可以发起NUC处理。例如，可以通过处理器选定的运动传感器194检测这种运动。在一个实例中，用户可以特定的方式，例如以“清除”或者“挥击”运动来回有意地挥动主机设备102，来移动主机设备102。在这一点上，用户可以根据预定的速度和方向（速率），例如向上和向下，一侧到另一侧，或者其它图案来移动主机设备102以发起NUC处理。在该实例中，使用这种运动可以允许用户直观地操作主机设备102以模拟“清除”捕获图像帧中的噪声。

在另一实例中，如果运动超出阈值（例如，运动大于通常使用要求的），可以由主机设备102发起NUC处理。预期，主机设备102的任何所需类型的空间平移都可以用于发起该NUC处理。

在另一实例中，如果自事先执行的NUC处理起经过最短时间，可以由主机设备102发起NUC处理。在另外的实例中，如果自事先执行的NUC处理起红外成像模块100经历了最低温度变化，可以由主机设备102发起NUC处理。在另外的实例中，可以继续发起和重复NUC处理。

在方框515，在检测NUC处理发起事件之后，确定实际上是否应执行NUC处理。在这一点上，可以基于是否满足一个或多个附加条件选择性发起NUC处理。例如，在一个实施例中，除非自事先执行的NUC处理起经过最短时间，否则将不会执行NUC处理。在另一实施例中，除非自事先执行的NUC处理起红外成像模块100经历了最低温度变化，否则将不会执行NUC处理。在其它实施例中可以使用其它标准和条件。如果适当的标准和条件已被满足，则该流程图继续行至方框520。否则，该流程图返回到方框505。

在NUC处理中，可以使用模糊的图像帧来确定NUC项，其可以应用于捕获的图像帧来校准FPN。如所讨论的，在一个实施例中，可以通过积累移动场景的多个图像帧（例如，场景和/或热图像处于运动状态时捕获的）得到模糊的图像帧。在另一实施例中，可以通过使热成像仪的光学元件或其它部件散焦得到模糊的图像帧。

因此，在方框520中，提供了二择一方法的选择。如果使用基于运动的方法，则该流程图继续行至方框525。如果使用基于散焦的方法，则该流程图继续行至方框530。

现在参考基于运动的方法，在方框525中检测运动。例如，在一个实施例中，可以基于红外传感器132捕获的图像帧检测运动。在这一点上，可以将适当的运动检测操作（例如，图像记录处理、帧间差分计算或其它适当处理）应用于捕获的图像帧以确定是否存在运动（例如，是捕获了静止图像帧还是移动图像帧）。例如，在一个实施例中，可以确定连续图像帧的像素周围的像素或区域变化是否多于用户规定的量（例如，百分数和/或阈值）。如果给定百分数的像素已改变了至少用户定义的量，则将足够确定检测运动以继续行至方框535。

在另一实施例中，可以在每个像素基础上确定运动，其中仅积累呈现出显著变化的像素以提供模糊的图像帧。例如，可以为每个像素提供计数器，且其用于确保为每个像素积累相同数量的像素值，或者用于基于为每个像素实际积累的像素值的数量均分该像素值。可以执行其它类型的基于图像的运动检测，例如执行拉东变换。

在另一实施例中，可以基于由运动传感器194提供的数据检测运动。在一个实施例中，这种运动检测可以包括检测主机设备102是否沿着通过空间的相对笔直的轨迹移动。例如，如果主机设备102沿着相对笔直的轨迹移动，则可能成像场景中出现的某些物体不会非常模糊（例如，场景中的可以与笔直轨迹对准或者基本上平行于笔直轨迹运动的物体）。因此，在这样的实施例中，可以在呈现的或者未呈现的特定轨迹的主机设备102上调节由运动传感器194检测的运动。

在另一实施例中，可以使用运动检测操作和运动传感器194。因此，使用这些各种实施例中的任何一个，当至少部分场景和主机设备102彼此相对运动时（例如，其可以由主机设备102相对于场景移动，至少部分场景相对于主机设备102移动或者两者引起），可以确定是否捕获了每个图像帧。

由于红外传感器132的热时间常数（例如，微辐射探测仪热时间常数）与场景运动相互作用，期望运动被检测的图像帧可呈现一些中等模糊的捕获场景（例如，与该场景相关的模糊的热成像数据）。

在方框535，积累运动被检测的图像帧。例如，如果针对连续系列的图像帧检测运动，则会积累该连续的图像帧。作为另一实例，如果仅针对一些图像帧检测运动，则非移动图像帧在积累时会被略过并且不包括在内。因此，基于检测的运动，可选择积累连续或非连续的图像帧组。

在方框540，均分积累的图像帧以提供模糊的图像帧。因为在运动期间捕获了积累的图像帧，所以期望真实的场景信息会在该图像帧之间改变，从而导致该场景信息在最终的模糊的图像帧中被进一步模糊（方框545）。

相比之下，FPN（例如，由红外成像模块100的一个或多个组件引起的）在运动期间将保持至少短时间不变和场景辐射上保持固定于至少有限的改变。结果，在运动期间在紧密接近的时间和空间捕获的图像帧将经受相同的或者至少非常类似的FPN。因此，虽然场景信息可以改变连续的图像帧，但是FPN将基本上保持恒定。通过求平均值，在运动期间捕获的多个图像帧将会模糊场景信息，而不会模糊FPN。结果，在方框545中提供的模糊图像帧与场景信息相比，FPN将保持更清晰。

在一个实施例中，在方框535和540中积累并均分32或更多图像帧。然而，在其它实施例中可以使用任何所需数量的图像帧，但在减小帧数量时通常会降低校正精度。

现在参考基于散焦的方法，在方框530，可以执行散焦操作以有意地使由红外传感器132捕获的图像帧散焦。例如，在一个实例中，可以使用一个或多个执行器199来调整、移动或以其他方式平移光学元件180、红外传感器组件128和/或红外成像组件100的其它组件，以使红外传感器132捕获场景的模糊的（例如，未聚焦的）图像帧。还可以考虑其它基于非执行器的技术，用于有意地使红外图像帧散焦，例如手动（例如，用户发起的）散焦。

虽然在图像帧中场景会显得模糊，但是FPN（例如，由红外成像模块100的一个或多个组件引起的）将通过散焦操作保持不受影响。结果，场景的模糊图像帧将被提供有在模糊的图像中比场景信息保持明显更清楚的FPN（方框545）。

在以上论述中，已就单一捕获的图像帧描述了基于散焦的方法。在另一实施例中，该基于散焦的方法可以包括在使红外成像模块100散焦时积累大量的图像帧，并且均分该散焦的图像帧以去除暂时噪声的影响并在方框545提供模糊的图像帧。

因此，将意识到，通过基于运动的方法或基于散焦的方法都可以在方框545中提供模糊的图像帧。由于通过运动、散焦或者两者都将会使大量的场景信息模糊，因此模糊的图像帧可以被有效地认为是关于场景信息最初捕获的图像帧的低通滤波形式。

在方框550，处理模糊的图像帧以确定更新的排和列FPN项（例如，如果排和列FPN项不是事先确定的，则在方框550的第一循环中更新的排和列FPN项可以是新的排和列FPN项）。如在该公开中使用的，可以依据红外传感器132的定位和/或红外成像模块100的其它部件交换地使用术语排和列。

在一个实施例中，方框550包括为每排模糊的图像帧确定空间FPN校正项（例如，每排可以具有其自有的空间FPN校正项），并且还为每列模糊的图像帧确定空间FPN校正项（例如，每列可以具有其自有的空间FPN校正项）。这种处理可以用于减小空间和缓慢改变由例如在图像帧中显示为垂直和水平线条的ROIC402中的放大器的1/f噪声特性所引起的热成像仪中固有的(1/f)排和列FPN。

有利地，通过使用模糊的图像帧确定空间排和列FPN项，将会减小真实成像场景中的垂直和水平目标被误认为是排和列噪声的风险（例如，当FPN保持不模糊时，真实场景内容将是模糊的）。

在一个实施例中，可以通过考虑模糊图像帧的邻近像素之间的差异确定排和列FPN项。例如，图6示出了根据本公开的实施例的邻近像素之间的差异。具体地，在图6中将像素610与它的8个最临近的水平近邻：d0-d3在一侧和d4-d7在另一侧，相比。可以平均邻近像素之间的差异以得到所示例性的像素组的偏移误差的估计值。可以为排或列中的每个像素计算偏移误差，并且平均结果可以用于校正整个排或列。

为了防止真实场景数据被理解为噪声，可以使用上和下阈值（thPix和-thPix）。不使用落在这些阈值之外的像素值（在该实例中为像素d1和d4）来获得偏移误差。另外，排和列FPN校正的最大量可以由这些阈值限制。

在2009年3月2日提交的U.S.专利申请No.12/396,340中，提出了执行空间排和列FPN校正处理的进一步技术，通过参考将它的全部并入本文。

再次参考图5，存储（方框552）在方框550中确定的更新的排和列FPN项并将其应用于（方框555，例如，可以应用全部项和/或估计值）在方框545中提供的模糊的图像帧。应用这些项之后，可以减少模糊图像帧中的一些空间排和列FPN。然而，由于这些项一般被应用于排和列，所以附加的FPN可以保持，诸如与像素偏移相关的空间非关联FPN或者其它原因。空间关联的FPN的邻近区域也可以保持其不与独立排和列直接相关。因此，如下所述可以执行进一步的处理以确定NUC项。

在方框560，确定模糊图像帧中的本地对比度值（例如，邻近的或小的像素组之间的梯度的边缘或绝对值）。如果模糊的图像帧中的场景信息包括不明显模糊的对比区域（例如，原始场景数据中的高的对比边缘），这种特征可以用方框560中的对比确定处理来确定。

例如，可以计算模糊图像帧中的本地对比度值，或者可以应用任何其它所需类型的边缘检测处理来识别模糊图像中的某些像素作为本地对比区域一部分。可以将以该方式标记的像素看作是包含解释为FPN的过高空间频率的场景信息（例如，这种区域可以对应于不明显模糊的部分场景）。同样，这些像素可以被排除用在NUC项的进一步确定中。在一个实施例中，这种对比检测处理可以依赖于比与FPN相关的期望的对比度值高的阈值（例如，呈现出对比度值比阈值高的像素可以被认为是场景信息，并且比阈值小的像素被认为是呈现的FPN）。

在一个实施例中，可以在排和列FPN项应用于模糊图像帧之后，对模糊图像帧执行方框560的对比度确定（例如，如图5所示）。在另一实施例中，在排和列FPN项被确定之前（例如，为了防止基于反差的场景影响该项的确定），可以在方框550之前执行方框560以确定对比度。

方框560之后，期望模糊图像帧中保持的任何高空间频率内容一般可归于空间非关联FPN。在这一点上，在方框560之后，由于有意模糊图像帧（例如，通过方框520至545的运动或散焦）、应用排和列FPN项（方框555）和对比度确定（方框560），将基于大量的其它噪声或真实期望场景的信息从模糊图像帧除去或排除。

因此，期望在方框560之后，任何保持的高空间频率内容（例如，呈现为对比区域或模糊图像帧的差异）可归因于空间非关联FPN。因此，在方框565中，模糊的图像帧被高通滤波。在一个实施例中，这可以包括应用高通滤波器以从模糊图像帧提取高空间频率内容。在另一实施例中，这可以包括对模糊图像帧应用低通滤波器和获得低通滤波的图像帧与没有滤波的模糊图像帧之间的差异以得到高空间频率内容。根据本公开的各种实施例，高通滤波器可以通过计算传感器信号（例如，像素值）及其邻近的传感器信号之间的平均差来实现。

在方框570中，对高通滤波的模糊图像帧执行平场校正处理，以确定更新的NUC项（例如，如果不事先执行NUC处理，则在方框570的第一循环中该更新的NUC项可以是新的NUC项）。

例如，图7示出了根据该公开的实施例的平场校正技术700。在图7中，对于模糊图像帧的每个像素710可以使用其邻近像素712至726的值确定NUC项。对于每个像素710，可以基于各个相邻像素值之间的绝对值差确定几个梯度。例如，在像素712和714（左到右斜线梯度）、像素716和718（上到下垂直梯度）、像素720和722（右到左斜线梯度）以及像素724和726（左到右水平梯度）之间可以确定绝对值差。

可以将这些绝对差加起来以给像素710提供总梯度。可以给像素710确定与总梯度成反例的加权值。可以对模糊图像帧的所有像素710执行该处理，直到给每个像素710提供加权值。对于低梯度的区域（例如，模糊的或具有低对比度的区域），该加权值将接近1。反之，对于高梯度的区域，该加权值将会是零或接近于零。将通过高通滤波器估算的NUC项的更新与加权值相乘。

在一个实施例中，通过对NUC项确定处理施加一定量的时间衰减，可以进一步减小将场景信息引入到NUC项的危险。例如，可以选择0和1之间的时间衰减因数λ，使得存储的新NUC项(NUC_NEW)是旧NUC项(NU_COLD)和估算的更新NUC项(NUC_UPDATE)的加权平均值。在一个实施例中，其可以表示为NUC_NEW=λ·NU_COLD+(1-λ)·(NU_COLD+NUC_UPDATE)。

虽然关于梯度已描述了NUC项的确定，但如果合适的话可代替地使用本地对比度值。也可以使用其它的技术，例如，标准偏差计算。可以执行其它类型的平场校正操作，以确定包括例如在2000年2月22日发布的U.S.专利No.6,028,309和2008年5月5日提交的U.S.专利No.12/114,865中识别的各种操作的NUC项，将它们的全部作为参考并入本文。

再次参考图5，方框570可以包括NUC项的附加处理。例如，在一个实施例中，为了保存场景信号均值，可以通过从每个NUC项减去该NUC项均值来使所有NUC项的总和标准化为零。此外，在方框570中，为了避免排和列噪声影响NUC项，可以从用于每排和列的NUC项减去每排和列的平均值。结果，在将NUC项应用于捕获的图像之后（例如，在此进一步阐述的方框580中），使用方框550中确定的排和列FPN项的排和列FPN滤波器可以在进一步的循环中更好地过滤出排和列噪声（例如，如图8进一步所示的）。在这一点上，排和列FPN滤波器通常采用更多的数据计算每排和每列偏移系数（例如，排和列FPN项），并且因此，与基于高通滤波以捕获空间非关联噪声的NUC项相比，可以提供更强大的备选方案用于减小空间关连的FPN。

在方框571-573，可选择执行附加的高通滤波和进一步确定更新的NUC项，以用比由排和列FPN项事先移除的更低的空间频率移除空间关连的FPN。在这一点上，红外传感器132或红外成像模块100的其它部件的一些变化会导致不易被模仿为排或列噪声的空间关连的FPN噪声。例如，这种空间关连的FPN可以包括例如在传感器封装或与邻近红外传感器132相比差异地响应辐照度的一串红外传感器132上的窗口缺陷。在一个实施例中，这种空间关连的FPN可以用偏差校正来缓和。如果这种空间关连的FPN的数量相当大，则该噪声也能在模糊的图像帧中检测到。由于这种类型的噪声可能会影响邻近的像素，所以具有小核的高通滤波器可以不检测邻近的FPN（例如，可以从邻近的受影响的像素获得高通滤波器中使用的所有值，并因此会受到相同偏移误差的影响）。例如，如果用小核执行方框565的高通滤波（例如，考虑落入受空间关连的FPN影响的邻近像素内的仅直接相邻的像素），则不会检测广泛分布的空间关连的FPN。

例如，图11示出了根据本公开的实施例的邻近像素中的空间关连的FPN。如样本图像帧1100所示，邻近像素1110可以呈现出与独立排和列没有精确相联的且分布在邻近的几个像素（例如，在该实例中约4×4邻域）上方的空间关连的FPN。样本图像帧1100还包括显示出滤波计算时没有使用的基本一致响应的一组像素1120，和用于估算邻近像素1110的低通值的一组像素1130。在一个实施例中，像素1130可以是能被2除尽的多个像素，以促进有效的硬件或者软件计算。

再次参考图5，在方框571-573，可选地执行附加的高通滤波和进一步确定更新的NUC项，以去除例如由像素1110呈现出的空间关连的FPN。在方框571，将方框570中确定的更新的NUC项应用于模糊的图像帧。因此，在这时，该模糊的图像帧将被最初校正用于空间相联的FPN（例如，通过在方框555中应用更新的排和列FPN项），并且还被最初校正用于空间非关联的FPN（例如，通过应用在方框571中的更新的NUC项的应用）。

在方框572，应用具有比方框565中使用的核更大的另外的高通滤波器，并且可以在方框573中确定进一步更新的NUC项。例如，为了检测像素1110中存在的空间关连的FPN，在方框572中应用的高通滤波器可以包括来自足够大的邻近像素的数据，使得可以确定不受影响的像素（例如，像素1120）和受影响的像素（例如，像素1110）之间的差异。例如，可以使用具有大核的低通滤波器（例如，比3×3像素更大的N×N核），并且可以减去该结果以执行适当的高通滤波。

在一个实施例中，为了计算效率，可以使用稀疏的核，使得仅使用N×N邻域内的少量邻近像素。对于使用远距离邻近（例如，大核）的任何给出的高通滤波操作，存在模拟真实（可能模糊的）场景信息作为空间关连的FPN的危险。困此，在一个实施例中，对于在方框573中确定的更新的NUC项，可以将时间衰减因数λ设置得接近1。

在各种实施例中，可以重复（例如，级联）方框571-573以反复执行具有增大的核尺寸的高通滤波，来提供进一步更新的NUC项对所希望的邻近尺寸的空间关连的FPN进一步校正。在一个实施例中，可以通过空间关连的FPN是否已被方框571-573事先执行的更新的NUC项真正移除，来确定执行这种循环的判定。

在方框571-573完成之后，关于是否对捕获的图像帧应用更新的NUC项作出判定（方框574）。例如，如果整个图像帧的NUC项的绝对值的平均数小于最小阈值，或者大于最大阈值，则可以断定NUC项提供有意义的校正不合逻辑或不可能。备选地，阈值标准可以应用于个别像素以确定哪些像素接收更新的NUC项。在一个实施例中，阈值可以对应于最新计算的NUC项和事先计算的NUC项之间的差。在另一实施例中，阈值可以与事先计算的NUC项无关。可以应用其它测试（例如，空间相关测试）来确定是否应当应用NUC项。

如果断定NUC项提供有意义的校正不合逻辑或不可能，则流程图返回到方框505。否则，存储最新确定的NUC项（方框575）以代替先前的NUC项（例如，由图5事先执行的循环确定）并将其应用于（方框580）捕获的图像帧。

图8示出了根据本公开的实施例的图5的各种图像处理技术和图像处理流水线800中应用的其它操作。在这一点上，在用于校正由红外成像模块100提供的图像帧的整个反复图像处理方案的环境中，流水线800识别图5的各种操作。在一些实施例中，流水线800可以通过处理模块160或处理器195（两者通常也称为处理器）对由红外传感器132捕获的图像帧进行处理来提供。

可以将由红外传感器132捕获的图像帧提供给集成多个图像帧的帧平均器804以提供具有改良的信噪比的图像帧802。可以通过用来支持高图像捕获速率的红外传感器组件128的红外传感器132、ROIC402和其它部件有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率（例如，每秒240个图像）捕获红外图像帧。在该实施例中，例如，可以通过以相对低的电压（例如，与移动电话电压兼容的）处理红外传感器组件128和通过使用相对小阵列的红外传感器132（例如，在一个实例中的64×64阵列的红外传感器），实现这种高帧速率。

在一个实施例中，这种红外图像帧可以高帧速率（例如，240Hz或其它帧速率）从红外传感器组件128提供给处理模块160。在另一实施例中，红外传感器组件128可以在较长时间周期或多个时间周期内集成，以便以更低的帧速率（例如，30Hz、9Hz或其它帧速率）给处理模块160提供集成的（例如，平均的）红外图像帧。在先前引用于此的U.S.临时专利申请No.61/495,879中，可以找到有关可用于提供高图像捕获速率的实现的进一步信息。

图像帧802继续穿过流水线800，其中它们通过各种项调节、时域滤波以及附加处理。在方框810和814中，将工厂增益项812（例如，在一个实施例中为增益偏移/系数）和工厂补偿项816（例如，在一个实施例中，像素偏移/系数和拉格朗日偏移/系数）施加到图像帧802，以分别补偿在制造和测试期间确定的各种红外传感器132和/或红外成像模块100的其部件之间的增益和偏移差。

在方框580中，将NUC项817应用到图像帧802，以为所述的FPN校正。在一个实施例中，如果NUC项817还不能被确定（例如，在发起NUC处理之前），则不会执行方框580或可以将初始化值用于NUC项817，其导致图像数据不改变（例如，每个像素的偏移将等于零）。

在方框818和822中，分别将列FPN项820和排FPN项824应用到图像帧802。根据所述的方框550可以确定列FPN项820和排FPN项824。在一个实施例中，如果列FPN项820和排FPN项824还没被确定（例如，在发起NUC处理之前），则可以不执行方框818和822或者可以将初始化值用于列FPN项820和排FPN项824，其导致图像数据不改变（例如，每个像素的偏移将等于零）。

在方框826中，根据时域降噪（TNR）处理对图像帧802执行时域滤波。图9示出了根据本公开的实施例的TNR处理。在图9中，处理目前接收的图像帧802a和在前时域滤波的图像帧802b以确定新的时域滤波的图像帧802e。图像帧802a和802b包括分别围绕像素805a和805b居中的像素803a和803b的本地邻域。邻域803a和803b对应于图像帧802a和802b内同一位置并且是图像帧802a和802b的全部像素的子组。在示例的实施例中，邻域803a和803b包括5×5像素区域。在其它实施例中可以使用其它邻域尺寸。

确定并平均邻域803a和803b的对应像素之间的差，以为对应于像素805a和805b的位置提供平均的增量值805c。平均的增量值805c可以用于确定方框807中的加权值，以被应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如图表809所示，方框807中确定的加权值可以与平均的增量值805c成反比，使得当邻域803a和803b之间有大的差异时，加权值就会迅速朝零下降。在这一点上，邻域803a和803b之间的大的差异可以表明，场景内已发生了改变（例如，由于运动）并且在一实施例中，可以适当加重像素802a和802b，以避免引入穿过帧间场景变化的模糊不清的事物。在各种实施例中可以使用加权值和平均的增量值805c之间的其它联系。

可以将方框807中确定的加权值应用到像素805a和805b以确定图像帧802e的相应像素805e的值（方框811）。在这一点上，根据平均的增量值805c和方框807中确定的加权值，像素805e可以具有是像素805a和805b的加权平均（或其它结合）的值。

例如，时域滤波的图像帧802e的像素805e可以是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差归于噪声，则期望邻域805a和805b之间的平均改变将接近零（例如，对应于无关联改变的平均值）。在这种环境下，期望邻域805a和805b之间的差的总和接近零。在这种情况下，图像帧802的像素805都可以被适当加权以促成像素805e的值。

然而，如果这种差值的总和不为零（例如，在一个实施例中甚至与零少量不同），则该改变可以被解释为是由于运动而不是噪声引起的。因此，可以基于由邻域805a和805b呈现出的平均改变来检测运动。在这种环境下，可以重重地加权图像帧802a的像素805a，而轻轻地加权图像帧802b的像素805b。

也可以考虑其它实施例。例如，虽然平均的增量值805c可以被描述为基于邻域805a和805b确定，但在其它实施例中平均的增量值805c可以基于任何期望的标准确定（例如，基于个别像素或其它类型组的像素组）。

在上述实施例中，图像帧802a被描述为目前接收的图像帧，图帧802b被描述为先前时域滤波的图像帧。在另一实施例中，图像帧802a和802b可以是未被时域滤波的由红外成像模块100捕获的第一和第二图像帧。

图10示出了关于方框826的TNR处理的进一步的实现细节。如图10所示，可以将图像帧802a和802b分别读入到行缓冲器1010a和1010b，并且可以在将图像帧802b被读入行缓冲器1010b之前将其存储在帧缓冲器1020中。在一个实施例中，可以通过由红外成像模块100和/或主机设备102的任何适当的部件提供的随机存取存储器（RAM）模块来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可以将图像帧802e传递到另外的方框827-832用于进一步的处理，以提供如所希望的可以由主机设备102使用的最终的图像帧833。在一个实施例中，这种处理可以包括：方框827中的不好像素的置换处理（例如，补偿故障或者无效像素）；方框828中的失真校正处理（例如，补偿可能的透镜失真或其它失真）；方框829中的视频极性处理；方框830中的亮度校正处理；方框831中的自动增益补偿处理；和方框832中的假色处理（例如，使用查找表（LUT））。

图8进一步示出了确定所述的排和列FPN项和NUC项可执行的各种操作。在一个实施例中，如图8所示，这些操作可以使用图像帧802e。由于图像帧802e已被时域滤波，因此至少一些时域噪声可以被去除，从而将不会无意地影响确定排和列FPN项824和820和NUC项817。在另一实施例中，可以使用未时域滤波的图像帧802。

在图8中，图5的方框510、515和520被共同表示在一起。如所述的，可响应于各种NUC处理发起事件并基于各种标准或条件选择性发起并执行NUC处理。而且如所述的，可以根据基于运动的方法（方框525、535和540）或基于散焦的方法（方框530）执行NUC处理，以提供模糊的图像帧（方框545）。图8进一步示出了关于图5的先前描述的各个附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可以以反复的方式确定和应用排和列FPN项824和820和NUC项817，使得利用已被应用先前项的图像帧802确定更新的项。结果，图8的全部操作可以重复更新并应用这种项以连续减小被主机设备102使用的图像帧833中的噪声。

再次参考图10，结合流水线800示出了图5和8的各个方框的进一步的实现细节。例如，方框525、535和540示出为以由流水线800接收的图像帧802的标准帧速率处理。在如图10所示的实施例中，方框525中进行的确定表现为判定菱形，其用于确定给出的图像帧802是否已充分改变，使得可以考虑，如果增加其它图像帧则图像帧将会改善模糊不清事物，并因此积累（在该实施例中方框535用箭头表示）并平均（方框540）图像帧。

而且在图10中，将列FPN项820的确定（方框550）示出为以更新速率处理，在该实例中由于方框540中执行的求平均值，更新速率为传感器帧速率（例如，标准帧速率）的1/32。在其它实施例中可以使用其它更新速率。虽然在图10中仅识别了列FPN项820，但也可以以减小的帧速率的相似的方式实现排FPN项824。

图10还示出了关于方框570的NUC确定处理的进一步的实现细节。在这一点上，可以将模糊的图像帧读到行缓冲器1030（例如，通过由红外成像模块100和/或主机设备102的任何适当部件提供的RAM模块实现）。可以对模糊的图像帧执行图7的平场校正技术700。

基于本公开，将意识到，在此描述的技术可用于去除各种类型的FPN（例如，包括很高振幅的FPN），如空间关连的排和列FPN和空间非关联的FPN。

还考虑了其它实施例。例如，在一个实施例中，更新排和列FPN项和/或NUC项的速率能够与模糊图像帧中的模糊不清事物的数量成反比，和/或与本地对比度值的量级成反比（方框560中确定）。

在各种实施例中，描述的技术可以提供超过传统的基于快门的噪声校正技术的优势。例如，通过使用无快门处理，不需要提供快门（例如，诸如快门105），因此允许减小尺寸、重量、成本和机械复杂度。如果不需要机械操作快门，还可以减小提供给红外成像模块100的或者由它产生的功率和最大电压。通过移除作为潜在故障点的快门将会改善可靠性。无快门操作还消除了用快门临时阻断成像场景引起的潜在的图像中断。

此外，通过有意地使用由真实世界场景（不是由快门提供的均匀一致的场景）捕获的模糊的图像帧校正噪声，可以对具有与将要成像的所希望的真实场景类似的辐射度级的图像帧执行噪声校正。这样可以改善根据各种所述的技术确定的噪声校正项的精确性和有效性。

根据附加的实施例，提供各种技术来实现热图像的基于行的处理。在一个实施例中，可以将热图像帧的独立行提供给例如由红外成像模块100的一个或多个处理设备提供的图像处理流水线。在图像处理流水线阶段，可以对独立行执行图像处理操作。

根据附加的实施例，提供实现柔性存储系统的技术以支持红外成像模块100的一个或多个处理设备。例如，在一些实施例中，可以使用存储系统来支持由红外传感器组件128提供的热图像的基于行的处理（例如，基于排或基于列）。在这一点上，行通常指的是排或列，并且本文中可交替使用术语行、排和列。

而且在一些实施例中，在不依赖于部件之间的单一共享总线的情况下,存储系统可以用于在各种部件之间发送和接收数据。例如，在一些实施例中，可以使用转换结构在不同部件和存储系统的不同存储器之间执行数据传输，以同时或基本同时在不同总线上发送数据。在一些实施例中，在不需要与同一时钟脉冲源完全同步的部件和存储系统的情况下，可以利用各种部件的不同时钟来实现存储系统支持数据传输。

将参考图12-16E进一步描述存储系统的各种实施例的这些和其它特征。虽然将主要关于处理模块160描述存储系统，但它可以用于任何的处理设备（例如，处理模块160、处理器195和/或其它设备），并且处理模块160的各种部件可以被实现为各种实现方式中适当的任何类型的处理设备、逻辑和/或电路。

图12示出了根据本公开的实施例的处理模块160的方框图。在该示例的实施例中，处理模块包括传感器输入块1201、数字信号处理（DSP）核心1206、视频输出块1207、一次可编程（OTP）存储器1212、内置集成电路（I2C）接口1214、通用CPU1216、系统控制块1220、系统支持块1222、存储管理单元（MMU）1230和存储块1240。

传感器输入块1201接收来自红外传感器组件128的热图像帧，其对应于由红外传感器132捕获的热图像。在这一点上，传感器输入块1201包括FPA接口1202以接收热图像帧和集成块1204以在多个热图像帧上方集成热图像帧（例如，以模拟或数字信号形式提供），以例如提供具有提高的信噪特性的热图像帧。

DSP核心1206可以用于执行在此描述的各种操作中的任一种操作，以处理热图像数据和/或相关操作。例如，在一些实施例中，DSP核心1206可以用于实现图8的流水线800。DSP核心1206可以被实现为任何适当的处理设备。

视频输出块1207通过一个或多个移动行业处理器接口（MIPI）1208和/或一个或多个串联外围接口（SPI）1210将处理的热图像帧从处理模块提供到红外成像模块100的其它部件、主机设备102和/或其它装置。

可以用适当的控制电路和用于存储在此描述的各种操作中使用的各种先前确定的数据的非易失性存储器，实现OTP存储器1212（例如，包括一个或多个OTP存储块）。这种数据可以包括，但不必限制于工厂增益项812和工厂偏移项816（例如，共同和分别称为工厂校准项），不好的像素图/列表、用于失真校正的像素增量和权重、用于颜色、极性和伽玛校正的查找表（LUT）和/或其它适当的数据。虽然在此一般指的是OTP存储器1212，但除了和/或代替各种实施方式中适当的OTP存储器1212以外，可以使用任何类型的易失或者非易失性存储器。

I2C接口1214可以用于支持处理模块160和主机设备102之间的通信。通用CPU1216（例如，也称为GPP核心）可以用于执行各种操作，以支持处理模块160的全部操作，其包括例如，经由I2C接口1214服务通信和命令、初始化数据和DSP核心1206、电源管理、写入用于OTP存储块1212的顺序、直接存储器存取（DMA）操作、存储器映射和配置、DSP核心1206的配置、视频输出块1207的配置、校准支持和/或其它操作。GPP核心1216可以被实现为任何适当的处理设备。

系统控制块1220（例如，也称为PPM块）可以用于产生时钟和重置信号，并提供片上功率控制。系统支持块1222可以用于执行各种死亡测试和CPU调试操作，并提供一个或多个联合测试行动小组（JTAG）接口（例如，IEEE1149.1标准测试存取端口和边界扫描结构）。

存储器管理单元（MMU）1230（例如，存储控制器）可以用于管理OTP存储器1212、存储块1240和处理模块160的其它部件之间的数据通信。例如，在一些实施例中，如图12所示，MMU1230可以在与MMU1230连接的各种总线1260上传递数据。因此，OTP存储器1212、MMU1230和存储块1240可以有效地提供存储器系统1250，以支持基于行处理的热图像和在此描述的各种操作。在这一点上，存储器系统1250可以提供转换结构，以在处理模块160的部件和存储系统1250的各种存储器之间选择性发送数据。例如，可以通过MMU1230和/或OTP存储器1212的附加电路和/或存储块1240提供这种转换结构。

例如，可以将存储块1240实现为包括在此进一步描述的主存储器片（MMS）1242和虚拟行缓冲器（VLB）1244的易失性静态随机存取存储器（SRAM）。在一个实施例中，存储块1240可以包括3兆位的SRAM，其中约2.5兆位被分配给MMS1242（例如，每个MMS1242可以包括约256千位的SRAM）和约0.5兆位被分配给全体VLB1244（例如，每个64VLB1244可以包括约8千位的SRAM）。还考虑易失和/或非易失存储器的其它实现方式和配置。

图13示出了根据本公开的实施例的存储系统1250的MMS1242的方框图。MMS1242包括存储块1302和存取电路1304，用于为MMS1242提供转换结构。在一个实施例中，存储块1302可以被实现为256千位的SRAM存储块，该SRAM存储块具有适于每次支持单独读取或写入操作的单个接口1306（例如，也称为SRAM存取端口）。存取电路1304可以用于允许处理模块160的一个或多个部件通过多个端口1312和1314（例如，存储器总线接口）存取存储块1302。当用这些部件配置MMS1242用于存取时，处理模块160的部件还可以称为MMS1242的物主（owner）。存取电路1304包括多路复用器1308、端口选择输入1310及端口1312和1314（例如，在一个实施例中每个端口提供读取和写入操作）。在一些实施例中，存取电路1304可以用适当的附加电路和/或逻辑实现。

在一个实施例中，MMU1230和存取电路1304可以用于允许通过处理模块160的多个部件同时或者基本同时存取至存储块1302。在这一点上，MMU1230可以与端口选择输入1310和端口1312和1314相连接，以由处理模块160的其它部件管理对存储块1302的存取。例如，MMU1230可以通过端口1312和1314在处理模块160的各种部件中的任何一个组件和存储块1302之间传输数据。

图14示出了根据本公开的实施例的存储系统1250的VLB1244的方框图。VLB1244包括存储块1402和转换结构1404。在一个实施例中，存储块1402可以实现为8千位的SRAM存储块，该SRAM存储块具有适于每次支持单独读取或写入操作的单个接口1403（例如，也称为SRAM存取端口且图15示出为用于存储缓冲器1244A-D的存储块1402A-D的接口1403A-D）。转换结构1404可以用于允许处理模块160的一个或多个部件通过多个端口1420（例如，存储器总线端口标记为MB_0到MB_3）存取存储块1402。虽然图14中示出了四个端口1420，但是可以提供任何期望数目的端口1420。与MMS1242类似，当通过这些部件配置VLB1244用于存取时，处理模块160的部件还可以称为VLB1244的物主。

在图14中，转换结构1404用箭头表示，并且还可以包括用于在端口1420之间选择的一个或多个多路复用器1431。VLB1244还可以包括一个或多个状态机1430、时钟转换装置1432和/或其它电路1433，可以将它们中的任何一个提供为转换结构1404的一部分或者与其分离。例如，VLB1244从MMU1230接收控制信号1408，这会使VLB1244被配置为允许处理模块160的各种部件存取存储块1402。在一个实施例中，状态机1430可以响应于控制信号1408操作多路复用器1431，以使存储块1402与一个或多个端口1420选择性耦合。在这一点上，在一个实施例中，控制信号1408可以用于：定义VLB1244的物主（信号Def_Owner）；识别VLB1244的下一个物主（信号New_Owner）；通过信号过渡转换到下一个物主（信号Switch_Owner）；和给状态机1430提供时钟（信号MMU_CLK）。VLB1244还提供控制信号1410（信号Cur_Owner）以识别VLB1244的当前物主。

每个端口1420可以经由总线1260和/或MMU1230从与VLB1244通信的处理模块160的特定部件接收对应的输入信号1412。在一个实施例中，输入信号1412可以包括：时钟信号（信号MBx_CLK）；地址信号（信号MBx_ADDR）；读取信号（信号MBx_RD）；写入信号（信号MBx_WR）；和一个或多个附加信号（信号MBx_）。

存储块1402可以由特定端口1420的特定时钟信号MBx_CLK同步，存储块1402当前连接至特定时钟信号MBx_CLK。例如，当存储块1402与端口MB_0关联时，可以通过时钟信号MB0_CLK使存储块1402同步。如果存储块随后与端口MB_1关联时（例如，基于控制信号1408），则可以通过时钟信号MB1_CLK使存储块1402同步。在这一点上，一个或多个时钟转换装置1432可以用于允许时钟同步中的这种改变。例如，一个或多个时钟转换装置1432可用于在提供给存储块1402的不同时钟信号之间提供无差错转换。因此，在运行自主时钟的处理模块160的各个部件之间，且在不需要时钟再取样或者再同步不同时钟范围（例如，可能以其他方式会对每个时钟范围交叉引起附加的不确定的潜在时钟循环浪费）的情况下，可以迅速地转换存储块1402的物主身份。在一个实施例中，如果没有时钟信号可用于选择端口1420，则可以通过控制信号1408的时钟信号MMU_CLK使存储块1402同步。

每个端口1420可以经由总线1260和/或MMU1230与其相关的处理模块160的部件交换数据信号1414（信号MBx_D）。在一些实施例中，可以同时使用不同端口1420的数据信号1414。例如，在一个实施例中，可以将数据从存储块1402传输到处理模块160的几个部件。

图15示出了根据本公开的实施例的与处理模块160的各种部件通信的一部分存储系统1250的方框图。如所示的，存储器系统1250通过总线1260与传感器接口1201、DSP核心1206、视频接口1207和GPP核心1216通信。然而，可以用更少或更大数量的处理模块160的部件或者其它实施例中的其它装置提供这种通信。

MMU1230通过一个或多个通信通道1510（例如，硬件电路路径、多路复用通信和/或适当的其它形式）处理总线1260和VLB1244（例如，在图15中标记为1244A-D）之间传送的输入信号1412和数据信号1414，其中一些用具体路径示出，并且更通常示出为图15中的云状物。在这一点上，例如，可以用产生控制信号1408并且控制通信通道1510的存储控制器1502和/或适当的其它电路实现MMU1230。

例如，在一些实施例中，存储控制器1502可以配置有预置的指令序列（例如，在非短时机器可读介质上提供的），其被优化用于流水线800和/或图16A-E示出的操作。在这一点上，存储控制器1502可以产生独立操作每个转换结构块1404A-D的控制信号1408，以支持在热成像处理的各种部件和/或其它操作之间传输数据。

如所述的，可以用存储块1402（例如，图15中标记为1402A-D）和转换结构1404（例如，图15中标记为1404A-D）实现每个VLB1244。由MMU1230提供的控制信号1408可以用于控制每个VLB1244的转换结构1404，以通过特定端口1420（例如，标记为用于VLB1244A-D的1420A-D）选择性传送输入信号1412和数据信号1414。

在图15所示的实施例中，在每个传感器接口1201、DSP核心1206、视频接口1207和GPP核心1216与每个VLB1244的端口1420中的一个端口之间提供对应的通信通道1510。结果，这种部件可以使用存储系统1250在彼此之间共享和传送数据（例如，任何期望类型的信息、消息和/或其它内容）。例如，在一个实施例中，传感器接口1201可以是VLB1244A的SRAM1402A的物主并且可以通过VLB1244A的第一端口存取SRAM1402A。希望与DSP核心1206共享SRAM1402A中的数据（例如，作为进一步处理）。在这种情况下，MMU1230的存储控制器1502可以产生操作转换结构1404A的控制信号1408，以选择VLB1244A的第二端口。结果，DSP核心1206现在可以是SRAM1402A的物主并因此存取1402A以随其读取或写入数据。

在另一实施例中，可以配置MMU1230和/或转换结构1404，以允许多个部件通过多个通信通道1510从单个SRAM1402接收数据信号1414。因此，这种实施例提供了用于共享SRAM1402数据的另一个柔性方法。

在另一实施例中，处理模块160的不同部件可以与VLB1244的不同结合（例如，VLB1244的不同子组）连接。例如，第一个VLB1244可以配置成通过第一组总线1260与第一子组的部件通信，并且第二个VLB1244可以配置成通过第二组总线1260与第二子组的部件通信。在一些实施例中，第一和第二子组的部件和总线1260可以彼此一样。在其它实施例中，第一和第二子组的部件和总线1260可以彼此不同（例如，该子组可以有或者没有彼此共有的相同部件和总线1260）。

数据可以在一个或多个中间部件和/或SRAMS1402之间传送。例如，如果通信通道1510被提供：在传感器接口1201和仅有的VLB1244A-B之间；在DSP核心1206和仅有的VLB1244B-C之间；在视频接口1207和仅有的VLB1244C-D之间；以及在GPP核心1216和仅有的VLB1244D之间，则可以执行传送的中间数据以与GPP核心1216共享SRAM1402A的数据。在这种情况下，例如，通过：传感器接口1201从SRAM1402A读取数据并将该数据写入SRAM1402B，DSP核心1206从SRAM1402B读取数据并将该数据写入SRAM1402C，和视频接口1207从SRAM1402C读取数据并将该数据写入SRAM1402D，以及GPP核心1216从SRAM1402D读取数据，可以将SRAM1402A中的数据提供到GPP核心1216。还可以实现其它数据共享结合。

图16A-E示出了根据本公开的实施例的由存储系统1250和DSP核1206执行的各种操作。例如，在一些实施例中，图16A-E的至少一些操作可以与图8的流水线800的操作一致。

在一些实施例中，图16A-E的操作可以以基于行的方式执行。在这一点上，可以通过图16A-E中示出的不同流水线阶段传送独立行（例如，排或列）的图像帧。这种方法允许单个VLB1244被有效地用于存储与热图像帧的特定行相关联的数据。因此，可以将热图像帧的不同行的处理分布在不同的VLB1244和图16A-E的操作期间的不同流水线阶段。这种数据也可以被所述的处理模块160的各种部件共享。虽然关于图16A-E主要描述基于行的处理，但是，可以在所期望的本公开的任何操作中类似地实现这种基于行的处理。

图16A-E识别了在部分存储系统1250和DSP1206之间传送的各种类型的数据。通常，图16A-E确定的各种类型的数据和类似的数据可以称为热图像数据（例如，包括至少部分捕获的热图像的数据，热图像处理中使用的数据，和/或与这种处理相关联的任何数据）。

在一个实施例中，识别为“OTP”的各种数据可以由OTP存储器1212存储。在一个实施例中，小于约8千位的数据可以由VLB1244存储。这种数据可以称为排、排缓冲器、行历史、LUT和/或其它术语。这种数据可以是图16A-E列出的各种尺寸或其它尺寸（例如，60x1x8位、80x1x8位、80x1x16位、81x1x16位、1x256x8位和/或其它尺寸）。在这一点上，VLB1244可以主要用于存储基于行处理的热图像帧的独立行的数据（例如，独立排或/列）。

在一个实施例中，大于约8千位且小于约256千位的数据可以被MSS1242存储。这种数据可以称为全帧缓冲器、双全帧缓冲器、柱状图，和/或其它术语。这种数据可以是图16A-E列出的各种尺寸或其它尺寸（例如，80x60x8位、80x60x16位、80x60x32位、1x2048x8位和/或其它尺寸）。在这一点上，MSS1242可以主要用于存储一个或多个热图像帧的数据（例如，在一些实施例中MSS1244可以用作全帧缓冲器）。

现在参考图16A，数据1602包括从红外传感器组件128接收的图像帧802（例如，热图像帧），用于在对应图8的方框810、814、580、818和822的一个或多个流水线阶段中处理。如所示，数据1602可以被接收为全图像帧802且通过VLB1244以逐行为基础地提供以进行处理。在一些实施例中，图像帧802可以是约80×60像素，并且独立行可以是约80像素或者更少，或者约60像素或者更少。

数据1604包括从各个存储器接收到的和/或根据所示的各种处理提供的工厂增益项812、工厂偏移项816（例如，在一个实施例中包括像素偏移/系数和拉格朗日偏移/系数）、NUC项817、列FPN项820和排FPN项824。

在一些实施例中，可以从有意模糊的热图像帧确定多个NUC项817为不模糊的热图像帧。可以将与独立行的单行相关的NUC项817存储在VLB1244中并将其应用于独立行。

在一些实施例中，多个工厂校准项812/816可以从OTP存储块1212读取。可以将与独立行的单行相关的工厂校准项812/816存储在VLB1244中并将其应用于独立行。

将个别处理的行提供为在VLB1244中存储的数据1606，在对应方框814的一个或多个流水线阶段中VLB1244操作为用于拉格朗日计算的流水线寄存器。方框814之后，将处理的行数据（例如，通过偏移和系数调整的）传送给图16B。

现在参考图16B，将从图16A接收的处理的行数据1620存储在操作为流水线寄存器的VLB1244中，并且在对应方框826的一个或多个流水线阶段中对其提供时域滤波操作。如所示，方框826使用包括已被缓冲、积累和/或以其他方式存储的各种行和图像帧的数据1630。具体地，数据1630可以包括积累的多个图像帧，其提供积累帧缓冲器中的模糊的图像帧、当前的和积累的图像帧的独立行、本地行（例如，邻近的）、先前的图像帧、时域行、来自多个先前帧的行以及来自先前图像帧的本地行变化。因此，在一些实施例中，至少一些数据1630对应于图8-10中参考的各种数据。

在一些实施例中，可以比较当前的热图像帧和先前热图像帧，以确定在方框826中场景是否已改变。例如，在对应当前热图像帧子组的第一组对应的存储缓冲器中（例如，在一个实施例中本地像素历史行缓冲器），可以缓冲第一组独立行。可以在对应先前热图像帧子组的第二组对应的存储缓冲器中（例如，在一个实施例中先前的帧行缓冲器）缓冲第二组独立行。可以比较第一和第二组缓冲的独立行以确定场景是否已改变（例如，在一个实施例中可以使用一个或多个本地核心行缓冲器缓冲热图像帧的缓冲行之间的变化）。如果场景已改变，则可以积累当前的和/或先前的热图像帧（例如，在一个实施例中在模糊的帧积累帧缓冲器中）。

方框826之后，可以将处理的行数据1638（例如，时域滤波的行数据）存储在操作为流水线寄存器的VLB1244中，并且在对应方框827的一个或多个流水线阶段对其提供不好的像素置换操作。数据1640包括由OTP存储器1212提供的不好的像素图/列表以及用于所示的方框827中处理的已被缓冲的、积累的和/或以其他方式存储的各种行。具体地，数据1640可以包括本地行、提供为全帧和时域行的不好的像素图和包含不好的像素图的本地行。

在一些实施例中，可以在方框827中替换热图像帧的一个或多个像素。例如，可以在对应热图像帧子组的第一组对应的存储缓冲器中（例如，本地核心行缓冲器）缓冲第一组独立行。可以在对应像素图子组的第二组对应的存储缓冲器中（例如，本地行缓冲器）缓冲第二组独立行。可以基于第二组独立行替换第一组独立行的一个或多个像素。方框827之后，可以将处理的行数据（例如，具有替换的不好的像素）传送给图16C。

现在参考图16C，可以将从图16B接收的处理的数据1650存储在操作为流水线寄存器的VLB1244中，并在对应方框828的一个或多个流水线阶段对其提供失真处理操作（例如，补偿由一个或多个光学元件和/或其它光源引起的变形或失真效果）。数据1655包括各种像素增量和权重，以及由OTP存储器1212提供的不好的像素图（例如，共同和分别称为失真校正项）。具体地，数据1655可以包括像素增量、像素权重和在全帧和独立行中缓冲的不好的像素图。

在一些实施例中，可以校正热图像帧的独立行以补偿失真。例如，可以从OTP存储块1212读取多个失真校正项。可以将与独立行的单行相关的失真校正项存储在VLB1244中，并且将其应用于该独立行。

方框828之后，可以将处理的行数据1660（例如，弄平的行数据）存储在操作为流水线寄存器的VLB1244中，并且在对应方框829、830、831和832的一个或多个流水线阶段中对其提供视频极性处理、伽玛校正处理、自动增益补偿处理和假色处理。如所示，数据1655包括由OTP存储器1212提供的各种LUT信息、柱状图和计算的值。

在一些实施例中，LUT数据可以用于在方框829、830、831和832中执行的操作中。例如，LUT数据可以从OTP存储块1212读取。可以将与独立行的单行相关的LUT数据存储在VLB1244中，并且将其应用于该独立行。方框829、830、831和832之后，可以提供用于最终图像帧833（例如，最终的热图像帧）的处理的行数据（例如，通过方框829、830、831和832处理的）并将其存储在操作为流水线寄存器的VLB1244中。

现在参考图16D，数据1670包括积累的热图像帧（例如，根据方框535提供的），其被接收为全热图像帧且被提供作为在对应方框540和545的一个或多个流水线阶段中处理的独立行。具体地，数据1670可以包括积累的多个图像帧，以提供在积累的帧缓冲器中的模糊的图像帧和积累的图像帧的独立行。

方框540/545之后，可以将处理的行数据1672（例如，模糊的平均积累的行）存储在操作为流水线寄存器的VLB1244中，并且在MMS1242中缓冲多行作为全图像帧。提供数据1672用于在对应方框550和555的一个或多个流水线阶段中进行处理。

方框550还使用包括先前行数据的数据1674。方框550还提供有作为数据1674一部分的列FPN项820和排FPN项824，如所示将其提供给图16A。方框550还将列噪声估计1676和排噪声估计1678提供给方框555，将它们存储在操作为流水线寄存器的VLB1244中。

在一些实施例中，先前的热图像帧可以用于确定列FPN项820和排FPN项824。例如，可以在对应先前热图像帧子组的一组对应的存储缓冲器中缓冲一组独立行。可以处理先前的热图像帧的行，以确定用于当前热图像帧的排和列噪声项。

方框555使用数据1672、1676和1678以提供处理的行数据1680（例如，去除排和列噪声），其被存储在操作为流水线寄存器的VLB1244中。方框560、565、570、571、572、573和575使用数据1680和1682（例如，包括缓冲的行数据和NUC项817）并操作为一个或多个流水线阶段以将NUC项817提供至所示的图16A。具体地，数据1682可以包括NUC项817的独立行。

现在参考图16E，确定方框831的进一步操作。在这一点上，方框831使用数据1690，该数据包括所示的柱状图和LUT信息，用于在一个或多个流水线阶段处理且与所示的图16C通信这种数据。

基于本公开，将意识到，热图像帧的基于行的处理可以以有效地传输方式执行，因此将处理任务分成比基于传统帧处理更小的任务。这种基于行的处理可以与被优化以快速和有效处理的硬件和软件一起有效使用，例如具有单一接口存储块的相对小的存储缓冲器可以用于相关的转换结构电路，以支持有效的基于行的处理。

在这一点上，可以由处理模块160有效且灵活地使用存储系统1250，以经由关联总线1260，而不是常规的主存储器系统共享的系统总线提供具有存储器存取的独立部件。另外，通过经由总线1260传送来自独立部件的时钟信号，存储系统1260的独立存储块可以分别与它们的相关部件（例如，物主）同步。

另外，如所述的，在不需要集中存储系统通过常规的读取和写入命令和/或直接存储器存取（DMA）引擎执行传输的情况下，存储系统1250可以用于在独立部件之间传输（例如，移动、复制和/或以其他方式传送）并共享数据。例如，控制信号1408可以用于改变VLB1244的特定端口1402，因此有效地传输其相关的存储块1402的数据，该数据被与同一VLB1244的不同端口1402相关的不同部件使用。如所述的，数据还可以传输到需要的个人组件的不同存储块1402。

还考虑其它实施例。在一些实施例中，可以衡量在此描述的各种系统实现，用于各种实现所需的增加的容量和/或性能。例如，考虑到可以将一个或多个附加部件（例如，本地或远程处理模块160）连接成网络，或以其他方式使其与存储系统1260和/或处理模块160连接，以使用它的各种特征。还考虑到可以衡量存储系统1260的各种部件，以容纳这种附加部件和/或改善性能。

在适当的情况下，可以使用硬件、软件或者硬件和软件的结合实现本公开提供的各种实施例。而且在适当的情况下，在不偏离本公开的精神的情况下，可以将在此阐述的各种硬件部件和/或软件部件组合成包含软件、硬件和/或两者的复合部件。在适当的情况下，在不偏离本公开的精神的情况下，可以将在此阐述的各种硬件部件和/或软件部件分离成包含软件、硬件和/或两者的子部件。另外，在适当的情况下，考虑可以将软件部件实现为硬件部件，反之亦然。

根据本发明公开的软件（例如非暂时性指令、程序编码和/或数据）可以存储在一个或多个非暂时性机器可读介质上。还考虑可以使用一个或多个通用或者专用计算机和/或计算机系统、网络和/或其它方式实现在此确定的软件。在适当的情况下，可以改变在此描述的各种步骤的排序、组合成复合步骤和/或分离成子步骤，以提供在此描述的特征。

以上描述的实施例示出但不限制本发明。还应该理解，根据该发明的原则，可以进行大量的修改和改变。因此，本发明的范围仅由所附权利要求限定。

Claims

1.一种图像处理方法，包括：

接收包含多个独立行的热图像帧，其中每个独立行基本上包含由多个红外传感器捕获的整排或列的热图像数据；

将热图像帧的每个独立行提供给基于行的图像处理流水线；

在该图像处理流水线阶段对独立行执行图像处理操作；和

为流水线阶段缓冲独立行，其中，对于每个独立行，缓冲包括：

将独立行从第一个流水线阶段传送到存储系统，

将独立行存储在存储系统的多个虚拟行缓冲器中的一个虚拟行缓冲器中，及

将存储的独立行从所述一个虚拟行缓冲器传送到第二个流水线阶段。

2.根据权利要求1所述的图像处理方法，其中图像处理操作包括：

在存储缓冲器中存储与独立行的单行相关的多个工厂校准项；和

将存储的工厂校准项应用到独立行中的一行。

3.根据权利要求1所述的图像处理方法，其中热图像帧是当前热图像帧，其中该图像处理操作包括：

在存储系统的第一组对应的存储缓冲器中，缓冲包含当前图像帧的子组的第一组独立行；

在存储系统的第二组对应的存储缓冲器中，缓冲包含先前热图像帧的子组的第二组独立行；

比较第一和第二组独立行以确定场景是否已改变；和

如果场景已改变，则在存储系统的积累缓冲器中积累至少一个图像帧，以提供时域滤波的图像帧。

4.根据权利要求1所述的图像处理方法，其中图像处理操作包括：

在第一组对应的存储缓冲器中，缓冲包含图像帧的子组的一组独立行；

在第二组对应的存储缓冲器中，缓冲像素图的子组；

基于该像素图的子组，替换独立行的一个或多个像素；

将多个失真校正项应用到独立行中的一行；和

将查找表(LUT)数据应用到所述独立行中的所述一行。

5.根据权利要求1所述的图像处理方法，其中该热图像帧是当前热图像帧，其中图像处理操作包括：

在一组对应的存储缓冲器中，缓冲包括先前图像帧的子组的一组独立行；和

处理先前热图像帧的独立行以确定用于该当前热图像帧的排和列噪声项。

6.根据权利要求1所述的图像处理方法，其中该热图像帧是不模糊的热图像帧，其中图像处理操作包括：

为来自有意模糊的热图像帧的该不模糊的热图像帧的独立行的单行确定多个非均匀校正(NUC)项；

在存储缓冲器中存储与独立行的单行相关的NUC项；和

将存储的NUC项应用到独立行中的一行。

7.根据权利要求1所述的图像处理方法，其中每个独立行包括80个像素或者更少。

8.根据权利要求1所述的图像处理方法，还包括：

操作转换结构以使存储缓冲器的第一端口与存储缓冲器的存储块耦合，其中该存储块包括适合每次支持单一读取或者写入操作的单一接口；

通过第一端口以及通过该单一接口，经由第一总线在第一部件和存储块之间传输独立行中的第一行；

随后操作该转换结构以使存储缓冲器的第二端口与该存储块耦合；和

通过第二端口和通过该单一接口，经由第二总线在第二部件和存储块之间传输独立行中的第二行。

9.一种红外成像模块，包括：

传感器输入块，其适合接收包括多个独立行的热图像帧，其中每个独立行基本上包括由多个红外传感器捕获的整排或列的热图像数据；

处理设备，其包括基于行的图像处理流水线，该基于行的图像处理流水线适合在图像处理流水线阶段对独立行执行图像处理操作；和

存储系统，其适合为流水线阶段缓冲独立行；

其中，所述处理设备适于：对于每个独立行，将独立行从第一个流水线阶段传送到存储系统；并且

其中，存储系统适于将独立行存储在存储系统的多个虚拟行缓冲器中的一个虚拟行缓冲器中，以及将存储的独立行从所述一个虚拟行缓冲器传送到第二个流水线阶段。

10.根据权利要求9所述的红外成像模块，其中该处理设备适合：

在存储系统的存储缓冲器中存储与独立行的单行相关的工厂校准项；和

将存储的工厂校准项应用到该独立行中的一行。

11.根据权利要求9所述的红外成像模块，其中该热图像帧是当前热图像帧，

其中该存储系统适合：

在存储系统的第一组对应的存储缓冲器中，缓冲包含当前图像帧的子组的第一组独立行；和

在存储系统的第二组对应的存储缓冲器中，缓冲包含先前热图像帧的子组的第二组独立行；和

其中该处理设备适合：

比较第一和第二组独立行以确定场景是否已改变；和

12.根据权利要求9所述的红外成像模块，

其中该存储系统适合：

在存储系统的第一组对应的存储缓冲器中，缓冲包含图像帧的子组的一组独立行；

在存储系统的第二组存储缓冲器中，缓冲像素图的子组；和

其中该处理设备适合：

基于该像素图的子组，替换第一组独立行的一个或多个像素，

将多个失真校正项应用到独立行中的一行，和

将查找表(LUT)数据应用到所述独立行中的所述一行。

13.根据权利要求9所述的红外成像模块，其中该热图像帧是当前热图像帧，

其中存储系统适合在存储系统的一组对应的存储缓冲器中缓冲包括先前图像帧的子组的一组独立行；和

其中处理设备适合处理先前热图像帧的独立行，以确定用于该当前热图像帧的排和列噪声项。

14.根据权利要求9所述的红外成像模块，其中该热图像帧是不模糊的热图像帧，其中处理设备适合：

在存储系统的存储缓冲器中存储NUC项；和

将存储的NUC项应用到独立行中的一行。

15.根据权利要求9所述的红外成像模块，其中每个独立行包括80个像素或者更少。

16.根据权利要求9所述的红外成像模块，

其中存储系统适合：

通过第一端口和通过该单一接口，经由第一总线在第一部件和存储块之间传输独立行中的第一行；

17.一种图像处理设备，包括：

适合传输热图像数据的多个部件；

连接到部件的多条总线；和

通过总线连接到部件的存储系统，该存储系统包括：

多个存储缓冲器，每个存储缓冲器包括：

存储块，其包括适合每次支持单一读取或写入操作的单一接口，

多个端口，其中每个端口适合通过对应的一条总线与对应的一个部件通信，和

转换结构块，其适合使端口与存储块通过单一接口而选择性地耦合，以及

存储控制器，该存储控制器适于生成控制信号以操作转换结构块，以使：

第一端口选择性地与存储块耦合，从而通过单一接口在第一部件和存储块之间传输热图像数据，和

第二端口选择性地与存储块耦合，从而通过单一接口在第二部件和存储块之间传输热图像数据。

18.根据权利要求17所述的图像处理设备，其中每个存储缓冲器适合存储包括在热图像数据中的热图像帧的不同的单行。

19.根据权利要求18所述的图像处理设备，其中每个存储缓冲器是用于处理热图像帧的基于行的图像处理流水线的流水线寄存器。

20.根据权利要求17所述的图像处理设备，其中每个端口适合通过对应的一条总线从对应的一个部件接收时钟信号，其中存储块适合于被由耦合的端口接收的时钟信号同步。

21.根据权利要求20所述的图像处理设备，进一步包括时钟转换装置，该时钟转换装置适合在时钟信号之间转换以便以无差错方式同步存储块。

22.根据权利要求17所述的图像处理设备，其中该转换结构块包括多路复用器，该多路复用器适合基于控制信号选择端口。

23.根据权利要求17所述的图像处理设备，其中，存储控制器适合根据预定指令序列提供控制信号以传输热图像数据。

24.根据权利要求17所述的图像处理设备，其中：

部件的第一子组通过总线与存储缓冲器的第一子组相连接，而不通过总线与存储缓冲器的第二子组相连接；和

部件的第二子组通过总线与存储缓冲器的第二子组相连接，而不通过总线与存储缓冲器的第一子组相连接。

25.根据权利要求17所述的图像处理设备，其中：

所述第一部件适合与第一存储缓冲器和第二存储缓冲器通信；

所述第二部件适合与第一存储缓冲器而不与第二存储缓冲器通信；和

第一部件适合从第二存储缓冲器读取热图像数据并将热图像数据写入第一存储缓冲器，以与第二部件共享热图像数据。

26.根据权利要求17所述的图像处理设备，其中，部件包括专用集成电路(ASIC)、通用处理器和/或存储系统的非易失性存储块中的至少一个，并且其中，该存储块是静态随机存取存储(SRAM)块。

27.一种操作存储系统和通过相应的总线连接到存储系统的多个部件的方法，该方法包括：

操作转换结构以使存储缓冲器的第一端口选择性地与存储缓冲器的存储块耦合，其中该存储块包括适合每次支持单一读取或写入操作的单一接口，其中该存储缓冲器是存储系统的一部分；

通过第一端口和通过单一接口，经由第一总线在第一部件和存储块之间传输第一热图像数据；

随后操作该转换结构以使存储缓冲器的第二端口选择性地与存储块耦合；和

通过第二端口和通过单一接口，经由第二总线在第二部件和存储块之间传输第二热图像数据。

28.根据权利要求27所述的方法，还包括在存储缓冲器中存储包含在热图像数据中的热图像帧的单行。

29.根据权利要求28所述的方法，其中存储缓冲器是用于处理热图像帧的基于行的图像处理流水线的流水线寄存器。

30.根据权利要求27所述的方法，还包括：

在第一端口通过第一总线从第一部件接收第一时钟信号；

在第二端口通过第二总线从第二部件接收第二时钟信号；

当第一端口与存储块耦合时，用第一时钟信号同步该存储块；和

当第二端口与存储块耦合时，用第二时钟信号同步该存储块。

31.根据权利要求30所述的方法，还包括在第一和第二时钟信号之间转换以便以无差错方式同步存储块。

32.根据权利要求27所述的方法，还包括在存储缓冲器接收控制信号，其中通过选择第一或第二端口的转换结构块的多路复用器执行操作步骤。

33.根据权利要求32所述的方法，还包括根据预定指令序列提供来自存储系统的存储控制器的控制信号以选择传输热图像数据的第一或第二端口。

34.根据权利要求27所述的方法，其中：

存储系统包括多个存储缓冲器；

35.根据权利要求27所述的方法，其中：

该存储缓冲器是第一存储缓冲器；

第一部件适合与第一存储缓冲器和第二存储缓冲器通信；

第二部件适合与第一存储缓冲器而不与第二存储缓冲器通信；和

该方法还包括：

使用第一部件从第二存储缓冲器读取热图像数据，和

使用第一部件将热图像数据写入第一存储缓冲器以与第二部件共享该热图像数据。

36.根据权利要求27所述的方法，其中，部件包括专用集成电路(ASIC)、通用处理器和/或存储系统的非易失性存储块，并且其中，该存储块是静态随机存取存储(SRAM)块。