CN111095906B - 热成像系统的颜色显示模式 - Google Patents

热成像系统的颜色显示模式 Download PDF

Info

Publication number
CN111095906B
CN111095906B CN201880060382.3A CN201880060382A CN111095906B CN 111095906 B CN111095906 B CN 111095906B CN 201880060382 A CN201880060382 A CN 201880060382A CN 111095906 B CN111095906 B CN 111095906B
Authority
CN
China
Prior art keywords
range
sub
intensity values
color
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880060382.3A
Other languages
English (en)
Other versions
CN111095906A (zh
Inventor
R·威廉姆斯
R·查欣
J·乌尔夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seek Thermal Inc
Original Assignee
Seek Thermal Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seek Thermal Inc filed Critical Seek Thermal Inc
Priority claimed from PCT/US2018/044681 external-priority patent/WO2019028067A1/en
Publication of CN111095906A publication Critical patent/CN111095906A/zh
Application granted granted Critical
Publication of CN111095906B publication Critical patent/CN111095906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/465Conversion of monochrome to colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/026Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)

Abstract

描述了用于将显示颜色分配给由热带光电检测器获取的热图像强度数据的系统和方法。来自光电检测器的与场景温度对应的强度数据通常被转换成落入模数转换(ADC)范围内的数字值。完整的ADC范围可以被划分为两个或更多个子范围。在至少一个子范围中,可以利用一个或多个直方图均衡(HE)技术从第一颜色表为该子范围内的强度值指派显示颜色。在至少一个其它子范围中,可以将来自与第一颜色表不同的颜色表的特定显示值指派给特定强度值。在一些实施例中,HE指派的子范围的强度可以低于特定指派的子范围的强度。对于包括热像图的热成像系统,子范围可以对应于场景温度范围,其中使用HE为较低的温度指派颜色,并且为较高的温度指派对应于特定温度的特定颜色。这样的布置特别适用于消防员的热成像使用,因为该布置允许他们针对潜在的危险温度直接从显示的颜色确定温度。在一些情况下,可以将子范围应用于期望温度范围内的某些像素,并且可以将那些选择的像素指派给所有或部分的第二颜色表,并且在一些情况下,可以通过直方图均衡将第二颜色表应用于子范围像素。该布置适用于突出显示与诸如人或动物之类的物体对应的温度,以使这些物体在搜索应用中具有较高的对比度。

Description

热成像系统的颜色显示模式
相关申请的交叉引用
本申请要求于2017年8月4日提交的题为“COLOR DISPLAY MODES FOR A THERMALIMAGING SYSTEM”的美国临时申请No.62/541,550、2017年12月14日提交的题为“COLORDISPLAY MODES FOR A THERMAL IMAGING SYSTEM”的美国专利申请No.62/598,931和题为“COLOR DISPLAY MODES FOR A THERMAL FMAGING SYSTEM”的美国非临时申请No.16/051,077的权益,其中所有申请通过引用整体并入本文。
技术领域
本公开一般而言涉及热成像,并且特别地涉及显示颜色到图像数据的分配。
背景技术
高性能、低成本的非冷却式热成像设备(诸如基于辐射热计焦平面阵列(FPA)的设备)不断增加的可用性使得能够设计和生产能够进行高质量的热成像的面向消费者的热成像相机和传感器。这种热成像系统长期以来一直很昂贵且难以生产,因此使高性能长波成像的采用限制为诸如航空、军事或大规模商业应用之类的高价值仪器。与复杂的军事或工业系统相比,批量生产的给定设计的热成像系统可能具有不同的设计要求。对于一些热成像应用,可能期望显示着色以提供与热图像数据的直接相关性。
发明内容
本文描述的示例实施例具有创新特征,其中没有一个是必不可少的或仅对其期望属性负责。在不限制权利要求的范围的情况下,现在将总结一些有利特征。
一个实施例包括一种用于显示来自热成像系统的数据的方法,该热成像系统包括光电检测器的阵列,每个检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,该信号包括其值是强度的模数转换(ADC)的二进制字,并且其中二进制字在系统的转换范围内。该方法包括将转换范围划分为至少两个包括连续或非连续强度值的子范围的区域,其中强度值包括原始强度值和滤波强度值中的至少一个;将至少第一子范围的强度值分配给第一显示颜色表,其中指派给强度值以用于显示的颜色是用直方图均衡(HE)处理确定的;以及将至少第二子范围的强度值分配给与第一显示颜色表不同的第二显示颜色表,其中将特定颜色指派给每个强度值以用于显示。
在一些实施例中,与ADC范围对应的二进制字值的可用数量大于与颜色表对应的离散颜色值的数量。在一些实施例中,第一子范围对应于强度值的范围,该强度值的范围低于第二子范围的强度值。在一些实施例中,第二子范围中从最小到最大的强度值被指派第二颜色显示表中的特定顺序值。在一些实施例中,特定顺序值的指派在颜色表值和强度值之间线性地执行,其中特定颜色表示固定的强度级别。在一些实施例中,成像系统包括将强度值转换成场景温度的热像图功能。在一些实施例中,子范围被识别为覆盖温度范围。在一些实施例中,专门分配给子范围强度值的每种颜色对应于特定温度。在一些实施例中,第一子范围被选择为低于至少一个感兴趣温度,并且第二子范围被选择为高于至少一个感兴趣温度。在一些实施例中,第二子范围被选择为至少150摄氏度,并且第二子范围的顶部为至少650摄氏度。
第二实施例包括一种热成像系统,该热成像系统包括光电检测器的阵列,每个光电检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,该信号包括其值是强度的模数转换(ADC)的二进制字,并且其中二进制字在系统的转换范围内,该热成像系统还包括至少一个用于从光电检测器阵列获取和处理图像数据的处理器,以及用于图像数据的显示器。该热成像系统被配置为将转换范围划分为至少两个包括连续或非连续强度值的子范围的区域,其中强度值包括原始强度值和滤波强度值中的至少一个;将至少第一子范围的强度值分配给第一显示颜色表,其中指派给强度值以用于显示的颜色是用直方图均衡(HE)处理确定的;以及将至少第二子范围的强度值分配给与第一颜色显示表不同的第二显示颜色表,其中将特定颜色指派给每个强度值以用于显示。
在一些实施例中,与ADC范围对应的二进制字值的可用数量大于与颜色表对应的离散颜色值的数量。在一些实施例中,第一子范围对应于强度值的范围,该强度值的范围低于第二子范围的强度值。在一些实施例中,第二子范围中从最小到最大的强度值被指派第二颜色显示表中的特定顺序值。在一些实施例中,特定顺序值的指派在颜色表值和强度值之间线性地执行,其中特定颜色表示固定的强度级别。在一些实施例中,成像系统包括将强度值转换成场景温度的热像图功能。在一些实施例中,子范围被识别为覆盖温度范围。在一些实施例中,专门分配给子范围强度值的每种颜色对应于特定温度。在一些实施例中,第一子范围被选择为低于至少一个感兴趣温度,并且第二子范围被选择为高于至少一个感兴趣温度。在一些实施例中,第二子范围被选择为至少150摄氏度,并且第二子范围的顶部为至少650摄氏度。
第三实施例包括一种用于显示来自热成像系统的数据的方法,该系统包括光电检测器的阵列,每个检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,该信号包括其值是强度的模数转换(ADC)的二进制字,并且其中二进制字在系统的转换范围内。该方法包括将转换范围划分为至少两个包括连续或非连续强度值的子范围的区域,其中强度值包括原始强度值和滤波强度值中的至少一个;将至少第一子范围的强度值分配给第一显示颜色表,其中指派给强度值以用于显示的颜色是用直方图均衡(HE)处理确定的;将至少第二子范围的强度值分配给与第一显示颜色表不同的第二显示颜色表,其中第二子范围内的预定数量的像素包括用第二颜色表着色的第一像素集,并且其中至少不同着色的第二像素集是用第一颜色表着色的;以及在一个图像中显示第一像素集和不同着色的第二像素集。
在一些实施例中,与ADC范围对应的二进制字值的可用数量大于与颜色表对应的离散颜色值的数量(离散颜色的数量)。在一些实施例中,第一子范围对应于强度值的范围,该强度值的范围是低于、高于和包括第二子范围的强度值中的至少一个。在一些实施例中,第一子范围基本覆盖完整转换范围。在一些实施例中,第二子范围覆盖包括小于完整转换范围的范围。在一些实施例中,第二子范围由形成目标范围的上限和下限来限定,该上限和下限是用户可选择和预定中的至少一个。在一些实施例中,如果至少预定阈值数量的像素在目标范围内,则仅用第二颜色表对第二子范围进行着色。在一些实施例中,仅目标范围内预定百分比的像素用第二颜色表进行着色。在一些实施例中,使用所有或部分第二颜色表对目标范围像素进行着色。在一些实施例中,通过HE将第二颜色表指派给所选择的目标像素。在一些实施例中,成像系统包括将强度值转换成场景温度的热像图功能。在一些实施例中,目标范围被识别为覆盖温度范围。
第四实施例包括一种热成像系统,该热成像系统包括光电检测器的阵列,每个光电检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,该信号包括其值是强度的模数转换(ADC)的二进制字,并且其中二进制字在系统的转换范围内,热成像系统还包括至少一个用于从光电检测器阵列获取和处理图像数据的处理器,以及用于图像数据的显示器。该热成像系统被配置为将转换范围划分为至少两个包括连续或非连续强度值的子范围的区域,其中强度值包括原始强度值和滤波强度值中的至少一个;将至少第一子范围的强度值分配给第一显示颜色表,其中指派给强度值以用于显示的颜色是由直方图均衡(HE)处理确定的;将至少第二子范围的强度值分配给与第一显示颜色表不同的第二显示颜色表,其中第二子范围内的预定数量的像素包括用第二颜色表着色的第一像素集,并且其中至少不同着色的第二像素集是用第一颜色表着色的;以及在一个图像中显示第一像素集和不同着色的第二像素集。
在一些实施例中,第一子范围对应于强度值的范围,该强度值的范围是低于、高于和包括第二子范围的强度值中的至少一个。在一些实施例中,第一子范围基本覆盖完整的转换范围。在一些实施例中,第二子范围覆盖包括小于完整转换范围的范围。在一些实施例中,第二子范围由形成目标范围的上限和下限来限定,该上限和下限是用户可选择和预定中的至少一个。在一些实施例中,如果至少预定阈值数量的像素在目标范围内,则仅用第二颜色表对第二子范围进行着色。在一些实施例中,仅目标范围内预定百分比的像素用第二颜色表进行着色。在一些实施例中,使用所有或部分第二颜色表对目标范围像素进行着色。在一些实施例中,通过HE将第二颜色表指派给所选择的目标像素。在一些实施例中,成像系统包括将强度值转换成场景温度的热像图功能。在一些实施例中,目标范围被识别为覆盖温度范围。
附图说明
结合附图,参考以下详细描述描述了本文提供的实施例的各方面和优点。在整个附图中,附图标记可被重复使用以指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例,而不意于限制本公开的范围。
图1A图示了示例成像系统的功能框图。
图1B图示了图1A中所示的示例成像系统的功能框图,其中成像系统的功能在相机和移动电子设备之间划分。
图2图示了示例热成像系统的简化示意图。
图3图示了示例直方图均衡(HE)的实现。
图4图示了颜色显示处理的示例实施例。
图5图示了颜色显示处理的替代示例实施例。
图6图示了在颜色显示处理中子范围选择的示例性实现。
图7是描绘示例颜色显示处理的流程图。
图8描绘了颜色显示处理中的示例子范围分配。
图9描绘了颜色显示处理中的示例子范围分配。
具体实施方式
通常来说,本公开的实施例涉及将显示颜色分配给热图像强度数据。一些实施例为在快速识别周围温度很重要的应用中的热成像系统提供了期望的效用。本公开的一些实施例包括针对某些热成像应用改善的颜色显示的系统和方法。
为了说明的目的,本文描述的示例和实现集中于包括使用焦平面阵列的红外相机或传感器的成像系统。现在将关于某些示例和实施例描述本公开的各个方面,这些示例和实施例旨在说明而不是限制本公开。对于这些方面中的许多方面,示例实施例将描述一种成像系统,其中热传感器将图像数据传递到一个或多个处理器,该一个或多个处理器执行一系列图像处理步骤,在一些实施例中,这些图像处理步骤可以包括用于热像图的元件。
本文描述的一些实施例提供了将热成像系统的动态范围划分为子范围,并且为各个子范围不同地分配显示颜色。有利的是,这可以允许根据热成像仪的预期用途的需要来定制着色。
本文描述的一些实施例提供了使用直方图均衡化(HE)将颜色在一些子范围内进行分配,同时将固定的特定颜色指派给其它子范围。有利的是,这可以允许直接对感兴趣的温度范围的强度和/或温度进行颜色识别。
本文描述的一些实施例提供了将HE分配应用于较低的强度(温度),并且将特定颜色应用于较高的强度(温度)子范围。有利的是,这可以允许直接对场景的较热区域进行颜色识别。
本文描述的一些实施例提供了设置特定于高温的颜色子范围以对应于对消防员重要的温度。有利的是,这可以允许消防员直接从显示的颜色中区分出危险的高温区域。
所公开的颜色显示处理和系统可以被实现为可以是编程的计算机方法或数字逻辑方法的模块,并且可以使用各种模拟和/或数字分立电路部件(晶体管、电阻器、电容器、电感器、二极管等)、可编程逻辑、微处理器、微控制器、专用集成电路或其它电路元件的任意组合来实现。被配置为存储计算机程序或计算机可执行指令的存储器可以与分立电路部件一起实现,以执行本文所述的方法中的一个或多个。在某些实现中,所公开的概念可以结合相机核心上的一个或多个焦平面阵列(FPA)来实现,其中执行所公开的方法的处理器和存储器部件可以在与相机核心相配合的处理设备上,诸如包括智能电话、平板电脑、个人计算机等的移动设备。在一些实现中,成像系统的处理和存储器元件可以在作为相机系统的核心的一部分的可编程逻辑或板上处理器中。通常,数字控制功能、图像采集、图像处理和图像显示/分析可以分布在一个或多个数字元件或处理器上。在任何公开的实施例中,提及系统处理器或任何控制器都不应被解释为暗示控制和处理功能位于在单个元件中。
作为由所公开的系统和方法提供的一些优点的特定示例,成像系统可以包括被配置为获取场景的图像的热成像焦平面阵列(FPA)。FPA可以包括N个检测器的二维阵列,FPA被配置为输出场景的二维图像。为了成像,图像帧(通常是来自检测器Nf中的全部或一些的数据)由FPA产生,每个连续的帧包含在连续的时间窗口中捕获的来自阵列的数据。因此,由FPA传递的数据帧包括Nf个数字字,每个字表示图像中的特定像素Sx,y信号。这些数字字通常具有由模数转换(A/D)处理确定的长度。例如,如果像素数据用14位A/D转换,则像素字的长度可以是14位,并且每个字可以有16384个计数,即,示例设备的动态范围为0至16383。对于用作热成像系统的IR相机,这些字可以对应于由阵列中的每个像素测量的辐射强度。在特定的示例中,对于测辐射热计IR FPA,每个像素的强度通常对应于被成像的场景的对应部分的温度,较低的值对应于较冷的区域,而较高的值对应于较热的区域。可以期望在视觉显示器上显示这种数据。
FPA中的每个像素可以包括响应于检测到的辐射而生成相对小的信号的辐射检测器,诸如在红外成像阵列中。这些信号与FPA中从不是由入射辐射引起的源产生的信号或信号水平、或者非图像信号相比,可以相对小,其中这些非图像信号与FPA的材料、结构和/或部件相关。例如,FPA中的像素可以包括在读出集成电路(ROIC)上的包括电阻器网络、晶体管和电容器的接口电路,其可以直接接口到检测器的阵列。例如,微测辐射热计检测器阵列、微电子机械系统(MEMS)设备可以使用MEMS工艺来制造。但是,相关联的ROIC可以使用电子电路技术来制造。这两个部件可以组合在一起,以形成FPA。与响应于检测器上的入射辐射而产生的信号相比,接口电路系统和检测器的组合本身可以具有相对大的偏移和温度行为。因而,常常期望在显示或以其它方式处理图像数据之前补偿与图像信号无关的这些效应。
图像处理系统和方法的示例在于2017年2月28日发布的美国专利No.9,584,750、2014年5月30日提交的美国专利申请No.14/292,124、2017年3月14日发布的美国专利No.9,595,934、2017年8月8日发布的美国专利No.9,727,954、2018年3月27日发布的美国专利No.9,930,324中公开,其中每个专利均通过引用整体并入本文。这些引用的申请描述了用于调节至少部分地由于成像系统的各种特性和特征而出现的伪像和校正图像质量的劣化的各种成像系统配置和各种技术。这些各种图像处理功能可以在处理单元中完成,如所描述的,该处理单元可以是相机设备的一部分、与相机设备接口的处理设备和/或分布在两者之间。对于一些成像系统,处理单元可以包括用于操作快门的控制功能。也可以使用通常包括可见光敏感的FPA的可见光传感器。这种可见光成像系统在数码相机、个人电子设备(PED)等中是常见的。用于两个传感器的图像处理和显示功能的资源可以共享或分开,以方便特定的系统设计。包括各种或相同类型的多个成像传感器的系统也可以从所公开的系统和方法中受益。
成像系统实例
图1A图示了示例成像系统100的功能框图,示例成像系统100包括诸如焦平面阵列102的图像传感器、预处理模块104、非均匀性校正模块106、滤波器模块108、热像图模块110、直方图均衡模块112、显示处理模块114和显示器116。焦平面阵列102可以输出强度数据(例如,图像、热图像等)的帧序列。每个帧可以包括像素值的阵列,每个像素值表示由焦平面阵列102上的对应像素检测的光强度。像素值可以作为串行数字数据流从焦平面阵列102中读出。在一些实施例中,像素值是使用处理焦平面阵列102的整行或整列的读出电子器件从焦平面阵列102读出的。在一些实施例中,读出电子器件一次将数据输出为几列或几行的流。例如,一些FPA利用称为电子滚动快门的技术,该技术在图像获取期间以总帧的离散增量或子帧来激活光电检测器,并相应地在其获取子帧时输出子帧。因此,随后的图像处理可以被配置为在子帧的基础上起作用,一次一个或多个子帧地在整个帧中工作。数据流的格式可以被配置为符合期望的、标准或预定义的格式。数字数据流可以被显示(诸如由显示器116)为二维图像。
在一些实施例中,焦平面阵列102可以是与读出集成电路(ROIC)集成的微测辐射热计的阵列。微测辐射热计的阵列可以被配置为响应于热辐射或温度的量而生成电信号。ROIC可以包括缓冲器、积分器、模数转换器、定时部件等,以从微测辐射热计的阵列读取电信号并输出数字信号(例如,被分成图像帧的14位串行数据)。与焦平面阵列102相关联的系统和方法的附加示例在于2014年5月30日提交的题为“Data Digitization and Displayfor an Imaging System”的美国专利申请No.14/292,124中公开,其全部内容通过引用并入本文。
焦平面阵列102可以具有校准或与其相关联的其它监视信息(例如,校准数据103),这些信息可以在图像处理期间被使用,以生成优质图像。例如,校准数据103可以包括存储在数据储存器中并由成像系统100中的模块检索的坏像素图和/或增益表,以校正和/或调整由焦平面阵列102提供的像素值。校准数据103可以包括增益表。如本文所述,焦平面阵列102可以包括具有集成的读出电子器件的多个像素。读出电子器件可以具有与其相关联的增益,其中该增益可以与电子器件中的电容器的跨阻抗成比例。在一些实现中可以采取像素增益表的形式的这个增益值可以由成像系统100的图像处理模块使用。成像系统100的校准数据的附加示例在于2017年3月14日提交的题为“Gain Calibration for anImaging System”的美国专利No.9,595,934中提供,其全部内容通过引用并入本文。校准数据103可以存储在成像系统100上或存储在另一系统上的数据储存器中,以在图像处理期间检索。
成像系统100包括被配置为处理来自焦平面阵列102的图像数据的一个或多个模块。在不脱离所公开的实施例的范围的情况下,成像系统100的模块中的一个或多个可以被消除,并且可以存在未示出的模块。描述以下模块是为了说明可用于所公开的成像系统的功能的广度,而不是指示任何单独的模块或所述的功能是需求的、关键的、不可缺少的或需要的。诸如非均匀性校正模块106、滤波器模块108、热像图模块110和/或直方图均衡模块112之类的模块可以被统称为“图像处理链”。
成像系统100包括预处理模块104。预处理模块104可以被配置为从焦平面阵列102接收数字数据流并进行预处理功能。这样的功能的示例包括帧平均、高级帧宽度滤波等。预处理模块104可以输出用于其它模块的串行数字数据。
作为示例,预处理模块104可以包括被配置为实现积分和平均技术的条件求和功能,以增大图像数据中的表观信噪比。例如,条件求和功能可以被配置为组合数字化图像数据的连续帧,以形成数字积分图像。这种数字积分图像也可以被求平均,以减少图像数据中的噪声。条件求和功能可以被配置为对来自焦平面阵列102的每个像素将来自连续帧的值求和。例如,条件求和功能可以对来自四个连续帧的每个像素的值求和,然后对那个值求平均。在一些实现中,条件求和功能可以被配置为从连续帧中选择最佳或优选帧,而不是对连续帧求和。这些技术和附加实施例的示例在于2014年5月30日提交的题为“DataDigitization and Display for an Imaging System”的美国专利申请No.14/292,124中公开,其全部内容通过引用并入本文。
作为另一个示例,预处理模块104可以包括被配置为确定和/或调整焦平面阵列102的操作偏置点的自适应电阻器数模转换器(RDAC)功能。例如,对于包括快门的成像系统,成像系统100可以被配置为调整焦平面阵列102中的检测器的操作偏置点。自适应RDAC功能可以实现自适应操作偏置校正方法,该方法至少部分地基于平场图像(例如,通过快门闭合所获取的图像)的周期性测量。自适应RDAC功能可以至少部分地基于测得的或检测到的、平场图像随时间的漂移来实现操作偏置的持续调整。由自适应RDAC功能提供的偏置调整可以对由于诸如温度改变之类的效应而导致的光电检测器和电子器件随时间的漂移提供补偿。在一些实施例中,自适应RDAC功能包括可以被调整以使测得的平场数据更接近参考偏置水平的RDAC网络。与自适应RDAC功能相关的系统和方法的附加示例在于2017年2月28日发布的题为“Adaptive Adjustment of the Operating Bias of an ImagingSystem”的美国专利No.9,584,750中提供,该专利的全部内容通过引用并入本文。
也可能存在坏像素替换,其示例在于2017年2月17日提交的题为“PixelDecimation for an Imaging System”的美国专利申请No.14/436,626中描述,该专利的全部内容通过引用并入本文。可能包括像素抽取的坏像素替换功能可能访问可以作为校准数据的一部分的坏像素图。在各种实现中,可以通过观察给定像素是否在预定公差之外或者与它们的邻居相差超过预定阈值来识别图像数据内的坏像素。
在预处理模块104之后,其它处理模块可以被配置为进行一系列逐像素或像素组处理步骤。例如,图像处理系统100包括非均匀性校正模块106,该模块被配置为针对不是图像场景本身的一部分而是传感器的伪影的增益和偏移效应而调整像素数据。例如,非均匀性校正模块106可以被配置为接收数字数据流并且针对焦平面阵列102中的非均匀性而校正像素值。在一些成像系统中,这些校正可以从操作中的校准元件的致动中得出,诸如间歇地闭合焦平面阵列102上的快门以获取均匀的场景数据。根据这种获取的均匀场景数据,非均匀性校正模块106可以被配置为确定与均匀性的偏离。非均匀性校正模块106可以被配置为基于这些确定的偏离来调整像素数据。在一些成像系统中,非均匀性校正模块106使用其它技术来确定焦平面阵列中与均匀性的偏离。这些技术中的一些可以在不使用快门的情况下实现,并且可以使用另一种类型的操作中元件,并且可以依赖于将已知场景呈现给成像阵列,而不是平场场景。一些NUC技术不依赖物理校准元件,而是使用图像处理技术来得出NUC。用于非均匀性校正的系统和方法的附加示例在于2018年3月27日提交的题为“TimeBased Offset Correction for Imaging Systems”的美国专利No.9/930,324中描述,其全部内容通过引用并入本文。自适应校准或快门控制可以包括在预处理模块104中存在的元件或等同物,以及在于2018年3月20日发布的题为“TIME BASED OFFSET CORRECTION FORIMAGING SYSTEMS AND ADAPTIVE CALIBRATION”的美国专利No.9,924,116中描述,其全部内容通过引用并入本文。如果期望的话,可以将固定模式噪声(FPN)缓解作为NUC模块的一部分进行,以便将该功能放在图像处理链的早期。FPN缓解优选地应该在偏移校正之后进行,使得不能在NUC之前合理地发生。或者,在一些情况下,固定模式噪声缓解元件可以与基于快门或其它物理校准元件的NUC并行运行,甚至代替NUC。这样的方法可以被称为基于场景的NUC(SBNUC)。用于FPN缓解和/或SBNUC的系统和方法的其它示例在于2017年6月21日提交的题为“Fixed Pattern Noise Mitigation for a Thermal Imaging Systems”的美国专利申请No.15/629,526中描述,其全部内容通过引用并入本文。
在预处理模块104之后,成像系统100可以包括被配置为从预处理模块104接收数字数据流(例如,14位串行数据)的高/低Cint信号处理功能。高/低Cint功能可以被配置为通过应用增益表(例如,如在校准数据103中提供的)来处理数字数据流。高/低Cint功能可以被配置为使用高/低积分部件的输出来处理数字数据流。这种高/低积分部件可以与和焦平面阵列102相关联的ROIC集成。高/低积分部件的示例在于2014年5月30日提交的题为“DataDigitization and Display for an Imaging System”的美国专利申请No.14/292,124中描述,其全部内容通过引用并入本文。
图像处理系统100包括滤波器模块108,该模块被配置为应用一个或多个时间和/或空间滤波器以解决其它图像质量问题。例如,焦平面阵列的读出集成电路可以将伪影(诸如行和/或列之间的变化)引入图像。滤波器模块108可以被配置为校正这些基于行或列的伪影,如在于2017年1月17日提交的题为“Compact Row Column Noise Filter for anImaging System”的美国专利No.9/549,130中更详细地描述的,该申请的全部内容通过引用并入本文。滤波器模块108可以被配置为进行校正,以减少或消除图像中的坏像素的影响、增强图像数据中的边缘、抑制图像数据中的边缘、调整梯度、抑制图像数据中的峰值,等等。
例如,滤波器模块108可以包括坏像素功能,该功能被配置为提供焦平面阵列102上不生成可靠数据的像素的图。这些像素可以被忽略或丢弃。在一些实施例中,来自坏像素的数据被丢弃并且用从邻近、相邻和/或附近像素得出的数据替代。得出的数据可以基于插值、平滑、平均等。对于期望使用坏像素替换进行像素抽取的情况,坏像素功能可以放在链中的较早位置。
作为另一示例,滤波器模块108可以包括热梯度功能,该功能被配置为基于图像数据中存在但不是由成像系统100成像的场景的一部分的热梯度来调整像素值。热梯度功能可以被配置为使用局部平面场景数据来得出数据,以通过校正在成像系统100中产生的热梯度来改善图像质量。确定对于热梯度功能的校正的示例在于2018年4月17日提交的题为“Image Adjustment Based on Locally Flat Scenes”的美国专利No.9/947,086中更详细地描述,该申请的全部内容通过引用并入本文。
滤波器模块108可以包括被配置为调整异常像素值的峰值限制功能。例如,峰值限制功能可以被配置为将异常像素值钳位到阈值。
滤波器模块108可以被配置为包括自适应低通滤波器和/或高通滤波器和/或带通滤波器。在一些实施例中,成像系统100应用自适应低通滤波器或高通滤波器,但不是两者都用。自适应低通滤波器可以被配置为确定像素数据内有可能像素不是边缘类型图像成分的一部分的位置。在这些位置中,自适应低通滤波器可以被配置为用平滑的像素数据替换特定像素数据而不是更宽的图像区域数据(例如,用相邻像素的平均值或中值替换像素值)。这可以有效地减少图像中这些位置的噪声。高通滤波器可以被配置为通过产生边缘增强因子来增强边缘,其中,为了边缘增强,边缘增强因子可以被用来选择性地增大或减小像素数据。自适应低通滤波器和高通滤波器的附加示例在于2017年8月8日提交的题为“LocalContrast Adjustment for Digital Images”的美国专利No.9/727,954中描述,该申请的全部内容通过引用并入本文。高通滤波器和相关技术也可以用于检测图像中的边缘特征。
滤波器模块108可以被配置为对图像数据应用可选的滤波器。例如,可选的滤波器可以包括但不限于均值滤波器、中值滤波器、平滑滤波器等。可选的滤波器可以打开或关闭,以对图像数据提供目标或期望的效果。
图像处理系统100包括被配置为将强度转换为隐含温度的热像图模块110。光强度可以对应于在成像系统100的视场中来自场景和/或来自物体的光的强度。热像图模块110可以被配置为将测得的光强度转换为对应于在成像系统100的视场中的场景和/或物体的温度。热像图模块110可以接收校准数据(例如,校准数据103)作为输入。热像图模块110还可以使用原始图像数据(例如,来自预处理模块104的像素数据)和/或滤波后的数据(例如,来自滤波器模块108的像素数据)作为输入。热像图模块和方法的示例在于2015年8月27日提交的题为“Thermography for a Thermal Imaging Camera”的美国专利申请No.14/838,000和2017年12月15日提交的题为“THERMOGRAPHY PROCESS FOR A THERMAL IMAGINGSYSTEM”的美国专利申请No.15/843,667中提供,其全部内容通过引用并入本文。本公开涉及其中热像图可以可用的系统。
图像处理系统100包括直方图均衡模块112或其它显示转换模块(例如压缩模块,或不同技术的组合),这些模块被配置为准备用于在显示器116上显示的图像数据。在一些成像系统中,来自焦平面阵列102的像素值的数字分辨率可以超过显示器116的数字分辨率。直方图均衡模块112可以被配置为调整像素值,以使图像或图像的一部分的高分辨率值与显示器116的较低分辨率匹配。直方图模块112可以被配置为以避免在有少量数据或没有数据场景强度值上使用显示器116的有限显示范围的方式来调整图像的像素值。当成像系统100的用户在显示器116上观看使用成像系统100获取的图像时,这对于该用户可以是有利的,因为它可以减少未被使用的显示范围的量。例如,显示器116可以具有数字亮度标度,其对于红外图像对应于温度,其中较高强度指示较高温度。但是,显示器亮度标度(例如灰度级)通常是比像素采样字短得多的数字字,这与模数(AID)转换分辨率相关。例如,像素数据的A/D采样字可以是14位,而显示范围(诸如灰度级)通常可以是8位。所以,为了显示,直方图均衡模块112可以被配置为压缩更高分辨率的图像数据,以适合显示器116的显示范围。可以由直方图均衡模块112实现的算法和方法的示例在于2014年5月30日提交的题为“Data Digitization and Display for an Imaging System”的美国专利申请No.14/292,124中公开,该申请的全部内容通过引用并入本文。
成像系统100包括显示处理模块114,该模块被配置为通过例如选择颜色表以将温度和/或像素值转换为彩色显示器上的颜色来准备用于在显示器116上显示的像素数据。作为示例,显示处理模块可以包括着色器查找表,其被配置为将像素数据和/或温度数据转换为用于在显示器116上显示的彩色图像。着色器查找表可以被配置为至少部分地依赖于给定场景的温度与阈值温度的关系而使用不同的颜色显示查找表显示热成像场景的不同温度。例如,当显示场景的热图像时,可以依赖于它们与输入温度的关系而使用不同的查找表显示场景的各种温度。在一些实施例中,高于、低于或等于输入温度值的温度可以使用颜色查找表来显示,而其它温度可以使用灰度级查找表来显示。相应地,着色器查找表可以被配置为依赖于场景内的温度范围结合用户偏好或选择来应用不同的着色查找表。由显示处理模块提供的功能的附加示例在于2015年9月11日提交的题为“Selective Color Displayof a Thermal Image,”的美国专利申请No.14/851,576中描述,其全部内容通过引用并入本文。显示处理模块114还可以包含显示驱动器或与其接口,该显示驱动器将颜色表值转换为实际亮度颜色值以驱动显示器116,诸如RGB、yCV等。
显示器116可以被配置为显示处理后的图像数据。显示器116还可以被配置为接受输入,以与图像数据交互和/或控制成像系统100。例如,显示器116可以是触摸屏显示器。
成像系统100可以作为独立设备提供,诸如热传感器,参见例如图1B。例如,成像系统100可以包括成像系统外壳,该成像系统外壳被配置为封住成像系统100的硬件部件(例如,具有读出电子器件的焦平面阵列102、以及用于信号处理和显示的处理器,其可以微处理器、数据存储装置、现场可编程门阵列和其它电子部件等)。成像系统外壳可以被配置为支撑被配置为将光(例如,红外光、可见光等)引导到图像传感器102上的光学器件130。外壳可以包括一个或多个连接器,以提供从成像系统100到一个或多个外部系统的数据连接。外壳可以包括一个或多个用户界面部件,以允许用户与成像系统100交互和/或控制成像系统100。用户界面部件可以包括例如但不限于触摸屏、按钮、触发器(toggle)、开关、键盘等,并且显示器116也可以是用户界面的一部分,诸如触摸屏显示器。
在一些实施例中,成像系统100可以是多个成像系统的网络的一部分。在这样的实施例中,成像系统可以一起联网到一个或多个控制器。
图1B示出了图1A中所示的示例成像系统100的功能框图,其中成像系统100的功能在相机或传感器140和处理设备150之间划分。处理设备150可以是移动设备或其它计算设备。通过在不同系统或设备之间划分图像获取、预处理、信号处理和显示功能,与在板上执行这些功能中的大多数或全部的成像系统相比,相机140可以被配置为相对低功率、相对紧凑和相对计算高效。如图1B中所示,相机140被配置为包括焦平面阵列102和预处理模块104。在一些实施例中,被示为处理设备150的一部分的模块中的一个或多个可以包括在相机140中,而不是在处理设备150中。在一些实施例中,某些优点至少部分地基于相机140和处理设备150之间的功能划分来实现。例如,一些预处理功能可以使用专用硬件(例如,现场可编程门阵列、专用集成电路等)与软件的组合在相机140上高效地实现,否则这些功能在处理设备150上的实现将会更加计算昂贵或劳动密集。从而,本文公开的实施例中的至少一些的一方面包括认识到,通过选择哪些功能要在相机140上(例如,在预处理模块104中)进行以及哪些功能要在处理设备150上(例如,在热像图模块110中)进行,可以实现某些优点。
相机140的输出可以是表示由预处理模块104提供的像素值的数字数据流。数据可以使用电子连接器(例如,微型USB连接器、专有连接器等)、电缆(例如,USB电缆、以太网电缆、同轴电缆等)和/或无线地(例如,使用蓝牙、近场通信、Wi-Fi等)被发送到处理设备150。处理设备150可以是智能手机、平板、膝上型电脑、计算机或其它类似的便携式或非便携式电子设备。在一些实施例中,电力通过电连接器和/或电缆从处理设备150向相机140传递。
成像系统100可以被配置为充分利用处理设备150的计算能力、数据存储和/或电池电力来为相机140提供图像处理能力、电力、图像存储等。通过将这些功能从相机140卸载到处理设备150,相机可以具有成本有效的设计。例如,相机140可以被配置为消耗相对少的电力(例如,降低与提供电力相关联的成本),相对少的计算能力(例如,降低与提供强大处理器相关联的成本)和/或相对少的数据存储(例如,降低与在相机140上提供数字存储相关联的成本)。这可以至少部分地由于相机140被配置为提供相对少的计算能力、数据存储和/或电力而降低与制造相机140相关联的成本,因为成像系统100充分利用处理设备150的优越能力来进行图像处理、数据存储等。
因此,如图2所示,成像系统100通常可以包括光学器件130、诸如焦平面阵列102的成像传感器、信号处理链125和显示器116。应该认识到的是,在本文其它地方描述为信号处理链的一部分的各种元件可以是逻辑元件,诸如在成像系统100内任何地方的一个或多个硬件逻辑设备上执行的软件、固件或其它例程。例如,这样的部件可以在焦平面阵列102、与焦平面阵列102通信的处理核心、与焦平面阵列102直接或间接通信的智能电话、平板电脑或其他个人电子设备和/或热成像设备的处理核心处执行。信号处理链125的任何部件可以在单个硬件部件上执行和/或可以跨单个设备内的多个硬件部件或跨多个设备(例如,个人电子设备、相机或其它设备)分布。此外,本文描述的信号处理链125部件的任何组合或子组合可以在单个硬件逻辑设备上执行。
颜色显示的概念
本公开主要涉及一种热成像系统,其不仅提供场景的热图像而且还可以能够为全部或部分场景提供温度。一般而言,当显示热图像时,图像中的颜色级别对应于光电检测器的阵列测得的强度。在上面并入的参考文献14/292,124和14/851,576中深入描述了如何确定用于显示的颜色级别。在这些参考文献中,描述了强度信号通常作为数字字呈现给图像处理链,其尺寸是ADC转换尺寸。例如,14位ADC以1的步长提供范围从0到16383的强度值。因此,对于14位ADC,有16384个可能的强度值,对应于16384个不同的场景温度。如并入的参考文献中所描述的,典型地,必须使用通常具有少得多的离散值的颜色表来显示该数据,诸如作为典型颜色表尺寸的0至255(8位)。因此,对于利用8位显示格式的14位成像系统,显然不是每个可能的强度值都可以被指派唯一的颜色。
因为存在比可用颜色多得多的可能的强度值,因此通常期望明智地分配颜色。直方图均衡(HE)处理频繁用于这样的颜色分配。在许多热场景中,并非所有可成像的温度都存在,从而导致仅填充ADC范围内的一些强度值。如图3的样本/计数与计数的直方图(计数是与特定强度对应的数字字,因此样本/计数是图像中具有特定强度值或温度的像素数)所示,仅存在以五个值为中心的计数,这对应于场景中五个温度区域的存在,因此对于许多可能的强度值,没有信号。存在许多变化的HE处理以一种或另一种方式将颜色级别(显示位)分配给填充的强度值,而不分配给图像中不存在的值。对于给定场景中存在的实际温度,这将导致高的可见分辨率。
但是,如果相机指向不同的方向,并且成像场景具有不同的温度分组,则HE将为实际存在的温度的新混合适当地重新分配颜色级别。因此,指派给特定强度值(温度)的颜色可以随场景而改变。HE改善了视觉温度分辨率,但是在场景之间,颜色与实际场景温度不一定存在一致的相关性。在具有热像图处理的系统中,可能会在图像中选定位置处以数字方式显示场景温度,诸如图像中心或某个用户所选择的点,但HE导出图像中图像中的颜色提供很少绝对场景温度的指示,只是相对场景温度。对于一些应用,该实现可能不太理想,甚至潜在危险。例如,使用热相机的消防员可能需要知道环境的哪些部分实际上是危险的或有可能迅速变得危险。必须选择位置并读取数字温度可能无法以及时的方式提供有关周围环境的足够信息。因此,对于一些热成像应用,可能期望将颜色分配给图像强度的新方法。
示例颜色分配
参考图4,示出了新颖的颜色分配技术的基本元件。数字强度值的图像帧4对应于从热成像系统中的一些或所有各个光电检测器(例如,像素)获取的图像数据。强度值或者可以是原始的,例如直接来自FPA,或者可以在呈现用于着色和显示之前由信号处理链125过滤和/或处理。链元件8中的一个执行将整个强度ADC范围划分成连续值或非连续值的两个或更多个子范围9、10、11。例如,一个14位系统的子范围可能包括从0到15359的值,而另一个子范围可能包括从15360到16383的值。可能有期望的那么多的子范围。处理链元件8可以使用HE处理将来自第一颜色表或颜色表集合的颜色指派给子范围9、10、11中的一个或多个,以最大化视觉温度分辨率。在多个子范围具有使用HE处理指派的颜色的情况下,每个HE指派的子范围可以具有基于相同颜色表或基于用于每个子范围的不同颜色表分配的颜色。但是,可以不使用HE技术将至少一个子范围指派给唯一的颜色表。至少一个子范围将具有指派给该子范围中每个强度值的特定颜色表值。因此,对于至少一个非HE子范围,指派的颜色表的每个颜色将一致地对应于场景之间的特定场景温度,而不管不同场景之间的场景温度分布的改变。因此,在显示器16上观察到的颜色对于每个颜色表将相应地具有不同的含义。
当显示非HE范围时,可能无法在特定场景的颜色表中显示所有颜色,因为颜色被固定地分配给该范围内的所有强度值,而不是仅被改变或被重新分配给特定场景中存在的值。可以以任何有用的方式进行分配,但是通常可能期望以连续的顺序方式将颜色级别分配给强度级别,或者从最小到最大或者反之但是按顺序。对于强度级别多于颜色级别的通常情况,对于一些实施例,分配可以是线性的。对于上面具有两个子范围的示例情况,如果将高子范围(15360至16383)选择为非HE子范围,则该子范围中的强度级别的数量是256个计数的颜色显示范围中可用颜色级别的数量的四倍。因此,可能的指派将是强度级别15360-15363被指派颜色级别0(或255),强度15364-15367被指派颜色级别1(或254),依此类推。当然,与其它强度区域相比,可能期望在视觉上强调一些强度区域,并且不是线性分配。重要的是要注意,取决于图像处理链的实际实现,实际数学运算可能不使用直接数字字(例如,可以使用定点、浮点或其它数字系统)来执行,但是比率和概念最好用数字字示例来说明。
图5图示了包括热像图元件110的系统。在该系统中,对于图像帧中的一些或所有像素,实际场景温度与整个ADC范围内的一些或所有可能的强度值相关联。因此,子范围可以由元件7设定的温度范围确定,并由元件8检查。在图中所示的情况下,利用了两个子范围,一个用于HE分配10,一个用于特定颜色分配9。在这种子范围分配给颜色表9的情况下,使用9显示的颜色将直接与场景的各个温度值相关。因此,如果在颜色表之间使用高对比度,如图5所示,则使用灰度颜色表显示HE子范围,而使用明亮的红黄色颜色表显示特定颜色子范围。因此,与温度直接相关联的颜色将易于观察和解释。图6图示了颜色分配方案的热像图实现,该方案特别针对使用如图5中的两个子范围进行消防热成像。一个子范围被限定为覆盖从0到150摄氏度的范围。该子范围用HE处理指派给颜色表(BCLAHE是一个特定的HE变化)。较低的子范围表示消防员穿着消防服可以承受的温度范围,因此视觉分辨率很重要,例如,为了在黑暗中看到物体,因此HE是优选的。选择与HE表具有高对比度的不同颜色表被用于覆盖温度为150至650摄氏度的子范围。650度或更高温度可能指示极度燃烧或回风危险,因此通过颜色快速确定危险范围内的温度可能比高视觉温度分辨率更有用(例如,如通过HE处理可以实现的)。
因此,有用的子范围分配可以包括在具有HE的柔和颜色表中显示低温子范围,而在具有固定颜色分配的明亮颜色表中显示较高温度子范围。反过来以突出显示低温也可能是有用的。但是,许多其它变化是可能的,并且对于某些应用可能是有用的。例如,在一些实现中,可能期望选择用于特定颜色指派的中温子范围,并使用HE颜色分配将其与两个较低和较高的子范围包括在一起。在这种情况下,较高和较低的子范围可能会拆分单个颜色表和/或可能使用在任一端匹配的两个颜色表。对于这种情况,大部分图像将受益于HE视觉分辨率,而中间的温度带对应于固定的颜色。子范围也可以是非连续的,并且当子范围被专门着色和覆盖(例如,混合)时,使用HE处理整个范围或重叠范围的变化也是可能的。这种情况对于具有许多相似温度特征且没有较大异常值的场景可能是有用的。许多变化是可能的并且落入所公开技术的范围内。
示例颜色显示处理步骤
图7是图示用于颜色显示的示例处理的流程图。为了便于描述,该处理将被描述为由本文参考图1A和1B以及图2描述的成像系统100执行。但是,可以通过成像系统100中的任何模块或模块的组合来执行该处理的一个或多个步骤。类似地,可以通过成像系统100中未示出的模块的组合来执行任何单独的步骤。
在方框700处,将ADC转换范围划分为强度值的两个或更多个子范围。在大多数实施例中,子范围可以是连续的,但是也可以使用非连续的子范围。
在方框720处,将至少一个子范围中的强度值分配给第一颜色表,以便使用HE处理进行显示。在一些实施例中,可以使用HE将一个以上子范围分配给分割或连续的颜色表。也可以使用HE分配整个范围。例如,HE子范围可以包括ADC转换值的整个范围。
在方框740处,将至少一个子范围中的强度值分配给与第一表不同的颜色表,该分配是利用其中将特定颜色表值指派给子范围中的每个强度值的固定分配。如本文其它地方所述,可以将各个颜色表值分配给固定分配子范围中的唯一强度值,和/或可以分配给多个强度值(例如,在子范围中存在比颜色表中的颜色值更多可能的强度值的情况下)。在一些实施例中,诸如在其中使用非线性分配比例的情况下,可以将某些颜色表值分配给不同数量的强度值。在一些实施例中,然后可以在整个范围内执行HE分配,并且可以将专门指派的颜色覆盖(例如,混合)在HE分配的显示上。
对于一些应用,不是使某些温度固定为颜色值,而是将图像划分为两个或更多个具有不同着色的子范围可能对突出显示感兴趣的物体有用。例如,在搜索、救援或狩猎应用中,增加某些温度(诸如,身体周围的温度)的对比度,以使包含某些温度的物体在显示的热图像中生动地突出显示可能是有用的。
图8和9图示了这个概念。图像范围的全部或部分,并且在许多情况下完整图像范围可以被指定为图像的第一热强度范围,并且可以用第一颜色表进行着色。在图8的情况下,第一范围805包括完整256计数显示范围的大约一半(例如,128个值),并且在图9中,第一范围905包括完整256计数显示范围。第一颜色表可以是任何期望的类型。在一些实施例中,合适的第一颜色表可以是灰度的变化。在图8和9描述的实施例中,第一颜色表是“黑热”颜色表。
第二子范围被限定为目标范围。在图8中,目标范围810包括整个范围的大约上半部分,而在图9中,目标范围910包括完整范围内的强度值的中间段。对于具有热像图布置的系统,目标子范围810、910的上限和下限可以对应于场景温度。
可以通过用户选择上限和下限来建立目标范围。可替代地,某些诸如搜索和救援模式等的操作模式可以针对感兴趣的特定温度范围(诸如体温)利用预先选择或自动建立的目标范围。如果在落入目标范围内的图像中没有像素或只有少量像素,则可能期望不要与图像的其余部分不同地对目标范围进行着色。在这样的图像帧中,系统可以分配显示颜色而不使用目标范围颜色表810、910。例如,在图9的示例中,可以基于第一子范围905的灰度颜色表来显示整个图像帧。但是,如果目标范围内的像素数量超过用户选择的和/或预定的数量,则用第二颜色表对一些或所有目标范围像素进行着色以产生目标范围图像元件的对比度可能有利的。
特别地,为了提供甚至更多的对比度,可以仅选择一些目标范围像素来用第二颜色表进行着色,从而提供甚至更多的目标范围对比度。可以通过包括线性分配、直方图均衡化(HE)、固定颜色分配等在内的各种过程中的任何一个来将第二颜色表所有地或部分地分配给所选择的像素。
继续参考图8和9,现在将描述特定示例。在图8中,包括大约256个计数值的下半部分的第一子范围805被分配有黑热颜色表(或查找表(LUT))。然后,包括大约256个计数值的上半部分的目标范围810被分配着色的颜色表或LUT。例如,上部目标范围可以对应于包括典型的人体或动物体温的值。因此,当显示示例图像帧815时,与人体对应的一个或多个目标区域820具有目标范围810中的值,并且看起来是着色的,从而增强了目标区域820和背景区域之间的感知对比度,其值低于目标范围810,并基于第一子范围805的LUT相应地以灰度进行渲染。可替代地,在一些实施例中,目标范围还可以被分配有灰度颜色表(例如,第一子范围805可以使用黑热颜色表,并且目标子范围可以使用白热颜色表)。在可以使用浮点温度图像执行的图8的示例中,可以首先使用具有HE的下部黑热表对完整图像进行着色。系统然后可以识别具有在目标范围810内的值的“目标”像素。如果将少于预定数量或百分比的像素识别为目标像素,则该处理可以终止,并且可以使用黑热颜色表来显示整个图像。如果多于预定数量或百分比的像素是目标像素,则可以将目标像素分配到目标范围810的值中(例如,通过在值128-256内进行分箱),使得目标相对于背景生动地着色,如示例图像帧815中所示。
转到图9,包括完整范围的第一子范围905被HE分配有第一黑热颜色表或LUT,在这种情况下是完整256级别的LUT。建立中间目标范围910,并将其分配给第二LUT的全部或部分,例如蓝色到黄色LUT的所有256个级别,这与黑热第一颜色表的对比度非常高。如果少于预定数量或百分比(例如,X%)的所有像素落入目标范围内,则可以省略第二LUT着色。如果多于预定数量或百分比的所有像素确实落入目标范围内,则对目标像素的顶部(例如,最高强度)Y%(例如,预定百分比)进行着色,在这种情况下使用HE(但是固定着色可以等同地用于目标范围910),并在图像915中显示在适当位置或与第一颜色表(LUT)像素混合。对于图9中所示的示例图像帧915和图8中所示的示例图像帧815,X为10且Y为1,这意味着对于具有76800个像素的QVGA图像,将76800的10%的1%或大约100像素用整个第二LUT进行着色,该整个第二LUT被选择为与第一黑热LUT具有高对比度。对于图8和9的示例,在目标范围被选择为在体温附近的情况下,结果是落入目标范围内的图像的部分非常生动的着色(例如,将目标区域920与周围环境925对比)。该应用对于搜寻和救援是显然的,因为这样的技术可以使诸如人或动物之类的生物在视觉上得以识别并与其周围环境区分开,其中周围环境的温度可能要低得多(例如,树木、雪等)。
对各图的示例的许多变化是可能的。在一些实施例中,可以选择两个以上的子范围,并且每个子范围可以有一个以上的LUT。另外,可以使用LUT分配的任何组合,对于或者第一子范围或者目标子范围,从少数颜色到整个颜色表不等。可以使用热像图导出的温度值或原始和/或处理后的图像强度值来设定极限。特别地,目标范围和像素选择百分比可以在用户控制下变化或预先编程为针对诸如搜索和救援的特定应用的某些操作模式。
取决于实施例,本文描述的任何处理的某些动作、事件或功能可以以不同的顺序进行,可以被添加、合并或完全省略(例如,并非所有描述的动作或事件对于算法的实践都是必需的)。而且,在某些实施例中,动作或事件可以同时地而不是顺序地进行,例如,通过多线程处理、中断处理或多个处理器或处理器核心或者在其它并行的架构上。
结合本文公开的实施例描述的各种说明性逻辑方框、模块和处理步骤可以被实现为电子硬件、计算机软件,或两者的组合。为了清楚地说明硬件和软件的这种可互换性,上面已经就其功能一般性地描述了各种说明性部件、方框、模块和步骤。这样的功能被实现为硬件还是软件依赖于特定应用和对整个系统施加的设计约束。所描述的功能可以对于每个特定应用以不同的方式实现,但是这样的实现决策不应当被解释为导致背离本公开的范围。
结合本文公开的实施例描述的各种说明性逻辑方框和模块可以由机器来实现或进行,诸如被设计为执行本文所述的功能的、配置有特定指令的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件,或其任何组合。处理器可以是微处理器,但在替代方案中,处理器可以是控制器、微控制器或状态机、其组合,等等。处理器还可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核心,或任何其它这样的配置。例如,本文所述的LUT可以使用分立存储器芯片、微处理器中的存储器的一部分、闪存、EPROM或其它类型的存储器来实现。
结合本文公开的实施例描述的方法、过程或算法的元素可以直接在硬件中、在由处理器执行的软件模块中或者在两者的组合中体现。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域已知的任何其它形式的计算机可读存储介质中。示例性存储介质可以耦合到处理器,使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中,存储介质可以集成到处理器。处理器和存储介质可以驻留在ASIC中。软件模块可以包括使硬件处理器执行计算机可执行指令的计算机可执行指令。
除非另有明确说明或在所使用的上下文中另有理解,否则本文使用的条件语言,诸如尤其是“能够”、“可以”、“可能”、“例如”等,通常意图传达某些实施例包括,而其它实施例不包括,某些特征、元件和/或状态。因而,这样的条件语言通常不意图暗示特征、元件和/或状态以任何方式对于一个或多个实施例是需要的,或者一个或多个实施例需要包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或状态是否被包括在或将在任何特定实施例中执行的逻辑。术语“包括”、“包含”、“具有”、“涉及”等是同义的并且以开放式的方式包含地使用,并且不排除附加的元件、特征、动作、操作等。而且,术语“或”在其包括的含义上(而不是在其排他的含义上)被使用,使得当例如被用来连接元素列表时,术语“或”表示列表中的元素的一个、一些或全部。
除非另有特别说明,否则诸如短语“X、Y和Z中的至少一个”之类的分离语言应当与上下文一起理解为通常用于表示项、术语等可以是X、Y或Z或其任意组合(例如,X、Y和/或Z)。因而,这种分离语言通常不意图,并且不应当,暗示某些实施例需要至少一个X、至少一个Y或至少一个Z各自存在。
除非另有明确说明,否则诸如“一个”的冠词通常应当被解释为包括一个或多个所描述的项。从而,诸如“被配置为…的设备”的短语意图包括一个或多个所述设备。这样的一个或多个所述设备还可以被共同地配置为执行所述陈述。例如,“被配置为执行陈述A、B和C的处理器”可以包括与被配置为执行陈述B和C的第二处理器结合工作的被配置为执行陈述A的第一处理器。
虽然上面的详细描述已经示出、描述和指出了应用到示例性实施例的新颖特征,但是应当理解,在不背离本公开的精神的情况下,可以对所示的设备或处理的形式和细节进行各种省略、替换和改变。如将认识到的,本文所述的某些实施例可以以没有提供本文所阐述的所有特征和益处的形式体现,因为一些特征可以与其它特征分开使用或实践。在权利要求的等同物的含义和范围内的所有改变都将被涵盖在其范围内。

Claims (43)

1.一种用于显示来自热成像系统的数据的方法,所述热成像系统包括光电检测器的阵列,每个检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,所述信号包括其值是所述热强度的模数转换ADC的二进制字,并且其中所述二进制字在所述系统的转换范围内,所述方法包括:
将所述转换范围划分为至少两个包括连续或非连续的强度值的子范围的区域,其中所述强度值包括原始强度值和滤波强度值中的至少一个;
将至少第一子范围的强度值分配给第一颜色显示表,其中指派给所述第一子范围的所述强度值以用于显示的颜色是用直方图均衡HE处理使用完整256位级别颜色表来确定的;以及
将至少第二子范围的强度值分配给与所述第一颜色显示表不同的第二颜色显示表,其中将特定颜色指派给所述第二子范围的每个强度值以用于显示,其中所述第二子范围的强度值不用直方图均衡HE处理来处理。
2.如权利要求1所述的方法,其中,与所述ADC对应的二进制字值的可用数量大于与所述第一颜色显示表或第二颜色显示表对应的离散颜色值的数量。
3.如权利要求1所述的方法,其中,所述第一子范围的强度值的范围低于所述第二子范围的强度值的范围。
4.如权利要求1所述的方法,其中,将所述第二颜色显示表中的特定颜色值指派给所述第二子范围中从最小到最大的各个强度值。
5.如权利要求4所述的方法,其中,所述特定颜色值的指派在第二颜色显示表和强度值之间线性地执行,其中特定颜色表示固定的强度级别。
6.如权利要求1所述的方法,其中,所述成像系统包括将强度值转换成场景温度的热像图功能。
7.如权利要求6所述的方法,其中,所述子范围被识别为覆盖温度范围。
8.如权利要求6所述的方法,其中,专门分配给子范围强度值的每种颜色对应于特定温度。
9.如权利要求8所述的方法,其中,所述第一子范围被选择为低于第一感兴趣温度,并且其中,所述第二子范围被选择为高于第二感兴趣温度。
10.如权利要求9所述的方法,其中,所述第二子范围被选择为高于150摄氏度,并且其中,所述第二子范围被选择为低于650摄氏度。
11.一种热成像系统,所述热成像系统包括光电检测器的阵列,每个光电检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,所述信号包括其值是所述热强度的模数转换ADC的二进制字,并且其中所述二进制字在所述系统的转换范围内,所述热成像系统还包括至少一个用于从所述光电检测器阵列获取和处理图像数据的处理器;以及用于图像数据的显示器,所述热成像系统被配置为:
将所述转换范围划分为至少两个包括连续或非连续的强度值的子范围的区域,其中所述强度值包括原始强度值和滤波强度值中的至少一个;
将至少第一子范围的强度值分配给第一颜色显示表,其中指派给所述第一子范围的所述强度值以用于显示的颜色是用直方图均衡HE处理使用完整256位级别颜色表来确定的;以及
将至少第二子范围的强度值分配给与所述第一颜色显示表不同的第二颜色显示表,其中将特定颜色指派给所述第二子范围的每个强度值以用于显示,其中所述第二子范围的强度值不用直方图均衡HE处理来处理。
12.如权利要求11所述的系统,其中,与所述ADC对应的二进制字值的可用数量大于与所述第一颜色显示表或所述第二颜色显示表对应的离散颜色值的数量。
13.如权利要求11所述的系统,其中,所述第一子范围的强度值的范围低于所述第二子范围的强度值的范围。
14.如权利要求11所述的系统,其中,将所述第二颜色显示表中的特定颜色值指派给所述第二子范围中从最小到最大的各个强度值。
15.如权利要求14所述的系统,其中,所述特定颜色值的所述指派在第二颜色显示表和强度值之间线性地执行,其中特定颜色表示固定的强度级别。
16.如权利要求11所述的系统,其中,所述成像系统包括将强度值转换成场景温度的热像图功能。
17.如权利要求16所述的系统,其中,所述子范围被识别为覆盖温度范围。
18.如权利要求16所述的系统,其中,专门分配给子范围强度值的每种颜色对应于特定温度。
19.如权利要求18所述的系统,其中,所述第一子范围被选择为低于第一感兴趣温度,并且其中,所述第二子范围被选择为高于第二感兴趣温度。
20.如权利要求19所述的系统,其中,所述第二子范围被选择为高于150摄氏度,并且其中,所述第二子范围被选择为低于650摄氏度。
21.一种用于显示来自热成像系统的数据的方法,所述系统包括光电检测器的阵列,每个检测器被配置为输出与获取的一部分成像场景的热强度对应的信号,所述信号包括其值是所述热强度的模数转换ADC的二进制字,并且其中所述二进制字在所述系统的转换范围内,所述方法包括:
将所述转换范围划分为至少两个包括连续或非连续的强度值的子范围的区域,其中所述强度值包括原始强度值和滤波强度值中的至少一个;
将至少第一子范围的强度值分配给第一颜色显示表,其中指派给所述第一子范围的所述强度值以用于显示的颜色是用直方图均衡HE处理使用完整256位级别颜色表来确定的;
将至少第二子范围的强度值分配给与所述第一颜色显示表不同的第二颜色显示表,其中所述第二子范围内的预定数量的像素包括用所述第二颜色显示表着色的第一像素集,其中所述第二子范围的强度值不用直方图均衡HE处理来处理,并且其中至少不同着色的第二像素集是用所述第一颜色显示表着色的;以及
在一个图像中显示所述第一像素集和所述不同着色的第二像素集。
22.如权利要求21所述的方法,其中,与所述ADC对应的二进制字值的可用数量大于与所述第一颜色显示表或所述第二颜色显示表对应的离散颜色值的数量。
23.如权利要求21所述的方法,其中,所述第一子范围的强度值的范围低于或高于所述第二子范围的强度值的范围。
24.如权利要求21所述的方法,其中,所述第一子范围基本上覆盖完整转换范围。
25.如权利要求24所述的方法,其中,所述第二子范围覆盖包括小于完整转换范围的范围。
26.如权利要求24所述的方法,其中,所述第二子范围由形成目标范围的上限和下限来限定,所述上限和下限是用户可选择和预定中的至少一个。
27.如权利要求26所述的方法,其中,如果至少预定阈值数量的像素在所述目标范围内,则仅用所述第二颜色显示表对所述第二子范围进行着色。
28.如权利要求27所述的方法,其中,所述目标范围内仅预定百分比的像素用所述第二颜色显示表进行着色。
29.如权利要求28所述的方法,其中,使用所有或部分的所述第二颜色显示表对所述目标范围像素进行着色。
30.如权利要求29所述的方法,其中,通过HE将所述第二颜色显示表指派给所选择的目标像素。
31.如权利要求21所述的方法,其中,所述成像系统包括将强度值转换成场景温度的热像图功能。
32.如权利要求31所述的方法,其中,目标范围被识别为覆盖温度范围。
33.一种热成像系统,所述热成像系统包括光电检测器阵列,每个光电检测器都被配置为输出与获取的一部分成像场景的热强度对应的信号,所述信号包括其值是所述热强度的模数转换ADC的二进制字,并且其中二进制字在所述系统的转换范围内,所述热成像系统还包括至少一个用于从所述光电检测器阵列获取和处理图像数据的处理器,以及用于图像数据的显示器,所述热成像系统被配置为:
将所述转换范围划分为至少两个包括连续或非连续的强度值的子范围的区域,其中所述强度值包括原始强度值和滤波强度值中的至少一个;
将至少第一子范围的强度值分配给第一颜色显示表,其中指派给所述第一子范围的所述强度值以用于显示的颜色是由直方图均衡HE处理使用完整256位级别颜色表来确定的;
将至少第二子范围的强度值分配给与所述第一颜色显示表不同的第二颜色显示表,其中所述第二子范围内的预定数量的像素包括用所述第二颜色显示表着色的第一像素集,其中所述第二子范围的强度值不用直方图均衡HE处理来处理,并且其中至少不同着色的第二像素集是用所述第一颜色显示表着色的;以及
在一个图像中显示所述第一像素集和所述不同着色的第二像素集。
34.如权利要求33所述的系统,其中,所述第一子范围的强度值的范围低于或高于所述第二子范围的强度值的范围。
35.如权利要求33所述的系统,其中,所述第一子范围基本覆盖完整转换范围。
36.如权利要求35所述的系统,其中,所述第二子范围覆盖包括小于完整转换范围的范围。
37.如权利要求34所述的系统,其中,所述第二子范围由形成目标范围的上限和下限来限定,所述上限和下限是用户可选择和预定中的至少一个。
38.如权利要求37所述的系统,其中,如果至少预定阈值数量的像素在所述目标范围内,则仅用所述第二颜色显示表对所述第二子范围进行着色。
39.如权利要求38所述的系统,其中,仅所述目标范围内的预定百分比的像素用所述第二颜色显示表进行着色。
40.如权利要求39所述的系统,其中,使用所有或部分的所述第二颜色显示表对所述目标范围像素进行着色。
41.如权利要求40所述的系统,其中,通过HE将所述第二颜色显示表指派给所选择的目标像素。
42.如权利要求33所述的系统,其中,所述成像系统包括将强度值转换成场景温度的热像图功能。
43.如权利要求33所述的系统,其中,目标范围被识别为覆盖温度范围。
CN201880060382.3A 2017-08-04 2018-07-31 热成像系统的颜色显示模式 Active CN111095906B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762541550P 2017-08-04 2017-08-04
US62/541,550 2017-08-04
US201762598931P 2017-12-14 2017-12-14
US62/598,931 2017-12-14
PCT/US2018/044681 WO2019028067A1 (en) 2017-08-04 2018-07-31 COLOR DISPLAY MODES FOR A THERMAL IMAGING SYSTEM

Publications (2)

Publication Number Publication Date
CN111095906A CN111095906A (zh) 2020-05-01
CN111095906B true CN111095906B (zh) 2023-09-01

Family

ID=70393917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060382.3A Active CN111095906B (zh) 2017-08-04 2018-07-31 热成像系统的颜色显示模式

Country Status (2)

Country Link
EP (1) EP3662654A1 (zh)
CN (1) CN111095906B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614195B (zh) * 2020-12-14 2024-04-12 杭州海康微影传感科技有限公司 热图像的生成方法、装置和热成像设备
CN113375811A (zh) * 2021-06-17 2021-09-10 广东天波信息技术股份有限公司 热成像伪彩色添加方法、测温设备和计算机存储介质
CN115188349B (zh) * 2022-07-15 2023-03-07 浙江欧菲克斯交通科技有限公司 移动可变交通信息牌自定义内容编辑方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000037970A3 (en) * 1998-12-11 2000-11-23 Flir Systems Extreme temperature radiometry and imaging apparatus
CN103826072A (zh) * 2014-02-13 2014-05-28 北京科技大学 一种小型红外成像系统
WO2016179050A1 (en) * 2015-05-01 2016-11-10 Flir Systems, Inc. Enhanced color palette systems and methods for infrared imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298859B2 (en) * 2013-11-01 2019-05-21 Flir Systems Ab Enhanced visual representation of infrared data values
WO2016040566A1 (en) * 2014-09-12 2016-03-17 Seek Thermal, Inc. Selective color display of a thermal image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000037970A3 (en) * 1998-12-11 2000-11-23 Flir Systems Extreme temperature radiometry and imaging apparatus
CN103826072A (zh) * 2014-02-13 2014-05-28 北京科技大学 一种小型红外成像系统
WO2016179050A1 (en) * 2015-05-01 2016-11-10 Flir Systems, Inc. Enhanced color palette systems and methods for infrared imaging

Also Published As

Publication number Publication date
CN111095906A (zh) 2020-05-01
EP3662654A1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
US10848725B2 (en) Color display modes for a thermal imaging system
CN110312919B (zh) 用于热成像系统的热成像处理
US10362242B2 (en) Selective color display of a thermal image
EP3136339B1 (en) Edge enhancement for thermal-visible combined images and cameras
EP3289759B1 (en) Compact row column noise filter for an imaging system
US10547820B2 (en) Selective color display of a thermal image
US10186020B2 (en) Local contrast adjustment for digital images
US9930324B2 (en) Time based offset correction for imaging systems
EP3183872B1 (en) Adaptive adjustment of operating bias of an imaging system
US20160065848A1 (en) Thermography for a thermal imaging camera
CN111095906B (zh) 热成像系统的颜色显示模式
US11276152B2 (en) Adaptive gain adjustment for histogram equalization in an imaging system
US10230912B2 (en) Fixed pattern noise mitigation for a thermal imaging system
WO2016089823A1 (en) Image adjustment based on locally flat scenes
US20170243326A1 (en) Pixel decimation for an imaging system
US10890490B2 (en) Thermography process for converting signal to temperature in a thermal imaging system
US10867371B2 (en) Fixed pattern noise mitigation for a thermal imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant