CN107787443B - 用于红外成像的增强调色板系统和方法 - Google Patents

用于红外成像的增强调色板系统和方法 Download PDF

Info

Publication number
CN107787443B
CN107787443B CN201680037096.6A CN201680037096A CN107787443B CN 107787443 B CN107787443 B CN 107787443B CN 201680037096 A CN201680037096 A CN 201680037096A CN 107787443 B CN107787443 B CN 107787443B
Authority
CN
China
Prior art keywords
color values
series
color
colors
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680037096.6A
Other languages
English (en)
Other versions
CN107787443A (zh
Inventor
A·A·理查兹
C·W·汉德利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Publication of CN107787443A publication Critical patent/CN107787443A/zh
Application granted granted Critical
Publication of CN107787443B publication Critical patent/CN107787443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/526Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts for choosing a combination of different colours, e.g. to produce a pleasing effect for an observer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/526Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts for choosing a combination of different colours, e.g. to produce a pleasing effect for an observer
    • G01J3/528Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts for choosing a combination of different colours, e.g. to produce a pleasing effect for an observer using colour harmony theory

Abstract

公开用于生成所捕捉的数据(例如红外图像数据)的增强视觉表示的成像系统和方法。例如,表示邻近输出级(例如,温度或红外强度级)的颜色之间的所感知的颜色距离或对比度在红外图像的视觉表示中得到增强。根据实施例,表示场景的红外图像数据值可以根据使用互补色或邻近(例如,连续)基色或重复具有变化的饱和度和/或强度的预定色相集的颜色序列所实现的调色板来映射,由此增加表示场景中的细微温差的像素之间的颜色对比度。调色板可以通过将较大数量的截然不同的输出级映射到较大颜色序列(例如通过增加调色板的位深度)而扩大,使得颜色转变看起来更平滑且更自然。

Description

用于红外成像的增强调色板系统和方法
相关申请的交叉引用
该申请要求2015年5月1日提交且题为“ENHANCED COLOR PALETTE SYSTEMS ANDMETHODS FOR INFRARED IMAGING”的美国临时专利申请号62/156,163的权益,其通过引用全部合并于此。
该申请还要求2015年5月1日提交且题为“ENHANCED COLOR PALETTE SYSTEMS ANDMETHODS FOR INFRARED IMAGING”的美国临时专利申请号62/156,166的权益,其通过引用全部合并于此。
技术领域
该申请大体涉及用于在显示器上显示代表所捕捉场景的经捕捉红外数据值,并且更具体地用于以假色或伪色提供红外数据值的增强显示和解释的系统和方法。
背景技术
场景的热红外图像通常对于监测、检查和维护目的是有用的。通常提供热成像设备来捕捉红外信息或数据值(其指示从场景接收的红外能量的强度)并且创建或生成所捕捉的红外信息的视觉表示。例如,红外信息可以采用红外图像的形式来呈现,该红外图像代表从所观察的真实场景发射的红外辐射。
红外辐射对于人眼不可见;红外图像中的每个像素的经捕捉红外图像数据值与显示器上生成的红外图像的视觉表示的颜色之间没有自然关系。因此,信息可视化过程(通常称为假彩色化或伪彩色化)典型地用于根据调色板或查找表(LUT)将红外图像中每个像素的经捕捉红外图像数据值映射到显示器上显示的对应颜色或灰度。
用于描绘热图像的颜色因为它刺激大脑中的所感知的对比度响应超出灰阶之间的所感知的对比度而是有用的。传统的调色板或LUT被设计为围绕彩虹色、处于不同温度的白炽光的物体的颜色或其他审美上有吸引力的颜色设置,并且典型地将红外图像数据值映射到有限数量的输出色阶(例如,8位或256个色阶)。
前面提到的示例中的所感知的颜色对比度在邻近的8位输出色阶之间是低的,从而导致难以区分所捕捉图像的连续温度。因此,需要有用于使所显示的红外图像中感兴趣的局部区域可视化的改进技术,特别是关于红外成像调色板。
发明内容
本文公开根据一个或多个实施例的使用至少一个红外(IR)成像设备(例如,热IR成像设备)以经由改进的调色板提供场景的经捕捉的IR(例如,热)图像数据的增强视觉表示的系统和方法的各种技术。例如,在一些实施例中,利用颜色空间(例如,RGB颜色空间)中的互补色(并且在一些实施例中是接近互补色)作为邻近(例如,连续)基色或断点的调色板可以用于描绘表示真实场景的红外图像中的温度值转变。使用基于使所感知的对比度而严格上不是使视觉吸引力最大化的颜色理论和数学表示的科学方法来设计这样的调色板。
根据本文描述的不同实施例,可以特别地关于互补色或其他颜色设置来提供IR图像的增强视觉表示的生成和显示,所述其他颜色增加了表示不同但彼此邻近的IR强度级(例如,温度)的像素之间的感知颜色距离(例如,所感知的颜色对比度)。因此,在一些实施例中,提供用户可以选择的IR图像的可容易解释的可视化。
在本公开的一些实施例中,提供用于经由调色板或LUT中提高邻近IR数据值之间的所感知的颜色距离或对比度的互补色的有利设置来生成IR成像传感器所捕捉的IR数据值的改进视觉表示的方法和系统。例如,该方法可以包括:接收由包括多个检测器元件的IR成像传感器捕捉的IR图像数据,其中该IR图像数据对于每个检测器元件包括对应像素,其具有表示检测器元件所接收的IR辐射的强度的IR数据值;以及生成IR图像数据的至少一部分的视觉表示,其中该视觉表示对于IR图像数据的至少一部分的每个像素包括根据颜色模型的对应颜色表示分量,并且其中生成视觉表示包括对于每个像素:基于像素的IR数据值确定输出级、根据调色板确定对应于所确定的输出级的颜色值,其中调色板包括对应于一定范围的离散输出级的颜色值的序列,该颜色值的序列包括以对序列分区的大致相似间隔安置的一系列基色值,其中序列中除基色值以外的颜色值插入连续基色值之间,并且其中所述一系列基色值包括表示彼此互补的一对颜色的至少一对连续基色值,并且将所确定的颜色值分配给视觉表示的对应颜色表示分量。
在另一个示例中,系统可以包括:IR成像传感器,其包括多个检测器元件,该IR成像传感器配置成捕捉IR图像数据,其对每个检测器元件包括对应像素,该像素具有表示由检测器元件所接收的IR辐射的强度的IR数据值;存储器,其配置成存储调色板,该调色板包括对应于一定范围的离散输出级的颜色值的序列,其中该颜色值的序列包括以对序列分区的大致相似间隔安置的一系列基色值,其中序列中除基色值以外的颜色值插入连续基色值之间,并且其中所述一系列基色值包括表示彼此互补的一对颜色的至少一对连续基色值;和处理器,其通信耦合于IR成像传感器和存储器,该处理器被配置成生成IR图像数据的至少一部分的视觉表示,其中该视觉表示对于IR图像数据的至少一部分的每个像素包括根据颜色模型的对应颜色表示分量,并且其中处理器被配置成通过以下生成视觉表示:对于IR图像数据的至少一部分的每个像素,基于该像素的IR数据值确定输出级、根据调色板确定对应于所确定的输出级的颜色值以及将所确定的颜色值分配给视觉表示的对应颜色表示分量。
在本公开的其他实施例中,提供用于经由调色板或LUT生成由IR成像传感器捕捉的IR数据值的改进视觉表示的方法和系统,该调色板或LUT被设置成利用大量颜色来提高邻近的IR数据值之间的所感知的颜色距离或对比度。例如,方法可以包括:接收由包括多个检测器元件的IR成像传感器捕捉的IR图像数据,其中该IR图像数据对于每个检测器元件包括对应像素,其具有表示检测器元件所接收的IR辐射的强度的IR数据值;以及生成IR图像数据的至少一部分的视觉表示,其中该视觉表示对于IR图像数据的至少一部分的每个像素包括根据颜色模型的对应颜色表示分量,并且其中生成视觉表示包括对于每个像素:基于该像素的IR数据值确定输出级;根据调色板确定对应于所确定的输出级的颜色值,其中该调色板包括对应于一定范围的离散输出级的颜色值的序列,该颜色值的序列包括以对序列分区的大致相似间隔安置的一系列基色值,其中序列中除基色值以外的颜色值插入连续基色值之间,并且其中所述一系列基色值包括两个或更多个子系列,每个子系列表示相同预定色相集的不同饱和度和/或强度,并且将所确定的颜色值分配给视觉表示的对应颜色表示分量。
在另一个示例中,系统可以包括:IR成像传感器,其包括多个检测器元件,该IR成像传感器被配置成捕捉IR图像数据,其对于每个检测器元件包括对应像素,该对应像素具有表示检测器元件所接收的IR辐射的强度的IR数据值;存储器,其被配置成存储调色板,该调色板包括对应于一定范围的离散输出级的颜色值的序列,其中该颜色值的序列包括以对预定序列分区的大致相似间隔安置的一系列基色值,其中序列中除基色值以外的颜色值插入连续基色值之间,并且其中基色值系列包括两个或更多个子系列,每个子系列代表相同预定色相集的不同饱和度和/或强度;以及处理器,其通信耦合于IR成像传感器和存储器,该处理器被配置成生成IR图像数据的至少一部分的视觉表示,其中该视觉表示对于IR图像数据的至少一部分的每个像素包括根据颜色模型的对应颜色表示分量,并且其中处理器被配置成通过以下生成视觉表示:对于IR图像数据的至少一部分的每个像素,基于该像素的IR数据值确定输出级、根据调色板确定对应于所确定的输出级的颜色值以及将所确定的颜色值分配给视觉表示的对应颜色表示分量。在其他示例系统和方法中,方法的调色板中的颜色值的序列可以包括至少512个颜色值,其对应于至少512个离散输出级。
本发明的范围由通过引用而并入该章节的权利要求限定。通过考虑一个或多个实施例的下列详细描述,将对本领域内技术人员提供对本发明的实施例的更全面理解及其额外优势的实现。将参考首先将简要描述的附图。
附图说明
图1示出根据本公开的一个或多个实施例的成像系统的框图。
图2A-2C示出根据现有技术生成的红外图像的示例视觉表示。
图3A-3C示出用于生成图2A-2C的现有技术的视觉表示示例的现有技术的调色板中的颜色值的示例标绘图。
图4示出根据本公开的实施例的调色板。
图5示出根据本公开的实施例如何通过查找调色板来对IR图像数据值确定对应颜色值。
图6A-6B示出根据本公开的实施例生成的红外图像的示例视觉表示。
图7A-7B示出根据本公开的实施例的用于生成图6A-6B的视觉表示示例的调色板中的颜色值的示例标绘图。
图8A-8B示出本公开的实施例的图6A的示例视觉表示的一部分的近视图。
图9示出根据本公开的实施例的图4的调色板中的颜色值的示例标绘图。
图10示出根据本公开的实施例使用图4的调色板生成的红外图像的示例视觉表示。
图11示出根据本公开的实施例作为色环的调色板。
图12示出根据本公开的实施例的图11的调色板中的颜色值的示例标绘图。
图13示出根据本公开的实施例使用图11的调色板生成的红外图像的示例视觉表示。
图14示出根据本公开的实施例的调色板。
图15示出根据本公开的实施例的图14的调色板中的颜色值的示例标绘图。
图16示出根据本公开的实施例使用图14的调色板生成的红外图像的示例视觉表示。
图17示出根据本公开的实施例的用于生成IR图像的视觉表示的计算机实现的方法的流程图。
本发明的实施例以及它们的优势通过参考接着的详细描述而最好理解。应意识到类似标号用于标识一个或多个图中图示的类似元件。
具体实施方式
本文公开根据各种实施例提供红外数据值的增强视觉表示和显示的系统和方法。例如,红外拍摄装置可以用于捕捉热图像。这些热图像可以通过使用根据本公开的各种实施例的改进调色板(或LUT)执行映射过程来处理以创建和显示视觉表示,这些视觉表示有利地具有可更好区分的温度范围变化。
在下文,术语“红外数据值的视觉表示”、“视觉表示”和“红外图像”可互换地使用。
为了容易理解,典型地对单帧红外数据值描述本文的方法实施例;然而,这些方法能适用于任意数量的经捕捉的帧的红外数据值并且可以在生成静止图像和/或视频图像序列的任何热成像设备中使用。
图1示出红外成像系统100的一个或多个实施例的框图,例如红外相机、平板计算机、膝上型电脑、PDA、移动设备、台式计算机或能够在热成像中用于捕捉热图像和/或处理热数据的任何其他电子设备。系统100可以表示任何类型的采用红外检测器的红外相机。
红外成像系统100在一个实现中包括图像捕捉部件130(具有红外传感器且可能包含非热成像传感器,例如近红外(NIR)/可见光(VL)成像传感器)、处理部件110、控制部件150、存储器部件120、显示部件140。可选地,系统100可以包括感测部件160,例如运动传感器、光传感器、测距仪、近距离传感器、湿度传感器、温度传感器或如系统100的特定应用所期望的其他感测部件。系统100可以表示例如红外成像设备(例如红外相机),用于捕捉和处理图像,例如场景170的视频图像。系统100可以包括外部单元,例如处理部件110与之单向或双向通信的便携式设备和/或远程设备。
在本公开的各种实施例中,处理部件110可以包括任何类型的处理器或逻辑设备,例如可编程逻辑设备(PLD),其被配置成执行处理功能。处理部件110可以适于与部件130、150、120、140和/或160接口连接和通信来执行方法和处理步骤和/或操作,例如控制以及如本领域内技术人员将理解的其他常规系统处理功能。
在一个或多个实施例中,处理部件110可以是例如通用或专用处理器/处理单元(例如,微处理器)等的处理器、微控制器或其他控制逻辑,其包括存储在计算机可读存储介质(例如存储器部件120)上、被固定以执行某些任务的代码段或代码部分,还包括在使用期间可以更改的其他可更改代码段(存储在计算机可读存储介质上)。这样的可更改代码段可以包括要用作各种任务(例如系统100的校准、样本速率的自适应或对于图像空间滤波的滤波,或本领域内技术人员所知且在无需创造性技能的情况下应用的任何其他参数相关操作)的输入的参数。
在一个或多个实施例中,处理部件110与存储器120通信地耦合且与存储器120通信,其中参数被保持为准备供处理部件110使用并且如果用户期望的话可以存储处理部件110处理的图像。一个或多个存储器部件120可以包括从RAM、硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)、USB或其他可移除或固定媒体驱动器中的选择。
在本公开的实施例中,存储器部件120包括一个或多个存储器设备,其适于存储数据和信息,包括例如红外和/或可见数据和信息。存储器部件120可以包括一个或多个各种类型的存储器设备,该存储器设备包括易失性和非易失性存储器设备,其包括计算机可读介质(便携式或固定)。处理部件110可以适于执行存储器部件120中存储的软件以便执行本文描述的方法和过程步骤和/或操作。根据本公开的各种实施例,存储器部件120可以配置成存储一个或多个调色板112A-112N,其可以设置为例如LUT、功能模块或其他数据结构或模块实现。存储器部件120中存储的一个或多个调色板可以是在本文中结合各种实施例论述的调色板中的任一个。
在一个实施例中,一个或多个图像捕捉部件包括一个或多个红外成像传感器,例如任何类型的红外检测器,其具有多个检测器元件,例如用于捕捉例如静止图像数据和/或视频流数据等表示从场景或物体(例如,场景170)接收的IR辐射(例如,温度)的图像的红外图像数据的微测热辐射计的焦平面阵列(FPA)或其他红外检测器元件。在一个实现中,图像捕捉部件130可以包括红外成像传感器,其可以提供将所捕捉的图像数据表示(例如,转换)为数字数据(经由作为红外传感器的一部分而包含或与作为系统100的一部分的红外传感器分开的模数转换器)。在一个实施例中,图像捕捉部件130可以包括经校准来将相机捕捉的图像数据映射为图像数据中物体的对应温度的辐射计量红外相机。
在一个或多个实施例中,图像捕捉部件130可以进一步表示或包括透镜、快门和/或其他关联部件连同真空封装组件用于捕捉红外图像数据。图像捕捉部件130可以进一步包括温度传感器(温度传感器也可以分布在系统100内),用于向处理部件110提供关于图像捕捉部件130的操作温度的温度信息。
图像捕捉部件130可以包括一个或多个额外成像传感器,例如可见光图像传感器(例如,电荷耦合设备传感器和/或互补金属氧化物半导体传感器)、短波(SWIR)红外传感器、中波红外(MWIR)传感器和/或低光可见和/或近红外(VIS/NIR)传感器(例如图像增强器)。对于非热传感器,在图像捕捉部件130中可以包括电子倍增CCD(EMCCD)传感器、科学级CMOS(sCMOS)传感器、增强电荷耦合设备(ICCD)传感器以及基于CCD和基于CMOS的传感器,以及用于检测NIR、SWIR和其他非热光的任何其他适合的非热传感器。成像部件130获得的图像可以由处理部件110通过已知过程组合。
在本公开的一个或多个实施例中,系统100可以配置成具有两个物理分离的设备作为成像部件130的一部分,例如包括红外成像设备180的第一设备和包括可见光成像设备190的第二设备。设备180和190可以与处理部件110通信并且具有集成的存储器部件120或与这两个设备物理分离的存储器部件。在一个方面,处理部件110可以适于处理红外图像数据(例如,提供经处理的图像数据)、将红外图像数据存储在存储器部件120中和/或从存储器部件120检索存储的红外图像数据。例如,处理部件110可以适于处理在存储器部件120中存储的红外图像数据来提供经处理的图像数据和信息(例如,所捕捉和/或经处理的红外图像数据)。
处理部件110可以适于对红外图像数据执行假色或伪色操作并且在显示器部件140上显示经处理的数据,从而提供所捕捉的热值的区分开的温度梯度。
根据实施例,控制部件150可以被配置成从用户接收输入,从而使用户能够向红外成像系统100提供输入。根据实施例,控制部件150包括选择一个或多个控制设备用于输入命令和/或控制信号,例如交互式显示器(例如,触敏或压敏显示器、操纵杆、鼠标、键盘和/或记录/按压按钮)。
在另一个实施例中,系统100可以是手持和/或便携式的,以及与远程设备(例如,计算机、蜂窝电话、电子平板或任何其他电子设备)双向通信。
在一个或多个实施例中,处理部件110可以与远程设备通信。通信接口可以包括选择串行有线通信、局域网(LAN)、城域网(MAN)、全球移动网络系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSPDA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、
Figure GDA0002689043470000091
Wi-Fi、因特网协议上的语音(VoIP)、LTE Advanced、IEEE802.16m、WirelessMAN-Advanced、演进高速分组接入(HSPA+)、3GPP长期演进(LTE)、移动WiMAX(IEEE 802.16e)、超移动宽带(UMB)(前身为演进数据优化(EV-DO)Rev.C)、具有无缝切换正交频分复用的快速低延迟接入(Flash-OFDM)、高容量空分多址
Figure GDA0002689043470000092
和移动宽带无线接入(MBWA)(IEEE 802.20)系统、高性能无线电城域网(HIPERMAN)、束分多址(BDMA)、全球微波接入互操作(Wi-MAX)、红外通信和超声通信等,但不限于此。
在一个或多个实施例中,系统100被配置成捕捉红外图像数据值,其表示从所观察的真实场景发射、传送和/或反射的红外辐射。另外,系统100可以经由应用预定红外温度校准数据参数来校正或校准所捕捉的数据值,以映射和标度所捕捉的数据值用于作为红外或热图像单独或结合视觉光图像(例如,覆盖或融合)的显示。
在一些实施例中,机器可读介质存储非暂时性信息,其包括多个机器可读指令。系统的一个或多个处理部件执行这样的指令并且促使系统执行根据本公开的各种实施例的方法。例如,根据本公开的各种实施例,这样的指令在被处理部件110执行时可以促使系统100执行方法,用于经由存储器部件120中存储的一个或多个调色板或LUT 112A-112N中的有利颜色设置/映射来生成IR成像设备180所捕捉的IR数据值的改进视觉显示,以提高邻近IR数据值之间的所感知的颜色距离或对比度。在一些实施例中,处理部件110可以被配置成(例如,由硬接线电路、软件、固件或其任何组合)根据本公开的各种实施例执行这样的方法。
在一个或多个实施例中,处理单元110可以是现场可编程门阵列(FPGA)或其他类型的可编程逻辑设备(PLD),其可以使用硬件描述语言(HDL)来配置以执行根据本公开的各种实施例的方法。
术语“计算机程序产品”、“计算机可读介质”和“机器可读介质”一般可以用于指例如存储器部件120或处理单元110的存储介质或外部存储介质等介质。这些和其他形式的存储介质可以用于向处理单元110提供指令以供执行。这样的指令(一般称为“计算机程序代码”(其可以采用计算机程序或其他分组的形式来分组))在执行时使红外成像系统100能够执行当前技术的实施例的特征或功能。此外,如本文使用的,“逻辑”可以包括硬件、软件、固件或其组合。
在描述本公开的其他图之前,给出在提供用户可视图像(例如,在显示设备上)中使用的颜色模型和调色板的综览。调色板典型地包括从颜色模型(例如,采用黑色和白色或其他单色颜色的灰度值,或采用RGB、CIEXYZ、CIELab或适合于表示显示设备上的颜色和/或灰度的任何其他已知颜色模型的颜色值)选择的颜色和/或灰度表示的有限集,用于通过根据预定义映射规则将颜色和/或灰度表示分配给像素来使图像假彩色化或伪彩色化。预定义调色板表示在显示设备上可显示的颜色模型的颜色和/或灰度值的有限集,由此使得图像数据对人眼可见。
在一些实施例中,方法包括通过将颜色和/或灰度值映射到所捕捉的红外数据值帧的每个像素来生成所捕捉的红外数据值的视觉表示,由此从颜色模型对红外数据值帧的每个像素分配表示值。像素值分量可以表示各种值。例如,一个类型的像素值分量表示作为不同颜色通道或色度值的组合(通过相加和扣除而组合)、作为色相、饱和度和强度/亮度的组合或作为适合于期望颜色模型的其他表示的颜色。
通过示例,如本领域内技术人员将理解的,RGB颜色模型是相加色模型并且使用原色红色、绿色和蓝色的组合来构建所有其他颜色。所捕捉的IR数据值的视觉表示中的颜色表示分量从而可以根据RGB颜色模型表达为三个原色的强度的组合,也就是说表达为表示三个原色中的强度的3元组(R,G,B)。例如,如果假设强度R、G、B可以呈现从0到255的256个离散值(例如当强度由8位整数表示时),通过三个原色的256个离散强度级的相加组合而可以产生16,777,216个可能的颜色,其中白色是处于最大强度的全部三个基色的相等组合(255,255,255)并且黑色对于每个分量是零强度(0,0,0)。如本领域内技术人员将理解的,尽管在上文的示例中图示了256个离散原色强度级,对于颜色表示分量的3元组可以准许有不同数量的可用强度级和/或不同表达(例如,表达为分数的最大强度的分数)。
在其他示例中,对于视觉表示的颜色表示分量可以根据HSV(也称为HSB)颜色模型表达为色相、饱和度和亮度值的组合,根据HSL颜色模型表达为色相、饱和度和明度的组合,或根据本领域内已知的颜色模型表达为其他适合的组合。如本领域内技术人员还将理解的,在一个颜色模型中表达的颜色表示分量可以使用已知公式转换成另一个颜色模型。
要理解尽管本公开的实施例使用RGB颜色模型作为示例来说明,查看过本公开的本领域内技术人员将能够根据实施例所教导的原理来修改实施例以利用其他颜色模型,例如但不限于HSL、HSV、CMYK、NTSC和ROMM,而不偏离本发明的范围。
现在转向图2A-2C,根据现有技术示出热IR图像(在这些示例中具有集成电路(IC)和其他部件的电路板的热图像)的示例视觉表示210A-210C。具体地,图2A-2C分别示出在彩虹色附近设计的常规调色板200A(在本文也被称为彩虹调色板)、常规的灰度调色板220B(在本文也称为白热调色板)和围绕发白热光的物体的颜色设计的常规调色板200C(在本文也称为融合或铁弓调色板),将这些调色板应用于相同的14位热IR图像来产生视觉表示210A-C。红外图像210A的部分212A(例如,表示电路板中大的IC)和部分214A(例如,表示电路板中小的IC)示出低对比度,从而导致难以确定温度值变化。
视觉表示210B-C的对应部分214B-C显现为通过常规颜色映射描绘为单一温度。仅位于视觉表示210A-C底部的部分216A-C显示相当大的温度值转变以及相邻颜色值之间相对明显的差异化。在这些示例中图示为视觉表示210A-C右边上的色条的调色板200A-C示出对应于表示IR强度或温度的一定范围的输出级的各种颜色。调色板200A-C中的这些颜色例如可以由根据对于每个原色具有256个离散强度级的RGB颜色模型的颜色值(例如,3元组)表示。
在图3A-3C中示出用于生成视觉表示210A-C的常规调色板200A-C的示例标绘图。在图3A-3C中,在生成视觉表示210A-C中使用的调色板中的RGB颜色值在RGB空间中分别使用笛卡尔坐标和256个点轨迹标绘为标绘图302A-C。标绘图302A-C是到(0,0,0)的RGB空间原点的等距视图,该RGB空间原点是纯黑色值。如标绘图302A-C示出的,发明者发现有大量RGB空间未被彩虹调色板、白热调色板或铁弓调色板所使用。另外,邻近个体输出级之间的距离是相当小的,从而使得难以区分邻近输出级(即,调色板中表示不同温度值的相邻颜色值)之间的差异。
例如,常规调色板(例如调色板200A-C)将256个离散输出级映射到对应的256个颜色值。调色板中这256个颜色值中的每个(例如,表达为RGB中256个离散原色强度级的3元组)在三维RGB空间中以坐标标绘(RGB空间的原色是红色、绿色和蓝色,其位于欧几里德空间的拐角处)。将调色板标绘为RGB空间中的散布图示出:调色板使用RGB空间中的可用容量的程度以及RGB空间中个体输出级的紧密度(如果间距太紧密,则难以区分邻近输出级之间的变化和差异)。
例如,在彩虹调色板200A中,对应于邻近输出级的颜色值之间的距离在RGB颜色空间中是相对小的,如标绘图302A所示出的,从而导致相对低的所感知的对比度。因此,彩虹调色板不是适合的对比度优化器;它是基于熟悉的可见光光谱方案(红橙黄绿蓝靛紫)的熟悉的颜色方案。彩虹调色板标绘图302A显示分别保存最高和最低温度的相对饱和色相,其例如可以更多依赖于浅色和暗色。图3B中示出的灰度调色板标绘图302B是短直线。该短直线表示灰度变化,其位于颜色体的对角线上来涵盖256个离散输出级。然而,人眼仅可以区分50-60个灰色变化,从而产生在灰度调色板中使用的近似200个难以区分的灰色。如图3C中的对应散布图302C所证明的,铁弓调色板200C具有相似的复杂化,从而仅作为红外术语(vernacular)的一部分起作用并且使用甚至比彩虹调色板更少的空间。常规调色板这样的不足之处使得在示范性图像210A-C中跨IC的细微温度变化读取起来很费劲。
在下文论述的本公开的各种实施例可以使用常规调色板来产生IR图像的视觉表示而克服这样的不足之处。图4示出了根据本公开的实施例的调色板400。调色板400可以包括或定义颜色值402的序列,其对应于一定范围的输出级404。在该方面,调色板400在图4中被示为通过一定范围的离散输出级404(例如,通过输出级404而被编索引的阵列)而被编索引以用于查找(例如访问或索引)在RGB颜色模型的3元组中表示的对应颜色值402的LUT。然而,如上文论述的,根据本文论述的原理,调色板400可以在其他数据结构中实现或实现为功能模块(例如,用于响应于接收输出级来计算或用别的方式确定对应颜色值),而不偏离本公开的范围和精神。注意为了说明而示出标记为“颜色名称”的列,而不一定是调色板400的一部分。
根据实施例,颜色值序列中的某些颜色值可以被识别为基色值或断点(在图4的示例中共同识别为基色值406或单独识别为基色值406(1)至406(6))。基色值406可以在颜色值402的序列中以某些间隔安置,例如以对序列分区的大致相似间隔。在示例调色板400中,在连续间隔之间的51行间隔处示出六个基色值406来对长为256的颜色值序列分区,使得基色值406(1)对应于输出级1,基色值406(2)对应于输出级52,等等(如在图4中示出的)。因为颜色值序列的长度可并不总是完全通过基色值之间的间隔数量而可分,它们之间的间隔可以并不总是相同但大致相似(例如,+/-2)。从而调色板400中被识别为基色值406的颜色值定义一系列基色值406,其中该系列中基色值中的连续基色值在颜色值402的序列中处于大致相似间隔。
根据各种实施例,两个连续基色值之间(例如,在基色值406(1)与406(2)之间、在406(2)与406(3)之间、在406(3)与406(4)之间、在406(4)与406(5)之间,以及在406(5)与406(6)之间)的序列的颜色值可以是两个连续基色值之间的内插值。例如,在一些实施例中,原色R、G、B的强度级可以通过两个连续基色值的RGB强度级之间的线性内插而单独改变。在其他实施例中,例如结合其他颜色模型中表示的颜色值,非线性内插技术或其他内插技术可以用于确定两个连续基色值之间的颜色值。
根据另外在下文参考图5-16论述的本公开的各种技术,选择基色值406的系列来提高对应于邻近输出级的颜色之间的感知颜色距离。例如,如本文进一步描述的,基色值406的系列可以包括代表彼此互补的颜色对的连续基色值,或基色值406的系列可以包括两个或更多个子集,每个子集代表相同预定色相集的不同饱和度和/或强度。
图5示出了根据本公开的实施例的如何使用IR图像(例如被系统100的图像捕捉部件130捕捉的那些)中的每个像素的IR图像数据值根据调色板确定对应颜色值。如在上文参考图1论述的,IR图像(例如,IR视频帧或静止图像的IR图像数据)可以包括多个像素,每个具有表示由IR成像传感器的对应检测器元件接收的IR辐射的强度的IR数据值。根据图像捕捉部件130的实现,这样的IR数据值520可以来自一定范围的可用离散强度值(也称为计数)。在图5所示的示例中,IR数据值520可以呈现由14位整数表示的16,384个离散值中的任一个,但在其他实施例中,IR数据值520可以呈现来自其他计数范围(例如,由16位整数表示的65,536个离散值)的值。
在一些实施例中,为了根据调色板500(例如调色板400)确定像素的IR数据值520的对应颜色值,IR数据值520可以从与调色板500相关联的一定范围的离散输出级504映射到输出级522。如在上文参考图4描述的,从IR数据值520映射的输出级522可以用于查找调色板500中的颜色值502中的对应一个。在图5示出的示例中,IR数据值520(其可以呈现由14位整数表示的16,384个离散值中的任一个)从一定范围的256个离散输出级映射到输出级522来查找、访问或用别的方式根据调色板500确定对应颜色值,该调色板500包括与256个离散输出级504相关联的256个颜色值502的序列。如可以意识到的,在其他实施例中,输出级522可以呈现来自于与调色板500的特定实现相关联的其他范围的输出级的值。
在一些实施例中,可以根据用户定义的映射从IR数据值520确定输出级522,例如在系统100的用户经由控制部件150设置要通过假色或伪彩色化而可视化的温度范围时。在一些实施例中,可以基于IR图像帧中捕捉的所有IR数据值的跨度根据自动测距从IR数据值520确定输出级522(例如,关于所有IR数据值的跨度而自动确定的映射)。例如,已知的柱状图分析技术(例如结合2014年12月24日提交且题为“Augmented Image Generation”的美国专利申请号14/582,736的图4描述的那些,该申请通过引用全部合并于此)或其他合适的自动测距技术可以用于将IR数据值520映射到输出级522。
在一些实施例中,输出级522可以根据它与IR数据值520之间的固定映射从IR数据值520确定。如本文进一步论述的,其中通过固定映射从IR数据值520确定输出级522的实施例可以根据调色板的实现提供所捕捉的IR图像的辐射计量视觉表示(例如,其中特定颜色表示特定温度或IR强度)。系统100可以配置成允许用户在上文对各种实施例论述的映射之间进行选择(例如,经由控制部件150)。
根据本公开的一个或多个实施例,图6A-6B示出根据调色板600A和600B生成的视觉表示610A和610B包括两个或更多个子系列的基色来提高邻近输出级之间的所感知的颜色距离或对比度。为了便于理解,调色板600A和600B在图6A和6B中图示为色条,并且在本文也可以分别称为“双重彩虹调色板”和“三重彩虹调色板”。
在一些实施例中,双重彩虹调色板(调色板600A)中的基色值606A的系列(单独识别为基色值606A(1)至606A(14))可以包括两个子系列的基色值,第一子系列608A(1)包括基色值606A(1)至606A(7)并且第二子系列608A(2)包括基色值606A(8)至606A(14)。如示出的,第二子系列608A(2)可以以与第一子系列608A(2)的基色值不同的饱和度和/或强度(亮度或明度)重复第一子系列608A(2)的基色值。在该方面,第一和第二子系列608A(1)和608A(2)都可以包括代表相同预定色相集的基色值,但每个具有不同的饱和度和/或强度(亮度或明度)。例如,在双重彩虹调色板(调色板600A)中,预定色相集可以包括彩虹色相(例如,红色、橙色、黄色、绿色、蓝色、靛色和紫色),并且第一子系列608A(1)可以包括表示具有某一饱和度和/或强度(例如,完全饱和或以纯粹的色相)的彩虹色相的基色值606A(1)-606A(7),并且第二子系列608A(2)可以包括表示采用不同饱和度和/或强度(例如,以减少的饱和度)的彩虹色相的基色值606A(8)-606A(14)。连续基色值606之间的颜色值如在上文参考图4论述那样内插。
相似地,在一些实施例中,三重彩虹调色板(调色板600B)中的基色值606B的系列(单独识别为基色值606B(1)至606B(21))可以包括三个子系列的基色值608B(1)、608B(2)和608B(3),其中第一子系列608B(1)可以包括表示某一饱和度和/或强度的彩虹色相的基色值606B(1)-606B(7),第二子系列608A(2)可以包括表示与第一子系列608B(1)不同的饱和度和/或强度的彩虹色相的基色值606B(8)-606B(14),并且第三子系列608A(3)可以包括表示与第一和第二子系列608B(1)和608B(2)不同的饱和度和/或强度的彩虹色相的基色值606B(15)-606B(21)。
尽管具有两个或三个子系列的基色值的调色板600A和600B示出为示例,其他实施例中的调色板可以包括四个或更多个子系列的基色值,用于进一步增加邻近输出级之间的所感知的颜色距离/对比度。另外,尽管基色值的子系列608A和608B使用彩虹色相作为示例,如本领域内技术人员所理解的,可以使用其他色相组合。
采用这样的方式变化的基色饱和度和/或强度的使用使得观看者能够更好区分小的颜色值变化,并且从而区分温度改变。例如,图6A示出在应用调色板600A和600B时的部分614A和614B,其对应于与余下的电路板可明显区分开的电路板的视觉表示610A和610B中的IC,而使用常规调色板200A-200C生成的视觉表示210A-210C中的对应部分214A-214C不能与周围的电路板区域区分开。部分612A和612B示出相对于其中应用传统调色板200A-200C的对应部分212A-212C的大致对比度。部分612A和612B显示三个色相和对应的内插颜色。与常规调色板图像210A-210C的对应部分216A-216C相比,部分616A和616B还显示温度的相对大的阵列(例如,在部分616A内示出多至7个截然不同的色相并且在部分616B内示出多至10个截然不同的色相)。
如图7A和7B中所示的,调色板600A和600B的RGB空间轨迹标绘图702A和702B分别涵盖比常规单一的彩虹、灰度或铁弓调色板的轨迹标绘图302A-302C更大的RGB空间部分。此外,调色板600A和600B中的颜色值的序列示出邻近输出级之间相当大的距离。然而,由于基色是基于任意或熟悉的色相集(例如,彩虹)而不是人的视觉如何感知颜色对比度,邻近输出级之间的距离可能仍然受到限制。
图8A示出视觉表示610A中的部分614A的近视图814A,其中调色板600A包括256个颜色值的序列,其对应于一定范围的256个截然不同的输出级(例如,从输出级1到256),这是IR成像系统中调色板的典型大小。如在图8A中可以看到的,颜色转变中的跨步(或分带)是明显的,尤其因为调色板600A有利地增加不同温度或IR强度之间的所感知的颜色距离而更为如此。视觉表示中这样的跨步或分带效应可以被一些用户感知为不自然的。从而,在一些实施例中,调色板600A和/或600B映射的截然不同的输出级的数量以及因此的调色板600A和/或600B中颜色值的数量可以增加以进一步增强IR图像数据的视觉表示610A和/或610B。
例如,图8B示出视觉表示610A中部分614A的近视图814B,其中调色板600A包括512个颜色值的序列,其对应于一定范围的512个截然不同的输出级(例如,从输出级1到512)。如从图8B可以看到的,颜色转变平滑得多而没有在具有512个截然不同的输出级的调色板600A的实施例中的明显跨步或分带效应。预想其他实施例,其中调色板包括1024个或更多个颜色值的序列,其对应于一定范围的1024个或更多个截然不同的输出级。具有较大的颜色值的序列的调色板尤其可以有益于减少根据本公开的各种技术生成的视觉表示中的梯级或分带效应来增加邻近输出级之间的颜色距离或对比度。
根据一些实施例,可以基于人的视觉如何感知颜色对比度而不是基于任意或熟悉的色相集(例如,彩虹)来选择调色板的基色。从而,在一些实施例中,调色板中的基色值系列包括连续基色值,其表示彼此互补的颜色来增加基色之间的感知颜色距离,并且因此增加邻近输出级的颜色之间的感知颜色距离。
再次参考图4,调色板400可以表示这样的实施例的调色板。在示例调色板400中,连续基色值406(1)和406(2)分别表示蓝色和黄色,其在RGB颜色模型中彼此互补。相似地,连续基色值406(3)和406(4)表示一对互补色,品红和绿色,并且连续基色值406(5)和406(6)表示RGB颜色模型中的一对互补色,红色和青色。更具体地,在该示例中,RGB颜色模型中的原色(蓝色、红色和绿色)以及它们相应的互补色(其在RGB颜色模型中是次生色(例如,通过将两个原色组合获得的黄色、品红,以及青色))由三对连续基色值表示。然而,如本领域内技术人员所理解的,在其他实施例中可以使用其他互补色对。
另外,基色值406代表在示例调色板400中处于其最大强度的颜色。即,如果基色值406与在示例调色板400中的一样以3元组(R,G,B)表达,每个3元组的至少一个元素具有最大值(例如,如果强度以8位整数表达则是值255)并且互补色值对可以确定为这样的颜色值对,其3元组的相加组合对于所有分量具有最大值(例如,(255,255,255))。从而,例如,连续基色值对406(1)和406(2)分别具有对于蓝色以3元组(0,0,255)表达且对于黄色以3元组(255,255,0)表达的颜色值,它们的相加组合产生3元组(255,255,255)。表示在RGB颜色模型中处于其最大强度的原色和次生色的基色值位于RGB颜色空间的拐角处,并且从而可以有益地在邻近输出级之间创建较大间距,如在下文的图9中可以可视化的。应理解在其他实施例中,基于除RGB颜色模型以外的颜色模型,根据这样的颜色模型表示在它们的最大强度、饱和度和/或亮度的原色和次生色的基色值可以用于实现相同或相似效应。此外,处于小于最大强度的其他互补色对在其他实施例中可以根据期望用于特定应用。
奇偶连续基色值对406(1)和406(2)、406(3)和406(4)以及406(5)和406(6)表示如上文论述的互补色对。另外,奇偶连续基色值对406(2)和406(3)以及406(4)和406(5)代表在示例调色板400中彼此近似互补的颜色对。也就是说,对基色值406的序列排序使得连续基色值即使在它们不表示互补色对时也在RGB颜色空间中尽可能相距很远。这可以例如通过对基色值406的序列排序使得非互补连续基色值对的相加组合产生具有处于其最大值的两个元素(例如,(510,255,255),(255,255,0))的3元组来实现。然而,非互补连续基色值对的其他设置或排序可以根据期望用于其他实施例。
图9示出根据本公开的实施例在RGB空间中的示例调色板400的轨迹标绘图902。基色值406在标绘图902中标识,该标绘图902证明连续基色值在RGB空间中处于彼此的最远拐角(对于互补色)或处于第二远拐角(对于近似互补色)以在邻近输出级之间创建较大间距。此外,RGB空间轨迹标绘图902涵盖比常规的单一彩虹、灰度或铁弓调色板的轨迹标绘图302A-302C且甚至比双重和三重彩虹调色板的轨迹标绘图702A和702B更大的RGB空间部分。
根据本公开的实施例,在图10中示出根据调色板400生成的示例视觉表示1010。为了便于理解,调色板400在图10中示为色条。如从图10可以看到的,与使用常规调色板200A-200C生成的视觉表示210A-210C相比,部分1012、1014和1016(例如,表示电路板中的各种IC)更加可区分并且由电路板上的电路迹线形成的温差在视觉表示1010中更加可辨别。
参考图11示出另一个实施,其中调色板中的基色值系列包括表示彼此互补的颜色的连续基色值的例。根据本公开的实施例,为了更直观的理解,图11示出被设置为色环的调色板1100的基色值1106(单独标识为1106(1)至1106(12))。设置为色环,则互补色相对彼此安置,其中还示出它们以8位RGB 3元组的基色值和基色值序列。
如示出的,图11示出的实施例使用比示例调色板400更多的互补色对。特别地,基色值1106代表六对互补色,其包括如示例调色板400中的三个原色-次生色互补对,以及三个三次-三次色(即,通过相等部分中原色和次生色的组合所获得的颜色)互补对。如与示例调色板400一样,基色值1106表示的颜色在RGB颜色模型中处于其最大强度。即,基色值1106具有处于最大值的每个3元组中的至少一个元素(例如,如果以8位整数表达强度,则是值255),并且从而位于RGB颜色空间的拐角处或边缘上以在邻近输出级之间创建较大间距。与示例调色板400相似,非互补连续基色值对(例如,连续基色值1106(2)和1106(3),以及其他奇偶连续基色值对)也表示彼此近似互补的颜色。注意根据上文的示例处于其最大强度的三次色可以具有值127或128(取决于分数是如何舍入的)作为8位RGB 3元组基色值的一个元素,并且从而三次-三次颜色互补基色值对的相加组合由于舍入误差而可以产生8位RGB3元组中的具有接近但不确切是最大值255的一个元素。
图12示出根据本公开的实施例由图11示出的示例调色板1100的RGB空间中的轨迹标绘图1202。在标绘图1202中标识基色值1106,该标绘图1202证明在与具有彼此互补或近似互补的六个连续基色值406的示例调色板400的轨迹标绘图902相比时,通过使用彼此互补或近似互补的十二个连续基色值所创建的甚至更大的间距。此外,RGB空间轨迹标绘图1202比具有六个连续基色值406的调色板400的轨迹标绘图902涵盖RGB空间中甚至更大的部分。
根据本公开的实施例,在图13中示出通过应用图11示出的调色板1100所生成的示例视觉表示1310。为了便于理解,调色板1100在图13中图示为色条。如从图13可以看到的,如与使用调色板400生成的视觉表示1010相比,部分1312、1314和1316(例如,表示电路板中的各种IC)中的温差以及由电路板上的电路迹线和其他部件形成的温差在视觉表示1310中更加可辨别。
根据本公开的各种实施例的示例调色板400和1100未重复或重用基色值。从而,如果所捕捉的IR图像的IR数据值520根据如在上文结合图5论述的固定映射确定输出级522,则通过应用示例调色板400和1100生成的视觉表示1010和1310将是辐射计量图像,其在从场景观察到的颜色与温度(或IR强度级)之间具有一对一对应性。
再根据本公开的另一个实施例,在图14中示处调色板1400,其包括表示彼此互补的颜色对的连续基色值1406。基色值1406也可以单独标识为基色值1406(1)至1406(26),其对应于图14中示出的基色号。为了清楚起见,在图14中省略调色板1400中除基色值1406以外的颜色值序列。如本文论述的,序列中这样的其他颜色值插入连续基色值之间。
在调色板1400中,在基色值1406的序列中重用或重复互补色对来提供26个基色值1406(1)至1406(26)。更具体地,例如,基色值1406(1)至1406(12)(在图14中也标识为子系列1409(1))表示关于上文的调色板1100识别的六对互补色,而基色值1406(13)至1406(24)(在图14中也识别为子系列1409(2))也表示六对互补色,但采用与子系列1409(1)不同的顺序。在其他实施例中,在基色值1406的序列中可以按相同顺序重复六对互补色。连续基色值1406(25)和1406(26)重复互补色对蓝色和黄色以填补在调色板1400中的颜色值序列末尾。还在该示例中,调色板1400中的每对连续基色值1406也表示彼此互补或近似互补的一对颜色。
在其他实施例中,不是全部六对互补色都需要重复,而相反从这六对选择的一对或多对可以重复。例如,根据实施例可以提供这样的调色板,其包括表示七对(六对加上从六对重复的一对)、八对(六对加上两个重复对)、九对(六对加上三个重复对)、十对(六对加上四个重复对)或十一对(六对加上五个重复对)的连续基色值对。再在其他实施例中,来自六对互补色的两对或更多对可以在基色值1406的序列中重复超过两次。
图15示出根据本公开的实施例在RGB空间中的示例调色板1400的轨迹标绘图1502。两个邻近输出级之间的间距(或感知颜色距离)在标绘图1502中甚至比没有重复对的示例调色板1100的轨迹标绘图1202中的更大。从而,应用例如调色板1400等高基色计数调色板可以有益地在IR图像数据的视觉表示中形成大的局部对比度。
根据本公开的实施例,如在图16中示出的,这样的有益效应可以在通过应用调色板1400生成的示例视觉表示1610中观察到。在视觉表示1610中,局部温差(例如在部分1612、1614和1616中)通过高颜色对比度而放大,这对于辨别和解释场景中的局部化区域中的小的温差是有用的。然而,因为视觉表示1610归因于在调色板1400中的基色重复而不是辐射计量的,它对于可能不能用于全局温度测量。
现在转向图17,示出根据本公开的实施例用于捕捉和处理红外图像的方法1700的流程图。为了简化图17的论述,可以参考图1的成像系统100作为可以执行方法1700的系统、设备或装置的示例。然而,如本领域内技术人员将理解的,方法1700可以由其他适合的成像系统、设备或装置执行。
在框1710,可以使用红外成像系统100捕捉一个或多个图像(例如,IR图像数据或信号)。在一个实施例中,处理部件110包括(例如,促使)图像捕捉部件130来捕捉图像,例如场景170的热红外图像。例如,由图像捕捉部件130的IR成像传感器捕捉的IR图像数据可以包括多个像素,每个具有表示被IR成像传感器的对应检测器元件接收的IR辐射的强度的IR数据值。在从图像捕捉部件130接收经捕捉的图像(例如,IR图像数据)后,处理部件110可以可选地将所捕捉的图像存储在存储器部件120中以供处理。
接着,所捕捉的图像可以可选地在框1720被预处理。在一个实施例中,预处理可以包括获得与所捕捉的图像有关的红外传感器数据、应用校正项和/或应用时间降噪以在进一步处理之前提高图像质量。在一个实施例中,处理部件110可以直接预处理所捕捉的图像或可选地检索存储器部件120中存储的所捕捉图像并且然后预处理该图像。经预处理的图像可以可选地存储在存储器部件120中以供进一步处理。
在框1730,可以选择调色板以供在确定对应于所捕捉的IR数据值的颜色值中使用。例如,根据上文论述的各种技术,这样的调色板可以从提高邻近输出级之间的感知颜色距离的一个或多个调色板选择,例如调色板400、600A、600B、1100和/或1400(例如,在存储器部件120中存储为调色板112)。在各种实施例中,供在对所捕捉的IR数据值确定颜色值中使用的调色板可以响应于例如经由IR成像系统100的控制部件150接收用户输入而选择,或由处理部件110自动选择,或两者兼而有之。在该这方面,根据一些实施例,可以在显示器或控制面板上对IR成像系统100的用户呈现有菜单:若干场景、应用或模式(通过指示场景的名称在菜单中标识,场景例如(人员落水、维护、电气系统监视或检查、加热或通风或其中IR成像可以有用的其他情形)的名称在菜单中标识)中的一个,使得用户可以选择能适用的使用场景。在这样的实施例中,处理部件110可以被配置成基于用户对使用场景的选择并且可选地进一步基于对所捕捉的IR图像数据的分析(例如,基于在所捕捉的IR图像中存在多少局部对比度的分析)选择可用调色板中适合的一个。
在框1740,根据在上文参考图4至16详细论述的各种技术,可以生成所捕捉的IR图像数据的至少一部分的视觉表示。从而,例如,可以基于对所捕捉的IR图像数据的至少一部分的每个像素的IR数据值确定输出级,并且然后可以根据所选的调色板确定对应于所确定的输出级的颜色值,其中所选的调色板根据本公开的各种技术来提供以提高邻近输出级之间的所感知的颜色距离。在一个实施例中,处理部件110可以将所生成的视觉表示存储在存储器部件120中以供显示。
在框1750,可以显示所生成的视觉表示。例如,在一个实施例中,处理部件110可以检索所生成的存储在存储器部件120中的视觉表示并且在显示部件140上显示视觉表示以供用户查看。显示部件140和/或控制部件150也可以被配置成允许经由触屏、接口或与电子设备的其他已知接口方法与经处理的图像交互(例如,编辑)。
在一些实施例中,在框1750处视觉表示的显示可以包括将在一个颜色模型中所生成的视觉表示转换成显示部件140所使用的另一个颜色模型中的表示。在一些实施例中,在框1750处视觉表示的显示可以包括标记(例如,彩色化、加亮显示或用其他标记标识)视觉表示中的某些特征,例如来帮助用户在查看所显示的图像时识别这些特征。在一些实施例中,在框1750处视觉表示的显示可以包括覆盖或附加于应用来生成视觉表示的调色板的表示(例如,具有或没有对应温度范围的色条)。在一些实施例中,在框1750处视觉表示的显示可以包括使IR图像的视觉表示与非热图像(例如,由可见光成像设备190捕捉的可见光图像)融合、覆盖或用别的方式使它们组合,以利用根据已知技术(例如在2013年8月27日公告的题为“Infrared Resolution and Contrast Enhancement with Fusion”且专利号为8,520,970的美国专利中以及2013年10月22日公告的题为“High Contrast Fusion”且专利号为8,565,547的美国专利中描述的那些,这些申请通过引用而全部合并于此)从非热图像提取的进一步的对比度和/或细节增强所捕捉的IR图像数据的视觉表示。
如上文论述的,本公开的各种实施例可以通过使用调色板来提供IR图像的增强视觉表示,所述调色板有利地提高了IR图像中颜色对应于邻近输出级(例如类似的温度或IR强度)的颜色之间的所感知的颜色距离或对比度。从而,例如,根据本公开的各种实施例的红外成像系统的用户可以具有IR图像的增强视觉表示,其为了更好地理解和解释用户在检查或用别的方式在监测的场景或物体而有益地允许用户分辨细微的局部温度或IR强度差异。
在能适用的情况下,本发明的各种实施例可以使用硬件、软件或硬件和软件的各种组合实现。在能适用的情况下,本文阐述的各种硬件部件和/或软件部件可以组合成复合部件,其包括软件、硬件和/或这两者都包括而不偏离本发明的范围和功能性。在能适用的情况下,本文阐述的各种硬件部件和/或软件部件可以分成子部件,其具有软件、硬件或这两者都具有而不偏离本发明的范围和功能性。在能适用的情况下,预想软件部件可以实现为硬件部件并且反之亦然。
根据本发明,例如程序代码和/或数据等软件可以存储在一个或多个计算机可读介质上。还预想本文识别的软件可以使用一个或多个通用或专用计算机和/或计算机系统、网络化和/或用别的方式实现。在能适用的情况下,本文描述的各种步骤的排序可以改变、组合成复合步骤和/或分成子步骤来提供本文描述的特征。
尽管仅结合有限数量的实施例详细描述本发明,应容易理解本发明不限于这样的公开实施例。相反,可以修改本发明来包含在此以前未描述但与本发明的精神和范围相符的任何数量的变化、更改、替代或等同设置。另外,尽管描述了本发明的各种实施例,要理解本发明的方面可以仅包括所描述的实施例中的一些。因此,本发明不被看作受到前面的描述的限制,而其仅受到附上的权利要求的范围的限制。

Claims (34)

1.一种生成视觉表示的方法,其包括:
接收由红外(IR)成像传感器捕捉的红外图像数据,所述红外成像传感器包括多个检测器元件,其中所述红外图像数据对于每个检测器元件包括对应像素,所述对应像素具有表示所述检测器元件所接收的红外辐射的强度的红外数据值;以及
生成红外图像数据的至少一部分的视觉表示,其中所述视觉表示对于所述红外图像数据的所述至少一部分中的每个像素包括根据颜色模型的对应颜色表示分量,并且其中生成所述视觉表示包括对于每个像素:
基于所述像素的红外数据值确定输出级;
根据调色板确定颜色值,其对应于所确定的输出级,以及
将所确定的颜色值分配给所述视觉表示的对应颜色表示分量;
其中所述调色板包括对应于一定范围的离散输出级的颜色值的序列,所述颜色值的序列包括以对所述序列分区的相同间隔安置的一系列基色值,
其中所述序列中除所述基色值以外的颜色值被插入连续基色值之间;以及
其中所述一系列基色值包括:
至少一对连续基色值,其表示彼此互补的一对颜色,或
两个或更多个子系列,每个子系列表示相同预定色相集的不同饱和度和/或强度。
2.如权利要求1所述的方法,其中所述一系列基色值包括至少三对连续基色值,每对连续基色值表示彼此互补的一对颜色。
3.如权利要求2所述的方法,其中所述至少三对连续基色值所表示的颜色包括根据所述颜色模型处于其最大强度、饱和度和/或亮度的原色和次生色。
4.如权利要求1所述的方法,其中所述一系列基色值包括至少六对连续基色值,每对连续基色值表示彼此互补的一对颜色。
5.如权利要求4所述的方法,其中所述至少六对连续基色值所表示的颜色包括根据所述颜色模型处于其最大强度、饱和度和/或亮度的原色、次生色和三次色。
6.如权利要求4所述的方法,其中所述一系列基色值进一步包括从表示互补色的至少六对连续基色值重复的至少一对连续基色值。
7.如权利要求4所述的方法,其中所述一系列基色值包括两个或更多个子系列,每个子系列包括表示互补色的按不同或相同顺序的所述至少六对连续基色值。
8.如权利要求1所述的方法,其中颜色值的序列包括子序列,所述子序列中每个奇偶连续基色值对表示彼此互补的一对颜色并且每个奇偶连续基色值对表示彼此近似互补的一对颜色。
9.如权利要求1所述的方法,其中:
所述离散输出级的范围包括以9位整数所表示的至少512个输出级;并且
所述颜色值的序列包括对应于所述512个输出级的至少512个颜色值。
10.如权利要求1所述的方法,其中,所述两个或更多个子系列包括:
第一子系列,所述第一子系列包括第一次序的、表示互补的颜色的所述至少六对连续基色值;以及
第二子系列,所述第二子系列包括与第一次序不同的第二次序的所述至少六对连续基色值。
11.如权利要求1所述的方法,其中:
所述两个或更多个子系列中的第一子系列包括表示红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值;并且
所述两个或更多个子系列中的第二子系列包括表示具有与所述第一子系列不同的饱和度和/或强度的红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值。
12.如权利要求11所述的方法,其中所述两个或更多个子系列中的第三子系列包括表示具有与所述第一子系列和所述第二子系列不同的饱和度和/或强度的红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值。
13.如权利要求1所述的方法,其中相对于在所述红外图像数据的所述至少一部分中捕捉的所有红外数据值的跨度,基于所述像素的所述红外数据值来对每个像素确定所述输出级,其中,对所述序列分区的间隔使得形成一系列基色值中的一对连续基色值之间的间隔的多个离散输出级在多个离散输出级的两个离散输出级内。
14.如权利要求1所述的方法,其中通过所述红外数据值与所述像素的输出级之间的固定映射来对每个像素确定所述输出级。
15.如权利要求1所述的方法,其中:
所述颜色模型是RGB颜色模型;并且
所述视觉表示的颜色表示分量中的每一个包括表示三个原色中的强度的3元组。
16.如权利要求1所述的方法,其中:
所述颜色模型是色相-饱和度值(HSV)模型;并且
所述视觉表示的颜色表示分量中的每一个包括表示色相、饱和度和亮度的3元组。
17.如权利要求1所述的方法,其进一步包括:
接收指示所述视觉表示的使用类型的控制信号;以及
响应于所述控制信号从一组调色板选择所述调色板。
18.一种成像系统,其包括:
红外(IR)成像传感器,其包括多个检测器元件,所述红外成像传感器被配置成捕捉红外图像数据,所述红外图像数据对于每个检测器元件包括对应的像素,所述对应的像素具有表示由所述检测器元件所接收的红外辐射的强度的红外数据值;
存储器,其被配置成存储调色板,所述调色板包括对应于一定范围的离散输出级的颜色值的序列;
处理器,其通信耦合于所述红外成像传感器和所述存储器,所述处理器被配置成生成所述红外图像数据的至少一部分的视觉表示;
其中所述视觉表示对于所述红外图像数据的所述至少一部分的每个像素包括根据颜色模型的对应颜色表示分量;
其中所述处理器被配置成至少通过以下来生成所述视觉表示:
对于所述红外图像数据的所述至少一部分的每个像素,基于所述像素的红外数据值确定输出级,
根据所述调色板确定颜色值,所述颜色值对应于所确定的输出级,以及
将所确定的颜色值分配给所述视觉表示的对应颜色表示分量;
其中所述颜色值的序列包括以对所述序列分区的相同间隔安置的一系列基色值;
其中所述序列中除所述基色值以外的颜色值被插入连续基色值之间;以及
其中所述一系列基色值包括:
至少一对连续基色值,其表示彼此互补的一对颜色,或
两个或更多个子系列,每个子系列表示相同预定色相集的不同饱和度和/或强度。
19.如权利要求18所述的系统,其中所述一系列基色值包括至少三对连续基色值,每对连续基色值表示彼此互补的一对颜色。
20.如权利要求19所述的系统,其中所述至少三对连续基色值所表示的颜色包括根据所述颜色模型处于其最大强度、饱和度和/或亮度的原色和次生色。
21.如权利要求18所述的系统,其中所述一系列基色值包括至少六对连续基色值,每对连续基色值表示彼此互补的一对颜色。
22.如权利要求21所述的系统,其中所述至少六对连续基色值所表示的颜色包括根据所述颜色模型处于其最大强度、饱和度和/或亮度的原色、次生色和三次色。
23.如权利要求21所述的系统,其中所述一系列基色值进一步包括从表示互补色的所述至少六对连续基色值重复的至少一对连续基色值。
24.如权利要求21所述的系统,其中所述一系列基色值包括两个或更多个子系列,每个子系列包括表示互补色的按不同或相同顺序的至少六对连续基色值。
25.如权利要求18所述的系统,其中颜色值的序列包括子序列,所述子序列中每个奇偶连续基色值对表示彼此互补的一对颜色并且每个奇偶连续基色值对表示彼此近似互补的一对颜色。
26.如权利要求18所述的系统,其中:
所述离散输出级的范围包括以9位整数所表示的至少512个输出级;并且
所述颜色值的序列包括对应于所述512个输出级的至少512个颜色值。
27.如权利要求18所述的系统,其中,所述两个或更多个子系列包括:
第一子系列,所述第一子系列包括第一次序的、表示互补的颜色的所述至少六对连续基色值;以及
第二子系列,所述第二子系列包括与第一次序不同的第二次序的所述至少六对连续基色值。
28.如权利要求18所述的系统,其中:
所述两个或更多个子系列中的第一子系列包括表示红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值;并且
所述两个或更多个子系列中的第二子系列包括表示具有与所述第一子系列不同的饱和度和/或强度的红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值。
29.如权利要求28所述的系统,其中所述两个或更多个子系列中的第三子系列包括表示具有与所述第一子系列和所述第二子系列不同的饱和度和/或强度的红色、橙色、黄色、绿色、蓝色、靛色和紫色的色相的基色值。
30.如权利要求18所述的系统,其中相对于在所述红外图像数据的至少一部分中捕捉的所有红外数据值的跨度,基于所述像素的红外数据值来对每个像素确定所述输出级,其中,对所述序列分区的间隔使得形成一系列基色值中的一对连续基色值之间的间隔的多个离散输出级在多个离散输出级的两个离散输出级内。
31.如权利要求18所述的系统,其中通过所述红外数据值与所述像素的输出级之间的固定映射来对每个像素确定所述输出级。
32.如权利要求18所述的系统,其中:
所述颜色模型是RGB颜色模型;并且
所述视觉表示的颜色表示分量中的每一个包括表示三个原色中的强度的3元组。
33.如权利要求18所述的系统,其中:
所述颜色模型是色相-饱和度值(HSV)模型;并且
所述视觉表示的颜色表示分量中的每一个包括代表色相、饱和度和亮度的3元组。
34.如权利要求18所述的系统,其进一步包括显示设备,其中所述处理器进一步被配置成将所述颜色表示分量转换成所述显示设备所使用的另一个颜色模型中的表示。
CN201680037096.6A 2015-05-01 2016-04-29 用于红外成像的增强调色板系统和方法 Active CN107787443B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562156163P 2015-05-01 2015-05-01
US201562156166P 2015-05-01 2015-05-01
US62/156,163 2015-05-01
US62/156,166 2015-05-01
PCT/US2016/030308 WO2016179050A1 (en) 2015-05-01 2016-04-29 Enhanced color palette systems and methods for infrared imaging

Publications (2)

Publication Number Publication Date
CN107787443A CN107787443A (zh) 2018-03-09
CN107787443B true CN107787443B (zh) 2021-08-17

Family

ID=56080453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037096.6A Active CN107787443B (zh) 2015-05-01 2016-04-29 用于红外成像的增强调色板系统和方法

Country Status (3)

Country Link
US (1) US10571338B2 (zh)
CN (1) CN107787443B (zh)
WO (1) WO2016179050A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009772B2 (en) 2017-04-24 2021-05-18 Ramot At Tel-Aviv University Ltd. Multi-frequency infrared imaging based on frequency conversion
US10447946B2 (en) * 2017-04-26 2019-10-15 Marco Pinter Interactive artistic presentation system with thermographic imagery
US10684173B2 (en) 2017-04-26 2020-06-16 Marco Pinter Interactive artistic presentation system with thermographic imagery
CN111095906B (zh) * 2017-08-04 2023-09-01 塞克热量股份有限公司 热成像系统的颜色显示模式
US11335299B2 (en) * 2017-12-20 2022-05-17 Google Llc Tonal palette generation
AU2019248023B2 (en) * 2018-04-05 2023-03-16 Efficiency Matrix Pty Ltd Computer implemented structural thermal audit systems and methods
EP3576406A1 (en) 2018-05-31 2019-12-04 Canon Kabushiki Kaisha Image capturing apparatus, control method, program, and storage medium
CN111381912B (zh) * 2018-12-29 2024-02-02 北京金山云网络技术有限公司 一种ui调色板确定方法、装置、设备及存储介质
CN110146168B (zh) * 2019-04-16 2022-03-11 歌尔光学科技有限公司 信息输入方法、装置、设备及系统
CN115457167B (zh) * 2022-09-21 2023-06-09 山东大学 基于色彩排序的调色板设计系统
CN117437151B (zh) * 2023-12-21 2024-03-08 成都市晶林科技有限公司 一种噪声抑制的伪彩映射方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051657A (ja) * 1999-08-10 2001-02-23 Nec Saitama Ltd カラー液晶ディスプレイ
US6570584B1 (en) * 2000-05-15 2003-05-27 Eastman Kodak Company Broad color gamut display
US6968092B1 (en) * 2001-08-21 2005-11-22 Cisco Systems Canada Co. System and method for reduced codebook vector quantization
EP1672932A1 (en) * 2004-12-20 2006-06-21 Barco, naamloze vennootschap. Improved single light valve projection device and method for projecting images
US8520944B2 (en) * 2004-12-24 2013-08-27 Mario Cimbalista, JR. Method for improving visualization of infrared images
EP1908271A2 (en) * 2005-07-19 2008-04-09 Elbit Systems Electro-Optics Elop Ltd. Method and system for visually presenting a high dynamic range image
TWI271107B (en) * 2005-08-01 2007-01-11 Novatek Microelectronics Corp Apparatus and method for color dithering
US8196042B2 (en) * 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
WO2009151502A2 (en) * 2008-04-08 2009-12-17 Allgress, Inc. Enterprise information security management software used to prove return on investment of security projects and activities using interactive graphs
FR2976388B1 (fr) * 2011-06-08 2014-01-10 Media Relief Procede de fabrication d'une image iridescente, image obtenue et dispositif la comprenant, programme associe
US9000371B2 (en) * 2011-08-26 2015-04-07 Custom Scene Technology, Inc. Camera, computer program and method for measuring thermal radiation and thermal rates of change
CN102611897B (zh) * 2012-03-04 2015-01-07 侯克杰 对彩色数字图像进行视觉感知高保真变换的方法及系统
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
US9135888B2 (en) * 2013-03-15 2015-09-15 L-3 Communications Cincinnati Electronics Corporation System and method for converting an image to an intensity based colormap

Also Published As

Publication number Publication date
WO2016179050A1 (en) 2016-11-10
CN107787443A (zh) 2018-03-09
US20180052057A1 (en) 2018-02-22
US10571338B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN107787443B (zh) 用于红外成像的增强调色板系统和方法
US10152811B2 (en) Edge enhancement for thermal-visible combined images and cameras
US10089787B2 (en) Systems and methods for displaying infrared images
US10298859B2 (en) Enhanced visual representation of infrared data values
US10848725B2 (en) Color display modes for a thermal imaging system
JP6530751B2 (ja) 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム
JP4956581B2 (ja) 撮像装置、撮像装置のホワイトバランス処理方法、プログラム、及び記録媒体
US10547820B2 (en) Selective color display of a thermal image
US9135888B2 (en) System and method for converting an image to an intensity based colormap
JP2008015706A (ja) 画像処理装置
US11276152B2 (en) Adaptive gain adjustment for histogram equalization in an imaging system
US8929651B2 (en) System and method for the repair of anomalies in images
KR102565592B1 (ko) 휘도 및 색도 측정 시스템 및 방법
Nguyen et al. Why you should forget luminance conversion and do something better
CN101040515A (zh) 数字色彩保真
KR101650842B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
CN101088297A (zh) 自动白平衡控制
JP5006970B2 (ja) 画像処理装置およびその方法
US10602112B2 (en) Image processing apparatus
US20210264579A1 (en) Local tone mapping for hdr video
JP6323152B2 (ja) 画像処理装置、画像表示装置、画像処理方法及びコンピュータプログラム
WO2002039724A1 (en) Method and device for converting a grey scale image into a pseudogrey image
JP2001218070A (ja) 画像処理方法及び画像処理装置
JP2014053650A (ja) 画像処理装置、および画像処理方法
US10393992B1 (en) Auto focus based auto white balance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant