CN106488073B

CN106488073B - 用于热可见组合的图像和相机的边缘增强

Info

Publication number: CN106488073B
Application number: CN201610729625.0A
Authority: CN
Inventors: K.R.约翰逊; M.F.施米德特
Original assignee: Fluke Corp
Current assignee: Fluke Corp
Priority date: 2015-08-27
Filing date: 2016-08-26
Publication date: 2019-07-12
Anticipated expiration: 2036-08-26
Also published as: EP3683762A1; JP2017046349A; US20170061663A1; JP6430447B2; EP3136339A1; US10872448B2; US10152811B2; US20190130621A1; CN106488073A; EP3683762B1; EP3136339B1

Abstract

本申请涉及用于热可见组合的图像和相机的边缘增强。针对组合可见光和红外线图像的系统和方法可以包括：处理可见光图像数据，以为对应于在该位置处的边缘强度的多个可见光像素确定边缘因子值。边缘因子值可以使用来自可见光图像数据和边缘增益输入的特征来确定，边缘增益输入可由用户可调节。组合边缘因子值与边缘中档值，以创建包括基于可见光图像中的边缘强度强调的像素的第一组修改的可见光图像数据。组合修改的可见光图像数据与红外线图像数据，以创建具有来自红外线图像数据的贡献以及来自可见光图像数据的边缘因子值的组合的图像数据。

Description

用于热可见组合的图像和相机的边缘增强

背景技术

热成像相机用在各种各样的情况下。例如，热成像相机往往在维修检查期间用于热检查设备。除了其它类型的设备外，示例性设备可包括旋转机械、电面板或多行断路器。热检查可以检测设备热点，诸如过热机械或电部件，有助于在更显著的问题发展之前确保及时修复或更换过热设备。

取决于相机的配置，热成像相机还可生成相同对象的可见光图像。相机可以协调方式显示红外线图像和可见光图像，例如，以帮助操作者解释由热成像相机生成的热图像。不像通常提供不同对象之间的良好对比度的可见光图像，相比于真实世界场景往往难以识别和区分热图像中的不同特征。由于这个原因，操作者可依靠可见光图像以帮助解释和聚焦热图像。例如，重叠和/或组合可见光图像和热图像可以为操作者提供一些指导。然而，在一些情况下，可能仍然难以区分热图像中对象的边缘和边界。

发明内容

本公开的方面针对用于组合相应的可见光和红外线图像数据的系统和方法。在一些实施例中，一种系统包括：能够存储一组或多组可见光图像数据和红外线图像数据的存储器。一种系统可以包括处理器，该处理器被配置成处理第一组可见光图像数据，以为第一组可见光图像数据中的每一个像素确定边缘因子值。边缘因子值的大小可表示在特定位置处的边缘的强度。在一些示例中，边缘因子值基于可见光图像数据和边缘增益输入。该系统可以包括可以通过其可调节边缘增益输入的用户界面。在一些实施例中，处理可见光图像数据可以包括执行压纹过程。压纹过程可以包括：为多个像素中的每一个确定伪亮度值，并经由处理内核处理伪亮度值，以为与内核相关联的至少一个像素确定压纹值。

在一些示例中，处理器可以被配置成组合与第一组可见光图像数据中的每个像素相关联的边缘因子值与边缘中档（midscale）值，以创建第一组修改的可见光图像数据。相应地，在一些这样的示例中，修改的VL图像数据表示在每个像素处由边缘因子值偏移或以其它方式调节的边缘中档值。在一些示例中，边缘中档值可以是标量值（例如亮度值）或矢量（例如具有R、G和B分量）。边缘中档值可以包括灰色或任何其它颜色。在一些示例中，边缘中档颜色可经由用户界面可选择或可调节。

在一些实施例中，处理器可以被配置成组合第一组修改的可见光图像与对应于第一组可见光图像数据的第一组红外线图像数据，以生成第一组组合的图像数据。得到的组合可以包括与值组合的红外线图像数据，该值表示在相应的像素处的可见光图像的强度。这样，存在于可见光图像数据中的边缘可在组合的图像中得到增强或以其它方式可见。

例如，红外线图像数据可以包括基于调色方案的标量红外线值（例如红外线强度）或矢量值（例如具有R、G和B分量）。在一些示例中，红外线图像数据的调色方案可经由用户界面可选择。在一些示例中，组合红外线和可见光图像数据可以包括混合红外线和可见光图像数据（例如使用混合比率）。在一些这样的实施例中，混合比率是跨过组合的图像的变量。例如，在一些示例中，在组合的图像中的每个像素处的混合比率基于在相应的可见光像素处的边缘因子值。

在各种示例中，可见光和红外线图像数据可以从各种各样的源来获得。例如，可见光和红外线图像数据中的一个或两者可以包括从存储器再调用的图像数据。另外或可替代地，可见光和红外线图像数据中的一个或两者可以包括例如从一个或多个相机模块或其它传感器获得的图像数据的流。在一些示例中，该系统可以包括用于分别获得可见光图像数据和红外线图像数据的可见光和红外线相机模块中的一个或两者。

一些这样的系统的实施例使能各种各样的用户可调节的特征。例如，在一些实施例中，用户可调节边缘增益、边缘颜色中档值、红外线调色方案、以及组合可见光和红外线图像数据的至少一个方面中的至少一个。这样的定制允许用户优化组合的红外线和可见光图像，以便影响对应于VL边缘的像素的增强的程度。

在一些示例中，处理器可根据在非临时性计算机可读介质上的指令而执行一个或多个这样的功能。另外或可替代地，各种这样的部件可以被包围在壳体中或以其它方式由壳体支持。例如，热成像相机可包括能够分别生成红外线和可见光图像数据的红外线和可见光相机模块。该相机可以进一步包括：用于处理红外线和可见光图像数据以生成组合的图像的处理器，以及在其上呈现组合的图像的显示器。该相机可能用于执行热成像过程，具有来自热成像图像中的可见光图像数据的边缘的益处。

附图说明

图1是示例性热成像相机的透视前视图。

图2是图1的示例性热成像相机的透视后视图。

图3是图示图1和2的热成像相机的示例性部件的功能框图。

图4是图示用于增强IR图像中的边缘的示范性技术的高级示意图。

图5A和5B是图示用于生成修改的VL图像的示范性VL图像处理技术的示意图。

图6A是图示组合RGB颜色空间中的边缘因子值与边缘中档值以确定修改的VL图像像素的示意图。

图6B是图示组合YCbCr颜色空间中的边缘因子值与边缘中档值以确定修改的VL图像像素的示意图。

图7A和7B是图示用于组合修改的VL图像和相应的IR图像的示范性技术的示意图。

图8A和8B是图示用于生成混合图像的过程的示意图。

图9A和9B是示出在创建混合图像中使用的一系列示例性图像的流程图。

图10是图示边缘增益参数的可调节性的一系列图像。

图11是图示用于创建混合图像的示范性过程的过程流程图。

具体实施方式

下面的详细描述在本质上是示范性的，并非意在以任何方式限制发明的范围、适用性或配置。相反，下面的描述提供用于实现本发明的各种实施例的一些实际说明。为选择的元件提供结构、材料、尺寸和制造过程的示例，并且所有其它元件采用对该发明领域中的普通技术人员已知的内容。本领域技术人员将认识到：许多指出的示例具有各种各样的合适的替代方案。

热成像相机可用于在观察中检测跨过包括一个或多个对象的场景的热模式。热成像相机可检测由场景发出的红外线辐射，并将红外线辐射转换成指示热模式的红外线图像。在一些实施例中，热成像相机还可从场景捕获可见光，并将可见光转换成可见光图像。取决于热成像相机的配置，相机可包括：将红外线辐射聚焦在红外线传感器上的红外线光学器件，以及将可见光聚焦在可见光传感器上的可见光光学器件。

各种实施例提供用于使用平均技术产生具有降低的噪声的热图像的方法和系统。为了进一步改善图像质量并消除可由平均引起的问题（例如模糊、重影等），在平均之前在热图像上执行图像对准过程。

图1和2分别示出示例性热成像相机100的前和后透视图，示例性热成像相机100包括壳体102、红外线透镜组件104、可见光透镜组件106、显示器108、激光器110和触发控件112。壳体102容纳热成像相机100的各种部件。热成像相机100的底部部分包括用于经由一只手握着和操作相机的携带手柄118。红外线透镜组件104从场景接收红外线辐射，并将辐射聚焦在用于生成场景的红外线图像的红外线传感器上。可见光透镜组件106从场景接收可见光，并将可见光聚焦在用于生成相同场景的可见光图像的可见光传感器上。响应于按压触发控件112，热成像相机100捕获可见光图像和/或红外线图像。另外，热成像相机100控制显示器108显示由相机生成的红外线图像和可见光图像，例如以帮助操作者热检查场景。热成像相机100还可包括耦合到红外线透镜组件104的聚焦机构，该聚焦机构被配置成移动红外线透镜组件的至少一个透镜，以便调节由热成像相机生成的红外线图像的焦点。另外或可替代地，聚焦机构可相对于红外线透镜组件的一个或多个透镜移动FPA。

在操作中，通过从场景接收红外线波长光谱中发射的能量并处理红外线能量以生成热图像，热成像相机100检测场景中的热模式。通过接收可见光波长光谱中的能量并处理可见光能量以生成可见光图像，热成像相机100还可生成相同场景的可见光图像。如下面更详细描述的，热成像相机100可包括：被配置成捕获场景的红外线图像的红外线相机模块，以及被配置成捕获相同场景的可见光图像的可见光相机模块。红外线相机模块可接收通过红外线透镜组件104投射的红外线辐射，并且从中生成红外线图像数据。可见光相机模块可接收通过可见光透镜组件106投射的光，并且从中生成可见光数据。

在一些示例中，热成像相机100基本上同时（例如在同时）收集或捕获红外线能量和可见光能量，使得由相机生成的可见光图像和红外线图像基本上同时是相同的场景。在这些示例中，由热成像相机100生成的红外线图像指示在特定时间段的场景内的局部化的温度，而由相机生成的可见光图像指示在相同时间段的相同场景。在其它示例中，热成像相机可在不同的时间段从场景捕获红外线能量和可见光能量。

可见光透镜组件106包括至少一个透镜，至少一个透镜将可见光能量聚焦在用于生成可见光图像的可见光传感器上。可见光透镜组件106定义穿过组件的至少一个透镜的曲率中心的可见光光轴。可见光能量通过透镜的前面投射，并且聚焦在透镜的相反侧上。可见光透镜组件106可以包括单个透镜或串联布置的多个透镜（例如两个、三个或更多个透镜）。另外，可见光透镜组件106可以具有固定的焦点，或者可以包括用于改变可见光光学器件的焦点的聚焦调节机构。在其中可见光透镜组件106包括聚焦调节机构的示例中，聚焦调节机构可能是手动调节机构或自动调节机构。

红外线透镜组件104还包括至少一个透镜，至少一个透镜将红外线能量聚焦在用于生成热图像的红外线传感器上。红外线透镜组件104定义穿过组件的透镜的曲率中心的红外线光轴。在操作期间，通过透镜的前面来引导红外线能量并将其聚焦在透镜的相反侧上。红外线透镜组件104可以包括单个透镜或可串联布置的多个透镜（例如两个、三个或更多个透镜）。在一些示例中，红外线透镜组件104可包括具有衍射或反射特性或元件的透镜。诸如反射镜（例如菲涅耳反射镜）等等之类的额外光学部件可被包括在红外线透镜组件104内或以其它方式接近红外线透镜组件104。

如以上简要描述的，热成像相机100包括用于调节由相机捕获的红外线图像的焦点的聚焦机构。在图1和2中所示的示例中，热成像相机100包括聚焦环114。聚焦环114可操作地耦合（例如机械和/或电耦合）到红外线透镜组件104的至少一个透镜，并且被配置成将FPA和至少一个透镜中的一个或两者移动到各种聚焦位置，以便聚焦由热成像相机100捕获的红外线图像。聚焦环114可被绕着壳体102的至少一部分手动旋转，以便移动聚焦环可操作地耦合到的至少一个透镜。在一些示例中，聚焦环114还可操作地耦合到显示器108，使得聚焦环114的旋转导致在显示器108上同时显示可见光图像的至少一部分和红外线图像的至少一部分，以相对于彼此移动。在不同的示例中，热成像相机100可包括在除了聚焦环114之外的配置中实现的手动聚焦调节机构，或者在其它实施例中可简单地维持固定的焦点。

在一些示例中，除了或代替手动调节聚焦机构，热成像相机100还可包括自动调节聚焦机构。自动调节聚焦机构可操作地耦合到红外线透镜组件104的至少一个透镜，并且被配置成将至少一个透镜自动地移动到各种聚焦位置（例如响应于来自热成像相机100的指令）。在这样的示例的一个应用中，热成像相机100可使用激光器110来电子测量目标场景中的对象和相机之间的距离，被称为到目标的距离。热成像相机100然后可控制自动调节聚焦机构来将红外线透镜组件104的至少一个透镜移动到聚焦位置，该聚焦位置对应于由热成像相机100确定的到目标的距离数据。聚焦位置可对应于到目标的距离数据，在于聚焦位置可被配置成在目标场景中以聚焦的确定的距离放置对象。在一些示例中，由自动调节聚焦机构设置的聚焦位置可由操作者手动取代（例如通过旋转聚焦环114）。

在热成像相机100的操作期间，操作者可希望查看场景的热图像和/或由相机生成的相同场景的可见光图像。由于这个原因，热成像相机100可包括显示器。在图1和2的示例中，热成像相机100包括显示器108，显示器108位于与红外线透镜组件104和可见光透镜组件106相对的壳体102的背面。显示器108可被配置成显示可见光图像、红外线图像和/或包括可见光图像和红外线图像的同时显示的组合的图像。在不同的示例中，显示器108可与热成像相机100的红外线透镜组件104和可见光透镜组件106远离（例如分离），或者显示器108可在相对于红外线透镜组件104和/或可见光透镜组件106的不同空间布置中。因此，虽然显示器108在图2中被示为在红外线透镜组件104和可见光透镜组件106后面，但用于显示器108的其它位置是可能的。

热成像相机100可以包括用于控制相机的操作并调节相机的不同设置的各种各样的用户输入介质。示例性控制功能可包括调节红外线和/或可见光光学器件的焦点，打开/关闭快门，捕获红外线和/或可见光图像等等。在图1和2的示例中，热成像相机100包括：用于捕获红外线和可见光图像的可按压触发控件112，以及形成用户界面的一部分的用于控制相机的操作的其它方面的按钮116。不同数量或布置的用户输入介质是可能的，并且应当理解的是：该公开不在此方面受限。例如，热成像相机100可包括通过按压屏幕的不同部分接收用户输入的触摸屏显示器108。

图3是图示热成像相机100的示例的部件的功能框图。热成像相机100包括IR相机模块200、前端电路202。IR相机模块200和前端电路202有时被联合称为红外线相机100的前端级或前端部件204。热成像相机100还可包括可见光相机模块206、显示器108、用户界面208以及输出/控制设备210。

红外线相机模块200可被配置成接收由目标场景发射的红外线能量，并在红外线传感器上聚焦红外线能量，用于生成红外线能量数据，例如红外线能量数据可以在显示器108上以红外线图像的形式来显示和/或存储在存储器中。红外线相机模块200可以包括用于执行归因于本文的模块的功能的任何合适的部件。在图3的示例中，红外线相机模块200被图示为包括红外线透镜组件104和红外线传感器220。如以上关于图1和2所述，红外线透镜组件104包括采用由目标场景发射的红外线能量的至少一个透镜，并且在红外线传感器220上聚焦红外线能量。通过生成可以被转换和显示为显示器108上的红外线图像的电信号，红外线传感器220响应于聚焦的红外线能量。

红外线传感器220可包括一个或多个焦平面阵列（FPA），一个或多个焦平面阵列响应于通过红外线透镜组件104接收的红外线能量而生成电信号。每个FPA可以包括多个红外线传感器元件，例如包括测辐射热计（bolometer）、光子检测器或其它合适的红外线传感器元件。在操作中，响应于吸收从目标场景接收的红外线能量，可各自被称为传感器像素的每个传感器元件可改变电特性（例如电压或电阻）。反过来，电特性的改变可以提供电信号，该电信号可以由处理器222接收并处理成在显示器108上显示的红外线图像。

例如，在其中红外线传感器220包括多个测辐射热计的示例中，每个测辐射热计可吸收通过红外线透镜组件104聚焦的红外线能量，并且响应于吸收的能量而增加温度。每个测辐射热计的电阻可随着测辐射热计温度的变化而变化。有了起传感器像素作用的每个检测器元件，通过将每个检测器元件的电阻变化转化成时间复用的电信号，可以进一步生成红外线辐射的二维图像或图片表示，该时间复用的电信号可以被处理以用于（例如计算机的）显示器上的可视化或存储器中的存储。处理器222可通过向每个测辐射热计施加电流（或电压）而测量每个测辐射热计的电阻变化，并且测量跨过测辐射热计得到的电压（或电流）。基于这些数据，处理器222可以确定由目标场景的不同部分发射的红外线能量的量，并控制显示器108显示目标场景的热图像。

独立于包括在红外线传感器220的FPA中的具体类型的红外线传感器元件，FPA阵列可以定义任何合适的尺寸和形状。在一些示例中，红外线传感器220包括在网格模式中布置的多个红外线传感器元件，诸如例如在垂直列和水平行中布置的传感器元件的阵列。在各种示例中，红外线传感器220可包括例如16×16、50×50、160×120、120×160或650×480的垂直列乘水平行的阵列。在其它示例中，红外线传感器220可包括更少数量的垂直列和水平行（例如1×1）、更大数量的垂直列和水平行（例如1000×1000）或不同的列与行的比率。

在某些实施例中，在IR传感器220上合并读出集成电路（ROIC）。ROIC用于输出对应于传感器像素中的每一个的信号。这样的ROIC通常被制造为硅衬底上的集成电路。多个检测器元件可被制造在ROIC的顶部，其中它们的组合提供IR传感器220。在一些实施例中，ROIC可以包括在本公开中其它地方论述的直接合并到FPA电路上的组件（例如模拟数字转换器（ADC））。这样的ROIC集成或没有明确论述的其它进一步的集成水平应当被视为在本公开的范围内。

如上所述，IR传感器220生成一系列电信号，一系列电信号对应于由每个红外线检测器元件接收以表示热图像的红外线辐射。当通过扫描构成IR传感器220的所有行而获得来自每个红外线检测器元件的电压信号时，生成热图像数据的“帧”。此外，在涉及作为红外线检测器元件的测辐射热计的某些实施例中，这样的扫描通过将相应的检测器元件切换到系统电路中并跨过这样的接入元件施加偏置电压来完成。通过重复扫描IR传感器220的行来生成热图像数据的连续帧，其中这样的帧以足以生成热图像数据的视频表示的速率（例如30Hz或60Hz）来产生。

前端电路202包括用于与IR相机模块200接口并控制IR相机模块200的电路。另外，前端电路202最初处理并经由其间的连接向处理器222发送收集的红外线图像数据。更具体地，由IR传感器220生成的信号最初由热成像相机100的前端电路202调整。在某些实施例中，正如所示，前端电路202包括偏置生成器224和前置放大器/积分器226。除了提供检测器偏置外，偏置生成器224还可以从为每个接入检测器元件生成的总电流选择性地添加或减去平均偏置电流。可以改变平均偏置电流，以便：（i）补偿由热成像相机100内部的环境温度的变化产生的检测器元件的电阻的整个阵列的偏差，以及（ii）补偿在IR传感器220的平均检测器元件中的阵列到阵列变化。这样的偏置补偿可以由热成像相机100或软件自动控制，或者可以经由输出/控制设备210或处理器222的输入而被用户控制。在提供检测器偏置和可选地减去或添加平均偏置电流之后，信号可以穿过前置放大器/积分器226。典型地，前置放大器/积分器226用于调整传入的信号（例如在它们的数字化之前）。结果，可以将传入的信号调整成使得能够更有效解释信号的形式，并且反过来可以导致创建的图像的更有效的分辨率。随后，调整的信号被下行发送到热成像相机100的处理器222中。

在一些实施例中，前端电路202可以包括一个或多个额外的元件，例如额外的传感器228或ADC 230。额外的传感器228例如可以包括温度传感器、可见光传感器（诸如CCD）、压力传感器、磁传感器等。这样的传感器可以提供额外的校准和检测信息，以增强热成像相机100的功能性。例如，温度传感器可以提供IR传感器220附近的环境温度读取，以辅助辐射测量计算。诸如霍尔效应传感器之类的磁传感器可以与装配在透镜上的磁体组合使用，以提供透镜焦点位置信息。对于计算距离或确定用于与从可见光传感器聚集的可见光场景数据一起使用的视差偏移，这样的信息可能是有用的。

ADC 230可以提供相同的功能并且以与如下论述的基本相同的方式操作，然而它包括在前端电路202中可提供某些益处，例如在经由其间的连接发送到处理器222之前的场景和其它传感器信息的数字化。在一些实施例中，ADC 230可以被集成在ROIC中，如上所论述，从而消除对分离装配和安装的ADC 230的需要。

在一些实施例中，前端部件可以进一步包括快门240。快门240可以位于相对于透镜的外部或内部，并且操作以打开或关闭由IR透镜组件104提供的视图。如本领域中所已知的，快门240可以是机械地可定位的，或者可以由诸如DC电机或螺线管之类的电-机械设备来致动。该发明的实施例可包括利用快门240为每个检测器元件建立适当的偏置电平的校准或设置软件实现的方法或设置。

被描述为热成像相机100内的处理器的包括处理器222的部件可被实现为一个或多个处理器，诸如或者单独地或者以任何合适的组合的一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑电路等等。处理器222还可包括存储程序指令和相关数据的存储器，程序指令和相关数据在由处理器222执行时使得热成像相机100和处理器222执行在本公开中归因于它们的功能。存储器可包括任何固定的或可移动的磁、光或电介质，诸如RAM、ROM、CD-ROM、硬或软磁盘、EEPROM等等。存储器还可包括可用于提供存储器更新或存储器容量增加的可移动存储器部分。可移动存储器还可允许图像数据被容易地转移到另一个计算设备，或者在另一个应用中使用热成像相机100之前被去除。处理器222也可被实现为片上系统，该片上系统将计算机或其它电子系统的一些或所有部件集成到单个芯片中。这些元件操纵从前端级204递送的调整的场景图像数据，以便提供可以显示或存储以供由用户使用的输出场景数据。随后，处理器222（处理电路）向显示器108或其它输出/控制设备210发送处理的数据。

在热成像相机100的操作期间，处理器222可以控制红外线相机模块200生成用于创建红外线图像的红外线图像数据。处理器222可以生成红外线图像数据的数字“帧”。通过生成一帧的红外线图像数据，处理器222基本上在给定的时间点捕获目标场景的红外线图像。即，在一些示例中，可同时捕获构成红外线图像的多个像素。在其它实施例中，可串行捕获一个或多个像素的组，直到已经捕获每个像素。

通过单个时间测量包括在红外线传感器220的FPA中的每个红外线传感器元件的电信号，处理器222可以捕获单个红外线图像或目标场景的“快照”。可替代地，通过重复测量包括在红外线传感器220的FPA中的每个红外线传感器元件的电信号，处理器222可以捕获目标场景的多个红外线图像。在其中处理器222重复测量包括在红外线传感器220的FPA中的每个红外线传感器元件的电信号的示例中，处理器222可生成目标场景的动态热图像（例如视频表示）。例如，处理器222可以足以生成热图像数据的视频表示的速率（诸如例如30Hz或60Hz）测量包括在FPA中的每个红外线传感器元件的电信号。处理器222可在捕获红外线图像中执行其它操作，诸如顺序地致动快门240以打开和关闭红外线透镜组件104的孔径等等。

随着红外线传感器220的每个传感器元件起传感器像素的作用，通过将每个传感器元件的电特性（例如电阻）的变化转化成时间复用的电信号，处理器222可以从目标场景生成红外线辐射的二维图像或图片表示，该时间复用的电信号可以被处理，例如用于显示器108上的可视化和/或存储器中的存储。当在显示器108上显示时，红外线图像可以包括多个显示像素。显示像素可以具有与相应的传感器像素的任何定义的关系。在一些示例中，每个传感器像素对应于在红外线数据的图像表示中的显示像素。在其它示例中，可组合（例如平均）多个传感器像素，以为单个显示像素提供红外线信息。在又一个示例中，单个传感器像素可贡献多个显示像素。例如，可在附近的像素处复制来自单个传感器像素的值，诸如在简单的上采样程序中。在其它示例中，邻近的或以其它方式的附近的像素可被平均以创建新像素值，诸如在内插程序中。因为相对于相机操作定义显示像素和传感器像素之间的关系，随着它被从传感器像素处理成显示像素，一般术语“像素”可指传感器像素、显示像素或数据，除非另有说明。处理器222可执行计算，以将原始红外线图像数据转换成场景温度（辐射测量），在一些示例中包括对应于场景温度的颜色。

处理器222可控制显示器108显示捕获的目标场景的红外线图像的至少一部分。在一些示例中，处理器222控制显示器108，使得红外线传感器220的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增加或减少红外线图像的分辨率，使得存在比红外线传感器220中存在的传感器元件更多或更少的在显示器108上显示的像素。处理器222可控制显示器108以显示整个红外线图像（例如由热成像相机100捕获的目标场景的所有部分）或小于整个红外线图像（例如由热成像相机100捕获的整个目标场景的较少部分）。处理器222可执行其它图像处理功能，如下面更详细地所述。

独立于具体电路，热成像相机100可被配置成操纵表示目标场景的数据，以便提供可以被显示、存储、发送或以其它方式由用户使用的输出。

热成像相机100包括可见光相机模块206。可见光相机模块通常是已知的。例如，各种可见光相机模块包括在智能电话和许多其它设备中。在一些实施例中，可见光相机模块206可被配置成从目标场景接收可见光能量，并在可见光传感器上聚焦可见光能量，用于生成可见光能量数据，例如可见光能量数据可以在显示器108上以可见光图像的形式来显示和/或被存储在存储器中。可见光相机模块206可以包括用于执行归因于本文的模块的功能的任何合适的部件。在图3的示例中，可见光相机模块206被图示为包括可见光透镜组件106和可见光传感器242。如上关于图1和2所述，可见光透镜组件106包括至少一个透镜，至少一个透镜采用由目标场景发射的可见光能量并且在可见光传感器242上聚焦可见光能量。通过生成可以被转换并在显示器108显示为可见光图像的电信号，可见光传感器242响应于聚焦的能量。在一些示例中，可见光模块206可由用户配置，并且例如可以以各种格式向显示器108提供输出。可见光相机模块206可包括用于改变照明或其它操作条件或用户偏好的补偿功能性。可见光相机模块可提供包括图像数据的数字输出，图像数据可包括以各种格式（例如RGB、CYMK、YCbCr等）的数据。

可见光传感器242可包括多个可见光传感器元件，诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器元件的数量可与红外光传感器元件的数量相同或不同。

在操作中，从目标场景接收的光能量可穿过可见光透镜组件106并且被聚焦在可见光传感器242上。当光能量入射在可见光传感器242的可见光传感器元件上时，光电检测器内的光子可被释放和转换成检测电流。处理器222可以处理该检测电流，以形成目标场景的可见光图像。

在热成像相机100的使用期间，处理器222可以控制可见光相机模块206，以从捕获的目标场景生成可见光数据，用于创建可见光图像。可见光数据可包括指示与捕获的目标场景的不同部分相关联的一个或多个颜色的光度数据和/或与捕获的目标场景的不同部分相关联的光的大小。通过单个时间测量热成像相机100的每个可见光传感器元件的响应，处理器222可以生成一“帧”可见光图像数据。通过生成一帧的可见光数据，处理器222在给定的时间点捕获目标场景的可见光图像。处理器222还可重复测量热成像相机100的每个可见光传感器元件的响应，以便生成目标场景的动态热图像（例如视频表示），如以上相对于红外线相机模块200所述。在一些示例中，可见光相机模块206可包括它自己的专用处理器或能够操作可见光相机模块206的其它电路（例如ASIC）。在一些这样的实施例中，专用处理器与处理器222通信，用于向处理器222提供可见光图像数据（例如RGB图像数据）。在可替代的实施例中，用于可见光相机模块206的专用处理器可被集成到处理器222中。

随着可见光相机模块206的每个传感器元件起传感器像素的作用，通过将每个传感器元件的电响应转化成时间复用的电信号，处理器222可以从目标场景生成可见光的二维图像或图片表示，该时间复用的电信号可以被处理，例如用于显示器108上的可视化和/或存储器中的存储。

处理器222可控制显示器108显示捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器222控制显示器108，使得可见光相机模块206的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增加或减少可见光图像的分辨率，使得存在比可见光相机模块206中存在的传感器元件更多或更少的在显示器108上显示的像素。处理器222可控制显示器108显示整个可见光图像（例如由热成像相机100捕获的目标场景的所有部分）或小于整个可见光图像（例如由热成像相机100捕获的整个目标场景的较少部分）。

在一些实施例中，用于获得IR和VL图像数据的红外线200和可见光206相机模块中的一个或两者可被包括在图像采集模块280中。图像采集模块可与包括诸如222之类的处理器的处理模块290有线或无线通信。处理模块290可从图像采集模块280接收图像数据，并且执行如本文将描述的随后的处理步骤。在一些示例中，处理模块290可包括便携式处理设备，诸如智能电话、平板电脑、诸如膝上型或台式PC之类的独立计算机等等。在一些这样的实施例中，前端电路202的各种部件可被包括在图像采集模块280、处理模块290或两者中。

在这些和其它示例中，处理器222可控制显示器108同时显示由热成像相机100捕获的可见光图像的至少一部分以及由热成像相机100捕获的红外线图像的至少一部分。这样的同时显示可能是有用的，在于：操作者可引用在可见光图像中显示的特征以帮助理解在红外线图像中同时显示的特征，因为操作者可更容易地识别和区分不同于红外线图像的可见光图像中的现实世界特征。在各种示例中，处理器222可控制显示器108以并排布置、以图片中图片布置（其中一个图像围绕其它图像）或以任何其它合适的布置（其中可见光和红外线图像被同时显示）来显示可见光图像和红外线图像。

例如，处理器222可控制显示器108以组合的布置显示可见光图像和红外线图像。在这样的布置中，对于表示目标场景的一部分的可见光图像中的一个像素或一组像素，在红外线图像中存在表示目标场景的基本相同的部分的相应的一个像素或一组像素。在各种实施例中，IR和VL图像的尺寸和/或分辨率不必相同。相应地，在IR或VL图像中的一个中可能存在对应于IR或VL图像中另一个中的单个像素的一组像素，或者一组不同尺寸的像素。类似地，在VL或IR图像中的一个中可能存在对应于另一个图像中的一组像素的像素。从而，如本文所使用，对应不需要一对一的像素关系，而是可包括失配尺寸的像素或像素群。可执行图像的失配尺寸的区域的各种组合技术，诸如上或下采样图像中的一个，或者组合像素与相应的一组像素的平均值。其它示例是已知的，并且在本公开的范围内。

从而，相应的像素不需要具有直接的一对一的关系。相反，在一些实施例中，单个红外线像素具有多个相应的可见光像素，或者可见光像素具有多个相应的红外线像素。另外或可替代地，在一些实施例中，不是所有的可见光像素都具有相应的红外线像素，反之亦然。这样的实施例例如可指示如先前论述的图片中图片类型的显示。从而，可见光像素将不一定具有与相应的红外线像素所具有的相同的在可见光图像内的像素坐标。相应地，如本文所使用，相应的像素通常指来自任何图像（例如可见光图像、红外线图像、组合的图像、显示图像等）的像素，任何图像包括来自目标场景的基本相同部分的信息。这样的像素不需要具有图像之间的一对一的关系，并且在它们各自的图像内不需要具有相似的坐标位置。

类似地，具有相应的像素的图像（即表示目标场景的相同部分的像素）可以被称为相应的图像。从而，在一些这样的布置中，在相应的像素处，相应的可见光图像和红外线图像可被叠置在彼此的顶部。操作者可与用户界面208交互以控制在显示器108上显示的图像中的一个或两者的透明性或不透明性。例如，操作者可与用户界面208交互，以调节在完全透明和完全不透明之间的红外线图像，并且还调节在完全透明和完全不透明之间的可见光图像。可被称为阿尔法混合布置的这样的示范性的组合布置可允许操作者调节显示器108，以在仅仅红外线图像和仅仅可见光图像的极端之间显示两个图像的任何重叠组合中的仅仅红外线图像、仅仅可见光图像。处理器222还可组合场景信息与其它数据，诸如辐射测量数据、警报数据等等。通常，可见光和红外线图像的阿尔法混合的组合可以包括从100％的红外线和0％的可见光到0％的红外线和100％的可见光的任何地方。在一些实施例中，混合的量可以由相机的用户调节。从而，在一些实施例中，可以在100％的可见光和100％的红外线之间调节混合图像。

另外，在一些实施例中，处理器222可以解释和执行来自用户界面208的命令，和/或输出/控制设备210。这可以涉及处理各种输入信号以及经由其间的连接将所述信号传送到前端电路202。可以致动接近前端电路202的部件（例如电机或电磁线圈）来完成期望的控制功能。示范性的控制功能可以包括调节焦点，打开/关闭快门，触发传感器读取，调节偏置值等。此外，可使用输入信号来改变发生在处理器222中的图像数据的处理。

处理器可以进一步包括其它部件以辅助处理和控制红外线成像相机100。例如，如以上所论述，在一些实施例中，ADC可以被合并到处理器222中。在这样的情况下，模拟信号由前端级204调整，并且直到到达处理器222才被数字化。此外，一些实施例可以包括额外的板载存储器，用于在传输到显示器108或输出/控制设备210之前处理指令信息和场景数据的存储。

操作者可经由用户界面208而与热成像相机100交互，用户界面208可包括按钮、按键或用于从用户接收输入的其它机构。操作者可经由显示器108而从热成像相机100接收输出。显示器108可被配置成在任何可接受的调色板或颜色方案中显示红外线图像和/或可见光图像，并且调色板可能例如响应于用户控制而变化。在一些示例中，显示器108被配置成在诸如灰度之类的单色调色板中显示红外线图像。在其它示例中，显示器108被配置成在诸如例如琥珀色、铁红色、蓝红色或其它高对比度颜色方案之类的颜色调色板中显示红外线图像。灰度和颜色调色板显示的组合也是可设想的。在一些示例中，被配置成显示这样的信息的显示器可包括用于生成和呈现这样的图像数据的处理能力。在其它示例中，被配置成显示这样的信息可包括从诸如处理器222之类的其它部件接收图像数据的能力。例如，处理器222可为待显示的每个像素生成值（例如RGB值、灰度值或其它显示选项）。显示器108可接收这样的信息，并且将每个像素映射到可视显示中。

虽然处理器222可以控制显示器108在任何合适的布置中同时显示红外线图像的至少一部分和可见光图像的至少一部分，但通过在邻近对准中显示相同场景的相应的可见图像，图片中图片布置可帮助操作者容易聚焦和/或解释热图像。

电源（未示出）将操作功率递送给热成像相机100的各种部件，并且在一些示例中，可包括可再充电或不可再充电的电池以及功率生成电路。

在热成像相机100的操作期间，处理器222在指令的帮助下控制红外线相机模块200和可见光相机模块206生成目标场景的可见光图像和红外线图像，该指令与存储在存储器中的程序信息相关联。处理器222进一步控制显示器108显示由热成像相机100生成的可见光图像和/或红外线图像。

如所指出的，在一些情况下，可能在热图像中的目标场景的现实世界（可见）特征之间难以识别和区分。除了给红外线图像补充可见光信息外，在一些实施例中，强调目标场景内的可见边缘可能是有用的。虽然在一些实例中可见光边缘的检测可能难以在红外线图像中执行（例如跨过均匀的热场景），但是可以在相同目标场景的相应的可见光图像上执行已知的边缘检测方法。由于红外线图像和可见光图像之间相应的关系，经确定以表示目标场景中的可见边缘的可见光像素对应于也表示红外线图像中的可见边缘的红外线像素。将理解的是：如本文所使用，“边缘”不需要指对象的物理边界，而是可指可见光图像中的任何足够尖锐的梯度。示例可包括对象的物理边界、对象内的颜色变化、跨过场景的阴影等等。

图4是图示用于增强IR图像中的边缘的示范性技术的高级示意图。在图示的实施例中，可见光图像400被处理402，其可包括各种各样的处理步骤。例如，在一些示例中，处理可包括：滤波图像以用于降低噪声、增强边缘，或者任何其它处理技术。在一些示例中，处理可包括压纹或者用于强调来自VL图像的边缘的其它边缘检测过程。

在图示的实施例中，得到的处理的VL图像与边缘中档值404组合以生成修改的VL图像406。边缘中档值404例如可包括具体颜色。在一些实施例中，边缘中档值404可由用户选择。在一些示例中，组合处理的VL图像402与边缘中档值404包括组合处理的VL图像与排外地由边缘中档值404组成的图像。即，在一些实施例中，创建处理的VL图像，并且创建或从存储器再调用边缘中档值“图像”。这两个图像由任何适当的组合方法来组合，以生成修改的VL图像506。

在其它实施例中，组合可以包括组合处理的VL图像402的每个像素与边缘中档值。即，组合不是立刻图像宽地完成，而是基于逐个像素或逐个簇。相机不需要存储或创建边缘中档值“图像”，而是可执行处理的VL图像数据和边缘中档值的像素方式（pixel-wise）的组合，以确定修改的VL像素数据。修改的VL图像406可包括如将在下面所述的强调的边缘信息。修改的VL图像406可以与对应于VL图像400的IR图像408组合以创建混合的最终图像410。得到的混合的最终图像410可包括IR图像数据和来自VL图像400的强调的边缘信息二者。如本文中所述，组合（例如处理的VL图像402和边缘中档值404，或者IR图像408和修改的VL图像406）可以任何各种各样的已知图像组合技术来执行，诸如增加、平均、阿尔法混合等等。

图5A是图示用于生成修改的VL图像所使用的示范性VL图像处理技术的示意图。根据图示的实施例，VL图像数据500针对VL处理引擎502。在一些实施例中，处理引擎502可以是处理器222的部分，或者可与处理器222分离地起作用。在一些示例中，VL处理引擎502可以为VL图像中的一个或多个像素确定伪亮度值512。像素的伪亮度值512可以包括真实亮度（即像素的YCbCr表示中的Y成分）或像素的任何其它单值标量表示。例如，在一些示例中，用于像素的伪亮度值512包括RGB颜色空间中像素表示的R、G和B分量的线性组合。在示范性实施例中，对于给定像素i，伪亮度值可以由等式确定：

PseudoLum(i) = 4×R(i) + 8×G(i) + 4×B(i)

一旦为一个或多个像素确定伪亮度值512，就可跨过VL图像应用处理内核514，例如，跨过VL图像500中的一个或多个像素。在一些示例中，处理内核514可以用于为内核内的一个或多个像素确定边缘因子值516，边缘因子值516通常表示在给定像素处的边缘的“强度”。在一些示例中，确定边缘因子值516可包括执行压纹过程，用于为每个像素确定表示在该像素处的VL边缘的存在和/或强度的值。参照图5A中的处理内核514，内核514中的每个条目（1-9）可对应于VL图像中的单个像素，并且每个这样的像素可具有相关联的伪亮度值512。在其它示例中，处理内核514中的每个条目可对应于VL图像内的多个像素（例如定义的像素群，诸如可一起被平均的正方形或矩形，诸如在滤波或下采样过程中）。在一些实施例中，如图5A中图示的处理内核514可用于为内核514的中心像素确定边缘因子值（EFV）516。例如，参照图示的实施例，在斜对角的像素的伪亮度值的差可用于确定中心像素的边缘因子值。注意的是：通过采用值之间的差确定的边缘因子值可能是正或负。在一些示例中，边缘因子值516可由用户可调节的边缘增益518值缩放。从而，在示范性实施例中，用于处理内核514中的中心像素5的边缘因子值516可以由等式确定：

EFV(5) = edgeGain×[ PseudoLum(1) – PseudoLum(9)]

得到的边缘因子值对应于在该像素处的边缘的“强度”。即，具有大的大小的边缘因子值通常对应于VL图像500内的尖锐边缘或轮廓。将理解的是：各种各样的等式或方法可适合于确定处理内核514中一个或多个像素的边缘因子值516。例如，不是为像素1和9减去相关联的值，而是可为其它的像素对或群执行类似的像素比较（例如减法）。在一些实施例中，用户可选择哪些像素用于计算边缘因子值。通过这样做，用户可影响在边缘因子值中多么强烈地反映在某些方向上的边缘。类似地，定义哪些像素用于确定边缘因子值可允许用户确保在特定方向上的边缘不太可能由EFV计算错过。示范性的比较可包括：

PseudoLum(3) - PseudoLum(7)

PseudoLum(6) - PseudoLum(4)

PseudoLum(2) - PseudoLum(8)

等等。另外，内核不需要如所示地限于3×3内核。相反，处理内核514可能是任何尺寸或形状，诸如n×n正方形或m×n长方形。

在各种实施例中，用于确定边缘因子值516的不同等式或方法可能最适合处理特定尺寸和/或形状的内核。例如，在一些实施例中，多个内核条目可被比较（例如经由减法）并用在确定EFV中。在示范性实施例中，可执行多个减法（例如对角、顶部和底部坐标、左和右坐标等）并且平均减法以用于确定EFT。在另一个示例中，与该组减法的最大差的大小用于确定EFV。另外或可替代地，在一些示例中，单个处理内核514可用于为多个像素确定边缘因子值。一旦处理引擎502已经为像素确定边缘因子值516，边缘因子值516就可如上所述地与边缘中档值504组合，用于在修改的VL图像506中生成相应的像素。通常，处理内核514可被跨过整个VL图像移动，以便为每个像素确定边缘因子值，或者可被移动，以便为VL图像中的像素的子集确定边缘因子值。

图5B是图示用于生成修改的VL图像的另一个示范性VL图像处理技术的示意图。图5B的过程类似于图5A的过程，虽然可能不同地或以不同次序执行各种步骤。例如，在图5B的实施例中，在处理内核514中执行VL图像数据500。类似于以上关于图5A所描述的内核，图5B的内核514可能是任何尺寸，并且可用于一次处理VL图像像素的子集。

在图5B的图示的示例中，处理内核514接收边缘中档值504和边缘增益518参数。可在图5B的内核514中的像素上执行被示为在图5A中执行的过程。即，可为内核内的像素确定伪亮度值512并且结合边缘增益518使用，以为内核内的一个或多个像素确定边缘因子值516。在内核514内确定的一个或多个边缘因子值可与内核514内的边缘中档值504组合。

在一些这样的实施例中，处理内核514可输出一个或多个像素，用于包括在修改的VL图像506中。即，在一些实施例中，VL图像像素的子集被输入到处理内核514中，其中处理技术仅仅在像素的该子集上被执行。处理可导致一个或多个像素，用于包括在修改的VL图像506中。在处理完成之后，可相对于VL图像500移动内核514（或者，等效地，VL图像500的像素的不同子集被施加到处理内核514），用于进一步处理并生成一个或多个额外的像素，用于包括在修改的VL图像506中。可为VL图像像素的多个子集重复过程，直到构造整个修改的VL图像506。

图6A是图示组合边缘因子值与RGB颜色空间中的边缘中档值以确定修改的VL图像像素的示意图。在图示的实施例中，对于给定像素的边缘因子值616与边缘中档值604的R、G和B值中的每一个组合。通常，边缘中档值可能是任何颜色。在各种实施例中，边缘中档值可能是存储在存储器中的固定颜色，或者可能可由用户定义或以其它方式选择。由于如上所述的边缘因子值616包括用于每个像素的单个值，相同的边缘因子值616可被添加到边缘中档值604的每个RGB通道，有效地调节边缘中档值604的R、G和B值以创建修改的VL图像606。

在一些示例中，边缘因子值616需要被缩放到适当的尺寸，以便组合值与RGB通道中的每一个。从而，在图示的实施例中，在被添加到各种通道之前，边缘因子值被缩放620。在各种实施例中，与每个通道相关联的位的数量可不相同。例如，在示范性实施例中，R和B通道可能是5位，而G通道可能是6位，总共使用16位。每通道可使用任何数量的位，并且任何数量的通道可具有与其相关联的相同或不同数量的位。

对于给定的像素，将EFV 616添加到边缘中档值604的RGB值为修改的VL图像606中相应的像素定义得到的颜色。例如，在图示实施例中，边缘因子值616被缩放，并且被添加到边缘中档值604的R通道（R_emv），导致修改的VL的像素606的R通道（R_VL’）。对于G和B通道执行相同的步骤。即：

R_emv + EFV = R_VL’

G_emv + EFV = G_VL’

B_emv + EFV = B_VL’

其中可为每个通道不同地缩放边缘因子值。

通常，R、G和B通道中的值被限制到一个或多个确定的范围。例如，在24位颜色表示中，R、G和B通道中的每一个可包括8位的信息，例如范围在0和255之间。在其它示例中，诸如16位颜色表示，R、G和B通道中的每一个可被限制到不同的范围。例如，两个通道可被限制到5位（例如0-31），而第三通道被限制到6位（例如0-63）。从而，边缘中档值通道和边缘因子值的总和可落在范围之外（例如，如果边缘因子值为负则低于零，或者如果边缘因子值为正则高于255）。在一些示例中，这导致通道的饱和，并且得到的总和被定义成范围的限制。例如，如果边缘中档值604的R通道（R_emv）是240，并且待添加到R_emv的缩放的边缘因子值616是50，

R_VL’ = R_emv + EFV = 240 + 50 = 295 → 255

即，即使总和（295）高于上述R_VL’范围（255）的上限，在修改的VL像素606中得到的值在范围（255）的上限处饱和。

通常，将相同的值（例如边缘因子值616）添加到像素的R、G和B通道中的每一个导致像素亮度的变化，同时保存其色度。然而，如上所述，边缘中档值604可能是任何颜色。在各种实施例中，边缘中档值604可能是被编程到相机中、可从预定列表中选择或可由用户定制的具体颜色。从而，在一些情况下，边缘中档值604的R、G和B值不一定相等。结果，将边缘因子值616添加到R、G和B通道中的每一个可导致一些通道饱和，但其它通道不会。例如，如果R_emv=240，G_emv=100并且B_emv=100，以及边缘因子值616是50，则：

R_VL’ = 240 + 50 = 295→255

G_VL’ = 100 + 50 = 150

B_VL’ = 100 + 50 = 150

从而，在将边缘因子值616添加到边缘中档值604时，R通道变得饱和，但G或B通道不会。结果，R通道仅仅增加达15，而G和B通道增加达50。一些但不是所有通道的饱和可导致在边缘中档值604和修改的VL图像606之间的色度的差。

图6B是图示组合边缘因子值与YCbCr颜色空间中的边缘中档值以确定修改的VL图像像素的示意图。在图示的实施例中，边缘因子值616被缩放，并且被添加到边缘中档值604的亮度（Y）通道，以确定修改的VL图像606的亮度通道（Y_VL’）。边缘中档值604的色度通道（Cb，Cr）不受边缘因子值616影响，并且变成修改的VL图像的色度通道（Cb_VL’和Cr_VL’）。

如所论述的，如果边缘中档值604的R、G和B通道中的一个或多个而不是全部变成饱和，将边缘因子值616添加到边缘中档值604仅仅影响边缘中档值604的色度。当不是这种情况时，边缘中档值604的色度不受边缘因子值616的添加的影响，如图6B中所图示。从而，边缘中档值604的色度通道变成修改的VL图像的色度通道。

在一些实施例中，边缘中档值604可能是灰色阴影，例如如果R_emv=B_emv=G_emv的话。将理解的是：如果这样的值被缩放到不同的尺寸（例如5位与6位），该值可能不是字面上相等的，虽然可表示相对于它们各自的位深度的相等的值。从而，如本文所使用，“等于”可指值等效（例如相对于位数）的数字，而不必尺寸（例如位数）相等。在这样的实施例中，参照图6A，将边缘因子值616添加到每个通道将不导致一个通道的饱和（在也不饱和其它的情况下）。即，边缘中档值604的R、G和B通道中的每一个均匀地受边缘因子值影响。从而，边缘中档值604的色度通道不受边缘因子值影响，并且图6B的表示适用。

在示范性的计算中，如果R_emv=G_emv=B_emv，则边缘中档值是灰色并且Cb_emv=Cr_emv。在合并24位颜色深度的示范性技术中，Cb_emv=Cr_emv=128。将边缘因子值616添加到边缘中档值604的R、G和B通道中的每一个将不影响通道之间的等效关系，并且色度分量将不受影响。相应地，在将边缘因子值616添加到边缘中档值604之后，仅仅亮度值将受影响。即：

Y_VL’ = Y_emv + EFV

Cb_VL’ = Cb_emv = 128

Cr_VL’ = Cr_emv = 128

正如所示，由于边缘中档值604在灰度中开始（R=G=B；等效地，Cb=Cr=128），得到的修改的VL图像606也将是灰度。修改的VL图像606的亮度将是边缘中档值604偏移（加或减）边缘因子值616的亮度分量。

将理解的是：虽然已经在灰度边缘中档值604方面论述了图6B，但在一些示例中，可在YCbCr颜色空间中根据图6B的实施例执行生成修改的VL图像606，无论边缘中档值604是否是灰色。即，在一些示例中，可通过将边缘因子值616添加到边缘中档值604的亮度通道并将修改的VL图像606的色度通道定义成等于边缘中档值604的色度通道来构造修改的VL图像606。

已经描述了边缘因子值616和一般（例如，可由用户编程到存储器中或选择的任何颜色，或灰色）边缘中档值604的各种组合。将理解的是：可在任何适当的颜色空间中以各种各样的方式执行组合。本文通过示例的方式描述RGB和YCbCr颜色空间，但是例如可使用CYMK、HSL或HSV颜色空间表示执行类似的方法。将边缘因子值616添加到边缘中档值604可在单个通道（例如图6B中的亮度通道）或多个通道（例如图6A中R、G和B通道中的每一个）中来完成。

虽然在图6A和6B中被示为被添加到边缘中档值的一个或多个通道的标量值，但各种其它选项是可能的。例如，参照图6A，在一些实施例中，边缘因子值可被添加到少于所有的R、G和B通道（诸如根据用户的选择）。在这样做时，由大的大小边缘因子值增强的像素可被选择性地朝着修改的VL图像中的某种颜色移位。类似地，参照图6B，边缘因子值可被添加到边缘中档值的除了或代替亮度通道的一个或多个色度通道。

在一些实施例中，边缘因子值可能是与单个标量值相对的多通道颜色值。例如，代替在确定边缘因子值之前将VL图像转换成标量伪亮度值，可在VL图像的一个或多个颜色通道上执行相同的处理技术。结果，边缘因子值可包括用于与边缘中档值组合的多个颜色通道。组合多个颜色通道中的像素可以以各种各样的方式（例如添加、混合等）来执行。

在其它实施例中，可诸如以上所述地确定标量边缘因子值，但是标量值可被映射到多通道颜色空间表示。这样的映射可以各种各样的方式来执行。在一些实施例中，以类似于IR图像数据的调色方案的方式有效地调色标量边缘因子值。得到的多通道边缘因子值可与边缘中档值的多个通道组合以生成修改的VL图像。在一些这样的实施例中，EFV颜色调色板可被选为与IR调色方案互补。示例可包括具有琥珀色EFV调色板的灰度IR图像，以便最终将可视边缘示为灰度IR图像内琥珀色（黄色/红色）的程度。在一些实施例中，两个调色方案可由用户选择。在其它实施例中，用户可选择这样的调色方案之一，并且互补调色方案自动用于另一个。在一些示例中，两个调色方案可能可由用户选择，在选择一个调色方案之后，可经由用户界面提醒用户可能的互补调色方案。

组合的结果是修改的VL图像606，其中每个像素包括受来自VL图像的相应像素的边缘因子值影响的边缘中档值604。如上所述，边缘因子值616的大小通常对应于在相应的VL像素处的边缘的“强度”。这样，得到的修改的VL图像606通常包括偏移达边缘因子值的边缘中档值604，并且其中对应于VL图像中的边缘的像素最受边缘因子值616的添加的影响。相应地，对应于VL图像的边缘的像素通常离修改的VL图像606中的边缘中档值604最远。

参照图4，修改的VL图像406可与相应的IR图像408组合以创建混合的最终图像410。图7A和7B是图示用于组合修改的VL图像和相应的IR图像的示范性技术的示意图。如图7A中所示，修改的VL图像中的像素的R、G和B通道与相应的IR图像像素的各自的R、G和B通道一起被平均。可根据调色方案定义与IR图像708中的像素相关联的RGB值，在调色方案中基于相关联的IR图像数据而将像素分配到调色板内的颜色。如上所述，相应的像素不需要具有一对一的关系，而是可以包括对应于修改的VL图像706中的一个或多个像素的IR图像708中的一个或多个像素。

平均可以包括阿尔法混合，其中加权因子确定来自IR 708和修改的VL图像706像素中的每一个的贡献。在示范性混合过程中，对于混合比率，阿尔法(α)

R_Blend = α×R_IR +（1-α）×R_VL’

G_Blend = α×G_IR +（1-α）×G_VL’

B_Blend = α×B_IR +（1-α）×B_VL’

混合比率可能是用户可选择的或可调节的，以使得用户能够选择混合的量。如先前所述，在一些实施例中，阿尔法范围可以从0到1（即，0％ IR到100％ IR）。在其它实施例中，在0和1之间可能有最小和/或最大的混合比率。在各种实施例中，混合比率可能在图像中的所有像素之中恒定，或者可随像素变化。通常，来自由VL图像处理强调VL图像并且存在于修改的VL图像中的边缘将在混合图像中被着重指出并有效地增强混合图像。

在一些实施例中，用于每个像素的混合比率可基于一个或多个参数来自动地确定。在一些示例中，用于每个像素的混合比率可能是与该像素相关联的边缘因子值（例如616）的函数。例如，混合比率可与边缘因子值的大小相反地变化。即，如果用于VL图像中的像素的边缘因子值的大小小，混合比率可能大，导致在具有从相应的IR像素708的相对大的贡献的在混合图像710中的相应的像素。另一方面，如果用于VL图像中的像素的边缘因子值的大小大，混合比率可能比较小，导致具有来自相应的IR像素的小贡献的混合图像中的相应的像素。

结果是混合图像710，其中不对应于VL图像中的边缘（即，低的边缘因子值大小）的像素具有来自IR图像的大贡献。与此相反，对应于VL图像中的边缘（即，大的边缘因子值大小）的像素将具有来自修改的VL图像的较强贡献。结果，不对应于VL图像中的边缘的像素与来自相应的IR图像的相应的IR像素类似地出现。

在示范性实施例中，当边缘因子值低于某一阈值时，混合比率α被设置成1。即，当在VL图像中的像素中不存在任何边缘（或低于预定的或用户可调节的阈值“强度”的边缘）时，混合图像中的相应像素是IR图像708中相应像素的100％。这样的像素保留来自原始IR图像708的RGB值，并且因此在原始RGB调色板上可识别。与此相反，VL图像中的边缘“越强”，修改的VL图像706对混合图像710的贡献越大。对应于“更强”边缘的像素的颜色比非边缘受混合影响大，并且通常不保留来自原始IR图像的相同RGB值。从而，由于修改的VL图像706的混合贡献，在混合图像710中可以容易地看见由VL图像处理过程强调的边缘。

在其它实施例中，混合图像710将包括最小量的IR图像贡献和最小量的VL图像贡献。例如，混合比率α可从0和1中的至少一个中排除，但是相反可被限制到较小的范围值。将理解的是：关于混合比率的任何限制是可能的。另外，可采用其它的混合方案。例如，混合比率可反映VL图像对混合图像的贡献量，而不是IR图像贡献的量。在一些这样的实施例中，混合比率可能是边缘因子值的函数，并且可随着边缘因子值而增加。

将理解的是：另外或可替代地，用于每个像素的混合比率可能是其它参数的函数，诸如IR图像像素的参数。例如，在一些实施例中，对于给定像素的混合比率是IR图像数据中像素的大小的函数（例如标量值，诸如调色的IR图像中的亮度或伪亮度或相关联的R、G或B值中的一个或多个）。在这样的示例中，热场景的各种方面可有助于确定IR图像信息的量，并且修改的VL图像信息被引入到混合图像中。在一些示例中，如上所述的混合比率可与IR像素大小负相关，或者类似地，与由IR像素表示的目标场景的温度负相关。即，在一些实施例中，混合图像可包括在较高温度时比较低温度时更大的修改的VL图像贡献，通常强调较高温度区域中的可见边缘。将理解的是：通常，依赖于IR强度的单独的像素混合比率可具有与IR强度值的任何功能关系，诸如具有较高的温度、较低的温度、或者包括修改的VL图像对混合图像的较高或较低贡献的某一温度范围。

虽然已经描述了各种各样的混合技术，但是可基于这些的组合来确定总的混合比率。例如，对于给定像素的总的混合比率可能是由诸如边缘因子值和相应的IR像素的强度之类的参数确定的混合比率的组合。在进一步的实施例中，这样的依赖像素混合比率还可由可调节的全局混合比率修改。在示范性实施例中，基于相应的边缘因子值（α_EFV）和相应的IR像素强度（α_IR）以及全局混合比率（α_global）每个像素地定义混合比率α_i。对于给定像素的总的混合比率可包括这样的混合比率的组合，诸如加权平均：

α_net=c_1×α_EFV+c_2×α_IR+c_3×α_global

其中c1、c2和c3是加权因子。在各种实施例中，混合过程中涉及的任何参数，诸如混合选项（例如依赖EFV和/或IR）、值（例如全局混合）或每个混合技术的相对贡献（例如c_i）可由用户可选择或可调节。

应当注意的是：在一些实施例中，其它因素可依赖于IR图像强度，以便选择性地强调在具有某些热特性的区域中的细节。例如，在为VL图像像素确定边缘因子值时使用的边缘增益值可依赖于用于相应的IR图像像素的IR图像数据。即，由于目标场景的相应部分的热特性，可能或多或少强调由VL图像处理强调的VL边缘。相应地，具有某一热简档（例如温度范围内的高温、低温等）的混合图像中的像素可包括比其它像素更强地强调的边缘。

图7B图示YCbCr颜色空间中的示范性混合过程。在图示的实施例中，修改的VL图像像素706的亮度Y以及色度Cr和Cr通道用相应的IR图像像素708的相应通道来平均。如上所述，平均可包括使用混合比率α来加权平均。类似于RGB混合，在示范性混合过程中，

Y_Blend=α×Y_IR+(1-α)×Y_VL’

Cb_Blend=α×Cb_IR+(1-α)×Cb_VL’

Cr_Blend=α×Cr_IR+(1-α)×Cr_VL’

如上关于RGB颜色空间中的混合所述，对于给定的像素，混合比率α可能是与相应的VL像素相关联的边缘因子值的函数。

如关于图6B所述，在一些实例中，修改的VL图像像素的色度分量（Cb_VL’，Cr_VL’）可对应于边缘中档值的色度分量（Cb_emv，Cr_emv）。在一些这样的实例中，混合图像710中像素的色度分量可包括IR图像像素708的色度与边缘中档值的色度分量的加权混合。另外，在一些这样的实例中，修改的VL图像像素的亮度分量（Y_VL’）是由与相应的VL图像像素相关联的边缘因子值偏移的边缘中档值的亮度分量。相应地，得到的混合图像710中的像素的亮度分量可包括相应的IR像素708的亮度分量与由边缘因子值偏移的边缘中档值的亮度分量的加权混合。将理解的是：虽然在图7A和7B中给出两个示例，但可在任何适当的颜色空间中执行诸如所述的那些之类的混合过程。

在一些示例中，没有图像被调色，直到最后的混合图像。即，VL图像可被转换成用于确定标量边缘因子值的标量伪亮度值。标量边缘因子值可与灰色边缘中档值组合，以创建本质上具有标量像素值的修改的VL图像。这些值可与标量（灰度）IR图像数据组合，以生成用于混合图像中的像素的标量值。单个调色方案可应用于标量混合图像以创建彩色化的图像。

在类似的实施例中，伪亮度值可用于确定标量边缘因子值。标量边缘矢量值可与灰色边缘中档值组合，以创建本质上具有标量像素值的修改的VL图像。在与灰度或颜色调色的IR图像数据混合之前，得到的修改的VL图像然后可根据任何适当的调色方案来调色。

图8A和8B是图示用于生成混合图像的过程的示意图。在图8A中，VL图像800的R、G和B通道（R_VL、G_VL、B_VL）被转换为伪亮度812（Y’）。处理伪亮度值812以为每个像素确定边缘因子值816，例如，如以上参照图5A所述。在图8A的图示的示例中，边缘因子值816与边缘中档值804的R、G和B通道（分别是R_emv、G_emv和B_emv）中的每一个组合，例如，如以上参照图6A所述，以生成具有通道R_VL’、G_VL’和B_VL’的修改的VL图像806。如上所述，边缘因子值816与边缘中档值804的组合通常强调对应于VL图像800中存在的边缘的像素。

修改的VL图像806的R、G和B通道（R_VL’、G_VL’、B_VL’）用IR图像808的相应的R、G和B通道（R_IR、G_IR、B_IR）来平均，以生成混合图像810。例如可以如参照图7A所述地执行混合。在一些实施例中，平均可包括使用混合比率α的加权平均，如上所述。在一些这样的实施例中，用于每个像素的混合比率可依赖于与相应的VL像素相关联的边缘因子值816，如由图8A中的虚线所图示。得到的混合图像810通常包括IR图像信息和来自修改的VL图像贡献的强调的边缘。

图8B是图示在其中在YCbCr颜色空间中执行混合的混合过程的示意图。图8B中图示的过程类似于图8A的过程，其中VL图像800的R、G和B值用于确定伪亮度值812。将理解的是：可使用用于使用VL图像800的其它颜色空间值确定伪亮度值的其它方法。伪亮度值812用于为每个像素确定边缘因子值816。在图示的实施例中，如以上参照图6B所述，边缘中档值804的亮度分量（Y_emv）可与边缘因子值组合，以便确定修改的VL图像806的亮度分量。边缘中档值804的色度分量（Cb_emv、Cr_emv）可不受边缘因子值影响，并且通常用作修改的VL图像的色度分量。

正如所示，修改的VL图像806的Y、Cb和Cr分量用IR图像808的相应的分量来平均，例如，如以上参照图7B所述。在这样的实施例中，得到的混合图像810包括色度值，该色度值是边缘中档值804和IR图像808的色度值的混合。然而，混合图像810的亮度分量包括IR图像808的亮度分量以及由边缘因子值816偏移的边缘中档值804的亮度分量。从而，表示来自VL图像800的边缘的边缘因子值816被反映在混合图像810的亮度通道中，并且因此可能在混合图像810中可见。如上所述，在一些示例中，在给定像素处的IR和修改的VL图像的混合比率可能是与VL图像中的相应像素相关联的边缘因子值的函数，如由图8B中的虚线图示的。

通常，如以上参照图5A所述，对于VL图像的给定像素的边缘因子值可对应于在该像素处的边缘的“强度”。根据如上所述的一些实施例，边缘因子值可用于生成修改的VL图像，修改的VL图像然后与IR图像混合。结果，在混合图像中最终表示VL图像中的边缘的“强度”。这提供在得到的混合图像中的成像的场景中的项目的增加的清晰度和上下文。

图9A是示出在创建混合图像中使用的一系列示例性图像的流程图。正如所示，VL图像900被处理902以确定与VL像素相关联的边缘因子值。在图示的实施例中，以灰度示出VL图像900。在一些示例中，灰度像素的标量灰度值可用作在本文中别处所述的伪亮度值。即，在一些这样的示例中，确定伪亮度值可被隐含地内置到VL图像中。

边缘因子值然后与边缘中档值904组合以创建修改的VL图像906。正如所示，修改的VL图像806看来类似于边缘中档值904，但是在对应于VL图像900中所看到的边缘的各种位置处变暗或变亮。根据一些实施例，从边缘中档值904的较大偏离对应于较大的边缘因子值（即，“更强”的边缘）。从而，VL图像处理（例如确定边缘因子值并与边缘中档值组合）导致VL图像内的边缘从背景突出，该背景大致为修改的VL图像906中的边缘中档值904。如上所述，在一些示例中，边缘因子值包括用户可调节的边缘增益参数，允许用户调节由于VL图像处理的边缘突出量。

得到的修改的VL图像906随后与相应的IR图像908混合以产生混合图像910。在图示的实施例中，IR图像908表示通常均匀的热场景。即，跨过场景存在很少的温度变化。结果，IR图像908通常跨过整个图像恒定。然而，由于IR图像908和修改的VL图像906的混合，在修改的VL图像906中强调的边缘在混合图像910中是可见的。另外，混合图像910还包括来自IR图像908的信息。即，在混合图像910中显而易见的是：由于增强的边缘外部的很少变化，热场景相对均匀。另外，将理解的是：虽然图示的示例例示由灰度调色板表示的IR图像，但可使用任何调色方案。类似地，虽然以灰度示出VL图像，但可使用其它已知的VL可视化方案。

通常，IR图像数据与修改的VL图像数据的组合将趋于至少保持在具有相似边缘因子值的位置（例如具有很少或没有VL边缘的位置）中的混合图像中的像素之间的相对温度信息。因为修改的VL图像数据通常是由边缘因子值修改的边缘中档值，只有对应于VL图像中的边缘的那些像素从修改的VL图像906中的边缘中档值显著地偏离。相应地，当创建混合图像910时，来自VL图像900的额外细节（例如颜色或阴影中的颜色或逐渐移位，诸如由于场景照明或光强度的变化等）不模糊IR图像数据。相反，在一些实施例中，不对应于VL图像中的强边缘的像素（以及从而具有含小的大小的相关联的边缘因子值）通常由修改的VL图像906中的边缘中档值904表示。由于混合过程，在修改的VL图像906中的这样的像素因此在相应的IR像素上具有类似的效果，并且在相对于原始IR调色板的IR像素之间的相对关系通常被维持。

如上所述，在一些实施例中，用于在每个像素处组合修改的VL图像906和IR图像908的混合比率是与相应的VL像素相关联的边缘因子值的函数。从而，在一些这样的实施例中，不对应于VL图像900中的强边缘的混合图像910中的像素可主要或完全包括IR图像数据，从而在对应于VL图像900中没有或微弱边缘的像素处，完全或几乎完全保留IR图像信息。与此相反，对应于VL图像900中的边缘（具有高大小边缘因子值）的像素将包括合并这样的边缘因子值的修改的VL图像数据。从而，对应于具有大的大小的边缘因子值的像素的VL图像中的边缘最终将通过边缘因子值对修改的VL图像906的贡献的方式合并到混合图像910中。

图9B是示出在创建混合图像中使用的一系列示例性图像的另一个流程图。通常，该过程如以上关于图9A所述地跟随，其中VL图像900被处理并与边缘中档值904组合以生成修改的VL图像906。修改的VL图像906包括示出人的轮廓的边缘以及背景细节（白板和写入）。修改的VL图像906与IR图像908组合以创建混合图像910。虽然在图9A中表示的热场景是相对均匀的，但在图9B中表示的热场景包括热变型。即，图9B的IR图像908包括具有各种各样的温度的内容（在前景中具有较高温度的人的相对均匀的背景）。正如所示，图9B的混合图像910包括来自IR图像908的热信息（人从背景中突出）以及来自VL图像的可见细节（白板和写入细节）二者。从而，得到的混合图像910有效地组合来自IR图像数据的热信息以及来自VL图像数据的边缘和详细信息。

如先前所述，VL图像处理可包括可调节（例如用户可调节）的边缘增益参数。从而，得到的修改的VL图像可包括在对应于VL边缘的像素处的可调节的偏移或其它增强的量。图10提供包括调节的边缘增益参数的一系列修改的VL图像。如先前所论述的，可处理VL图像1000以为每个像素生成可取决于边缘增益参数的边缘因子值。修改的VL图像1006a、1006b、1006c和1006d是从VL图像处理得到的具有不同边缘增益参数的示范性图像。例如，使用相对小的边缘增益参数创建图像1006a，其中低的但是可见的对比度存在于对应于VL边缘的像素和不相应于VL边缘的那些像素之间。与此相反，图像1006b是使用比图像1006a的边缘增益参数大的边缘增益参数生成的修改的VL图像，并且得到的图像1006b在对应于VL边缘的像素处包括增加的可见对比度。类似地，图像1006c是用在和图像1006b比较时的仍然较大的边缘增益参数生成的修改的VL图像。相应地，当与图像1006a和1006b比较时，在图像1006c中进一步强调对应于VL边缘的像素。图像1006d是使用比图像1006c仍然更大的边缘增益参数生成的修改的VL图像，因此具有对应于VL边缘的更进一步的偏移和/或增强的像素。

在各种实施例中，用户可例如经由用户界面调节边缘增益参数，以便影响对应于VL边缘的像素的增强的程度。在一些实施例中，用户可实时调节边缘增益参数，并且在显示器上观察调节的效果。在一些示例中，边缘增益参数可从一列预定的值或百分比中可选择。在其它示例中，可在最小和最大值之间连续调节边缘增益参数。

图11是图示用于创建混合图像的示范性过程的过程流程图。一个或多个相机可用于获得相应的IR和VL图像（1130）。图像可由相同或不同的相机捕获，并且随后可在相机中的一个或两者上被处理和/或分析，或着被传输到外部处理设备。方法可包括注册获得的IR和VL图像（1132）。如先前所论述的，可缩放（上采样、下采样等）IR或VL图像中的一个或两者，以在图像之间实现一对一的像素映射。另外或可替代地，在一些示例中，在图像之一中的多个像素可对应于在其它图像中的单个像素或不同尺寸的多个像素。接下来，可在VL图像中为每个像素确定边缘因子值（1134）。从多个像素确定的边缘因子值可以被添加到边缘中档值或以其它方式与边缘中档值组合，以便创建修改的VL图像（1136）。最后，该方法可包括混合修改的VL图像与IR图像，以便生成最后的混合图像（1138）。在一些示例中，可在逐个像素基础上执行混合，其中在每个像素处的混合比率基于与该像素相关联的边缘因子值。如先前所述，在一些示例中，在整个图像规模上完成像素处理，其中边缘因子值与边缘中档值的整个“帧”组合。在可替代实施例中，可在处理内核内的像素的子集上执行若干处理步骤。相应地，在一些实施例中，在执行一系列的处理步骤之后，可执行移动内核（1150）的步骤。如由虚线所示，在示范性的过程中，可为处理内核内的像素混合修改的VL图像像素与相应的IR像素（1138）。然后，可调节处理内核（1150）以在一组新的像素上执行处理步骤（例如1134-1138）。在生成混合图像（1138）之后，该方法可以包括例如在显示器108上显示混合图像（1140）。

在各种示例中，混合图像的显示可采取各种各样的形式。例如，在一些示例中，整个显示的图像包括具有IR图像数据和修改的VL图像数据的组合的混合图像。在其它示例中，可在较大的VL图像中（例如在图片中图片显示中）呈现混合图像。通常，可以适合于在显示器上呈现IR图像数据的任何方式呈现混合图像，诸如例如在2010年7月1日提交的编号12/828442的题为“THERMOGRAPHY METHODS”的美国专利申请、2006年7月19日提交的编号7994480的题为“VISIBLE LIGHT AND IR COMBINED IMAGE CAMERA”的美国专利、2013年3月15日提交的编号13/833853的题为“THERMAL IMAGE ANIMATION”的美国专利申请中所述的那些，其中的每一个被受让给本申请的受让人，并且在此通过引用而整体并入本文。

可以各种各样的方式执行如本文所述的方法。在一些示例中，例如可由热成像相机中的处理器（例如222）执行图像处理和混合技术。在一些这样的示例中，VL和IR图像中的一个或两者可由相同的相机或不同的相机捕获。在一些实施例中，由相同或不同的相机捕获的IR和VL图像可被转移到可执行任何数量的处理步骤（例如注册、生成修改的VL图像、混合等）的外部处理设备，诸如计算机、平板电脑、智能电话等等。在一些示例中，可捕获并处理相应的IR和VL图像以由单个设备生成如本文所述的混合图像。在一些实施例中，可基本上实时执行这样的图像捕获和处理（例如使用图像的实时流以生成包括一系列混合图像的视频信号）。通常，如本文所使用，除非特别说明，否则术语“图像”可指单个图像帧，诸如存储在存储器中并且从存储器再调用的图像、来自视频馈送的静止帧、包括一系列捕获的静止图像的直播或预先录制的视频馈送、在其中在除了其它外的不同时间动态地更新显示的一些部分的直播视频馈送、或者其它已知的图像数据呈现方案。

在一些实施例中，IR和VL图像数据中的一个或两者包括由处理器接收的数据流。在一些这样的实施例中，处理器可以接收图像数据的流，并且从中生成视频文件。例如，在一些实施例中，处理器可以接收IR图像数据和VL图像数据流，并且从中生成视频文件。在各种实施例中，生成的视频文件可以包括IR图像数据、VL图像数据、或者混合IR和VL图像数据的组合。在一些实施例中，本文所述的处理技术可被执行成图像数据流，因为它由处理器接收。

如本文所使用，“IR”可指在红外线光谱的任何部分中的波长，诸如LWIR（在大约8微米和14微米之间）、MWIR（在大约3微米和5微米之间）、SWIR（在大约1微米和大约2微米之间）或在其间的这些范围或波长的任何组合。“VL”图像典型地指在可见光谱中的波长（例如在大约400纳米和大约700纳米之间）。然而，如本文所述的供VL图像使用的过程可使用可替代的波长来执行，可替代的波长诸如NIR（例如在大约700纳米和1000纳米之间）或UV（例如在大约200纳米和400纳米之间）。通常，用于组合本文所述的IR和VL图像的过程可在任何一组的两个或更多个图像上来执行。

本文所述的方法的各种方面可由用户调节。例如，能够执行这样的方法的热成像相机可包括用于从用户接收一个或多个输入的用户界面（例如108、112、114、116）。在一些示例中，用户例如可调节IR调色方案、用于确定边缘因子值的边缘增益、边缘中档值、图像混合的类型（例如跨过图像恒定、依赖EFV、它们的组合等等）、图像混合的量（例如混合比率）中的至少一个。在其它实施例中，这样的参数中的一个或多个可能是固定的。

在一些实施例中，各种边缘检测技术可被包括在VL图像处理中，诸如在2014年3月21日提交的编号14/222153的题为“VISIBLE LIGHT IMAGE WITH EDGE MARKING FORENHANCING IR IMAGERY”的美国专利申请中所述，该专利申请被受让给本申请的受让人，并且在此通过引用整体并入。在一些这样的实施例中，可以各种各样的方式使用被确定成对应于VL图像中的边缘的像素。例如，在一些示例中，在创建混合图像中为每个像素使用的混合比率可依赖于相应的VL像素是否被确定成边缘像素。另外或可替代地，可基于像素是否被确定成边缘像素而为一个或多个VL像素确定边缘因子值。

已经描述了示例性的热图像相机和相关的技术。在本公开中所述的技术也可在计算机可读介质中来体现或编码，该介质诸如包含指令的非临时性计算机可读存储介质。在计算机可读存储介质中嵌入或编码的指令可使可编程处理器或其它处理器例如当执行指令时执行该方法。计算机可读存储介质可包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、光介质或其它计算机可读介质。

例如，包括这样的计算机可读介质的外部计算机可以从热成像相机或从存储器接收相应的可见光和红外线图像，并执行边缘检测和/或处理VL和IR图像以生成如本文所述的显示图像。在一些实施例中，可以在多个部件中体现技术的各种部分。例如，热成像相机可以检测可见光图像中的边缘，并且将检测的边缘信息传递给外部计算设备，用于生成合并检测的边缘的显示图像。另外或可替代地，外部计算设备可辅助或以其它方式执行边缘检测和/或增强技术。

在进一步的实施例中，可以在显示系统中体现本发明的实施例。显示系统可以被配置成接收VL和IR图像数据，并且执行诸如本文所述的那些之类的过程。示范性显示系统可以包括用于执行这样的过程的一个或多个处理器、显示器和用户界面。显示系统可以被合并到能够接收和处理图像数据的任何适当的设备或系统中。在一些实施例中，显示系统可以包括便携式、手持式热成像相机，诸如本文中其它地方所述的那些，以便捕获相应的VL和IR图像并向成像系统的其它部件提供VL和IR图像数据。在进一步的实施例中，成像系统被完全合并到这样的相机中，或者可以实质上由能够执行所述的任何各种过程的相机组成。

已经描述了各种实施例。这样的示例是非限制性的，并且不以任何方式限定或限制本发明的范围。相反，这些和其它示例在下面的权利要求的范围内。

Claims

1.一种用于组合可见光（VL）和红外线（IR）图像数据的系统，包括：

存储器，用于存储一组或多组VL图像数据和IR图像数据，每一组VL和IR图像数据分别包括多个VL和IR图像像素；

用户界面；以及

处理器，被配置成：

（a）处理第一组VL图像数据，以基于VL图像数据和边缘增益输入而为第一组VL图像数据中的每个像素确定边缘因子值，边缘增益输入可经由用户界面调节；

（b）组合与第一组VL图像数据中的每个像素相关联的边缘因子值与边缘中档值，以创建第一组修改的VL图像数据；以及

（c）组合第一组修改的VL图像数据与对应于第一组VL图像数据的第一组IR图像数据，以生成第一组组合的图像数据。

2.根据权利要求1所述的系统，进一步包括存储在存储器中的默认边缘增益输入值，并且其中缺少经由用户界面的调节，用于每个像素的边缘因子值使用默认边缘增益输入值来确定。

3.根据权利要求1所述的系统，其中用户可向处理器提供输入，该输入影响边缘因子值、边缘中档值、以及修改的VL图像数据和IR图像数据的组合中的至少一个。

4.根据权利要求1所述的系统，其中IR图像数据和VL图像数据分别包括IR和VL图像的流，并且其中处理器被配置成从IR和VL图像数据的流生成视频文件。

5.根据权利要求1所述的系统，进一步包括显示器，该显示器被配置成显示VL图像数据、修改的VL图像数据和IR图像数据中的至少一个的至少一部分。

6.根据权利要求5所述的系统，其中处理器能够从获得的IR和VL图像数据生成组合的图像，并且在显示器上的基本上实时的视频中呈现生成的组合的图像。

7.根据权利要求1所述的系统，进一步包括：用于从场景接收红外线辐射并生成表示场景的IR图像数据的IR相机模块，以及用于从场景接收VL辐射并生成表示场景的VL图像数据的VL相机模块；并且其中处理器被进一步配置成从IR相机模块接收IR图像数据，并从VL相机模块接收VL图像数据。

8.根据权利要求7所述的系统，进一步包括：

显示器，被配置成显示VL图像数据、修改的VL图像数据和IR图像数据中的至少一个的至少一部分；以及

壳体，包围或以其它方式支撑存储器、处理器、用户界面、IR相机模块、VL相机模块和显示器。

9.根据权利要求7所述的系统，进一步包括：包括IR相机模块和VL相机模块的图像采集模块，以及包括处理器并且与图像采集模块无线通信的处理模块。

10.根据权利要求9所述的系统，其中处理模块进一步包括用户界面和显示器。

11.根据权利要求9所述的系统，其中处理模块包括智能电话、平板电脑或独立的计算机。

12.根据权利要求1所述的系统，其中用户界面允许用户选择用于在显示器上呈现图像数据的显示模式，该显示模式可从VL图像数据、IR图像数据和组合的图像中选择。

13.根据权利要求1所述的系统，其中用户界面允许用户为IR图像和修改的VL图像中的至少一个选择调色方案。

14.根据权利要求1所述的系统，其中用户界面允许用户选择边缘中档值。

15.根据权利要求1所述的系统，其中组合第一组修改的VL图像数据与第一组IR图像数据包括混合修改的VL图像数据与IR图像数据，并且其中在给定像素处来自修改的VL图像数据和IR图像数据中每一个的贡献量基于VL图像数据中相关联的像素的边缘因子值。

16.根据权利要求1所述的系统，其中边缘中档值表示灰色。

17.根据权利要求16所述的系统，其中边缘中档值是标量值。

18.根据权利要求17所述的系统，其中组合边缘因子值与边缘中档值包括将边缘因子值添加到边缘中档值的亮度分量。

19.根据权利要求1所述的系统，其中组合边缘因子值与边缘中档值包括将边缘因子值添加到边缘中档值的红色、绿色和蓝色分量中的每一个。

20.根据权利要求1所述的系统，其中处理第一组VL图像数据包括在第一组VL图像数据上执行压纹过程，以便为VL图像数据内的多个像素中的每一个确定压纹值，并且其中为多个像素中的每一个确定边缘因子值包括缩放由边缘增益输入确定的压纹值。

21.根据权利要求19所述的系统，其中压纹过程包括：

为第二多个像素中的每一个确定伪亮度值；

经由处理内核处理第二多个像素的伪亮度值，以为与内核相关联的至少一个像素确定压纹值。

22.根据权利要求20所述的系统，其中处理第二多个像素的伪亮度值包括确定第二多个像素中的邻近像素的伪亮度值之间的差。

23.根据权利要求1所述的系统，其中用于每个像素的边缘因子值从相邻像素的相对强度之间的比较来确定，并由边缘增益值来缩放。

24.一种被配置成生成具有增强的边缘的红外线图像的热成像相机，包括：

红外线（IR）相机模块，用于从目标场景接收IR辐射并生成表示目标场景的IR图像数据；

可见光（VL）相机模块，用于从目标场景接收VL辐射并生成表示目标场景的VL图像数据；

显示器；以及

处理器，与IR和VL相机模块、显示器和用户界面通信，该处理器被配置成：

（a）从IR相机模块接收IR图像数据，IR图像数据包括表示目标场景的多个IR像素；

（b）从VL相机模块接收VL图像数据，VL图像数据包括表示目标场景的多个VL像素并对应于IR图像数据中的多个IR像素；

（c）生成修改的VL图像，修改的VL图像包括对应于多个IR像素的多个像素，修改的VL图像中的多个像素中的每一个包括边缘中档值，边缘中档值与和每个相应的VL像素相关联的边缘因子值组合，边缘因子值强调来自VL图像的边缘；

（d）组合修改的VL图像和IR图像，以从VL图像生成包括强调的边缘的混合图像；以及

（e）在显示器上呈现混合图像。

25.根据权利要求24所述的热成像相机，进一步包括用户界面；并且其中边缘中档值、组合修改的VL图像和IR图像的一个或多个属性、以及边缘增益值中的至少一个可经由用户界面调节。

26.一种包含指令的非临时性计算机可读介质，该指令用于使一个或多个可编程处理器用于执行增强红外线图像的方法，该方法包括：

接收与表示目标场景的多个VL像素相关联的可见光（VL）图像数据；

接收与表示目标场景的至少一部分的多个IR像素相关联的红外线（IR）图像数据，并且IR像素的至少一部分对应于一个或多个VL像素；

接收动态可调节的边缘增益输入参数；

处理VL图像数据并组合处理的VL数据与接收的边缘增益输入参数，以为VL图像中的多个像素的每一个生成边缘因子值；

在逐个像素的基础上，组合每个边缘因子值与边缘中档值以创建修改的VL图像；以及

组合修改的VL图像与IR图像数据，以生成输出图像。

27.根据权利要求26所述的计算机可读介质，其中该方法进一步包括从用户界面接收选择的边缘中档值的步骤。

28.根据权利要求26所述的计算机可读介质，其中边缘中档值表示灰色。

29.根据权利要求28所述的计算机可读介质，其中：在逐个像素的基础上，组合边缘因子值与边缘中档值包括将边缘因子值添加到边缘中档值的亮度分量。

30.根据权利要求26所述的计算机可读介质，其中：在逐个像素的基础上，组合边缘因子值与边缘中档值包括：将边缘因子值添加到边缘中档值的红色、绿色和蓝色分量中的每一个。

31.根据权利要求26所述的计算机可读介质，其中VL图像数据的处理包括在VL图像数据上执行压纹过程，以便为多个像素中的每一个确定压纹值，并且其中为多个像素中的每一个确定边缘因子值包括由边缘增益输入参数缩放压纹值。

32.根据权利要求31所述的计算机可读介质，其中压纹过程包括：

为第二多个像素中的每一个确定伪亮度值；

33.根据权利要求32所述的计算机可读介质，其中处理第二多个像素的伪亮度值包括：确定在第二多个像素的邻近像素的伪亮度值之间的差。

34.根据权利要求26所述的计算机可读介质，其中接收VL图像数据包括从VL相机模块获得VL图像数据，并且接收IR图像数据包括从IR相机模块获得IR图像数据。

35.根据权利要求26所述的计算机可读介质，其中在逐个像素的基础上执行组合修改的VL图像与IR图像数据，并且其中在每个像素处VL图像和IR图像的贡献量依赖于一个或多个相应的VL图像像素的边缘因子值。