CN116194958A - 热成像的选择性着色 - Google Patents

热成像的选择性着色 Download PDF

Info

Publication number
CN116194958A
CN116194958A CN202180064394.5A CN202180064394A CN116194958A CN 116194958 A CN116194958 A CN 116194958A CN 202180064394 A CN202180064394 A CN 202180064394A CN 116194958 A CN116194958 A CN 116194958A
Authority
CN
China
Prior art keywords
image
pixels
subset
thermal
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064394.5A
Other languages
English (en)
Inventor
E·J·保罗
S·A·麦格林
R·K·普赖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN116194958A publication Critical patent/CN116194958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

一种示例性计算系统包括处理器和存储设备，所述存储设备保持能由所述处理器执行以用于以下操作的指令：接收经由热成像系统获取的热图像，所述热图像的每个像素包括强度水平；以及经由按强度水平对像素进行装仓来生成直方图。所述指令还能执行以：至少基于所述直方图来确定待着色的像素子集；对所述像素子集进行着色以产生经选择性着色的图像；以及输出所述经选择性着色的图像。

Description

热成像的选择性着色
背景技术
热成像相机被配置为感测在图像传感器的每个像素处的红外辐射强度。可以处理所得到的强度以将所述强度转换成可显示的灰度值或颜色值。
发明内容
提供本发明内容以简化形式介绍一些概念，这些概念将在下文的详细说明中进一步描述。本发明内容并不旨在识别所要求保护的主题的关键特征或基本特征，也并不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中所提到的任何或者所有缺点的实现方式。
公开了涉及对热图像和低光图像的选择性着色的示例。在示例中，计算系统包括处理器和存储设备，所述存储设备保存能由所述处理器执行以接收经由热成像系统获取的热图像的指令，所述热图像的每个像素包括强度水平。所述指令还能执行以经由按强度水平对像素进行装仓来生成直方图——至少基于所述直方图，确定待着色的像素子集，对所述像素子集进行着色以产生经选择性着色的图像，以及输出所述经选择性着色的图像。
在另一示例中，计算系统包括处理器和存储设备，所述存储设备保存能由所述处理器执行以用于以下操作的指令：接收场景的热图像，接收经由低光成像系统获取的所述场景的低光图像，以及计算地组合所述场景的所述热图像与所述场景的所述低光图像。所述指令还能执行以：至少基于计算地组合所述场景的所述热图像与所述场景的所述低光图像，产生经选择性着色的图像，以及输出所述经选择性着色的图像。
附图说明
图1是可穿戴平视显示设备的示例性实施例。
图2示意性示出了包括热成像系统和低光成像系统的示例性计算系统。
图3示出了示例性直方图以及已经被选择性着色的对应热图像。
图4示出了描绘用于选择性地对热图像进行着色的示例性方法的流程图。
图5示意性示出了描述使用边缘检测来增强低光图像和热图像的示例性图像。
图6示出了描绘用于检测热图像和低光图像中的边缘并且选择性地对所述图像进行着色的示例性方法的流程图。
图7示出了示例性计算系统的示意图。
具体实施方式
存在各种成像技术用于在低光条件下对场景进行成像。一些技术采用红外相机来捕捉在图像传感器的每个像素的红外辐射。可以处理所得到的强度数据以产生所述热图像的视觉表示。其他技术使用光电倍增管或者其他放大设备来放大源自所检测到的光子的信号(例如，“夜视”)。例如，这样的低光成像系统可以允许用户检测来自对象的微弱照明，或者查看仅由星光照明的场景。
低光和/或热成像系统可以捕捉和显示灰度(即，单通道)或多色图像。灰度热图像显示针对每个像素的单个强度水平，其中，在黑色与白色之间的强度表示在该像素处接收到的信号的强度。对热通道或低光通道进行着色可以包括将颜色图(例如，将颜色映射到对应的强度范围)应用于强度图像数据。结果，全色图像可以包括跨一系列强度的调色板，例如，较低强度的像素可以被显示为蓝色，而较高强度的像素可以呈现红色。
然而，这样的灰度和着色图像可能给对象识别带来困难。例如，常规的灰度/着色技术可能无法以有意义的方式突出显示对象。全彩色图像可能显得杂乱或稀疏，没有明显的感兴趣对象。结果，查看者在识别感兴趣对象之前可能需要相对长的时间来检查整幅图像。此外，低对比度场景中的感兴趣对象可能具有与其他对象相似的颜色(或者相似的灰度)，使得用户难以在感兴趣对象与背景之间进行区分。例如，在相对热的房间里，一个人可能以与房间里其他对象相似的色调来着色。类似地，标准灰度图像可能以深灰色或黑色像素来显示感兴趣的冷对象，从而使得用户难以识别所述对象。此外，当将低光图像与热图像组合时，精细的细节信息可能在所述过程中丢失。
在一些情况下，用户可能希望查看在低光成像与热成像之间的差异，因为这样的差异可能揭示难以单独在任一幅图像中看到的信息。例如，对象上的纹理(例如，涂料)在低光图像中可能仅显得稍亮或稍暗，并且可能与热图像中的周围纹理无法区分。
因此，公开了用于对至少部分地基于热成像的图像的选择性着色的示例。经选择性着色的图像可以通过对潜在感兴趣对象进行着色同时不强调图像的其余部分，以更有意义的方式向查看者呈现信息。在一个示例中，通过创建热图像内像素的直方图并且然后基于被应用于所述直方图的一个或多个阈值像素强度水平对像素的子集进行着色来选择性地对图像进行着色。结果，场景中相对较热和/或较冷的对象可以被选择性地着色，或者任何其他合适的像素强度水平范围可以被着色。所得到的经选择性着色的图像可能看起来不那么混乱，并且强调潜在的感兴趣对象。
在其他示例中，图像的部分可以基于热图像与低光图像的计算组合(例如，差、和、乘积、商、布尔比较或者其他合适的组合)被选择性地着色。例如，边缘检测算法可以被用于检测场景的热图像和所述场景的低光图像中的边缘。能够比较位于所述图像中的边缘(例如，通过计算在这两幅图像之间的差异、两幅图像的总和等)来识别特征，诸如表面上纹理的差异，并且可能有助于突出静息细节以及针对所述用户的其他信息。
在详细描述这些示例之前，参考图1描述了头戴式显示(HMD)设备100形式的示例热成像显示系统。HMD设备100包括热成像相机102和低光相机104。HMD设备100还包括处理电路112，处理电路112被配置为处理来自相机102、104的图像，并且在近眼显示器108a、108b上显示经处理的图像。HMD设备100可以从热成像相机102和/或低光成像相机104捕获实时视频，将实时视频输出到近眼显示器108a、108b。遮光板106和近眼显示器108a、108b可以是至少部分透明的以允许用户查看真实世界的对象。例如，每个近眼显示器108a、108b可以包括向用户递送经投影的图像的透明光学组合器(例如，波导)，同时允许用户通过组合器来查看真实世界的背景。以这种方式，经由近眼显示器108a、108b显示的图像内容可能看起来与真实世界的场景混合。也设想到了其他类型的热成像设备，例如手持设备或非可穿戴设备，以及处理从热成像设备接收到的图像数据的其他计算设备(例如，个人计算机、平板计算机、笔记本计算机、智能手机和服务器计算机)。在一些示例中，显示器和/或处理电路可以远离热相机。此外，在一些示例中，可以省略低光相机104。
图2示出了包括热成像子系统202和显示器230的示例性计算系统200的框图。例如，计算系统200可以被实现为显示系统100。计算系统200还包括低光成像系统204，但是其他示例可以省略低光成像子系统。计算系统200还包括被配置为控制热成像系统202和低光成像子系统204的处理器206。处理器206可以：接收图像数据，处理所述图像数据以产生经着色的图像数据，如下文更详细描述的，并且将所得到的经着色的图像(静态的和/或视频)输出到显示器230。存储器208可以存储能由处理器206运行以执行在本文中所描述的过程的数据和指令。在一些示例中，处理器206可以经由通信系统232与外部计算系统(例如，基于云的计算系统)通信，使得逻辑单元分布在处理器206与远程计算系统之间。
热成像子系统202可以包括任何合适的热成像硬件，诸如微测热辐射计212、IR相机214和/或被配置为感测红外光的其他合适的热成像设备。类似地，低光成像子系统204可以包括任何合适的低光成像硬件，诸如光电倍增管218、CMOS检测器220和/或具有增益的CMOS检测器222。
在一些示例中，热成像计算系统200可以被配置为可穿戴计算设备，诸如HMD设备100。在其他示例中，计算系统200可以采用其他合适的形式，诸如手持设备、壁挂式相机系统、车载相机系统、或者从单独的热成像设备接收图像数据的任何合适的计算设备(例如，膝上型计算机、台式计算机或服务器计算机)。在一些示例中，在图2中所图示的各种组件被省略，诸如显示器。
如上文所提到的，计算系统200可以被配置为选择性地对图像进行着色，例如以便于对潜在的感兴趣对象的定位。在一些示例中，计算系统200可以至少基于对图像的直方图应用阈值来执行对所述图像的选择性着色。图3示出了针对由热成像子系统202成像的场景的图像的示例性直方图300。在此，直方图300的每个分箱(bin)对应于强度范围，并且针对每个分箱的像素计数表示分箱中有多少像素落在强度范围内。由于像素的强度水平可以表示场景中对应于像素位置的对象的表观温度，因此强度水平可以与温度相关联。在图3中，在直方图300上，像素“温度”随着像素强度水平从左到右而增加。在感兴趣对象是场景中最热或最冷的对象的示例中，可以通过将适当的阈值或多个阈值应用于所述直方图来选取待着色的像素的子集。
图3图示了被应用于直方图的阈值，其允许相对“较热”的像素被选择性地着色。在该示例中，基于高于阈值强度水平306的像素来确定待着色的像素304的子集。不在子集304内的像素(即，所述分箱中具有低于阈值强度水平306的强度水平的像素)可以保持未着色。在热图像中，像素强度对应于温度，因此较亮的像素表示相对较热的对象，而较暗的像素代表相对较冷的对象。这样，在图3中待着色的像素子集304对应于所述图像中的相对“较热”的像素。在其他示例中，所述阈值强度水平可以指定上限并且所述像素子集可以包括在所述图像中的相对“较冷”的像素。
可以以任何合适的方式来确定要应用于直方图的阈值。在一些示例中，可以选取阈值强度水平，使得特定百分比的像素被着色(例如，最亮的5％或10％的像素)。另外地或备选地，阈值强度水平306可以基于像素计数来选取，例如，直方图300的全局或局部最大值。例如，全局最大值308可以在所述直方图中被识别并且被用于设置阈值强度水平306。在一些示例中，阈值条件能够是硬编码的，而在其他示例中，所述阈值条件能够变化(例如，自动地基于图像的特性，或者通过用户选择)。在处理图像序列的示例中(例如，视频馈送)，可以针对每幅图像自动地调整所述阈值条件。
在所描绘的示例中，阈值强度水平306是下限阈值条件，并且像素子集304对应于具有等于或大于阈值强度水平304的强度水平的像素。在其他示例中，可以使用上限阈值条件或者两个或更多个阈值条件的组合。例如，可以选择两个或更多个阈值强度水平以确定待着色的两个不同的像素子集。第一像素子集可以包括具有满足第一阈值条件的强度水平的像素。类似地，待着色的第二像素子集可以包括具有满足第二阈值条件的强度水平的像素。作为更具体的示例，所述第一子集可以包括对应于所述场景中“最冷”的一组对象的像素，而所述第二子集包括对应于所述场景中“最热”的一组对象的像素。
经选择性着色的图像320表示已经基于直方图300被选择性着色的示例性图像。区域322和324可以对应于像素子集304内的像素。在区域322、324内的像素被着色，而那些区域外部的像素未被着色。可以使用任何合适的着色方案。例如，可以使用单个色调或者不同色调的组合(例如，彩色图)。因此，针对每个像素的所应用的色调可以相同，或者可以基于所述像素的强度水平。此外，像素饱和度和/或值可以与强度水平相关联。这样，与区域324中的像素相比，在经着色的区域322中的像素可以包括不同的色调、饱和度、和/或值。可以使用任何合适的颜色映射或调色板技术。
在其中应用两个或更多个阈值来定义两个或更多个像素子集的示例中，所述两个或更多个像素子集可以使用相同或不同的色调、相同或不同的颜色图、或者任何其他合适的着色方案来着色。例如，在区域326中的像素可以通过应用第一颜色图来着色，而区域322、324中的像素通过应用第二颜色图来着色。这样，用于对像素进行着色的着色技术可以取决于所述像素所满足的阈值条件。
在其中获取热图像和低光图像两者的示例中，在对所述热图像进行着色之后，可以将经选择性着色的图像与低光图像融合以创建融合图像。融合图像可以包括经选择性着色的热图像和低光图像的重归一化合成。作为更具体的示例，如果IT表示热通道中的像素强度并且ILL表示低光通道中的像素强度，则融合图像像素强度可以是IF＝n(IT+ILL)，其中，n是归一化因子。可以使用任何合适的方法来融合所述图像。示例包括但不限于：IF＝n(IT/ILL)、IF＝n(IT+logILL)、IF＝n(log/IT+ILL)、IF＝n(ITlogIT+ILLlogILL)，等等。融合所述图像可以导致对经选择性着色的区域中的像素的色调、饱和度或值水平的调整。在其他示例中，替代地或者除了在将所述热图像与所述低光图像融合之前选择性地对所述热图像进行着色之外，可以根据融合图像产生直方图，并且然后可以至少基于所述直方图来选择性地对所述融合图像进行着色。
被热成像的一些场景可能包括能够超过热成像设备动态范围的温度范围。然而，动态范围压缩算法可能无意地降低对比度和/或导致明显的细节丢失。在其他场景中，温度接近的多个对象会导致窄的动态范围，并且因此，相对低的图像对比度。因此，在一些示例中，可以采用各种对比度增强算法来增加热图像的动态范围、保留细节、锐化图像、或者以其他方式增强对比度。在一些示例中，能够将局部区域对比度增强(LACE)算法应用于所述热图像。在一些示例中，直方图均衡算法能够被用作LACE算法。LACE技术可以被用于增强明暗过渡的外观，这可以使得用户能够更容易地看到图像中的细节和纹理。LACE算法可以在保持全局对比度水平的同时增强局部对比度。这样的算法可能有助于提高小尺度边缘的可见度并且锐化图像。
在热图像上使用LACE算法修改像素的强度水平。因此，在一些示例中，在经由对像素进行装仓(binning)而创建直方图之前应用LACE算法。在应用所述LACE算法之后，在一些示例中，所得到的直方图可能看起来更平坦，并且在累积像素计数与强度水平之间的关系可能比在应用LACE算法之前的图像中更线性。这样，将像素强度阈值设置在例如最大强度水平的5％可以选择大约5％的像素用于着色。
也可以使用其他图像处理技术，包括图像压缩、数据压缩、伽玛校正、平滑、低通/高通滤波以及两种或更多种技术的组合。可以对热图像、低光图像或者这两种图像执行图像处理。可以在创建所述直方图之前和/或之后处理热图像。
此外，在一些示例中，可以通过将分类器函数应用于图像来识别场景中的对象。这样的分类器函数可以被应用于以下中的一项或多项：热图像、低光图像、融合图像、和/或场景的经选择性着色的图像。在一些示例中，可以在创建所述直方图之前应用分类器函数，而在其他示例中，可以在创建直方图并且对所述直方图进行阈值化之后应用所述分类器。在这样的示例的任意示例中，可以基于来自分类器函数的输出来应用对图像的选择性着色。例如，如果对象的像素中的至少一些像素被确定为待着色，则经由分类器函数识别的对象可以被着色。作为另一示例，可以基于已经被分类而不考虑所述直方图来选择性地对经由分类器识别的对象进行着色。在其他示例中，如果对象的足够部分像素满足阈值条件并且要被着色，则所识别的对象被着色。此外，在一些示例中，可以在选择性着色之后应用分类器函数。在这样的示例中，来自分类器的输出可以被用于向图像添加额外的着色，诸如单独地突出可能不满足阈值强度但是由于所确定的分类而仍然感兴趣的对象。可以使用任何合适的分类器函数。示例包括机器学习功能，诸如一个或多个神经网络(例如，卷积神经网络)。
图4示出了例示说明用于至少基于热图像中的像素的直方图来选择性地对图像进行着色的示例性方法400的流程图。在402处，方法400包括接收热图像，所述热图像的每个像素包括强度水平。例如，可以从热成像子系统202接收所述热图像。在404处，方法400包括通过按强度水平对像素进行装仓来生成直方图。在一些示例中，在406处，所述方法包括在所述热图像上应用局部对比度增强算法，由此修改像素的强度水平，以及经由按经修改的强度水平对像素进行装仓来创建所述直方图。
在408处继续，方法400包括至少基于所述直方图来确定待着色的像素子集。阈值条件可以被用于确定所述像素子集，由此满足阈值条件的任何像素被着色。可以使用单个阈值条件或者多个阈值条件。在一些示例中，在410处，还基于被应用于所述直方图的用户选择的强度阈值，确定待着色的像素子集。
在412处，方法400包括对所述像素子集进行着色以获得经选择性着色的图像。在一些示例中，在414处，所述方法包括通过将颜色图应用到所述像素子集来对像素进行着色。在其他示例中，能够应用单个色调。在其他示例中，能够应用灰度增强。在又其他示例中，可以针对不同的阈值条件应用不同的着色技术(例如，不同的颜色图)。
在416处，方法400包括输出经选择性着色的图像。在一些示例中，所述方法包括将所述经选择性着色的图像输出到同一设备上的显示器，诸如显示子系统230。在其他示例中，所述方法可以包括经由通信系统232将所述经选择性着色的图像输出到远程计算系统。在一些示例中，在418处，输出所述经选择性着色的图像包括接收低光图像，融合所述低光图像和所述经选择性着色的图像以产生融合图像，以及输出所述融合图像。可以经由低光成像系统204接收所述低光图像。
在一些示例中，所述方法可以还包括，在420处，将分类器函数应用于所述热图像和所述经选择性着色的图像中的一个或多个以识别感兴趣对象。如上文所描述的，在各种示例中，可以在对所述热图像的选择性着色之前或之后应用所述分类器函数。此外，在一些示例中，在图像中的经分类的对象可以被选择性地着色，而与对象是否将基于与满足被应用到所述直方图的所述阈值条件的对象相对应的像素被分类无关。
如上文所讨论的，在一些示例中，选择性着色可以基于热图像和低光图像的计算组合。所述计算组合可以对应于差、和、积、商、布尔比较、或者任何其他合适的计算组合。在这样的示例中，图像的选择性着色可以基于图像中的特征之间的差异、并集和/或交集，如经由热图像和低光图像的计算组合所识别的。作为一个示例，将边缘查找算法应用于图像以定位低光图像和热图像中的每幅图像的边缘，并且基于在两幅图像中的边缘比较来执行选择性着色。在更具体的示例中，基于在两幅图像中的边缘之间的差异，图像被选择性地着色以突出显示出现在一幅图像中而不是另一幅图像中的边缘。例如，也能够基于图像中的边缘的并集或交集来应用选择性着色。可以使用任何合适的边缘寻找算法，包括但不限于Sobel滤波器。
图5示出了示例性热图像和低光图像的示意图，并且例示说明了基于在两幅图像中的边缘之间的差异来识别用于选择性着色的特征。示例性场景500是任意场景，包括对象、人以及以“X”符号形式绘制在墙上的纹理502。图像510是表示通过将边缘寻找算法应用于热图像而产生的场景500的示例性过滤热图像。图像510包括区域512a、512b、512c，每个区域对应于不同的温度(即，分别是窗户、人和背景)。在所示的示例中，已经将边缘寻找算法应用于图像510以定位与在不同温度区域之间的边界相对应的边缘514a、514b。
图像520是表示场景500的示例性过滤低光图像。图像520包括区域522a、522b、522c和522d，每个区域对应于不同的强度(即，分别为窗口、人、背景和纹理502)。在所描绘的示例中，边缘寻找算法也已经被应用于低光图像520以定位边缘524a、524b和524c。
图像510和图像520经由差异被计算地组合以产生差异图像530。在其他示例中，可以使用不同类型的计算组合。差异图像530示出了在过滤图像之间的差异。基于在图像510中的边缘514a和514b与在图像520中的边缘524a、524b、524c之间的差异，差异图像530能够与低光图像和热图像中的任一个或者这两者合成以突出在那些图像中的任一幅图像或者这两幅图像中差异，并且由此形成经选择性着色的图像。此外，在一些示例中，差异图像自身可以表示与低光图像和热图像分开的经选择性着色的图像。
图6示出了例示说明用于基于在热图像中的边缘与在低光图像中的边缘之间的差异来选择性地对图像进行着色的示例性方法600的流程图。方法600包括在602处接收场景的热图像。在604处，方法600包括接收所述场景的低光图像。在606处，所述方法包括计算地组合所述场景的热图像与所述场景的低光图像。如上文所提到的，能够以任何合适的方式来计算地组合所述图像，诸如通过计算在图像之间的差异、图像的总和、图像的乘积、或者其他合适的计算组合。此外，可以在处理一幅或者这两幅图像之后执行所述计算组合。作为更具体的示例，在607处，能够通过将一种或多种边缘寻找算法应用于所述热图像以定位所述热图像中的边缘并且将一种或多种边缘寻找算法应用于低光图像以定位所述低光图像中的边缘来计算地组合所述图像。在处理所述图像之后，可以计算地组合所述图像(例如，通过计算差、和、乘积、商、布尔比较或者其他合适的组合)。
在608处，所述方法包括：至少基于所述场景的热图像与所述场景的低光图像的计算组合来产生经选择性着色的图像。在一些示例中，选择性着色是基于在图像中的特征之间的差异来执行的，如在610处所示的(例如，如在607处确定的图像之间的差异)。在其他示例中，选择性着色是基于图像中的特征的并集或交集(例如，如在607处确定的图像中的边缘的并集或交集)来执行的，如在612处所指示的。在一些示例中，不同的边缘查找算法被应用于每幅图像(例如，不同的算法更适合用于每种数据类型)。在其他示例中，可以将相同的边缘寻找算法应用于每幅图像。
继续，在616处，方法600包括输出所述经选择性着色的图像。在一些示例中，在618处，所述热图像包括实时视频，所述低光图像包括实时视频，并且所述方法包括实时输出经选择性着色的视频帧。
在一些实施例中，在本文中所描述的方法和过程可以被绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库、和/或其他计算机程序产品。
图7示意性示出了能够执行上文所描述的方法和过程中的一个或多个的计算系统700的非限制性实施例。计算系统700以简化形式示出。计算系统700可以采用一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、和/或其他计算设备的形式。
计算系统700包括逻辑子系统702和存储子系统704。计算系统700可以可选地包括显示子系统706、输入子系统708、通信子系统710、和/或在图7中未示出的其他组件。
逻辑子系统702包括被配置为执行指令的一个或多个物理设备。例如，逻辑机可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或者其他逻辑构造的部分的指令。这样的指令可以被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或者以其他方式达到期望的结果。
所述逻辑机可以包括被配置为执行软件指令的一个或多个处理器。另外地或备选地，所述逻辑机可以包括被配置为执行硬件或固件指令的一个或多个硬件或者固件逻辑机。所述逻辑机的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。所述逻辑机的个体组件可选地可以被分布在两个或更多个单独的设备中，所述设备可以被远程地定位和/或被配置用于协调处理。所述逻辑机的各方面可以由以云计算配置而配置的可远程访问的联网计算设备虚拟化和执行。
存储子系统704包括被配置为保存能由所述逻辑机执行以实现在本文中所描述的方法和过程的指令的一个或多个物理设备。当这样的方法和过程被实施时，存储子系统704的状态可以被转换——例如，以保存不同的数据。
存储子系统704可以包括可移动和/或内置设备。存储子系统704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。存储子系统704可以包括易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。
将意识到，存储子系统704包括一个或多个物理设备。然而，备选地，在本文中所描述的指令的各方面可以通过在有限持续时间内不被物理设备持有的通信介质(例如，电磁信号、光信号等)传播。
逻辑子系统702和存储子系统704的方面可以被一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件例如可以包括现场可编程门阵列(FPGA)、特定于程序和应用的集成电路(PASIC/ASIC)、特定于程序和应用的标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)等。
当被包括时，显示子系统706可以被用于呈现由存储子系统704所持有的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于在本文中所描述的方法和过程改变了由存储机器所持有的数据，并且因此转换了存储机器的状态，显示子系统706的状态同样可以被转换以可视化地表示底层数据的变化。显示子系统706可以包括实际上利用任何类型技术的一个或多个显示设备。这样的显示设备可以与共享外壳中的逻辑子系统702和/或存储子系统704进行组合，或者这样的显示设备可以是外围显示设备。
当被包括时，输入子系统708可以包括一个或多个用户输入设备或者与其进行接口，诸如键盘、鼠标、触摸屏或者游戏控制器。在一些实施例中，所述输入子系统可以包括选定的自然用户输入(NUI)组件或者与其进行接口。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在机载或机外处理。示例性NUI组件可以包括用于语音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼动仪、加速度计和/或陀螺仪；以及用于评估大脑活动的电场传感组件。
当被包括时，通信子系统710可以被配置为将计算系统700与一个或多个其他计算设备通信地耦合。通信子系统710可以包括与一种或多种不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，所述通信子系统可以被配置用于经由无线电话网络或者有线或无线局域网或广域网进行通信。在一些实施例中，所述通信子系统可以允许计算系统700经由诸如因特网的网络向其他设备发送消息和/或从其他设备接收消息。
另一示例提供了一种计算系统，包括处理器和存储设备，所述存储设备保存能由所述处理器执行以用于以下操作的指令：接收通过热成像系统获取的热图像，所述热图像的每个像素包括强度水平；经由按强度水平对像素进行装仓来生成直方图；至少基于所述直方图，确定待着色的像素子集；对所述像素子集进行着色为产生经选择性着色的图像；并且输出所述经选择性着色的图像。在一些这样的示例中，所述计算系统可以另外地或备选地包括能执行以用于以下操作的指令：接收经由低光成像系统获取的低光图像；融合所述低光图像与所述经选择性着色的图像以产生融合图像；以及输出所述融合图像。在一些这样的示例中，所述计算系统可以另外地或备选地包括还能执行以用于以下操作的指令：在所述热图像上应用局部对比度增强算法以修改所述像素的强度水平；以及在修改所述像素的所述强度水平之后经由对所述像素进行装仓来创建所述直方图。在一些这样的示例中，所述计算系统可以另外地或替代地包括可执行以基于被应用于所述直方图的用户选择的强度阈值来确定待着色的像素子集的指令。在一些这样的示例中，其中，所述像素子集是第一像素子集，所述第一子集包括各自具有满足第一阈值条件的强度水平的像素，所述指令可以另外地或替代地还可执行以至少基于所述直方图来确定待着色的第二像素子集，所述第二子集包括各自具有满足第二阈值条件的强度水平。在一些这样的示例中，所述计算系统可以另外地或备选地包括可执行以将分类器函数应用于所述热图像和所述经选择性着色的图像中的一个或多个以识别感兴趣对象的指令。在一些这样的示例中，可执行以对所述像素子集进行着色的指令可以另外地或备选地包括可执行以将颜色图应用到所述像素子集的指令。在一些这样的示例中，所述计算系统可以另外地或替代地被配置为包括所述热成像系统的头戴式显示设备。在一些这样的示例中，所述头戴式显示设备可以另外地或备选地还包括低光成像系统。
另一示例提供了一种计算系统，包括处理器和存储设备，所述存储设备保存能由处理器执行以用于以下操作的指令：接收场景的热图像；接收所述场景的低光图像；计算地组合所述场景的热图像与所述场景的低光图像；至少基于计算地组合所述场景的热图像与所述场景的低光图像，产生经选择性着色的图像；并且输出所述经选择性着色的图像。在一些这样的示例中，计算地组合所述场景的热图像与所述场景的低光图像可以另外地或替代地包括计算在所述场景的低光图像中的边缘与在所述场景的热图像中的边缘之间的差异以基于所述差异来识别特征。在一些这样的示例中，计算地组合所述热图像与所述低光图像可以另外地或替代地包括确定所述热图像中的特征与所述低光图像中的特征的并集或交集。在一些这样的示例中，所述经选择性着色的图像可以另外地或替代地包括以下中的一项或多项：通过比较在所述热图像中的边缘与所述低光图像中的边缘而产生的差异图像、与所述热图像合成的差异图像、以及与所述低光图像合成的差异图像。在一些这样的示例中，所述计算系统可以另外地或备选地包括热成像子系统和低光成像子系统。在一些这样的示例中，所述计算系统可以另外地或替代地包括还可执行以用于以下操作的指令：经由基于像素强度水平对所述热图像的像素进行装仓来生成直方图；至少基于所述直方图，确定待着色的所述热图像的像素子集；并且也基于将阈值条件应用于所述直方图来产生所述经选择性着色的图像。在一些这样的示例中，所述阈值条件可以另外地或替代地由用户选择。
另一示例提供了一种方法，包括：接收热图像，所述热图像的每个像素包括强度水平；经由按强度水平对像素进行装仓来生成直方图；至少基于所述直方图，确定待着色的像素子集；对所述像素子集进行着色以获得经选择性着色的图像；输出所述经选择性着色的图像。在一些这样的示例中，所述方法可以另外地或替代地包括：接收低光图像；融合所述低光图像与所述经选择性着色的图像以产生融合图像；以及输出所述融合图像。在一些这样的示例中，所述方法可以另外地或替代地包括对所述热图像应用局部对比度增强算法，由此修改所述像素的强度水平；以及经由按经修改的强度水平对所述像素进行装仓来创建所述直方图。在一些这样的示例中，确定待着色的像素子集可以另外地或备选地还基于被应用于所述直方图的用户选择的强度阈值。
将理解，在本文中所描述的配置和/或方案在本质上是示例性的，并且这些具体实施例或示例不应当被认为是限制性的，因为许多变化是可能的。在本文中所描述的具体例程或方法可以表示任何数量的处理策略中的一种或多种。这样，所图示出和/或所描述的各种动作可以按照所图示出和/或所描述的顺序、以其他顺序、并行执行或者被省略。类似地，可以改变上文所描述的过程的顺序。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合，以及想在本文中所公开的其他特征、功能、行为和/或特性、以及其任何和所有等同物。

Claims (15)

1.一种计算系统，包括：
处理器；
存储设备，其保存能由所述处理器执行以用于以下操作的指令：
接收经由热成像系统获取的热图像，所述热图像中的每个像素包括强度水平；
经由按强度水平对像素进行装仓来生成直方图；
至少基于所述直方图，确定待着色的像素子集；
对所述像素子集进行着色以产生经选择性着色的图像；以及
输出所述经选择性着色的图像。
2.根据权利要求1所述的计算系统，其中，所述指令还能执行以用于：
接收经由低光成像系统获取的低光图像；
融合所述低光图像与所述经选择性着色的图像以产生融合图像；以及
输出所述融合图像。
3.根据权利要求1所述的计算系统，其中，所述指令能执行以用于以下操作：在所述热图像上应用局部对比度增强算法以修改所述像素的强度水平，以及在修改所述像素的所述强度水平之后经由对所述像素进行装仓来创建所述直方图。
4.根据权利要求1所述的计算系统，其中，所述指令能执行以基于被应用于所述直方图的用户选择的强度阈值来确定待着色的所述像素子集。
5.根据权利要求1所述的计算系统，其中，所述像素子集是第一像素子集，所述第一子集包括各自具有满足第一阈值条件的强度水平的像素，并且其中，所述指令还能执行以至少基于所述直方图来确定待着色的第二像素子集，所述第二子集包括各自具有满足第二阈值条件的强度水平的像素。
6.根据权利要求5所述的计算系统，其中，所述指令能执行以用于：通过应用第一颜色图对所述第一像素子集进行着色，以及通过应用第二颜色图对所述第二像素子集进行着色。
7.根据权利要求1所述的计算系统，其中，能执行以对所述像素子集进行着色的所述指令包括能执行以将颜色图应用于所述像素子集的指令。
8.根据权利要求1的计算系统，其中，所述计算系统被配置为包括所述热成像系统的头戴式显示设备。
9.根据权利要求8所述的计算系统，其中，所述头戴式显示设备还包括低光成像系统。
10.一种方法，包括：
接收场景的热图像；
接收所述场景的低光图像；
对所述热图像应用边缘寻找算法以定位所述热图像中的边缘；
将所述边缘寻找算法应用于所述低光图像以定位所述低光图像中的边缘；
至少基于所述热图像中的边缘与所述低光图像中的边缘之间的差异，产生经选择性着色的图像；以及
输出所述经选择性着色的图像。
11.根据权利要求10所述的方法，其中，应用所述边缘寻找算法包括将第一类型边缘寻找算法应用于所述热图像以及将第二类型边缘寻找算法应用于所述低光图像。
12.根据权利要求10所述的方法，其中，所述热图像包括实时视频，其中，所述低光图像包括实时视频，并且其中，输出所述经选择性着色的图像是实时完成的。
13.根据权利要求10所述的方法，其中，所述经选择性着色的图像包括以下中的一项或多项：通过比较所述热图像中的边缘与所述低光图像中的边缘而产生的差异图像、与所述热图像合成的差异图像、以及与所述低光图像合成的差异图像。
14.根据权利要求10所述的方法，还包括：
经由基于像素强度水平对所述热图像的像素进行装仓，生成直方图；
至少基于所述直方图，确定待着色的所述热图像的像素子集；以及
也基于将阈值条件应用于所述直方图，产生所述经选择性着色的图像。
15.根据权利要求14所述的方法，其中，所述阈值条件是用户选择的。
CN202180064394.5A 2020-09-21 2021-06-07 热成像的选择性着色 Pending CN116194958A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/027,485 US11375166B2 (en) 2020-09-21 2020-09-21 Selective colorization of thermal imaging
US17/027,485 2020-09-21
PCT/US2021/036065 WO2022060444A1 (en) 2020-09-21 2021-06-07 Selective colorization of thermal imaging

Publications (1)

Publication Number Publication Date
CN116194958A true CN116194958A (zh) 2023-05-30

Family

ID=76765197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064394.5A Pending CN116194958A (zh) 2020-09-21 2021-06-07 热成像的选择性着色

Country Status (4)

Country Link
US (1) US11375166B2 (zh)
EP (1) EP4214684A1 (zh)
CN (1) CN116194958A (zh)
WO (1) WO2022060444A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983883B2 (en) * 2020-12-15 2024-05-14 The Boeing Company Intensity-based image modification for computer vision
US20220198624A1 (en) * 2020-12-17 2022-06-23 The Boeing Company Intensity thresholding-based image modification for computer vision
CN114862705B (zh) * 2022-04-25 2022-11-25 陕西西影数码传媒科技有限责任公司 影像色彩修复的图像质量评价方法
US20230410262A1 (en) * 2022-06-20 2023-12-21 Seek Thermal, Inc. Noise reduction and feature enhancement for a thermal imaging camera

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321119B2 (en) 2004-08-12 2008-01-22 E.D. Bullard Company Method and system for thermal imaging having a selective temperature imaging mode
US7969462B2 (en) * 2005-03-30 2011-06-28 L-3 Communications Corporation Digitally enhanced night vision device
US9674458B2 (en) * 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US8836793B1 (en) 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
US8611586B1 (en) * 2010-11-19 2013-12-17 Exelis, Inc. Fast target extraction from thermal imagery
US9451225B2 (en) 2011-08-12 2016-09-20 Bae Systems Information And Electronic Systems Integration Inc. Color augmented local area contrast enhancement
US9747802B2 (en) * 2011-09-19 2017-08-29 Innovative Wireless Technologies, Inc. Collision avoidance system and method for an underground mine environment
US9990730B2 (en) * 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
EP3129954A4 (en) 2014-04-07 2017-10-18 BAE SYSTEMS Information and Electronic Systems Integration Inc. Contrast based image fusion
US9165210B1 (en) 2014-05-27 2015-10-20 Qualcomm Incorporated Systems and methods for localized contrast enhancement
US10547820B2 (en) 2014-09-12 2020-01-28 Seek Thermal, Inc. Selective color display of a thermal image
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN104992418B (zh) 2015-07-07 2018-11-20 华东理工大学 一种适用于热像视频彩色化的异常色校正方法
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN105338262B (zh) * 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
US10867371B2 (en) * 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
WO2019028067A1 (en) * 2017-08-04 2019-02-07 Seek Thermal, Inc. COLOR DISPLAY MODES FOR A THERMAL IMAGING SYSTEM

Also Published As

Publication number Publication date
EP4214684A1 (en) 2023-07-26
US20220094896A1 (en) 2022-03-24
US11375166B2 (en) 2022-06-28
WO2022060444A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
CN116194958A (zh) 热成像的选择性着色
US9118876B2 (en) Automatic skin tone calibration for camera images
US20190102872A1 (en) Glare Reduction in Captured Images
US10957024B2 (en) Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
Peng et al. Image haze removal using airlight white correction, local light filter, and aerial perspective prior
US20130121567A1 (en) Determining characteristics of multiple light sources in a digital image
CN106462986A (zh) 用于数字图像的颜色处理的方法和系统
US20120076421A1 (en) Methods and systems for estimating illumination source characteristics from a single image
CN110084204B (zh) 基于目标对象姿态的图像处理方法、装置和电子设备
KR102582643B1 (ko) 디스플레이 장치 및 이의 영상 처리 방법
US8824778B2 (en) Systems and methods for depth map generation
CN114841853A (zh) 图像处理方法、装置、设备及存储介质
Hertzmann The choices hidden in photography
CN112822413B (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
CN113222846A (zh) 图像处理方法和图像处理装置
CN116569091A (zh) 动态质量代理复数相机图像混合
Goudé et al. A perceptually coherent TMO for visualization of 360 HDR images on HMD
US11176728B2 (en) Adaptive depth-guided non-photorealistic rendering method and device
US11877088B2 (en) Contrast enhanced images composited with artificial colorization
US20230343025A1 (en) Method and device for light estimation
US20240046434A1 (en) Image processing method and image processing apparatus performing the same
JP2012181738A (ja) 画像加工装置、画像加工方法及びプログラム
JP6873342B2 (ja) 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法
WO2023009101A1 (en) Generation of machine learning predictions using multiple domain data sets
CN116320597A (zh) 直播图像帧处理方法、装置、设备、可读存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination