CN109804622B - 红外图像流的重新着色 - Google Patents

红外图像流的重新着色 Download PDF

Info

Publication number
CN109804622B
CN109804622B CN201780059803.6A CN201780059803A CN109804622B CN 109804622 B CN109804622 B CN 109804622B CN 201780059803 A CN201780059803 A CN 201780059803A CN 109804622 B CN109804622 B CN 109804622B
Authority
CN
China
Prior art keywords
rgb
texture
pixel intensities
color
image stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059803.6A
Other languages
English (en)
Other versions
CN109804622A (zh
Inventor
L-P·布雷特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109804622A publication Critical patent/CN109804622A/zh
Application granted granted Critical
Publication of CN109804622B publication Critical patent/CN109804622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

用于对红外图像流着色的方法和设备可以包括接收场景的红外(IR)图像流。该方法和设备可以包括检测IR图像流中的至少一个对象，并且从红绿蓝(RGB)知识库接收与IR图像流中所检测到的至少一个对象相对应的RGB纹理。该方法和设备可以包括通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理，以产生彩色IR图像流。该方法和设备可以包括传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。

Description

红外图像流的重新着色
背景技术
本申请的方面涉及计算机设备，并且更具体地涉及弱光条件下的图像和视频捕获。
利用红绿蓝(RGB)传感器在弱光条件下进行摄影、视频捕获和预览需要大量的模拟和数字增益来正确地渲染颜色，这具有利用噪声可视地破坏图像的副作用。在弱光条件下，可能无法取回足够的光子以在由图像捕获上下文(即，帧速率、场景移动和相机移动)限制的时间量内正确地渲染场景中的元素的颜色。用于尝试在弱光条件下补偿图像捕获的一个选项是：使用可见光谱(即，发光二极管(LED)或氙气闪光灯)中的附加光源来充分地照射场景，使得RGB传感器可以捕获足够的光以用正确的颜色渲染场景。使用附加的可见光源会损害以其原始状态捕获场景的意图。
用于尝试在弱光条件下补偿图像捕获的另一选项是：使用具有对应光源(即，在IR光谱中)的可见光谱之外(即，红外(IR))的相机传感器来照射和捕获场景而不改变可见光谱中的场景。在IR光谱中捕获的图像通常被渲染为单色(灰色调)图像而没有颜色，以使得难以标识和传达场景的信息，因为它们处于可见光谱中。
用于尝试在弱光条件下补偿图像捕获的又一选项包括：使用长曝光时间来捕获足够的光子以使用RGB传感器用颜色适当地渲染场景。在长曝光时间期间，场景中的对象可能移动或者相机本身可能移动，导致捕获中的模糊并且场景未被渲染，因为场景是在执行捕获意图的时刻。此外，捕获流可以强制遵守某些特性，这些特性使得不能使用长曝光时间，诸如帧速率(即，每秒30帧的视频记录)。
用于尝试在弱光条件下补偿图像捕获的另一选项包括：使用专用硬件来增强RGB相机系统的光敏度，诸如更大像素、更大光圈、更大传感器和/或不同颜色阵列，而不是传感器上的传统RGB拜耳(Bayer)滤波器(例如，红-绿-蓝-白)。专用RGB相机系统通常生产成本更高，并且在有足够光线的常规上下文中在图像质量方面具有折衷性(即，镜头光斑、鱼眼失真、浅视野、难处理的尺寸和更高的热设计功率)。
因此，本领域需要在弱光条件下改进图像和视频捕获。
发明内容
以下呈现本公开的一个或多个实现的简化概述，以便提供对这些实现的基本理解。本发明内容不是所有预期实现的广泛概览，并且既不旨在标识所有实现的关键或重要元素，也不旨在界定任何或所有实现的范围。其唯一目的是以简化的形式呈现本公开的一个或多个实现的一些概念，作为稍后呈现的更详细描述的序言。
一个示例实现涉及一种计算机设备。该计算机设备可以包括用以存储数据和指令的存储器、与存储器通信的处理器、以及与存储器和处理器通信的操作系统。操作系统可以可操作以接收场景的红外(IR)图像流，检测IR图像流中的至少一个对象，从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理，通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流，并且传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。
另一示例实现涉及一种用于对红外图像流着色的方法。该方法可以包括在计算机设备上执行的操作系统处接收场景的红外(IR)图像流。该方法还可以包括由操作系统检测IR图像流中的至少一个对象。该方法可以包括从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理。该方法还可以包括通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流。该方法还可以包括传送场景的彩色IR图像流，其中至少一个对象基于处理被着色显示。
另一示例实现涉及一种存储由计算机设备可执行的指令的计算机可读介质。该计算机可读介质可以包括用于引起计算机设备接收场景的红外(IR)图像流的至少一个指令。该计算机可读介质可以包括用于引起计算机设备检测IR图像流中的至少一个对象的至少一个指令。该计算机可读介质可以包括用于引起计算机从红绿蓝(RGB)知识库接收与在IR图像流中检测到的至少一个对象相对应的RGB纹理的至少一个指令。该计算机可读介质可以包括用于引起计算机通过将RGB纹理中的坐标与至少一个对象中的对应坐标相匹配来处理RGB纹理以产生彩色IR图像流的至少一个指令。该计算机可读介质可以包括用于引起计算机设备传送场景的彩色IR图像流的至少一个指令，其中至少一个对象基于处理被着色显示。
与本公开的实现有关的附加优点和新颖特征将部分地在下面的描述中被阐述，并且部分地对于检查了以下内容或通过其实践进行了学习的本领域技术人员将变得更加明显。
附图说明
在附图中：
图1是根据本公开的实现的示例设备的示意性框图。
图2是根据本公开的实现的用于IR图像流的重新着色的方法的流程图；
图3是根据本公开的实现的用于IR图像流的重新着色的示例方法的示意图；以及
图4是根据本公开的实现的示例设备的示意性框图。
具体实施方式
本公开提供了一种用于在其中在可见光谱中工作的传统RGB传感器由于照射不充分而不能正常工作的上下文中利用红外光谱的图像显示系统。通常，在弱光照情况下，传统的RGB传感器会增强其模拟增益，这通过散粒噪声破坏场景的图像和/或将曝光时间延长超出帧速率的强加限制以收集足够的光线。本公开使用红外相机和红外光源来充分照射场景，使得可以从流数据中识别出元素。通过使用由红外光源辅助的红外相机，用户将不会注意到照射场景的附加光，因为附加光在可见光谱之外。由于收集了足够的IR光，IR传感器不需要像其他解决方案那样提高模拟增益或延长曝光时间，从而产生清晰、干净且大部分为单色的IR图像。
另外，所公开的系统使用基于图像的标识方法来从IR图像流中理解场景。所公开的系统标识场景中的元素，并且将场景中的所标识的元素的IR强度(像素值)与这些元素的已知RGB纹理表示(像素值)混合。所标识的元素的已知RGB纹理表示可以从RGB图像的知识库来访问。通过将IR传感器和IR光源与场景中的所标识的元素的RGB方面(纹理)的知识库相结合，可以利用RGB颜色分量部分或完全地重新着色IR图像流，并且IR图像流产生在可见光谱之外的所标识的元素的RGB图像。这样，例如在RGB传感器不能很好地或根本不能操作的弱光条件下的图像获取的一些实现中，所公开的系统可操作以基于IR图像流来呈现场景的图像，其中所标识的元素基于已知的RGB纹理表示进行着色，使得所标识的元素被呈现为好像它们处于正常(即，日光)或光照良好的照射条件下。所公开的系统可以与任何照片、视频和/或消息收发应用一起使用，诸如但不限于Skype、Facebook、Google Hangouts和Snapchat。此外，所公开的系统可以在弱光情况和/或黑暗情况下与任何照片或视频捕获一起使用，诸如但不限于夜间视频通信、安全监控和生产线监督。
现在参考图1，用于生成场景106的彩色IR图像流的示例系统100可以包括计算机设备102，计算机设备102经由相机系统10捕获场景106并且产生一个或多个彩色红外(IR)图像帧38，IR图像帧38对场景106内的所标识的元素着色。相机系统10可以捕获场景106的视频和/或静止图像，并且可以在显示器36上呈现所捕获的场景106的一个或多个彩色红外(IR)图像帧38。显示器36可以位于计算机设备102上，和/或位于通过有线和/或无线网络104与通信设备102进行通信(即，经由数据或视频流，或者经由一个或多个消息)的一个或多个其他设备108上。
根据本公开的计算机设备102可以包括操作系统110，操作系统110由计算机设备102的处理器40和/或存储器39执行，并且包括用于获取IR图像信息的相机系统10和用于检测或着色场景106的IR图像内的对象25的建模系统22。存储器39可以被配置用于存储定义操作系统110和/或与操作系统110相关联的数据和/或计算机可执行指令，并且处理器40可以执行操作系统110。存储器39的示例可以包括但不限于由计算机可用的存储器类型，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁带、磁盘、光盘、易失性存储器、非易失性存储器及其任何组合。处理器40的示例可以包括但不限于如本文中所描述的专门编程的任何处理器，包括控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、或者其他可编程逻辑或状态机。计算机设备102可以包括任何移动或固定计算机设备，其可以被连接到网络104。计算机设备102可以是例如计算机设备，诸如台式或膝上型或平板计算机、蜂窝电话、游戏设备、音乐设备、电视、导航系统、相机、个人数字助理(PDA)或手持设备、或者具有与一个或多个其他设备的有线和/或无线连接能力的任何其他计算机设备。
相机系统10可以包括IR传感器12、IR光源14和光水平(level)传感器16。IR传感器12可以捕获IR光谱中的场景106。IR传感器12包括能够检测IR光谱中的光的任何类型的传感器。IR光源14包括能够在IR光谱中生成光的任何类型的照射设备。具有IR传感器12的示例相机系统10可以包括但不限于数字相机、视频相机、便携式相机、安全系统、游戏设备、以及蜂窝电话、台式机和平板电脑上的相机。另外，相机系统10可以可选地包括被配置为被着色来捕获场景106的RGB传感器18。RGB传感器18包括能够检测可见光谱中的光的任何类型的传感器。这样，在一些情况下，相机系统10可以包括IR传感器12和RGB传感器18两者。
可选地，相机系统10可以包括用于使用IR传感器12激活图像捕获的光水平传感器16。例如，在一个示例实现中，光水平传感器16可以检测场景106中的光水平并且确定场景106是否具有用于使用RGB传感器18进行图像捕获的足够的光。例如，光水平传感器16可以确定光水平是否低于阈值。阈值可以是弱光水平，例如，其中RGB传感器18不能捕获场景106和/或RGB传感器18可能难以用正确的颜色捕获场景106。在弱光条件下，由RGB传感器18捕获的图像可能太暗而不能使用，因为没有足够的光被收集以用正确的颜色渲染场景。例如，当计算机设备102的用户在弱光情况下(例如，在夜晚和/或在弱光的房间中)执行视频会议应用时，在视频会议期间显示的视频可能是颗粒状的和/或视频中的元素可能难以关看。此外，当相机系统10在弱光情况和/或漆黑条件下(例如，安全相机、生产线、视频通信、夜间照片等)捕获视频或照片时，图像可能太暗而无法使用，因为没有足够的光被收集以用于正确地捕获场景106。
当光水平传感器16确定场景106中的光水平低于阈值时，相机系统10可以使用IR传感器12来捕获场景106。另外，相机系统10可以使用IR光源14以使用在可见光谱之外的IR光来照射场景106，以提供附加的光来辅助IR传感器12捕获场景106。例如，IR光源14可以照射场景106中靠近IR光源14和/或IR传感器12的对象。通过使用在可见光谱之外的IR光来照射场景106，可以照射场景106而不影响用户的可见感知。因为IR光源14向场景106提供附加的光，所以IR传感器12可以生成清晰且干净的IR图像流20，即，场景106的定义图像20的一个或多个帧中的一组或多组图像数据。例如，IR图像流20可以是单通道灰度图像。
相机系统10可以向建模系统22传送IR图像流20。建模系统22可以包括被配置为标识IR图像流20中的一个或多个对象25的对象检测器24。对象25可以包括场景106中的移动和静止元素，诸如但不限于人、动物、地理特征和/或标志、书籍、家具、装饰品、植物等。对象检测器24可以使用基于图像的标识方法来标识IR图像流20中的一个或多个对象25。例如但不限于此，对象检测器24可以使用面部识别系统来检测IR图像流20中的一个或多个面部。在一些实现中，对象检测器24可以向定向组件30传送所标识的对象25。
定向组件30可以估计IR图像流20中的对象25的定向和/或姿态。例如，对象25可以是场景106中的动画元素(例如，在场景106周围说话或移动的个体)，和/或对象25可以是固定元素。定向组件30可以使用各种处理来推断对象25的定向。例如，定向组件30可以应用活动外观模型(AAM)或决策森林来估计对象25的三维(3D)定向和比例。定向组件30可以向RGB纹理映射器26传送对象25的所推断的定向。
RGB纹理映射器26可以标识针对在IR图像流20中所标识的对象25的对应RGB纹理34。RGB纹理映射器26可以从被通信地耦合到计算机设备102的RGB知识库32中取回RGB纹理34。RGB纹理34可以包括具有颜色值的一个或多个像素。例如，RGB纹理34可以包括对象25的图像。RGB知识库32可以是从各种资源收集的图像的数据库。例如，计算机设备102或任何其他设备108的用户可以向RGB知识库32添加图像。另外，RGB知识库32可以是图像的自学习知识库，其中图像包括从在计算机设备102上执行的一个或多个应用(即，照片、视频等)捕获的一个或多个图像。例如，RGB知识库32可以接收与在计算机设备102上认证用户帐户有关的图像。如此，当图像被输入到RGB知识库32中时，RGB知识库32可以将来自与图像一起被接收的附加信息的标识与图像相关联，和/或将基于用户输入的标识与图像相关联。当RGB知识库32接收到更多图像时，可以训练和/或细化RGB知识库32。RGB知识库32可以被存储在计算机设备102上，和/或可以被存储在计算机设备102经由网络104可访问的其他设备上，诸如服务器。
在一种实现中，RGB纹理映射器26可以向RGB知识库32传送对象25的标识。RGB知识库32可以访问与所接收的标识相对应的RGB纹理34，并且将RGB纹理34提供给RGB纹理映射器26。在另一实现中，RGB纹理映射器26可以向RGB知识库32传送对象25的图像。RGB知识库32可以访问与图像相对应的RGB纹理34，并且将RGB纹理34提供给RGB纹理映射器26。
另外，RGB纹理映射器26可以将RGB纹理34拟合到所标识的IR对象25上。在一些实现中，例如基于IR对象25的所估计的姿态，RGB纹理映射器26可以配准RGB纹理34中的坐标与对象25的对应坐标以将RGB纹理34叠加在对象25之上。例如，RGB纹理映射器26可以标识对象25中的面部标志坐标并且将RGB纹理34匹配和/或成形到对象25上，使得对象25在对象25的IR图像上包括RGB纹理34。
此外，在一些可选实现中，在将RGB纹理34映射到对象25之后，混合组件28可以基于场景106的IR照射条件将RGB纹理34的颜色强度与对象25的IR颜色图像的颜色强度混合，以提供对象25的颜色表示。混合组件28可以通过预处理RGB纹理34来标准化RGB纹理34，以在RGB纹理34中的特征上提供均匀的颜色分布。例如，如果RGB纹理34是在阳光下拍摄的图像，则在图像中捕获到的对象上可能存在阴影，该阴影可能需要被混合以用于均匀地照射的RGB纹理34。另外，混合组件28可以使用IR光源14来测量从场景106反射的光的强度，其中强度可以基于IR光源14的位置根据对象上的阴影而变化。
混合组件28可以从IR传感器12接收具有从场景106反射的光的估计的响应，例如，由IR光源14提供的场景106的照射。混合组件28可以在场景上相对于对象25到IR传感器的位置来测量IR光的强度，以估计针对对象25的光强度。另外，混合组件28可以将RGB信息从RGB纹理34转换到YUV颜色空间并且相应地映射Y信道与(单色)IR馈送的像素强度。例如，RGB纹理34的Y通道(字节范围0-256)可以通过IR中的标准化像素强度(从0到1的浮点范围)来调节，使得参考纹理的Y通道*IR像素强度＝针对匹配像素的重新着色的帧中的最终Y值。
RGB纹理映射器26和/或混合组件28可以基于RGB纹理34的颜色强度与对象25的IR颜色图像的映射和/或混合来生成彩色图像帧和/或彩色图像流38。彩色图像帧38可以显示场景106的彩色图像和/或视频，其中所标识的对象25被着色，而场景106中的剩余项目是灰色的。
建模系统22可以向显示器36传送彩色图像帧38。显示器36可以在计算机设备102上。另外，显示器36可以在经由网络104与计算机设备102通信的一个或多个设备108上。RGB纹理34与IR图像流20中的对象25的配准和混合可以实时或接近实时地发生。这样，当对象25在场景106中移动时，RGB纹理34的配准和混合可以在对象25的位置改变时发生，并且彩色图像帧38可以实时或接近实时地被呈现在显示器36上。
现在参考图2和图3，用于对图像数据的IR图像流中的所标识的一个或多个对象进行着色的示例方法200可以由计算机设备102(图1)上的操作系统110(图1)例如在用于场景106(图1)的图像或视频捕获的弱光条件下执行。
可选地(如虚线所示)，在202和206处，方法200可以包括检测针对场景的光水平并且确定光水平是否低于阈值。光水平传感器16(图1)可以检测针对场景106的光水平并且确定光水平是否低于阈值。阈值可以包括例如RGB传感器18(图1)不能捕获场景106和/或RGB传感器18可能难以捕获场景106的光水平。当光水平低于阈值时，所得到的图像或视频可能太暗而无法标识场景106中存在的对象。
在208处，方法200可以包括接收IR图像。例如，建模系统22(图1)可以从IR传感器12(图1)接收IR图像流20(图1)，在一些可选实现中，IR传感器12可以在光水平低于阈值时做出响应。IR图像流20可以表示由IR光源14照射的场景106，因为IR传感器12捕获从场景106反射出的并且捕获在定义场景106的IR图像流20的一组或多组数据中的IR光。例如，如图3所图示，建模系统22(图1)可以接收IR图像流20，IR图像流20包括表示场景106中的多个对象44、42、46的数据和/或像素强度。另外，IR图像流20可以包括陀螺仪数据以根据需要在使用图像来操作对象的检测之前帮助重新定向图像。IR图像流20还可以包括关于相机状态的元数据，诸如曝光时间、ISO速度、IR光源强度、焦点位置(固定焦距相机可以是优选的)、以及可以被用以利用给定图像来推断检测的任何其他相机驱动器元数据(即，一些驱动器可以沿着图像发送直方图，甚至是粗略的感兴趣区域(ROI)以定位面部或其他对象)。在实现规范中，建模系统22可以响应于用户输入而接收IR图像流20。例如，计算机设备102的用户可以选择IR传感器12来捕获场景106，而不管光水平是否低于阈值。
在210处，方法200可以包括标识IR图像流210中的对象。例如，在一个非限制性情况下，对象检测器24(图1)可以使用图像处理方法来标识IR图像流中的面部42。例如，对象检测器可以使用IR传感器12来检测IR图像流20中的对象44、42和46(图3)。对象检测器24可以标识一个或多个对象，例如，特定个体的检测到的面部42，并且提取面部42的平均纹理。在该上述示例中，对象检测器24可以通过使用例如一组照片中的面部标识来提取面部42的平均纹理以取回与特定个人相关联的面部。对象检测器24还可以使用面部标志描述符来对准该组面部，并且计算检测到的面部42的平均方面。
在212处，可选地(如虚线所示)，方法200可以包括估计所标识的对象212的定向。定向组件30可以在所标识的对象上使用标志来估计对象的姿态、以及对象的比例和三维定向。例如，定向组件30可以检测面部42上的面部标志43a-43g(图3)。检测到的面部标志43a-43g可以被用来生成检测到的面部42的估计位置48。例如，定向组件30可以使用主动外观模型(AAM)、决策森林算法或深度神经网络(DNN)来推断面部标志43a-43g的比例和定向。
在214处，方法200可以包括接收检测到的对象214的RGB纹理。例如，RGB纹理映射器26可以利用RGB图像的数据存储库来访问RGB知识库32。RGB知识库32可以由计算机设备102的用户(图1)利用来自在计算机设备102上执行的应用或其他信息源(诸如其他设备108)的图像来填充。例如，RGB知识库32可以包括在针对用户帐户的认证过程中接收到的图像。RGB知识库32可以包括图像以及图像的相关联的标识。例如，RGB纹理映射器26可以访问RGB知识库32以获取检测到的面部42的RGB纹理34。在该有限示例中，RGB纹理34可以是检测到的面部42的图像。RGB纹理映射器26可以传送与检测到的面部42的图像相关联的标识符，并且可以从RGB知识库32接收与标识符相对应的RGB纹理34。在另一示例中，RGB纹理映射器26可以向RGB知识库32传送检测到的面部42的图像，并且可以接收与检测到的面部42的图像相匹配的RGB纹理34。
在216处，方法200可以包括处理检测到的对象的RGB纹理和检测到的对象的IR图像。RGB纹理映射器26可以将RGB纹理34中的坐标与至少一个检测到的面部42中的对应坐标相匹配，以产生彩色IR图像帧和/或彩色IR图像流38。例如，RGB纹理映射器26可以得到检测到的面部42的所估计的方向，并且将来自RGB纹理34的坐标60、62、64、66和68与来自检测到的面部42的所估计的定向48的相应坐标50、52、54、56和58相匹配。因此，RGB纹理映射器图26可以使用所标识的坐标通过将RGB纹理34覆盖在RGB图像48上来配准RGB纹理34。
在218处，可选地(如虚线所示)，方法200可以包括将RGB纹理的RGB像素的像素强度与对象的IR像素的像素强度混合。混合组件28(图1)可以通过混合来自IR图像流48中的面部区域的像素值和来自RGB纹理34的对应RGB像素值来组成彩色图像帧38(图3的70)。混合组件28可以通过预处理RGB纹理34来标准化RGB纹理34，以在RGB纹理34中的特征上提供均匀的颜色分布。例如，如果RGB纹理34是在强光下拍摄的图像，则在图像中捕获的个体上可能存在阴影，该阴影可能需要被混合以用于均匀地照射的RGB纹理34。另外，混合组件28可以使用IR光源14来测量场景106上的光强度。混合组件28可以从IR传感器12接收具有由IR光源14提供的照射的估计的响应，即，由IR传感器12捕获的反射IR光。混合组件28可以通过关于对象48相对于IR传感器12的位置测量IR光的强度来估计场景上的IR光的强度。在混合像素强度时，混合组件28可以使用照射的估计。在混合像素值时，混合组件28还可以使用例如使用面部标志和面部姿态提取的面部48的平均纹理来生成彩色图像帧38。例如，混合组件28可以将来自RGB纹理34的RGB信息转换到YUV空间，并且相应地映射Y通道与(单色)IR馈送的像素强度。例如，RGB纹理34的Y通道(字节范围0-256)可以通过IR中的标准化像素强度(从0到1的浮点范围)来调节，使得参考纹理的Y通道*IR像素强度＝针对匹配像素的重新着色的帧中的最终Y值。
在220处，方法200可以包括显示彩色IR图像。在示例中，操作系统110和/或建模系统22可以生成彩色图像帧38，例如，基于RGB纹理映射器26将RGB纹理34与检测到的对象相匹配的操作，和/或基于混合组件28使用所测量的IR强度来遮蔽检测到的对象的操作。例如，彩色图像帧38可以被呈现在显示器36上(图1)。彩色图像帧38可以包括检测到的面部42的彩色图像72，其中对象44和46显示为灰色单色图像。因为对象检测器24没有标识场景106中的对象44和46，所以对象44和46不被着色并且保持灰色。显示器36可以在计算机设备102上和/或在与计算机设备102通信的不同设备上。例如，如果计算机设备102的用户与设备的另一用户正在进行视频会议，则彩色图像帧38可以被显示在计算机设备102的显示器36和另一设备的显示器36两者上。
现在参考图4，图示了根据一种实现的示例计算机设备102，包括与图1相比的附加组件细节。在一个示例中，计算机设备102可以包括用于执行与本文所描述的一个或多个组件和功能相关联的处理功能的处理器40。处理器40可以包括单组或多组处理器或多核处理器。此外，处理器40可以被实现为集成处理系统和/或分布式处理系统。
计算机设备102还可以包括存储器39，诸如用于存储由处理器40执行的应用的本地版本。存储器39可以包括由计算机可用的存储器类型，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁带、磁盘、光盘、易失性存储器、非易失性存储器及其任何组合。附加地，处理器40和存储器39可以包括和执行操作系统110(图1)。
另外，计算机设备102可以包括通信组件74，通信组件74提供用于利用如本文所描述的硬件、软件和服务来建立和维持与一方或多方的通信。通信组件74可以支持计算机设备102上的组件之间的通信、以及计算机设备102与外部设备(诸如位于通信网络上的设备和/或被串行或本地连接到计算机设备102的设备)之间的通信。例如，通信组件74可以包括一个或多个总线，并且还可以包括与分别可操作以用于与外部设备接口的发射器和接收器相关联的传送链组件和接收链组件。
附加地，计算机设备102可以包括数据存储库41，数据存储库41可以是硬件和/或软件的任何合适的组合，数据存储库41提供结合本文中描述的实现来使用的信息、数据库和程序的大容量存储。例如，数据存储器76可以是用于相机系统10(图1)、RGB知识库32(图1)和/或建模系统22(图1)的数据存储库。
计算机设备102还可以包括可操作以从计算机设备102的用户接收输入并且还可操作以生成输出以便呈现给用户的用户接口组件43。用户接口组件43可以包括一个或多个输入设备，包括但不限于键盘、数字键盘、鼠标、触敏显示器、导航键、功能键、麦克风、语音识别组件、能够从用户接收输入的任何其他机制、或其任何组合。另外，用户接口组件43可以包括一个或多个输出设备，包括但不限于显示器、扬声器、触觉反馈机构、打印机、能够向用户呈现输出的任何其他机构、或其任何组合。
计算机设备102可以附加地包括被配置为捕获场景106(图1)的图像和/或视频的相机系统10(图1)。另外，计算机设备102可以包括被配置为对IR图像重新着色的建模系统22。在一种实现中，用户接口组件43可以传送和/或接收与相机系统10和/或建模系统22的操作相对应的消息。另外，处理器40执行相机系统10和/或建模系统22，并且存储器39或数据存储库76可以存储它们。
如在本申请中所使用的，术语“组件”、“系统”等旨在包括计算机相关实体，诸如但不限于硬件、固件、硬件和软件的组合、软件、或执行软件。例如，组件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明，在计算机设备上运行的应用和计算机设备都可以是组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以位于一个计算机上和/或分布在两个或更多个计算机之间。另外，这些组件可以从其上存储有各种数据结构的各种计算机可读介质来执行。这些组件可以通过本地和/或远程过程进行通信，诸如根据具有一个或多个数据分组的信号，诸如来自与本地系统、分布式系统中的另一组件交互和/或跨越诸如因特网等网络通过信号的方式与其他系统交互的一个组件的数据。
此外，本文中结合设备(例如，计算机设备102)描述了各种实现，该设备可以是有线设备或无线设备。无线设备可以是蜂窝电话、卫星电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站、个人数字助理(PDA)、具有无线连接能力的手持式设备、计算机设备、或被连接到无线调制解调器的其他处理设备。
此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。即，除非另有说明或从上下文中清楚，否则短语“X使用A或B”是旨在表示任何自然的包含性排列。即，通过以下任何一种实例满足短语“X使用A或B”：X使用A；X使用B；或者X使用A和B两者。另外，本申请和所附权利要求中使用的冠词“一个(a)”和“一个(an)”通常应当被理解为表示“一个或多个”，除非另有说明或从上下文中很清楚涉及单数形式。
各种实现或特征将在可以包括多个设备、组件、模块等的系统方面来呈现。应当理解和了解，各种系统可以包括附加的设备、组件、模块等，和/或可以并非包括结合附图所讨论的所有设备、组件、模块等。也可以使用这些方法的组合。
结合本文中公开的实施例而描述的方法的各种说明性逻辑、逻辑块和动作可以使用被设计为执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立栅极或晶体管逻辑、分立硬件组件或其任何组合中的特别编程的一者来实施或执行。通用处理器可以是微处理器，但是在备选方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算机设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其他这样的配置。附加地，至少一个处理器可以包括可操作以执行上述步骤和/或动作中的一个或多个的一个或多个组件。
另外，结合本文中公开的实现而描述的方法或算法的步骤和/或动作可以直接用硬件、由处理器执行的软件模块或两者的组合来实施。软件模块可以驻留在RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除磁盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质可以被耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。在备选方案中，存储介质可以是处理器的组成部分。另外，在一些实现中，处理器和存储介质可以驻留在ASIC中。附加地，ASIC可以驻留在用户终端中。在备选方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。附加地，在一些实现中，方法或算法的步骤和/或动作可以作为一个或任何组合或一组代码和/或指令驻留在可以并入计算机程序产品中的机器可读介质和/或计算机可读介质上。
在一个或多个实现中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件实现，则这些功能可以作为一个或多个指令或代码在计算机可读介质上被存储或传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促进将计算机程序从一个地方传递到另一地方的任何介质。存储介质可以是可以由计算机访问的任何可用介质。通过示例而非限制，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者可以被用来以指令或数据结构的形式携带或存储期望的程序代码并且可以由计算机访问的任何其他介质。而且，任何连接都可以被称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或者诸如红外、无线电和微波等无线技术从网站、服务器或其他远程源传送软件，则同轴电缆、光纤电缆、双绞线、DSL或者诸如红外、无线电和微波等无线技术可以被包括在介质的定义中。本文中使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通常用激光光学地再现数据。上述的组合也应当被包括在计算机可读介质的范围内。
虽然已经结合其示例描述了本公开的实现，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下对上述实现进行变化和修改。通过考虑说明书或根据本文中公开的示例的实践，其他实现对于本领域技术人员而言是很清楚的。

Claims (17)

1.一种计算机设备，包括：
存储器，用以存储数据和指令；
处理器，与所述存储器通信；以及
操作系统，与所述存储器和所述处理器通信，其中所述操作系统可操作以：
接收场景的红外(IR)图像流，所述场景由IR光源照射，所述IR图像流包括IR像素强度；
检测所述IR图像流中的至少一个对象以及所述IR像素强度中的多个IR像素强度；
从红绿蓝(RGB)知识库接收与在所述IR图像流中所检测到的所述至少一个对象相对应的RGB纹理，所述RGB纹理包括RGB像素强度；
通过将所述RGB纹理中的坐标与所述至少一个对象中的对应坐标相匹配来处理所述RGB纹理，以通过混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度来产生彩色IR图像流，所述混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度包括：使用由所述IR光源提供的IR光的估计以确定针对所述彩色IR图像流中的所述RGB纹理的最终颜色值；以及
传送所述场景的所述彩色IR图像流，其中所述至少一个对象基于处理所述RGB纹理而被着色显示。
2.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以：
检测所述场景中的光水平；以及
响应于所述光水平低于阈值水平，接收所述场景的所述IR图像流。
3.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以通过处理所述至少一个对象中的所标识的标志来估计所述至少一个对象的方位，并且将所述RGB纹理映射到所述至少一个对象的所估计的所述方位。
4.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以向所述RGB知识库传送所述至少一个对象的标识符，并且基于所述标识符接收与所述至少一个对象相对应的所述RGB纹理。
5.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以预处理所述RGB纹理以在所述RGB纹理上产生均匀的颜色分布，并且基于经预处理的所述RGB纹理将来自所述RGB纹理的所述RGB像素强度与所述至少一个对象的所述IR像素强度中的所述多个IR像素强度相混合。
6.根据权利要求1所述的计算机设备，其中所述RGB知识库从在所述计算机设备上执行的一个或多个应用接收图像。
7.根据权利要求1所述的计算机设备，其中所述彩色IR图像流以灰色单色来显示未标识的对象。
8.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以将从所述RGB纹理转换的YUV颜色通道与所述至少一个对象的所述IR像素强度相乘，以确定针对所述彩色IR图像流中的所述RGB纹理的所述最终颜色值。
9.根据权利要求1所述的计算机设备，其中所述操作系统还可操作以通过预处理所述RGB纹理以提供均匀地照亮的RGB纹理来标准化所述RGB纹理，并且响应于将所述RGB像素强度和所述IR像素强度中的一个IR像素强度相混合，而使用经标准化的所述RGB纹理。
10.一种用于对红外图像流着色的方法，包括：
在计算机设备上执行的操作系统处接收场景的红外(IR)图像流，所述场景由IR光源照射，所述IR图像流包括IR像素强度；
由所述操作系统检测所述IR图像流中的至少一个对象以及所述IR像素强度中的多个IR像素强度；
从红绿蓝(RGB)知识库接收与在所述IR图像流中所检测到的所述至少一个对象相对应的RGB纹理，所述RGB纹理包括RGB像素强度；
通过将所述RGB纹理中的坐标与所述至少一个对象中的对应坐标相匹配来处理所述RGB纹理，以通过混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度来产生彩色IR图像流，所述混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度包括：使用由所述IR光源提供的IR光的估计以确定针对所述彩色IR图像流中的所述RGB纹理的最终颜色值；以及
传送所述场景的所述彩色IR图像流，其中所述至少一个对象基于处理所述RGB纹理而被着色显示。
11.根据权利要求10所述的方法，还包括：
检测所述场景中的光水平；以及
响应于所述光水平低于阈值水平，接收所述场景的所述IR图像流。
12.根据权利要求10所述的方法，还包括：
通过处理所述至少一个对象中的所标识的标志来估计所述至少一个对象的方位，以及
其中映射所述RGB纹理还包括将所述RGB纹理映射到所述至少一个对象的所估计的所述方位。
13.根据权利要求10所述的方法，还包括：
向所述RGB知识库传送所述至少一个对象的标识符，并且其中与所述至少一个对象相对应的所述RGB纹理基于所述标识符而被接收。
14.根据权利要求10所述的方法，还包括预处理所述RGB纹理以在所述RGB纹理上产生均匀的颜色分布，并且其中基于经预处理的所述RGB纹理，将来自所述RGB纹理的所述RGB像素强度与所述至少一个对象的所述IR像素强度中的所述多个IR像素强度相混合。
15.根据权利要求10所述的方法，其中所述RGB知识库从在所述计算机设备上执行的一个或多个应用接收图像。
16.根据权利要求10所述的方法，其中所述彩色IR图像流以灰色单色来显示未标识的对象。
17.一种存储由计算机设备可执行的指令的计算机可读介质，包括：
用于使所述计算机设备接收场景的红外(IR)图像流的至少一个指令，所述场景由IR光源照射，所述IR图像流包括IR像素强度；
用于使所述计算机设备检测所述IR图像流中的至少一个对象以及所述IR像素强度中的多个IR像素强度的至少一个指令；
用于使所述计算机设备从红绿蓝(RGB)知识库接收与在所述IR图像流中所检测到的所述至少一个对象相对应的RGB纹理的至少一个指令，所述RGB纹理包括RGB像素强度；
用于使所述计算机设备通过将所述RGB纹理中的坐标与所述至少一个对象中的对应坐标相匹配来处理所述RGB纹理，以通过混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度来产生彩色IR图像流的至少一个指令，所述混合来自所述RGB纹理的所述RGB像素强度和所述至少一个对象的所述IR像素强度中的所述多个IR像素强度包括：使用由所述IR光源提供的IR光的估计确定针对所述彩色IR图像流中的所述RGB纹理的最终颜色值；以及
用于使所述计算机设备传送所述场景的所述彩色IR图像流的至少一个指令，其中所述至少一个对象基于处理所述RGB纹理而被着色显示。
CN201780059803.6A 2016-09-30 2017-09-25 红外图像流的重新着色 Active CN109804622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,993 US10701244B2 (en) 2016-09-30 2016-09-30 Recolorization of infrared image streams
US15/282,993 2016-09-30
PCT/US2017/053148 WO2018063951A1 (en) 2016-09-30 2017-09-25 Recolorization of infrared image streams

Publications (2)

Publication Number Publication Date
CN109804622A CN109804622A (zh) 2019-05-24
CN109804622B true CN109804622B (zh) 2021-03-09

Family

ID=60037717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059803.6A Active CN109804622B (zh) 2016-09-30 2017-09-25 红外图像流的重新着色

Country Status (4)

Country Link
US (1) US10701244B2 (zh)
EP (1) EP3520390B1 (zh)
CN (1) CN109804622B (zh)
WO (1) WO2018063951A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
EP3553695A1 (en) * 2018-04-13 2019-10-16 Alpine Electronics, Inc. Method and system for displaying image data from at least one night vision camera of a vehicle
CN110555351B (zh) * 2018-06-04 2022-02-08 瑞昱半导体股份有限公司 前景影像的提取方法与电子装置
CN110830670A (zh) * 2018-08-10 2020-02-21 株式会社理光 读取装置、图像形成装置、真伪判定系统及读取方法
WO2020112442A1 (en) * 2018-11-27 2020-06-04 Google Llc Methods and systems for colorizing infrared images
CN112912896A (zh) * 2018-12-14 2021-06-04 苹果公司 机器学习辅助的图像预测
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
CN112651347B (zh) * 2020-12-29 2022-07-05 嘉兴恒创电力集团有限公司博创物资分公司 一种基于双光谱成像的吸烟行为样本生成的方法与系统
CN112712481B (zh) * 2021-01-11 2022-09-02 中国科学技术大学 一种针对弱光图像增强的结构-纹理感知方法
US11495004B1 (en) * 2021-06-15 2022-11-08 Meta Platforms Technologies, Llc Systems and methods for lighting subjects for artificial reality scenes
US20230097869A1 (en) * 2021-09-28 2023-03-30 Samsung Electronics Co., Ltd. Method and apparatus for enhancing texture details of images
WO2024018449A1 (en) * 2022-07-18 2024-01-25 Elbit Systems Ltd. A system and method for generating a colored image of a scene

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN105706143A (zh) * 2013-04-15 2016-06-22 微软技术许可有限责任公司 混合红外和色彩分量数据点云

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JP4401590B2 (ja) * 2000-06-19 2010-01-20 キヤノン株式会社 画像データ処理方法及び画像データ処理装置
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
JP4075039B2 (ja) * 2002-02-19 2008-04-16 株式会社セガ テクスチャマッピング方法、プログラム及び装置
US6906725B2 (en) * 2002-02-22 2005-06-14 L-3 Communications Corporation Apparatus and method for simulating sensor imagery
US9900478B2 (en) * 2003-09-04 2018-02-20 Flir Systems, Inc. Device attachment with infrared imaging sensor
WO2006060746A2 (en) 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
US9451183B2 (en) * 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
KR101048768B1 (ko) * 2009-06-10 2011-07-15 (주)실리콘화일 조도, 근접도 및 색온도 측정이 가능한 이미지센서
US8194149B2 (en) 2009-06-30 2012-06-05 Cisco Technology, Inc. Infrared-aided depth estimation
US20110199482A1 (en) * 2009-10-07 2011-08-18 Morgan Arthur C Long Range Day/Night Surveillance Video Camera
WO2011063347A2 (en) * 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8432433B2 (en) 2010-01-14 2013-04-30 Raytheon Canada Limited Method and apparatus for colorizing a monochrome infrared image
JP5800501B2 (ja) * 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
CN102457712A (zh) * 2010-10-28 2012-05-16 鸿富锦精密工业（深圳）有限公司 可疑目标识别及追踪系统及方法
KR20130086066A (ko) * 2010-11-16 2013-07-30 코니카 미놀타 가부시키가이샤 화상 입력 장치 및 화상 처리 장치
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US8587657B2 (en) * 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
US9058653B1 (en) * 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10389953B2 (en) * 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10051210B2 (en) * 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
TWI445399B (zh) * 2011-09-28 2014-07-11 Vivotek Inc 夜視攝影的曝光調整方法
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
KR102070778B1 (ko) 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9135888B2 (en) * 2013-03-15 2015-09-15 L-3 Communications Cincinnati Electronics Corporation System and method for converting an image to an intensity based colormap
FR3007553B1 (fr) * 2013-06-25 2015-07-17 Morpho Procede de detection d'un vrai visage
JP6017389B2 (ja) * 2013-09-17 2016-11-02 オリンパス株式会社 撮像装置、電子ビューファインダ、表示制御方法、および表示制御用プログラム
US9467680B2 (en) * 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
US10089787B2 (en) * 2013-12-26 2018-10-02 Flir Systems Ab Systems and methods for displaying infrared images
US9723224B2 (en) * 2014-03-31 2017-08-01 Google Technology Holdings LLC Adaptive low-light identification
US9996913B2 (en) * 2014-04-07 2018-06-12 Bae Systems Information And Electronic Systems Integration Inc. Contrast based image fusion
US9245196B2 (en) 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US9672405B2 (en) * 2014-05-30 2017-06-06 Egis Technology Inc. Electronic device and fingerprint recognition method
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
JP6394338B2 (ja) * 2014-12-04 2018-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
US20160161332A1 (en) 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
US9684963B2 (en) * 2014-12-31 2017-06-20 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
US10404969B2 (en) 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
WO2016154359A1 (en) * 2015-03-23 2016-09-29 Golfstream Inc. Systems and methods for programmatically generating anamorphic images for presentation and 3d viewing in a physical gaming and entertainment suite
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US20180357520A1 (en) * 2015-06-05 2018-12-13 Seeing Machines Limited Protective system for infrared light source
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
WO2016205419A1 (en) * 2015-06-15 2016-12-22 Flir Systems Ab Contrast-enhanced combined image generation systems and methods
JP6650691B2 (ja) * 2015-07-02 2020-02-19 キヤノン株式会社 撮像装置
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
JP6441771B2 (ja) * 2015-08-27 2018-12-19 クラリオン株式会社 撮像装置
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9648255B2 (en) * 2015-09-11 2017-05-09 General Starlight Co., Inc. Multi-modal optoelectronic vision system and uses thereof
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102287944B1 (ko) * 2015-12-22 2021-08-09 삼성전자주식회사 영상 출력 장치 및 영상 출력 방법
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN105706143A (zh) * 2013-04-15 2016-06-22 微软技术许可有限责任公司 混合红外和色彩分量数据点云

Also Published As

Publication number Publication date
EP3520390B1 (en) 2020-08-19
CN109804622A (zh) 2019-05-24
WO2018063951A1 (en) 2018-04-05
EP3520390A1 (en) 2019-08-07
US10701244B2 (en) 2020-06-30
US20180097972A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN109804622B (zh) 红外图像流的重新着色
US11335079B2 (en) Method and system of reflection suppression for image processing
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
US10360732B2 (en) Method and system of determining object positions for image processing using wireless network angle of transmission
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
US9811910B1 (en) Cloud-based image improvement
US11398041B2 (en) Image processing apparatus and method
CN107730445A (zh) 图像处理方法、装置、存储介质和电子设备
US10382712B1 (en) Automatic removal of lens flares from images
RU2008143205A (ru) Эффективное кодирование множества видов
WO2018214693A1 (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
WO2021036991A1 (zh) 高动态范围视频生成方法及装置
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
US20220038621A1 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
US20180332239A1 (en) Background replacement utilizing infrared light and visible light
US11334973B2 (en) Image colorizing method and device
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN107025441B (zh) 肤色检测方法及装置
US8625896B2 (en) Image matting
JP2020525962A (ja) インテリジェントホワイトボード連携システムおよび方法
US10244224B2 (en) Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
CN110225331B (zh) 选择性地将色彩施加到图像
CN111797694A (zh) 一种车牌检测方法及装置
CN116437198B (zh) 图像处理方法与电子设备
US20230171509A1 (en) Optimizing high dynamic range (hdr) image processing based on selected regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant