CN106464806A - 自适应低光识别 - Google Patents

自适应低光识别 Download PDF

Info

Publication number
CN106464806A
CN106464806A CN201580025872.6A CN201580025872A CN106464806A CN 106464806 A CN106464806 A CN 106464806A CN 201580025872 A CN201580025872 A CN 201580025872A CN 106464806 A CN106464806 A CN 106464806A
Authority
CN
China
Prior art keywords
image
people
visible
equipment
previous seizure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580025872.6A
Other languages
English (en)
Other versions
CN106464806B (zh
Inventor
吉里·斯拉比
威廉·S·皮尔斯
劳伦斯·A·维利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
Google Technology Holdings LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google Technology Holdings LLC filed Critical Google Technology Holdings LLC
Publication of CN106464806A publication Critical patent/CN106464806A/zh
Application granted granted Critical
Publication of CN106464806B publication Critical patent/CN106464806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Abstract

本文献描述了用于实现自适应低光识别的技术(300,500)和装置(102,700)。这些技术(300,500)和装置(102,700)使得计算设备捕捉人的红外(IR)影像并且基于多个人的先前捕捉的IR影像，确定人的身份。然后，检索所识别的人的可见光影像并且与IR影像结合来提供该人的合成影像，并且将其呈现给用户。通过这样做，用户能更容易识别该人，特别是在低光条件下。

Description

自适应低光识别
背景技术
为了一般呈现本公开的上下文，提供该背景描述。除本文另有说明，既不是明确也不是隐含地承认本章节中所述的材料对本公开或所附权利要求来说是现有技术。
人眼通常难以在诸如夜晚的低光条件下感知影像或风景。因为人眼的构造随时间劣化，因此随着人的年龄增长，夜间看不见的问题越来越严重。这种劣化的示例可以包括晶状体云斑、瞳孔收缩、以及丧失感光体或其灵敏度。同样地，特别是对成年人，低光条件下看不见会很不方便或受挫，诸如当接近可能熟悉或不熟悉的其他人时。
此外，用来增强人类夜视的现有的技术还受制于日夜特性差异。例如，计算设备的图像传感器通常被设计为白天工作，导致在低光条件下不良的成像性能。由此，尝试使用计算设备的图像传感器在夜间识别人通常不会给用户带来好处并且可能会进一步使用户受挫。
附图说明
参考下述附图，描述实现自适应低光识别的技术和装置。在整个附图中，使用相同的数字来表示相同的特征和组件。
图1图示出能实现自适应低光识别的技术的示例环境。
图2图示出能够实现自适应低光识别的示例计算设备。
图3图示出组合红外影像和可见光影像的示例方法。
图4图示出根据一个或多个实施例提供的合成影像的示例。
图5图示出提供位置和人的合成影像的示例方法。
图6图示出根据一个或多个实施例提供的位置和人的合成影像的示例。
图7图示出能实现自适应低光识别的技术的电子设备的各个组件。
具体实施方式
不管在夜晚还是在无灯光的室内空间中，人眼通常不能在低光条件下准确地感知人或影像。至少，对于在低光条件下尝试识别人的人来说，这是不方便的，并且在一些情况下，甚至会不安全。即使是能够提供识别服务的常规的计算设备由于其白天操作的固有设计，通常很少用在低光条件下。
本公开描述了便于自适应低光识别的技术和装置，使得计算设备能够捕捉人的红外(IR)影像并且基于该人的IR影像，检索与该IR影像对应的该人的先前捕捉的影像(例如可见光图像)。然后，能够组合(合并)IR影像和先前捕捉的影像来提供呈现给用户的合成影像。通过这样做，特别是在低光条件下，能增强该人的用户视力。例如，当先前捕捉的影像包括特定人的颜色简档图片时，呈现给用户的合成影像可以包括该特定人的面部的可见光图像。这能有效地允许用户在夜间识别以虚拟白天条件来呈现的人。
下文论述首先描述操作环境，接着描述在该环境下采用的技术并且以示例装置结束。
操作环境
图1图示出能实现自适应低光识别的技术的示例环境100。环境100包括具有显示器104的计算设备102，通过显示器104，向用户呈现位置106的影像(例如风景、人、或动物)。由计算设备102或与计算设备102相关联的另一设备(未示出)的相机(未示出)来捕捉位置106的影像。在一些实施例中，计算设备102或其他设备的相机能够感测人眼不能感知的光，诸如可以包括长波IR(LWIR)热成像的红外(IR)光、近红外照明(NIR)、或低照度光。例如，假定用户108夜间位于位置106，计算设备102的相机能捕捉到位置106处的人或物体的IR影像。
显示器104可以呈现用于配置计算设备102的相机或选择由显示器104呈现位置106的影像的视图模式的用户界面(例如取景器界面)。计算设备102的视图模式可以包括下文所述的正常白天视图模式、IR视图模式、和一个或多个自适应低光视图模式。由显示器104呈现位置106的哪些影像取决于用户108相对于位置106或环境100，如何取向计算设备102。在图1中示出了一个这种取向的示例，其中，示出用户108站在位置106的房屋110、树112和人114前。在该具体示例中，因为用户108夜间位于位置106处，房屋110、树112、和人114对用户108来说，当不从显示器104看时，就像被月光覆盖的黑色物体。
当用户108朝位置106取向计算设备102(及其相机)时，用户108能通过显示器104看到房屋110、树112、和人114的相应部分。为了视觉清楚，以详细视图116示出来自用户108的视角的位置106的视图。如详细视图116所示，能通过显示器104观看位置106的一些影像，而位置106的其他影像在计算设备102的周围是可见的。在该具体示例中，通过显示器104所示的影像示为由计算设备102的低光视图模式提供的合成影像118。其中，由于黑暗先前不可见的房屋110、树112、和人114的特征，诸如门120、屋顶122、窗户124、树叶126、和人114的面部128在合成影像118中均可见。
通常，能通过利用计算设备102的相机和其他组件的能力实现低光视图模式来提供合成影像。在一些方面中，相机捕捉人的IR影像并且将IR影像与一个或多个人的先前捕捉的IR影像比较来确定该人的身份。然后，计算设备102能基于该人的身份，检索那一人的先前捕捉的可见光影像，诸如简档图片、白天捕捉的影像、或在人造灯光下捕捉的影像。然后，能将该位置的先前捕捉的可见光影像和该人的先前捕捉的可见光影像与该IR影像组合来提供该人在该位置处的合成影像。其中，注意在本公开的一般上下文中的术语可见光不旨在限制，而是可以包括任何适当类型的光或光源，诸如日光、太阳光、人造光等或与其互换使用。
在一些情况下，先前捕捉的可见光影像的部分被取向并且叠加在IR影像上，来有效地呈现该人的白天或日光视图。在本示例的上下文中，在图1中示为在位置106的IR影像上叠加的人114的面部128，而没有计算设备102的帮助，人114的其他部分是不可见的。这仅是实现自适应低光人物识别来提供人的合成影像的一个示例。如何实现计算设备102来提供此并且自适应低光识别的其他实施例可改变并且在下文中描述。
更具体地说，考虑图2，其图示出了图1的计算设备102的示例实施例。计算设备102能是或包括能够实现自适应低光识别的许多不同类型的计算或电子设备。在该示例中，计算设备102示为智能电话102-1和智能眼镜102-2，但是也能构想其他设备。仅举例来说，其他计算设备102可以包括蜂窝电话、笔记本电脑(例如笔记本或超级本)、相机(小型或单反相机)、智能手表、平板计算机、个人媒体播放器、个人导航设备(例如全球定位系统)、车辆导航系统、头戴式显示器(HUD)、游戏控制台、桌面型计算机、摄像机、或便携式游戏设备。在一些情况下，自适应低光识别的实施例可以由两个或更多个设备来实现，诸如计算设备和能与计算设备操作耦合的配件设备(例如独立相机和/或显示器设备)实现。替选地或可附加地，计算设备可以与智能车辆的一个或多个组件集成或可操作地耦合，智能车辆的挡风玻璃或窗户可以用作将环境的视图呈现为虚拟日光现实的显示器。
计算设备102包括处理器202，其被配置为能够实现计算设备102的各种功能的单核或多核处理器。在一些情况下，处理器202包括用于处理计算设备102的各种图像或视频的视频处理核。处理器202可以与本文所述的计算设备102的任何其他组件或模块耦合并且可以实现其功能。计算设备102包括计算机可读介质204(CRM 204)和显示器206。计算机可读介质204包括设备数据208，诸如能由处理器202执行的计算设备102的操作系统、固件、或应用。替选地或可附加地，设备数据208可以包括各种用户数据，诸如图像、音乐、文档、电子邮件、联系人等。CRM 204还包括影像引擎210和IR图像模板212，在该示例中，其被体现为存储在CRM 204上的计算机可执行代码。
影像引擎210能组合、合并、或以其它方式整合影像或视频的多个源。例如，影像引擎210能根据自适应低光识别的一个或多个方面，将IR影像与任何适当的先前捕捉的影像(例如可见光影像)组合来提供合成影像。替选地或可附加地，影像引擎还可以管理应用于由显示器206呈现的合成影像的视觉方面或效果。例如，影像引擎210可以变更(例如控制或操纵)应用于由显示器206呈现的IR影像或先前捕捉的影像的长宽比、全景、旋转、光深、变焦、裁剪、拉伸、或压缩。影像引擎210的另外的实施方式和用途改变并且在下文更详细描述。
IR图像模板212包括一个或多个人的先前捕捉的IR影像。IR图像模板212还可以包括用来识别先前捕捉的IR影像对其可用的一个或多个人的信息或与之相关联。在一些情况下，通过登记过程创建IR图像模板212，其中，登记人的可见光图像和热像图(例如，IR图像)来捕捉该人的独特的生物温度分布。尽管示为存储在CRM 204中，但也可以将IR图像模板212存储在远程库中，诸如服务器、社交媒体网站、或云服务。替选地或可附加地，该人的可见光图像也可以从远程库来检索或通过访问远程库来更新。
显示器206呈现用于由用户查看的影像或内容。显示器206可以实现为参考图1所述的显示器104或与之类似。替选地，显示器206可以实现为远程设备的屏幕、投影仪、或镜头，诸如车辆的挡风玻璃、或智能眼镜102-2或虚拟现实眼镜的透镜(投影或其他)。在一些情况下，用户能通过显示器206与计算设备102的内容有关应用或图形用户界面交互。在这些情况下，显示器可以与通过其接收用户输入的触敏输入设备(例如触摸屏)相关联或包括触敏输入设备。显示器206可以被配置为任何适当类型的显示器，诸如有机发光二极管(OLED)显示器、有源矩阵OLED显示器、液晶显示器(LCD)、面内位移LCD、透明LCD单元、投影显示器、投影仪透镜等。
计算设备102还可以包括相机214，其被配置为感测或捕捉计算设备102周围的影像或风景。在该示例中，相机214实现在计算设备102的与实现显示器206的表面相反的表面上。在一些情况下，相机214实现在与显示器206相同的表面上或实现为与计算设备102相关联的配件设备的一部分。在至少一些实施例中，显示器206呈现由前置相机214捕捉的实时影像，诸如当配置为计算设备102的取景器时。由此，当用户在环境内取向或重新取向计算设备102时，由显示器206呈现的影像随着相机214捕捉该环境的不同影像而改变。在至少一些实施例中，相机214可以实现为与显示器设备通信的配件设备(例如可穿戴配件或独立的相机)、与计算设备(例如计算设备102)相关联的显示器、或具有被配置为呈现虚拟日光现实的显示器的窗户的智能车辆。替选地或可附加地，相机214可以实现为与车辆的导航或成像系统相关联的车载相机，诸如当在启用视觉的车辆中实现时。
在一些实施例中，相机214对不同于通常人眼可见的光的光谱范围敏感。相机214的这些不同光谱范围可以包括红外光(例如LWIR或NIR)、紫外光、低照度光、或对于在可见光的特定范围内的光的增加的灵敏度。在一些情况下，利用在不同光谱范围中捕捉的光来提供低光视图模式，在低光视图模式中经由显示器206可视地表示不同光谱范围的光(例如热或夜视)。
计算设备102包括用于经由网络或其他连接通信数据的数据接口216。在一些情况下，这些数据接口216是用于经由无线网络(未示出)或直接与其他设备通信的无线收发器。这些无线网络的示例包括蜂窝网络、无线广域网(WWAN)、无线局域网(WLAN)、和无线个域网(WPAN)，每一网络可以部分或全部被配置为基础设施、自组织、或网状网络。例如，配置为近距离无线收发器的接口可以根据蓝牙TM协议在WPAN上通信。
在一些实施例中，数据接口216使得多个设备能够实现自适应低光识别。例如，尽管可能冗余，智能电话102-1和智能眼镜102-2可以每个实现用于实现自适应低光视图模式的不同组件或功能。在该示例的上下文中，影像引擎210可以驻留在智能电话102-1上，同时智能眼镜102-2实现显示器206和相机214。在这样的情况下，能经由每一设备的相应数据接口216，在智能电话102-1和智能眼镜102-2之间通信数据(例如影像或视频数据)。
替选地或可附加地，数据接口216包括用于与其他设备通信的有线数据接口，诸如局域网(LAN)以太网收发器、串行数据接口、音频/视频端口(例如高清多媒体接口(HDMI)端口)、或通用串行总线(USB)端口。这些有线数据接口可以使用标准连接器或通过使用外设连接器以及提供增强安全性或互连密度的相关电缆实现。
计算设备102还可以包括传感器218，其使得计算设备102能够感测计算设备102在其中操作的环境的各种属性、变化、或特性。在该特定示例中，传感器218包括全球定位系统(GPS)220、红外(IR)传感器222、和环境光传感器224。GPS 220能够经由从导航卫星接收的信号，确定计算设备102的地理位置和其他导航信息(例如速度或航向)。当导航卫星不可用时，GPS 220可以通过执行依赖于诸如惯性传感器和加速计的其他传感器的航位推算计算，来提供计算设备102的近似位置。还可以使用本领域公知的蜂窝塔三角测量和检测，确定计算设备102的位置。替选地或可附加地，可以通过加速计和/或磁强计来提供计算设备102的取向。
IR传感器222被配置为提供计算设备102取向朝向的人、物体、或风景的红外(IR)影像。IR传感器222可以以任何适当的格式，诸如视频、流媒体、或一系列图像，来捕捉IR影像。可以与相机214分开或与其集成实现IR传感器222。替选地或可附加地，IR传感器222可以实现为配置用于热成像的基于微辐射热计传感器的IR相机(例如热相机或LWIR热敏传感器)、具有朝向IR光波长的IR滤光器的标准相机、或任何其他适当的IR或低光相关成像传感器。环境光传感器224使得计算设备102能够确定存在于环境中或计算设备102所处的位置中的环境光的水平。例如，从环境光传感器224接收的信息能与阈值相比较来确定计算设备102是否处于日光、黑暗、月光、室内等。
传感器218还可以包括其他类型的传感器，诸如接近传感器、声学传感器、磁传感器、温度/热传感器、微机电系统、相机型传感器(例如电荷耦合器件传感器或互补金属氧化物半导体传感器)、电容传感器等。替选地或可附加地，传感器218使得能够进行与计算设备102的用户交互或从该用户接收输入。在这种情况下，传感器218可以包括压电传感器、声波传感器、热触摸传感器、电容触摸传感器、与硬件开关相关联的输入感测逻辑(例如键盘、按键弹片、或拨号盘)等。在至少一些实施例中，传感器218(例如加速计或磁强计)使得能够确定相机214或IR传感器222的取向或方向。
示例技术
下述论述描述实现自适应低光识别的技术。利用先前所述的实体来实现这些技术，所述实体诸如图2的显示器206、影像引擎210、相机214、GPS 220、或IR传感器222。这些技术包括图3和5中所示的示例性方法，其示为由一个或多个实体执行的操作。所示或所述的这些方法的操作的顺序不旨在解释为限制，可以以任何顺序组合上述方法操作的任意多个或组合来实现方法或替选方法，包括由图3和5所图示的那些方法中的任意方法。
图3图示出组合红外影像和先前捕捉的可见光影像的示例方法300。
在302，经由设备的启用红外的(启用IR的)传感器捕捉人的红外(IR)影像。设备的启用IR的传感器可以是设备的专用IR传感器或设备的IR敏感的相机。通常，启用IR的的传感器捕捉特定位置的人、物体、或风景的IR影像。在一些情况下，IR影像是实时捕捉的影像流或影像系列。在这样的情况下，IR影像包括存在于该位置的人、物体、或元素。替选地或可附加地，当在低光条件下捕捉IR影像时，IR影像可能缺少在日光条件下可感知的颜色或其他视觉质量。
在一些情况下，设备的启用IR的传感器或IR相机可以按照能够计算或确定人的详细物理特性的分辨率提供IR影像。例如，IR相机可以使得设备能够计算感兴趣的人的一个或多个指甲的宽度。当确定人的身份时，能利用指甲宽度数据连同手指大小或肢体大小。在这样的情况下，捕捉的IR影像或IR图像模板中的人的特征或特性可以包括体型、身体尺寸、行走步态、珠宝、衣物、面部生物特征、肢体尺寸、手指和/或指甲尺寸等。
举例来说，考虑图4的示例实施例400，其中，智能眼镜102-2的用户正在会见朋友吃晚餐。假定该用户已经导航至他的朋友生活的房屋，但在夜间的低光条件下，不能确定谁在他朋友的房屋外。当该用户看向未识别的人的时，智能眼镜102-2取向朝向黑暗中的人，从用户的视角看，其示为夜间影像402。在此假定影像引擎210检测到低光条件并且激活智能眼镜102-2的低光识别模式。当智能眼镜102-2取向朝向该人时，IR传感器222捕捉该人的IR热影像404。其中，注意IR热影像404暴露该人的热像图，其可以包括该人头部或身体的独特生物温度分布。
在304，基于一个或多个人的先前捕捉的IR影像，确定该人的身份。能够在确定该人的身份前的任何适当的时间捕捉先前捕捉的IR影像并且存储到本地存储器或远程库。例如，能够在确定前一周的给定的一天等，先捕捉先前捕捉的IR影像。在一些情况下，通过将IR影像的特征或特性与先前捕捉的IR影像的特征或特性比较，来识别该人。在这样的情况下，IR影像的任一集合中的人的这些特征或特性可以包括体型、身体尺寸、行走步态、珠宝、衣物、面部生物特征等。
先前捕捉的IR影像可以包括通过登记可见光图像或热像图来捕捉该人的独特生物温度分布的登记过程创建的IR图像模板。这些IR图像模板还可以包括或链接用来识别与模板相关联的人或与之相关联的化名或简档(例如头像)。可以经由本地存储器或远程库存储或访问IR图像模板。在一些情况下，当不能由本地IR图像模板集确定身份时，可以从远程库检索附加IR模板来补充识别过程。
在本示例的上下文中，影像引擎210将该人的IR热影像404与IR图像模板集406相比较，在该特定示例中，IR图像模板集406本地存储在智能眼镜102-2的CRM 204中并且包括三个个体的热像图。如图406所示，每个人具有不同的面部热模板，使得能够基于所捕捉的IR影像来识别不同个体。其中，影像引擎210确定IR热影像404的特征与先前捕捉的IR图像408的特征匹配，IR图像408与本地存储的IR图像模板中的一个相关联。一旦确定匹配，影像引擎210利用与IR图像模板相关联的信息来确定IR热影像404中的该人的身份。
在306，基于该人的身份，检索该人的可见光影像。可见光影像包括日光或人造光下捕捉的人的影像，并且可以存储为可见光图像模板的一部分。与本文所述的IR图像模板类似，可以实现该可见光图像模板。在这样的情况下，可见光图像模板可以存储在经由网络连接访问的本地存储器或远程库中。该可见光影像还可以是与该人相关联的在线简档图像或头像图像，或其在线人物角色。替选地或可附加地，该人的可见光影像可以在登记会话期间捕捉，在登记会话中，连同该人的IR影像或对于识别该人有用的信息一起捕捉可见光影像。
继续上述示例，影像引擎210基于该人的身份，访问本地存储的可见光影像。在该特定示例中，影像引擎210从本地存储的可见光图像模板(未示出)检索可见光图像410。替选地或可附加地，影像引擎可以在本地或远程库中搜索较新的可见光图像或具有更高详细密度的可见光图像来获得所识别的人的更准确可见光图像。
在308，组合该人的IR影像和可见光影像来提供该人的合成影像。这可以包括使可见光影像或其一部分与IR影像整合或融合。在一些情况下，可见光影像叠加在IR影像上来提供所识别的人的可见光表示。在其他情况下，利用可见光影像来为IR影像着色，诸如以提供该人的自适应实时可见光视图。替选地或可附加地，可以变更可见光影像来匹配IR影像的场境，诸如通过调整大小、缩放、倾斜、加阴影、裁剪、或重新取向可见光影像。
在本示例的上下文中，影像引擎210将可见光图像410与IR热影像404融合来提供合成影像412，其提供所识别的人的面部的可见光视图。其中，影像引擎210将可见光影像的一部分叠加在IR热影像404的对应部分上。另外，影像引擎210重新调整可见光图像410的一部分的大小，使得所识别的人的面部特征看起来与IR热影像404中的人的身体成比例。通过融合IR热影像404和可见光图像410，影像引擎210能够提供所识别的人的可见光表示。
在310，经由显示器呈现该人的合成影像。可以经由捕捉该人的IR影像的设备的显示器或通过可操作地耦合该设备的配件设备，呈现该人的合成影像。在一些情况下，将该人的合成影像实时地呈现给用户，诸如通过合成影像的即时馈送或流。在这些情况下，能将该人的合成影像逐步地呈现为被整合以提供该人的合成影像的IR影像和可见光影像。替选地或可附加地，当设备的方向或取向相对于该人改变时，能更新合成影像。通过这样做，在低光条件下，能向用户提供人的可见光视图。
继续本示例，影像引擎210经由智能眼镜102-2的显示器206，呈现合成影像412。如在合成影像412中所示，用户在可见光条件下观察该人的面部特征，使得用户能够在夜间方便地识别他的朋友。替选地或可附加地，响应于超出预定阈值的环境光的水平，诸如通过环境光传感器检测，影像引擎210可以禁用自适应低光识别。在这样的实例中，影像引擎210可以捕捉该人的另外的可见光图像来更新与之相关联的可见光图像模板。
图5图示出提供位置和人的合成影像的方法500。
在502，经由设备的启用红外的(启用IR的)传感器，捕捉位置的红外(IR)影像。该位置的影像可以包括当捕捉IR影像时，存在于该位置的风景、物体、或人。在一些情况下，使用对提供人的热图像有效的长波红外(LWIR)，捕捉该人的IR影像。在其他情况下，可以使用对隔离在具有高密度人群的区域中的某人有效的有源照明的近红外(NIR)，成像该人的面部生物特征(例如面部、虹膜、或眼静脉)。替选地或可附加地，可以利用其他基于IR的生物信息，捕捉和存储该人的声音简档。
举例来说，考虑图6的示例环境600，其中，智能眼镜102-2的用户在天黑之后回家。假定用户已经回到家，但在夜间的低光条件下，不能确定在他房屋外的人是谁。当用户接近未识别的人时，智能眼镜102-2取向朝向该房屋和该人，由此使得IR传感器222捕捉房屋和未识别的人的IR影像602。
在504，使用GPS确定该设备的位置。在一些情况下，还使用该设备的其他传感器，诸如磁强计、加速计、陀螺等，确定该设备的方向或取向。例如，设备的GPS模块可以提供设备的地理位置以及指示该设备在哪一方向中移动的朝向。此外，该设备的加速计或磁强计可以提供该设备面对的取向或方向。在本示例的上下文中，智能眼镜102-2的GPS 220指示用户正在他的房屋前并且移向该房屋。此外，智能眼镜102-2的加速计或磁强计提供相机214的取向，并且由此提供相对于智能眼镜102-2的位置，他的房屋的用户视野的取向。
在506，经由该设备的无线接口，访问与该设备的位置相关联的影像。该影像包括在该位置处先前捕捉的影像，诸如在日光条件下、在人造光下、或该年的不同季节下捕捉的可见光影像。可以以任何适当的格式，诸如一系列图像、该位置的全景图像、影像流、视频馈送等接收影像。在至少一些实施例中，从库接收的影像可以包括与影像的元素相关联的指示符，诸如地理标记。继续本示例，影像引擎210访问在线库来检索先前捕捉的影像604，其包括该房屋的日光视图和位于车道左侧的卡车。
在508，整合与该位置相关联的影像和IR影像以提供该位置的合成影像。与该位置相关联的影像可以包括先前捕捉的可见光影像，诸如白天或日光条件下捕捉的影像。整合影像的操作可以在设备处、由另一本地设备(例如智能电话)或由向其传送或能够访问IR影像和先前捕捉的影像的远程服务提供者(例如云服务器)执行。在一些情况下，整合影像包括向IR影像添加颜色或将可见光物体插入在IR影像中的相应的物体上。通过这样做，可以在低光条件下提供该位置的虚拟可见光视图。
在本示例的上下文中，影像引擎210通过将可见光影像融合在对应的IR影像上以提供合成位置图像608，更新该位置的物体(例如背景物体)。如由合成位置图像608所示，影像引擎210将用户的房屋的可见光图像叠加在IR影像602上来提供该房屋的日光视图。替选地或可附加地，影像引擎210可以进一步尝试关联和/或对IR影像602的其他物体着色，所述其它物体诸如用户的卡车或篮球框。
在510，基于一个或多个人的先前捕捉的IR影像，确定该人的身份。可以在确定该人的身份前，在任何适当的时间捕捉或存储先前捕捉的IR影像。例如，可以将先前捕捉的IR影像捕捉为登记过程的一部分，在该登记过程中，捕捉IR影像并且将IR影像与用来识别该人或该人的可见光图像的信息相关联。替选地或可附加地，该设备可以被配置为定期地自动执行登记过程来确保与特定人相关联的IR图像模板或可见光图像模板为最新。
在至少一些方面中，通过将IR影像的特征或特性与先前捕捉的IR影像的特征或特性比较，来识别该人。在这样的情况下，任一IR影像集合中的人的这些特征或特性可以包括体型、身体尺寸、行走步态、珠宝、衣物、面部生物特征等。为增加确定的身份的置信度，可以利用与多个人相关联的行为信息(例如已知日程信息)作为身份确定过程的一部分。
继续本示例，影像引擎210将IR影像602与从在线库检索的IR图像模板集合比较，在该特定示例中，经由智能眼镜102-2的无线接口访问在线库。在此假定影像引擎210确定IR影像602中的该人与用户的兄弟的IR图像模板匹配。影像引擎210通过校验指示其兄弟当前正度假并且计划本周期间拜访该用户的用户的兄弟的日程信息，进一步确认IR影像602与IR图像模板的匹配。
在512，基于该人的身份，访问该人的可见光影像。可见光影像包括在日光或人造光下捕捉的该人的影像，并且可以存储作为可见光图像模板的一部分。与本文所述的IR图像模板类似，可以实现该可见光图像模板，和/或被创建作为登记过程的一部分，该登记过程与创建IR图像模板相关联的登记过程分开或与其结合。可见光图像或模板可以存储在该设备的本地存储器或可经由网络连接访问的远程库(例如社交媒体网站或云存储)。可见光影像还可以是与该人相关联的在线简档图像或头像图像，或与之相关联的在线人物或化名。在本示例的上下文中，影像引擎210访问用户及他的兄弟所属的社交网络站点并且基于兄弟的身份，检索用户的兄弟的可见光图像610(例如简档图片或其它标记图像)。
在514，整合该人的IR影像和可见光影像来提供该人的合成影像。这可以包括将可见光影像或其一部分与IR影像融合。在一些情况下，可见光影像叠加或层叠在IR影像上来提供所识别的人的可见光表示。在其他情况下，利用可见光影像来对IR影像着色，诸如提供该人的自适应实时可见光视图。替选地或可附加地，可以变更可见光影像来匹配IR影像的场境或取向，诸如通过调整大小、缩放、倾斜、阴影、裁剪、或重新取向可见光影像。
继续本示例，影像引擎210基于用户的兄弟的IR影像602，裁剪和重新调整可见光图像610的大小。然后，影像引擎210通过叠加用户的兄弟的修改过的可见光影像来更新合成位置图像608而提供合成图像612。如由合成图像612所示，已经更新IR影像602的物体和人来提供该位置和人的虚拟可见光视图。此外，尽管示为黑白图示，但应当注意到如在可见光影像中所捕捉的，能以彩色示出房屋和用户的兄弟的特征。
在516，经由显示器，将该位置和人的合成影像呈现给用户。显示器可以与捕捉IR影像或将IR影像与可见光图像整合的设备一体化或分离。例如，显示器可以与可穿戴计算机的透镜、汽车的挡风玻璃、摩托车的风档或头盔的面罩集成。显示合成影像对在低光条件下(例如夜间)，提供该位置处的物体和人的可见光或日光呈现有效。结束本示例，影像引擎210经由智能眼镜102-2的显示器104，向用户呈现该位置的合成影像。尽管夜间的低光条件下，这对使得用户能够在虚拟可见光条件下查看其房屋和其兄弟是有效的。通过这样做，通过使得用户能够在低光条件下识别大于正常距离的个体的真实身份，来提高用户的舒服度。
示例电子设备
图7图示出能实现为参考上述图1至6的任何图所述的计算设备的示例电子设备700的各个组件。电子设备700能是或包括能够实现自适应低光识别的许多不同类型的设备。例如，电子设备700可以包括相机(小型或单反镜头)、可穿戴显示器、头戴式显示器(HUD)、电话、个人导航设备、游戏设备、Web浏览平台、寻呼机、媒体播放器、或任何其他类型的电子设备，诸如参考图1所述的计算设备102。
电子设备700包括实现设备数据704(诸如所接收的数据和所传送的数据)的有线或无线通信的通信收发器702。示例通信收发器包括与各个电子电气工程师协议(IEEE)802.15(蓝牙TM)标准兼容的WPAN无线电、与各个IEEE 802.11(WiFiTM)标准中的任何标准兼容的WLAN无线电、用于蜂窝技术的WWAN(3GPP兼容)无线电、与各个IEEE802.16(WiMAXTM)标准兼容的无线城域网无线电以及有线LAN以太网收发器。
在实施例中，电子设备700包括相机706，诸如参考图2所述的相机214。电子设备700还可以包括传感器708，诸如如上所述的红外传感器、加速计、磁强计、环境光传感器、位置传感器或GPS。相机706和传感器708能实现为便于自适应低光识别的各个实施例。
电子设备700还可以包括一个或多个数据输入端口710，经由该数据输入端口710，能接收任何类型的数据、媒体内容、和输入，诸如用户可选择的输入、消息、音乐、电视内容、录制的视频内容和从任何内容或数据源接收的任何其他类型的音频、视频或图像数据。数据输入端口710可以包括USB端口、同轴电缆端口、和其他串行或并行连接器(包括内部连接器)，用于闪存、DVDs、CDs等。这些数据输入端口可以用来将电子设备耦合至组件、外设、或配件，诸如键盘、麦克风或相机。
该示例的电子设备700包括处理器系统712(例如应用处理器、微处理器、数字信号处理器、控制器等的任何一个)或处理器和存储器系统(例如在系统上芯片实现)，其处理计算机可执行指令来控制设备的操作。处理系统可以至少部分由硬件实现，其能包括集成电路或芯片上系统、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、和以硅和其他硬件的其他实施方式的组件。替选地或可附加地，可以利用结合通常在714处识别的处理和控制电路实现的软件、硬件、固件、或固定逻辑电路的任何一个或组合实现电子设备。尽管未示出，但电子设备700能包括耦合设备内的多个组件的系统总线、交叉开关、互连、交换结构或数据传输系统。系统总线能包括不同数据结构的任何一个或组合，诸如存储器总线或存储器控制器、数据协议/格式转换器、外围总线、通用串行总线、处理器总线、或利用多种总线架构的任何一个的本地总线。
电子设备700还包括实现数据存储的一个或多个存储器设备716，其示例包括随机存取存储器、非易失性存储器(例如只读存储器(ROM)、闪存、EPROM、EEPROM等)以及盘存储设备。存储器设备716至少部分实现为在存储介质中存储信息(例如数字或模拟值)的不包括传播信号或波形的物理设备。存储介质可以实现为任何适当类型的介质，诸如电、磁、光、机械、量子、原子等。存储器设备716提供存储设备数据704、其他类型的信息或数据以及各种设备应用718(例如软件应用)的数据存储机构。例如，操作系统720可以保持为存储器设备716内的软件指令并且由处理器712执行。在一些方面中，在电子设备700的存储器设备716中体现影像引擎722和IR图像模块724。尽管表示为软件实施方式(例如作为可执行指令或代码)，但影像引擎722可以实现为任何形式的控制应用、软件应用、信号处理和控制模块、安装在设备上的固件、控制器的硬件实施方式等。
电子设备700还包括处理音频数据并且将音频和视频数据传送到音频系统728和显示系统730的音频和视频处理系统726。音频系统728和显示系统730可以包括处理、显示或者呈现音频、视频、显示或图像数据的任何模块，诸如影像引擎722。显示数据和音频信号经由射频链路、S视频链路、HDMI、合成视频链路、分量视频链路、数字视频接口、模拟音频连接或者其他类似的通信链路，诸如媒体数据端口732，被传送到音频组件和显示组件。在一些实施方式中，音频系统728和显示系统730是电子设备700的外部组件。替选地或可附加地，显示系统730能是示例性电子设备的集成组件，诸如集成显示器、可穿戴显示器或触摸接口。如上所述，在自适应低光识别方面，影像引擎722可以管理或控制显示系统730，或其组件。
尽管以特定于特征和/或方法的语言描述了自适应低光识别的实施例，但所附权利要求的主题不一定限于所述的特定特征或方法。相反，特定特征和方法公开为自适应低光识别的示例实施方式。

Claims (20)

1.一种方法，包括：
经由设备的启用红外的传感器，捕捉(302)人的红外IR影像；
基于所述IR影像和一个或多个人的先前捕捉的IR影像，确定(304)所述人的身份；
基于所述人的身份，检索(306)所述人的先前捕捉的可见光影像；
组合(308)所述IR影像和所述先前捕捉的可见光影像，以提供所述人的合成影像；以及
经由所述设备的显示器，呈现(308)所述人的所述合成影像。
2.如权利要求1所述的方法，进一步包括：基于所述设备的位置或关于所述一个或多个人已知的行为信息，确定所述人的身份。
3.如权利要求2所述的方法，进一步包括：通过以下中的一个来确定所述设备的位置：
经由所述设备的全球定位系统GPS来确定所述位置；
经由与一个或多个已知无线网络的关联来确定所述位置；
经由所述IR影像内的地理标记元素来确定所述位置；或
基于先前已知的位置和通过使用所述设备的地图和惯性数据，确定所述位置。
4.如权利要求1所述的方法，进一步包括，在捕捉所述人的所述IR影像之前，捕捉所述一个或多个人的所述先前捕捉的IR影像，以及，将一个或多个相应身份与所述先前捕捉的IR影像的所述一个或多个人相关联。
5.如权利要求1所述的方法，其中，响应于经由所述设备的环境光传感器确定环境光的水平低于预定阈值而实施所述方法。
6.如权利要求1所述的方法，其中，所述设备的所述启用红外的传感器被配置为捕捉照明近红外NIR光或长波红外LWIR热图像。
7.如权利要求1所述的方法，其中，所述设备包括以下中的一个：智能电话、平板计算机、可穿戴计算机、或基于车辆的计算系统。
8.一种方法，包括：
经由设备的启用红外的传感器，捕捉(502)位置和在所述位置处的人的红外IR影像；
基于与所述设备相关联的已知位置和取向信息，访问(506)所述位置的先前捕捉的影像；
整合(508)所述位置的先前捕捉的影像中和所述位置的IR影像中的物体，以提供所述位置的合成影像；
基于一个或多个人的先前捕捉的IR影像，确定(510)所述人的身份；
基于所述人的所述身份，访问(512)所述人的先前捕捉的可见光影像；
整合(514)所述人的可见光影像和所述IR影像，以提供所述人的合成影像；以及
经由所述设备的显示器，呈现(516)所述位置和所述人的合成影像。
9.如权利要求8所述的方法，进一步包括：
经由所述设备的全球定位系统GPS，确定与所述设备相关联的所述已知位置信息；以及
经由加速计或磁强计，确定与所述设备相关联的已知取向信息。
10.如权利要求8所述的方法，进一步包括：从本地库或远程库访问所述一个或多个人的先前捕捉的影像。
11.如权利要求8所述的方法，进一步包括，在捕捉所述位置和所述人的IR影像之前，捕捉以下中的至少一个：
所述位置的先前捕捉的影像；
所述一个或多个人的先前捕捉的IR影像；或
所述人的先前捕捉的可见光影像。
12.如权利要求8所述的方法，其中，对于所述一个或多个人中的每一个人，相应的先前捕捉的IR影像包括IR图像模板，所述IR图像模板包括相应人的至少一个热图像和对识别所述相应人有用的信息。
13.如权利要求12所述的方法，其中，访问所述人的先前捕捉的可见光影像包括：访问存储可见光图像模板的本地存储器或远程位置，所述可见光图像模板包括所述人的至少一个可见光图像和将所述可见光图像与所述人关联的信息。
14.如权利要求8所述的方法，其中，所述设备包括以下中的一个：智能电话、平板计算机、可穿戴计算机、或基于车辆的计算系统。
15.一种装置，包括：
无线接口(216)，所述无线接口被配置为经由无线网络实现数据通信；
启用红外的传感器(222)，所述启用红外的传感器被配置为捕捉红外IR影像；
显示器(104,206)，所述显示器被配置为呈现内容；以及
影像引擎(210,722)，所述影像引擎被配置为：
经由所述启用红外的传感器，捕捉(302)人的红外IR影像；
将所述IR影像与一个或多个人的先前捕捉的IR影像比较(304)，以确定所述IR影像中的所述人的身份；
基于所述人的所述身份，访问(306)所述人的先前捕捉的可见光影像；
整合(308)所述IR影像和所述先前捕捉的可见光影像，以提供所述人的合成影像；以及
经由所述显示器，呈现(308)所述人的所述合成影像。
16.如权利要求15所述的装置，进一步包括全球定位系统GPS模块，并且其中，所述影像引擎进一步被配置为：
确定所述装置的位置；
访问与所述装置的所述位置相关联的先前捕捉的影像；
组合与所述位置相关联的先前捕捉的影像与IR影像，以提供所述位置的合成影像；以及
经由所述显示器，呈现所述位置和所述人的合成影像。
17.如权利要求15所述的装置，其中，所述人的所述先前捕捉的可见光影像包括所述人的可见光图像，并且所述影像引擎被进一步配置为：
在捕捉所述人的所述IR影像之前，捕捉所述人的所述可见光图像；或
从在线库检索所述人的所述可见光图像。
18.如权利要求15所述的装置，其中，比较所述IR影像和所述先前捕捉的IR影像包括：比较所述IR影像中的所述人的特性和所述先前捕捉的IR影像中的所述一个或多个人的相应特性，所述特性包括以下中的至少一个：体型、身体尺寸、行走步态、珠宝、衣物、或面部生物特征。
19.如权利要求15所述的装置，进一步包括传感器，所述传感器被配置为检测环境光的水平，以及其中，所述影像引擎被进一步配置为：响应于确定所述环境光的水平低于预先限定的阈值，禁用所述装置的可见光视图模式并且呈现所述人的合成影像。
20.如权利要求15所述的装置，其中，所述装置整体上或部分地被配置为以下中的一个：智能电话、平板计算机、可穿戴计算机、或基于车辆的计算系统。
CN201580025872.6A 2014-03-31 2015-05-15 自适应低光识别 Active CN106464806B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461972533P 2014-03-31 2014-03-31
US14/283,276 2014-05-21
US14/283,276 US9723224B2 (en) 2014-03-31 2014-05-21 Adaptive low-light identification
PCT/US2015/030978 WO2015179223A1 (en) 2014-03-31 2015-05-15 Adaptive low-light identification

Publications (2)

Publication Number Publication Date
CN106464806A true CN106464806A (zh) 2017-02-22
CN106464806B CN106464806B (zh) 2019-09-27

Family

ID=52991960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025872.6A Active CN106464806B (zh) 2014-03-31 2015-05-15 自适应低光识别

Country Status (4)

Country Link
US (2) US9723224B2 (zh)
EP (1) EP3146500B1 (zh)
CN (1) CN106464806B (zh)
WO (2) WO2015153302A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566523A (zh) * 2018-05-16 2018-09-21 深圳市科纳实业有限公司 一种车载障碍识别投影系统
CN111179766A (zh) * 2018-11-09 2020-05-19 通用汽车有限公司 用于调暗车窗的至少一部分的系统和方法
CN111856751A (zh) * 2019-04-26 2020-10-30 苹果公司 具有低光操作的头戴式显示器
WO2021208789A1 (zh) * 2020-04-14 2021-10-21 华为技术有限公司 一种拍照方法和电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
US10261482B2 (en) * 2015-03-26 2019-04-16 Ca, Inc. Initiating actions on wearable devices
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
TR201712415A2 (tr) * 2017-08-21 2019-03-21 Arcelik As Bi̇r otonom bi̇tki̇ yeti̇şti̇rme dolabi
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
EP3553695A1 (en) * 2018-04-13 2019-10-16 Alpine Electronics, Inc. Method and system for displaying image data from at least one night vision camera of a vehicle
CN108694737B (zh) * 2018-05-14 2019-06-14 星视麒（北京）科技有限公司 制作图像的方法和装置
US10445599B1 (en) * 2018-06-13 2019-10-15 Luminar Technologies, Inc. Sensor system augmented with thermal sensor object confirmation
CN110610668B (zh) * 2018-06-15 2022-05-06 深圳富泰宏精密工业有限公司 智能眼镜
CN110246108B (zh) * 2018-11-21 2023-06-20 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
DE112019006209T5 (de) * 2018-12-14 2021-09-02 Apple Inc. Maschinenlernunterstützte Bildvorhersage
US11763558B1 (en) * 2019-04-19 2023-09-19 Apple Inc. Visualization of existing photo or video content
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
WO2024018449A1 (en) * 2022-07-18 2024-01-25 Elbit Systems Ltd. A system and method for generating a colored image of a scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
US20060266942A1 (en) * 2005-05-26 2006-11-30 Sony Corporation Imaging device and method, computer program product on computer-readable medium, and imaging system
JP2012234149A (ja) * 2011-04-20 2012-11-29 Panasonic Corp 映像投影装置
CN103455982A (zh) * 2013-08-31 2013-12-18 四川川大智胜软件股份有限公司 一种基于虚实融合机场场面监视视觉增强的方法
CN103674280A (zh) * 2012-09-21 2014-03-26 杭州美盛红外光电技术有限公司 热像显控装置和热像显控方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
US7840342B1 (en) 1997-10-22 2010-11-23 Intelligent Technologies International, Inc. Road physical condition monitoring techniques
US6252544B1 (en) 1998-01-27 2001-06-26 Steven M. Hoffberg Mobile communication device
US6597807B1 (en) 1999-09-27 2003-07-22 The United States Of America As Represented By The Secretary Of The Army Method for red green blue (RGB) stereo sensor fusion
WO2006074298A2 (en) 2005-01-06 2006-07-13 Alan Shulman Navigation and inspection system
GB0502844D0 (en) 2005-02-11 2005-03-16 Univ Edinburgh Storing digital content for access using a captured image
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
US7732768B1 (en) * 2006-03-02 2010-06-08 Thermoteknix Systems Ltd. Image alignment and trend analysis features for an infrared imaging system
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
JP2011066809A (ja) 2009-09-18 2011-03-31 Hitachi Kokusai Electric Inc 撮像装置
US8837855B2 (en) 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
US8339508B2 (en) 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
KR101674099B1 (ko) 2010-10-14 2016-11-08 현대모비스 주식회사 얼굴 인증을 위한 영상 생성 장치 및 그 방법
CA2767023C (en) 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US20130050395A1 (en) 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
US8693726B2 (en) 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US9173570B2 (en) * 2012-04-12 2015-11-03 Thomas Nathan Millikan Viewing and processing multispectral images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
US20060266942A1 (en) * 2005-05-26 2006-11-30 Sony Corporation Imaging device and method, computer program product on computer-readable medium, and imaging system
JP2012234149A (ja) * 2011-04-20 2012-11-29 Panasonic Corp 映像投影装置
CN103674280A (zh) * 2012-09-21 2014-03-26 杭州美盛红外光电技术有限公司 热像显控装置和热像显控方法
CN103455982A (zh) * 2013-08-31 2013-12-18 四川川大智胜软件股份有限公司 一种基于虚实融合机场场面监视视觉增强的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566523A (zh) * 2018-05-16 2018-09-21 深圳市科纳实业有限公司 一种车载障碍识别投影系统
CN111179766A (zh) * 2018-11-09 2020-05-19 通用汽车有限公司 用于调暗车窗的至少一部分的系统和方法
CN111856751A (zh) * 2019-04-26 2020-10-30 苹果公司 具有低光操作的头戴式显示器
US11733518B2 (en) 2019-04-26 2023-08-22 Apple Inc. Head-mounted display with low light operation
WO2021208789A1 (zh) * 2020-04-14 2021-10-21 华为技术有限公司 一种拍照方法和电子设备

Also Published As

Publication number Publication date
EP3146500B1 (en) 2019-03-13
US9832394B2 (en) 2017-11-28
WO2015179223A1 (en) 2015-11-26
US9723224B2 (en) 2017-08-01
US20150281599A1 (en) 2015-10-01
WO2015153302A1 (en) 2015-10-08
US20150281593A1 (en) 2015-10-01
CN106464806B (zh) 2019-09-27
EP3146500A1 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106464806B (zh) 自适应低光识别
US11563932B2 (en) Estimating real-time delay of a video data stream
US9275079B2 (en) Method and apparatus for semantic association of images with augmentation data
US10169654B2 (en) Crowd-sourced vision-based information collection
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US9418481B2 (en) Visual overlay for augmenting reality
WO2020173155A1 (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
US20110169932A1 (en) Wireless Facial Recognition
JP2017526079A (ja) 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
WO2013028586A1 (en) Location based skins for mixed reality displays
KR20130000401A (ko) 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20150169186A1 (en) Method and apparatus for surfacing content during image sharing
CN116137902A (zh) 用于红外光检测的计算机视觉相机
WO2016121049A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant