CN107408201B - 具有同时的结构化和非结构化照明的数字相机单元 - Google Patents

具有同时的结构化和非结构化照明的数字相机单元 Download PDF

Info

Publication number
CN107408201B
CN107408201B CN201680013329.9A CN201680013329A CN107408201B CN 107408201 B CN107408201 B CN 107408201B CN 201680013329 A CN201680013329 A CN 201680013329A CN 107408201 B CN107408201 B CN 107408201B
Authority
CN
China
Prior art keywords
scene
light
interest
region
turned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680013329.9A
Other languages
English (en)
Other versions
CN107408201A (zh
Inventor
J·格伦
T·索凯拉
L·于莱-索伊宁马基
K·耶姆塞
S·瓦柳斯
A·佩雷卡姆皮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107408201A publication Critical patent/CN107408201A/zh
Application granted granted Critical
Publication of CN107408201B publication Critical patent/CN107408201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

描述了一种装置。在一个实施例中，装置包括被配置来同时用非结构化光照明场景的第一部分并用结构化光来照明场景的第二部分的照明单元。该装置进一步包括被配置来捕捉被照明场景的至少一个图像帧的数字图像捕捉单元。

Description

具有同时的结构化和非结构化照明的数字相机单元
背景
红外(IR)光有时被用于数字摄影，因为其对于人类眼睛不可见。尽管IR光在传统摄影中可被过滤掉，但是相机传感器能够检测并测量它。例如，摄像机的“夜视”可利用IR光来照明场景。同样IR光可被用于计算机视觉，特别是在弱光条件下，以便得到相比于用可见光可能更稳健的照明。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
在一个实例中，一个装置包括照明单元和数字图像捕捉单元，所述照明单元配置用于同时用非结构化光照明场景的第一部分并用结构化光照明场景的第二部分，所述数字图像捕捉单元配置用于捕捉被照明场景的至少一个图像帧。
在其它示例中，连同装置的特征一起讨论了系统和方法。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1是装置的一个示例的框图；
图2是系统的一个示例的框图；
图3是方法的一个示例的流程图；
图4是方法的另一示例的流程图；
图5是方法的另一示例的流程图；
图6示出了包括人脸的场景，其第一部分为围绕眼睛的区域，而第二部分为围绕第一部分的区域；以及
图7是示出以相比于场景的其余区域而言更高的功率照明感兴趣区域的图示。
在各个附图中使用相同的附图标记来指代相同的部件。
详细描述
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然本发明示例中的一些示例在本文中可被描述和解说成实现在智能电话或平板计算机中，但它们只是装置的示例而非限制。如本领域技术人员将理解的，这些示例适合应用于结合了数字图像捕捉单元或数字成像系统(例如，单独的数字相机设备，例如紧凑相机、SLR(单镜头反光)照相机，或无反光镜可换镜头相机)的各种不同类型装置。
图1是示出了装置100的一个示例的框图，装置100可被实现为结合数字图像捕捉单元或数字成像系统的任何形式的计算设备和/或电子设备。例如，装置100可被实现为单独的数字相机设备，例如，紧凑相机、SLR照相机，或无反光镜可换镜头相机，或装置100可被实现为智能手机、平板计算机、可穿戴相机或web相机。
装置100包括照明单元106。照明单元106被配置来同时用非结构化光照明场景的第一部分以及用结构化光来照明场景的第二部分。场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。照明单元106可被实现为例如发光二极管(LED)。
照明单元106可包括被配置来提供结构化光的衍射光学元件(DOE)107。衍射光学元件107可以是可开关的。衍射光学元件107可被实现为例如可被安装在例如照明单元106前面的透镜，使得从照明单元106发射的光穿透过该透镜。衍射光学元件107可包括第一部分，该第一部分配置用于允许从照明单元106发射的光穿透而不改变，从而提供非结构化光。衍射光学元件107可进一步包括第二部分，该第二部分配置用于在从照明单元106发射的光中引起预定图案，从而提供结构化光。
装置100进一步包括数字图像捕捉单元105。数字图像捕捉单元105被配置来捕捉被照明场景的至少一个图像帧。数字图像捕捉单元105可包括至少一个光学系统，该光学系统包括透镜布置和图像传感器，诸如电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。数字图像捕捉单元105可进一步包括卷帘快门。场景可包括感兴趣区域，并且照明单元106可被进一步配置来以比场景的其余区域更高的功率来照明感兴趣区域。
图2示出系统200的一个示例的框图。系统200包括装置210，装置210可被实现为结合了数字图像捕捉单元或数字成像系统的任何形式的计算设备和/或电子设备。例如，装置210可被实现为单独的数字相机设备，例如，紧凑相机、SLR照相机，或无反光镜可换镜头相机，或装置210可被实现为智能手机、平板计算机、可穿戴相机或web相机。
系统200包括照明单元220。照明单元220被配置来同时用非结构化光照明场景的第一部分以及用结构化光来照明场景的第二部分。场景的第二部分可部分、完全、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。照明单元220可被实现为例如发光二极管(LED)。照明单元220是可重新附连到装置210的。
照明单元220可包括被配置来提供结构化光的衍射光学器件(DOE)221。衍射光学元件221可以是可开关的。衍射光学元件221可被实现为例如可被安装在例如照明单元220前面的透镜，使得从照明单元220发射的光穿透该透镜。衍射光学元件221可包括第一部分，该第一部分配置用于允许从照明单元220发射的光穿透而不改变，从而提供非结构化光。衍射光学元件221可进一步包括第二部分，该第二部分配置用于在从照明单元220发射的光中引起预定图案，从而提供结构化光。
装置210进一步包括数字图像捕捉单元215。数字图像捕捉单元215被配置来捕捉被照明场景的至少一个图像帧。数字图像捕捉单元215可包括至少一个光学系统，该光学系统包括透镜布置和图像传感器，诸如电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。数字图像捕捉单元215可进一步包括卷帘快门。场景可包括感兴趣区域，并且照明单元220可被进一步配置来以比场景的其余区域更高的功率来照明感兴趣区域。
装置100、210可包括一个或多个处理器101、211，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制装置100、210的操作的任何其他合适类型的处理器。可在装置100、210处提供包括操作系统103、213或任何其他合适的平台软件的平台软件，以允许在该设备上执行应用软件104、214。
可使用装置100、210能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器102等计算机存储介质和通信介质。诸如存储器102、212之类的计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在装置100、210内示出了计算机存储介质(存储器102、212)，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路来访问。
图3示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤300处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。在步骤302处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。
如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。
图4示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤400处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。
在图4的示例中，场景包括感兴趣区域，并且照明步骤400包括以比场景的其余区域更高的功率来照明感兴趣区域。在步骤402处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。
如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。
图5示出了可被用于以非结构化光和结构化光两者同时照明场景的方法。在步骤500处，通过使用单个照明单元的非结构化光照明场景的第一部分，并同时通过使用同一个照明单元的结构化光照明场景的第二部分。
在图5的示例中，非结构化光被用于虹膜识别而结构化光被用于深度计算。在步骤502处，使用数字图像捕捉单元来捕捉被照明场景的至少一个图像帧。
如上所讨论的，场景的第二部分可部分覆盖、完全覆盖、或完全不覆盖场景的第一部分。非结构化光和/或结构化光可包括对人类眼睛不可见的光，诸如，红外光或紫外光。
图6示出了包括人脸610的场景600。用非结构化光照明的第一部分611是围绕眼睛的区域，而用结构化光照明的第二部分612是围绕第一部分的区域。场景600的第二部分612可部分、完全、或完全不覆盖场景600的第一部分611。在此，非结构化光可被用于例如虹膜识别而结构化光可被用于例如深度计算。
场景可包括两个以上的部分，其中至少一些可用与第二部分类似的结构化光或具有与照明第二部分的结构化光不同结构的结构化光来照明。例如，致密结构可被用于需要更多精度的部分，而稀疏结构可被用于需要较少精度的部分。
图7示出了以比场景的其余区域更高的功率对感兴趣区域的照明。场景700包括人脸710。除了具有如上讨论的用非结构化光照明的第一部分和用结构化光照明的第二部分的场景以外，场景700进一步包括感兴趣区域720(ROI)。在图7的与虹膜识别相关的示例中，感兴趣区域720包括眼睛区域或虹膜区域。感兴趣区域720可覆盖场景的第一部分和/或场景的第二部分。
曲线730表示用于控制照明单元或LED的功率或电流。图7的示例与包括卷帘快门的数字图像捕捉单元相关。换言之，曝光和帧读出从顶行开始，而底行曝光可例如比顶行曝光迟几十毫秒开始。因此，线731表示行曝光开始，而线732表示行曝光停止。点741表示当照明单元被打开或高功率时(即当卷帘快门曝光达到上面的虚线指示的ROI顶部时)的时刻，而点742表示当照明单元被关闭或低功率时(即当卷帘快门曝光达到下面的虚线指示的ROI底部时)的时刻。
在图7的示例中照明单元或LED可与数字图像捕捉单元的帧读出同步被打开或关闭，使得仅例如虹膜区域(ROI)720用高功率照明。替换地，代替打开关闭IR光，其可被调到高功率和低功率。这对于眼睛可能更方便，因为如果某些光始终发射那么照明源闪烁是不那么可见的。例如，大体20％的功率可被用于ROI之外，反之大体上100％功率可被用于ROI内。
虹膜识别通常利用红外照明单元而数字图像捕捉单元匹配IR波长。通常，近红外(NIR)被使用。然而，人类眼睛通常还可看见部分NIR辐射，因此NIR照明单元可能对用户可见。特别地，如果NIR波长接近于红色(即，接近800nm)，NIR照明单元可能实际上看起来像常规红LED。此外，如果功率高和/或曝光时间长，IR辐射可能对眼睛有害。
图7的示例允许减少从照明单元发射的平均功率。减少平均功率可促进使得例如IR照明单元更少可见/刺激并且对眼睛更少伤害。此外，如果在距离x的合适曝光所需IR能量是100％，则由于平方反比定律，在2x距离所需IR能量是400％。此外，能够减少从照明单元发射的平均功率是有益的。
图1－7所揭示的至少某些示例能够通过使用单个照明单元提供对场景的非结构化光和结构化光的同时照明。如上所讨论的，非结构化光可被用于例如虹膜识别而结构化光可被用于例如深度计算。
这可提供更安全的认证，因为与虹膜识别并发进行可判定可见对象具有脸的三维(3D)形状(即，它不是例如纸张或显示器)。同样，利用脸部3D信息可提供更多安全认证。此外，深度信息可被用于图像捕捉参数的优化，诸如引导自动对焦、自动曝光和/或照明单元控制。此外，深度信息可被用于安全决策，诸如用于在脸靠近装置到比预定阈值更近时关闭照明单元。此外，深度信息可被用于功率优化，诸如用于检测何时在装置前不存在东西，并且作为响应将照明单元电源关闭/功率调低。此外，在视频电话中深度信息可被用于例如移除/模糊背景。此外，图1－7中揭示的至少一些示例可被用于水下和/或暗处，因为它们不依赖于外部光源，诸如阳光或室内光照。
装置的一个实施例包括照明单元和数字图像捕捉单元，所述照明单元被配置来同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，所述数字图像捕捉单元被配置来捕捉被照明场景的至少一个图像帧。
在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。
在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域。
在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。
在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。
在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。
在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。
在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。
在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。
在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。
在一个实施例中，替换地或附加地，所述装置包括移动通信装置。
系统的一个实施例包括一装置，所述装置包括数字图像捕捉单元，和被配置来同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分的照明单元，所述照明单元可重新附连于所述装置，其中所述数字图像捕捉单元被配置来捕捉被照明场景的至少一个图像帧。
在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。
在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域。
在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。
在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。
在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。
在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。
在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。
在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。
在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。
在一个实施例中，替换地或附加地，所述装置包括移动通信装置。
方法的一个实施例包括通过照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉单元捕捉被照明场景的至少一个图像帧。
在一个实施例中，替换地或附加地，所述数字图像捕捉单元包括卷帘快门。
在一个实施例中，替换地或附加地，所述场景包括感兴趣区域，并且所述照明包括以比所述场景的其余区域更高的功率来照明所述感兴趣区域。
在一个实施例中，替换地或附加地，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。
在一个实施例中，替换地或附加地，所述照明单元包括配置用于提供结构化光的衍射光学元件。
在一个实施例中，替换地或附加地，所述衍射光学元件是可开关的。
在一个实施例中，替换地或附加地，所述场景的所述第一部分包括人眼并且所述非结构化光被利用于虹膜识别。
在一个实施例中，替换地或附加地，所述结构化光被用于深度计算。
在一个实施例中，替换地或附加地，所述方法进一步包括将非结构化光用于虹膜识别以及将结构化光用于深度计算的至少一个。
在一个实施例中，替换地或附加地，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。
在一个实施例中，替换地或附加地，所述不可见光包括红外光和紫外光之一。
在一个实施例中，替换地或附加地，所述装置包括移动通信装置。
一种装置的实施例包括照明单元、数字图像捕捉单元、至少一个处理器，和存储程序指令的至少一个存储器，这些程序指令在由所述至少一个处理器执行时使得所述装置：通过所述照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉捕捉被照明场景的至少一个图像帧。
一种计算机可读存储介质的实施例，包括用于使得装置的至少一个处理器执行操作的可执行指令，所述操作包括：通过照明单元同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分，并用数字图像捕捉单元捕捉被照明场景的至少一个图像帧。
此处所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备中，并且因此术语“计算机”和“基于计算的设备”各自包括移动电话(包括智能电话)、平板计算机和许多其他设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制哑(“dumb”)或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的提及是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或装置可以包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (15)

1.一种装置，包括：
照明单元，所述照明单元被配置来同时用非结构化光照明场景的第一部分并用结构化光来照明场景的第二部分；以及
数字图像捕捉单元，所述数字图像捕捉单元包括卷帘快门并被配置来捕捉被照明场景的至少一个图像帧；
其中所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域，其中响应于所述卷帘快门曝光在所述感兴趣区域内，所述照明单元被打开或被调到高功率，并且响应于所述卷帘快门曝光在所述感兴趣区域外，所述照明单元被关闭或被调到低功率。
2.如权利要求1所述的装置，其特征在于，所述场景的所述第二部分至少部分覆盖所述场景的所述第一部分。
3.如权利要求1所述的装置，其特征在于，所述照明单元包括配置用于提供结构化光的衍射光学元件。
4.如权利要求3所述的装置，其特征在于，所述衍射光学元件是可开关的。
5.如权利要求1所述的装置，其特征在于，所述场景的所述第一部分包括人眼并且所述非结构化光被用于虹膜识别。
6.如权利要求1所述的装置，其特征在于，所述结构化光被用于深度计算。
7.如权利要求1所述的装置，其特征在于，所述非结构化光和所述结构化光的至少一个包括对人眼不可见的光。
8.如权利要求7所述的装置，其特征在于，所述不可见光包括红外光和紫外光之一。
9.如权利要求1所述的装置，其特征在于，所述装置包括移动通信设备。
10.一种系统，包括：
包括数字图像捕捉单元的装置；以及
配置用于同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分的照明单元，所述照明单元重新附连到所述装置，
其中所述数字图像捕捉单元包括卷帘快门并被配置来捕捉被照明场景的至少一个图像帧；
其中所述场景包括感兴趣区域，并且所述照明单元被进一步配置来以比所述场景的其余区域更高的功率来照明所述感兴趣区域，其中响应于所述卷帘快门曝光在所述感兴趣区域内，所述照明单元被打开或被调到高功率，响应于所述卷帘快门曝光在所述感兴趣区域外，所述照明单元被关闭或被调到低功率。
11.如权利要求10所述的系统，其特征在于，所述照明单元包括配置用于提供结构化光的衍射光学元件。
12.如权利要求11所述的系统，其特征在于，所述衍射光学元件是可开关的。
13.如权利要求10所述的系统，其特征在于，所述装置包括移动通信设备。
14.一种方法，包括：
用照明单元，同时用非结构化光照明场景的第一部分并用结构化光照明所述场景的第二部分；以及
用包括卷帘快门的数字图像捕捉单元，捕捉被照明场景的至少一个图像帧；
所述场景包括感兴趣区域，并且所述照明包括以比所述场景的其余区域更高的功率来照明所述感兴趣区域，其中响应于所述卷帘快门曝光在所述感兴趣区域内，所述照明单元被打开或被调到高功率，响应于所述卷帘快门曝光在所述感兴趣区域外，所述照明单元被关闭或被调到低功率。
15.如权利要求14所述的方法，其特征在于，进一步包括将非结构化光用于虹膜识别以及将结构化光用于深度计算的至少一个。
CN201680013329.9A 2015-03-03 2016-02-09 具有同时的结构化和非结构化照明的数字相机单元 Active CN107408201B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/636,408 2015-03-03
US14/636,408 US9953428B2 (en) 2015-03-03 2015-03-03 Digital camera unit with simultaneous structured and unstructured illumination
PCT/US2016/017048 WO2016140774A1 (en) 2015-03-03 2016-02-09 Digital camera unit with simultaneous structured and unstructured illumination

Publications (2)

Publication Number Publication Date
CN107408201A CN107408201A (zh) 2017-11-28
CN107408201B true CN107408201B (zh) 2020-09-22

Family

ID=55587324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013329.9A Active CN107408201B (zh) 2015-03-03 2016-02-09 具有同时的结构化和非结构化照明的数字相机单元

Country Status (4)

Country Link
US (1) US9953428B2 (zh)
EP (1) EP3265957A1 (zh)
CN (1) CN107408201B (zh)
WO (1) WO2016140774A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350607A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Biometric authentication device
US10547829B2 (en) * 2016-06-16 2020-01-28 Samsung Electronics Co., Ltd. Image detecting device and image detecting method using the same
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10204262B2 (en) 2017-01-11 2019-02-12 Microsoft Technology Licensing, Llc Infrared imaging recognition enhanced by 3D verification
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
US11151235B2 (en) 2017-08-01 2021-10-19 Apple Inc. Biometric authentication techniques
CN115333754A (zh) * 2017-08-01 2022-11-11 苹果公司 用于生物特征认证的装置、方法和存储介质
US10535151B2 (en) * 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
CN108683902B (zh) * 2018-03-31 2020-06-30 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US10990805B2 (en) * 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication
KR102661955B1 (ko) 2018-12-12 2024-04-29 삼성전자주식회사 영상 처리 방법 및 장치
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102848786A (zh) * 2012-07-20 2013-01-02 中国科学院上海光学精密机械研究所 三维身份证及其制备方法
CN104321685A (zh) * 2011-07-08 2015-01-28 托比技术股份公司 眼睛追踪器照明

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2300605A1 (en) 2000-03-14 2001-09-14 Silent Witness Enterprises Ltd. Infrared illuminator housing and assembly
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US11657606B2 (en) 2010-03-16 2023-05-23 OMNIQ Corp. Dynamic image capture and processing
EP3588939B1 (en) * 2010-10-31 2023-10-18 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US9176608B1 (en) * 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
DE102011114500B4 (de) 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
JP2013105272A (ja) 2011-11-11 2013-05-30 Canon Inc 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
GB201205303D0 (en) * 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US9141868B2 (en) 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US9852512B2 (en) * 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US20150276400A1 (en) * 2013-03-13 2015-10-01 Electronic Scripting Products, Inc. Reduced homography for ascertaining conditioned motion of an optical apparatus
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104321685A (zh) * 2011-07-08 2015-01-28 托比技术股份公司 眼睛追踪器照明
CN102848786A (zh) * 2012-07-20 2013-01-02 中国科学院上海光学精密机械研究所 三维身份证及其制备方法

Also Published As

Publication number Publication date
US9953428B2 (en) 2018-04-24
CN107408201A (zh) 2017-11-28
US20160260223A1 (en) 2016-09-08
EP3265957A1 (en) 2018-01-10
WO2016140774A1 (en) 2016-09-09

Similar Documents

Publication Publication Date Title
CN107408201B (zh) 具有同时的结构化和非结构化照明的数字相机单元
US11330199B2 (en) Method and system of adaptable exposure control and light projection for cameras
US10949647B2 (en) System and method of efficient illuminator-sensor synchronization to capture images
EP3673647B1 (en) Methods and systems for image capture
KR102270674B1 (ko) 생체인식 카메라
US10373008B2 (en) Systems and methods of biometric analysis with adaptive trigger
CN104253947B (zh) 智能相机闪光灯
US9863767B2 (en) Motion sensor device having plurality of light sources
US10194129B2 (en) Method of taking pictures for generating three-dimensional image data
CN108198175B (zh) 检测方法、检测装置、计算机设备和计算机可读存储介质
JP2017123020A (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
KR102506363B1 (ko) 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법
US9113088B2 (en) Method and apparatus for photographing an image using light from multiple light sources
CN109447927B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20160350607A1 (en) Biometric authentication device
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
JP2014176061A (ja) 電子機器
JP2018098716A (ja) 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム
JP6512806B2 (ja) 撮像装置
WO2022241374A1 (en) Optical sensor device
JP2016086391A (ja) 撮像装置、その制御方法、および制御プログラム
WO2024076531A1 (en) Hybrid auto-focus system with robust macro object priority focusing
JP2016019022A (ja) 撮像装置、撮像装置の制御方法及びプログラム
WO2015144973A1 (en) Digital imaging with pulsed illumination to generate a depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant