CN108513078A - 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统 - Google Patents

用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统 Download PDF

Info

Publication number
CN108513078A
CN108513078A CN201810156902.2A CN201810156902A CN108513078A CN 108513078 A CN108513078 A CN 108513078A CN 201810156902 A CN201810156902 A CN 201810156902A CN 108513078 A CN108513078 A CN 108513078A
Authority
CN
China
Prior art keywords
frame
exposure
time
radiation pulses
frame time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810156902.2A
Other languages
English (en)
Other versions
CN108513078B (zh
Inventor
X·苗
D·鑫
Z·L·布兰德
H·达尔坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Lighthouse AI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lighthouse AI Inc filed Critical Lighthouse AI Inc
Priority to CN202110822807.3A priority Critical patent/CN113556528A/zh
Publication of CN108513078A publication Critical patent/CN108513078A/zh
Application granted granted Critical
Publication of CN108513078B publication Critical patent/CN108513078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

通常，本发明的各实施例涉及一种用于捕获视频帧的方法。该方法包括：使用深度传感相机和红外照射器获得环境的深度数据帧，其中该环境通过由该红外照射器发射的照射图样而被照射；获得红外照射器参数设定，其用于由该红外照射器发射的该照射图样；基于期望帧曝光来获得期望帧曝光时间；基于该红外照射器参数设定和该期望帧曝光时间来确定实际帧曝光时间；以及，在确定该实际帧曝光时间之后，使用该实际帧曝光时间使用该红外照射器通过该照射图样获得该环境的帧。

Description

用于通过深度传感相机使用光发射在弱光条件下捕获视频影 像的方法和系统
背景技术
计算机视觉越来越依赖于深度数据。视频相机和深度传感相机因而可配对以获得环境的三维彩色或灰度影像。深度传感可能需要主动性照射，例如通过一个或多个红外照射器实现。
发明内容
通常，在一个方面，本发明涉及一种用于捕获视频帧的方法。该方法包括：使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由所述红外照射器发射的照射图样照射；获得红外照射器参数设定，用于由所述红外照射器发射的所述照射图样；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得所述环境的帧。
通常，在一个方面，本发明涉及一种用于捕获视频帧的系统。该系统包括：深度传感相机；红外照射器，其被配置以发射一照射图样以照射环境，从而能够通过所述深度传感相机捕获深度数据帧；成像控制引擎，其被配置为：获得所述红外照射器的红外照射器参数设定；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；视频相机，其被配置为使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
通常，在一个方面，本发明涉及一种非暂时性计算机可读介质(CRM)，包括指令，能够使系统捕获视频帧以：使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由红外照射器发射的照射图样照射；基于期望帧曝光，获得期望帧曝光时间；基于所述红外照射器参数设定和所述期望帧曝光时间，确定实际帧曝光时间；在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
附图说明
图1显示出根据本发明的一个或多个实施例的相机系统。
图2显示出根据本发明的一个或多个实施例的示例性的帧捕获时序。
图3和图4显示出根据本发明的一个或多个实施例的描述帧捕获方法的流程。
图5显示出根据本发明的一个或多个实施例的示例性的相机系统应用。
图6显示出根据本发明的一个或多个实施例的计算机系统。
具体实施方式
本发明的具体实施例现在将参照附图描述。在以下对本发明实施例的详细描述中，提出多个具体细节以提供对本发明的更透彻理解。不过，应认识到，对于本领域普通技术人员而言，本发明可在没有这些具体细节的情况下实行。在其他情况下，不描述公知特征以避免使描述变得不必要地繁杂。
在以下对图1－6的描述中，在本发明的各个实施例中，关于附图所描述的任何部件可等同于关于任何其他图所描述的一个或多个相同/相似名称的部件。为了简要描述，这些部件将不会关于每个图重复描述。这样，每个图的部件的每个和每一个实施例通过引用并入而且假定可选地存在于具有一个或多个相同/相似名称的部件的每个其他图内。此外，根据本发明的各个实施例，图中部件的任何描述应被解读为可选的实施例，其可针对关于任何其他图中对应的相同/相似名称的部件所描述的实施例而另外地、组合地或替代性地实施。
通常，本发明的实施例涉及：包括视频相机和深度传感相机的系统、以及使用深度传感相机的光源照射由视频相机捕获的帧的方法。更特别地，本发明的一个或多个实施例能够通过视频相机在需要额外照射的光照条件下捕获帧，而不需要专用的视频相机光源。本发明的实施例作为替代能够使用由深度传感相机的照射器发射的光。由照射器提供的光可使用深度传感相机测量原理所需的时间性图样发射。例如，所发射的光可为脉冲式的。在本发明的一个或多个实施例中，发射光的时间性图样能够使视频相机避免所捕获帧中的伪影。
图1显示出根据本发明的一个或多个实施例的相机系统100。相机系统可用于捕获环境120中的数据。环境120可以是在相机系统100的视域内的三维空间。环境120可为任意类型的环境，例如室内或室外环境。环境120可包括一个或多个对象122。对象可以是可通过相机系统100成像的任何事物。
在本发明的一个或多个实施例中，相机系统100包括视频相机102和深度传感相机106。根据本发明实施例的深度传感相机装备有红外(IR)照射器110。进一步地，成像控制引擎114与视频相机102和深度传感相机106相接。这些部件中的每个随后描述。
相机系统100可为便携式单元，其可定位而使得视频相机102和深度传感相机的视域覆盖环境120中的关注区域。相机系统100可例如安置在搁架上、三脚架上、或在墙壁或天花板上安装的支架上。在不背离本发明的情况下，可使用相机系统100的其他位置。相机系统100的单一壳体可容纳视频相机102、深度传感相机106、IR照射器110、和成像控制引擎114，或者，这些部件的一个或多个可分别容纳其中。
相机系统100的视频相机102可为任意类型的相机，其能够捕获环境120中的二维影像帧。视频相机102可包括影像传感器104，例如三原色(RGB)或印刷四色(CMYG)的彩色或灰度电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器，具有例如320x240像素的空间分辨率。本领域技术人员应认识到，本发明不限于前述的影像传感器技术、时间性和/或空间性分辨率。在本发明的一个或多个实施例中，视频相机的快门速度和/或帧率能够外部控制。这样，所捕获帧的曝光可通过规定曝光时间(或快门速度)(例如通过视频相机接口116实现)而控制。较长的曝光时间(较慢的快门速度)可用于捕获较暗场景，而较短的曝光时间(较快的快门速度)可用于捕获较亮场景。进一步地，在本发明的一个实施例中，帧捕获可从外部触发，例如通过由视频相机接口116提供的脉冲信号触发。外部同步信号可因而用于控制被捕获的帧的时序，即，帧率。不同的帧率可根据外部同步信号的频率而获得。视频相机可进一步能够确定适合的快门速度，而不需要外部输入。进一步地，视频相机也可支持自由运行模式，这能够使相机以内部规定的帧率捕获帧，因而不需要外部同步信号。
在本发明的一个实施例中，视频相机102对红外(IR)频谱中的波长敏感。视频相机可因而用于暗环境中，暗环境使用IR照射器不可见地照射。虽然图1中未示出，不过，视频相机102可包括IR截止滤波器。IR截止滤波器可在常规日光操作条件下阻挡红外光。IR截止滤波器可因而在日光操作条件下改善色彩表现。当探测到用于日光操作的光不足时，IR截止滤波器可停用以允许所发射(例如由IR照射器发射)的红外光通过。灰度影像可因而通过相机在暗环境中获得。更特别地，IR照射器110(在下文中进一步描述)可发射红外光132。红外光可被环境120中的对象122反射。被反射的红外光134然后可以被视频相机的影像传感器104接收。影像帧可因而基于被反射的红外光134通过视频相机102产生。与此不同的是，在日光操作条件中，IR截止滤波器阻挡被反射的红外光，使得通过视频相机产生的影像帧完全基于可见频谱光。
虽然图1中未示出，不过视频相机可包括除影像传感器以外的部件。例如，视频相机可包括：光学元件，其将进入光引导到影像传感器104；和电子电路，其处理从影像传感器104获得的信号并将其提供到视频相机接口116。所述的处理可涉及模拟和数字处理、压缩、格式转换、缓冲，等等。
在本发明的一个实施例中，相机系统100进一步包括：深度传感相机106，其能够报告所监测的环境120的深度值。例如，深度传感相机106可提供深度测量值用于一组320x240像素(四分之一视频图形阵列(QVGA)分辨率)，时间性分辨率为每秒30帧(fps)。深度传感相机106可基于根据扫描仪的或无扫描仪的深度测量技术，例如光探测和测距(LIDAR)，使用飞行时间(time-of-flight)测量值确定到深度传感相机106的视域中的对象的距离。不过，在不背离本发明的情况下，深度传感相机的深度传感器108可基于任意深度传感技术。深度传感相机的视域和取向可被选择以覆盖所监测环境120的与由视频相机所捕获的所监测环境部分类似(或大致类似)的部分。
虽然图1中未示出，不过深度传感相机可包括除了深度传感器108以外的部件。例如，深度传感相机可包括：光学元件，其将进入光引导到深度传感器108；和电子电路，其处理从深度传感器108获得的信号并将其提供到深度传感相机接口118。所述处理可涉及模拟和数字处理、压缩、格式转换、缓冲，等等。深度传感相机可进一步包括：针对IR照射器110的接口，以控制由IR照射器发射的照射图样。
在本发明的一个实施例中，相机系统102进一步包括：红外(IR)照射器110。IR照射器可在例如850nm(接近不可见)或940nm(不可见)的波长下操作，并可功能性地联接到深度传感相机106。红外照射器的主要目的可以是：提供用于深度传感相机106的功能所必要的照射图样。相应地，照射图样性质可特定于深度传感相机的操作原理，并可包括发射光132的时间性和/或空间性调制。发射光的特性在图2中进一步描述。根据相机系统100的配置和使用，一个或多个IR照射器110可用于照射环境120。
在本发明的一个或多个实施例中，视频相机102被配置为使其得益于通过发射光132对环境120的照射，从而捕获反射光134，例如，被环境120中的对象120反射的发射光132。相应地，视频相机102可在暗环境中操作，而不需要专用光源。在本发明的一个或多个实施例中，视频相机102被参数设定以特别考虑到由IR照射器110所发射光的调制，以避免在视频相机所提供影像中的伪影。能够使相机系统100考虑到由IR照射器110所发射光的调制的方法在图3和图4中描述。
在本发明的一个或多个实施例中，相机系统102包括成像控制引擎114。成像控制引擎可控制视频相机102和/或深度传感相机106的操作，例如，通过参数设定视频相机和/或深度传感相机实现。特别地，根据本发明的一个或多个实施例的成像控制引擎可在由深度传感相机106的IR照射器110提供的照射与由视频相机102捕获的帧之间协调相互作用，从而能够由视频相机102捕获无伪影的帧，而同时依靠IR照射器110作为主光源。成像控制引擎114可包括：视频相机接口116和深度传感相机接口118，以能够参数设定相机。可进一步这些接口分别从视频相机102和深度传感相机106接收影像和深度数据。成像控制引擎114可在类似于图6中所示的示例性计算装置的计算装置(图1中未示出)上执行。移动型、桌上型、伺服型、嵌入型、或其他类型的硬件的任意组合可用于实施所述计算装置。例如，计算装置可为片上系统(SOC)，即，将计算装置的所有部件集成于单一芯片中的集成电路(IC)。SOC可包括一个或多个处理器芯、相关联的存储器(例如随机存储器(RAM)、高速缓冲存储器、闪速存储器，等等)、通过网络接口连接的网络接口(例如局域网(LAN)、广域网(WAN)(例如互联网)、移动网、或任何其他类型的网络)，并相连到存储装置、输入和输出装置，等等。计算装置可进一步包括一个或多个存储装置(例如硬盘、光学驱动器(如光盘(CD)驱动器或数字视盘(DVD)驱动器)、闪存棒，等等)、和多种其他元件和功能结构。在本发明的一个或多个实施例中，计算装置包括操作系统(例如Linux)，操作系统可包括功能结构以执行下文中进一步描述的方法。本领域技术人员应认识到：本发明不限于计算装置的前述配置。在本发明的一个或多个实施例中，计算装置可与视频相机102和/或深度传感相机106集成。可替代地，计算装置可分立于视频相机102和/或深度传感相机106，并可使用有线和/或无线的连接与视频相机102和/或深度传感相机106相连。
相机系统100的部件，即，视频相机102、深度传感相机106、成像控制引擎114、和可与相机系统100相连的其他部件，可使用有线和/或无线的通讯协议的任意组合经由局域网和/或广域网(即，通过互联网)通讯。这些通讯的执行方式可基于本发明的实施方式而变化。
本领域技术人员应认识到：相机系统不限于上述配置。例如，在不背离本发明的情况下，可以采用任意类型的深度传感相机技术和任意类型的视频记录技术。这些技术可能具有偏离于上述配置的细节。例如，成像可在任意波长或波段执行，类似地，在不背离本发明的情况下，由照射器所发射的光的波长可偏离于以上描述。
图2显示出根据本发明的一个或多个实施例的示例性帧捕获时序。更特别地，图2显示出由深度传感相机的照射器发射的光。光基于照射图样234发射。照射图样可特定于深度传感相机106所依靠的深度传感技术。图2中的示例性的照射图样234包括八个矩形照射光脉冲的脉冲序列(总称236)。这些脉冲中的每个的特征是：照射脉冲开启时间238、照射脉冲关闭时间240、和照射脉冲周期242，其中照射脉冲周期是照射脉冲开启时间和照射脉冲关闭时间之和。假定例如光发射1ms(照射脉冲开启时间)，随后暂停1.6ms(照射脉冲关闭时间)，于是照射脉冲周期242为2.6ms。在示例中，照射图样持续时间因而为20.8ms。可能存在有在照射图样之后的时段(未示出)(也被称为“暂停”)，暂停可在照射图样234重复之前发生。在本发明的一个或多个实施例中，暂停可为10ms。不过，本发明不限于包括暂停的实施例和/或包括10ms暂停的实施例。
图2进一步显示出帧捕获时间窗250，在此过程中完成帧捕获(时间性地对准照射图样)。在本发明的一个或多个实施例中，按逐个像素行获取视频或影像帧。像素行依序读取，相应地，像素行1-N(254.1-254.N)可能无法立刻获取，而是具有轻微的时间性偏移，如图2中所示。虽然每个像素行可能经历相同的实际帧曝光时间252，不过像素行曝光时间窗256的对准(在此过程中，像素行曝光于由照射器发射的光)根据像素行而不同。
在本发明的一个或多个实施例中，实际帧曝光时间252是照射脉冲周期的倍数。在示例性的帧捕获时间窗250中(如图2中所示)，实际帧曝光时间252是10.4ms，对应于四个照射脉冲周期238。在图2所示的示例中，实际帧曝光时间可为照射脉冲周期的任意倍数，范围从2.6ms(一个照射脉冲周期)到18.2ms(七个照射脉冲周期)。不过，重要的是应注意：由于方波状照射图样，因而相机传感器对于光的曝光随时间是不一致的。在图2所示的示例中，光仅在1ms的照射脉冲开启时间过程中被接收。相应地，如果实际帧曝光时间持续四个照射脉冲周期，则来自照射器的光被接收4ms，其中假定不存在额外背景光。如果存在额外背景光(例如在原本的暗环境中的月光)，则除在照射脉冲开启时间过程中发射的光以外，这种光也被接收。
在本发明的一个或多个实施例中，实际帧曝光时间242确保对来自照射器的光的曝光对于每个像素行244而言是相同的。本发明的实施例确保对于所有像素行实现一致的曝光，如随后所述。
考虑图2中所示的示例性场景。用于第一像素行254.1的像素行曝光时间窗256.1的开始与第一照射脉冲周期的开始对准。进一步地，用于第一像素行254.1的像素行曝光时间窗256.1的结束与第四照射脉冲周期的结束对准。相应地，第一像素行的像素的读取基于与光脉冲1-4相关联的光。因此，总的开启时间(照射器启用)为：4x 1ms＝4ms。虽然用于第二像素行244.2的实际帧曝光时间252与第一像素行的实际帧曝光时间相同，不过第二像素行通过轻微的时间性偏移而读取，如图2中所示。相应地，用于第二像素行254.2的像素行曝光时间窗256.2的开始相对于第一照射脉冲周期的开始略微延迟。相应地，在第一照射脉冲过程中提供的光并未被全部捕获。不过，第二像素行254.2的像素行曝光时间窗256.2与第五照射脉冲略微重叠相同持续时间。相应地，因错过第一照射脉冲起始而未接收到的光通过在第五照射脉冲过程中接收的光而得以补偿。相应地，对于第二像素行的总照射脉冲开启时间(照射器启用)也等于4ms。根据本发明的一个或多个实施例，所述过程对于影像传感器的所有像素行而言是类似的，因而所有像素行经历相同的照射器合计开启时间。因此，在通过影像传感器获得的影像帧中，不会(或者大致不会)因不同像素行关于照射器光的不均匀曝光而发生亮度改变。
本领域技术人员应认识到：虽然图2显示出实际帧曝光时间242持续四个照射脉冲周期，不过实际帧曝光时间242可持续任意数量的照射脉冲周期，其范围从单个照射脉冲周期到M-1个照射脉冲周期，其中M是照射图样中的脉冲周期的数量。实际帧曝光时间242可以不持续M个照射脉冲周期，这是因为，没有照射脉冲M+1存在，则在实际帧曝光时间过程中，对于除第一像素行之外的任何像素行而言，像素行曝光时间窗在各像素行之间的变换将导致总的开启时间经历减少。相应地，一个要求可能是：最后的像素行的像素行曝光时间窗结束于最后的照射脉冲的结束之处或之前。用于基于这些限制而确定正确实际帧曝光时间的方法在图3和4中描述。
图3和图4显示出根据本发明的一个或多个实施例的流程。虽然在流程中的各个步骤依序呈现和描述，不过本领域普通技术人员应认识到：这些步骤中的一些或所有步骤可按照不同顺序执行，可组合或省略，而且所述步骤中的一些或所有步骤可并行地执行。在本发明的一个或多个实施例中，在不背离本发明的情况下，图3和图4中所示的步骤可与图3和图4中所示的任意其他步骤并行地执行。
图3显示出根据本发明的一个或多个实施例的一种方法，用于在暗光条件下使用由深度相机照射器所提供的照射来捕获帧。所述方法还包括以下步骤：能够在常规的光条件下捕获帧，即，当充足的光可用时能够使相机以日光操作模式操作。图3中的步骤可通过影像控制引擎和与影像控制引擎经由视频相机接口相连的视频相机而执行。虽然图3的方法如此执行，不过深度传感相机可分立地和独立地获取深度影像帧。虽然深度影像帧的获取可能无法通过图3中所述方法控制，不过图3的方法可通过同步信号取得深度影像获取时序，进一步地，深度传感相机的参数设定、特别是建立照射图样的时序的参数，可通过图3中所述方法取得。
转向图3，在步骤300中，获得与深度传感相机相关联的IR照射器的参数设定。所获得的变量至少包括：照射脉冲开启时间、照射脉冲周期、每个照射图样的照射脉冲数量。
在步骤302中，关于光照条件是否要求相机系统依靠由红外照射器提供的光进行确定。在本发明的一个或多个实施例中，周边光传感器可用于量化当前光照条件以进行步骤302中的确定。如果确定环境足够亮而使得IR照射不必要，则所述方法可行进到步骤304。
在步骤304中，IR截止滤波器启用。这样，避免IR光(包括由IR照射器发射的光)到达视频相机的影像传感器。在步骤306中，视频相机配置为使用其内置时序获得帧。换言之，视频相机被配置为自由运行，因而不需外部触发来捕获帧。视频相机可使用内置算法确定适合的曝光时间。
返回步骤302，如果确定周边光不足以捕获帧而使得有必要进行IR照射，则所述方法可行进到步骤308。
在步骤308中，IR截止滤波器停用，以允许IR光到达视频相机的影像传感器。
在步骤310中，获得期望曝光时间。期望曝光时间可通过各种方式获得。特别地，由于曝光时间的选择影响到所采取的影像亮度，即，曝光，因而期望曝光时间可基于期望影像曝光而设定。期望影像曝光可对于整个影像进行选择，以获得平均期望影像曝光。可替代地，影像曝光可对于特定的影像区域(例如对于影像中标识的对象)进行选择，如下文中在用例中进一步描述。在本发明的一个或多个实施例中，期望曝光时间递增地确定。先前捕获的帧或多个先前捕获的帧可基于探测到的曝光进行曝光分析，例如通过将各个像素亮度值平均而进行评估，期望曝光时间可向上或向下调节。所获得的期望曝光时间是对应于测量到的时间间隔(例如以毫秒为单位)的量。
在步骤312中，确定实际帧曝光时间，其将由相机在捕获帧时使用。在本发明的一个或多个实施例中，实际帧曝光时间被设定为近似于步骤310中获得的期望帧曝光时间，如图4中进一步所述。
在步骤314中，视频相机被配置为使用步骤312中获得的实际帧曝光时间；在步骤316中，视频相机被配置为使帧捕获与指示照射图样第一照射脉冲开始的同步信号同步，基于所述照射图样，由深度传感相机的IR照射器发射光。
在步骤318中，关于是否已收到同步信号进行确定。如果未收到同步信号，则所述方法留在步骤318中。如果已收到同步信号，则所述方法可行进到步骤320。步骤318因而基于同步信号的接收而监控帧获取。重复执行，步骤318中探测到的同步信号因而掌控视频相机对环境成像的帧率。
在步骤320中，视频相机影像传感器被读取以获得帧。在本发明的一个或多个实施例中，按逐个像素行执行读取。相应地，虽然第一像素行曝光时间窗的开始可与第一照射脉冲的起始对准，不过随后而来的像素行曝光时间窗可能具有增大的延迟。在本发明的一个或多个实施例中，像素行之间的延迟是固定的特定于影像传感器的特性，且可修改。不过，重要的是，根据本发明的实施例，最后的像素行的读取的结束不晚于最后的照射图样照射脉冲结束时。
在步骤322中，帧曝光进一步被调节以近似于期望帧曝光时间。如前所述，在步骤312中，实际帧曝光时间具有受限于脉冲周期的间隔尺寸。根据本发明的实施例，实际曝光时间因而受限于脉冲周期的倍数。相应地，根据脉冲周期，所选择的实际帧曝光时间可仅为期望帧曝光时间的粗糙近似。进一步地，如果实际帧曝光时间的计算基于假定仅光源是脉冲IR照射器，则除了由照射器提供的光以外，背景光(例如月光)可能导致帧过度曝光。为了获得与期望帧曝光时间的更好的近似或匹配，在步骤322中，帧因而被进一步处理。所述处理可涉及：施加加法和/或乘法(multiplicative)增益(或基于任何其他数学函数的增益)，以向上或向下调节影像中的像素的亮度至期望帧曝光时间规定的水平。在本发明的一个或多个实施例中，曝光调节可进一步通过调节拟用于随后捕获下一帧的实际帧曝光时间而进行。例如，如图4中所述，如果发现影像帧过度曝光，则实际帧曝光时间可缩短。
在步骤324中，帧被存档和/或传送到另一方。进一步的，可执行额外处理，例如格式转换、压缩、缓冲，等等。在执行步骤324之后，所述方法可返回到步骤302以获得下一帧，或者可替代地，如果没有额外的帧需要捕获，则所述方法可终止执行。
图4显示出根据本发明的实施例基于期望帧曝光时间获得实际帧曝光时间的方法。
在步骤400中，对于在步骤310中获得的期望帧曝光时间，确定照射脉冲开启时间的最近的倍数。照射脉冲开启时间的最近的倍数可通过对期望帧曝光时间取整或者可替代地通过对照射脉冲开启时间的最近的倍数向上或向下取整而确定。这种操作所依据的假定是：拟在期望帧曝光时间过程中接收的光在IR照射器的开启时间间隔过程中被接收。假定对于图2中所述场景(其中开启时间为1ms且关闭时间为1.6ms)而言，期望帧曝光时间例如为4.3ms。步骤400的执行因而使得照射脉冲开启时间的最近的倍数为4x 1ms＝4ms。
在步骤402中，对于照射脉冲开启时间的最近的倍数获得实际帧曝光时间。由于实际帧曝光时间基于照射脉冲周期(其包括照射脉冲开启时间和照射脉冲关闭时间)，因而实际帧曝光时间通过找到与照射脉冲开启时间的倍数对应的照射脉冲周期的倍数而确定。在以上示例中，实际帧曝光时间因而为4x(1ms+1.6ms)＝10.4ms。
在本发明的一个或多个实施例中，最大的实际帧曝光时间受限于M-1照射脉冲周期，如先前参照图2所述。进一步地，最大的实际帧曝光时间还受限于以下要求：对于所有的像素行，读取的完成必须先于第M个照射脉冲开启时间间隔的结束。换言之，与第N个像素行(即，影像传感器被读取的最后的像素行)相关联的实际像素行曝光时间窗的结束必须不晚于照射图样的最后的照射脉冲。如果(基于步骤400中选择的照射脉冲开启时间的最近的倍数)此条件被打破，则必须选择较小的照射脉冲开启时间。由于结果的实际帧曝光时间可短于期望值，因而影像亮度在步骤322中必须增大。
本领域技术人员应认识到，图3和图4的方法可修改而使得：单一帧的捕获可持续多个连续的照射图样。例如，如果在步骤402中确定的实际帧曝光时间显著长于照射图样，则帧捕获可延伸过两个随后的照射图样，这是捕获适合量的光所必要的。不过，结果的视频相机的总帧率可减小。特别地，例如，如果单一帧的捕获持续第一照射图样并延伸到第二照射图样中，而非限制于单一的照射图样，则可实现的帧率减小为一半。
以下描述本发明的一个或多个实施例的用例。以下所述用例场景意在提供用于使用深度传感相机发射光在暗光条件下捕获视频影像的方法和系统的应用示例。用例场景基于图5中所示的样本监控系统设置500，其仅用于例示目的，并非用于限制本发明的范围。图3和图4中所示方法不限于图5的设置，而是在宽范围的应用中通用。
图5显示出根据本发明的实施例的监控系统500。监控系统包括相机系统502，相机系统502装备有深度传感相机504和视频相机508，以探测所监控环境505中的活动。所监控环境505包括背景对象552，例如墙壁552A、家具552B，等等。所监控环境505可进一步包括前景对象，例如人554A和宠物554B。在本发明的一个或多个实施例中，深度传感相机504被配置为：基于三维工作空间中的运动探测前景对象。探测到的前景对象然后基于一个或多个分类准则(例如对象的尺寸和形状)被分类。监控系统因而可将人554A区别于猫554B。
关于监控系统和在所监控环境中进行对象探测的额外细节在美国专利申请No.14/813,907(2015年7月30日提交)中提供，所述专利申请的全部公开内容由此通过引用明确并入本文。
深度传感相机504包括：红外照射器506，其基于图2中所述照射图样而发射光。进一步地，视频相机508在空间上对准深度传感相机504，使得基于深度数据由深度传感相机探测到的对象可在视频相机的视频影像中被识别。
初始，假定所监控环境暴露于充足的日光，使得视频相机使用其内部配置捕获所监控环境的彩色影像。虽然深度传感相机与视频相机同时操作，由此使红外照射器发射光，不过这种光不影响视频相机的操作，这是因为IR截止滤波器启用，因而仅可见光(而非IR光)被视频相机捕获。
下一步，假定图5描述夜晚场景，此时周边光不足以作为单独光源用于由视频相机捕获帧。这样，IR截止滤波器停用，依靠由深度传感相机的IR照射器发射的IR光作为主光源，如图2、3、4中所述。初始，假定没有前景对象在所监控环境中被深度传感相机探测到，即，所监控环境中不存在人或猫。相应地，期望帧曝光时间基于所监控环境的平均期望曝光被选择。这种曝光选择影响到被捕获帧的亮度范围，使得整个所监控环境(包括背景对象)清晰可见。
假定对应的期望帧曝光时间为4.4ms。假定照射脉冲开启时间1ms，照射脉冲关闭时间1.6ms，照射脉冲开启时间的最近的倍数因而为4ms，结果实际帧曝光时间为10.4ms。当从深度传感相机接收到同步信号(触发脉冲)时读取影像传感器。不必进行曝光调节，帧因而原样存档。帧是无伪影的，这是因为，所有像素行在10.4ms的时间间隔(均包括相同的4ms的IR照射器开启时间)过程中同样地曝光。
下一步，假定人进入所监控环境。人被深度传感相机探测到并被成功分类为人。期望帧曝光时间更新以在被捕获的帧中正确对人曝光，而同时忽视周围环境。在此示例中，当人首先在帧中出现时执行期望曝光时间调节。由于人与环境相比而言IR反射强，因而选择较短的期望帧曝光时间。继续使用先前设置的4ms期望帧曝光时间将导致人过度曝光，其中，与人所处影像区域相关联的像素值饱和。假定期望帧曝光时间被确定为2.1ms。照射脉冲开启时间的最近的倍数因而为2ms，结果实际帧曝光时间为5.2ms。以更新的实际帧曝光时间捕获帧。在结果的帧中，人正确曝光，而周围环境显得比先前使用10.4ms实际帧曝光时间所记录时更暗。帧仍是无伪影的，这是因为，所有像素行在5.2ms的时间间隔(均包括相同的2ms的IR照射器开启时间)过程中同样地曝光。
本发明的实施例能够使用深度传感相机照射器发射光而在暗光条件下捕获视频影像。本发明的实施例因而能够实现深度传感/视频记录相机系统的经济的设计，仅需要单一光源。消除视频相机的专用光源不仅减少成本而且能够实现相机系统的新型紧凑机械设计，而且消除了视频相机光源与深度传感相机相互干扰的可能性。
所述技术的实施例可在计算机系统上实施。可使用移动型、桌上型、伺服型、嵌入型、或其他类型的硬件的任意组合。例如，如图6中所示，计算系统600可包括：一个或多个计算机处理器602；相关联的存储器604(例如，随机存储器(RAM)、高速缓冲存储器、闪速存储器等等)；一个或多个存储装置606(例如硬盘、光学驱动器(如光盘(CD)驱动器或数字视盘(DVD)驱动器)、闪存棒，等等)；和多种其他元件和功能结构。计算机处理器602可为用于处理指令的集成电路。例如，计算机处理器可为处理器的一个或多个芯或微芯。计算系统600还可包括一个或多个输入装置610，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔、或者任何其他类型的输入装置。进一步地，计算系统600可包括一个或多个输出装置608，例如屏幕(例如液晶显示器(LCD)、等离子体显示器、触摸屏、阴极射线管(CRT)监视器、投影仪、或其他显示装置)、打印机、外部存储器、或任何其他输出装置。一个或多个输出装置可与输入装置相同或不同。计算系统600可通过网络接口连接结构(未示出)连接到网络612(例如，局域网(LAN)、广域网(WAN)(例如互联网)、移动网、或任何其他类型的网络)。输入和输出装置可本地地或远程地(例如通过网络612)连接到计算机处理器602、存储器604、和存储装置606。存在许多不同类型的计算系统，上述输入和输出装置可采取其他形式。
采用计算机可读程序代码形式以执行所述技术的实施例的软件指令可全部地或部分地、临时地或永久地存储在非暂时性计算机可读介质上，例如为CD、DVD、存储装置、磁盘、磁带、闪速存储器、物理存储器、或任何其他计算机可读存储介质。特别地，软件指令可对应于计算机可读程序代码，计算机可读程序代码当由处理器执行时被配置为执行所述技术的实施例。
进一步地，前述计算系统600的一个或多个元件可位于远程地点，并通过网络612连接到其他元件。进一步地，所述技术的实施例可在具有多个节点的分布式系统上实施，其中所述技术的每个部分可位于分布式系统内的不同节点上。在所述技术的一个实施例中，节点对应于独立计算装置。可替代地，节点可对应于具有相关联物理存储器的计算机处理器。节点可替代地可对应于具有共享存储器和/或资源的计算机处理器或计算机处理器的微芯。
虽然本发明已经关于有限数量的实施例进行描述，不过受益于本公开内容的本领域技术人员将认识到，在不背离如在此公开的本发明的范围的情况下，可以设想到其他实施例。相应地，本发明的范围应仅由所附权利要求书限定。

Claims (22)

1.一种用于捕获视频帧的方法，包括：
使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由所述红外照射器发射的照射图样而被照射；
获得红外照射器参数设定，其用于由所述红外照射器发射的所述照射图样；
基于期望帧曝光来获得期望帧曝光时间；
基于所述红外照射器参数设定和所述期望帧曝光时间来确定实际帧曝光时间；以及
在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得所述环境的帧。
2.根据权利要求1所述的方法，进一步包括：
调节所述帧的实际曝光以近似于所述期望帧曝光。
3.根据权利要求1所述的方法，进一步包括：
在确定所述实际帧曝光时间之后，接收同步信号，
其中，所述帧在接收所述同步信号之后获得。
4.根据权利要求3所述的方法，其中，所述同步信号标记由所述红外照射器实现的所述照射图样的开始。
5.根据权利要求1所述的方法，其中，所述照射图样包括多个照射脉冲，
其中，所述多个照射脉冲中的每个照射脉冲具有照射脉冲周期，所述照射脉冲周期包括照射脉冲开启时间和照射脉冲关闭时间。
6.根据权利要求5所述的方法，其中，确定所述实际帧曝光时间包括：
对于所述期望帧曝光时间，确定所述照射脉冲开启时间的最近的倍数；以及
从与所述照射脉冲开启时间的所述最近的倍数对应的所述照射脉冲周期的倍数来获得所述实际帧曝光时间。
7.根据权利要求6所述的方法，
其中，所述实际帧曝光时间不超过M-1照射脉冲周期，并且
其中，M是所述多个照射脉冲的基数。
8.根据权利要求1所述的方法，其中，获得所述期望帧曝光包括从包括以下的组中选出的一个步骤：
基于所述帧的期望平均曝光来确定所述期望帧曝光；
基于所述帧中的对象的期望曝光来确定所述期望视频帧曝光，其中，所述对象基于来自所述深度传感相机的数据而被确定。
9.根据权利要求1所述的方法，其中，使用所述实际帧曝光时间来获得帧大致消除所述帧中的各区域的不均匀的曝光。
10.一种用于捕获视频帧的系统，所述系统包括：
深度传感相机；
红外照射器，其被配置为发射照射环境的照射图样，从而能够通过所述深度传感相机捕获深度数据帧；
成像控制引擎，其被配置为：
获得所述红外照射器的红外照射器参数设定；
基于期望帧曝光来获得期望帧曝光时间；
基于所述红外照射器参数设定和所述期望帧曝光时间来确定实际帧曝光时间；以及
视频相机，其被配置为使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
11.根据权利要求10所述的系统，其中，所述成像控制引擎进一步被配置为调节所述帧的实际曝光以近似于所述期望帧曝光。
12.根据权利要求10所述的系统，其中，所述视频相机进一步被配置为：
在确定所述实际帧曝光时间之后接收同步信号；以及
在接收所述同步信号之后获得所述帧。
13.根据权利要求12所述的系统，其中，所述同步信号标记由所述红外照射器实现的所述照射图样的开始。
14.根据权利要求10所述的系统，其中，所述照射图样包括多个照射脉冲；
其中，所述多个照射脉冲中的每个照射脉冲具有照射脉冲周期，所述照射脉冲周期包括照射脉冲开启时间和照射脉冲关闭时间。
15.根据权利要求14所述的系统，其中，确定所述实际帧曝光时间包括：
对于所述期望帧曝光时间，确定所述照射脉冲开启时间的最近的倍数；
从与所述照射脉冲开启时间的所述最近的倍数对应的所述照射脉冲周期的倍数来获得所述实际帧曝光时间。
16.根据权利要求15所述的系统，
其中，所述实际帧曝光时间不超过M-1照射脉冲周期，并且
其中，M是所述多个照射脉冲的基数。
17.根据权利要求10所述的系统，其中，获得所述期望帧曝光包括从包括以下的组中选出的一个步骤：
基于所述帧的期望平均曝光来确定所述期望帧曝光；
基于所述帧中的对象的期望曝光来确定所述期望视频帧曝光，其中，所述对象基于来自所述深度传感相机的数据而被确定。
18.根据权利要求10所述的系统，其中，所述深度传感相机包括飞行时间深度传感器。
19.一种非暂时性计算机可读介质CRM，包括指令，所述指令能够使系统捕获视频帧以：
使用深度传感相机和红外照射器获得环境的深度数据帧，其中，所述环境通过由红外照射器发射的照射图样而被照射；
基于期望帧曝光来获得期望帧曝光时间；
基于所述红外照射器参数设定和所述期望帧曝光时间来确定实际帧曝光时间；以及
在确定所述实际帧曝光时间之后，使用所述实际帧曝光时间使用所述红外照射器通过所述照射图样获得帧。
20.根据权利要求19所述的非暂时性CRM，其中，所述指令进一步能够使系统：
在确定所述实际帧曝光时间之后接收同步信号；
其中，所述帧在接收所述同步信号之后获得。
21.根据权利要求19所述的非暂时性CRM，
其中，所述照射图样包括多个照射脉冲；
其中，所述多个照射脉冲中的每个照射脉冲具有照射脉冲周期，所述照射脉冲周期包括照射脉冲开启时间和照射脉冲关闭时间。
22.根据权利要求21所述的非暂时性CRM，其中确定所述实际帧曝光时间包括：
对于所述期望帧曝光时间，确定所述照射脉冲开启时间的最近的倍数；
通过与所述照射脉冲开启时间的所述最近的倍数对应的所述照射脉冲周期的倍数，获得所述实际帧曝光时间。
CN201810156902.2A 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统 Active CN108513078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110822807.3A CN113556528A (zh) 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/442,290 US10009554B1 (en) 2017-02-24 2017-02-24 Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
US15/442,290 2017-02-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110822807.3A Division CN113556528A (zh) 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统

Publications (2)

Publication Number Publication Date
CN108513078A true CN108513078A (zh) 2018-09-07
CN108513078B CN108513078B (zh) 2021-08-10

Family

ID=61557032

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110822807.3A Pending CN113556528A (zh) 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
CN201810156902.2A Active CN108513078B (zh) 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110822807.3A Pending CN113556528A (zh) 2017-02-24 2018-02-24 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统

Country Status (3)

Country Link
US (1) US10009554B1 (zh)
EP (1) EP3367661B1 (zh)
CN (2) CN113556528A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164432A (zh) * 2018-09-14 2019-01-08 Oppo广东移动通信有限公司 深度获取模组及电子装置
CN113273170A (zh) * 2018-12-13 2021-08-17 杭州他若定位科技有限公司 使用高帧率辅助成像元件使相机移动设备稳定
CN113452970A (zh) * 2020-03-26 2021-09-28 安讯士有限公司 用于评定夜晚模式图像获得期间的环境光的方法
CN113556468A (zh) * 2021-07-29 2021-10-26 上海集成电路制造创新中心有限公司 一种图像处理的方法及系统
CN114026493A (zh) * 2019-12-13 2022-02-08 索尼集团公司 从背景中提取被摄体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3430595B1 (en) * 2017-05-23 2020-10-28 Brainlab AG Determining the relative position between a point cloud generating camera and another camera
KR20180133076A (ko) * 2017-06-05 2018-12-13 삼성전자주식회사 이미지 센서 및 이를 구비하는 전자 장치
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11019274B2 (en) * 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US10931894B2 (en) * 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US10982836B2 (en) 2018-10-31 2021-04-20 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
DE102019003049B4 (de) * 2019-04-27 2021-04-29 Tarsier Gmbh Vorrichtung und Verfahren zum Erfassen von Objekten
US11257237B2 (en) 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
US11726186B2 (en) 2019-09-30 2023-08-15 Zoox, Inc. Pixel filtering using multiple exposures
US11841438B2 (en) * 2019-09-30 2023-12-12 Zoox, Inc. Power control of sensors using multiple exposures
KR20210058363A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그의 방법
EP3839880A1 (en) * 2019-12-20 2021-06-23 Koninklijke Philips N.V. A system for performing ambient light image correction
CN113928307A (zh) 2020-06-29 2022-01-14 图森有限公司 自动泊车技术
CN112857587B (zh) * 2021-02-04 2022-03-04 上海航天控制技术研究所 一种基于场景清晰度评价的短波红外探测器成像控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221370A (zh) * 2008-01-24 2008-07-16 上海微电子装备有限公司 硅片边缘曝光系统及其光强控制方法
US20110317005A1 (en) * 2009-03-12 2011-12-29 Lee Warren Atkinson Depth-Sensing Camera System
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
CN203552276U (zh) * 2013-10-23 2014-04-16 深圳市中控生物识别技术有限公司 一种适用于宽动态范围环境光线中的面部识别装置
CN103731606A (zh) * 2012-10-05 2014-04-16 全视技术有限公司 通过时间配合的间歇照明来控制摄像系统的发光强度的系统与方法
CN104135908A (zh) * 2012-03-28 2014-11-05 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
CN205283677U (zh) * 2015-10-27 2016-06-01 东莞市美光达光学科技有限公司 一种带有近距离光测距功能的闪光灯照明模组及摄像装置
CN205305018U (zh) * 2015-09-16 2016-06-08 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US20160269656A1 (en) * 2015-03-13 2016-09-15 Apple Inc. Flicker detection using semiconductor light source
CN106462081A (zh) * 2014-06-04 2017-02-22 西默有限公司 对脉冲光束的光谱特征的估计

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532782A (en) * 1994-02-17 1996-07-02 Nikon Corporation Camera having a depth priority operation mode
JP2001027783A (ja) * 1999-07-13 2001-01-30 Fuji Photo Film Co Ltd 画像形成方法
US8514278B2 (en) * 2006-12-29 2013-08-20 Ge Inspection Technologies Lp Inspection apparatus having illumination assembly
US20090099761A1 (en) * 2007-10-11 2009-04-16 Genpower, Inc. Wireless, battery-powered, photovoltaically charged and monitored runway-based aircraft identification system and method
US8395682B2 (en) * 2011-03-08 2013-03-12 Neal Solomon System and methods for image depth-of-field modulation
US9082202B2 (en) * 2012-09-12 2015-07-14 Enlighted, Inc. Image detection and processing for building control
US20140078278A1 (en) * 2012-09-19 2014-03-20 Omnivision Technologies, Inc. Systems and Methods for Controlling Lighting Strength of a Camera System by Time-Matched Intermittent Illumination
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221370A (zh) * 2008-01-24 2008-07-16 上海微电子装备有限公司 硅片边缘曝光系统及其光强控制方法
US20110317005A1 (en) * 2009-03-12 2011-12-29 Lee Warren Atkinson Depth-Sensing Camera System
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
CN104135908A (zh) * 2012-03-28 2014-11-05 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
CN103731606A (zh) * 2012-10-05 2014-04-16 全视技术有限公司 通过时间配合的间歇照明来控制摄像系统的发光强度的系统与方法
CN203552276U (zh) * 2013-10-23 2014-04-16 深圳市中控生物识别技术有限公司 一种适用于宽动态范围环境光线中的面部识别装置
CN106462081A (zh) * 2014-06-04 2017-02-22 西默有限公司 对脉冲光束的光谱特征的估计
US20160269656A1 (en) * 2015-03-13 2016-09-15 Apple Inc. Flicker detection using semiconductor light source
CN205305018U (zh) * 2015-09-16 2016-06-08 上海图檬信息科技有限公司 获取三维场景的深度图的设备
CN205283677U (zh) * 2015-10-27 2016-06-01 东莞市美光达光学科技有限公司 一种带有近距离光测距功能的闪光灯照明模组及摄像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164432A (zh) * 2018-09-14 2019-01-08 Oppo广东移动通信有限公司 深度获取模组及电子装置
CN113273170A (zh) * 2018-12-13 2021-08-17 杭州他若定位科技有限公司 使用高帧率辅助成像元件使相机移动设备稳定
CN113273170B (zh) * 2018-12-13 2023-04-28 杭州他若定位科技有限公司 使用高帧率辅助成像元件使相机移动设备稳定的方法、装置及存储介质
CN114026493A (zh) * 2019-12-13 2022-02-08 索尼集团公司 从背景中提取被摄体
US11765309B2 (en) 2019-12-13 2023-09-19 Sony Group Corporation Video capturing subject using IR light
CN113452970A (zh) * 2020-03-26 2021-09-28 安讯士有限公司 用于评定夜晚模式图像获得期间的环境光的方法
CN113452970B (zh) * 2020-03-26 2024-01-12 安讯士有限公司 用于评定夜晚模式图像获得期间的环境光的方法
CN113556468A (zh) * 2021-07-29 2021-10-26 上海集成电路制造创新中心有限公司 一种图像处理的方法及系统

Also Published As

Publication number Publication date
EP3367661A1 (en) 2018-08-29
EP3367661B1 (en) 2020-11-25
CN113556528A (zh) 2021-10-26
US10009554B1 (en) 2018-06-26
CN108513078B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108513078A (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
US11557152B2 (en) Automated sign language translation and communication using multiple input and output modalities
CN104253947B (zh) 智能相机闪光灯
CN105874472B (zh) 具有虹膜颜色识别的多频带生物识别相机系统
CN108370438A (zh) 范围选通的深度相机组件
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
US20200082160A1 (en) Face recognition module with artificial intelligence models
CN112739980B (zh) 多阶段有源光深度系统
JP2019508717A5 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
EP2823751B1 (en) Eye gaze imaging
CN106416225A (zh) 远程视觉检查图像捕获系统和方法
CN110298874A (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
KR20210009316A (ko) 타임 오브 플라이트 카메라의 감소된 전력 동작
CN109425306A (zh) 深度测量组件
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
KR20110134848A (ko) 홍채 이미지 캡쳐 방법 및 시스템
KR102114969B1 (ko) 광학 장치 및 깊이 정보 생성 방법
JP2011182026A (ja) 画像処理装置、画像表示システム、画像抽出装置
US20130208091A1 (en) Ambient light alert for an image sensor
US10748019B2 (en) Image processing method and electronic apparatus for foreground image extraction
US20220003875A1 (en) Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium
KR102596053B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2021149691A (ja) 画像処理システム及び制御プログラム
KR102460762B1 (ko) 이종 영상 일체형 카메라 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: American California

Applicant before: Lighthouse artificial Intelligent Company

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant