CN109076145B - 用于主动式照明深度相机的自动范围控制 - Google Patents

用于主动式照明深度相机的自动范围控制 Download PDF

Info

Publication number
CN109076145B
CN109076145B CN201680068202.7A CN201680068202A CN109076145B CN 109076145 B CN109076145 B CN 109076145B CN 201680068202 A CN201680068202 A CN 201680068202A CN 109076145 B CN109076145 B CN 109076145B
Authority
CN
China
Prior art keywords
camera
projector
intensity
sequence
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680068202.7A
Other languages
English (en)
Other versions
CN109076145A (zh
Inventor
A·扎巴塔尼
E·斯佩灵
R·基梅尔
A·布龙斯坦
M·布龙斯坦
D·H·西尔弗
O·梅纳什
V·苏拉日斯基
O·穆拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109076145A publication Critical patent/CN109076145A/zh
Application granted granted Critical
Publication of CN109076145B publication Critical patent/CN109076145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K17/00—Safety valves; Equalising valves, e.g. pressure relief valves
    • F16K17/02—Safety valves; Equalising valves, e.g. pressure relief valves opening on surplus pressure on one side; closing on insufficient pressure on one side
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F15—FLUID-PRESSURE ACTUATORS; HYDRAULICS OR PNEUMATICS IN GENERAL
    • F15B—SYSTEMS ACTING BY MEANS OF FLUIDS IN GENERAL; FLUID-PRESSURE ACTUATORS, e.g. SERVOMOTORS; DETAILS OF FLUID-PRESSURE SYSTEMS, NOT OTHERWISE PROVIDED FOR
    • F15B15/00—Fluid-actuated devices for displacing a member from one position to another; Gearing associated therewith
    • F15B15/02—Mechanical layout characterised by the means for converting the movement of the fluid-actuated element into movement of the finally-operated member
    • F15B15/06—Mechanical layout characterised by the means for converting the movement of the fluid-actuated element into movement of the finally-operated member for mechanically converting rectilinear movement into non- rectilinear movement
    • F15B15/063—Actuator having both linear and rotary output, i.e. dual action actuator
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K1/00—Lift valves or globe valves, i.e. cut-off apparatus with closure members having at least a component of their opening and closing motion perpendicular to the closing faces
    • F16K1/16—Lift valves or globe valves, i.e. cut-off apparatus with closure members having at least a component of their opening and closing motion perpendicular to the closing faces with pivoted closure-members
    • F16K1/18—Lift valves or globe valves, i.e. cut-off apparatus with closure members having at least a component of their opening and closing motion perpendicular to the closing faces with pivoted closure-members with pivoted discs or flaps
    • F16K1/22—Lift valves or globe valves, i.e. cut-off apparatus with closure members having at least a component of their opening and closing motion perpendicular to the closing faces with pivoted closure-members with pivoted discs or flaps with axis of rotation crossing the valve member, e.g. butterfly valves
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K1/00—Lift valves or globe valves, i.e. cut-off apparatus with closure members having at least a component of their opening and closing motion perpendicular to the closing faces
    • F16K1/32—Details
    • F16K1/34—Cutting-off parts, e.g. valve members, seats
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K31/00—Actuating devices; Operating means; Releasing devices
    • F16K31/12—Actuating devices; Operating means; Releasing devices actuated by fluid
    • F16K31/36—Actuating devices; Operating means; Releasing devices actuated by fluid in which fluid from the circuit is constantly supplied to the fluid motor
    • F16K31/363—Actuating devices; Operating means; Releasing devices actuated by fluid in which fluid from the circuit is constantly supplied to the fluid motor the fluid acting on a piston
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Fluid Mechanics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

描述了一种用于自动范围控制的方法和装置。在一个实施例中，该装置包括：投影仪，该投影仪被配置成用于将光图案序列投射在对象上；第一相机，该第一相机被配置成用于捕捉对象的图像序列，该对象用所投射的光图案照射；控制器，耦合至投影仪和第一相机，该控制器能操作用于：接收图像序列；以及通过以下操作来执行范围控制：基于从由相机捕捉的图像序列获取的信息来控制被投射在对象上的光图案序列的功率和相机的曝光时间。

Description

用于主动式照明深度相机的自动范围控制
技术领域
本发明的实施例涉及相机系统领域，该相机系统通过使用三角测量来执行三维(3-D)测量，该三角测量通过借助于由投影仪投射的一个或多个图案来捕捉一个或多个图像；更具体地，本发明的实施例涉及执行此类相机系统的自动范围控制。
发明背景
立体深度相机是公知的，并且通常被用于测量距对象的距离。一个此类测量设备包括投影仪和相机，并且该测量设备通常被包括在经编码的光三维(3D)相机系统中。在经编码的光三维(3D)相机中，投影仪将已知图案(例如，二进制代码图案序列(例如，竖直条纹))投射在对象(例如，场景)上，并且由相机捕捉对象的图像，该图像被投射在该对象上。从所捕捉的图像，深度信息可被确定。用于在此类设备中确定深度的一种技术是通过使用来自已知的相机和投影仪的相对位置的三角测量。因此，捕捉对象的图像，并进行测量以确定深度信息。
3D相机系统中的相机具有有限的深度动态范围。该深度动态范围由接收器电光路径决定。相对于远的对象或差的反照率(反射率)的情况，在靠近相机的对象具有良好的反照率的情况下，相机无法很好地工作，因为该相机要么是饱和的，要么具有非常低的信噪比(SNR)。
附图说明
从以下给出的详细描述并从本发明的各实施例的附图，可更全面地理解本发明，然而这些详细描述和附图不应当被理解为将本发明限于具体的实施例，而是仅用于解释和理解。
图1图示了主动式经编码的光三角测量系统的一个实施例。
图2是用于控制深度动态范围的过程的一个实施例的流程图。
图3是用于通过控制光功率和曝光时间来控制深度动态范围的过程的一个实施例的流程图。
图4图示了自动增益和自动曝光操作域的一个实施例。
图5图示了示例系统的一个实施例。
图6图示了能够支持本文中所描述的操作的计算环境的实施例。
具体实施方式
在接下来的描述中，陈述许多细节以提供对本发明的更为透彻的解释。然而，对本领域技术人员将显而易见的是，在没有这些特定细节的情况下也可实施本发明。在其他实例中，为了避免使本发明变得模糊，公知的结构和设备以框图形式而非详细地被示出。
本描述可使用短语“在实施例中”或“在多个实施例中”，它们各自可指相同或不同实施例中的一个或多个。此外，如对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。
本文中可使用术语“耦合的”及其派生词。“耦合的”意思可以是以下意思中的一个或多个。“耦合的”可意味着两个或更多个元件处于直接物理的、电气的或光学的接触。然而，“耦合的”还可意味着两个或更多个元件彼此间接接触，但仍彼此协作或交互，并且可意味着一个或多个其他元件被耦合或连接在被说成彼此耦合的元件之间。术语“直接地耦合的”可意味着两个或更多个元件直接接触。
图1图示了主动式经编码的光三角测量系统的一个实施例。该系统包括经编码的光范围相机，该相机通过将一维二进制(“黑”和“白”)图案投射到场景上来操作，使得所产生的二进制代码对投影平面的角度进行编码。然后，深度由三角测量重构，该三角测量由计算从相机发出的虚射射线与从投影仪发出的平面的交点组成。
参考图1，捕捉设备100可包括3D扫描仪、3D相机或被配置用于3D对象采集的任何其他设备。在一些实施例中，如所图示，捕捉设备100包括图像捕捉设备102(例如，数码相机)和具有多个组件的投影仪单元104，该投影仪单元104诸如激光投影仪或激光扫描仪。在一些实施例中，数码相机102可包括红外(IR)相机，并且投影仪单元104可包括IR投影仪。
投影仪单元104被配置成用于投射如上文所描述的光图案，并且可包括一维代码投影仪。在一个实施例中，光图案包括一维经编码的光图案，例如，可由一维的或线性的代码来描述的图案。由对象表面上的激光平面形成的光图案可由图像捕捉设备102接收，并且可由图像捕捉设备102的传感器感测(例如，读取)。基于对在传感器的感测周期期间累积的光图案的多次扫描的读数，捕捉设备100可被配置成用于重构对象的形状。
在一些实施例中，捕捉设备100可进一步包括另一图像捕捉设备，诸如，数码相机103。在一些实施例中，数码相机103可具有与数码相机103的分辨率不同的分辨率。例如，数码相机102可以是多色相机，诸如，被配置成用于捕捉对象的纹理图像的红绿蓝(RGB)相机。
捕捉设备100可进一步包括处理器106，该处理器106可通过总线或互连107来与图像相机组件101操作地通信。处理器106可包括可执行指令的标准化处理器、专用处理器、微处理器等，该指令可包括用于以下操作的指令：生成深度信息、生成深度图像、判定该深度图像中是否可包括合适的目标、或者执行本文中所描述的其他操作。
处理器106可被配置成用于例如使用用于3D图像重构的几何学技术或其他技术、基于由数码相机102捕捉的图像来重构对象。处理器106可进一步被配置成用于动态地校准捕捉设备100以校正可由例如各种外部因素(例如，温度)引起的对象的经重构的图像中的失真。
捕捉设备100可进一步包括存储器105，该存储器105可存储可由处理器106执行的指令、由相机捕捉的图像或图像的帧、用户简档或任何其他合适的信息、图像等。根据一个实施例，存储器105可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图1中所示，存储器组件105可以是与相机101和处理器106通信的分开的组件。替代地，存储器105可集成到处理器106和/或图像捕捉相机101中。在一个实施例中，组件102-106中的一些或全部位于单个壳体中。
处理器105、存储器104、其他组件(未示出)、图像捕捉设备102以及投影仪单元104可与一个或多个接口(未示出)耦合，这一个或多个接口被配置成用于促进上文提到的组件之间的信息交换。(多个)通信接口(未示出)可为设备100提供接口以通过一个或多个有线或无线网络进行通信和/或与任何其他合适的设备进行通信。在各种实施例中，捕捉设备100可以被包括于下列设备或与下列设备相关联，但不限于下列设备：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、手机、平板电脑、智能电话、上网本、超极本等)。
在一个实施例中，捕捉设备100被集成到计算机系统(例如，膝上型计算机、个人计算机(PC)等)中。然而，捕捉设备100可以被替代地配置为独立式设备，该独立式设备能够使用包括无线和有线连接两者的常规技术而耦合至此类计算机系统。
在各实施例中，捕捉设备100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，捕捉设备100可包括以下设备中的一个或多个：相机、键盘、诸如液晶显示(LCD)屏的显示器(包括触摸屏显示器)、触摸屏控制器、非易失性存储器端口、天线或多根天线、图形芯片、ASIC、(多个)扬声器、电池、音频编解码器、视频编解码器、功率放大器、全球定位系统(GPS)设备、罗盘、加速度计、陀螺仪等。在各实施例中，捕捉设备100可具有更多或更少的组件和/或不同的架构。在各实施例中，本文中所描述的技术和配置可在从本文中所描述的原理受益的各种各样的系统中使用。
捕捉设备100可被用于各种目的，包括但不限于：作为目标识别、分析和跟踪系统的一部分，以在物理空间的捕捉区域中识别人类和非人类目标而无需使用附连到主体的特殊感测设备，唯一地标识它们，并在三维空间中跟踪它们。捕捉设备100可被配置成用于通过任何合适的技术来捕捉具有深度信息的视频，该深度信息包括深度图像，该深度图像可包括深度值，上述合适的技术包括例如，三角测量、飞行时间、结构化的光、立体图像等。
捕捉设备100可被配置为作为可捕捉场景的深度图像的深度相机来操作。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素可表示深度值，该深度值诸如所捕捉的场景中的对象距相机的距离，该距离以例如厘米、毫米等为单位。在此示例中，捕捉设备100包括被配置为阵列的IR光投影仪404、IR相机102和可见光RGB相机103。
可采用各种技术来捕捉深度视频帧。例如，捕捉设备100可使用结构化的光来捕捉深度信息。在此类分析中，图案化的光(例如，显示为已知图案的光，该已知图案诸如网格图案或条纹图案)可通过例如IR光投影仪104被投射到捕捉区域上。在照射到捕捉区域中的一个或多个目标或对象的表面后，图案可变得变形来作为响应。此类图像的变形可由例如IR相机102和/或RGB相机103捕捉，然后可被分析，以确定从捕捉设备100到目标或对象上的特定位置的物理距离。
捕捉设备100可采用可从不同角度观察捕捉区域的两个或更多个物理地分开的相机来获得可视立体数据，该可视立体数据可被解析以生成深度信息。使用单个或多个相机的其他类型的深度图像布置也可以被用来创建深度图像。
捕捉设备100可提供深度信息和由例如IR相机102和/或RGB相机103捕捉的图像，包括可由捕捉设备100生成的骨骼模型和/或面部跟踪模型，其中骨骼模型和/或面部跟踪模型、深度信息以及所捕捉的图像被用来例如创建虚拟屏幕、使用户界面适配以及控制应用。
概言之，捕捉设备100可包括投影仪单元104、数码相机(例如，IR相机)102、另一数码相机(例如，多色相机)103以及处理器(控制器)，该处理器(控制器)被配置成用于操作根据本文中所描述的实施例的捕捉设备100。然而，描述以上部件配置仅用于说明的目的，并且不应限制本公开。用于3D对象采集的部件的各种配置可用来实现本文中所描述的实施例。例如，被配置成用于实现重构对象失真校正的3D对象采集的部件可包括三个数码相机，其中的两个数码相机可被用于重构对象的3D图像，而第三个相机(例如，具有与那两个相机的分辨率不同的分辨率)可被用于捕捉对象的图像，以标识经重构的对象中的图像失真并补偿所标识的失真。
用于深度相机的自动范围控制
在一个实施例中，系统包括控制器，该控制器用于控制相机(例如，IR相机)和投影仪(例如，IR投影仪)来执行范围控制。在一个实施例中，控制器是处理器106的一部分，连同存储在图1的捕捉设备的存储器105中的软件一起运作。在一个实施例中，控制器控制来自投影仪的所投射的光的功率和相机的曝光时间两者，以执行范围控制。在一个实施例中，来自投影仪的所投射的光的功率和相机的曝光时间的控制基于场景分析。在此情况下，场景分析涉及确定从场景中的对象反射回来的光的量，而不是分析场景中的内容。在一个实施例中，该控制在范围的近端和远端产生放大的深度动态范围。在一个实施例中，在近范围中，使用本文中公开的技术，动态范围从25cm增加至3cm，而在远端，该动态范围从70cm达到1.8m。
通过观察经成像的对象的数据，控制器控制相机的曝光和/或投影仪的光(激光)功率，以便避免在动态范围的一个近端处的高度反射的对象的接近范围处(例如，小于30cm)的相机饱和，而仍然能够在该动态范围的其他远端处捕捉在远距离处的反射的对象。这些技术产生了数码捕捉的图像的增加的范围和质量。该增加的质量实现了深度简档的增加的准确度，并允许系统使其自身适应于操作环境，以产生最佳可能的结果。
图2是用于控制深度动态范围的过程的一个实施例的流程图。该过程由处理逻辑执行，该处理逻辑可包括硬件(电路、专用逻辑等)、软件(诸如，运行在通用计算机系统或专用机器上)、固件、或这三者的组合。
参考图2，该过程开始于：处理逻辑将光图案序列投射在对象上(处理块201)。在一个实施例中，该处理逻辑是投影仪的一部分。在另一实施例中，该处理逻辑是向投影仪发送控制信号以使投影仪将光投射到对象上的控制器的一部分。
接下来，处理逻辑使用相机来捕捉对象的图像序列(处理块202)，该对象用所投射的光图案照射。在一个实施例中，处理逻辑是向相机发送信号以使相机捕捉所照射的对象的图像序列的控制器的一部分。
使用所捕捉的图像序列，处理逻辑通过控制由投影仪投射在对象上的光图案序列的功率和相机的曝光时间来控制相机的深度动态范围(处理块203)。在一个实施例中，从所捕捉的图像序列获取信息，用于控制深度动态范围。在一个实施例中，该信息包括与由相机捕捉的图像序列相关联的强度信息。在另一实施例中，该强度信息包括由相机捕捉的图像序列的强度之间的差的平均强度。
在一个实施例中，控制器从所捕捉的图像序列获取它的统计信息。例如，在一个实施例中，该统计信息来自n-1序列(例如，所捕捉图像的先前的或最后的序列)，该n-1序列包括：当主动光开启(例如，激光开启)时所捕捉的图像，本文称作I_1；以及当主动光关闭(例如，激光关闭)时所捕捉的图像，本文称作I_0。使用这两个图像，控制器生成另一图像。在一个实施例中，此额外的图像是图标图像，并且通过从当主动光开启时所捕捉的图像中减去当主动光关闭时所捕捉的图像(即，Ic＝I_1-I_0)来生成。在一个实施例中，I_l和I_0中的每一个都是图像的矩阵，矩阵中的每个条目是图像的像素的照度值。两个矩阵中的对应位置中的这些值从彼此中被减去以获得图标图像(Ic)。
在获得图标图像之后，控制器为该图标图像确定平均强度值。在一个实施例中，通过对图标图像中的所有的强度值(例如，图标图像矩阵中的强度值)求平均来确定该平均强度值。在另一实施例中，通过对图标图像的强度值的子集(例如，图标图像矩阵中的强度值)求平均来确定该平均强度值。图标图像Ic的平均强度值或功率分数在本文中被表示为Ps。
在一个实施例中，使用该功率分数，控制器根据以下动作规则来控制深度动态范围：
If(Ps>Threshold 1)(如果(Ps>阈值1))
{
if exposure is minimal(e.g.,the exposure has reached a preset minimalvalue),then decrease laser power)(如果曝光为最小(例如，曝光已达到预设置的最小值)，则减小激光功率)
else decrease camera exposure(否则减小相机曝光)
}
If(Ps<Threshold 2)(如果(Ps<阈值2))
{
if laser power is maximal(e.g.,the laser power has reached a presetmaximumvalue),then increase exposure(如果激光功率为最大(例如，激光功率已达到预设置的最大值)，则增加曝光)
else increase laser power(否则增加激光功率)
}
在一个实施例中，阈值1是1250，并且阈值2是650。在一个实施例中，在若干单元上通过统计方式获悉这些阈值，并且这些阈值取决于所需要的曝光值的范围和有效的Z视场(FOV)。对于短范围应用，在一个实施例中，增加阈值1并减小阈值2，并且对于远范围应用反之亦然。
在一个实施例中，激光增益增加和减小以范围的5％来步进，而曝光增加和减小以0.2ms的步长进行。注意，可使用其他步长尺寸，并且增加或减小步长尺寸不需要是相同的。注意，在一个实施例中，基于光遵循平方反比定律的认识来进行增加和减小，该平方反比定律体现为：强度与距物理量的源的距离的平方成反比。因此，在此类情况下，减小和增加二次方地变化，而不是遵循线性路径。
图3是用于控制上文所描述的深度动态范围的过程的一个实施例的流程图。该过程由处理逻辑执行，该处理逻辑可包括硬件(电路、专用逻辑等)、软件(诸如，运行在通用计算机系统或专用机器上)、固件、或这三者的组合。
参考图3，控制器将功率分数与第一阈值和第二阈值这一对阈值进行比较，并通过以下动作来控制深度动态范围：
如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光被设置为预设置的最小值，则减小投影仪激光功率；
如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光未被设置为预设置的最小值，则减小相机的曝光；
如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪激光功率被设置为预设置的最小值，则增加相机的相机曝光；
如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪激光功率未被设置为预设置的最小值，则减小投影仪激光功率。
示例操作模式
在一个实施例中，控制器、相机和投影仪使用多种不同的操作模式。这些操作模式包括自动(auto)激光增益模式、自动(auto)曝光时间模式、以及自动激光增益与自动曝光时间模式。自动激光增益与自动曝光时间模式通过使用多种操作模式控制由投影仪投射到对象上的光图案序列的功率和相机的曝光来控制相机的深度动态范围。以下更详细地讨论这些模式中的每一个。
自动激光增益
当被启用时，如果对象靠近(或移近)相机传感器，则控制器减小激光增益以避免饱和，并且当对象移离相机传感器时，增加激光增益。在一个实施例中，控制器具有默认的控制设置以使得激光增益总是处于可能的最高激光增益。
自动曝光时间
当被启用时，在一个实施例中，当对象从相机传感器远离时，控制器自动地改变曝光时间以增加相机的动态范围。
自动激光增益与自动曝光
当这两个特征被启用时，当对象强度上升时，控制器激活自动激光增益。当对象强度减小时，控制器增加激光增益，直到该激光增益达到最大值(例如，预设置的最大值)。当激光增益达到它的最大值时，控制器激活自动曝光并根据需要增加曝光。当对象强度再次增加时，控制器减小曝光直到最小值(例如，预设置的最小值)，并激活自动激光增益，以此类推。图4图示了自动增益和自动曝光操作域的一个实施例。参考图4，示出对象强度(功率水平)，其中对象强度条的中间的点是MsvR(运动与范围权衡，或曝光时间)等于0且激光增益处于它的最大值所在之处的点。对此点的一侧(左)，控制器使用自动激光增益控制，而在该点的另一侧(右)上，控制器使用自动曝光控制。换言之，在一个实施例中，在该点的一侧上，控制器可仅减小激光，而在另一侧上，控制器可仅增加曝光时间。
控制算法的示例
算法输入
在一个实施例中，控制算法使用IR图像图标化的版本(例如，IR图像的平均化的和经二次采样的强度)。在另一实施例中，控制算法使用(从捕捉设备的投影仪创建)的IR图像。
算法输出
在一个实施例中，算法数据用于要么改变激光功率要么改变曝光的决策。在一个实施例中，用于改变功率的输出指示如下：
-1:减小功率
0:不改变功率
1:增加功率
根据操作模式和当前功率水平，控制器改变激光功率或曝光控制。
配置
以下给出参数以及它们的默认值的一个实施例。在一个实施例中，这些参数是可配置的。
Figure GDA0001668644100000101
Figure GDA0001668644100000111
功率分数计算
在一个实施例中，为了开始算法，计算“功率分数”。在一个实施例中，功率分数按如下方式计算。对于由控制器对图标图像中的所选择的感兴趣区域(ROI)计算的直方图中的每个箱体(bin)，通过将箱体中的像素的数量乘以箱索引来计算总和，然后使该乘积除以像素数量与最大可能的箱索引(例如，255)的乘积。在一个实施例中，以下公式计算“功率分数”(平均强度[0，1]):
Figure GDA0001668644100000112
控制算法的一个实施例
以下伪代码描述了控制算法的一个实施例。在一个实施例中，由控制器执行这些操作。
Calculate power score of I0->I0Score(计算I0的功率分数->I0分数)
Calculate power score of I1->I1Score(计算I1的功率分数->I1分数)
Calculate power score->Score＝I1Score-I0Score(计算功率分数->分数＝I1分数-I0分数)
以上前三个操作确定用于控制算法的功率分数。
Update scoreswindow->ScoresWindow[frameIndex mod windowSize]＝Score(更新分数窗口->分数窗口[帧索引mod窗口尺寸]＝分数)
在一个实施例中，对时间上连续的图像捕捉聚合功率分数以判定是否存在趋势。在一个实施例中，窗口尺寸(windowSize)通常是1至3。在一个实施例中，这是可配置的。分数被聚合到数组中。
Calculate relative IRstatus->(计算相对IR状态->)
If I0Score>I0MeanTh/255AND(I1Score/I0Score)<I1I0RatioTh(如果I0分数>I0平均阈值/255且(Il分数/I0分数)<IlI0比率阈值)
此条件判定图像中是否存在过多的环境光：根据一个实施例，暗图像变亮，并且亮图像与暗图像之间的比率过于接近于1。
relativeIRstatus＝0(相对IR状态＝0)
else(否则)
relativeIRstatus＝1(相对IR状态＝1)
Update Relative IR status window->(更新相对IR状态窗口->)
RelativeIRWindow[I mod relativeIRwindowSize]＝relativeIRstatus(相对IR窗口[I mod相对IR窗口尺寸]＝相对IR状态)
在一个实施例中，此操作确定场景中的环境光的量。如果环境光的量过大，则该状态被设置为1。如果环境光的量过低，则该状态被设置为0。这是跟踪，使得在环境光过大的情况下，则不执行增加激光功率和/或增加曝光以避免增加饱和的量。注意，在一个实施例中，这通过使用窗口对多个连续的图像捕获(例如，十个样本)进行跟踪以减小噪声影响该过程的可能性。
If RelativeIR Window is full(如果相对IR窗口是满的)
如果相对IR窗口是满的，则存在足够的样本来继续进行。
AvgStatus＝Average(RelativeIRWindow)(平均状态＝平均(相对IR窗口))
确定相对IR窗口中的值的平均。
If AvgStatus>0.8(如果平均状态>0.8)
newRelativelRStatus＝1(新相对IR状态＝1)
Else if AvgStatus<0.2(否则，如果平均状态<0.2)
newRelativelRStatus＝0(新相对IR状态＝0)
在一个实施例中，如果平均(AvgStatus)大于0.8，则存在过多的环境光，而如果该平均小于0.2，则不存在过多的环境光。
If ScoresWindow is full(如果分数窗口是满的)
如果分数窗口是满的，则存在足够的样本来继续进行。
a.Calculate average score in the window(a.计算窗口中的平均分数)
->AvgScore＝Average(ScoresWindow)(->平均分数＝平均(分数窗口))
如果存在足够的样本，则计算分数窗口中的强度值的平均分数(AvgScore)。基于该平均分数及其与两个阈值的关系，控制器使用以下8b-d来控制深度动态范围。
b.If AvgScore>UpperTh+PowerLevelThSlope*CurrPowerLevel(b.如果平均分数>上阈值+功率水平阈值斜率*当前功率水平)
i.NextPowerLevel＝CurrPowerLevel-1(i.下一功率水平＝当前功率水平-1)；
ii.empty ScoresWindow(ii.清空分数窗口)
iii.LastFixIdx＝0(iii.最后固定索引＝0)
如果强度值的平均分数大于上阈值(高于该上阈值，则降低功率水平)与作为功率水平的函数的阈值斜率和当前功率水平之积的和，则当前功率水平被减小1，强度值的窗口被清除，并且重置当由控制器作出最后改变时的变量跟踪(例如，设置为零)。注意，斜率旨在通过增加功率分数(Ps)应当越过的阈值使跨越达到远端功率水平更加困难，以进一步远离目标功率水平。在一个实施例中，斜率是可配置的，并且可以是0(未使用)。
c.ifAvgScore<LowerTh+PowerLevelThSlope*CurrPowerLevel(c.如果平均分数<下阈值+功率水平阈值斜率*当前功率水平)
i.NextPowerLevel＝CurrPowerLevel+1(i.下一功率水平＝当前功率水平+1)；
ii.empty ScoresWindow(ii.清空分数窗口)
iii.LastFixIdx＝0(iii.最后固定索引＝0)
如果强度值的平均分数小于下阈值(低于该阈值，则增加功率水平)与作为功率水平的函数的阈值斜率和当前功率水平之积的和，则当前功率水平被增加1，强度值的窗口被清除，并且重置当由控制器作出最后改变时的变量跟踪(例如，设置为零)。
d.else(AvgScore between the margins)(d.否则(平均分数在边际之间))
i.LastFixIdx++(i.最后固定索引++)
ii.If(LastFixIdx>ZeroTrendFrameCount)(ii.如果(最后固定索引>0趋势帧计数))
AND(并且)
{((power level>0)and AvgScore>LowerTh+ZeroTrendMargin)({((功率水平>0)且平均分数>下阈值+0趋势边际))
OR(或)
(power level<0)and AvgScore<UpperTh–ZeroTrendMargin)}({((功率水平<0)且平均分数<上阈值-0趋势边际)})
Then NextPowerLevel＝CurrPowerLevel–Sign(CurrPowerLevel)(则下一功率水平＝当前功率水平–符号(当前功率水平))
如果强度值的平均分数在阈值之间，则控制器不改变功率水平，强度值窗口不被清除，并且递增当由控制器作出最后改变时的变量跟踪(例如，递增1)。
在一个实施例中，如果当最后改变被作出时的变量跟踪的值超出0趋势帧计数(其指示功率水平对于多个帧保持相同)，以及功率水平，并基于该功率水平以及强度值的平均分数与下阈值和上阈值两者之间的关系，则控制器基于当前功率水平与当前功率水平的符号之间的差计算下一功率水平。这意识到，当功率水平对于一定数量的帧保持相同时，则控制器能够往回移动到选择相机系统工作所处的标称功率水平。
If relativelRstatus＝＝0(如果相对IR状态＝＝0)
Set powerLevel to zero state(将功率等级设置为零状态)
Else(否则)
Return(CurrPowerLevel-NextPowerLevel)(返回(当前功率水平-下一功率水平))
在一个实施例中，如果存在过多的环境光(如由相对IR状态被设置为0所指示)，则功率水平被设置为0，这意味着存在最小曝光时间(例如，曝光时间处于预设置的最小值)，并且激光功率被设置为它的最小值(图4)。如果存在过多的环境光，则下一功率水平被设置为当前功率水平与下一功率水平的值之间的差。
因此，在一个实施例中，“下一功率水平”指示将增加还是减小功率。一旦这被设置，取决于当前设置，根据图4中所示出的图表，作出关于将改变激光功率还是曝光的决策。
在一个实施例中，在相机设备本身中实现范围控制。在另一实施例中，这在主机中被实施。在较低层级(设备层级)关闭此种控制循环是有优势的。
图5图示了示例系统600的一个实施例，该示例系统600具有一个或多个处理器604、耦合至(多个)处理器604中的至少一个的系统控制模块608、耦合至系统控制模块608的系统存储器612、耦合至系统控制模块608的非易失性存储器(NVM)/存储614以及耦合至系统控制模块608的一个或多个通信接口620。在一些实施例中，系统600可包括捕捉设备100，并且可提供执行旨在用于深度和纹理校准的功能连同深度重构和本文中所描述的其他功能的逻辑/模块。
在一些实施例中，系统600可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储614)以及一个或多个处理器(例如，(多个)处理器604)，该一个或多个处理器与一个或多个计算机可读介质耦合，并且被配置成用于执行指令，以实现模块来执行深度和纹理校准连同深度重构和本文中所描述的其他功能。
用于一个实施例的系统控制模块608可包括任何合适的接口控制器，该接口控制器用于提供到(多个)处理器604中的至少一个和/或到与系统控制模块608通信的任何合适的设备或组件的任何合适的接口。
系统控制模块608可包括用于提供到系统存储器612的接口的存储器控制器模块610。存储器控制器模块610可以是硬件模块、软件模块和/或固件模块。系统存储器612可用于加载和存储例如用于系统600的数据和/或指令。用于一个实施例的系统存储器612可包括例如诸如合适的DRAM的任何合适的易失性存储器。用于一个实施例的系统控制模块608可包括用于提供到NVM/存储614和(多个)通信接口620的接口的一个或多个输入/输出(I/O)控制器。
NVM/存储614可用于存储例如数据和/或指令。NVM/存储614可包括任何合适的非易失性存储器，例如，诸如闪存，并且/或者可包括任何合适的非易失性存储设备，例如，诸如一个或多个硬盘驱动器(HDD)、一个或多个紧致盘(CD)驱动器、和/或一个或多个数字多功能盘(DVD)驱动器。NVM/存储614可包括物理上作为系统600被安装于其上的设备的部分的存储资源，或者可以是可由该设备访问，但不一定是该设备的一部分。例如，可在网络上经由(多个)通信接口620来访问NVM/存储614。
(多个)通信接口620可为系统600提供接口以通过一个或多个网络进行通信和/或与任何其他合适的设备进行通信。系统600可根据一项或多项无线网络标准和/或协议中的任何标准或协议与无线网络的一个或多个组件无线地通信。
对于一个实施例，(多个)处理器604中的至少一个可与用于系统控制模块608的一个或多个控制器(例如，存储器控制器模块610)的逻辑封装在一起。对于一个实施例，(多个)处理器604中的至少一个可与用于系统控制模块608的一个或多个控制器的逻辑封装在一起，以形成系统级封装(SiP)。对于一个实施例，(多个)处理器604中的至少一个可集成在与用于系统控制模块608的一个或多个控制器的逻辑相同的管芯上。对于一个实施例，(多个)处理器604中的至少一个可集成在与系统控制模块608的一个或多个控制器的逻辑相同的管芯上，以形成芯片上系统(SoC)。
在各种实施例中，系统600可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统600可包括相机、键盘、液晶显示(LCD)屏(包括触摸屏显示器)、非易失性存储器端口、多根天线、图形芯片、专用集成电路(ASIC)和扬声器中的一个或多个。
在各种实现中，系统600可以是但不限于：移动计算设备(例如，膝上型计算设备、手持计算设备、平板、上网本等)、膝上型计算机、上网本、笔记本、超极本、智能电话、平板、个人数字助理(PDA)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数码相机、便携式音乐播放器或数字视频记录仪。在进一步的实现中，系统600可以是任何其他电子设备。
图6图示了能够支持上文所讨论的操作的计算环境700的实施例。之前所描述的模块可以使用深度信息(例如，值)和上文所描述的其他数据来执行这些功能。可以用各种各样不同的硬件架构和形状因子来实现这些模块和系统。
命令执行模块701包括中央处理单元，该中央处理单元用于进行高速缓存并执行命令并且用于在所示的其他模块和系统之间分发任务。它可包括指令栈、用于存储中间结果和最终结果的高速缓存存储器、以及用于存储应用和操作系统的大容量存储器。命令执行模块701也可用作系统的中央协调和任务分配单元。
屏幕渲染模块721在一个或更多的多个屏幕上绘制对象以供用户看到。它可以适用于从以下所描述的虚拟对象行为模块704接收数据，并适用于在适当的一个或多个屏幕上渲染虚拟对象和任何其他对象和力。因此，来自虚拟对象行为模块704的数据将确定例如虚拟对象的位置和动态以及相关联的姿势、力和对象，并且屏幕渲染模块721将相应地在屏幕上描绘该虚拟对象以及相关联的对象和环境。屏幕渲染模块721可以进一步适用于从以下所描述的相邻屏幕透视模块707接收数据，或者如果虚拟对象可以被移动到相邻屏幕透视模块707与之相关联的设备的显示器，则平面渲染模块721可适用于描绘虚拟对象的目标着陆区域，。因此，例如，如果将该虚拟对象正从主屏幕移动到辅助屏幕，则相邻屏幕透视模块707可以向屏幕渲染模块721发送数据以例如以阴影的形式暗示关于对用户的手移动或眼睛移动的那个跟踪的虚拟对象的一个或多个目标着陆区域。
对象和姿势识别系统722可适用于识别和跟踪用户的手和损害姿势。此类模块可被用于识别手、手指、手指姿势、手移动以及手相对于显示器的位置。例如，对象和姿势识别系统722可以例如确定用户作出身体部位姿势来将虚拟对象投或抛到多个屏幕中的一个或另一个上，或者确定用户作出身体部位姿势来将虚拟对象移动到多个屏幕中的一个或另一个的边框。对象和姿势识别系统722可被耦合至相机或相机阵列、话筒或话筒阵列、触摸屏或触摸表面、或指点设备、或者这些项的某个组合，以检测来自用户的姿势和命令。
对象和姿势识别系统722的触摸屏或触摸表面可包括触摸屏传感器。来自该传感器的数据可被馈送到硬件、软件、固件或硬件、软件和固件的组合，以将屏幕或表面上用户的手的触摸姿势映射到虚拟对象相应的动态行为。传感器数据可被用于动量和惯量因子以基于来自用户的手的输入而允许虚拟对象的各种各样的动量行为，来自用户的手的输入诸如，用户的手指相对于屏幕的滑动速率。挤压姿势可被解释为用于从显示屏提起虚拟对象、或用于开始生成与虚拟对象相关联的虚拟绑定、或用于在显示器上放大或缩小的命令。无需触摸表面的益处，类似的命令可由对象和姿势识别系统722使用一个或多个相机来生成。
关注方向模块723可配备有相机或其他传感器，以跟踪用户的脸或手的位置和取向。当姿势或声音命令被发布时，系统可以为该姿势确定适当的屏幕。在一个示例中，相机被安装在每个显示器附近以检测用户是否正面对该显示器。如果是，则关注方向模块信息被提供给对象和姿势识别模块722，以确保姿势或命令与用于主动式显示器的适当的库相关联。类似地，如果用户正从所有屏幕转移目光，则命令可以被忽略。
设备接近度检测模块725可以使用接近度传感器、罗盘、GPS(全球定位系统)接收器、个域网无线电、以及其他类型的传感器，与三角测量和其他技术一起来确定其他设备的接近度。一旦邻近的设备被检测到，该邻近的设备就可以被注册到系统，并且它的类型可以被确定为输入设备或显示设备或既是输入设备又是显示设备。对于输入设备，然后可将所接收的数据应用到对象姿势和识别系统722。对于显示设备，它可被相邻屏幕透视模块707考虑。
虚拟对象行为模块704适用于从对象速度和方向模块703接收输入，并适用于将此类输入应用到正在显示器中示出的虚拟对象。因此，例如，对象和姿势识别系统722将解释用户姿势，并且通过将所捕捉的用户的手的移动映射至所识别的移动，虚拟对象跟踪器模块706将会将虚拟对象的位置和移动关联到如由对象和姿势识别系统722所识别的移动，对象和速度和方向模块703将捕捉虚拟对象的移动的动态，并且虚拟对象行为模块704将从对象和速度和方向模块703接收输入，以生成数据，该数据将指示虚拟对象的移动对应于来自对象和速度和方向模块703的输入。
另一方面，虚拟对象跟踪器模块706可适用于基于来自对象姿势和识别系统722的输入来跟踪虚拟对象应当位于显示器附近的三维空间中的何处，以及用户的哪个身体部位正在持有该虚拟对象。虚拟对象跟踪器模块706可例如在虚拟对象跨越屏幕或在屏幕之间移动时跟踪该虚拟对象，并且跟踪用户的哪个身体部位正在持有该虚拟对象。跟踪正在持有虚拟对象的身体部位允许对身体部位的空中移动的连续认知，并由此允许关于该虚拟对象是否已经被释放到一个或多个屏幕上的最终认知。
视图与屏幕同步姿势模块708从关注方向模块723接收视图和屏幕或这两者的选择，并且在一些情况下，接收语音命令以确定哪个视图是活动视图以及哪个屏幕是活动屏幕。然后，该视图与屏幕同步姿势模块708使得相关的姿势库被加载用于对象和姿势识别系统722。应用在一个或多个屏幕上的各种视图可以与用于给定视图的替代姿势库或姿势模板集相关联。
相邻屏幕透视模块707可适用于确定一个显示器相对于另一显示器的角度和位置，该相邻屏幕透视模块707可包括或被耦合至设备接近度检测模块725。所投射的显示包括例如投射到墙或屏幕上的图像。例如可以要么利用红外发射器和接收器要么利用电磁或光检测感测能力来实现用于检测邻近的屏幕的接近度和从其投射的显示的相应的角度或取向的能力。对于允许利用触摸输入实现的所投射的显示的技术，传入视频可以被分析以确定所投射的显示的位置，并校由以某个角度显示而引起的失真。加速度计、磁力计、罗盘或相机可以被用于确定设备正被持有所处于的角度，而红外发射器和相机可以允许相对于相邻设备上的传感器确定屏幕设备的取向。以此方式，相邻屏幕透视模块707可确定相邻屏幕相对于它的屏幕自身坐标的坐标。因此，相邻屏幕透视模块可确定那些设备彼此接近，以及用于移动一个或多个虚拟对象跨越屏幕的进一步的潜在目标。相邻屏幕透视模块707可进一步允许屏幕的位置与表示所有现存对象和虚拟对象的三维空间的模型相关。
对象和速度和方向模块703可适用于通过从虚拟对象跟踪器模块706接收输入来估计正在被移动的虚拟对象的动态，诸如，它的轨迹、速度(无论是线性的还是角度的)、动量(无论是线性的还是角度的)等。通过例如估计加速度、偏转、虚拟绑定的拉伸程度等以及一旦被用户的身体部位释放时的虚拟对象的动态行为，对象和速度和方向模块703可进一步适用于估计任何物理力的动态。对象和速度和方向模块703也可使用图像运动、尺寸和角度变化来估计对象的速度，诸如，手和手指的速度。
动量和惯量模块702可以使用对象在图像平面中或三维空间中的图像运动、图像尺寸和角度变化来估计该对象在该空间中或显示器上的速度和方向。动量和惯量模块702被耦合至对象和姿势识别系统722，以估计由手、手指或其他身体部位执行的姿势的速度，并且随后应用那些估计以确定将受该姿势影响的虚拟对象的动量和速度。
3D图像交互和影响模块705跟踪与3D图像的用户交互，该3D图像看起来像从一个或多个屏幕中延伸出来。可以计算对象在z轴(朝向和远离屏幕平面)上的影响以及这些对象相互之间的相对影响。例如，在虚拟对象到达屏幕平面之前，由用户姿势抛出的对象可以被前景中的3D对象影响。这些对象可改变抛射体的方向或速度，或完全摧毁它。该对象可以由3D图像交互和影响模块705在显示器中的一个或多个上的前景中进行渲染。
在第一示例实施例中，一种装置包括：投影仪，该投影仪被配置成用于将光图案序列投射在对象上；第一相机，该第一相机被配置成用于捕捉对象的图像序列，该对象用所投射的光图案照射；控制器，耦合至投影仪和第一相机，该控制器能操作用于：接收该图像序列；以及通过以下操作来执行范围控制：基于从由相机捕捉的图像序列获取的信息控制被投射在对象上的光图案序列的功率和相机的曝光时间。
在另一示例实施例中，第一示例实施例的主题可以任选地包括：该信息包括强度信息，该强度信息与由相机捕捉的图像序列相关联。在另一示例实施例中，该示例实施例的主题可以任选地包括：该强度信息包括由相机捕捉的图像序列的强度之间的差的平均强度。
在另一示例实施例中，第一示例实施例的主题可以任选地包括，控制器能操作用于通过以下动作来控制深度动态范围：如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光被设置为预设置的最小值，则减小投影仪功率；以及如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光未被设置为预设置的最小值，则减小相机的曝光。
在另一示例实施例中，第一示例实施例的主题可以任选地包括，控制器能操作用于通过以下动作来控制深度动态范围：如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪功率被设置为预设置的最小值，则增加相机的相机曝光；以及如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪激光功率未被设置为预设置的最小值，则减小投影仪功率。
在另一示例实施例中，第一示例实施例的主题可以任选地包括，控制器能操作用于：通过基于对象强度来执行自动投影仪增益和自动曝光控制，基于从由所述相机捕捉的所述图像序列获取的信息来控制被投射在所述对象上的所述光图案序列的功率和相机的曝光时间。在另一示例实施例中，该示例实施例的主题可以任选地包括：执行自动投影仪增益和自动曝光控制包括：当与对象相关联的对象强度增加时，激活自动投影仪增益；以及当对象强度减小时，增加投影仪增益，直到对象强度达到预设置的最大值；以及当对象强度达到预设置的最大值时，随后激活自动曝光控制，直到达到预设置的最小值，在预设置的最小值之后，自动投影仪增益被激活。
在另一示例实施例中，该第一示例实施例的主题可以任选地包括，处理单元使用三角测量重构深度。
在另一示例实施例中，第一示例实施例的主题可以任选地包括：投影仪包括红外(IR)投影仪，第一相机包括IR相机，并且第二相机包括红绿蓝(RGB)相机。
在第二示例实施例中，一种方法包括：使用投影仪将光图案序列投射在对象上；使用相机捕捉该对象的图像序列，该对象用所投射的光图案照射；以及通过基于从由相机捕捉的图像序列获取的信息控制被投射在对象上的光图案序列的功率和相机的曝光时间来控制深度动态范围。
在另一示例实施例中，第二示例实施例的主题可以任选地包括：该信息包括强度信息，该强度信息与由相机捕捉的图像序列相关联。在另一示例实施例中，该示例实施例的主题可以任选地包括：该强度信息包括由相机捕捉的图像序列的强度之间的差的平均强度。
在另一示例实施例中，第二示例实施例的主题可以任选地包括：控制深度动态范围包括：如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光被设置为预设置的最小值，则减小投影仪激光功率；以及如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光未被设置为预设置的最小值，则减小相机的曝光。
在另一示例实施例中，第二示例实施例的主题可以任选地包括：控制深度动态范围包括：如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪功率被设置为预设置的最小值，则增加相机的相机曝光；如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪激光功率未被设置为预设置的最小值，则减小投影仪功率。
在另一示例实施例中，第二示例实施例的主题可以任选地包括：通过基于从相机捕捉的图像序列获取的信息控制被投射在对象上的光图案序列的功率和相机的曝光时间来控制深度动态范围包括：基于对象强度来执行自动投影仪增益和自动曝光控制。在另一示例实施例中，该示例实施例的主题可以任选地包括：执行自动投影仪增益和自动曝光控制包括：当与对象相关联的对象强度增加时，激活自动投影仪增益；以及当对象强度减小时，增加投影仪增益，直到对象强度达到预设置的最大值；以及当对象强度达到预设置的最大值时，随后激活自动曝光控制，直到达到预设置的最小值，在预设置的最小值之后，自动投影仪增益被激活。
在另一示例实施例中，第二示例实施例的主题可以任选地包括：光图案序列的功率包括激光功率，以及投影仪包括红外(IR)投影仪。
在第三示例实施例中，一种制品具有存储指令的一种或多种非瞬态计算机可读存储介质，该指令在被系统执行时，用于执行包括以下步骤的方法：使用相机捕捉对象的图像序列，该对象用使用投影仪投射在该对象上的光图案照射；通过基于从由该相机捕捉的图像序列获取的信息控制被投射在该对象上的光图案序列的功率和相机的曝光时间来控制深度动态范围。
在另一示例实施例中，第三示例实施例的主题可以任选地包括：其中强度信息包括由相机捕捉的图像序列的强度之间的差的平均强度。
在另一示例实施例中，该第三示例实施例的主题可以任选地包括：控制深度动态范围包括：如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光被设置为预设置的最小值，则减小投影仪激光功率；如果由相机捕捉的图像序列之间的平均强度高于第一阈值，并且相机曝光未被设置为预设置的最小值，则减小相机的曝光；如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪功率被设置为预设置的最小值，则增加相机的相机曝光；以及如果由相机捕捉的图像序列之间的平均强度低于第二阈值，并且投影仪功率未被设置为预设置的最小值，则减小投影仪激光功率。
在另一示例实施例中，第三示例实施例的主题可以任选地包括：通过基于从由相机捕捉的图像序列获取的信息控制被投射在对象上的光图案序列的功率和相机的曝光时间来控制深度动态范围包括：基于对象强度来执行自动激光增益和自动曝光控制。
在另一示例实施例中，该示例实施例的主题可以任选地包括：执行自动投影仪增益和自动曝光控制包括：当与对象相关联的对象强度增加时，激活自动投影仪增益；以及当对象强度减小时，增加投影仪增益，直到对象强度达到预设置的最大值；以及当对象强度达到预设置的最大值时，随后激活自动曝光控制，直到达到预设置的最小值，在预设置的最小值之后，自动投影仪增益被激活。
以上具体实施方式的一些部分是按照算法和对计算机存储器内的数据位的操作的符号表示而呈现的。这些算法描述和表示由数据处理领域内的技术人员使用以便最有效地将他们的工作本质传达给其他本领域技术人员的手段。算法在此或一般是指导致所期望结果的自洽的步骤序列。这些步骤是需要对物理量进行物理操控的那些步骤。通常但非必须，这些量采用能够被存储、传输、组合、比较、以及以其他方式操控的电信号或磁信号的形式。主要出于常见用途的考虑，时不时地将这些信号称为位、值、元素、符号、字符、项、数字等被证明是方便的。
然而，应当记住，所有这些和类似的术语将与适当的物理量关联，并且仅仅是应用于这些量的方便的标记。除非专门陈述，否则如从以下讨论中显而易见的是，应意识到，贯穿说明书使用诸如“处理”或“计算”或“推算”或“确定”或“显示”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和进程，这些动作和进程将计算机系统寄存器和存储器内表示为物理(电子)量的数据操控和/或变换成在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内类似地被表示为物理量的其他数据。
本发明还涉及一种用于执行本文中的操作的装置。该装置可专门构造来用于所需目的，或者其可包括通用计算机，该通用计算机由存储在该计算机内的计算机程序有选择地激活或重新配置。此类计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质诸如但不限于，包括软盘、光盘、CD-ROM和磁光盘之类的任何类型的盘，只读存储器(ROM)，随机存取存储器(RAM)，EPROM，EEPROM，磁卡或光学卡，或者适于存储电子指令的任何类型的介质，并且每种介质都耦合到计算机系统总线。
本文中呈现的算法和显示并非固有地与任何特定计算机或其他装置相关。可以将各种通用系统与根据本文中教导的程序一起使用，或可以证明构造更专门的装置来实现所要求的方法步骤是方便的。用于各种这些系统的所需结构将从下文描述中呈现。另外，本发明不是参考任何特定的编程语言来描述的。将会领会，可使用各种编程语言以实现如本文中所述的本发明的教导。
机器可读介质包括用于存储或传输机器(例如，计算机)可读形式的信息的任何机制。例如，机器可读介质包括只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备等。
尽管本发明的很多改变和修改在本领域的普通技术人员阅读上述描述之后无疑将变得显而易见，但应该理解，作为说明示出和描述的任何具体实施例决非旨在被认为是限制性的。因此，对各实施例的细节的引述不旨在限制权利要求的范围，权利要求本身仅记载被认为是对本发明必要的那些特征。

Claims (10)

1.一种用于相机深度范围控制的装置，包括：
投影仪，所述投影仪被配置成用于将光图案序列投射在对象上；
相机，所述相机被配置成用于捕捉所述对象的图像序列，所述对象用所投射的光图案照射；以及
控制器，耦合至所述投影仪和所述相机，所述控制器能操作用于：接收所述图像序列；以及通过以下操作来执行深度范围控制：基于从由所述相机捕捉的所述图像序列获取的信息来控制被投射在所述对象上的所述光图案序列的功率和相机的曝光时间，其中所述信息包括与由所述相机捕捉的图像序列相关联的强度信息，其中所述强度信息包括通过对由所述相机捕捉的所述对象的图像的强度值之间的差求平均获得的平均强度，
其中所述控制器能操作用于通过以下操作来执行深度动态范围控制：如果所述平均强度高于第一阈值，并且所述曝光时间被设置为预设置的曝光时间最小值，则减小投影仪功率；以及如果所述平均强度高于所述第一阈值，并且所述曝光时间未被设置为所述预设置的曝光时间最小值，则减小所述曝光时间，并且
其中所述控制器能操作用于通过以下操作来执行深度动态范围控制：如果所述平均强度低于第二阈值，并且投影仪功率被设置为预设置的投影仪功率的最大值，则增加所述曝光时间；以及如果所述平均强度低于所述第二阈值，并且所述投影仪功率未被设置为所述预设置的投影仪功率的最大值，则增加所述投影仪功率。
2.如权利要求1所述的装置，其中所述控制器能操作用于通过以下操作来基于从由所述相机捕捉的所述图像序列获取的信息来控制被投射在所述对象上的所述光图案序列的功率和相机的曝光时间：基于对象强度来执行自动投影仪增益和自动曝光控制。
3.如权利要求2所述的装置，其中执行自动投影仪增益和自动曝光控制包括：
当与所述对象相关联的所述对象强度增加时，激活所述自动投影仪增益；以及当所述对象强度减小时，增加投影仪增益，直到所述对象强度达到预设置的对象强度的最大值；以及
当所述对象强度达到所述预设置的对象强度的最大值时，随后激活所述自动曝光控制，直到所述曝光时间达到预设置的曝光时间最小值，在所述曝光时间达到所述预设置的曝光时间最小值之后，所述自动投影仪增益被激活。
4.如权利要求1所述的装置，其中所述投影仪包括红外IR投影仪，其中所述相机包括IR相机。
5.一种用于在相机深度范围控制中使用的方法，包括：
使用投影仪将光图案序列投射在对象上；
使用相机捕捉所述对象的图像序列，所述对象用所投射的光图案照射；以及
通过基于从由所述相机捕捉的所述图像序列获取的信息控制被投射在所述对象上的所述光图案序列的功率和所述相机的曝光时间来控制深度动态范围，其中所述信息包括与由所述相机捕捉的图像序列相关联的强度信息，其中所述强度信息包括通过对由所述相机捕捉的所述对象的图像的强度值之间的差求平均获得的平均强度，
其中控制深度动态范围包括：如果所述平均强度高于第一阈值，并且所述曝光时间被设置为预设置的曝光时间最小值，则减小投影仪激光功率；以及如果所述平均强度高于所述第一阈值，并且所述曝光时间未被设置为所述预设置的相机曝光时间最小值，则减小所述曝光时间，并且
其中控制深度动态范围包括：如果所述平均强度低于第二阈值，并且投影仪功率被设置为预设置的投影仪功率的最大值，则增加所述曝光时间；以及如果所述平均强度低于所述第二阈值，并且投影仪激光功率未被设置为所述预设置的投影仪功率的最大值，则增加所述投影仪功率。
6.如权利要求5所述的方法，其中通过基于从由所述相机捕捉的所述图像序列获取的信息控制被投射在所述对象上的所述光图案序列的功率和所述相机的曝光时间来控制深度动态范围包括：基于对象强度来执行自动投影仪增益和自动曝光控制。
7.如权利要求6所述的方法，其中执行自动投影仪增益和自动曝光控制包括：
当与所述对象相关联的所述对象强度增加时，激活所述自动投影仪增益；以及当所述对象强度减小时，增加投影仪增益，直到所述对象强度达到预设置的对象强度的最大值；以及
当所述对象强度达到所述预设置的对象强度的最大值时，随后激活所述自动曝光控制，直到所述曝光时间达到预设置的曝光时间最小值，在所述曝光时间达到所述预设置的曝光时间最小值之后，所述自动投影仪增益被激活。
8.如权利要求5所述的方法，其中所述光图案序列的所述功率包括激光功率，并且所述投影仪包括红外IR投影仪。
9.一种用于相机深度范围控制的制品，具有存储指令的一种或多种非瞬态计算机可读存储介质，所述指令在被系统执行时，用于执行用于在相机中控制深度范围的方法，所述方法包括以下步骤：
使用所述相机捕捉对象的图像序列，所述对象用使用投影仪投射在所述对象上的光图案照射；以及
通过基于从由所述相机捕捉的所述图像序列获取的信息控制被投射在所述对象上的所述光图案序列的功率和所述相机的曝光时间来控制深度动态范围，其中所述信息包括与由所述相机捕捉的图像序列相关联的强度信息，其中所述强度信息包括通过对由所述相机捕捉的所述对象的图像的强度值之间的差求平均获得的平均强度，
其中控制深度动态范围包括：
如果所述平均强度高于第一阈值，并且所述曝光时间被设置为预设置的曝光时间最小值，则减小投影仪激光功率；
如果所述平均强度高于所述第一阈值，并且所述曝光时间未被设置为所述预设置的曝光时间最小值，则减小所述曝光时间；
如果所述平均强度低于第二阈值，并且投影仪功率被设置为预设置的投影仪功率的最大值，则增加所述曝光时间；以及
如果所述平均强度低于所述第二阈值，并且投影仪功率未被设置为所述预设置的投影仪功率的最大值，则增加投影仪激光功率。
10.如权利要求9所述的制品，其中通过基于从由所述相机捕捉的所述图像序列获取的信息控制被投射在所述对象上的所述光图案序列的功率和所述相机的曝光时间来控制深度动态范围包括通过以下方式而基于对象强度来执行自动投影仪增益和自动曝光控制：
当与所述对象相关联的所述对象强度增加时，激活所述自动投影仪增益；以及当所述对象强度减小时，增加投影仪增益，直到所述对象强度达到预设置的对象强度的最大值；以及
当所述对象强度达到所述预设置的对象强度的最大值时，随后激活所述自动曝光控制直到所述曝光时间达到预设置的曝光时间最小值，在所述曝光时间达到所述预设置的曝光时间最小值之后，所述自动投影仪增益被激活。
CN201680068202.7A 2015-12-21 2016-10-24 用于主动式照明深度相机的自动范围控制 Active CN109076145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/977,140 2015-12-21
US14/977,140 US9800795B2 (en) 2015-12-21 2015-12-21 Auto range control for active illumination depth camera
PCT/US2016/058475 WO2017112073A1 (en) 2015-12-21 2016-10-24 Auto range control for active illumination depth camera

Publications (2)

Publication Number Publication Date
CN109076145A CN109076145A (zh) 2018-12-21
CN109076145B true CN109076145B (zh) 2021-05-18

Family

ID=59066845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068202.7A Active CN109076145B (zh) 2015-12-21 2016-10-24 用于主动式照明深度相机的自动范围控制

Country Status (4)

Country Link
US (3) US9800795B2 (zh)
CN (1) CN109076145B (zh)
DE (1) DE112016005865T5 (zh)
WO (1) WO2017112073A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
TWI512270B (zh) * 2015-01-13 2015-12-11 Pixart Imaging Inc 具動態曝光時間的光學測距系統
US10362237B2 (en) * 2015-05-26 2019-07-23 Carnegie Mellon University Structured illumination system for increased dynamic range in quantitative imaging
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US10659764B2 (en) 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) * 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10346995B1 (en) * 2016-08-22 2019-07-09 AI Incorporated Remote distance estimation system and method
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
CN109819174B (zh) * 2017-11-22 2021-07-13 浙江舜宇智能光学技术有限公司 基于tof成像系统的自动曝光方法及自动曝光时间计算方法和tof相机
CN109981993B (zh) * 2017-12-28 2021-02-05 舜宇光学（浙江）研究院有限公司 深度相机投射器功耗控制方法及其应用
US11592536B2 (en) 2018-01-10 2023-02-28 Sony Semiconductor Solutions Corporation Control of image capture
WO2019165956A1 (zh) * 2018-02-27 2019-09-06 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
CN108490632B (zh) 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
IT201800021271A1 (it) * 2018-12-27 2020-06-27 Ambarella Int Lp Enhanced stereoscopic imaging
CN109861757B (zh) * 2019-03-26 2021-03-09 Oppo广东移动通信有限公司 控制方法、飞行时间组件、电子装置及可读存储介质
CN110062145B (zh) * 2019-05-24 2021-07-20 Oppo广东移动通信有限公司 深度相机、电子设备及图像获取方法
CN110324602A (zh) * 2019-06-17 2019-10-11 Oppo广东移动通信有限公司 一种三维图像的生成方法及装置、终端、存储介质
DE102019123232A1 (de) * 2019-08-29 2021-03-04 SmartRay GmbH Mehrfach-Belichtungsverfahren
CN110809152A (zh) * 2019-11-06 2020-02-18 Oppo广东移动通信有限公司 信息处理方法、编码装置、解码装置、系统及存储介质
CN110944135B (zh) * 2019-11-18 2022-05-31 深圳前海达闼云端智能科技有限公司 一种功率控制方法、电子设备及存储介质
US11237641B2 (en) * 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
CN111935424B (zh) * 2020-08-02 2022-10-14 珠海一微半导体股份有限公司 一种tof模块的积分时间自适应调节方法及其控制系统
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170565A (zh) * 2011-04-11 2011-08-31 天津汇讯视通科技有限公司 红外产品视频分析调光vaal的实现方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2910266A (en) 1959-10-27 Poppet-butterfly valve
US2053668A (en) 1933-03-10 1936-09-08 Universal Hydraulic Corp Hydraulic rotor operated butterfly valve
US3260496A (en) 1961-07-25 1966-07-12 B H Hadley Inc Thermal responsive high pressure butterfly valve seal means
US3982725A (en) 1974-06-27 1976-09-28 Keystone International, Inc. Valve actuator
US4545289A (en) 1983-09-09 1985-10-08 Weyer Paul P Adjustable rotary actuator
IT1217711B (it) 1988-05-24 1990-03-30 Aurelio Messina Attuatore perfezionato per l'azionamento,in apertura ed in genere
US4882979A (en) 1988-10-07 1989-11-28 Weyer Paul P Dual-piston acuator
US5170693A (en) 1991-04-26 1992-12-15 Stary Gary M Rotary actuator device with a free floating piston
IT1310299B1 (it) 1999-03-02 2002-02-11 Air Torque S P A Attuatore fluidodinamico per il controllo di valvole ad elevataversatilita' di impiego.
US6354327B1 (en) 2000-07-31 2002-03-12 Virginia Valve Company Automatic position-control valve assembly
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
US6651687B2 (en) 2002-02-08 2003-11-25 Taylor Innovations, L.L.C. Pressure relief system with clutch activated valve
US6707054B2 (en) * 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
JP2004212385A (ja) * 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
US8224064B1 (en) * 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
KR20080021779A (ko) 2005-08-19 2008-03-07 부커 하이드롤릭스 아게 복동식 유압 구동 실린더의 제어를 위한 회로
CN101466998B (zh) * 2005-11-09 2015-09-16 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
WO2008091813A2 (en) 2007-01-25 2008-07-31 Mitsubishi Electric Research Laboratories, Inc. Method and system for marking scenes and images of scenes with optical tags
NO342498B1 (no) 2007-05-18 2018-06-04 Petrolvalves Llc Helisk kileaktuator
FR2921719B1 (fr) * 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
EP2231011A1 (en) * 2007-12-31 2010-09-29 Real Imaging Ltd. System and method for registration of imaging data
US8908958B2 (en) * 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
CA2762637C (en) 2009-11-04 2012-08-28 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
US9146558B2 (en) * 2010-11-30 2015-09-29 Irobot Corporation Mobile robot and method of operating thereof
JP5644468B2 (ja) 2010-12-20 2014-12-24 株式会社ニコン 撮像装置および撮像装置の制御プログラム
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
AU2012307095B2 (en) * 2011-09-07 2017-03-30 Commonwealth Scientific And Industrial Research Organisation System and method for three-dimensional surface imaging
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US20130133405A1 (en) 2011-11-25 2013-05-30 Tareq Nasser Al-Buaijan Shut-off valve testing system
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9470520B2 (en) * 2013-03-14 2016-10-18 Apparate International C.V. LiDAR scanner
US10268885B2 (en) * 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US10101454B2 (en) * 2014-01-15 2018-10-16 University of Pittsburgh—of the Commonwealth System of Higher Education Pathway measurement devices, systems and methods
US11265534B2 (en) 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9989159B2 (en) 2014-05-01 2018-06-05 Fisher Controls International Llc Vent assembly and method for a digital valve positioner
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN105338255B (zh) 2014-06-24 2019-04-26 联想(北京)有限公司 一种深度恢复调整方法及电子设备
US9677986B1 (en) * 2014-09-24 2017-06-13 Amazon Technologies, Inc. Airborne particle detection with user device
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170565A (zh) * 2011-04-11 2011-08-31 天津汇讯视通科技有限公司 红外产品视频分析调光vaal的实现方法

Also Published As

Publication number Publication date
US20200072367A1 (en) 2020-03-05
CN109076145A (zh) 2018-12-21
US10927969B2 (en) 2021-02-23
WO2017112073A1 (en) 2017-06-29
US20180031137A1 (en) 2018-02-01
US10451189B2 (en) 2019-10-22
US20170180622A1 (en) 2017-06-22
DE112016005865T5 (de) 2018-09-20
US9800795B2 (en) 2017-10-24

Similar Documents

Publication Publication Date Title
CN109076145B (zh) 用于主动式照明深度相机的自动范围控制
US11889046B2 (en) Compact, low cost VCSEL projector for high performance stereodepth camera
KR101879478B1 (ko) 레이저 깊이 지도 레인지를 확대하는 방법
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
US10101154B2 (en) System and method for enhanced signal to noise ratio performance of a depth camera system
CN107424186B (zh) 深度信息测量方法及装置
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US9978147B2 (en) System and method for calibration of a depth camera system
CN104380338B (zh) 信息处理器以及信息处理方法
JP5655095B2 (ja) デプスカメラの互換性
US10756510B2 (en) Failsafe pulsed laser driver
JP5778182B2 (ja) デプスカメラの互換性
US20150302239A1 (en) Information processor and information processing method
US10254854B2 (en) Tracker for cursor navigation
CN113302665A (zh) 用于增强现实的光照估计
US9313376B1 (en) Dynamic depth power equalization
CN115878008A (zh) 交互方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant