CN108541300A - 自适应深度感测系统 - Google Patents

自适应深度感测系统 Download PDF

Info

Publication number
CN108541300A
CN108541300A CN201680024530.7A CN201680024530A CN108541300A CN 108541300 A CN108541300 A CN 108541300A CN 201680024530 A CN201680024530 A CN 201680024530A CN 108541300 A CN108541300 A CN 108541300A
Authority
CN
China
Prior art keywords
equipment
depth
sense
sensors
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680024530.7A
Other languages
English (en)
Inventor
C-F·辛
P·克里希纳斯瓦米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108541300A publication Critical patent/CN108541300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及一种自适应深度感测(DS)系统。DS设备可以包括DS设备模块和控制模块。所述控制模块可以将所述DS设备模块的所述操作模式配置用于近距离感测、中等距离感测或远距离感测。所述控制模块可以从所述DS设备模块至少接收深度数据以用于确定所述操作模式。所述控制模块还可以接收关于所述DS设备和/或与所述DS设备耦合的主机设备的状况数据、基于所述状况数据确定配置，并且可以利用所述状况数据连同所述深度数据来配置所述DS设备模块。配置所述DS设备模块可以包括例如启用所述DS设备模块内的部件；配置所述部件的焦点；配置所述部件的图像定向；和/或为所述部件选择DS方法。

Description

自适应深度感测系统
技术领域
本公开涉及设备感测系统，并且更具体地涉及一种可适应于不同感测距离的深度传感器以及一种用于控制自适应深度传感器的系统。
背景技术
用户可以与电子设备交互的方式基于感测技术的新进展而逐渐发展。例如，对于特定感测应用，深度传感器变得越来越流行。深度传感器可以能够感测从设备到目标的距离并且沿着这些线感测在三个维度上做出的姿势和/或运动等。深度感测常用于视频游戏的专门用户界面。基于深度的用户界面可以感测游戏玩家做出的位置、运动和/或姿势。然后，视频游戏系统可以将感测到的深度信息转化成用于控制视频游戏中的角色的输入等。可以采用深度感测的其他应用示例包括但不限于：计算机的用户界面输入(例如，用于以类似于鼠标的方式操纵定点设备)、面部识别、用于将移动映射到化身上的面部特征跟踪、对象瞄准、针对各种机器人应用的操纵等及其他。
虽然深度传感器可以被设计用于以上示例应用中的任何一种，但是设计普遍适用于各种应用的传感器愈加困难。设想“通用”深度传感器时的至少一种挑战在于：近距离感测(例如，一米以内)、中等距离感测(例如，在一到三米之间)和远距离感测(例如，超过三米)全都包括不同的设备配置。具体地，示例深度传感器可以包括至少一个红绿蓝(RGB)传感器(例如，至少两个RGB传感器可以用于在视觉上确定深度)。对于红外(IR)深度感测，示例深度传感器还可以包括至少一个IR发射器和至少一个IR接收器。深度传感器内这些部件的安排、部件的集聚焦、部件的配置(用于基于不同深度感测方法而运行)等可能根据各种因素而变化，如例如，目标感测深度、发生深度感测的环境、相对于待感测目标对象或者深度传感器本身预期的运动量、深度感测应用等。
附图说明
所要求保护的主题的各个实施例的特征和优点将随着以下具体实施方式进行并且在参照附图时变得明显，其中，类似数字指代类似部件，并且在附图中：
图1展示了根据本公开的至少一个实施例的示例自适应深度感测系统；
图2展示了根据本公开的至少一个实施例的集成深度传感器的示例实施方式；
图3展示了根据本公开的至少一个实施例的可拆卸深度传感器的示例实施方式；
图4展示了根据本公开的至少一个实施例的深度传感器和主机设备的示例模块化配置；
图5展示了根据本公开的至少一个实施例的用于单传感器近距离感测和双传感器中等距离感测的示例配置；
图6展示了根据本公开的至少一个实施例的用于利用附加传感器或可移动传感器进行双远距离感测的示例配置；
图7展示了根据本公开的至少一个实施例的针对组合的深度传感器和主机设备的示例控制配置；
图8展示了根据本公开的至少一个实施例的用于配置自适应深度传感器系统的示例操作；并且
图9展示了根据本公开的至少一个实施例的用于检测自适应深度传感器系统的场景变化的示例操作。
尽管以下具体实施方式将参照说明性实施例进行，但是其许多替代方案、修改和变化将对本领域的技术人员而言是明显的。
具体实施方式
本公开涉及一种自适应深度感测(DS)系统。在至少一个实施例中，DS设备可以包括DS设备模块和控制模块。所述控制模块可以将所述DS设备模块的所述操作模式配置用于近距离感测、中等距离感测或远距离感测。例如，所述控制模块可以从所述DS设备模块至少接收深度数据以用于确定所述操作模式。在至少一个实施例中，所述控制模块可以进一步接收关于所述DS设备和/或与所述DS设备耦合的主机设备的状况数据、基于所述状况数据确定配置并且可以利用所述状况数据连同所述深度数据来配置所述DS设备模块。配置所述DS设备模块进行配置可以包括例如启用DS设备模块中的部件；配置所述DS设备模块中的部件的焦点；配置所述DS模块中的部件的图像定向；和/或为所述DS设备模块中的部件选择DS方法。例如，一个IR传感器可以被启用以便进行近距离感测，而两个IR传感器可以被启用以便进行中等距离感测。所述DS设备模块还可以包括第三IR传感器，所述第三传感器被专门激活以便进行远距离感测或者以便使所述IR传感器中的至少一个可基于在所述DS设备模块中配置了中等距离感测模式还是远距离感测模式而移动。
在至少一个实施例中，示例DS设备可以至少包括DS设备模块和控制模块。所述DS设备模块可以用于执行DS。所述控制模块可以用于从所述DS设备模块至少接收深度数据并且至少基于所述深度数据对所述深度传感器设备模块的操作模式进行配置。
例如，所述深度数据可以包括以下各项中的至少一项：由所述深度感测装备模块感测到的从所述深度感测设备到连接像素组中的至少一个像素的距离或者所述连接像素组的大小。所述控制模块可以进一步用于：接收至少关于所述深度感测设备的状况数据；基于所述状况数据确定所述深度感测设备的配置；并且同样基于所述配置对所述深度传感器设备模块的所述操作模式进行配置。在至少一个实施例中，所述控制模块可以进一步用于：判定所述深度感测设备是否耦合至主机设备；基于确定所述深度感测设备耦合至所述主机设备而接收关于所述主机设备的状况数据；并且基于从所述深度传感器设备和所述主机设备接收到的所述状况数据确定所述深度感测设备或所述主机设备中的至少一者的配置。所述控制模块可以进一步用于：基于所述状况数据或深度数据中的至少一者判定是否存在场景变化；并且基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式。
在至少一个实施例中，在配置所述操作模式时，所述控制模块可以用于进行以下各项操作中的至少一项：启用所述深度感测装备模块中的部件；调整所述深度感测装备模块中的部件的焦距；配置所述深度感测装备模块中的部件的图像定向；或者为所述深度感测装备模块中的部件选择深度感测方法。所述深度感测装备模块可以至少包括红绿蓝(RGB)传感器；红外(IR)发射器；被定位成与所述IR发射器间隔开的第一IR传感器；以及被定位在所述IR发射器附近的第二IR传感器。
在配置所述操作模式时，所述控制模块可以用于启用所述IR发射器和所述第一IR传感器以便进行近距离深度感测。此外，在配置所述操作模式时，所述控制模块还可以用于启用所述第二IR传感器以便进行中等距离深度感测。在至少一个实施例中，所述第二IR传感器可在所述深度传感器设备模块内移动，并且在配置所述操作模式时，所述控制模块可以用于使所述深度传感器设备模块在所述第二IR传感器被配置用于进行中等距离深度感测时将其定位在第一位置处或者将其定位在距所述第一IR传感器更远距离的第二位置处以便进行远距离深度感测。可替代地，所述深度感测装备模块包括第三IR传感器，所述第三IR传感器被定位在比所述第二IR传感器距所述第一IR传感器更远的距离处；并且在配置所述操作模式时，所述控制模块用于启用所述RGB传感器、所述IR发射器、所述第一IR传感器和所述第三IR传感器以便进行远距离深度感测。与本公开一致，一种用于配置深度感测设备的示例方法可以包括：在深度传感器设备中在控制模块处接收状况数据；基于所述状况数据确定至少所述深度传感器设备的配置；在所述控制模块处接收来自所述深度传感器设备的深度数据；以及至少基于所述确定的配置和所述深度数据对所述深度传感器设备中的深度传感器设备模块的操作模式进行配置。
图1展示了根据本公开的至少一个实施例的示例自适应深度传感器系统。系统100可以至少包括例如DS设备102和主机设备104。DS设备102可以是经由有线或无线连接耦合至主机设备104的单独设备，或者可以整合到主机设备104中。主机设备104的示例可以包括但不限于：基于来自谷歌公司的OS和/或Chrome来自苹果公司的和/或OS、来自微软公司的OS、来自Linux基金会的OS、来自Mozilla项目的OS、来自黑莓公司的OS、来自惠普公司的OS、来自塞班基金会的OS等的移动通信设备，比如，蜂窝手机或智能电话；移动计算设备，比如，平板计算机，像来自苹果公司的来自谷歌公司的来自微软公司的来自三星公司的Galaxy来自亚马逊公司的Kindle等；包括由英特尔公司制造的低功率芯片组的上网本、笔记本型计算机、膝上型计算机、掌上计算机等；可穿戴设备，比如，手表形状因子计算设备(像来自三星的Galaxy)、眼镜形状因子计算设备/用户界面(像来自谷歌公司的Google)、虚拟显示(VR)头戴式设备(像来自三星公司的Gear来自Oculus VR公司的Oculus)等；通常固定的计算设备，比如，台式计算机、智能电视、小形状因子计算解决方案(例如，用于空间有限的应用、电视机顶盒等)，像来自英特尔公司的下一代计算单元(NUC)平台等。虽然主机设备104可以是以上列出的示例设备中的任何一种，但是典型的使用场景可以涉及主机设备104是具有各种不同操作模式的便携式通信设备或便携式计算设备。本文中可以使用这些示例配置来示出和/或描述主机设备104(图2和图3)以便为理解与本公开一致的各个实施例提供容易理解的上下文。
DS设备102可以包括例如控制模块106、DS设备模块108以及(可选地)状况模块110。通常，控制模块106可以接收深度数据(DD)112或状况数据(CD)114中的至少一项(例如，关于DS设备102的CD 114A和/或关于主机设备104的CD 114B)并且可以采用CD 114来确定DS配置(DSC)116。DD 112通常可以包括由DS设备102生成的任何数据。例如，DS设备模块108可以通过感测“斑点”(例如，连接像素组)来激活并生成DD 112。从DS设备102到例如使用仅RGB感测、仅IR感测、组合的RGB和IR感测等来感测到斑点中的至少一个像素的大致距离可以指示要选择的操作模式(例如，近距离感测、中等距离感测或远距离感测)。单独地或组合感测到的距离，斑点的大小也可以指示需要的感测模式。例如，大斑点可以指示潜在目标靠近DS设备102，并且因此需要近距离感测。感测到较小斑点可以指示潜在目标进一步远离DS设备102并且应当采用中等距离感测或远距离感测。还可以采用其他目标测距方法。一种方法可以包括连续地进行近距离感测、中等距离感测和远距离感测以便生成多个深度图。然后，可以通过将来自不同深度图的数据输入各确定算法中来选择最佳操作模式。
CD 114A和CD 114B(统称为“CD 114A/B”)可以分别包括关于DS设备102和/或主机设备104的状况的数据。如本文中引用的“状况”可以包括但不限于：DS设备102和/或主机设备104的当前机械配置(例如，打开、关闭、与键盘对接等)、DS设备102和/或主机设备104的当前软件配置(例如，活动软件、需要DS的应用类型等)、DS设备102和/或主机设备104运行的环境(例如，感测到的背景、亮/暗、干扰、运动等)等。在至少一个实施例中，CD 114A可由状况模块110提供。状况模块110在DS设备102中的存在可以取决于例如DS设备102是否包括至少一个用于检测DS设备102的位置、定向、移动等的传感器。在DS设备102以固定定向整合到主机设备104中的示例实施方式中，状况模块110可能不存在。CD114B可以经由状况模块110从主机设备104提供至DS设备102，或者在不存在状况模块110的情况下可以直接提供至控制模块106。可以根据DS设备102与主机设备104之间的关系经由有线或无线链路将CD114B传输至DS设备102。将关于图2和图3讨论可以如何将DS设备102与主机设备104关联的示例。
控制模块106可以基于DD 112和/或CD 114A/B确定待执行的DS模式并且可以如在116处示出的那样配置DS设备模块108。DS设备模块108可以包括用于基于配置的操作模式执行DS的设备(例如，电子、机电和/或光学硬件)、固件、软件等。操作模式可以包括例如近距离感测、中等距离感测和远距离感测。将关于图4至图6描述可以包括在DS设备模块108内的设备类型的示例。
图2展示了根据本公开的至少一个实施例的集成深度传感器的示例实施方式。与本公开一致，主机设备104’被呈现为用于解释示例DS设备102’的运行的平台。主机设备104’可以是例如智能电话、平板计算机本身或能够与键盘单元200配对或对接的平板计算机、笔记本型计算机、上网本等。DS设备102’可以以允许DS设备102’像如在202处示出的那样以不同角度收起来(例如，在缩回位置中)或部署的方式整合到主机设备104’中。DS设备102’可以采用机械(例如，弹簧加载的)或机电(电机驱动的)机构而自动移动，可以通过用户操纵手动部署等。例如，可以触发DS设备102’以便通过执行需要DS的应用、与硬接口(例如，按钮)、软件接口交互等来自动部署。在至少一个实施例中，DS设备102’可以如图2中展示的那样以“面向用户的”定向用于捕获图像、感测由用户做出的姿势(例如，以便控制主机设备104’、以便玩游戏等)。控制模块106可以基于部署机构(例如，来自伺服系统的反馈)或至少一个传感器(例如，角度传感器、陀螺仪等)接收CD 114A并且然后可以确定DS设备108的操作模式。在不考虑DD 112或其他CD 114A/B的情况下，操作模式可以被确定为近距离感测。其他CD 114A/B也可以指示近距离感测。例如，如果主机设备104’是膝上型计算机、笔记本型计算机、上网本等，则在设备的屏幕部分与键盘部分之间发生的角度208可以被感测到并且可以进一步指示近距离感测。中等距离感测或远距离感测可以基于DD 112(例如，感测从DS设备102’到斑点中的至少一个像素的距离、感测与遥远对象相对应的小斑点而不是大的近距离斑点)和/或其他CD 114A/B(例如，确定应用需要中等距离感测或远距离感测、基于感测到的移动确定主机设备104’由用户握着、主机设备104’未与键盘单元200对接等)而被考虑。
在相同或不同实施例中，DS设备102’可以包括允许如206处示出的那样改变主机的定向的转环或接头204。再次，DS设备102’的定向206可以自动地(例如，经由机电机构)或经由用户操纵手动地改变。将设备102’重定向成面向相反方向(例如，从面向用户的位置起180度)可被视为“面向世界的”定向。控制模块106可以能够基于从接头204感测到的数据确定DS设备102’的定向，并且可以基于此定向考虑配置中等距离感测或远距离感测。例如，面向世界的定向可以用于捕获图像、基于用户整个身体的移动玩视频游戏、进行较大型视频会议等。
图3展示了根据本公开的至少一个实施例的可拆卸深度传感器的示例实施方式。图3中的主机设备104’可以具有与图2中描述的配置相同或基本上类似的配置。然而，在图3中，DS设备102”可从主机设备104’移除。DS设备102”可以包括连接器300，所述连接器插入主机设备104’中以便在这两个设备配对到一起时提供有线通信。扩展件302和304可以用于将DS设备102”机械地耦合至主机设备104’。当配对时，DS设备102”可以作为主机设备104’的一部分运行。在至少一个实施例中，DS设备102”可以是“可反转的”，因为其可以以面向用户的定向或者面向世界的定向配对。例如，连接器300可以是通用串行总线(USB)C型连接器，并且可以基于C型连接器的可以在耦合至DS设备102”时在设备104’中确定的销连接信息来确定DS设备102”的定向。当未与主机设备104’配对时，DS设备102”可以作为单独的深度传感器运行。例如，连接器306可以如在306处示出的那样缩回到DS设备102”中，并且扩展件302和304可以作为用于将DS设备102”定位在桌面上的臂系统的一部分而运行。在至少一个实施例中，控制模块106可以接收指示DS设备102”是否与主机设备104’配对的CD 114A/B，并且此信息可以用于确定DS设备模块108的操作模式。例如，控制模块106可以在DS设备102”以面向用户的定向配对时配置近距离感测，并且在DS设备102”以远距离配置配对时配置中等距离感测或远距离感测。当未配对时(例如，当DS设备102”与主机设备104’分离地运行时)，控制模块106可以基于典型用途而默认进行中等距离感测或远距离感测，可以利用由状况模块110中的至少一个传感器提供的DD 112和/或CD 114A来确定要配置的适当操作模式等。
图4展示了根据本公开的至少一个实施例的深度传感器和主机设备的示例模块化配置。DS设备102和/或主机设备104可以能够执行如关于图1至图3所讨论的示例功能。然而，DS设备102和/或主机设备104的配置仅意在作为在与本公开一致的实施例中可用的示例，而并不意在使这些各个实施例限制于任何特定方式的实施方式。
示例主机设备104可以包括例如被配置用于管理设备运行的系统模块400。系统模块400可以包括例如处理模块402、存储器模块404、电源模块406、用户接口模块408以及通信接口模块410。主机设备104还可以包括通信模块412。虽然通信模块412已经被示出为与系统模块400分离，但是为了解释的目的，仅仅提供了图4中展示的示例实施方式。还可以将与通信模块412相关联的功能中的一些或所有功能结合到系统模块400中。
在主机设备104中，处理模块402可以包括位于分离部件中的一个或多个处理器，或者可替代地，在单个部件中(例如，在片上系统(SoC)配置中)具体化的一个或多个处理核以及任何处理器相关的支持电路系统(例如，桥接接口等)。示例处理器可以包括但不限于：可从英特尔公司获得的各种基于x86的微处理器，包括在奔腾(Pentium)、至强(Xeon)、安腾(Itanium)、赛扬(Celeron)、阿童木(Atom)、Quark、核i系列产品家族、核M系列产品家族、高级RISC(例如，精简指令集计算)机器或“ARM”处理器等中的那些。支持电路系统的示例可以包括被配置用于提供接口的芯片组(例如，可从英特尔公司获得的北桥(Northbridge)、南桥(Southbridge)等)，处理模块402可以通过所述接口与主机设备104中可以正以不同速度、在不同总线上等运行的其他系统部件交互。通常与支持电路系统相关联的功能中的一些或全部功能还可以包括在与处理器相同的物理封装中(例如，在可从英特尔公司获得的沙桥(Sandy Bridge)处理器族中)。
处理模块402可以被配置用于执行主机设备104中的各个指令。指令可以包括程序代码，所述程序代码被配置用于使处理模块402执行与读取数据、写入数据、处理数据、制定数据、转换数据、变换数据等相关的活动。信息(例如，指令、数据等)可以存储在存储器模块404中。存储器模块404可以包括采用固定或可移除格式的随机存取存储器(RAM)或只读存储器(ROM)。RAM可以包括被配置用于在主机设备104的运行期间保持信息的易失性存储器，如例如，静态RAM(SRAM)或动态RAM(DRAM)。ROM可以包括基于BIOS、UEFI等被配置用于在主机设备104被激活时提供指令的非易失性(NV)存储器模块、如电子可编程ROM(EPROMS)等可编程存储器、闪存等。其他固定/可移除存储器可以包括但不限于：磁存储器(如例如，软盘、硬盘驱动器等)、电子存储器(比如，固态闪存(例如，嵌入式多媒体卡(eMMC)、固态驱动器(SSD)等))、可移除存储卡或可移除存储棒(例如，微型存储设备(uSD)、USB等)、光存储器(比如，基于致密盘的ROM(CD-ROM))、数字视频盘(DVD)、蓝光碟等。
电源模块406可以包括内部电源(例如，电池、燃料电池等)和/或外部电源(例如，机电或太阳能发电机、电网、外部燃料电池等)、以及相关电路系统(被配置用于为主机设备104供应运行所需的电力)。用户接口模块408可以包括硬件和/或软件以便允许用户与主机设备104(如例如，各种输入机构(例如，麦克风；开关；按钮；旋钮；键盘；扬声器；触敏表面；被配置用于捕获图像和/或感测接近度、距离、运动、姿势、定向、生物测定数据的一个或多个传感器等)以及各种输出机构(例如，扬声器；显示器；发光/闪烁指示器；针对振动、运动的机电部件等)进行交互。支持用户接口模块408的硬件可以结合到主机设备104内和/或可以经由有线或无线通信介质耦合至主机设备104。
通信接口模块410可以被配置用于对分组路由和通信模块412的其他控制功能进行管理，所述通信模块可以包括被配置用于支持有线和/或无线通信的资源。在某些实例中，主机设备104可以包括由集中式通信接口模块410管理的多于一个通信模块412(例如，包括针对有线协议和/或无线电台的分离物理接口模块)。有线通信可以包括串行和并行有线介质，如例如，以太网、USB、火线、雷电接口(Thunderbolt)、数字视频接口(DVI)、高清晰度多媒体接口(HDMI)等。无线通信可以包括例如极近无线介质(例如，如基于RF识别(RFID)或近场通信(NFC)标准、红外(IR)等)的射频(RF))、近距离无线介质(例如，蓝牙、WLAN、Wi-Fi等)、远距离无线介质(例如，蜂窝广域无线电通信技术、基于卫星的通信等)、通过声波的电子通信等。在一个实施例中，通信接口模块410可以被配置用于防止在通信模块412中活动的无线通信彼此干扰。在执行此功能时，通信接口模块410可以基于例如等待传输的消息的相对优先级为通信模块412安排活动。虽然图4中公开的实施例展示了通信接口模块410与通信模块412分离，但还有可能将通信接口模块410和通信模块412的功能结合到同一模块中。
在一般运行示例中，DS设备102可以利用组合的不可见和可见方法来执行DS。DS的可见部分可以采用至少一个相机(例如，RGB传感器)来捕获区域的至少一个图像或视频。所述至少一个图像或视频可以向DS的不可见方面给予目测值。还有可能使用被配置用于对目标区域中的不同点的位置进行三角测量的两个RGB传感器来执行DS。DS的不可见部分可以采用比如但不限于IR、紫外线、超声波等技术来将图案投影到目标区域上。图案可以很简单(例如，点阵列)或者可以被编码(例如，不同区域可以分配有不同编号)。然后，传感器可以检测到图案并且基于其感测确定相对深度。例如，投影图案的失真(例如，点之间的距离变化)可以等同于不同深度、深度变化等。从DS中生成的质量(例如，分辨率)、DS的最大距离等可能受在DS设备模块108’中利用的设备、采用的感测方法等影响，将关于图5和图6进一步讨论这一点。
在DS设备102中，示例DS设备模块108’可以至少包括例如IR传感器414、RGB传感器416、IR发射器418和IR传感器420。传感器和发射器414至420可以被规划为一体化集成电路(IC)解决方案、多芯片模块、或更复杂的电子/机电组件。例如，可以使用允许单个传感器输出IR图像和RGB图像两者的双孔技术来组合IR传感器414和RGB传感器416，这可以降低成本、减小大小等。在至少一个实施例中，传感器和发射器414至420可由控制模块106’单独控制。例如，控制模块106’可以至少控制是否启用IR传感器414、420和RGB传感器416(例如，感测还是不感测)以及透镜焦点(例如，通过控制与这些传感器中的每一个相关联的机电透镜焦点组件)。控制模块106’还可以控制IR传感器420的发射功率和发射类型(例如，由IR传感器420发射的图案类型)。在至少一个实施例中，DS设备102可以包括状况模块110’。状况模块110’可以至少包括用于感测至少关于DS设备102的位置、定向、运动等的传感器422。传感器422的输出端可以用于生成CD 114A。控制模块106’可以从状况模块110’至少接收CD114A以便用于确定DS设备模块108’(例如，传感器和发射器414至420)的配置。与本公开一致，控制模块106’可以接收CD 114B(单独地或结合CD 114A)。例如，如果DS设备102永久地整合到主机设备104中，则由例如用户接口模块408生成的CD 114B可以向DS设备102和主机设备104两者提供状况信息。控制模块106’可以经由直接和/或专用接口与用户接口模块408交互(例如，如果DS设备整合到主机设备104内)。可替代地，控制模块106’与主机设备104内的模块(例如，用户接口模块408)可以经由通信模块412支持的有线和/或通信进行交互。通信模块412可以用于例如DS设备102可以通过公用接口(例如，USB、以太网等)通信地耦合至主机设备104的情形，可以经由近距离无线通信(例如，蓝牙、WLAN等)与主机设备104远程交互等。
在至少一个实施例中，控制模块106’可以配置至少IR传感器414、RGB传感器416、IR发射器418和IR传感器420的各种属性。例如，基于DS方法，控制模块106’可以启用IR传感器414、RGB传感器416、IR发射器418和/或IR传感器420，可以配置IR传感器414、RGB传感器416、IR发射器418和/或IR传感器420的焦点，可以配置IR传感器414、RGB传感器416和/或IR传感器420的图像定向，和/或可以至少将IR发射器418配置用于以某个强度发射某个IR信号(例如，结构化和/或编码的)等。当DS设备102移动、滚动、翻转等(例如，从面向用户的定向到面向世界的定向)以便使图像正面朝上时，如果有必要，图像定向可以包括例如从上到下翻转捕获到的IR和RGB图像。关于图5和图6公开了可以如何基于操作模式配置DS设备模块108’中的各种部件的示例。
图5展示了根据本公开的至少一个实施例的用于单传感器近距离感测和双传感器中等距离感测的示例配置。图5中示出了两个示例500和502以便解释控制模块106’可以如何基于确定的操作模式控制DS设备模块108’。初始地，RGB传感器416可以在图5中的示例中的任何或所有示例中被启用以便收集与深度感测数据相对应的视觉数据。在第一示例中，在500处呈现了单传感器近距离感测。给定控制模块106’已经确定DS设备模块108’应当被配置用于近距离感测的示例场景，IR传感器414和IR发射器418可被启用以运行，并且可以将IR传感器414的焦点设置为针对近距离(例如，小于一米)。IR发射器418还可以被配置用于以某个图案、强度等发射IR光。在一个实施例中，控制模块106’可以将IR发射器418配置用于发射结构化/编码图案以便基于例如因特尔实感F200(例如，“F”指示前面朝着用户)技术来执行近距离DS。
在502处示出了示例双传感器中等距离感测配置。在示例502中，控制模块106’可以利用不同DS方法进行中等距离到远距离感测。一些方法可以采用附加传感器来在较远距离下维持分辨率，并且因此可以启用第二IR传感器420。在至少一个实施例中，控制模块106’可以将IR发射器418配置用于至少发射结构化图案以便基于例如因特尔实感R200(例如，“R”指示后部面向世界)技术来执行中到远距离DS。控制模块106’还可以重调IR传感器414和RGB传感器416的焦距以便进行中等距离(例如，1到3m)DS，并且可以将IR发射器418重新配置用于以更适合较远距离DS的功率电平发射图案。例如，一些中等距离感测技术可以不采用编码IR发射(例如，仅包括点阵列的图案)。
图6展示了根据本公开的至少一个实施例的用于利用附加传感器或可移动传感器进行双远距离感测的示例配置。初始地，RGB传感器416可以在图6中的示例中的任何或所有示例中被启用以便收集与深度感测数据相对应的视觉数据。与本公开一致，双传感器中等距离感测可能不同于主要基于IR传感器之间的距离、IR传感器的焦点以及(可能地)IR发射强度和/或图案的双传感器远距离感测。示例600和602描述了用于增大从IR传感器414到第二IR传感器的距离以便促进较远距离上的DS的两种可能配置。在示例600中，DS设备模块108’可以包括专门安排用于远距离感测的附加IR传感器604，因为例如IR传感器604比IR传感器420更远离IR传感器414以便支持远距离感测、包括用于在远距离上感测来自IR发射器418的IR发射的某个定向/焦点等。在运行示例中，控制模块106’可以确定需要远距离感测、可以禁用IR传感器420并启用IR传感器604。然后，控制模块106’可以以与以上关于IR传感器414和420描述的方式类似的方式来配置IR传感器604的焦点和/或运行。禁用IR传感器420可以允许调节DS设备102中的电力消耗。在至少一个实施例中，控制模块106’可以将IR发射器418配置用于至少发射结构化图案以便基于例如因特尔实感R200技术来执行远距离DS。
在602处公开的替代性配置中，IR传感器420可以在DS设备102中被重新定位。例如，机电装置可以在用于中等距离感测的第一位置606与用于较远距离感测的第二位置608之间移动IR传感器420。在至少一个实施例中，IR传感器420可以基于距目标的感测距离(例如，距像素斑点的感测距离)而被移动到第一位置606与第二位置608之间的各个位置。如以上描述的，可以在第一位置606处、在第二位置608处或者在其之间的位置处基于在DS控制模块106’中确定的操作模式对IR传感器420进行重调焦距和/或重新配置。示例配置602允许控制模块106’针对DS设备模块108’的任何操作模式(例如，近距离感测、中等距离感测和远距离感测)来配置立体IR感测，而无需结合附加IR传感器604。
图7展示了根据本公开的至少一个实施例的针对组合的深度传感器和主机设备的示例控制配置。应用层700、OS层702和DS控制层704可以与可能在DS设备102和/或主机设备104中存在的不同层级的控制、许可相对应。DS控制层704可以与特别是在DS设备102中执行的低水平高许可控制资源相对应。在至少一个实施例中，包括例如逻辑、存储器和控制资源的专用集成电路(ASIC)706可以被配置用于至少基于DD 112和/或CD 114A/B来控制DS设备模块108的运行。
OS层702可以至少包括状况数据接口710和DS设备驱动器708。CD114A可以在DS设备102和/或主机设备104的操作系统层702中生成。状况数据接口可以包括用于收集CD114B(例如，传感器数据、运行应用数据、硬件状态数据等)的硬件和/或软件。中间件(例如，在应用层700中运行的应用)可以接收由状况数据接口710收集的CD 114B并且可以经由OS层702中的DS驱动器708向ASIC 706提供CD 114B。
在接收到DD 112、来自状况模块110的CD 114A(例如，如果在DS设备102中存在所述状况模块)和/或CD 114B时，ASIC 706可以确定DS设备模块108的DSC 116。例如，ASIC706可以判定DS设备模块108是否应当被配置用于近距离感测、中等距离感测或远距离感测。在至少一个实施例中，ASIC 706还可以确定DS设备模块108的与所选操作模式有关的其他配置。例如，可以基于DD 112和/或CD 114A/B确定背景特性、干扰、运动等，并且这些输入可以使ASIC 706将DS设备模块108进一步配置用于噪声滤波、图像稳定化等。与本公开一致，还可以向DS设备驱动器708提供DSC 116，从而使得可以向任何深度数据消费者714(例如，需要DS并且可能已经触发了对DS模块102的激活的应用)通知当前配置的操作模式。
图8展示了根据本公开的至少一个实施例的用于配置自适应深度传感器系统的示例操作。初始地，在操作800中可以触发DS设备。可以触发DS设备的示例活动包括连接至主机设备或与主机设备断开连接、在需要DS的主机设备上执行应用、激活需要DS的应用功能、与DS设备或主机设备进行用户交互等。然后，在操作802中可以作出关于DS设备是否耦合至主机设备的判定。如果在操作806中确定DS设备未耦合至主机设备，则在操作804中，仅在DS设备中生成的状况数据可以用于确定DS设备的配置。否则，如果在操作802中确定DS设备耦合至主机设备，则在操作806中，来自DS设备和主机设备两者的状况数据可以用于确定DS设备配置。
因为一些设备(例如，智能电话、不具有键盘的平板计算机等)可能不具有台上配置，所以操作808可以是可选的。然而，在操作808中判定DS设备和/或主机设备是否采用台上配置可以适用于像膝上型计算机、笔记本型计算机、上网本、可以与外部键盘单元对接的平板计算机等可重新配置的设备。桌面配置可以基于以下各项来确定：在或者DS设备或者主机设备中的运动感测、DS设备和/或主机设备的不同部分的相对定向(例如，DS设备的作为面向用户或面向世界等的定向、膝上型计算机显示器部分相对于键盘部分的角度等)、在主机设备上运行的应用(例如，基于姿势的控制接口、视频会议软件、基于手势或身体姿势的游戏、摄影软件等)等。如果在操作808中确定DS设备和/或主机设备未采用台上配置(例如，主机设备采用便携或手持配置)，则在操作812中，DS设备可以被配置为便携模式。初始地，便携模式可以指示DS设备将更有可能执行中等距离感测或远距离感测。另外，便携模式还可以使其他功能(比如，滤波、图像稳定化、较高图像捕获速度、较低分辨率等)被调用。操作808中对DS设备和/或主机设备采用台上配置的确定之后可以是关于是否感测到DS设备和/或主机设备正在运动的判定。例如，膝上型计算机或类似设备可以采用台上配置，但仍可由用户随身携带。如果在操作810中确定DS设备和/或主机设备正在运动，则在操作812中可以再次在DS设备中配置便携模式。如果在操作819中未检测到任何实质运动，则在操作814中可以将DS设备配置为固定模式。固定模式可以暗示用于近距离(例如，面向用户的)感测的较高可能性，并且可以调用其他功能，比如，较低滤波、较高分辨率感测、较低捕获速度等。
在操作812或814之后，然后可以作出关于DS设备是否感测到近距离斑点的判定。斑点可以是由DS设备感测到的与待感测的目标对象(例如，用户、另一人员、对象、风景等)相对应的连接像素组。可以感测距斑点的距离、斑点的大小等以便确定要配置的最适当的操作模式。如果在操作816中确定感测到近距离斑点(例如，在很近的距离下感测到斑点的至少一个像素、斑点似乎占据了感测区域的大部分(指示物体可能靠近DS设备)等)，则在操作818中，可以在DS设备中配置近距离感测。如果在操作816中确定在近距离下不存在斑点，则在操作820中可以作出关于是否感测到与中等距离感测相对应的斑点的进一步判定(例如，在被考虑为中等距离的距离下感测到斑点的至少一个像素、斑点占据了感测区域的与如距离DS设备1到3m的人员等对象相对应的一部分等)。如果在操作820中确定在中等距离下感测到斑点，则在操作822中，可以在DS设备中配置中等距离感测操作模式。可替代地，如果在操作820中确定在中等距离下还未感测到斑点，则在操作824中可以配置远距离感测。每当例如像以上阐述那样触发了DS设备，就可以在操作800中重新启动图8中展示的各项操作。
图9展示了根据本公开的至少一个实施例的用于检测自适应深度传感器系统的场景变化的示例操作。一般而言，“场景变化”是关于DS设备、主机设备、目标等的事物已改变(其程度为应当考虑对DS设备和/或主机设备进行重新配置)的状况。在操作900中，深度感测可由DS设备单独地或结合主机设备来执行。然后，在操作902中可以作出关于是否已经检测到关于DS设备和/或主机设备的“明显运动”的判定。明显运动可以是相对度量并且可以与例如当DS设备和/或主机设备被配置成与固定模式(例如，台上配置)相反的便携模式(例如，手持)时预期的运动相关联。如果在操作902中确定检测到明显运动，则在操作904中可以作出关于DS设备和/或主机设备是否被配置为固定模式的进一步判定。如果在操作906中确定DS设备和/或主机设备被配置为固定模式，则在操作906中确定场景变化。操作906之后可以是例如返回到图8中的操作800以便对DS设备和/或主机设备进行重新配置。
如果在操作902中确定未检测到明显运动(例如，在指示DS设备和/或主机设备未移动、不再移动等的时间段上)，则在操作908中可以作出关于DS设备和/或主机设备是否被配置为便携模式的进一步判定。如果在操作908中确定DS设备和/或主机设备被配置为便携模式，则在操作910中可以确定场景变化，在这之后可以是返回到图8中的操作800以便对DS设备和/或主机设备进行重新配置。操作904中对DS设备和/或主机设备未处于固定模式的确定或者可替代地操作908中对DS设备和/或主机设备未处于便携模式的确定之后可以是操作912中关于是否存在DS设备的定向变化的进一步判定。定向变化可以包括相对于主机设备移动DS设备(例如，将可以结合到主机设备中的DS设备从面向用户的位置移动、翻转、滚动等到面向世界的位置)、使DS设备与主机设备断开连接/将DS设备重新连接至主机设备等。如果在操作912中确定已经存在DS设备的定向变化，则在操作906中可以确定场景变化，并且在图8的操作800中可以对DS设备和/或主机设备进行重新配置。
如果在操作912中确定还未发生任何DS定向变化，则在操作914中可以作出关于是否已经发生斑点深度变化的进一步判定。例如，可以通过从DS设备到斑点中的至少一个像素的距离的变化、斑点大小的变化等来确定斑点深度的变化。如果在操作914中确定斑点深度已经变化，则在操作916中可以作出关于深度变化是否随时间推移而稳定的进一步判定。例如，特别是在DS设备和/或主机设备处于便携模式时，可以预计零星的深度变化。然而，如果斑点深度变化在某个时间段内保持稳定(例如，所述时间段可以是专用的)，则DS设备和/或主机设备的操作模式可能需要更新。如果在操作916中确定斑点深度变化随时间推移而稳定，则在操作906中可以确定场景变化，并且在图8中的操作800中可以对DS设备和/或主机设备进行重新配置。在操作914中确定斑点深度还未变化之后或者可替代地在操作916中确定斑点深度变化还未随时间推移而稳定之后，在操作918中可以维持DS设备和/或主机设备的现有配置。操作918之后可以(可选地)是回到操作900以便继续深度感测。
虽然图8和图9展示了根据不同实施例的操作，但应当理解，并不是图8和图9中描绘的全部操作都对其他实施例是必要的。确实，本文中完全设想的是，在本公开的其他实施例中，可以采用任何附图中未具体地示出、但仍然与本公开完全一致的方式来将图8和图9中所描绘的操作和/或本文描述的其他操作进行组合。因此，涉及未在一个附图中准确示出的特征和/或操作的权利要求被视为处于本公开的范围和内容之内。
如在本申请和权利要求书中所使用的，由术语“和/或”所连接的一系列项目可以意指所列项目的任何组合。例如，短语“A、B和/或C”可以指A；B；C；A和B；A和C；B和C；或者A、B和C。如在本申请和权利要求书中所使用的，由术语“...中的至少一项”接合的一系列项目可意指所列术语的任何组合。例如，短语“A、B或C中的至少一者”可以指着A；B；C；A和B；A和C；B和C；或者A、B和C。
如本文中任何实施例所使用的，术语“模块”可以指被配置用于执行前述操作中任何操作的软件、固件和/或电路系统。软件可以被实施为非瞬态计算机可读存储介质上所记录的软件包、代码、指令、指令集和/或数据。固件可以被实施为存储器设备中硬编码(例如，非易失性的)的代码、指令或指令集和/或数据。如本文中任何实施例中所使用的，“电路系统”可以例如单一地或以任何组合形式包括硬接线电路系统、可编程电路系统(比如，包括一个或多个单独指令处理核的计算机处理器)、状态机电路系统、和/或存储有可由可编程电路系统执行的指令的固件。所述模块可以被统一地或单独地实施为形成例如集成电路(IC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等的更大系统的一部分的电路系统。
本文中所描述的任何操作可以在系统中实施，所述系统包括具有单独地或组合地存储在其上的指令的一个或多个存储介质(比如，非暂态存储介质)，当所述指令由一个或多个处理器执行时执行所述方法。此处，处理器可以包括例如服务器CPU、移动设备CPU、和/或其他可编程电路。而且，旨在使得本文中所描述的操作可以在多个物理设备(比如，在多于一个不同物理位置处的处理结构)之间分布。存储介质可以包括任何类型的有形介质，例如包括以下各项的任何类型的磁盘：硬盘、软盘、光盘、压缩盘-只读存储器(CD-ROM)、可复写致密盘(CD-RW)、和磁光盘、如只读存储器(ROM)等半导体器件、如动态和静态RAM等随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态盘(SSD)、嵌入式多媒体卡(eMMC)、安全数字输入/输出(SDIO)卡、磁卡或光卡、或者适合于存储电子指令的任何类型的介质。其他实施例可以实施为由可编程控制设备执行的软件模块。
因此，本公开涉及一种自适应深度感测(DS)系统。DS设备可以包括DS设备模块和控制模块。所述控制模块可以将所述DS设备模块的所述操作模式配置用于近距离感测、中等距离感测或远距离感测。所述控制模块可以从所述DS设备模块至少接收深度数据以便确定所述操作模式。所述控制模块还可以进一步接收关于所述DS设备和/或与所述DS设备耦合的主机设备的状况数据、基于所述状况数据确定配置并且可以利用所述状况数据连同所述深度数据配置所述DS设备模块。配置所述DS设备模块可以包括例如启用所述DS设备模块内的部件；配置所述部件的焦点；配置所述部件的图像定向；和/或为所述部件选择DS方法。
以下示例涉及进一步实施例。本公开的以下示例可以包括如以下提供的诸如以下各项等主题素材：设备；方法；用于存储指令的至少一种机器可读介质，所述指令当被执行时使机器基于所述方法执行动作；用于基于所述方法执行动作的装置；和/或自适应DS系统。
根据示例1，提供了一种深度感测设备。所述设备可以包括：深度感测装备模块，所述深度感测装备模块用于执行深度感测；以及控制模块，所述控制模块用于：从所述深度感测装备模块至少接收深度数据；并且至少基于所述深度数据对所述深度传感器设备模块的操作模式进行配置。
示例2可以包括如示例1所述的要素，其中，所述深度数据包括以下各项中的至少一项：由所述深度感测装备模块感测到的从所述深度感测设备到连接像素组中的至少一个像素的距离或者所述连接像素组的大小。
示例3可以包括如示例1至2中任一项所述的要素，其中，所述控制模块进一步用于：接收至少关于所述深度感测设备的状况数据；基于所述状况数据确定所述深度感测设备的配置；并且同样基于所述配置对所述深度传感器设备模块的所述操作模式进行配置。
示例4可以包括如示例3所述的要素，其中，所述控制模块进一步用于：判定所述深度感测设备是否耦合至主机设备；基于确定所述深度感测设备耦合至所述主机设备而接收关于所述主机设备的状况数据；并且基于从所述深度传感器设备和所述主机设备接收到的所述状况数据确定所述深度感测设备或所述主机设备中的至少一者的配置。
示例5可以包括如示例4所述的要素，其中，关于所述深度感测设备或所述主机设备中至少一者的所述状况数据接收自所述设备中的状况数据模块。
示例6可以包括如示例4至5中任一项所述的要素，其中，关于所述主机设备的所述状况数据接收自在所述主机设备中执行的设备驱动器，所述设备驱动器从在所述主机设备中执行的中间件接收所述状况数据，所述中间件从所述主机设备中的状况数据接口接收所述状况数据。
示例7可以包括如示例4至6中任一项所述的要素，其中，所述深度感测设备结合到所述主机设备中。
示例8可以包括如示例7所述的要素，其中，所述深度感测设备可相对于所述主机设备重新定位成至少面向用户的定向和面向世界的定向。
示例9可以包括如示例8所述的要素，其中，所述状况数据包括对所述深度感测设备的所述定向的指示。
示例10可以包括如示例7至9中任一项所述的要素，其中，所述深度感测设备可与所述主机设备分离。
示例11可以包括如示例10所述的要素，其中，所述深度感测设备在与所述主机设备分离时可操作并且至少利用无线通信与所述主机设备通信。
示例12可以包括如示例3至11中任一项所述的要素，其中，所述控制模块进一步用于：基于所述状况数据或深度数据中的至少一者判定是否存在场景变化；并且基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式。
示例13可以包括如示例3至12中任一项所述的要素，其中，所述控制模块进一步用于判定以下各项中的至少一项：所述深度传感器设备或所述主机设备中的至少一者是否采用台上配置或者所述深度传感器设备或所述主机设备中的至少一者是否正在移动。
示例14可以包括如示例1至13中任一项所述的要素，其中，在配置所述操作模式时，所述控制模块用于进行以下各项操作中的至少一项：启用所述深度感测装备模块中的部件；调整所述深度感测装备模块中的部件的焦距；配置所述深度感测装备模块中的部件的图像定向；或者为所述深度感测装备模块中的部件选择深度感测方法。
示例15可以包括如示例1至14中任一项所述的要素，其中，所述深度感测装备模块至少包括红绿蓝(RGB)传感器；红外(IR)发射器；被定位成与所述IR发射器间隔开的第一IR传感器；以及被定位在所述IR发射器附近的第二IR传感器。
示例16可以包括如示例15所述的要素，其中，在配置所述操作模式时，所述控制模块用于启用所述IR发射器和所述第一IR传感器以便进行近距离深度感测。
示例17可以包括如示例16所述的要素，其中，在配置所述操作模式时，所述控制模块还用于启用所述第二IR传感器以便进行中等距离深度感测。
示例18可以包括如示例17所述的要素，其中，所述第二IR传感器可在所述深度传感器设备模块内移动，并且在配置所述操作模式时，所述控制模块用于使所述深度传感器设备模块在所述第二IR传感器被配置用于进行中等距离深度感测时将其定位在第一位置处或者将其定位在距所述第一IR传感器更远距离的第二位置处以便进行远距离深度感测。
示例19可以包括如示例15至18中任一项所述的要素，其中，所述深度感测装备模块包括第三IR传感器，所述第三IR传感器被定位在比所述第二IR传感器距所述第一IR传感器更远的距离处，并且在配置所述操作模式时，所述控制模块用于启用所述RGB传感器、所述IR发射器、所述第一IR传感器和所述第三IR传感器以便进行远距离深度感测。
示例20可以包括如示例1至19中任一项所述的要素，其中，所述控制模块进一步用于：接收至少关于所述深度感测设备的状况数据；判定所述深度感测设备是否耦合至主机设备；基于确定所述深度感测设备耦合至所述主机设备而接收关于所述主机设备的状况数据；并且基于从所述深度传感器设备和所述主机设备接收到的所述状况数据确定所述深度感测设备或所述主机设备中的至少一者的配置。
示例21可以包括如示例1至20中任一项所述的要素，其中，在配置所述操作模式时，所述控制模块用于启用所述深度感测装备模块中的IR发射器和第一IR传感器以便进行近距离深度感测并且还启用所述深度感测装备模块中的第二IR传感器以便进行中等距离深度感测。
示例22可以包括如示例1至21中任一项所述的要素，其中，所述控制模块至少包括专用集成电路(ASIC)。
根据示例23，提供了一种用于配置深度感测设备的方法。所述方法可以包括：在深度传感器设备中在控制模块处接收状况数据；基于所述状况数据确定至少所述深度传感器设备的配置；在所述控制模块处接收来自所述深度传感器设备的深度数据；以及至少基于所述确定的配置和所述深度数据对所述深度传感器设备中的深度传感器设备模块的操作模式进行配置。
示例24可以包括如示例23所述的要素，并且可以进一步包括：判定所述深度传感器设备是否耦合至主机设备；基于确定所述深度传感器设备耦合至所述主机设备而从所述主机设备接收状况数据；以及同样基于从所述主机设备接收到的所述状况数据来确定所述配置。
示例25可以包括如示例23至24中任一项所述的要素，其中，确定所述配置包括判定以下各项中的至少一项：所述深度传感器设备或所述主机设备中的至少一者是否采用台上配置或者所述深度传感器设备或所述主机设备中的至少一者是否正在移动。
示例26可以包括如示例23至25中任一项所述的要素，并且可以进一步包括：基于所述状况数据或深度数据中的至少一者判定是否存在场景变化；以及基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式。
示例27可以包括如示例23至26中任一项所述的要素，其中，配置所述操作模式包括以下各项操作中的至少一项：启用所述深度感测装备模块中的部件；调整所述深度感测装备模块中的部件的焦距；配置所述深度感测装备模块中的部件的图像定向；或者为所述深度感测装备模块中的部件选择深度感测方法。
示例28可以包括如示例23至27中任一项所述的要素，其中，确定所述操作模式包括：通过启用所述深度感测设备中的红外(IR)发射器和第一IR传感器来配置近距离深度感测；以及通过同样启用所述深度感测设备中的第二IR传感器来配置中等距离深度感测。
示例29可以包括如示例28所述的要素，其中，确定所述操作模式包括：通过禁用所述第二IR传感器并启用第三IR传感器或者移动所述深度感测设备中的所述第二IR传感器来配置远距离深度感测。
根据示例30，提供了一种系统，所述系统至少包括深度感测设备和主机设备，所述系统被安排用于执行如以上示例23至29中任一项所述的方法。
根据示例31，提供了一种芯片组，所述芯片组被安排用于执行如以上示例23至29中任一项所述的方法。
根据示例32，提供了至少一种机器可读介质，包括多条指令，所述多条指令响应于在计算设备上被执行而使所述计算设备实施根据以上示例23至29中任一项所述的方法。
根据示例33，提供了至少一种设备，所述至少一种设备用于配置深度感测设备，所述至少一种设备被安排用于执行如以上示例23至29中任一项所述的方法。
根据示例34，提供了一种用于配置深度感测设备的系统。所述系统可以包括：用于在深度传感器设备中在控制模块处接收状况数据的装置；用于基于所述状况数据确定至少所述深度传感器设备的配置的装置；用于在所述控制模块处接收来自所述深度传感器设备的深度数据的装置；以及用于至少基于所述确定的配置和所述深度数据对所述深度传感器设备中的深度传感器设备模块的操作模式进行配置的装置。
示例35可以包括如示例34所述的要素，并且可以进一步包括：用于判定所述深度传感器设备是否耦合至主机设备的装置；用于基于确定所述深度传感器设备耦合至所述主机设备而从所述主机设备接收状况数据的装置；以及用于同样基于从所述主机设备接收到的所述状况数据来确定所述配置的装置。
示例36可以包括如示例34至35中任一项所述的要素，其中，用于确定所述配置的所述装置包括用于判定以下各项中的至少一项的装置：所述深度传感器设备或所述主机设备中的至少一者是否采用台上配置或者所述深度传感器设备或所述主机设备中的至少一者是否正在移动。
示例37可以包括如示例34至36中任一项所述的要素，并且可以进一步包括：用于基于所述状况数据或深度数据中的至少一者判定是否存在场景变化的装置；以及用于基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式的装置。
示例38可以包括如示例34至37中任一项所述的要素，其中，用于配置所述操作模式的所述装置包括用于进行以下各项操作中的至少一项的装置：启用所述深度感测装备模块中的部件；调整所述深度感测装备模块中的部件的焦距；配置所述深度感测装备模块中的部件的图像定向；或者为所述深度感测装备模块中的部件选择深度感测方法。
示例39可以包括如示例34至38中任一项所述的要素，其中，用于确定所述操作模式的所述装置包括：用于通过启用所述深度感测设备中的红外(IR)发射器和第一IR传感器来配置近距离深度感测的装置；以及用于通过同样启用所述深度感测设备中的第二IR传感器来配置中等距离深度感测的装置。
示例40可以包括如示例39所述的要素，其中，用于确定所述操作模式的所述装置包括：用于通过禁用所述第二IR传感器并启用第三IR传感器或者移动所述深度感测设备中的所述第二IR传感器来配置远距离深度感测的装置。
本文已经采用的术语和表达用作描述术语而非限制术语，并且在使用这种术语和表达时，不旨在排除所示出和所描述的特征(或其部分)的任何等效物，并且应当认识到，在权利要求书范围内的各种修改是有可能的。因此，权利要求书旨在涵盖所有这种等效物。

Claims (23)

1.一种深度感测设备，包括：
深度感测装备模块，所述深度感测装备模块用于执行深度感测；以及
控制模块，所述控制模块用于：
从所述深度感测装备模块至少接收深度数据；以及
至少基于所述深度数据来配置所述深度传感器设备模块的操作模式。
2.如权利要求1所述的设备，其中，所述深度数据包括以下各项中的至少一项：由所述深度感测装备模块感测到的从所述深度感测设备到连接像素组中的至少一个像素的距离；或者所述连接像素组的大小。
3.如权利要求1所述的设备，其中，所述控制模块进一步用于：
接收至少关于所述深度感测设备的状况数据；
基于所述状况数据确定所述深度感测设备的配置；并且
同样基于所述配置来配置所述深度传感器设备模块的所述操作模式。
4.如权利要求3所述的设备，其中，所述控制模块进一步用于：
判定所述深度感测设备是否耦合至主机设备；
基于确定所述深度感测设备耦合至所述主机设备而接收关于所述主机设备的状况数据；并且
基于从所述深度传感器设备和所述主机设备接收到的所述状况数据确定所述深度感测设备或所述主机设备中的至少一者的配置。
5.如权利要求3所述的设备，其中，所述控制模块进一步用于：
基于所述状况数据或深度数据中的至少一者判定是否存在场景变化；并且
基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式。
6.如权利要求1所述的设备，其中，在配置所述操作模式时，所述控制模块用于进行以下各项操作中的至少一项：启用所述深度感测装备模块中的部件；调整所述深度感测装备模块中的部件的焦距；配置所述深度感测装备模块中的部件的图像定向；或者为所述深度感测装备模块中的部件选择深度感测方法。
7.如权利要求1所述的设备，其中，所述深度感测装备模块至少包括红绿蓝(RGB)传感器、红外(IR)发射器、被定位成与所述IR发射器间隔开的第一IR传感器、以及被定位在所述IR发射器附近的第二IR传感器。
8.如权利要求7所述的设备，其中，在配置所述操作模式时，所述控制模块用于启用所述IR发射器和所述第一IR传感器以便进行近距离深度感测。
9.如权利要求8所述的设备，其中，在配置所述操作模式时，所述控制模块还用于启用所述第二IR传感器以便进行中等距离深度感测。
10.如权利要求9所述的设备，其中，所述第二IR传感器可在所述深度传感器设备模块内移动；并且
在配置所述操作模式时，所述控制模块用于使所述深度传感器设备模块在所述第二IR传感器被配置用于进行中等距离深度感测时将其定位在第一位置处或者将其定位在距所述第一IR传感器更远距离的第二位置处以便进行远距离深度感测。
11.如权利要求7所述的设备，其中，所述深度感测装备模块包括第三IR传感器，所述第三IR传感器被定位在比所述第二IR传感器距所述第一IR传感器更远的距离处；以及
在配置所述操作模式时，所述控制模块用于启用所述RGB传感器、所述IR发射器、所述第一IR传感器和所述第三IR传感器以便进行远距离深度感测。
12.一种用于配置深度感测设备的方法，所述方法包括：
在深度传感器设备中的控制模块处接收状况数据；
基于所述状况数据确定至少所述深度传感器设备的配置；
在所述控制模块处接收来自所述深度传感器设备的深度数据；以及
至少基于所确定的配置和所述深度数据来配置所述深度传感器设备中的深度传感器设备模块的操作模式。
13.如权利要求12所述的方法，进一步包括：
判定所述深度传感器设备是否耦合至主机设备；
基于确定所述深度传感器设备耦合至所述主机设备而从所述主机设备接收状况数据；以及
同样基于从所述主机设备接收到的所述状况数据来确定所述配置。
14.如权利要求12所述的方法，其中，确定所述配置包括判定以下各项中的至少一项：所述深度传感器设备或所述主机设备中的至少一者是否采用台上配置或者所述深度传感器设备或所述主机设备中的至少一者是否正在移动。
15.如权利要求12所述的方法，进一步包括：
基于所述状况数据或深度数据中的至少一者判定是否存在场景变化；以及
基于确定所述场景已改变而重新配置所述深度传感器的所述操作模式。
16.如权利要求12所述的方法，其中，配置所述操作模式包括以下各项操作中的至少一项：启用所述深度感测装备模块中的部件、调整所述深度感测装备模块中的部件的焦距、配置所述深度感测装备模块中的部件的图像定向、或者为所述深度感测装备模块中的部件选择深度感测方法。
17.如权利要求12所述的方法，其中，确定所述操作模式包括：
通过启用所述深度感测设备中的红外(IR)发射器和第一IR传感器来配置近距离深度感测；以及
通过同样启用所述深度感测设备中的第二IR传感器来配置中等距离深度感测。
18.如权利要求17所述的方法，其中，确定所述操作模式包括：
通过禁用所述第二IR传感器并启用第三IR传感器或者移动所述深度感测设备中的所述第二IR传感器来配置远距离深度感测。
19.一种系统，所述系统至少包括深度感测设备和主机设备，所述系统被安排用于执行如权利要求12至18中任一项所述的方法。
20.一种芯片组，所述芯片组被安排用于执行如权利要求12至18中任一项所述的方法。
21.至少一种机器可读介质，所述至少一种机器可读介质包括多条指令，所述多条指令响应于在计算设备上被执行而使所述计算设备实施根据权利要求12至18中任一项所述的方法。
22.至少一种设备，所述至少一种设备用于配置深度感测设备，所述至少一种设备被安排用于执行如权利要求12至18中任一项所述的方法。
23.一种设备，所述设备具有用于执行如权利要求12至18中任一项所述的方法的装置。
CN201680024530.7A 2015-05-27 2016-04-27 自适应深度感测系统 Pending CN108541300A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/722,955 US9683834B2 (en) 2015-05-27 2015-05-27 Adaptable depth sensing system
US14/722,955 2015-05-27
PCT/US2016/029511 WO2016191018A1 (en) 2015-05-27 2016-04-27 Adaptable depth sensing system

Publications (1)

Publication Number Publication Date
CN108541300A true CN108541300A (zh) 2018-09-14

Family

ID=57394172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680024530.7A Pending CN108541300A (zh) 2015-05-27 2016-04-27 自适应深度感测系统

Country Status (7)

Country Link
US (1) US9683834B2 (zh)
EP (1) EP3304898B1 (zh)
JP (1) JP6930700B2 (zh)
KR (1) KR102559289B1 (zh)
CN (1) CN108541300A (zh)
TW (1) TWI697655B (zh)
WO (1) WO2016191018A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726601A (zh) * 2019-11-18 2020-09-29 广州立景创新科技有限公司 影像感测装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10169663B2 (en) * 2016-09-01 2019-01-01 The Boeing Company Scene change detection via multiple sensors
AU2018237067B2 (en) * 2017-03-21 2022-11-10 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US10567737B2 (en) * 2017-04-10 2020-02-18 Eys3D Microelectronics, Co. Depth information processing device capable of increasing accuracy of depth information in specific regions
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
KR102486425B1 (ko) * 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
KR20210049561A (ko) * 2019-10-25 2021-05-06 현대모비스 주식회사 센서 클러스터장치 및 그를 포함하는 자동차
KR20210106809A (ko) * 2020-02-21 2021-08-31 엘지전자 주식회사 이동 단말기
WO2022122110A1 (en) * 2020-12-07 2022-06-16 Huawei Technologies Co., Ltd. Imaging structures

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110003891A (ko) * 2009-07-06 2011-01-13 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
CN102542566A (zh) * 2010-12-08 2012-07-04 微软公司 对传感器的位置进行定向
CN102572491A (zh) * 2010-11-10 2012-07-11 索尼公司 用于可选择轴间距的多相机系统和方法
CN203136025U (zh) * 2012-11-12 2013-08-14 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置及其系统
US20140204179A1 (en) * 2009-03-12 2014-07-24 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20140307126A1 (en) * 2013-04-12 2014-10-16 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors
TW201448567A (zh) * 2013-03-15 2014-12-16 Intel Corp 適應性深度感測技術
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000213931A (ja) * 1999-01-21 2000-08-04 Hamamatsu Photonics Kk 測距モジュ―ル
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US9044172B2 (en) * 2009-10-01 2015-06-02 Intel Corporation Ergonomic detection, processing and alerting for computing devices
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
CN103238337B (zh) 2010-11-23 2016-03-16 深圳超多维光电子有限公司 立体图像获取系统及方法
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US10158873B2 (en) * 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
KR102118610B1 (ko) * 2013-02-22 2020-06-04 삼성전자주식회사 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
US8938558B2 (en) * 2013-03-04 2015-01-20 Microsoft Corporation Modifying functionality based on distances between devices
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9390511B2 (en) * 2013-08-23 2016-07-12 Futurewei Technologies, Inc. Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US9438775B2 (en) * 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
US20140204179A1 (en) * 2009-03-12 2014-07-24 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
KR20110003891A (ko) * 2009-07-06 2011-01-13 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
CN102572491A (zh) * 2010-11-10 2012-07-11 索尼公司 用于可选择轴间距的多相机系统和方法
CN102542566A (zh) * 2010-12-08 2012-07-04 微软公司 对传感器的位置进行定向
CN203136025U (zh) * 2012-11-12 2013-08-14 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置及其系统
TW201448567A (zh) * 2013-03-15 2014-12-16 Intel Corp 適應性深度感測技術
US20140307126A1 (en) * 2013-04-12 2014-10-16 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726601A (zh) * 2019-11-18 2020-09-29 广州立景创新科技有限公司 影像感测装置
CN111726601B (zh) * 2019-11-18 2022-05-27 广州立景创新科技有限公司 影像感测装置

Also Published As

Publication number Publication date
US20160349042A1 (en) 2016-12-01
EP3304898B1 (en) 2020-05-06
TW201710641A (zh) 2017-03-16
WO2016191018A1 (en) 2016-12-01
TWI697655B (zh) 2020-07-01
KR102559289B1 (ko) 2023-07-24
EP3304898A1 (en) 2018-04-11
JP6930700B2 (ja) 2021-09-01
JP2018523089A (ja) 2018-08-16
EP3304898A4 (en) 2019-01-02
KR20180012746A (ko) 2018-02-06
US9683834B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
CN108541300A (zh) 自适应深度感测系统
CN110495819B (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
CN108508968A (zh) 包括具有圆角的显示器的电子设备
CN106462377A (zh) 用于使用多个显示器输出内容的方法和设备
US10911818B2 (en) Electronic device and method for controlling the same
CN105138247B (zh) 检测到第二设备接近第一设备而在第一设备呈现用户界面
KR20150014553A (ko) 멀티비전 스크린을 구성하는 방법 및 이를 지원하는 전자장치
CN107407945A (zh) 从锁屏捕获图像的系统和方法
WO2022052620A1 (zh) 图像生成方法及电子设备
EP3547107B1 (en) Method for providing information mapped between a plurality of inputs and electronic device for supporting the same
CN109816042B (zh) 数据分类模型训练的方法、装置、电子设备和存储介质
US11445058B2 (en) Electronic device and method for controlling display operation thereof
CN105929992A (zh) 检测触摸面板上的输入的电子装置和方法
CN108833791A (zh) 一种拍摄方法和装置
WO2023216957A1 (zh) 一种目标定位方法、系统和电子设备
CN105739684B (zh) 具有手势校准机制的电子系统及其操作方法
CN111898535A (zh) 目标识别方法、装置及存储介质
CN106815825A (zh) 一种试衣信息显示方法及显示设备
CN112181915A (zh) 执行业务的方法、装置、终端和存储介质
CN112101297B (zh) 训练数据集确定方法、行为分析方法、装置、系统及介质
CN108259727A (zh) 一种景深图像生成方法及移动终端
CN112990421B (zh) 优化深度学习网络的运行过程的方法、装置及存储介质
CN110851435B (zh) 一种存储数据的方法及装置
KR20220088143A (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 방법
CN107959736B (zh) 降低滤光片开裂风险的方法、装置和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination