CN105164610B - 深度传感器 - Google Patents

深度传感器 Download PDF

Info

Publication number
CN105164610B
CN105164610B CN201380076126.0A CN201380076126A CN105164610B CN 105164610 B CN105164610 B CN 105164610B CN 201380076126 A CN201380076126 A CN 201380076126A CN 105164610 B CN105164610 B CN 105164610B
Authority
CN
China
Prior art keywords
environment
variation
depth
data
depth transducer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380076126.0A
Other languages
English (en)
Other versions
CN105164610A (zh
Inventor
伊恩·N·罗宾逊
约翰·阿波斯托洛普洛斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN105164610A publication Critical patent/CN105164610A/zh
Application granted granted Critical
Publication of CN105164610B publication Critical patent/CN105164610B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本文描述计算系统的示例。该计算系统可以包括用于处理数据的处理器和用于采集关于计算系统周围的环境的数据的传感器。该计算系统还可以包括深度传感器，该深度传感器用于响应于确定发生环境变化而采集深度数据。

Description

深度传感器
背景技术
深度传感器向设备提供与用户的位置和姿势有关的信息，以及与深度传感器周围环境的三维形状有关的信息。深度传感器分为两类：被动式立体相机和主动式深度相机。被动式立体相机利用两个或更多个相机来观察场景，并且使用这些相机的多个视图中特征之间的差异(移位)来估计场景的深度。主动式深度相机向场景投射不可见的红外光，并且根据被反射的信息，估计场景的深度。
附图说明
在下面的具体实施方式中参照附图对特定示例进行描述，其中：
图1是计算设备的示例的框图；
图2是激活深度传感器的方法的示例的过程流程图；
图3是激活深度传感器的方法的示例的过程流程图；
图4是移动设备的示例的立体图；以及
图5是包含用于激活深度传感器的代码的有形非暂时性计算机可读介质的框图。
具体实施方式
主动式深度传感器可以包含在各种系统中，如确定系统所位于的三维环境的系统、对使用姿势的用户输入做出反应的系统等等。主动式深度传感器向环境内投射在时间上调制的或者具有特定空间图案的光，并且通过利用面型图像传感器检测被反射的相位或者图案，确定深度。依赖于利用标准图像传感器检测到的图像特征的运动或者差异间接地计算深度的深度确定方法，需要大量处理能力并且容易出错。由于主动式深度传感器允许系统直接地检测各点的深度，所以主动式深度传感器不太容易出错并且处理输出需要较少的计算工作。因此，主动式深度传感器相比这些之前的深度测定方法具有优势。另外，由于主动式深度传感器不使用之间具有距离(基线)的多个相机，所以主动式深度传感器的尺寸可以比被动式立体相机更小。
然而，由于主动式深度传感器使用主动的IR照射，所以与被动式立体相机相比，主动式深度传感器消耗更多功率。特别地，为了输出足够的光来实现足够的信噪比以便为被返回的深度信息抵消场景中的环境光，消耗大量功率。通常，该功耗量受制于外围连接技术的功率限制，如将功率限制为大约2.5W的USB2。
然而，一些计算系统无法支持主动式深度传感器的功耗量。例如，移动设备无法在该移动设备的电池被设计持续的时间长度以前持续地输出2.5W的功率而不耗尽电池。例如，智能电话在激活时可以消耗大约0.7W，并且具有足够8小时使用的电池容量。使用主动式深度传感器12分钟将消耗一个小时的该电池容量。通过智能地确定何时使用深度传感器，高功耗量的主动式深度传感器就可以被无法支持主动式深度传感器的功耗量的计算系统采用。
图1是计算设备的示例的框图。计算系统100可以是移动设备，例如笔记本计算机、平板计算机、个人数字助理(PDA)或蜂窝电话(如智能电话)等。计算系统100可以包括中央处理单元(CPU)102和内存设备104，CPU 102用于执行存储的指令，内存设备104存储可由CPU 102执行的指令。CPU 102可以通过总线106而耦接至内存设备104。另外，CPU 102可以是单核处理器、多核处理器，或任意数量的其它配置。此外，计算系统100可以包括一个以上的CPU 102。
计算系统100还可以包括图形处理单元(GPU)108。如图所示，CPU 102可以通过总线106而耦接至GPU 108。GPU 108可以执行计算系统100中的任意数量的图形操作。例如，GPU 108可以渲染或操纵要向计算系统100的用户显示的图形图像、图形帧，视频等。在一些示例中，GPU 108包括多个图形引擎，其中每个图形引擎被配置为执行特定图形任务或执行特定类型的工作负荷。
内存设备104可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它适合的存储系统。例如，内存设备104可以包括动态随机存取存储器(DRAM)。CPU 102可以经由总线106链接至显示接口110，以将计算系统100连接至显示设备112。显示设备112可以包括显示屏，显示屏是计算系统100的内置组件。显示设备112还可以包括外部地连接至计算系统100的计算机显示器、电视或投影仪等。
CPU 102还可以通过总线106连接至输入/输出(I/O)设备接口114，以将计算系统100连接至一个或多个I/O设备116。I/O设备116可以包括例如键盘和指点设备，其中该指点设备可以包括触摸板或触摸屏等。I/O设备116可以是计算系统100的内置组件，或者可以是外部地连接至计算系统100的设备。
网络接口卡(NIC)118可以通过系统总线106将计算系统100连接至网络(未示出)。网络(未示出)可以是广域网(WAN)、局域网(LAN)或互联网等。在示例中，计算系统100可以经由有线连接或无线连接而连接至网络。
计算系统100还包括存储设备120。存储设备120是物理存储器，如硬盘驱动器、光盘驱动器、U盘、安全数字(SD)卡、microSD卡、驱动器阵列或以上的任意组合等等。存储设备120还可以包括远程存储驱动器。存储设备120包括任何数量的在计算系统100上运行的应用程序122。
计算系统100进一步包括任意数量的传感器124。这些传感器可以采集与计算系统100和计算系统100周围的环境相关的数据。例如，这些传感器可以是相机、加速度计、陀螺仪、近距离传感器、触摸传感器、麦克风、近场通信(NFC)传感器、计时器，或以上的任意组合等。这些传感器可以是经由接口与计算系统100通信的I/O设备。这些传感器可以位于计算系统100外部，或者这些传感器可以包含在计算设备内。
计算系统100还包括深度传感器126，如主动式深度传感器。深度传感器126响应于由传感器124采集到的数据中发生环境变化的指示而采集深度数据。环境变化可以不包括计算系统100的开机和关机。通过在传感器124检测到变化时激活深度传感器126，深度传感器126可以用于对从更省电的传感器124得到的深度运算进行初始化和增强。
深度传感器126可以包括IR光源128。IR光源128可以是任何适合类型的IR光源，如LED或基于激光的IR光源。例如，IR光源128可以被设计为迅速地打开和关闭。在示例中，当深度传感器126被激活时，IR光源128可以向计算系统100周围的环境投射光。深度传感器可以检测从环境反射回的IR光，并且确定环境的深度值。
计算系统100还可以包括深度传感器模块130。深度传感器模块130可以是像应用程序这样的软件模块，该软件模块在由传感器124采集到的数据指示发生环境变化时激活深度传感器126。计算系统100可以包括用于向该设备供电的电池132。
由深度传感器126采集到的深度数据可以由例如CPU 102进行处理，并且深度值可以被分配给环境中的特征。深度数据可以以各种方式使用。例如，计算系统100可以在环境中四处或围绕对象移动，并且深度数据可以被拼接在一起，以形成该环境或对象的三维模型。在另一示例中，深度信息可以用于将用户或对象与其背景分离。在进一步的示例中，深度数据可以用于跟踪空间中的用户姿势，例如以控制计算设备。
在示例中，计算系统100的运动可以由传感器124检测。例如，计算设备的运动可以由加速度计或陀螺仪等来检测。类似地，计算系统100周围的环境或场景的运动或者计算系统100的周围环境或场景中的运动也可以由传感器124检测。当检测到计算设备或场景的运动时，深度传感器126可以被激活，如被深度传感器模块130激活，以采集环境的深度数据。例如，当传感器124检测到的变化的量超过预定阈值时，深度传感器126可以被激活。在示例中，深度传感器126可以执行深度数据的单次采集。在另一示例中，深度传感器126可以执行深度数据的多次采集。执行深度数据的多次采集可以使计算系统100能够得出传感器噪声的平均值。
在另一示例中，传感器124可以是相机。相机可以以合适的帧速率持续地运行。在另一示例中，相机可以在接收到来自用户的信号后而被激活。可以对由相机采集的帧进行分析，如通过处理器进行分析。当检测到场景变化时，深度传感器126可以被激活，以采集深度数据。
在又一示例中，传感器124可以是相机，如RGB相机。当相机初始被激活时，深度传感器可以被激活以采集初始深度数据，如在闪光拍摄中采集初始深度数据。可以对深度数据进行分析来向图像特征分配深度。相机可以继续连续性地或间歇性地采集帧。例如，相机可以采集视频。深度数据帮助分析采集到的图像数据，以跟踪三维中的图像特征。传统计算机视觉跟踪技术和根据运动技术的结构可以用来分析采集到的帧。
在由相机采集的每个帧中，可以维持已检测到的新图像特征的计数以及场景中不再可见的已标记深度的图像特征(即，在之前的深度数据采集中用深度数据标记的图像特征)的计数。图像特征可能由于各种原因而在场景中不再可见，如遮挡(例如，当不透明对象移动到该图像特征前方时)、移动出相机视场、或者在跟踪算法中下降至置信度阈值以下等等。
跟踪算法查找一个帧中的图像特征和采集到的下一帧中的图像特征之间的可能匹配。当相机或场景移动时，照明和三维形状的变化导致不能够发现帧中的图像之间的精确对应。由于这种不能够，该算法分配帧中的特征是前一帧中的相同特征的置信度值。当计数或置信度值超过预定阈值时，深度传感器126可以被激活以采集深度数据。该预定阈值可以是由制造商或用户设置的值。在另一示例中，该阈值可以由计算系统100计算。
深度传感器126活跃的时间长度可以由用户或制造商指定，或者由计算系统100计算。在激活期间，深度传感器126可以执行深度数据的单次采集或深度数据的多次采集，以克服传感器噪声。深度值可以分配给当前场景中可见的图像特征。任何合适的用于确定场景变化的技术都可以用来激活深度传感器126。
在一些示例中，传感器126可以是计时器。计时器可以被设置为指示何时预定的时间段已经过去。当该时间段已经过去时，深度传感器126可以被激活以采集深度数据。在一些示例中，在该时间段已经过去以后采集的深度数据可以与由相机采集到的数据相结合，如用上面描述的方法结合。
在一些示例中，传感器124可以从用户接收信号。例如，该信号可以是按下按钮或触摸该设备的屏幕的指定部分。在从用户接收到该信号时，传感器124可以激活深度传感器126来采集深度数据。深度传感器126可以执行深度数据的单次采集、深度数据的多次采集，或者连续地采集深度数据，直到传感器124从用户接收到停止采集深度数据的信号为止。
应理解，图1的框图的目的不在于表示计算系统100在任何情况下都包括图1中示出的所有组件。此外，根据特定实现方式的细节，计算系统100中可以包括任意多个附加组件。
图2是激活深度传感器的方法200的示例的过程流程图。例如，方法200可以由关于图1描述的计算设备执行。在框202中，可以在处理器(如CPU 102)中接收来自传感器(如传感器124)的环境数据。传感器可以是任何合适的传感器，如加速度计、陀螺仪、相机或以上的组合等。环境数据可以由传感器采集，并且可以描述计算设备周围的环境。环境数据还可以描述计算设备的运动。此外，环境数据可以包括已过去的时间的量。
在框204中，可以针对环境变化的发生而分析环境数据。例如，可以对环境数据进行分析，以确定要素是否已进入或退出该环境、确定该设备是否已经移动、确定是否已经过去预定的时间段、确定是否已经接收到来自用户的信号等等。环境变化可以不包括计算系统的开机或关机。
在框206中，可以在确定环境发生变化时激活深度传感器。例如，可以在环境变化的量超过预定阈值时激活深度传感器。在示例中，该阈值可以由用户或制造商确定，或者由计算设备计算。
应当理解的是，图2的过程流程图的目的不在于表示应以任何特定顺序执行方法200的步骤以及在每种情况下都应包括方法200的所有步骤。此外，根据特定实现方式的细节，方法200中可以包括任意多个图2中未示出的附加步骤。
图3是激活深度传感器的方法300的示例的过程流程图。例如，方法300可以由关于图1描述的计算设备100执行。在框302中，可以在处理器(如CPU 102)中接收环境数据。环境数据可以由诸如加速度计、陀螺仪、相机、触摸传感器、计时器等等之类的传感器采集。环境数据可以描述计算设备周围的环境、计算设备的运动、过去的时间的量等。
在框304中，可以分析该环境数据。例如，处理器(如CPU 102)可以分析环境数据。在框306中，处理器确定数据是否表示设备周围的环境发生变化。如果数据不表示环境发生变化，则方法可以继续至框308，在框308中不激活深度传感器。然后，方法可以返回框302。
如果在306中，处理器确定该数据表示环境发生变化，则方法可以继续至框310。在框310中，处理器确定变化的数量是否超过阈值。在示例中，该阈值可以由制造商或用户设定，或者由计算设备计算。如果变化的数量没有超过该阈值，则方法可以继续至框308。如果变化的数量超过该阈值，则在框312中，可以激活深度传感器。该深度传感器可以是主动式深度传感器。
在框314中，深度传感器可以采集深度数据。例如，该深度传感器可以包括IR光源，以照射环境。该深度传感器可以采集反射光，以确定该环境的深度值。
在框316中，可以处理深度数据，例如由处理器处理深度数据。可以以各种方式使用经处理的深度数据。例如，计算系统可以在环境内四处移动或者围绕对象移动，并且深度数据可以被拼接在一起，以形成该环境或对象的三维模型。在另一示例中，深度信息可以用于将用户或对象与它们的背景分离。在又一示例中，该深度数据可以用于跟踪空间中的用户姿势，例如用于控制计算设备的用户姿势。
应当理解的是，图3的过程流程图的目的不在于表示应以任何特定顺序执行方法300的步骤以及在每种情况下都应包括方法300的所有步骤。此外，根据特定实现方式的细节，方法300中可以包括任意多个图3中未示出的附加步骤。
图4是移动设备400的示例的图。移动设备可以是笔记本计算机、平板计算机、个人数字助理(PDA)或蜂窝电话(如智能电话)等。移动设备可以包括外壳402、显示器404、输入/输出(I/O)406(如触摸键)、麦克风408、扬声器410以及天线和收发器(未示出)。显示器404可以包括用于显示构造的任何合适的显示单元。I/O 406可以包括用于将信息输入到移动设备400中的任何适合的I/O。在示例中，显示器404和I/O 406可以结合，如结合在触摸屏中。移动设备还可以包括用于向该移动设备供电的电池(未示出)。
移动设备还可以包括传感器412或多个传感器。传感器可以是任何合适的传感器，以采集环境数据，即关于该移动设备和其周围环境的数据。例如，传感器可以是相机、加速度计、陀螺仪、近距离传感器、触摸传感器、麦克风、近场通信(NFC)传感器、计时器或以上的任意组合等等。该移动设备还可以包括深度传感器414和IR光源416。深度传感器414和IR光源416可以位于外壳402正面、面向用户，或位于外壳402背面、背对用户。另一示例中，移动设备400可以包括位于外壳402正面和外壳402背面的深度传感器414和IR光源416。可以分析由传感器采集的数据，以确定发生环境变化。当确定发生环境变化时，深度传感器414可以被激活以采集深度数据。例如，IR光源416可以照亮环境，深度传感器可以采集反射光来确定深度值。
应理解，图4的图示的目的不在于表示在每种情况下移动设备400都应包括图4中示出的所有组件。此外，根据特定实现方式的细节，移动设备400内可以包括任意多个附加组件。
图5是包括用于激活深度传感器的代码的有形非暂时性计算机可读介质的框图。该有形非暂时性计算机可读介质由附图标记500指示。该有形非暂时性计算机可读介质500可以是RAM、硬盘驱动器、硬盘驱动器阵列、光驱、光驱阵列、非易失性存储器、通用串行总线(USB)驱动器、数字多用途光盘(DVD)或光盘(CD)等。该有形非暂时性计算机可读存储介质500可以由处理器502通过计算机总线504访问。该有形非暂时性计算机可读存储介质500可以包括在移动设备(如移动设备400)中。此外，该有形非暂时性计算机可读介质500可以包括被配置为执行本文描述的方法的代码。
如图5所示，本文介绍的各组件可以存储在该非暂时性计算机可读介质500上。该有形非暂时性计算机可读介质500的第一区域506可以包括用于采集关于计算系统周围的环境的数据。区域508可以包括用于针对环境变化而分析环境数据的分析模块。区域510可以包括用于作为响应而采集深度数据的深度传感器模块。深度传感器模块510可以响应于确定发生环境变化而被激活，以采集深度数据。尽管这些软件组件被示出为相邻的块，但是这些软件组件可以以任何顺序或配置进行存储。例如，如果该有形非暂时性计算机可读介质500是硬盘驱动器，则这些软件组件可以被存储在非相邻的、甚至是重叠的扇区中。
示例一
本文描述一种计算系统。该计算系统包括处理器和传感器，该传感器用于采集关于计算系统周围的环境的数据。该计算系统还包括深度传感器，该深度传感器用于响应于确定发生环境变化而采集深度数据。
深度传感器可以在过去预定的时间段时采集深度数据。环境变化可以包括要素相对于环境改变位置，改变位置包括要素进入该环境、要素离开该环境、要素在该环境内移动或以上的组合。环境变化可以包括系统视角的变化。该计算系统可以包括用于对该计算系统供电的电池。
示例2
本文描述一种有形非暂时性计算机可读存储介质。该有形非暂时性计算机可读存储介质包括代码，该代码指引处理器在移动设备的处理器中接收来自传感器的环境数据。该代码还指引处理器针对环境变化而分析环境数据。该代码还可以指引处理器在确定发生环境变化时激活深度传感器。
深度传感器可以在环境变化的量超过预定阈值时被激活。环境变化可以包括要素相对环境改变位置，改变位置包括要素进入该环境、要素离开该环境、要素在环境内移动或以上的组合。环境变化可以包括设备相对于该环境的位置的变化。
示例3
本文描述一种移动设备。该移动设备可以包括用于采集与该移动设备周围的环境有关的数据的传感器。该移动设备还可以包括用于分析该数据的处理器。该移动设备还可以包括深度传感器，深度传感器用于在处理器确定该数据表示环境变化发生时采集深度数据。
该深度传感器可以在已经过预定时间时采集深度数据。深度传感器可以在环境变化的量超过预定阈值时执行深度采集。深度传感器可以被激活以采集用户姿势。该传感器可以是相机，该深度传感器可以在相机最初被激活时采集初始深度数据。该深度传感器可以在图像特征的变化超过预定阈值时采集后续深度数据。该变化包括检测到新特征、之前检测到的特征不再可见、与之前检测到的图像特征的匹配关联的置信度值的变化或以上的组合。

Claims (13)

1.一种计算系统，包括：
处理器；
传感器，用于采集关于所述计算系统周围的环境的数据；以及
深度传感器，用于响应于确定发生所述环境的变化而采集深度数据；
其中，所述环境的变化包括要素相对所述环境改变位置，改变位置包括要素进入所述环境、要素离开所述环境、要素在所述环境内移动或要素进入所述环境、要素离开所述环境、要素在所述环境内移动的组合。
2.如权利要求1所述的计算系统，其中所述深度传感器在已经过去预定的时间段时采集深度数据。
3.如权利要求1所述的计算系统，其中所述环境的变化还包括所述计算系统的视角的变化。
4.如权利要求1所述的计算系统，其中所述计算系统包括用于向所述计算系统供电的电池。
5.一种有形的非暂时性的计算机可读存储介质，包括用于指引处理器进行以下操作的代码：
在移动设备的处理器中接收来自传感器的环境数据；
针对环境的变化而分析所述环境数据；以及
当确定发生所述环境的变化时，激活深度传感器；
其中，所述环境的变化包括要素相对所述环境改变位置，改变位置包括要素进入所述环境、要素离开所述环境、要素在所述环境内移动或要素进入所述环境、要素离开所述环境、要素在所述环境内移动的组合。
6.如权利要求5所述的有形的非暂时性的计算机可读存储介质，进一步包括：当所述环境的变化的量超过预定阈值时，激活所述深度传感器。
7.如权利要求5所述的有形的非暂时性的计算机可读存储介质，所述环境的变化还包括设备相对所述环境的位置的变化。
8.一种移动设备，包括：
传感器，用于采集与所述移动设备周围的环境有关的数据；
处理器，用于分析所述数据；以及
深度传感器，用于在所述处理器确定所述数据表示发生所述环境的变化时采集深度数据；
其中，所述环境的变化包括要素相对所述环境改变位置，改变位置包括要素进入所述环境、要素离开所述环境、要素在所述环境内移动或要素进入所述环境、要素离开所述环境、要素在所述环境内移动的组合。
9.如权利要求8所述的移动设备，其中所述深度传感器在已过去预定的时间时采集深度数据。
10.如权利要求8所述的移动设备，其中所述深度传感器在所述环境的变化的量超过预定阈值时执行深度采集。
11.如权利要求8所述的移动设备，其中所述深度传感器激活以采集用户姿势。
12.如权利要求8所述的移动设备，其中所述传感器是相机，并且所述深度传感器在所述相机最初被激活时采集初始深度数据。
13.如权利要求12所述的移动设备，其中所述深度传感器在图像特征的变化超过预定阈值时采集后续深度数据，所述变化包括检测到新特征，之前检测到的特征不再可见，与之前检测到的图像特征匹配关联的置信度值的变化，或检测到新特征、之前检测到的特征不再可见、与之前检测到的图像特征匹配关联的置信度值的变化的组合。
CN201380076126.0A 2013-04-30 2013-04-30 深度传感器 Expired - Fee Related CN105164610B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/038768 WO2014178836A1 (en) 2013-04-30 2013-04-30 Depth sensors

Publications (2)

Publication Number Publication Date
CN105164610A CN105164610A (zh) 2015-12-16
CN105164610B true CN105164610B (zh) 2018-05-25

Family

ID=51843808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076126.0A Expired - Fee Related CN105164610B (zh) 2013-04-30 2013-04-30 深度传感器

Country Status (4)

Country Link
US (1) US20160088206A1 (zh)
EP (1) EP2992403B1 (zh)
CN (1) CN105164610B (zh)
WO (1) WO2014178836A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US10671925B2 (en) * 2016-12-28 2020-06-02 Intel Corporation Cloud-assisted perceptual computing analytics
US10878342B2 (en) * 2017-03-30 2020-12-29 Intel Corporation Cloud assisted machine learning
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11073898B2 (en) 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
WO2021155946A1 (en) * 2020-02-07 2021-08-12 Telefonaktiebolaget Lm Ericsson (Publ) Monocular camera activation for localization based on data from depth sensor
US20230342972A1 (en) * 2020-02-12 2023-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Depth sensor activation for localization based on data from monocular camera
EP4307378A4 (en) * 2021-03-12 2024-08-14 Sony Semiconductor Solutions Corp IMAGING DEVICE AND TELEMETRY SYSTEM

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019373A (zh) * 2011-11-17 2013-04-03 微软公司 用于设备激活的音频模式匹配

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20090219381A1 (en) * 2008-03-03 2009-09-03 Disney Enterprises, Inc., A Delaware Corporation System and/or method for processing three dimensional images
KR101526998B1 (ko) * 2008-10-16 2015-06-08 엘지전자 주식회사 이동통신 단말기 및 그 절전 방법
KR100981200B1 (ko) * 2009-06-02 2010-09-14 엘지전자 주식회사 움직임 센서를 장착한 이동 단말기 및 제어 방법
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
DE112010005893T5 (de) * 2010-10-22 2013-07-25 Hewlett-Packard Development Company, L.P. Auswerten einer Eingabe relativ zu einer Anzeige
US8553934B2 (en) * 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US20120287031A1 (en) * 2011-05-12 2012-11-15 Apple Inc. Presence sensing
KR101227052B1 (ko) * 2011-05-20 2013-01-29 인하대학교 산학협력단 손가락 자판 입력 시스템 및 그 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130009875A1 (en) * 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019373A (zh) * 2011-11-17 2013-04-03 微软公司 用于设备激活的音频模式匹配

Also Published As

Publication number Publication date
WO2014178836A1 (en) 2014-11-06
EP2992403B1 (en) 2021-12-22
EP2992403A4 (en) 2016-12-14
EP2992403A1 (en) 2016-03-09
US20160088206A1 (en) 2016-03-24
CN105164610A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN105164610B (zh) 深度传感器
JP6235681B2 (ja) ユーザの意図および／または識別情報に基づくモバイルデバイス状態の調整のための方法、記憶媒体、及びシステム
US9626015B2 (en) Power consumption in motion-capture systems with audio and optical signals
JP7186857B2 (ja) サービス処理方法および関連装置
US20190220697A1 (en) Automated localized machine learning training
CN110832433B (zh) 基于传感器的组件激活
CN110969257A (zh) 将人类标注者影响嵌入在计算环境中的机器学习界面中
EP2770783B1 (en) A wearable information system having at least one camera
US20170013195A1 (en) Wearable information system having at least one camera
TWI534656B (zh) 辨識裝置、智慧裝置以及資訊提供方法
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
KR102203810B1 (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
BR112016026714B1 (pt) Sensor de visão e conjunto de sensores
WO2017084319A1 (zh) 手势识别方法及虚拟现实显示输出设备
CN116324682A (zh) 至少部分地基于用户眼睛移动的功率控制
US10444825B2 (en) Drift cancelation for portable object detection and tracking
US11907342B2 (en) Selection of authentication function according to environment of user device
JP2016066975A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN101419496B (zh) 具有指向功能的电子装置及其方法
CN111797656B (zh) 人脸关键点检测方法、装置、存储介质及电子设备
KR20210158695A (ko) 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
CN114428446A (zh) 图形全息投影方法、装置、存储介质及终端
KR20160044963A (ko) 노이즈를 고려한 동작 인식 방법 및 장치
CN111797375A (zh) 显示控制方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180525