CN104169966A - 基于光衰减来生成深度图像 - Google Patents

基于光衰减来生成深度图像 Download PDF

Info

Publication number
CN104169966A
CN104169966A CN201280071139.4A CN201280071139A CN104169966A CN 104169966 A CN104169966 A CN 104169966A CN 201280071139 A CN201280071139 A CN 201280071139A CN 104169966 A CN104169966 A CN 104169966A
Authority
CN
China
Prior art keywords
image
depth
infrared
posture
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280071139.4A
Other languages
English (en)
Inventor
C·赵
J·严
J·顾
F-H·许
S·宋
M·王
J·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104169966A publication Critical patent/CN104169966A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F7/00—Optical analogue/digital converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文描述了关于基于光衰减原理来计算包括移动对象的场景的深度图像的各技术。捕捉包括移动对象的场景的红外图像，其中该红外图像具有多个像素，这多个像素具有相应的多个强度值。至少部分地基于该红外图像中的相应强度值的平方根来计算该场景的深度图像。

Description

基于光衰减来生成深度图像
背景
计算设备的制造者以及在此类计算设备上执行的操作系统的开发者正持续改善其各自的产品，以促进与此类计算设备、操作系统、以及其上执行的应用的直观且方便的用户交互。常规上，已经采用输入设备(诸如键盘和鼠标)接收来自用户的输入，其中该输入被用来执行某一计算操作。因此，如果用户希望计算设备、操作系统、和/或应用执行特定任务，则用户通过一系列鼠标点击、鼠标的移动和/或键击将指令传送至计算设备。
近来，在与上述常规用户输入设备相比较时，消费级计算设备已经配备有促进与之更直观且方便的交互的技术。例如，许多移动电话配备有触敏显示屏，使得用户可以通过用一个或多个手指接触显示屏以及相对于图形对象执行姿势来在显示屏上与该图形对象进行交互。然而，可以容易地查明，触敏显示器能识别的姿势在某种程度上可能是有限的，因为常规触敏显示屏不支持手指/手的歧义消除，也不支持深度识别。此外，因为用户必须直接与显示屏进行交互，所以姿势受到显示屏大小的限制。
识别用户在三维空间中作出的姿势可以扩展用户可通过此类姿势向计算设备阐明的指令集。用于识别对象(人类的手)相对于参考点或面(计算设备或显示屏上的特定点)的深度的常规技术要么对于大规模生产而言实际部署起来过于昂贵，要么缺少足够的分辨率来支持相对小粒度姿势的识别。例如，当前用来执行三维深度识别的技术类型包括双眼视觉系统、结构化光系统、以及飞行时间系统。双眼视觉系统通过匹配来自立体安排的RGB相机的图像来计算对象上的点的深度。通常与双眼视觉系统相关联的缺点是要求其距参考点的深度期望被查明的对象必需具有特定类型的纹理。此外，所得深度图像的分辨率可能不足以允许足够准确地识别小粒度姿势，诸如手指的微小运动。
结构化光系统使用以红外光图案照射场景的红外光源，并且场景中的对象相对于红外光源的深度基于在捕捉到的红外图像中的此类图案中检测到的变形来计算。在生成深度图像时，必须分析捕捉到的红外图像中的众多像素以识别图案——因此，同样，所得深度图像的分辨率可能不足以准确地识别特定姿势。飞行时间系统包括测量红外光从红外发射器被传送时与此类光被检测器接收到时(在从场景中的对象上反射离开之后)之间的时间量的传感器。在消费级设备中要包括此类系统在当前是极其昂贵的；如果采用较便宜的传感器，则所得深度图像又可能缺乏足够的分辨率以允许对小粒度姿势的准确检测。
概述
以下是在本文详细描述的主题的简要概述。本概述不旨在是关于权利要求的范围的限制。
本文描述了关于生成深度图像的各种技术，深度图像指示对象的各部分随时间相对于参考点或面的深度。更具体地，本文描述了基于光衰减原理来生成场景的深度图像的各种技术。在示例性实施例中，人类的手、手臂或人类身体的其他部分作出的姿势可以通过利用深度感测技术来识别，深度感测技术采用光衰减原理来生成表示人类手、手臂或人类身体的其他部分相对于传感器单元的距离的深度图像。此类姿势识别技术可以结合常规台式计算设备、膝上型计算设备、移动电话、平板计算设备等来采用。
在一个示例性实施例中，结合生成场景的深度图像来采用的传感器单元包括用红外光照射场景的红外光源。传感器单元进一步包括捕捉场景的红外图像的红外相机，其中场景包括移动对象，诸如一只或多只人类的手。例如，红外相机可以是以每秒30帧或超过每秒30帧的帧速率来捕捉图像的红外摄像机。因此，红外相机可以随时间捕捉场景中的对象的运动。红外相机捕捉到的每一图像包括具有相应多个强度值的多个像素。可以采用每一像素的强度值来计算该像素所表示的场景的该部分的深度值。因此，如果需要，场景的深度图像可以具有与红外相机捕捉到的图像的分辨率相等的分辨率。
如上所述，深度图像可以通过采用光衰减原理来计算(其中，红外图像中捕捉到的红外光的强度基于距红外光源的距离的逆平方)。因此，在一个示例性实施例中，与图像中的特定像素对应的深度值可以基于该像素的强度值和一常数来计算，其中该常数基于红外光源发射的红外光的强度、该像素所表示的对象的一部分的反射率、以及该像素所表示的对象的该部分相对于红外光源的定向。在一个示例性实施例中，该常数可以基于红外光源的已知强度、典型人类的手的已知反射率、以及人类的手相对于红外光源的平均定向(潜在地取决于人类的手在捕捉到的红外图像中的位置)来设置。此外，该常数可以通过经验测试来细化。
在另一示例性实施例中，可以采用常规深度感测系统以第一分辨率生成场景的第一深度图像。随后，以第二分辨率生成场景的第二深度图像，其中第二分辨率高于第一分辨率。场景的第二深度图像可以基于第一深度图像和光衰减原理来生成。可以重复该过程以随时间生成场景的多个高分辨率深度图像。
可以随时间监视高分辨率深度图像，以执行运动捕捉以及相对于显示在计算设备的显示屏上的一个或多个图形对象的姿势识别。人类的手作出的可以基于深度图像序列来识别的示例性姿势包括但不限于：手绕着手腕向上转动(向上挥手)，当伸出手的手指且手的手掌与显示屏表面平行时手绕着手腕向左或向右转动(向左或向右挥手)，伸出食指且食指朝向显示屏上显示的图形对象移动，食指和拇指捏合在一起并且释放这一捏合，当手的手指伸出与显示屏表面正交且手的手掌与显示屏底部平行时手绕着手腕向左或向右转动等其他姿势。在一个示例性实施例中，可识别的手(或其他身体)的姿势可以在离计算设备(或红外相机)的显示屏至少一厘米处以及离计算设备(或红外相机)的显示屏至多20厘米处被执行。在其他实施例中，可以增加红外光源的强度以检测当用户被定位在距传感器单元若干英尺时用户作出的姿势。
在阅读并理解了附图和描述后，可以明白其他方面。
附图说明
图1是促进生成场景的深度图像的示例性系统的功能框图。
图2和3是促进在三维空间中识别人类的手作出的姿势的示例性系统的功能框图。
图4是示例性传感器单元的功能框图。
图5是示出用于通过利用光衰减原理来生成场景的深度图像的示例性方法的流程图。
图6是示出用于至少部分地基于识别出的姿势来在计算设备的显示屏上渲染图形数据的示例性方法的流程图。
图7示出了相对于计算设备的显示屏上的一个或多个图形对象所采取的示例性姿势。
图8示出了结合图7中所示的示例性姿势向用户呈递的图形用户界面(GUI)序列。
图9示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的另一示例性姿势。
图10示出了结合图9中所示的示例性姿势向用户呈递的图形用户界面序列。
图11示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的又一个示例性姿势。
图12示出了结合图11中所示的示例性姿势向用户呈递的图形用户界面序列。
图13示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的再一个示例性姿势。
图14示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的另一示例性姿势。
图15示出了结合图14中所示的示例性姿势向用户呈递的图形用户界面序列。
图16示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的又一个示例性姿势。
图17示出了结合图16中所示的示例性姿势向用户呈递的图形用户界面序列。
图18示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的再一个示例性姿势。
图19示出了结合图18中所示的示例性姿势向用户呈递的图形用户界面序列。
图20示出了相对于计算设备的显示屏上显示的一个或多个图形对象所采取的另一示例性姿势。
图21示出了结合图20中所示的示例性姿势向用户呈递的图形用户界面序列。
图22是示例性计算系统。
具体实施方式
现在将参考附图来描述关于生成场景的深度图像、识别在场景中的三维空间中作出的姿势、以及基于识别出的姿势在计算设备的显示屏上渲染图形数据的各种技术，在全部附图中相同的附图标记表示相同的元素。另外，本文出于解释的目的示出并描述了各示例性系统的若干功能框图；然而可以理解，被描述为由特定系统组件执行的功能可以由多个组件来执行。类似地，例如，一组件可被配置成执行被描述为由多个组件执行的功能。另外，如此处所用的，术语“示例性”旨在表示用作某些事物的图示或示例，而不意图指示优选。
如本文所使用的，术语“组件”和“系统”旨在包含用使得在被处理器执行时执行特定功能的计算机可执行指令配置的计算机可读数据存储。因此，“组件”旨在包含硬件和软件的组合。计算机可执行指令可包括例程、功能等等。还可以理解，组件或系统可以位于单个设备上或分布在若干设备上。此外，术语“存储器”和“处理器”旨在包含单数和复数形式两者；因此，处理器旨在包含执行指令的单个处理器以及串行或并行地执行指令的多个处理器。
现在参考图1，示出了促进生成包括至少一个对象的场景的深度图像的示例性系统100。在一个示例性实施例中，移动计算设备可以包括系统100的至少一部分，其中移动计算设备可以是移动电话、平板计算设备、膝上型计算设备等等。在另一示例性实施例中，台式计算设备可以包括系统100的至少一部分。因此，外壳可以包括系统100的至少一部分。
系统100包括传感器单元102，传感器单元102包括红外发射器104和红外相机106。红外发射器104被配置成用已知强度/频率的红外光照射场景。红外相机106捕捉由红外发射器104输出的红外光所照射的场景的图像。根据一个示例，红外相机106可以以(例如，每秒30帧或更高的)视频速率来捕捉图像。在另一示例中，红外相机106可以以介于每秒10帧与每秒30帧之间的某一速率来捕捉图像。如图所示，红外相机106所成像的场景可以包括对象108，其中对象108是移动对象。在一个示例性实施例中，对象108是以下各项之一：人类的手或手的集合、人类的手臂、人类的腿、或其他合适的身体部位。红外相机106所生成和输出的场景的每一图像具有多个像素，这多个像素具有多个相应强度值。
系统100进一步包括随时间从红外相机106接收场景的红外图像序列的接收器组件110。深度计算器组件112与接收器组件110处于通信，并且针对红外相机106捕捉到的相应图像计算场景的深度图像。深度计算器组件112计算出的深度图像包括多个像素以及相应深度值，其中深度值的子集指示对象108的各部分相对于红外发射器104的深度。在一个示例性实施例中，深度计算器组件112可采用光衰减原理来计算场景的深度图像，其中深度图像的分辨率与深度计算器组件用来计算深度图像的红外图像的分辨率相等。
系统100进一步包括计算设备的显示屏114。渲染器组件116接收深度计算器组件112计算出的深度图像，并且至少部分地基于深度计算器组件112计算出的深度图像来在显示屏114上渲染图形数据118。如上所述，在一个示例性实施例中，对象108可以是正相对于显示屏114上显示的图形对象作出姿势的人类的手。深度计算器组件112可以生成包括人类的手的深度图像序列，并且人类的手作出的姿势可以通过分析深度图像序列来识别。渲染器组件116随后可以至少部分地基于识别出的姿势来生成图形数据118。可以在三维空间中作出姿势，并且可以在距显示屏114或传感器单元102某一距离处采取姿势。例如，人类的手距显示屏114或传感器单元102可以在1厘米与20厘米之间。在另一示例中，人类的手距显示屏114或传感器单元102可以在5厘米至20厘米。在又一示例中，人类的手距显示屏114或传感器单元102可以在一米至5米。因此，可以查明显示屏114不必是触敏显示屏。
如上所述，深度计算器组件112可以采用光衰减原理来生成深度图像。光衰减原理注意到，检测器所(红外相机106)观察到的光的强度与距光源(红外发射器104)的距离的逆平方成比例。在算法上，且参考红外相机106捕捉到的红外图像，该原理可如下表示：
I ( p ) = k p r p 2 , - - - ( 1 )
其中，I(p)是像素p的强度值，rp是红外发射器104与对象108上由像素p表示的点之间的距离，且kp是与红外发射器104发射的红外光的强度、对象108在像素p所表示的点处的反射率、以及对象108在像素p所表示的点处的定向有关的常数。具体地，kp＝L(θ)ρ(θ，φ)，其中，L(θ)是红外光沿入射方向θ的发光度，ρ(θ，φ)是对象上由像素p表示的点的双向反射分布函数，且φ是对象上由像素p所表示的点相对于红外发射器104的定向。
对于rp求解，公式(1)可如下重写：
r p = k p I ( p ) - - - ( 2 )
因此，深度计算器组件112可以至少部分地基于红外相机106捕捉到的红外图像中像素的强度值的平方根来计算场景图像的深度。根据一个示例，kp的值可以根据经验来确定。例如，红外发射器104发射的红外光的强度可以是已知的，并且对象108的反射率的值可以被估计。在一个示例中，如果期望检测与人类的手对应的深度值，则在选择kp的值时可以查明并且利用典型人类的手的反射率。
现在参考图2，示出了促进识别人类的手作出的姿势的示例性系统200。系统200包括传感器单元202，其中传感器单元202包括红外发射器204、红外相机206、第一RGB相机208和第二RGB相机210。第一RGB相机208和第二RGB相机210相对于彼此移位，以便立体地捕捉场景的图像。红外相机206、第一RGB相机208、第二RGB相机210彼此及时同步。
在校准阶段，第一RGB相机208和第二RGB相机210捕捉包括具有已知图案的对象的场景的相应的同步图像。接收器组件110接收图像，并且深度计算器组件112通过常规立体深度感测操作基于RGB图像来计算第一深度图像。红外相机206捕捉场景的图像(与RGB图像同步)，并且如以上描述的，深度计算器组件112利用光衰减原理生成第二深度图像。
系统200进一步包括校准器组件212，校准器组件212学习经由对RGB图像的立体分析所生成的深度图像与基于光衰减原理所生成的深度图像之间的校准参数。校准参数指示两种不同技术所生成的相应深度图像中的像素之间的映射。
在校准器组件212学习校准参数之后，传感器单元202可被用来捕捉包括人类的手214的场景的图像。接收器组件110从第一RGB相机208、第二RGB相机210和红外相机206接收同步图像。深度计算器组件112与接收器组件110处于通信，并且基于分别由第一RGB相机208和第二RGB相机210捕捉到的RGB图像来(以第一分辨率)计算场景的第一深度图像。深度计算器组件112可以通过常规双眼视觉技术来计算此第一深度图像。随后可以基于深度值将该第一深度图像分割成多个分段，以使得第一分段包括具有在第一范围中的深度值的像素，第二分段包括具有在非重叠的第二范围中的深度值的像素，以此类推。用来分割第一深度图像的范围可以根据经验来确定。
使用校准器组件212在校准阶段期间学习到的校准参数，来自第一深度图像的多个分段(具有与之对应的已知深度)可以被映射到红外相机206所生成的红外图像中的对应像素。对于映射到红外图像的每一分段，选择所映射分段中的红外图像中的像素。像素可以通过任何合适的技术来选择，包括随机选择，通过计算该分段的质心并且选择质心处的像素等等。利用所选像素的强度值I(p)以及被映射到这一像素的该分段的距离rp，可以计算常数kp。kp的值随后用来计算该分段中的每一像素p的rp。这可以针对每个分段来进行。所得深度图像(基于双眼视觉技术以及光衰减原理的组合)因此具有与红外图像的分辨率相等的分辨率(且通常高于基于双眼视觉技术所生成的深度图像)。
深度计算器组件112为红外相机206捕捉到的每一红外图像计算高分辨率深度图像，以使得深度图像序列可以被分析以便捕捉人类的手214的运动和/或识别人类的手214作出的姿势。为此，系统200进一步包括姿势识别器组件216，姿势识别器组件216从深度计算器组件112接收深度图像序列，并且识别人类的手214相对于显示屏114上正显示的至少一个图形对象作出的姿势。姿势识别器组件216向渲染器组件116输出标识相对于至少一个图形对象采取了姿势的信号，并且渲染器组件116至少部分地基于姿势识别器组件216识别出的人类的手214的姿势来在显示屏114上渲染图形数据118。
姿势识别器组件216可以识别用户可作出的相对大量姿势。这至少部分是因为用户作出的姿势不限于显示屏114的表面区域。此外，由于深度计算器组件112生成相对高分辨率的深度图像，因此姿势识别器组件216可以消除用户的手指与手之间的歧义，由此扩展可识别的潜在姿势集。因此，例如，用户左手作出的姿势可以具有第一期望结果，而用户右手作出的相似姿势可以具有第二(不同的)期望结果。姿势识别器组件216可以消除手、手指、以及用户之间的歧义，由此允许为特定用户创建定制的姿势以及相对大的姿势词汇表。
现在参考图3，描述了促进识别人类相对于显示屏114上显示的图形对象作出的姿势的示例性系统300。系统300包括传感器单元302，其中传感器单元302包括第一红外发射器304、对应的第一红外相机306、第二红外发射器308、以及对应的第二红外相机310。第一红外发射器304被配置成以第一频率发射红外光，而第二红外相机306被配置成检测第一频率的红外光。类似地，第二红外发射器308被配置成以第二频率发射红外光，而第二红外相机310被配置成检测第二频率的红外光。第一红外相机306和第二红外相机310彼此及时同步。此外，第一红外发射器304输出红外光的特定图案。
在校准阶段，接收器组件110接收第一红外相机306捕捉到的图像，并且深度计算器组件112通过常规结构化光技术来计算第一深度图像。接收器组件110还接收第二红外相机310捕捉到的图像，并且深度计算器组件112基于如上所述的光衰减原理来计算第二深度图像。校准器组件212学习将第一深度图像中的像素映射到第二深度图像中的像素的校准参数。随后可以采用此类校准参数将基于结构化光技术所生成的深度图像映射到第二红外相机310捕捉到的红外图像(因为第二红外相机310所生成的图像的分辨率与上述第二深度图像的分辨率相等)。
在校准参数被学习之后，可以部署系统300以识别人类姿势(例如，人类的手214相对于显示屏114上的图形对象作出的姿势)。在操作中，第一红外相机306和第二红外相机310捕捉包括人类的手的场景的相应红外图像。接收器组件110接收这些图像，并且深度计算器组件使用常规结构化光技术基于第一红外相机306捕捉到的图像来生成深度图像。如本领域技术人员将理解的，深度图像将具有比第一红外相机306捕捉到的图像的分辨率低的分辨率。深度计算器组件112随后可以将深度图像分割成多个分段(类似于参考图2描述的分割)。深度计算器组件112可以使用校准组件212学习到的校准参数将各分段映射到第二红外相机310所输出的红外图像。深度计算器组件112随后可以如以上参考图2描述地运作，以便通过计算每一分段的kp来生成高分辨率深度图像。
姿势识别器组件216从深度计算器组件112接收场景的高分辨率深度图像序列，并且识别人类的手214相对于显示屏114上显示的图形对象作出的姿势。渲染器组件116随后基于姿势识别器组件216所识别的姿势来在显示屏114上渲染图形数据118。
因此，可以查明，基于光衰减原理的深度感测可以与常规深度感测技术结合使用，以生成场景的高分辨率深度图像供结合运动捕捉和/或姿势识别来利用。尽管双眼视觉技术和结构化光技术在本文已被描述成能与光衰减技术相结合，但应当理解，其他深度感测技术可以与基于光衰减原理的深度感测相结合。例如，飞行时间深度感测系统可以与以上描述的光衰减技术结合使用。
现在参考图4，示出了传感器单元102的示例性描绘。传感器单元102包括红外发射器104和红外相机106。红外发射器104是输出红外光的点源发射器。传感器单元102进一步包括分束器402，分束器402将红外发射器104发射的红外光分成两束：用于以红外光照射包括对象108的场景的第一束；以及出于放大目的而采用的第二束。从场景(例如，从对象108)反射的红外光撞击分束器402并且与第二束相结合，由此生成放大信号。传感器单元102还包括镜404，镜404将放大信号定向到红外相机106。如图4中示出的传感器单元102是示例性配置；其他配置被构想并且旨在落入所附权利要求书的范围内。
现在参考图5-6，示出并描述了各种示例性方法。尽管各方法被描述为顺序地执行的一系列动作，但可以理解，这些方法不受该顺序的次序的限制。例如，一些动作能以与本文描述的不同的次序发生。另外，一个动作可以与另一动作并发发生。此外，在一些情况下，实现本文描述的方法并不需要所有动作。
此外，本文描述的动作可以是可由一个或多个处理器实现的和/或存储在一个或多个计算机可读介质上的计算机可执行指令。计算机可执行指令可包括例程、子例程、程序、执行的线程等。另外，这些方法的动作的结果可以存储在计算机可读介质中，显示在显示设备上，等等。计算机可读介质可以是任何合适的计算机可读存储设备，如存储器、硬盘驱动器、CD、DVD、闪存驱动器等。本文中所使用的术语“计算机可读介质”并不旨在涵盖传播的信号。
仅参考图5，示出了促进基于光衰减原理来计算深度图像的示例性方法500。方法500在502开始，并且在504，从红外相机接收用来自红外光源的红外光照射的场景的红外图像。场景包括移动对象，诸如人类的手指、手等等。
在506，基于表示对象的相应点的像素的相应强度的平方根来计算对象的点相对于红外光源的深度。在508，作出关于是否已从红外相机接收到下一图像的确定。如果已经接收到下一图像，则方法返回到504。因此，可以生成深度图像序列，以使得可以随时间监视对象在三维中的移动。因此，如果对象是人类的手，则该手作出的姿势可以被识别。如果从红外相机没有接收到更多图像，则方法在510结束。
现在参考图6，示出了促进至少部分地基于相对于计算设备的显示屏上的图形对象的已识别姿势来在该显示屏上渲染图形数据的示例性方法600。方法600在602开始，并且在604，从红外相机接收红外光源所照射的人类的手的红外图像序列。在606，在图像序列上计算人类的手的点相对于红外光源的深度。换言之，计算深度图像序列。如以上讨论的，至少部分地基于光衰减原理来计算深度图像序列中的深度图像。
在608，作出关于是否基于深度图像序列的分析来识别人类的手作出的姿势的确定。如果未识别出姿势，则方法返回到604。如果在608确定人类的手执行了特定姿势，则在610至少部分地基于识别出的姿势来在计算设备的显示屏上渲染图形数据。方法600在612结束。
共同参考图7-21，示出并描述了姿势识别器组件216可以基于深度计算器组件112计算出的深度图像来识别的各种示例性姿势。还示出了与此类姿势对应的众多图形用户界面序列。应当理解，这些是出于解释目的而阐明的，并且只是姿势识别器组件216可以识别的相对小数量的姿势。
仅参考图7，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的示例性姿势700。最初用户的手702被定位成手指伸出与显示屏704的表面正交，手的手掌与显示屏704的底部边缘大体平行。随后手702绕着用户的手腕向上转动，使得手的伸出的手指朝着与显示屏704的表面平行而移动。此类向上挥手运动可以相对于显示屏704上显示的图形对象来作出。如上所述，姿势识别器组件216可以基于深度计算器组件112计算出的深度图像来识别该姿势。
参考图8，描绘了与姿势700对应的图形用户界面802-806的序列800。图形用户界面802-806被呈递在显示屏704上。图形用户界面802描绘了在用户执行姿势700之前可以向用户呈递的锁定屏幕，其中锁定屏幕包括锁定屏幕信息808。锁定屏幕信息808可以包括例如，关于用户可以执行以解锁计算设备的一个或多个姿势的指令，当前时间，指示用户是否有任何形式的接收通信要审阅(电子邮件、即时消息、文本消息等)的图形数据，以及其他信息。
图形用户界面804示出了可以响应于姿势识别器组件216识别出姿势700来向用户呈递的图形转移。这里，锁定屏幕表现为向上转移离开显示屏704，类似于拉起窗帘。转移的方向由箭头810示出。随着锁定屏幕向上转移，包括多个可选瓦块(tile)812的主屏幕被揭开，其中可选瓦块可以对应于特定数据对象、计算机可执行应用等等(如本领域技术人员将理解的)。在一个示例性实施例中，锁定屏幕转移的速率可以基于手702绕着手腕转动的速度。图形用户界面806示出了锁定屏幕向上继续转移并且离开显示屏704，以使得主屏幕的更多部分被呈递在显示屏704上。此类视觉转移可以继续，直到在显示屏704上向用户显示了整个主屏幕。
现在参考图9，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的另一示例性姿势900。最初手702被定向成使得手702的手指向上伸出，以使得手的手掌与显示屏704的表面平行。随后手702绕着手腕向左或向右转动，以使得用户在显示屏704处挥手。
参考图10，描绘了与姿势900对应的图形用户界面1002-1006的序列1000。在用户执行姿势900之前，图形用户界面1002被呈递在显示屏704上，其中图形用户界面1002表示主屏幕，并且包括多个可选瓦块812。随着姿势900被执行(例如，手绕着手腕向左转动)，主屏幕向左转移离开显示屏704，并且第二屏幕从显示屏704右侧向左转移。在图形用户界面1004中示出了这一转移的开始，转移的方向由箭头1008示出。如图形用户界面1006中所示，第二屏幕从右侧继续转移到显示屏704上(类似于将纸张滑入视野)，而主屏幕继续向左转移离开显示屏704。可以查明，图形用户界面之间的转移的方向可以取决于手绕着手腕转动的方向。此外，屏幕之间的转移的速度可以基于用户的手702绕着手腕转动的旋转速度。
现在参考图11，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的又一示例性姿势1100。在示例性姿势1000中，手702的手掌大致与显示屏704的表面平行，并且只有食指从中伸出(大致与显示屏704的表面平行)。随后手702的食指移向显示屏704，如箭头1102所示。因此，姿势1100是用手702的食指作出的轻击运动。
现在参考图12，描绘了与姿势1100对应的图形用户界面1202-1204的序列1200。图形用户界面1202描绘了具有多个可选瓦块812的主屏幕。图形用户界面1202还包括图形标记1206，图形标记1206向用户告知关于手702的食指相对于多个可选瓦块812中的一个或多个可选瓦块的位置。在图形用户界面1202中所示的示例中，手702的食指相对于显示屏704来定位，以使得在手702的食指移向显示屏704的情况下，来自多个瓦块812的第二可选瓦块将被选择。
图形用户界面1204示出了响应于用户执行姿势1100向用户呈递视觉反馈。如所描绘的，用户通过执行该姿势从多个可选瓦块812中选择了第二瓦块。
现在参考图13，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的再一示例性姿势1300。在示例性姿势1300中，手702的手掌大致与显示屏704的底部边缘平行并且与显示屏704的表面垂直。手702的拇指和食指相对于彼此移动并拢及张开，以作出捏合姿势。例如，在游戏环境中，捏合姿势可以由姿势识别器组件116来识别，并且显示屏704上的特定图形对象可以被“抓取”。例如，在要求弹弓运动的游戏中，用户可以用手702作出捏合姿势。通过使手702移离显示屏704(拇指和食指处于捏合状态)，弹弓的带子被拉开。使拇指与食指分开可以导致弹弓朝向显示屏704上描绘的目标释放射弹。
现在参考图14，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的另一示例性姿势1400。在姿势1400，最初用户的手702处于打开状态，手702的手掌与显示屏704平行且面向显示屏704。另外，手的手指从手掌伸出并且与显示屏704的侧面平行。在姿势1400中，随后手702闭合以形成拳头(就像用户正抓取对象)。
现在参考图15，描绘了与姿势1400对应的图形用户界面1502-1504的序列1500。在姿势1400被执行和识别之前，图形用户界面1502被呈递在显示屏704上，其中图形用户界面1502用于一应用。用户执行姿势1400，以便执行相关于该应用的某一任务，诸如最小化或关闭该应用。图形用户界面1504对应于识别姿势1400的姿势识别器组件216，以使得在图形用户界面1506中示出用于该应用的工具栏1506。
现在参考图16，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的另一示例性姿势1600。在示例性姿势1600中，手702握成拳头，其手掌与显示屏704的表面平行。随后，使手702保持拳头形式在保持大致与显示屏704的表面平行的方向上转移。
参考图17，描绘了与姿势1600对应的图形用户界面1702-1706的序列1700。图形用户界面1702示出了当用户执行了图14中所示的姿势1400时所呈递的工具栏。通过使手702相对于显示屏704转移特定量(并且可任选地以特定速率)而手702保持拳头形式，用户可以指示她希望退出/最小化显示屏704上所示的应用。图形用户界面1704示出了该应用被转移出显示屏704(在与拳头移动的方向对应的方向上)，由此呈递包括多个可选瓦块812的主屏幕。图形用户界面1706示出了应用图形用户界面从显示屏704的继续转移。
现在参考图18，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的另一示例性姿势1800。在示例性姿势1800中，最初用户的手702被配置成使得手的手指伸出与显示屏704的表面正交，并且手掌与显示屏704的底部边缘平行，面向下。手702随后绕着用户的手腕向左或向右转动。例如，可以采用姿势1800从多个可选数据集合中选择一个数据集合。
现在参考图19，描绘了与姿势1800对应的图形用户界面1902-1904的序列1900。图形用户界面1902包括表示相应数据集合的多个图形对象。例如，此类数据集合可以是包括文字处理文件或其他文档的各文件夹。在另一示例中，这些数据集合可以是图片、视频等的集合。
在图形用户界面1902中，可以查明，用户的手相对于显示屏704的位置导致了第三数据集合最初被选择。这在图形用户界面1902中由加粗显示的第三数据集合来表示。图形用户界面1904示出了基于识别用户的手702作出的姿势1800对数据集合的选择的变化。例如，用户可以绕着手腕向左转动手702，以将选择从第三数据集合更改为第一数据集合。对第一数据集合的选择在图形用户界面1904中由加粗陈列的第一数据集合来示出。
现在转向图20，示出了用户相对于计算设备的显示屏上示出的图形对象可以采取的又一示例性姿势2000。姿势2000类似于图7中所示的姿势700；然而，姿势2000是相对于不同图形对象(在不同上下文中)采取的。最初手702被定位成使得手702的手掌面向下与显示屏704的底部平行，并且手702的手指从手手掌伸出与显示屏704的表面正交。手掌702随后绕着手腕向上转动。
现在参考图21，描绘了与姿势2000对应的图形用户界面2102-2104的序列2100。如图形用户界面2102中所示，用户经由图18中所示的姿势1800选择了第一数据集合。响应于姿势2000被识别(在第一数据集合被选择之后)，向用户呈递图形用户界面2104，其中图形用户界面2104向用户示出第一数据集已被扩展成描绘各个数据对象。例如，如果第一数据集合包括与特定事件对应的多个图像，则用户可以相对于显示屏704作出姿势2000，并且该数据集合中的各个图像可被呈递给用户。因此，例如，用户可以采用图11中所示的姿势1100来选择这些图像中的特定之一。
如上所述，本文提供了图7-21以示出可以基于以上描述的三维深度感测来识别的相对小的姿势子集。构想了众多其他姿势。例如，构想了多个手的姿势，其中用户可以伸出她左手和右手的两个食指，选择图形对象，并且基于两个食指相对于彼此的位置导致图形对象的大小扩展或缩小。例如，使这些手的食指移动分开将导致图形对象被放大，而使这些手的食指移动并拢将导致图形对象的大小被缩小。
现在参考图22，示出了可以根据本文公开的系统和方法使用的示例性计算设备2200的高级图示。例如，计算设备2200可用于支持基于光衰减原理计算场景的深度图像的系统。在另一示例中，计算设备2200的至少一部分可以用在支持识别在三维空间中作出的姿势的系统中。计算设备2200包括执行存储在存储器2204中的指令的至少一个处理器2202。存储器2204可以是或可以包括RAM、ROM、EEPROM、闪存、或其他合适的存储器。这些指令可以是例如用于实现被描述为由上述一个或多个组件执行的功能的指令或用于实现上述方法中的一个或多个的指令。处理器2202可以通过系统总线2206访问存储器2204。除了存储可执行指令，存储器2204还可存储深度图像、红外图像、RGB图像、校准参数等等。
计算设备2200另外包括可由处理器2202通过系统总线2206访问的数据存储2208。数据存储可以是或可以包括任何合适的计算机可读存储，包括硬盘、存储器等。数据存储2208可以包括可执行指令、红外图像、RGB图像、深度图像、校准参数等等。计算设备2200还包括允许外部设备与计算设备2200进行通信的输入接口2210。例如，输入接口2210可用于从外部计算设备、从用户等接收指令。计算设备2200还包括将计算设备2200与一个或多个外部设备进行接口的输出接口2212。例如，计算设备2200可以通过输出接口2212显示文本、图像等等。
另外，尽管被示为单个系统，但可以理解，计算设备2200可以是分布式系统环境。因此，例如，若干设备可以通过网络连接进行通信并且可共同执行被描述为由计算设备2200执行的任务。
注意，出于解释目的提供了若干示例。这些示例不应被解释为限制所附权利要求书。另外，可以认识到，本文提供的示例可被改变而仍然落入权利要求的范围内。

Claims (10)

1.一种系统，包括：
接收器组件(110)，所述接收器组件接收包括移动对象的场景的红外图像序列，所述红外图像序列由红外相机(106)随时间捕捉，所述红外图像序列中的每一红外图像包括具有多个相应强度值的多个像素；
深度计算器组件(112)，所述深度计算器组件针对所述图像序列中的每一图像计算相应深度图像，所述深度图像包括多个像素，所述多个像素具有指示所述对象的分别由所述多个像素表示的各点相对于发射红外光以照射所述场景的发射器(104)的深度的相应多个值，所述多个值至少部分地基于所述红外图像中的所述多个像素的相应强度值的平方根来计算；以及
渲染器组件(116)，所述渲染器组件至少部分地基于所述深度计算器组件计算出的所述深度图像来在计算设备的显示屏上渲染图形数据。
2.如权利要求1所述的系统，其特征在于，所述系统包括移动计算设备。
3.如权利要求1所述的系统，其特征在于，所述深度计算器组件通过以下算法来计算所述多个值：
r p = k p I ( p ) ,
其中，I(p)是所述红外图像中像素p的强度值，rp是所述发射器与所述对象上由像素p表示的点之间的距离，并且kp是常数。
4.如权利要求1所述的系统，其特征在于，所述接收器组件进一步接收：
第一RGB相机捕捉到的所述场景的第一图像；以及
第二RGB相机捕捉到的所述场景的第二图像，所述第一RGB相机与所述第二RGB相机被立体地安排，
其中，所述深度计算器组件至少部分地基于所述第一RGB相机捕捉到的所述第一图像和所述第二RGB相机捕捉到的所述第二图像来计算所述深度图像。
5.如权利要求4所述的系统，其特征在于，所述多个组件进一步包括校准器组件，所述校准器组件校准以下各项：
所述深度计数器组件基于双眼视觉技术计算出的深度图像；以及
所述深度计数器组件基于所述红外相机捕捉到的用于学习校准参数的图像计算出的深度图像，所述校准参数指示以下两项之间的映射：
所述深度计数器组件基于双眼视觉技术计算出的深度图像的像素；以及
所述深度计算器基于所述红外相机捕捉到的图像计算出的深度图像。
6.如权利要求5所述的系统，其特征在于，所述深度计算器组件基于所述第一RGB相机捕捉到的所述第一图像和所述第二RGB相机捕捉到的所述第二图像来计算所述场景的初始深度图像，其中所述深度计算器组件至少部分地基于所述初始深度图像来计算所述深度图像。
7.如权利要求6所述的系统，其特征在于，所述深度计算器组件将所述初始深度图像分割成多个分段，每一分段包括所述初始深度图像中深度值落入相应范围中的像素，其中所述深度计算器组件基于所述校准参数将所述多个分段映射到所述红外图像的相应部分，并且其中所述深度计算器组件至少部分地基于所述多个分段到所述红外图像的相应部分的映射来计算所述深度图像。
8.如权利要求1所述的系统，其特征在于，所述对象是人类的手，其中所述多个组件进一步包括姿势识别器组件，所述姿势识别器组件至少部分地基于所述深度图像来识别所述人类的手相对于所述计算设备的显示屏上显示的至少一个图形对象作出的姿势，并且其中所述渲染器组件至少部分地基于所述人类的手作出的所述姿势来在所述计算设备的显示屏上渲染所述图形数据。
9.一种方法，包括：
从红外相机接收包括移动对象的场景的红外图像序列，其中所述红外图像序列中的每一红外图像包括具有相应多个强度值的多个像素；
针对所述红外图像序列中的每一图像，计算所述对象的相应部分的深度值，以便生成所述对象的相应部分的深度值序列，其中相应红外图像的所述深度值至少部分地基于所述红外图像的相应多个强度值的平方根来计算；以及
至少部分地基于所述对象的相应部分的深度值序列来在计算设备的显示屏上渲染图形数据。
10.如权利要求9所述的方法，其特征在于，所述对象是人类的手，并且所述方法进一步包括：
至少部分地基于所述人类的手的相应部分的深度值序列来识别所述人类的手相对于所述计算设备的显示屏上的图形对象作出的姿势；以及
至少部分地基于识别所述人类的手作出的姿势来在所述计算设备的显示屏上渲染所述图形数据。
CN201280071139.4A 2012-03-05 2012-03-05 基于光衰减来生成深度图像 Pending CN104169966A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/071935 WO2013131232A1 (en) 2012-03-05 2012-03-05 Generation of depth images based upon light falloff

Publications (1)

Publication Number Publication Date
CN104169966A true CN104169966A (zh) 2014-11-26

Family

ID=49042620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071139.4A Pending CN104169966A (zh) 2012-03-05 2012-03-05 基于光衰减来生成深度图像

Country Status (6)

Country Link
US (1) US9513768B2 (zh)
EP (1) EP2823462B1 (zh)
JP (1) JP2015517134A (zh)
KR (1) KR102011169B1 (zh)
CN (1) CN104169966A (zh)
WO (1) WO2013131232A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机
CN107532885A (zh) * 2015-02-25 2018-01-02 脸谱公司 光图案中的强度变化用于体积中的物体的深度绘制
CN107633497A (zh) * 2017-08-31 2018-01-26 成都通甲优博科技有限责任公司 一种图像景深渲染方法、系统及终端

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335922B2 (en) * 2013-01-16 2016-05-10 Research In Motion Limited Electronic device including three-dimensional gesture detecting display
US9323380B2 (en) 2013-01-16 2016-04-26 Blackberry Limited Electronic device with touch-sensitive display and three-dimensional gesture-detection
WO2014160819A1 (en) * 2013-03-27 2014-10-02 Bae Systems Information And Electronic Systems Integration Inc. Multi field-of-view multi sensor electro-optical fusion-zoom camera
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
KR102241706B1 (ko) * 2013-11-13 2021-04-19 엘지전자 주식회사 3차원 카메라 및 그 제어 방법
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
KR102237828B1 (ko) * 2014-08-22 2021-04-08 삼성전자주식회사 동작 인식 장치 및 이를 이용한 동작 인식 방법
CN104407786A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 实现全息图像显示的交互式显示方法、控制方法及系统
CN105635718A (zh) * 2014-10-27 2016-06-01 聚晶半导体股份有限公司 影像撷取装置
TWI610198B (zh) * 2015-04-17 2018-01-01 鈺立微電子股份有限公司 遙控裝置與根據至少一靜態手勢產生控制指令的方法
US20160314616A1 (en) * 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US20190302963A1 (en) * 2016-06-01 2019-10-03 Carnegie Mellon University Hybrid depth and infrared image sensing and method for enhanced touch tracking on ordinary surfaces
KR102529119B1 (ko) * 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10936055B2 (en) * 2019-01-24 2021-03-02 Dell Products, L.P. Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments
WO2020210168A1 (en) 2019-04-08 2020-10-15 Activ Surgical, Inc. Systems and methods for medical imaging
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN110942060B (zh) * 2019-10-22 2023-05-23 清华大学 基于激光散斑和模态融合的材质识别方法及装置
US11681395B2 (en) * 2019-10-23 2023-06-20 Boe Technology Group Co., Ltd. Display substrate, display device and detection method by using display device
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
CN113961122B (zh) * 2021-11-04 2023-11-17 北京嘉和海森健康科技有限公司 人体模型显示方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6148113A (en) * 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
US6162183A (en) * 1999-02-02 2000-12-19 J&J Engineering Respiration feedback monitor system
EP1126412A2 (en) * 2000-02-16 2001-08-22 Fuji Photo Film Co., Ltd. Image capturing apparatus and distance measuring method
US20040146615A1 (en) * 2001-04-13 2004-07-29 Mcdonald John Thomas Processes for evaluating agricultural and/or food materials; applications;and, products
US20080285056A1 (en) * 2007-05-17 2008-11-20 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
CN101674418A (zh) * 2008-09-10 2010-03-17 新奥特（北京）视频技术有限公司 一种虚拟演播室系统中主持人深度的检测方法
US20100328475A1 (en) * 2009-06-30 2010-12-30 Cisco Technology, Inc. Infrared-Aided Depth Estimation
US20110059798A1 (en) * 1997-08-22 2011-03-10 Pryor Timothy R Interactive video based games using objects sensed by tv cameras
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
JP2003185412A (ja) * 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
JP4612635B2 (ja) * 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US20050275635A1 (en) * 2004-06-15 2005-12-15 Microsoft Corporation Manipulating association of data with a physical object
US7355182B2 (en) * 2004-10-06 2008-04-08 Harold Szu Infrared multi-spectral camera and process of using infrared multi-spectral camera
KR100746995B1 (ko) * 2005-09-22 2007-08-08 한국과학기술원 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법
EP2107446A1 (en) * 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8355698B2 (en) * 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
KR101612549B1 (ko) * 2009-07-02 2016-04-14 엘지전자 주식회사 복수의 가상 스크린을 갖는 이동 단말기 및 그 제어 방법
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9551914B2 (en) * 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US20110059798A1 (en) * 1997-08-22 2011-03-10 Pryor Timothy R Interactive video based games using objects sensed by tv cameras
US6148113A (en) * 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
US6162183A (en) * 1999-02-02 2000-12-19 J&J Engineering Respiration feedback monitor system
EP1126412A2 (en) * 2000-02-16 2001-08-22 Fuji Photo Film Co., Ltd. Image capturing apparatus and distance measuring method
US20040146615A1 (en) * 2001-04-13 2004-07-29 Mcdonald John Thomas Processes for evaluating agricultural and/or food materials; applications;and, products
US20080285056A1 (en) * 2007-05-17 2008-11-20 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
CN101674418A (zh) * 2008-09-10 2010-03-17 新奥特（北京）视频技术有限公司 一种虚拟演播室系统中主持人深度的检测方法
US20100328475A1 (en) * 2009-06-30 2010-12-30 Cisco Technology, Inc. Infrared-Aided Depth Estimation
US20120039525A1 (en) * 2010-08-12 2012-02-16 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107532885A (zh) * 2015-02-25 2018-01-02 脸谱公司 光图案中的强度变化用于体积中的物体的深度绘制
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机
CN107633497A (zh) * 2017-08-31 2018-01-26 成都通甲优博科技有限责任公司 一种图像景深渲染方法、系统及终端

Also Published As

Publication number Publication date
EP2823462B1 (en) 2019-10-16
WO2013131232A1 (en) 2013-09-12
JP2015517134A (ja) 2015-06-18
US20130229499A1 (en) 2013-09-05
EP2823462A1 (en) 2015-01-14
EP2823462A4 (en) 2015-05-06
US9513768B2 (en) 2016-12-06
KR20140136442A (ko) 2014-11-28
KR102011169B1 (ko) 2019-08-14

Similar Documents

Publication Publication Date Title
CN104169966A (zh) 基于光衰减来生成深度图像
US12032746B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US10866632B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11995245B2 (en) User-defined virtual interaction space and manipulation of virtual configuration
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
US9659403B1 (en) Initializing orientation in space for predictive information for free space gesture control and communication
CN110476168A (zh) 用于手部跟踪的方法和系统
US9767613B1 (en) Systems and method of interacting with a virtual object
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
Premaratne et al. Historical development of hand gesture recognition
US11714880B1 (en) Hand pose estimation for machine learning based gesture recognition
US10973440B1 (en) Mobile control using gait velocity
US11854308B1 (en) Hand initialization for machine learning based gesture recognition
US20160147376A1 (en) Method and apparatus for recognizing touch gesture
US11841920B1 (en) Machine learning based gesture recognition
US20240257481A1 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
Pullan et al. High Resolution Touch Screen Module
Odeh et al. Low-cost infrared interaction device based on motion tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171017

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141126