CN101622630B - 检测和跟踪图像中的物体 - Google Patents
检测和跟踪图像中的物体 Download PDFInfo
- Publication number
- CN101622630B CN101622630B CN200680007568XA CN200680007568A CN101622630B CN 101622630 B CN101622630 B CN 101622630B CN 200680007568X A CN200680007568X A CN 200680007568XA CN 200680007568 A CN200680007568 A CN 200680007568A CN 101622630 B CN101622630 B CN 101622630B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspace
- picture point
- equation
- treating apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
根据公开的一种方法,相应于表征特定物体的图像点确定多维空间中的坐标。提供描述该空间中的模型的方程式。该模型表现一个或多个其它物体的一组训练图像的特征。所述坐标被代入所述方程式以确定图像点与模型之间的距离。基于所确定的距离,确定特定物体是否匹配所述一个或多个其它物体。可以接收一组训练图像。基于该组训练图像可以确定一多维空间(例如,特征空间)。通过将该组训练图像投影到所述空间可以生成一组训练点。可以确定描述表现所述一组训练点的特征的所述空间中的一模型的方程式。
Description
技术领域
本发明涉及图像处理,更具体地涉及检测图像中的物体。
背景技术
对图像中的物体进行的检测和识别通常涉及图像滤波和图形识别技术。检测和识别包含成百上千或者成千上百的像素的图像中的物体需要很强的处理能力,并且可能很费时间。因此,在处理图像以检测和识别图像中的物体之前减少图像的维数会有帮助。一种已知的减少数据维数的技术是主成分分析法(PCA)。PCA记载在例如Joliffe I.T.,Principal Componnet Analysis,Springer-Verlag,New York(1986)中。
PCA利用数据组的协方差矩阵的特征值和特征向量作为数据组的可求值(valueable)特征的代表。
已有很多种方法和机制使得人类能够与计算机交互。计算机图像技术可以允许计算机检测由照相机捕捉到的图像中的物体。能够检测和识别图像中的物体的计算机为用户提供了通过用户的手势与计算机交互的能力。
计算机-用户界面可以显示在表面或屏幕上。一个或多个照相机可以监视该表面或屏幕附近的活动并且捕捉屏幕附近的活动的图像。计算机然后可以处理这些图像,检测图像中的一个或者多个物体,并发觉用户正在使用手势与显示在表面或屏幕上的计算机-用户界面交互。
一些系统试图发觉用户在使用手势与显示在表面或屏幕上的计算机-用户界面交互。这些系统中的一些仅发觉图像中亮度最大的物体,并将该物体作为手或手指。因此,即使在所述物体既非手也非手指的情况下,这些系统可能将该物体认作手或手指。
发明内容
为了更为准确地标识图像中的手或手指,从而提高人机交互的能力和效率,若干公开的系统(1)识别触摸表面或屏幕或在表面或屏幕附近移动的作为手或手指的物体,并(2)排除未被识别为手或手指的物体。
本发明提供了用于检测和识别触摸表面或屏幕或在表面或屏幕附近移动的手指的方法和装置。图像被处理以检测手指的出现并跟踪检测到的手指的位置。手指的位置可被计算机用于例如控制计算机鼠标指示器。所提供的方法可允许以比使用传统的鼠标及/或键盘更自然的方式进行人机交互。
在一种实现方式中,创建沿一个或多个取向定位的一个或多个手指的模型。具体而言,利用照相机捕捉一个或多个手指的一组训练图像。应用PCA技术,创建该组训练图像的模型。确定该组训练图像的协方差矩阵并选择该协方差矩阵的一定数量的特征向量来定义所述一组训练图像的特征空间。所述一组训练图像中的每个图像被投影到由选定的协方差矩阵的特征向量定义的特征空间中。在特征空间中,每个训练图像由单个训练点表示。因此,将每个训练图像投影到特征空间中可以在特征空间中生成训练点云团。然后在特征空间中用几何模型(例如表面或线)对训练点云团建模。
然后利用模型来检测、识别和跟踪图像中的手指。在一种系统中,在表面或屏幕的后方设置照相机和红外(IR)照明器。触摸表面或屏幕或在表面或屏幕附近移动的手指反射IR照明器投射的部分IR辐射。部分被反射的IR辐射被照相机捕捉在图像中。然后对该图像进行如下所述的处理,以检测和识别图像中手指的存在与否及其位置。
所述处理包括从图像中抽取可能是手指的一个或多个物体。每个抽取的物体被投影到为所述一组训练图像所定义的特征空间中。在特征空间中,所抽取物体的投影由单个图像点表示。将单个图像点的坐标与训练点云团的模型比较,以确定该单个图像点是否匹配或接近匹配所述模型。如果单个图像点匹配或接近匹配模型,则确定该物体是手指。如果确定该物体是手指,则计算手指相对于屏幕或表面的位置(例如(x,y)坐标)并将其输入例如计算机和/或软件应用程序。
根据一个概括的方面,确定相应于多维空间中图像点的坐标,该图像点表征一特定物体。提供描述多维空间中的模型的方程式,该模型表现一个或多个其它物体的一组训练图像的特征。将所述坐标代入所述方程式以确定图像点与模型之间的距离,并且基于所确定的距离,确定所述特定物体是否匹配所述一个或多个其它物体。
上述概括的方面的实现方式可以包括一个或多个其它特征。例如,可以接收特定物体的图像。该图像可以具有若干数据元素,而所述多维空间的维数可以小于该数据元素的数量。确定图像点坐标的步骤可以包括将图像投影到所述多维空间以产生相应于多维空间中的图像点的坐标。
所述模型可以是多维空间中一组训练点的模型,所述组中的每个训练点对应于所述一系列训练图像中的一个或多个图像。
所述特定物体的图像可以在被接收之前被归一化。归一化特定物体的图像的步骤可以解决亮度变化的问题。归一化物体的图像的步骤可以包括对特定物体的图像应用直方图均衡化技术。
所述方程式可以描述双曲面、圆锥、线或圆锥和线的组合。特定物体可以包括从由手指、笔和基本上柱形的物体构成的组中选出的一个物体。
提供所述方程式的步骤可以包括从第一方程式和第二方程式中选择所述方程式,所述第一方程式描述表现第一组训练图像的特征的第一模型,第二方程式描述表现第二组训练图像的特征的第二模型。
根据另一个概括的方面,接收特定物体的图像,该图像具有若干数据点。将该图像投影到维数小于所述数据点数量的多维空间中,以产生相应于所述多维空间中的图像点的坐标,其中图像点表征所述特定物体。提供描述多维空间中的一模型的方程式,该模型是多维空间中一组训练点的模型,并且所述组中的每个训练点对应于一个或多个其它物体的一组训练图像中的一个或多个图像。将所述坐标代入所述方程式以确定图像点与模型之间的距离,并基于所确定的距离,确定所述特定物体是否匹配所述其它物体。
上述概括方面的实现方式可以包括以下的一个或多个特征。例如,提供所述方程式的步骤可以包括从第一方程式和第二方程式中选择所述方程式,所述第一方程式描述表现第一组训练图像的特征的第一模型,第二方程式描述表现第二组训练图像的特征的第二模型。
根据另一个概括的方面,一种系统包括照相机和耦接至照相机的处理装置。该处理装置构造成确定相应于多维空间中图像点的坐标,所述图像点表征特定物体。所述处理装置还构造成提供描述所述多维空间中的一模型的方程式,所述模型表现一个或多个其它物体的一组训练图像的特征。所述处理装置还构造成将所述坐标代入所述方程式以确定图像点与模型之间的距离,并基于所确定的距离,确定所述特定物体是否匹配所述一个或多个其它物体。
上述概括的方面的实现方式可以包括以下的一个或多个特征。例如,所述照相机可以是IR照相机。所述系统可以包括IR源。该系统可以包括设置在照相机前方的屏幕。该屏幕可以至少是半透明的,使得位于与照相机相反的屏幕的一侧的物体所反射的光能够透过屏幕并被照相机所接收。
根据另一个概括的方面,提供了一种工具,用于确定相应于多维空间中特定图像点的坐标,所述特定图像点表征一特定物体。所述工具还提供描述多维空间中的一模型的方程式,该模型表现一个或多个其它物体的一组训练图像的特征。所述工具还用于将所述坐标代入所述方程式以确定所述特定图像点与模型之间的距离,并基于所确定的距离,确定特定物体是否匹配所述一个或多个其它物体。
上述概括的方面的实现方式可以包括以下的一个或多个特征。例如,所述一组训练图像可以被接收,所述组中的每个图像具有若干数据元素。所述多维空间可以基于所述一组训练图像来确定,并且所述多维空间的维数可以小于所述数据元素的数量。通过将所述一组训练图像中的每个图像投影到所述多维空间中可以生成一组训练点,从而产生相应于多维空间中的对应训练点的坐标。所述一组训练点中的每个训练点可以对应于所述一组训练图像中的至少一个图像。可以确定描述多维空间中表现所述一组训练图像的特征的模型的方程式。
所述一组训练图像中的每个图像可以在被接收之前被归一化。归一化所述一组训练图像中的每个图像可以解决亮度变化的问题。归一化所述一组训练图像中的每个图像的步骤可以包括对所述一组训练图像中的每个图像应用直方图均衡化技术。
各个方面、实现方式和特征可以利用例如方法、装置、用于执行方法、程序或其它指令集的装置或工具或处理装置、包括程序或指令集的装置、以及计算机可读介质中的一个或多个来实现。计算机可读介质可以包括例如指令、软件、图像和其它数据。
附图和以下描述中详细说明了一个或多个实现方式。其它特征将从说明书和附图,以及从权利要求中显见。
附图说明
本专利或申请文件包含至少一幅彩色图片。在提出请求并交纳必要的费用的情况下,官方将提供带有彩色图片的本专利或申请公报的副本。
图1是用于识别和跟踪手指的一个系统的图解。
图2(a)为一示样图像,示出图像的两个物体。
图2(b)为示样阴影矩阵,显示了从图2(a)的图像中抽取的两个物体。
图3示出了确定从图像中抽取的物体是否太大而不会是感兴趣的物体的示图。
图4(a)是示出用于训练手指识别和跟踪系统的第一处理的处理流程图。
图4(b)是示出用于执行图4(a)中操作410的处理的处理流程图。
图5是手指的示样图像。
图6是三维特征空间(eigenspace)中的训练点云团的图示。
图7(a)是手指的另一个示样图像。
图7(b)是与图7(a)中的手指相同但方向不同的手指的示样图像。
图8(a)是手指的另一个示样图像。
图8(b)是与图8(a)中的手指相同但方向不同的手指的示样图像。
图9(a)是三维特征空间中的训练点云团的图示。
图9(b)是图9(a)的三维特征空间中图8(a)和8(b)所示的示样图像的投影的图示。
图10(a)是图9(a)的训练点云团和对应于图像点云团的三维模型的图示。
图10(b)是图10(a)的彩色版。
图11(a)是对应于图9(a)的训练点云团的截头模型的图示。
图11(b)是图11(a)的截头模型和对应于该模型的训练点云团的图示。
图11(c)是图11(b)的彩色版。
图12是使用利用图4(a)所示处理训练的系统识别图像中的手指的处理的处理流程图。
图13是示出用于训练手指识别和跟踪系统的第二处理的处理流程图。
图14是三维特征空间中的另一训练点云团的图示。
图15是形成圆锥形状的图14所示训练点云团的第一子组的图示。
图16是形成线形形状的图14所示训练点云团的第二子组的图示。
图17(a)是图15所示训练点的第一子组以及对应于训练点的第一子组的垂直圆锥模型的图示。
图17(b)是图15所示训练点的第一子组以及对应于训练点的第一子组的截头垂直圆锥模型的图示。
图17(c)是图17(a)的彩色版。
图17(d)是图17(b)的彩色版。
图18(a)是图16所示训练点的第二子组以及对应于训练点的第二子组的线形模型的图示。
图18(b)是图18(a)的彩色版。
图19是图示使用通过图13所示处理训练的系统来识别图像中的手指的处理的处理流程图。
图20是图示识别图像中的物体的另一处理的处理流程图。
具体实施方式
本发明公开了用于检测和识别触摸表面或者在表面附近移动的手指的系统和方法。这些系统和方法还可以用来检测和识别触摸表面或者在表面附近移动的其他物体。此外,这些系统和方法还可以用来在没有表面的情况下,检测和识别视场中的物体。更广泛地说,这些系统和方法可以用来检测和识别图像中的物体。
图1是用于识别和跟踪一个或者多个手指的示例性系统100的图示。设置在表面104后方的红外(IR)照明器102照亮延伸于表面104的后方和前方的区域106。装备有红外滤波器110的照相机108设置在表面104的后方并捕捉例如表面104及其附近的图像。照相机108所捕捉的图像可以通过数据元素(例如,像素)以数码方式显示。设置在表面104后方的投影器112可以将计算机-用户界面投射在表面104上。投射在表面104上的计算机-用户界面可以是传统的计算机显示。投影器112除了可见光之外还可以投射IR光。因此,投影器112可以装备有可选的IR滤波器120以减少或消除投影器112所投射的IR光。
所公开的技术和装置可以允许用户利用手势与计算机-用户界面交互。
例如,可以对用户手指114的位置进行跟踪,允许用户通过用其手指114触摸表面104或者通过将其手指114在表面104附近移动来控制鼠标指示器在计算机-用户界面上的位置。用户手指114的位置可以用来例如表示鼠标指示器的希望位置。在一些实现方式中,为了准确确定用户手指114的位置,希望区分用户的手指114与用户的手掌118。
图1所示系统100仅仅是一种实现方式的示例,其他的构造也是可能的。照相机108所捕捉的图像是通过捕捉物体所反射的光而产生的。光可以包括IR光、可见光、紫外光或任何其他形式的电磁辐射。因此,可以不需要IR照明器102。其他光源可以用来替代IR照明器。在一种替代的实现方式中,可以不需要光源。作为替代,系统100可以仅仅依靠所反射的周围的光。此外,照相机108不需要设置在表面104的后面。例如,照相机108可以设置在系统100中的认为有利的其他任何位置。另外,系统100不需要被实现为有利于人机交互。作为替代,在某一实现方式中,系统100可以用来检测照相机108所捕捉的图像中的物体。在这种实现方式中,可以不需要表面104。
总的来说,在检测和识别图像中作为手指的物体的过程中会涉及很多处理操作。例如,系统100首先经过训练,以识别作为手指的物体。该训练阶段可以涉及捕捉以一个或多个取向定位的一个或多个手指的一组训练图像,以及建立该组训练图像的模型。在识别阶段,系统100可以捕捉图像,从捕捉的图像中抽取物体,并将所抽取的物体与在训练阶段生成的一组训练图像的模型比较,从而确定所抽取的物体是否是手指。以下将更加详细地描述在检测和识别图像中的作为手指的物体的过程中可能涉及的处理。
图像中感兴趣的区域(ROI)116可以定义为包括表面104的图像的一部分。可以对图像的ROI116进行检查以检测和识别一个或多个手指114。照相机108捕捉的图像可以包括由IR照明器102产生并被ROI116中的一个或多个手指反射的IR映像,或者所述IR可被ROI116中的一个或多个其他物体反射。例如,表面104可以反射IR。
为了说明表面104或ROI116中的其他物体始终反射的IR,可以创建表面104或ROI116中的其他物体始终反射的IR的背景模型(BGM),并从照相机108捕捉的每一图像中减去该背景模型。从照相机108捕捉的每一图像中减去BGM可以有效排除或至少减少从所捕捉的图像中处理得到的由于背景物体造成的IR。因此,从每一图像中减去BGM可以提高ROI116中感兴趣的物体与表面104及/或ROI116中一直存在的其他物体之间的对比度。
BGM的创建可以通过捕捉若干没有出现感兴趣物体的ROI116的图像,然后逐像素地对捕捉的图像进行平均化,从而建立新的平均的图像或BGM。这样,可以从照相机108捕捉的每一图像中减去BGM。该处理可以通过以下方程式来描述:
其中,I是图像,B是BGM,ε是可调节阈值(例如,可调节常数),J是得到的图像。BGM可以例如随机地、周期地或根据触发事件的发生而更新。
参照图2(a)、2(b)和3,其中示出用于检测图像中是否存在物体和初始确定该物体是否是感兴趣的物体的处理的示例。
具体而言,图2(a)示出示样图像200(a)中的两个物体202(a)、204(a)。如图2(a)所示,物体202(a)和204(a)被示为比背景206(a)更暗。但是,在由两个物体202(a)、204(a)反射的光形成的图像200(a)中,两个物体202(a)、204(a)有可能比背景206(a)更亮。因此,可以理解,图2(a)中的图像200(a)仅仅是图像200(a)中的两个物体202(a)、204(a)的示例,图像200(a)并不意图表示图像中的物体会比图像的背景更暗。
为了从图像200(a)中抽取物体202(a)、204(a),可以采用斑点分析(blob-analysis)算法,例如Grassfire算法。在例如文献Pitas I.,Digital Image Processing Algorithms,Prentice-Hall,New York(1993)中描述了Grassfire算法。也可以使用用于检测图像中是否存在物体并从图像中抽取该物体的其他算法。
Grassfire算法可以在图像中搜索物体并用共同的标记表示其所检测到的每一物体中的每一像素。具体而言,在物体比背景更亮的、通过物体反射光形成的图像中,Grassfire算法可以确定图像中最亮的像素。例如,图像可以是灰度图像,每个像素具有256个可能的值。也就是说,每个像素可以被分配0-255中的一个值,其中零表示可能的亮度最小的像素(例如,完全黑的),而255表示可能的最亮的像素(例如,完全白的)。图像中的最亮的像素可以具有值220。Grassfire算法可以将图像中的每个像素与相对于图像中最亮像素的可调阈值常数比较,从而确定该像素是否对应于物体。例如,可调阈值可以为50。因此,Grassfire算法可以将图像中比最亮像素暗50级以内的所有像素视为表示一个物体。也就是说,具有可接受范围170-220内的值的所有像素可以视为表示一个物体。这样,Grassfire算法可以将落入所述可接受范围内的任何一组相邻像素视为构成一个物体。
Grassfire算法可以产生被称为阴影矩阵的矩阵,其大小与原始图像相同。阴影矩阵中对应于被标识为表示原始图像中的一个物体的像素的元素可以用共同的标记标识。图2(b)示出对应于图2(a)中所示示样图像200(a)的阴影矩阵200(b)。示样图像200(a)中的物体202(a)用阴影矩阵200(b)中的物体202(b)表示,物体202(b)的每个元素用共同的标记“1”标识。类似地,示样图像200(a)中的物体204(a)用阴影矩阵200(b)中的物体204(b)表示,并且物体204(b)的每个元素用共同的标记“2”标识。如图2(b)所示,Grassfire算法可以有效地从示样图像200(a)中抽取物体202(a)和204(a)。
再次参照图1,理想情况下,如果手指114触摸表面104或在表面104附近移动,则手指114会在图像中产生最亮物体。然而,触摸表面104或在表面104附近移动的手指114并不总是产生图像中最亮的物体。例如,当用户用其手指114触摸表面104时,用户的手掌118可能反射足够多的IR辐射,从而在图像中表现为一个亮的物体。例如长袖之类的其他物体也会反射足够多的IR辐射从而在图像中表现为亮的物体。一些物体会比用户的手指114反射更多的IR辐射,从而在图像中表现为比用户手指114更亮的物体。
因此,在一种实现方式中,可从图像中抽取到图像中的若干物体,并非仅仅是最亮物体。但是,处理图像中的很多物体以进行识别会需要很强的处理能力,并且会很费时。因此,会采取一些技术来减少所抽取的用于识别的物体的数量。所抽取的物体可能表现出一些特征,表示它不可能是手指并因此可以被放弃。用于挑选所抽取的物体的一种标准是尺寸。例如,所抽取的物体可能太大而不会是手指。类似地,所抽取的物体可能太小而不会是手指。
图3是示图301,示出用于确定从图像中抽取的物体300是否太大而不会是手指的处理的一个示例。可以在所抽取物体300中心302周围的四个采样区304、306、308、310中采样一个或多个像素。所抽取物体300的中心302与采样区304、306、308、310之间的距离可以是例如可调常数。如图3所示,所抽取物体300的中心302周围的两个采样区304、308可以位于经过所抽取物体300的中心302的垂直线312上。类似地,所抽取物体300的中心302周围的两个采样区306、310可以位于经过所抽取物体的中心302的水平线上。
由于手指114的图像有时会包括一尾部(例如参见图5),采样区304、306、308、310可以成对考虑。例如,位于经过所抽取物体300的中心302的水平线上的两个采样区306、310可以作为第一对进行考虑。类似地,位于经过所抽取物体300的中心的垂直线312上的两个采样区304、308可以作为第二对进行考虑。
如果第一对采样区306、310中的像素值总和超出可接受阈值水平,则可以确定采样区306、310是所抽取物体300的一部分。如果第一对采样区306、310中的像素值总和超出可接受阈值水平,则可以将第二对采样区304、308中的像素值总和与可接受阈值水平比较。
如果第二对采样区304、308中的像素值总和超出可接受阈值水平,可以确定采样区304、308是所抽取物体300的一部分。如果第一对采样区306、310中的像素值总和超出可接受阈值水平并且第二对采样区304、308中的像素值总和超出可接受阈值水平,则可以确定所述物体太大而不会是手指,从而可以放弃该物体。
类似地,从图像中抽取的物体可能太小而不会是手指。可以对表示每个被抽取物体的像素的数量计数。如果表示一个物体的像素数量小于阈值常数,则该物体可以确定为噪声或其他一些物体,从而可以放弃该物体。
识别图像中作为手指的物体可能涉及训练阶段和识别阶段。在训练阶段,可以通过使系统100接触一大组要识别的物体的训练图像,以训练系统100识别物体。所述一组训练图像可以包括各种不同取向的被识别物体的图像。在识别阶段,系统100可以检测图像中的物体,并将该物体与所述一组训练图像比较,或与所述一组训练图像的模型比较,从而确定该物体是否是所要识别的物体。
在一种实现方式中,在训练阶段,捕捉各种不同取向的一个或多个手指的大量图像。确定所述一组训练图像的协方差矩阵,并使用协方差矩阵的选定的一组特征向量来定义特征空间。可以选择任意数量的特征向量来定义特征空间。特征空间的维数由被选来定义特征空间的特征向量的数量决定。例如,三维特征空间通过选择三个特征向量来定义,所述三个特征向量例如为对应于三个最大特征值的特征向量。来自所述一组训练图像的每个训练图像被投影到三维特征空间中,在该特征空间中生成三维点的集合。特征空间中三维点的集合利用能够用多项式解析表达的三维集合模型(例如,二次表面或线)来建模。例如,所述一组训练图像的投影可以形成双曲面形或圆锥形表面。另外或者作为替代,所述一组训练图像的投影可以在特征空间中形成线形几何形式。在三维空间中,双曲面、圆锥和线可以用多项式解析表达。因此,几何形式(也称为几何模型)可以用来在特征空间中对这样的一组训练图像进行建模。
在该实现方式的识别阶段,从图像中抽取的物体被投影到训练阶段定义的特征空间中。特征空间中标识对应于被投影图像的三维点的三坐标被代入在特征空间中定义所述一组训练图像的模型的多项式中,从而确定特征空间中被投影图像与模型之间的距离。如果被投影物体位于例如所述模型的界定距离之内,则被投影物体可以确定为手指。
现参照图5-20更详细地描述训练和识别阶段的实现方式。
图4(a)是一处理流程图,示出了用于训练系统100识别图像中作为手指的物体的示例性处理400。处理400从创建被表面104或ROI116中的其他物体始终反射的IR的BGM(操作402)开始。然后通过照相机108捕捉各种不同取向的手指114的大量输入图像(操作404)。然后,从每个输入图像减去BGM(操作406)。然后,每个图像的表示手指114的部分被从图像中抽取出来,并转换成标准的n×n图像尺寸(操作408)。每个图像中表示手指114的部分可以利用斑点分析算法,如Grassfire算法来抽取,或者每个图像中表示手指114的部分可以根据图像的视觉表现手动抽取。所抽取的图像中表示手指的部分可以包括大量像素。为了降低处理图像中表示手指的该部分所需的计算能力,可能希望减少用来表示手指的像素的数量。因此,所抽取的图像中表示手指的部分的分辨率可以降低。例如,原始图像中表示手指的部分可以是64×64像素的。在图像中表示手指的该64×64的部分从图像中被抽取之后,所抽取的手指的分辨率可以降低至该手指用16×16的图像表示。
图5示出手指502的示例性的n×n图像500。
然后定义一组n×n训练图像的特征空间(操作410)。图4(b)中更详细地示出了操作410。首先,确定所述一组训练图像的协方差矩阵C(操作410(a))。如果整形之后的n×n图像I(n×n)用向量V(m)表示,其中m=n2,则所述一组t个训练图像{I1,I2,...,It}的协方差矩阵C可以定义为:
C=GTG (2)
其中G是具有元素Gi,j=(Vi,j-μi)的t×m的矩阵,其中Vi,j是向量Vi的第j个元素,Vi是所述训练组的整形之后的图像Ii的向量,μi是向量Vi的中值。因此,协方差矩阵C是m×m矩阵。然后,可以确定协方差矩阵的特征值和特征向量(操作410(b))。协方差矩阵的特征值和特征向量可以通过解以下方程而获得:
Δ=ΦTCΦ (3)
其中Δ是协方差矩阵C的一组特征值,Φ是协方差矩阵C的一组特征向量。美国专利No.5710833中描述这种处理。m×m的协方差矩阵可以具有m个特征值和m个特征向量,每个特征向量对应于一个特征值。因此,用于一组16×16的训练图像的256×256的协方差矩阵会具有256个特征值和256个对应的特征向量。另外,每个特征向量会是长度256的列向量。
协方差矩阵C的所有特征向量彼此垂直。因此,通过选择协方差矩阵C的一组特征向量并利用每个所选择的特征向量定义空间中的一个方向(即,维度),可以定义一组训练图像的特征空间(操作410(c))。对应于协方差矩阵C的最大特征值的特征向量指示所述一组图像表现出最大变化的方向。因此,所述一组训练图像中包含的数据的大部分可以通过选择协方差矩阵C的对应于若干最大特征向量的一组特征向量来表征。在一种实现方式中,协方差矩阵C的对应于三个最大特征值的特征向量被选择用于定义三维特征空间。
在定义了特征空间之后,将来自所述一组训练图像的每个训练图像投影到特征空间中(操作410(d))。每个n×n的图像I(n×n)被转换成向量V(m),其中m=n2。例如,如果图像I(n×n)是16×16的图像,则向量V(m)是长度为256(m=n2=16×16=256)的行向量。特征空间可由一个m×q的矩阵来定义,其中,q是被选择用来定义特征空间的特征向量的数量,矩阵的q列中的每一个表示被选来定义特征空间的特征向量中的一个。然后向量V(m)可以乘以定义特征空间的m×q矩阵,得到一个1×q的矩阵或行向量,其中该行向量的每个元素标识特征空间中的一个对应坐标。例如,16×16的图像I(16×16)可以用256×1的列向量V(256×1)表示。如果所述一组训练图像的特征空间用三个特征向量定义,则图像向量V(256×1)的转置可以乘以定义特征空间的256×3的矩阵,以得到定义被投影图像在所述三维特征空间中的三坐标的1×3的行向量。
这样,图像在特征空间中的投影可以有效减少图像的维数。图像在特征空间中的投影是有着与特征空间的维数相同多的坐标的单个点。例如,图像在三维特征空间中的投影是一个三维点(即,该点由三个坐标定义)。因此,当n×n的图像投影到三维特征空间中时,图像从由n2个像素定义转变为由三个坐标标识的单个点。
图6示出用于各种取向的一个或多个手指的所述一组训练图像的三维特征空间600的示例。所述一组训练图像中的每一图像的投影用特征空间600中的一个三维点表示。因此,如图6所示,将所述一组训练图像投影到特征空间600中可以在特征空间600中生成训练点云团602。该片训练点602可以表现出可识别的几何形状。例如,图6中的训练点云团602表现出双曲面形或圆锥形形状。
所述训练点云团602的形状可以是手指的特定特征的函数。
当手指114垂至于表面104时,手指114可以在照相机108捕捉的图像中表现为基本上圆形的物体。即使用户旋转他/她的手,手指114可以在照相机108捕捉的图像中继续表现为基本上圆形的物体,只要手指114保持垂至于表面104。换句话说,如果手指114保持垂至于表面104,则即使手发生旋转,手指114在照相机108捕捉的一系列图像中的形状也可仅有略微变化。无论相对于照相机108手指114指在表面104上的什么位置上,都可以保持仅有略微变化。
然而,如果用户的手指114不垂至于表面104,手指114在照相机108捕捉的图像中会表现为带有尾部的亮点。尾部可以是被手指114的主体反射的IR。因此,如果手发生旋转,则尾部的角度旋转。
图7(a)和7(b)是说明性的。图7(a)是带有尾部702(a)的手指114的n×n图像700(a)。在图7(a)中,尾部702(a)朝向图像700(a)的左上角。图7(b)是带有尾部702(b)的同一手指114的n×n图像。在图7(b)中,尾部702(b)朝向图像700(b)的右上角。尾部702(a)、702(b)的不同取向可以解释为在两个图像700(a)、700(b)中手指114相对于照相机108的方向不同。图像700(a)中的手指114和图像700(b)中的手指114与表面104形成相同的非垂直角度。但是,图像700(b)中的手指相对于图像700(a)中的手指114的位置发生了旋转,使得图像700(a)中的手指114和图像700(b)中的手指114相对于垂直于表面104的表面(未示出)具有形成不同角度。
由于两个图像700(a)、700(b)不同的事实,它们可由特征空间600中的训练点云团602中的不同点来表示。但是,因为将图像投影到特征空间600的处理是线性处理,所以带有长度基本上相同但旋转角度不同的尾部的捕捉手指114的一组图像的投影可以在特征空间600中得到排列成基本上圆形图形(未示出)的一组点。因此,尽管两个图像700(a)、700(b)在特征空间600中的训练点云团602中会以不同的点表示,但是它们在特征空间中会沿基本上圆形的图形排列。
图像中手指的尾部的长度也会影响图像在特征空间600中的投影位置。如以上就图7(a)和7(b)所示,尾部长度基本上相同但旋转角度不同的手指的图像的投影在特征空间600中会排列成基本上圆形的图形。相比于尾部同样长但旋转角度不同的手指114的一组图像的投影,尾部同样短但旋转角度不同的手指114的一组图像的投影可以排列成具有相对较小半径的基本上圆形的图形。
图6、8(a)、8(b)、9(a)和9(b)是说明性的。图6中形成训练点云团602的顶点604的训练点可以与其中手指114表现为尾部很小或没有的基本上圆形形状的训练图像相关联。相反,图6中形成训练点云团602的基部606的训练点可以与其中手指114跟有一较长尾部的训练图像相关联。
图8(a)示出手指114的训练图像800(a),其具有由于手指114与表面104之间的相对较小的角度引起的相对较长的尾部802(a)。图8(b)示出手指114的训练图像800(b),其具有由于手指114与表面104之间的较大的角度而引起的相对较短的尾部802(b)。
图9(a)和9(b)示出两个图像800(a)、800(b)在三维特征空间600中的投影800(a)’、800(b)’。如图9(a)所示,具有较长尾部802(a)的手指114的图像800(a)投影到所述训练点云团602的基部附近的点800(a)’,因为其具有相对较长的尾部802(a)。相反,具有较短尾部802(b)的手指114的图像800(b)被投影到所述训练点云团602的顶点604附近的点800(b)’上,因为其具有相对较短的尾部802(b)。
图9(b)示出从所述训练点云团602隔离出来的两个图像800(a)、800(b)在三维特征空间600中的投影800(a)’、800(b)’。如图9(b)所示,投影800(a)’与表现出同样的相对较长尾部但是旋转角度不同的手指图像的投影一起排列成基本上圆形的图形902。类似地,投影800(b)’与表现出同样的相对较短尾部但是旋转角度不同的手指图像的投影一起排列成基本上圆形的图形904。
所述训练点云团602可以表现出可识别的几何形状,因此训练点云团602可被修改以由能够用多项式解析表达的几何模型建模。为了方便用几何模型拟合训练点云团602,可以对每个训练点应用被称为“转移至中心(TTC,Transfer-to-Centre)”的技术(操作412)。在例如文献Shamaie A.et.al.,“International Journal of Scientia Iranica”,6(1),(1999)中描述了TTC技术。TTC技术将数据组转移至特征空间的中心。换句话说,数据组的中心被移到特征空间的原点。
在对一组训练点应用TTC技术之后,用模型拟合训练点云团602(操作414)。三维二次表面的通用方程式为:
F(x,y,z)=ax2+by2+cz2+dxy+exz+fyz+gz+hy+iz+1 (4)
如果训练点云团602定义了一个理想的二次表面,则可以对云团602中的每个点成立以下方程式:
F(x,y,z)=0 (5)
其中x,y和z是训练点云团602中的每个点的坐标。方程式4中的未知参数为ψ=(a,b,c,d,e,f,g,h,i)。为了将训练点云团602拟合为二次表面,确定方程式4中的未知参数的值,使得对于训练点云团602中的一组点,误差函数被最小化。误差函数由以下方程式定义:
其中TS是所述一组被投影训练点。误差函数可以展开为:
∑F2(x,y,z)=a2∑x4+2ab∑x2y2+2ac∑x2z2+2ad∑x3y+2ae∑x3z+
2af∑x2yz+2ag∑x3+2ah∑x2y+2ai∑x2z+2a∑x2+b2∑y4+2bc∑y2z2+
2bd∑xy3+2be∑xy2z+2bf∑y3z+2bg∑xy2+2bh∑y3+2bi∑y2z+
2b∑y2+c2∑z4+2cd∑xyz2+2ce∑xz3+2cf∑yz3+2cg∑xz2+2ch∑yz2+
2ci∑z3+2c∑z2+d2∑x2y2+2de∑x2yz+2df∑xy2z+2dg∑x2y+
2dh∑xy2+2di∑xyz+2d∑xy+e2∑x2z2+2ef∑xyz2+2eg∑x2z+2eh∑xyz+
2ei∑xz2+2e∑xz+f2∑y2z2+2fg∑xyz+2fh∑y2z+2fi∑yz2+
2f∑yz+g2∑x2+2gh∑xy+2gi∑xz+2g∑x+h2∑y2+2hi∑yz+2h∑y+
i2∑z2+2i∑z+∑1 (7)
误差函数可以利用准牛顿(quasi-Newtonian)方法最小化。但是,线性优化方法,如准牛顿方法,可能停留在局部的最小值,原因是误差函数是二次的。但是,在最小化误差函数之前对所述一组训练点应用TTC技术可以减少准牛顿最小化方法停留在局部最小值的风险。因此,如果在利用准牛顿方法最小化误差函数之前对所述一组训练点应用TTC技术,误差函数可以更快地收敛。最小化误差函数产生所述一组未知参数ψ的值。通过最小化误差函数确定的ψ的值被代入方程式4以定义训练点云团602的模型。
图10(a)示出与训练点云团602的示例性模型(空心圆)重叠的训练点(黑色点)云团602。图10(b)是图10(a)的彩色版。模型1000可以通过将由最小化误差函数确定的一组参数ψ的值代入方程式4而定义得到。如图10(a)和10(b)所示,该模型具有第一表面1002和第二表面1004,两个表面都表现为双曲面形形状,分别具有顶点1002(a)和1004(a),两顶点彼此面对,同时两个表面位于同一轴(未示出)上。在一种实现方式中,仅第一表面1002被用来对训练点云团602建模。如图10(a)-10(b)所示,训练点云团602并不完全覆盖第一表面1002,而且根本不覆盖第二表面1004。
图11(a)是用于对特征空间600中的训练点云团602建模的模型1000的第一表面1002的图示。图11(a)-(c)没有包括第二表面1004。图11(b)示出与模型(空心圆)1000的第一表面1002重叠的训练点(黑色点)云团602。图11(c)是图11(b)的彩色版。
图12是流程图,示出利用通过处理400训练的系统识别图像中作为手指的物体的示例性处理1200。处理1200从创建被表面104或ROI116中的其他物体始终反射的IR的BGM开始(操作1202)。然后用照相机108捕捉表面104及其附近的输入图像(操作1204),并从该输入图像中减去BGM(操作1206)。
如以上就图2(a)和2(b)详细描述的,斑点分析算法,如Grassfire算法,被用来从输入图像中抽取物体(操作1208)。如以上就图3详细描述的,从输入图像抽取的每个物体被处理,以标识和放弃那些要么太大要么太小而不会是手指的物体(操作1210)。剩余的物体经排序而形成按总面积的降序排列的列表(操作1212)。
然后,列表中的第一物体被转换成n×n的图像,并且改变大小之后的n×n图像被投影到一组训练数据的特征空间600中,以获得图像点(操作1214)。模仿在训练阶段400对训练点云团602中的点应用TTC技术,对图像点应用TTC技术(操作1216)。可以在操作1216中使用与操作412中所用相同的TTC转换值。
利用图像点的坐标计算定义训练点云团602的模型1000的二次多项式的值(操作1218)。如果图像点位于模型1000中,则图像点的坐标代入多项式会得到零值。相反,如果图像点不位于模型1000中,将图像点的坐标代入多项式中会得到非零的实数。通过将图像点的坐标代入多项式而得到的值表示图像点与模型1000之间的距离。
对应于特征空间600中靠近模型1000的图像点的图像会表现出与包括所述一组训练点的图像相似的特征。因此,图像点越靠近模型1000,则对应于图像点的图像越可能是手指。所以,对应于被发现位于模型1000上的图像点或落入模型1000的最大阈值距离之内的图像点的图像可被确定是手指。
因此,计算通过将图像点的坐标代入二次多项式而得到的值,以确定其是否小于所限定的阈值距离(操作1220)。如果通过将图像点的坐标代入二次多项式而得到的值小于该阈值距离,则对应于该图像点的物体被视为手指(操作1222)。如果通过将图象点的坐标代入二次多项式而得到的值大于最大阈值距离,则对应于该图像点的图像被放弃,并前进到操作1214以处理列表中的下一个物体(操作1224)。
通过将物体投影到特征空间而减小图像中捕捉的物体的维数使得可以在不用比较所捕捉图像的每个像素与模型的每个像素的情况下将物体与训练物体的图像的模型比较。从而,可以节省处理能力和资源以及/或者提高比较速度。
现在参照图13-19描述训练和识别阶段的其他实现方式。
图13是流程图,示出训练手指识别和跟踪系统100识别作为手指的物体的处理1300的示例。处理1300包括对各个训练图像应用直方图均衡化(histogram equalization)技术的操作。
处理1300从创建被表面104或ROI116中的其他物体始终反射的IR的BGM开始(操作1302)。利用照相机108捕捉各种不同取向的一个或多个手指的大量输入图像(操作1304),并从每个输入图像中减去BGM(操作1306)。图像中表示手指的部分被从图像中抽取出来并转换成标准的n×n的图像尺寸(操作1308)。对每个n×n图像应用直方图均衡化技术(操作1310)。
直方图均衡化技术被应用于n×n的图像,以解决照明条件变化的问题。对n×n图像应用直方图均衡化技术涉及生成n×n图像中像素光强的直方图,对n×n图像的直方图进行归一化以及基于归一化的图像直方图对n×n图像中的像素重新赋值。因此,个体的像素保持了它们的亮度序位(例如,它们保持比其他像素更亮或更暗)。
创建对应于所述一组n×n的手指训练图像的特征空间,并将每个训练图像投影到特征空间中(操作1312)。
如图14所示,被投影的训练图像在特征空间1400中形成训练点云团1402。对训练点云团1402应用TTC技术,以便将训练点云团1402的中心转移到特征空间1400的原点(操作1314)。图14所示训练点云团1402的形状表现为不同于图6所示训练点云团602的形状。具体而言,图14所示训练点云团1402在圆锥形形状1404的顶点1408处带有一尾部1406。两个训练点云团1402、602在形状上的差异可以归因于对训练点图像组应用了直方图均衡化技术(操作1310),因为直方图均衡化技术减小了由于照明条件变化造成的所述一组训练图像中的变化。因此,当训练图像被投影到特征空间1400中时,获得更为统一的形状。图6中的训练点云团602的形状反映了训练图像组中照明条件的变化以及手指形状和取向的变化。相反,图14所示训练点云团1402的形状主要反应的是训练图像组中手指形状和取向的变化。
处理1300包括用一个或多个模型拟合转移之后的训练点云团1402(操作1316)。为了对训练点云团1402建模,形成圆锥形形状1404的训练点子组和形成尾部1406的训练点子组被分开考虑。图15示出形成没有尾部1406的圆锥形形状1404的训练点子组。图16示出没有圆锥形形状1404的形成尾部1406的训练点子组。
可以为形成圆锥形形状1404的训练点子组创建一模型,并为形成尾部1406的训练点子组创建第二模型。如上所述,方程式4给出了三维二次表面的通用公式。因此,通过首先确定方程式4中的未知参数ψ,可以确定形成圆锥形形状1404的一组训练点的模型,所述参数使方程式7相对于形成圆锥形形状1404的训练点子组中的一组点的误差函数被最小化。通过最小化误差函数确定的ψ的值被插入方程式4中以定义训练点云团1402的模型。
或者,可以用垂直圆锥来对形成圆锥形形状1404的训练图像的子组进行建模。如图15所示,圆锥形训练点云团1404表现出沿垂直轴1500的最大变化量,所述垂直轴1500表示特征空间1400的第一主分量。换句话说,圆锥形云团1404的高度维度平行于特征空间1400的第一主分量。所观察到的圆锥形训练点云团1404沿特征空间1400的第一主分量方向表现出最大变化量的情况与对应于第一主分量的协方差矩阵的特征向量代表一组训练图像显示出最大变化的方向的事实相符。因此,可以使用垂直圆锥来对形成圆锥形形状1404的训练点子组进行建模。一般垂直圆锥用以下方程式描述:
其中x和y表示特征空间1400的水平轴1502、1504,z表示垂直轴1500。方程式8中的未知参数为Ω=(a,b,c,d,e,f)。为了用垂直圆锥拟合形成圆锥形形状1404的训练图像的子组,确定使方程式8相对于形成圆锥形形状1404的训练点子组中的一组点被最小化的未知参数Ω的值。方程式8所示误差函数可以通过以下方程式定义:
可以使用准牛顿方法来最小化方程式9所示误差函数。对方程式9所示误差函数的最小化产生所述一组未知参数Ω的值。这些值被插入方程式8以定义形成圆锥形形状1404的训练点子组的垂直圆锥模型。
图17(a)示出与圆锥形形状1404的训练点云团的示例性垂直圆锥模型(空心圆)1700重叠的圆锥形形状的训练点(黑色菱形)云团。图17(c)是图17(a)的彩色版。如图17(a)和17(c)所示,垂直圆锥模型1700既有底表面1702又有顶表面1704。每个表面1702和1704形成的两个圆锥形状在共同的顶点1706处相遇。两个圆锥形状位于同一轴(未示出)上。形成圆锥形形状1404的训练点云团不完全覆盖表面1702,同时根本不覆盖表面1704。在一种实现方式中,仅圆锥1700的下表面1702被用来对圆锥形形状1404的训练点云团建模。图17(b)示出与圆锥形形状1404的训练点云团的示例性垂直圆锥模型(空心圆)1700的下表面1702重叠的圆锥形形状(黑色菱形)1404的训练点云团。图17(d)是图17(b)的彩色版。
尾部1406的一种模型是垂直线。尾部1406的垂直线模型通过计算尾部1406的训练点沿水平轴1602、1604的中值来确定。图18(a)示出与形成尾部1406的训练点云团的示例性垂直线模型(黑线)1800重叠的尾部(黑点)1406的训练点云团。形成尾部1406的训练点云团在线1800的底部1810周围密集成群,并在更靠近线1800顶部1820处逐渐采用基本上线形的形状。图18(b)是图18(a)的彩色版。在一种可替代的实现方式中,线1800可以不是垂直的。作为替代,线1800可以具有最好地匹配形成尾部1406的一组训练点的方向。
图19是流程图,示出了识别图像中手指的处理1900的一个示例。处理1900使用由处理1300训练的系统。
处理1900从创建被表面104或ROI116中的其它物体所始终反射的IR的BGM(操作1902)开始。利用照相机108捕捉表面104及其附近的输入图像(操作1904),从输入图像中减去BGM(操作1906)。如以上就图2(a)和2(b)详细描述的,斑点分析算法,如Grassfire算法,被用来从输入图像中抽取物体(操作1908)。如以上就图3所讨论的,从输入图像抽取的每一物体被处理以标识并放弃要么太小要么太大而不会是手指的物体(操作1910)。剩余的物体被排序成按照总面积的升序排列的列表(操作1912)。然后将列表中的第一个物体转换成n×n的图像(操作1914)并对改变大小之后的图像应用与处理1300所应用的相同的直方图均衡化技术(操作1916)。在对图像应用直方图均衡化技术之后,将图像投影到一组训练图像的特征空间中,并模仿训练阶段1300中对训练点云团1402应用TTC技术,对图像点应用TTC技术(操作1918)。
如上所述,两个模型,即垂直线1800和垂直圆锥1700的下表面1702构成,被用来对训练点云团1402建模。因此,可以确定图像点的垂直坐标是在垂直圆锥模型1700的下表面1702的定点1706的上方还是下方(操作1920)。
如果图像点的垂直坐标位于垂直圆锥模型1700的顶点1706的下方,则由操作1920进入“否”分支。利用图像点的坐标计算定义圆锥形训练点云团1404的垂直圆锥模型1700的方程式8(操作1922)。如果投影点位于垂直圆锥模型1700的表面,则将投影点的坐标代入方程式8会得到零值。相反,如果图像点不位于垂直圆锥模型1700的表面上,则通过将图像点的坐标代入方程式8会得到非零的实数值。通过将图像点坐标代入方程式8得到的值代表图像点与垂直圆锥模型1700之间的距离。
对应于特征空间1400中邻近垂直圆锥模型1700的下表面1702的图像点的图像会表现出与包括所述一组训练点的图像类似的特征。因此,有可能图像点越靠近垂直圆锥模型1700的下表面1702,则对应于图像点的图像越有可能是手指。对应于位于垂直圆锥模型1700的下表面1702上的图像点或落入垂直圆锥模型1700的下表面的最大阈值距离之内的图像点的图像可以被确定是手指。
因此,计算通过将图像点坐标代入方程式8得到的值来确定该值是否小于限定的阈值距离(操作1924)。如果通过将图像点坐标代入方程式8得到的值小于该阈值距离(操作1924的“是”分支),则对应于该图像点的图像被视为手指(操作1926)。如果通过将图像点坐标代入方程式8得到的值大于阈值距离(操作1924的“否”分支),则放弃对应于该图像点的图像,并可进入操作1914以处理列表中下一个物体(操作1928)。
如果图像点的垂直坐标位于垂直圆锥模型1700的顶点1706上方,则由操作1920进入“是”分支。利用图像点的坐标来评价定义垂直线模型1800的方程式(操作1930)。如果图像点位于线1800上,则将图像点坐标代入定义所述线的方程式中会得到零值。相反,如果图像点不位于线1800上,通过将图像点坐标代入定义线1800的方程式中会得到非零的实数值。通过将图像点坐标代入定义线1800的方程式而得到的值代表图像点与线1800之间的距离。
对应于特征空间1400中邻近垂直线模型1800的图像点的图像会表现出与包括一组训练点的图像相似的特征。因此,有可能图像点越靠近垂直线模型1800,对应于图像点的图像越可能是手指。对应于位于垂直线模型1800上的图像点或落入垂直线模型1800的最大阈值距离之内的图像点的图像可以确定是手指。
因此,计算通过将图像点坐标代入定义所述线的方程式而得到的值,以确定该值是否小于阈值距离(操作1932)。如果通过将图像点坐标代入定义所述线的方程式而得到的值小于阈值距离(操作1932的“是”分支),则对应于该图象点的图像被视为手指(操作1926)。如果通过将图像点坐标代入定义所述线的方程式而得到的值大于阈值距离(操作1932的“否”分支),则放弃对应于该图像点的图像,并可进入操作1914而处理列表中下一个物体(操作1928)。
存在各种技术可用于调节阈值距离。例如,一种用于调节阈值距离的技术涉及将训练点坐标代入训练点模型。在一种实现方式中,包纳90%的训练点的阈值距离被认为是阈值距离的合理选择。当然,也可以选择其它的阈值距离或百分比。
图20是流程图,示出用于识别图像中的物体的处理2000的一个示例。该处理从确定多维空间中表征物体的图像点的坐标(操作2002)开始。在一种实现方式中,利用照相机捕捉特定物体的图像,该图像由计算机或软件应用接收作为输入。所述图像点表征图像中所捕捉的该特定物体。
提供描述表现训练图像特征的多维空间中的几何模型的方程式(操作2004)。将图像点的坐标代入描述几何模型的方程式中,以确定图像点与几何模型之间的距离(操作2006)。
基于所确定的图像点与几何模型之间的距离,确定图像点所表征的物体是否匹配训练图像(操作2008)。具体而言,无论训练图像所捕捉的物体类型如何,确定该物体是否匹配。
在一种实现方式中,确定图像点坐标涉及将图像投影到不同的多维空间中。该多维空间可以是例如特征空间。在这种实现方式中,表现训练图像特征的几何模型也在该多维空间中。
以上已经描述了实现方式。但是,应该理解,可以做出各种变型。例如,光盘(CD)、处理装置或其它计算机可读介质可以包含用于实现这里所公开的任何一种方法的程序、指令或代码段。此外,可以提供用于实现所公开任何一种方法的工具。该工具可以包括例如计算机可读介质、处理装置、照相机、投影仪或它们的组合以及其它可能的部件。处理设备可以包括例如处理器、计算机、可编程逻辑装置或集成电路。
设备和特征至少可以部分实现为各种装置。例子包括如上所述的计算机,包括便携式计算机或其它处理装置。例子还包括便携式电话、个人数字助理、诸如例如传真机或便携式e-mail装置(如Blackberry)之类的消息接发装置、例如iPod之类的便携式音乐播放器、或其它电子便携式消息接发、娱乐、组织或游戏装置。
另外,尽管已经就识别图像中作为手指的物体的情况描述了所一般性公开的系统和方法,但是识别其它图像中其它物体的能力也已在考虑之内。这里描述的系统和方法可以用来识别可以用空间(例如特征空间)中的几何模型建模的任何物体。例如,所描述的系统和方法可以用来识别图像中作为笔或罐的物体。另外,可以组合、替换、改变或去除不同实现方式中的元素以获得其它的实现方式。
尽管方法被描述为包括多个操作,但是也可以在所公开的方法中添加其它操作。此外,并不是每个操作必须执行,因此可以跳过一些操作。另外,所公开的操作并不必须按照描述的顺序来执行。
最后,可以使用、组合和改变不同的技术来得到一种实现方式,所述技术包括例如各种硬件、软件、固件、集成部件、独立部件、处理装置、存储器或存储装置、通信装置、滤波器、显示装置和投影装置。因此,其它实现方式落入所附权利要求的范围内。
Claims (31)
1.一种用于识别图像中的物体的方法,其包括:
利用一个或多个处理装置确定多维空间中的图像点的坐标,所述多维空间中的图像点表征所述物体的图像,所述多维空间根据一个或多个手指的一组训练图像来定义;
利用所述一个或多个处理装置形成描述所述多维空间中的一几何模型的方程式,所述模型表现一个或多个手指的一组训练图像的特征,描述所述几何模型的所述方程式包括描述多维空间中的圆锥的方程式;
利用所述一个或多个处理装置将所确定的多维空间中的图像点的所述坐标代入描述多维空间中的几何模型的所述方程式以确定多维空间中的所述图像点与所述几何模型之间的距离;以及
基于所确定的多维空间中的所述图像点和所述几何模型之间的距离,利用所述一个或多个处理装置确定所述图像中的物体是否包括手指。
2.如权利要求1所述的用于识别图像中的物体的方法,其中,还包括:
接收所述物体的图像,所述图像具有多个数据元素,所述多维空间的维数低于所述数据元素的数量;并且
其中确定多维空间中的图像点的坐标的步骤包括将所述图像投影到所述多维空间以产生所述多维空间中的所述图像点的坐标。
3.如权利要求2所述的用于识别图像中的物体的方法,其中,形成描述多维空间中的几何模型的方程式的步骤包括形成描述多维空间中的一组训练点的几何模型的方程式,所述一组训练点中的每个训练点对应于所述一组训练图像中的一个或多个图像。
4.如权利要求2所述的用于识别图像中的物体的方法,进一步包括,在将所述物体的图像投影到多维空间之前,将所述物体的图像归一化。
5.如权利要求4所述的用于识别图像中的物体的方法,其中,归一化所述物体的图像的步骤包括归一化所述物体的图像以处理亮度变化。
6.如权利要求4所述的用于识别图像中的物体的方法,其中,归一化所述物体的图像的步骤包括对所述物体的图像应用直方图均衡化技术。
7.如权利要求1所述的用于识别图像中的物体的方法,其中,形成描述多维空间中的几何模型的方程式的步骤包括形成描述多维空间中的几何模型的方程式并且所述方程式包括描述多维空间中的圆锥的方程式以及描述多维空间中的线的方程式。
8.如权利要求1所述的用于识别图像中的物体的方法,其中,将所确定的多维空间中的图像点的所述坐标代入描述多维空间中的几何模型的方程式的步骤包括:
从描述多维空间中的圆锥的方程式和描述多维空间中的线的方程式中选择方程式;和
将所确定的多维空间中的图像点的坐标代入所选的方程式。
9.如权利要求1所述的用于识别图像中的物体的方法,其中,形成描述多维空间中的几何模型的方程式并且所述方程式包括描述多维空间中的圆锥的方程式,包括形成以下形式的方程式:
其中a、b、c、d、e和f表示常数。
10.一种用于识别图像中的物体的方法,其包括下述步骤:
在包括一个或多个处理装置的计算机系统中接收所述物体的图像,所述图像具有若干数据点;
利用所述一个或多个处理装置将所述图像投影到维数小于所述数据点数量的多维空间中,以产生所述多维空间中的图像点的坐标,所述多维空间中的所述图像点表征所述特定物体,所述多维空间根据一个或多个手指的一组训练图像来定义;
利用所述一个或多个处理装置形成描述多维空间中的几何模型的方程式,所述几何模型是所述多维空间中一组训练点的模型,所述一组训练点中的每个训练点对应于一个或多个手指的一组训练图像中的一个或多个图像,并且描述所述几何模型的方程式包括描述多维空间中的圆锥的方程式;
利用所述一个或多个处理装置将所述图像的坐标代入描述多维空间中
的所述一组训练点的几何模型的所述方程式以确定所述多维空间中的所述
图像点与所述模型之间的距离;以及
基于所确定的所述多维空间中的所述图像点与所述模型之间的距离,利用所述一个或多个处理装置确定所述图像中的物体是否包括手指。
11.如权利要求10所述的用于识别图像中的物体的方法,其中,将所述图像点的所述坐标代入描述多维空间中的一组训练点的几何模型的方程式的步骤包括:
从描述多维空间中的圆锥的方程式和描述不同几何形式的不同方程式中选择方程式;和
将所确定的多维空间中的图像点的坐标代入所选的方程式。
12.一种用于识别图像中的物体的系统,其包括:
照相机;和
耦接到所述照相机的处理装置,该处理装置被构造成:
确定多维空间中的图像点的坐标,所述多维空间中的图像点表征所述物体的图像,并且所述多维空间根据一个或多个手指的一组训练图像来定义;
形成描述多维空间中的几何模型的方程式,所述几何模型表征一个或多个手指的一组训练图像,并且描述所述几何模型的方程式包括描述多维空间中的圆锥的方程式;
将所确定的多维空间中的图像点的坐标代入描述多维空间中的所述几何模型的所述方程式以确定所述多维空间中的所述图像点与所述几何模型之间的距离;以及
基于所确定的所述多维空间中的所述图像点与所述模型之间的距离,确定所述图像中的物体是否包括手指。
13.如权利要求12所述的用于识别图像中的物体的系统,其中,所述照相机包括IR照相机。
14.如权利要求13所述的用于识别图像中的物体的系统,其中,还包括IR源。
15.如权利要求12所述的用于识别图像中的物体的系统,其中,还包括设置在所述照相机前方的屏幕。
16.如权利要求15所述的用于识别图像中的物体的系统,其中,所述屏幕至少是半透明的,使得位于与照相机相反的所述屏幕的一侧上的物体所反射的光透过屏幕并被所述照相机所接收。
17.如权利要求12所述的用于识别图像中的物体的系统,其中,所述处理装置配置成确定多维空间中的图像点的坐标,所述多维空间的维数小于所述物体的图像中的数据点数量。
18.一种用于识别图像中的物体的方法,其包括:
利用一个或多个处理装置确定多维空间中的图像点的坐标,所述多维空间中的图像点表征所述物体的图像,所述多维空间根据一个或多个手指的一组训练图像来定义;
利用所述一个或多个处理装置形成描述所述多维空间中的一几何模型的方程式,所述模型表现一个或多个手指的一组训练图像的特征,描述所述几何模型的所述方程式包括描述多维空间中的双曲面的至少一部分的方程式;
利用所述一个或多个处理装置将所确定的多维空间中的图像点的所述坐标代入描述多维空间中的几何模型的所述方程式以确定多维空间中的所述图像点与所述几何模型之间的距离;以及基于所确定的多维空间中的所述图像点和所述几何模型之间的距离,利用所述一个或多个处理装置确定所述图像中的物体是否包括手指。
19.如权利要求18所述的用于识别图像中的物体的方法,其中,
所述物体的所述图像具有若干数据点;和
确定多维空间中的图像点的坐标的步骤包括在具有小于所述数据点数量的维数的多维空间中确定所述图像点的坐标。
20.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射来检测接触所述表面的所述物体;
确定表征多维空间中的所述物体的图像点的坐标;
利用实施在处理装置中的受训练几何模型确定检测到的物体是否为一种物体类型,所述几何模型用于根据图像点与几何模型之间的距离来确定检测到的物体是否为所述物体类型;和
如果确定检测到的物体是所述物体类型,则根据检测到的物体,利用处理装置向计算机应用程序生成用户输入。
21.一种包括一个或多个处理装置的用于识别图像中的物体的系统,所述系统配置成:
利用投射到表面附近的电磁辐射来检测接触所述表面的所述物体;
确定表征多维空间中的所述物体的图像点的坐标;
利用受训练几何模型确定检测到的物体是否为一种物体类型,所述几何模型用于根据所述图像点与所述几何模型之间的距离来确定检测到的物体是否为所述物体类型;和
如果确定检测到的物体是所述物体类型,则根据检测到的物体,利用处理装置向计算机应用程序生成用户输入。
22.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射检测靠近所述表面的至少第一和第二物体;
利用实施在处理装置中的受训练模型来识别所述第一和第二物体,所述模型用于确定第一和第二图像点的每个与所述模型之间的距离;
根据识别出的所述第一和第二物体,利用处理装置将所述至少第一和第二物体中的其中之一指定为控制物体;和
根据所述控制物体,利用处理装置向计算机应用程序生成用户输入。
23.一种包括一个或多个处理装置的用于识别物体的系统,所述系统配置成:
利用投射到表面附近的电磁辐射检测靠近所述表面的至少第一和第二物体;
利用受训练模型来识别所述第一和第二物体,所述模型用于确定第一和第二图像点的每个与所述受训练模型之间的距离;
根据识别出的所述第一和第二物体,将所述至少第一和第二物体中的其中之一指定为控制物体;和
利用所述控制物体,向计算机应用程序生成用户输入。
24.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射检测靠近所述表面的至少第一和第二物体;
利用实施在处理装置中的受训练模型来识别所述第一和第二物体,所述模型用于确定第一图像点和第二图像点的每个与受训练模型之间的距离;和
根据识别出的所述第一和第二物体,利用处理装置向计算机应用程序生成用户输入。
25.一种包括一个或多个处理装置的用于识别物体的系统,所述系统包括:
利用投射到表面附近的电磁辐射检测靠近所述表面的至少第一和第二物体;
利用受训练模型来识别所述第一和第二物体,所述模型用于确定第一图像点和第二图像点的每个与几何模型之间的距离;和
根据识别出的所述第一和第二物体,向计算机应用程序生成用户输入。
26.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射检测接触所述表面的至少第一和第二物体;
利用实施在处理装置中的受训练模型来识别所述至少第一和第二物体作为控制用户界面的物体,所述模型用于识别所述物体;和
根据所述控制物体,利用处理装置向计算机应用程序生成用户输入。
27.一种包括一个或多个处理装置的用于识别物体的系统,所述系统配置成:
利用投射到表面附近的电磁辐射检测接触所述表面的至少第一和第二物体;
利用受训练模型来识别所述至少第一和第二物体作为控制用户界面的物体,所述模型接受训练以识别物体;和
利用所述控制物体向计算机应用程序生成用户输入。
28.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射来检测接触所述表面的物体;
确定表征多维空间中的所述物体的图像点的坐标;
利用处理装置,将所述图像点与一组训练图像的至少圆锥形特性进行比较;
根据从所述图像点到圆锥的距离,利用处理装置确定所述物体是否为一种物体类型;和
如果确定所述物体是所述类型物体,则根据所述物体,利用处理装置向计算机应用程序生成用户输入。
29.一种包括一个或多个处理装置的用于识别物体的系统,所述系统配置成:
利用投射到表面附近的电磁辐射来检测接触所述表面的所述物体;
确定表征多维空间中的所述物体的图像点的坐标;
将所述图像点与一组训练图像的至少锥形特性进行比较;
根据从所述图像点到所述锥形的距离,确定所述物体是否为一种类型物体;和
如果确定所述物体是所述类型物体,则根据检测到的物体,向计算机应用程序生成用户输入。
30.一种用于识别物体的方法,包括:
利用投射到表面附近的电磁辐射来检测接触所述表面的所述物体;
利用处理装置,将所述物体与一组训练图像进行比较,所述一组训练图像利用三维二次曲面一般方程式模型化到空间中;
根据输入物体与所述一组训练图像的比较结果,利用处理装置确定所述物体是否为由所述一组训练图像捕捉到的一种类型物体;和
如果确定检测到的物体是所述控制物体,则根据检测到的物体,利用处理装置向计算机应用程序生成用户输入。
31.一种包括一个或多个处理装置的用于识别物体的系统,所述系统配置成:
利用投射到表面附近的电磁辐射来检测接触所述表面的所述物体;
将所述物体与一组训练图像进行比较,所述一组训练图像利用三维二次曲面一般方程式模型化到空间中;
根据输入物体与所述一组训练图像的比较,确定所述物体是否为由所述一组训练图像捕捉的一种类型物体;和
如果确定检测到的物体是所述控制物体,则根据检测到的物体,向计算机应用程序生成用户输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210153506.7A CN102831387B (zh) | 2005-01-07 | 2006-01-06 | 检测和跟踪图像中的物体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US64173405P | 2005-01-07 | 2005-01-07 | |
US60/641,734 | 2005-01-07 | ||
PCT/US2006/000294 WO2006074289A2 (en) | 2005-01-07 | 2006-01-06 | Detecting and tracking objects in images |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210153506.7A Division CN102831387B (zh) | 2005-01-07 | 2006-01-06 | 检测和跟踪图像中的物体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101622630A CN101622630A (zh) | 2010-01-06 |
CN101622630B true CN101622630B (zh) | 2012-07-04 |
Family
ID=36648170
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200680007568XA Active CN101622630B (zh) | 2005-01-07 | 2006-01-06 | 检测和跟踪图像中的物体 |
CN201210153506.7A Active CN102831387B (zh) | 2005-01-07 | 2006-01-06 | 检测和跟踪图像中的物体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210153506.7A Active CN102831387B (zh) | 2005-01-07 | 2006-01-06 | 检测和跟踪图像中的物体 |
Country Status (7)
Country | Link |
---|---|
US (4) | US7853041B2 (zh) |
EP (3) | EP1856470B1 (zh) |
JP (2) | JP5160235B2 (zh) |
CN (2) | CN101622630B (zh) |
ES (1) | ES2791718T3 (zh) |
HU (1) | HUE049974T2 (zh) |
WO (1) | WO2006074289A2 (zh) |
Families Citing this family (348)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
HUE049974T2 (hu) | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
EP1851750A4 (en) | 2005-02-08 | 2010-08-25 | Oblong Ind Inc | SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US8407725B2 (en) * | 2007-04-24 | 2013-03-26 | Oblong Industries, Inc. | Proteins, pools, and slawx in processing environments |
US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US7415385B2 (en) * | 2006-11-29 | 2008-08-19 | Mitsubishi Electric Research Laboratories, Inc. | System and method for measuring performances of surveillance systems |
US8269727B2 (en) | 2007-01-03 | 2012-09-18 | Apple Inc. | Irregular input identification |
US8130203B2 (en) | 2007-01-03 | 2012-03-06 | Apple Inc. | Multi-touch input discrimination |
US7855718B2 (en) | 2007-01-03 | 2010-12-21 | Apple Inc. | Multi-touch input discrimination |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
JP4787782B2 (ja) * | 2007-03-30 | 2011-10-05 | 富士通コンポーネント株式会社 | 機器操作システム、制御装置 |
JP5005413B2 (ja) * | 2007-04-09 | 2012-08-22 | 株式会社東海理化電機製作所 | 車載機器制御装置 |
US8577126B2 (en) * | 2007-04-11 | 2013-11-05 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
JP5453246B2 (ja) * | 2007-05-04 | 2014-03-26 | クアルコム,インコーポレイテッド | コンパクト・デバイスのためのカメラ・ベースのユーザ入力 |
US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
JP4769983B2 (ja) * | 2007-05-17 | 2011-09-07 | 独立行政法人産業技術総合研究所 | 異常検出装置および異常検出方法 |
US8629976B2 (en) | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US9753948B2 (en) * | 2008-05-27 | 2017-09-05 | Match.Com, L.L.C. | Face search in personals |
EP2304527A4 (en) * | 2008-06-18 | 2013-03-27 | Oblong Ind Inc | GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES |
US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
EP2350792B1 (en) * | 2008-10-10 | 2016-06-22 | Qualcomm Incorporated | Single camera tracker |
US9586135B1 (en) | 2008-11-12 | 2017-03-07 | David G. Capper | Video motion capture for wireless gaming |
US9383814B1 (en) | 2008-11-12 | 2016-07-05 | David G. Capper | Plug and play wireless video game |
US10086262B1 (en) | 2008-11-12 | 2018-10-02 | David G. Capper | Video motion capture for wireless gaming |
KR101577953B1 (ko) * | 2008-12-16 | 2015-12-17 | 삼성디스플레이 주식회사 | 접촉 감지 기능이 있는 표시 장치 및 접촉 판단 방법 |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8448094B2 (en) | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US9652030B2 (en) * | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US8624962B2 (en) * | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
US8517834B2 (en) * | 2009-02-17 | 2013-08-27 | Softkinetic Studios Sa | Computer videogame system with body position detector that requires user to assume various body positions |
US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
GB0906461D0 (en) * | 2009-04-15 | 2009-05-20 | Siemens Medical Solutions | Partial volume correction via smoothing at viewer |
US8660303B2 (en) | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8487871B2 (en) | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
KR101640077B1 (ko) | 2009-06-05 | 2016-07-15 | 삼성전자주식회사 | 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법 |
US8860693B2 (en) * | 2009-07-08 | 2014-10-14 | Apple Inc. | Image processing for camera based motion tracking |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
US8330134B2 (en) | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
US8428340B2 (en) | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
US8760571B2 (en) | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
US8976986B2 (en) | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8452087B2 (en) | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
GB2474536B (en) | 2009-10-13 | 2011-11-02 | Pointgrab Ltd | Computer vision gesture based control of a device |
US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8723987B2 (en) * | 2009-10-30 | 2014-05-13 | Honeywell International Inc. | Uncertainty estimation of planar features |
US8988432B2 (en) | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
GB0920111D0 (en) | 2009-11-18 | 2009-12-30 | Bae Systems Plc | Image processing |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
JP5740844B2 (ja) * | 2009-11-24 | 2015-07-01 | 株式会社リコー | 撮像装置、画像処理方法、及び、コンピュータプログラム |
US8325136B2 (en) | 2009-12-01 | 2012-12-04 | Raytheon Company | Computer display pointer device for a display |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8842096B2 (en) * | 2010-01-08 | 2014-09-23 | Crayola Llc | Interactive projection system |
US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US20110187678A1 (en) * | 2010-01-29 | 2011-08-04 | Tyco Electronics Corporation | Touch system using optical components to image multiple fields of view on an image sensor |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8717469B2 (en) | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
KR101184460B1 (ko) * | 2010-02-05 | 2012-09-19 | 연세대학교 산학협력단 | 마우스 포인터 제어 장치 및 방법 |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
US8499257B2 (en) | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US8928579B2 (en) | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
US8422769B2 (en) | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
US9098905B2 (en) * | 2010-03-12 | 2015-08-04 | Google Inc. | System and method for determining position of a device |
US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US8213680B2 (en) | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8514269B2 (en) | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
US8523667B2 (en) | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
US8818027B2 (en) | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
US9491055B1 (en) * | 2010-04-21 | 2016-11-08 | Sprint Communications Company L.P. | Determining user communities in communication networks |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
EP3264238A1 (en) * | 2010-06-21 | 2018-01-03 | Microsoft Technology Licensing, LLC | System and method for finger resolution in touch screens |
US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
TW201201079A (en) * | 2010-06-23 | 2012-01-01 | Pixart Imaging Inc | Optical touch monitor |
US8976929B2 (en) * | 2010-07-16 | 2015-03-10 | Duke University | Automatic generation of patient-specific radiation therapy planning parameters |
US8660365B2 (en) | 2010-07-29 | 2014-02-25 | Honeywell International Inc. | Systems and methods for processing extracted plane features |
WO2012020410A2 (en) * | 2010-08-10 | 2012-02-16 | Pointgrab Ltd. | System and method for user interaction with projected content |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8467599B2 (en) | 2010-09-02 | 2013-06-18 | Edge 3 Technologies, Inc. | Method and apparatus for confusion learning |
US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
CN102012740B (zh) * | 2010-11-15 | 2015-10-21 | 中国科学院深圳先进技术研究院 | 人机交互方法及系统 |
US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
US8760538B2 (en) * | 2011-01-21 | 2014-06-24 | Exelis, Inc. | Adaptive gain control image processing system and method |
KR101200009B1 (ko) * | 2011-01-25 | 2012-11-12 | 연세대학교 산학협력단 | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
US9551914B2 (en) | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
GB201110156D0 (en) * | 2011-06-16 | 2011-07-27 | Light Blue Optics Ltd | Touch-sensitive display devices |
US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
US8521418B2 (en) | 2011-09-26 | 2013-08-27 | Honeywell International Inc. | Generic surface feature extraction from a set of range data |
US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
CN102591492B (zh) * | 2011-12-31 | 2014-10-15 | 苏州佳世达电通有限公司 | 坐标感测系统及坐标感测方法 |
US20130176270A1 (en) * | 2012-01-09 | 2013-07-11 | Broadcom Corporation | Object classification for touch panels |
US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
JP5567606B2 (ja) * | 2012-01-31 | 2014-08-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6251962B2 (ja) * | 2012-03-01 | 2017-12-27 | 日産自動車株式会社 | カメラ装置及び画像処理方法 |
JP6251963B2 (ja) | 2012-03-01 | 2017-12-27 | 日産自動車株式会社 | カメラ装置及び画像処理方法 |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
US9152226B2 (en) | 2012-06-15 | 2015-10-06 | Qualcomm Incorporated | Input method designed for augmented reality goggles |
KR101911133B1 (ko) | 2012-06-21 | 2018-10-23 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 깊이 카메라를 이용한 아바타 구성 |
US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
KR20140013142A (ko) * | 2012-07-18 | 2014-02-05 | 삼성전자주식회사 | 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
EP2733657A1 (de) * | 2012-11-19 | 2014-05-21 | CSS electronic AG | Vorrichtung zur Eingabe von Daten und/oder Steuerbefehlen |
TWI496114B (zh) * | 2012-11-23 | 2015-08-11 | Univ Nat Taiwan | 影像追蹤裝置及其影像追蹤方法 |
US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
TWI499879B (zh) | 2012-12-21 | 2015-09-11 | Ind Tech Res Inst | 工序分析監控系統及其方法 |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9377510B2 (en) | 2012-12-28 | 2016-06-28 | Nvidia Corporation | System for reducing peak power during scan shift at the global level for scan based tests |
US9395414B2 (en) | 2012-12-28 | 2016-07-19 | Nvidia Corporation | System for reducing peak power during scan shift at the local level for scan based tests |
US9222981B2 (en) * | 2012-12-28 | 2015-12-29 | Nvidia Corporation | Global low power capture scheme for cores |
US9153067B2 (en) | 2013-01-21 | 2015-10-06 | Honeywell International Inc. | Systems and methods for 3D data based navigation using descriptor vectors |
US9123165B2 (en) | 2013-01-21 | 2015-09-01 | Honeywell International Inc. | Systems and methods for 3D data based navigation using a watershed method |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9158381B2 (en) | 2013-02-25 | 2015-10-13 | Honda Motor Co., Ltd. | Multi-resolution gesture recognition |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US9069415B2 (en) * | 2013-04-22 | 2015-06-30 | Fuji Xerox Co., Ltd. | Systems and methods for finger pose estimation on touchscreen devices |
US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
US9829984B2 (en) | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
EP3010585B1 (en) | 2013-06-18 | 2018-05-09 | Duke University | Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning |
KR101438636B1 (ko) * | 2013-07-25 | 2014-09-05 | 현대자동차 주식회사 | 터치스크린의 터치점 인식방법 및 이를 수행하는 시스템 |
CN103442218B (zh) * | 2013-08-27 | 2016-12-28 | 宁波海视智能系统有限公司 | 一种多模式行为识别与描述的视频信号预处理方法 |
US9454827B2 (en) | 2013-08-27 | 2016-09-27 | Qualcomm Incorporated | Systems, devices and methods for tracking objects on a display |
US9973722B2 (en) | 2013-08-27 | 2018-05-15 | Qualcomm Incorporated | Systems, devices and methods for displaying pictures in a picture |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
JP6398248B2 (ja) | 2014-01-21 | 2018-10-03 | セイコーエプソン株式会社 | 位置検出システム、及び、位置検出システムの制御方法 |
US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
US9684831B2 (en) | 2015-02-18 | 2017-06-20 | Qualcomm Incorporated | Adaptive edge-like feature selection during object detection |
EP3076337B1 (en) * | 2015-03-31 | 2020-01-08 | ChannelSight Limited | Method and system for product recognition |
US9703175B2 (en) | 2015-07-02 | 2017-07-11 | Qualcomm Incorporated | Systems and methods for autofocus trigger |
US10025492B2 (en) * | 2016-02-08 | 2018-07-17 | Microsoft Technology Licensing, Llc | Pointing detection |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
CN107992486A (zh) * | 2017-10-30 | 2018-05-04 | 上海寒武纪信息科技有限公司 | 一种信息处理方法及相关产品 |
US10713563B2 (en) * | 2017-11-27 | 2020-07-14 | Technische Universiteit Eindhoven | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering |
WO2019104583A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 最高温度点跟踪方法、装置和无人机 |
US11315231B2 (en) * | 2018-06-08 | 2022-04-26 | Industrial Technology Research Institute | Industrial image inspection method and system and computer readable recording medium |
CN108875669B (zh) * | 2018-06-28 | 2020-09-15 | 深圳市哈哈零兽科技有限公司 | 一种基于可见光与红外图像融合的商品识别技术 |
CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
US20210098001A1 (en) | 2018-09-13 | 2021-04-01 | Shanghai Cambricon Information Technology Co., Ltd. | Information processing method and terminal device |
IT201900007040A1 (it) | 2019-05-21 | 2020-11-21 | Centro Di Ricerca Sviluppo E Studi Superiori In Sardegna Crs4 Srl Uninominale | Sistema per rilevamento delle interazioni con una superficie |
CN112699337B (zh) * | 2019-10-22 | 2022-07-29 | 北京易真学思教育科技有限公司 | 方程批改方法、电子设备及计算机存储介质 |
US11348373B2 (en) | 2020-02-21 | 2022-05-31 | Microsoft Technology Licensing, Llc | Extended reality gesture recognition proximate tracked object |
US11200458B1 (en) | 2020-06-15 | 2021-12-14 | Bank Of America Corporation | System for integration of a hexagonal image processing framework within a technical environment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US6526156B1 (en) * | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4746770A (en) * | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
USRE38420E1 (en) * | 1992-08-12 | 2004-02-10 | British Broadcasting Corporation | Derivation of studio camera position and motion from the camera image |
US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
US7084859B1 (en) * | 1992-09-18 | 2006-08-01 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US6008800A (en) * | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US5435554A (en) * | 1993-03-08 | 1995-07-25 | Atari Games Corporation | Baseball simulation system |
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
DE4415167A1 (de) * | 1994-04-29 | 1995-11-02 | Siemens Ag | Telekommunikationsanordnung zum Übertragen von Bildern |
US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
JPH08179888A (ja) * | 1994-12-21 | 1996-07-12 | Hitachi Ltd | 大画面ディスプレイ用入力装置 |
KR0174453B1 (ko) * | 1995-02-28 | 1999-03-20 | 배순훈 | 디지털 영상 복호화 방법 |
US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US5629778A (en) * | 1995-05-15 | 1997-05-13 | Polaroid Corporation | Method and apparatus for reduction of image data compression noise |
US5659397A (en) * | 1995-06-08 | 1997-08-19 | Az Technology | Method and apparatus for measuring total specular and diffuse optical properties from the surface of an object |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JP3876942B2 (ja) * | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
JPH1115945A (ja) * | 1997-06-19 | 1999-01-22 | N T T Data:Kk | 画像処理装置及び方法、及び、危険物検出システム及び方法 |
JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
JP4033582B2 (ja) * | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力/検出装置および電子黒板システム |
JP3657786B2 (ja) * | 1998-09-10 | 2005-06-08 | 松下電器産業株式会社 | 電子救急箱 |
US6204852B1 (en) | 1998-12-09 | 2001-03-20 | Lucent Technologies Inc. | Video hand image three-dimensional computer interface |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
US7046229B1 (en) * | 1999-04-20 | 2006-05-16 | Microsoft Corporation | Computer input device providing absolute and relative positional information |
US6545670B1 (en) * | 1999-05-11 | 2003-04-08 | Timothy R. Pryor | Methods and apparatus for man machine interfaces and related activity |
US6791531B1 (en) * | 1999-06-07 | 2004-09-14 | Dot On, Inc. | Device and method for cursor motion control calibration and object selection |
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
US6275214B1 (en) * | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
US6803906B1 (en) * | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
JP4059620B2 (ja) * | 2000-09-20 | 2008-03-12 | 株式会社リコー | 座標検出方法、座標入力/検出装置及び記憶媒体 |
US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US6774889B1 (en) * | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
JP2002140706A (ja) * | 2000-11-01 | 2002-05-17 | Mitsubishi Heavy Ind Ltd | 画像識別装置および画像データ処理装置 |
US20020153188A1 (en) | 2000-12-08 | 2002-10-24 | Brandt Kenneth A. | Selectable control parameters on a power machine with four-wheel steering |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) * | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US6594616B2 (en) * | 2001-06-18 | 2003-07-15 | Microsoft Corporation | System and method for providing a mobile input device |
US20030098841A1 (en) * | 2001-11-26 | 2003-05-29 | Jessica Broussard | Powered, remotely controllable computer display device |
KR100415313B1 (ko) * | 2001-12-24 | 2004-01-16 | 한국전자통신연구원 | 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 |
US6977643B2 (en) * | 2002-01-10 | 2005-12-20 | International Business Machines Corporation | System and method implementing non-physical pointers for computer devices |
US7710391B2 (en) * | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US20050122308A1 (en) * | 2002-05-28 | 2005-06-09 | Matthew Bell | Self-contained interactive video display system |
US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
JP4486596B2 (ja) * | 2002-11-07 | 2010-06-23 | 本田技研工業株式会社 | 変化する照明条件下での物体の外観のクラスタリング |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP2004220138A (ja) * | 2003-01-10 | 2004-08-05 | Mitsubishi Heavy Ind Ltd | 画像認識装置、及び、画像学習装置 |
US7333133B2 (en) * | 2003-03-31 | 2008-02-19 | Spatial Integrated Systems, Inc. | Recursive least squares approach to calculate motion parameters for a moving camera |
WO2005041579A2 (en) * | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
EP1676442A2 (en) * | 2003-10-24 | 2006-07-05 | Reactrix Systems, Inc. | Method and system for managing an interactive video display system |
EP1743277A4 (en) * | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
US7432917B2 (en) * | 2004-06-16 | 2008-10-07 | Microsoft Corporation | Calibration of an interactive display system |
US7454039B2 (en) * | 2004-07-12 | 2008-11-18 | The Board Of Trustees Of The University Of Illinois | Method of performing shape localization |
US20060044282A1 (en) * | 2004-08-27 | 2006-03-02 | International Business Machines Corporation | User input apparatus, system, method and computer program for use with a screen having a translucent surface |
HUE049974T2 (hu) | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
-
2006
- 2006-01-06 HU HUE12156622A patent/HUE049974T2/hu unknown
- 2006-01-06 WO PCT/US2006/000294 patent/WO2006074289A2/en active Application Filing
- 2006-01-06 EP EP06717487A patent/EP1856470B1/en active Active
- 2006-01-06 EP EP20151279.5A patent/EP3693889A3/en active Pending
- 2006-01-06 EP EP12156622.8A patent/EP2487624B1/en active Active
- 2006-01-06 JP JP2007550455A patent/JP5160235B2/ja active Active
- 2006-01-06 ES ES12156622T patent/ES2791718T3/es active Active
- 2006-01-06 US US11/326,345 patent/US7853041B2/en active Active
- 2006-01-06 CN CN200680007568XA patent/CN101622630B/zh active Active
- 2006-01-06 CN CN201210153506.7A patent/CN102831387B/zh active Active
-
2008
- 2008-04-07 US US12/078,852 patent/US7574020B2/en active Active
-
2009
- 2009-08-10 US US12/461,366 patent/US8170281B2/en active Active
-
2012
- 2012-03-20 US US13/425,080 patent/US8483437B2/en active Active
- 2012-08-13 JP JP2012179249A patent/JP5777582B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US6526156B1 (en) * | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
Also Published As
Publication number | Publication date |
---|---|
US20080187178A1 (en) | 2008-08-07 |
US7853041B2 (en) | 2010-12-14 |
JP2008527541A (ja) | 2008-07-24 |
ES2791718T3 (es) | 2020-11-05 |
US20120176344A1 (en) | 2012-07-12 |
EP2487624A1 (en) | 2012-08-15 |
WO2006074289A2 (en) | 2006-07-13 |
US8483437B2 (en) | 2013-07-09 |
JP2013050949A (ja) | 2013-03-14 |
US20060188849A1 (en) | 2006-08-24 |
US8170281B2 (en) | 2012-05-01 |
EP1856470A2 (en) | 2007-11-21 |
HUE049974T2 (hu) | 2020-11-30 |
US20090295756A1 (en) | 2009-12-03 |
JP5160235B2 (ja) | 2013-03-13 |
EP2487624B1 (en) | 2020-02-19 |
US7574020B2 (en) | 2009-08-11 |
CN102831387B (zh) | 2016-12-14 |
CN102831387A (zh) | 2012-12-19 |
CN101622630A (zh) | 2010-01-06 |
EP3693889A3 (en) | 2020-10-28 |
EP1856470A4 (en) | 2010-01-20 |
WO2006074289A3 (en) | 2009-04-23 |
EP3693889A2 (en) | 2020-08-12 |
JP5777582B2 (ja) | 2015-09-09 |
EP1856470B1 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101622630B (zh) | 检测和跟踪图像中的物体 | |
Sagayam et al. | Hand posture and gesture recognition techniques for virtual reality applications: a survey | |
Barros et al. | A dynamic gesture recognition and prediction system using the convexity approach | |
Agrawal et al. | A survey on manual and non-manual sign language recognition for isolated and continuous sign | |
Bakheet et al. | Robust hand gesture recognition using multiple shape-oriented visual cues | |
Hoque et al. | Computer vision based gesture recognition for desktop object manipulation | |
Cohen et al. | Recognition of continuous sign language alphabet using leap motion controller | |
Contreras Alejo et al. | Recognition of a single dynamic gesture with the segmentation technique hs-ab and principle components analysis (pca) | |
Escobedo et al. | Finger spelling recognition from depth data using direction cosines and histogram of cumulative magnitudes | |
Mahmud et al. | Recognition of symbolic gestures using depth information | |
Imoize et al. | Development of an infrared-based sensor for finger movement detection | |
Kumar et al. | A CNN Based Air-Writing Recognition Framework for Multilinguistic Characters and Digits | |
Khoh et al. | In-air hand gesture signature recognition: An iHGS database acquisition protocol | |
Miao et al. | Knowledge Guided Representation Disentanglement for Face Recognition from Low Illumination Images | |
Bonansea | Three-dimensional hand gesture recognition using a ZCam and an SVM-SMO classifier | |
Nanni et al. | Combination of depth and texture descriptors for gesture recognition | |
Chen | Research on Key Technologies of Human Action Intelligent Recognition based on Virtual Reality | |
Tiwari et al. | Volume Controller using Hand Gestures | |
Wong | Image quality enhancement and fourier boundary decomposition for effective hand pose classification | |
Asgarov et al. | 3D-CNNs-Based Touchless Human-Machine Interface | |
Işıklıgil | A method for isolated sign recognition with Kinect | |
Asgarov | Check for updates 3D-CNNs-Based Touchless Human-Machine Interface | |
Islam | Alphabet recognition in unconstrained Air Writing using Depth Information | |
Bevilacqua et al. | A multimodal fingers classification for general interactive surfaces | |
Bellmore | Facial feature point fitting with combined color and depth information for interactive displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: QUALCOMM INC. Free format text: FORMER OWNER: GESTURE TEK INC. Effective date: 20120113 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20120113 Address after: American California Applicant after: Qualcomm Inc. Address before: American New York Applicant before: Gesturetek Inc. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |