CN104951064B - 高效的自由空间手指识别 - Google Patents

高效的自由空间手指识别 Download PDF

Info

Publication number
CN104951064B
CN104951064B CN201510088079.2A CN201510088079A CN104951064B CN 104951064 B CN104951064 B CN 104951064B CN 201510088079 A CN201510088079 A CN 201510088079A CN 104951064 B CN104951064 B CN 104951064B
Authority
CN
China
Prior art keywords
blob
bright spot
classified
depth
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510088079.2A
Other languages
English (en)
Other versions
CN104951064A (zh
Inventor
邢志帆
M.彼得斯森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104951064A publication Critical patent/CN104951064A/zh
Application granted granted Critical
Publication of CN104951064B publication Critical patent/CN104951064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述用于高效的自由空间手指识别的系统和技术。可以识别深度图像中的表面。可以识别深度图像中的一个或多个团点。可以分析所识别的团点以确定团点是否与深度图像的边缘相交，并且如果团点与边缘相交，则将该团点分类为潜在的手，否则将其分类为物体。

Description

高效的自由空间手指识别
技术领域
本文描述的实施例一般涉及感知计算，以及更确切地来说涉及高效的自由空间手指识别。
背景技术
个人计算（例如，未来计算）可以包括投影式触摸表面（PTS）接口。PTS可以使用投影器将用户接口元件投影在表面，如桌面或台面。因为表面本身可能无法接收输入，所以PTS可以使用其他传感器来观察交互行为和使用这些作为输入。例如，PTS可以包括深度传感器以识别手指（例如，手指尖）在投影的用户接口上或周围移动（或被放置在投影的用户接口上或周围）以确定与接口的交互。
附图说明
在不一定按比例绘制的附图中，在不同视图中相似的数字可以描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。附图大致以举例而非限制的方式图示本发明文档中论述的多种实施例。
图1图示包括根据实施例的用于高效的自由空间手指识别的电路实现的设备的框图的示例PTS系统。
图2A-2B图示根据实施例的用于高效的自由空间手指识别的深度图像和掩模的示例。
图3图示根据实施例的用于高效的自由空间手指识别的方法的示例。
图4图示根据实施例的用于高效的自由空间手指识别的方法的示例。
图5是图示可以实现一个或多个实施例的机器的示例的框图。
具体实施方式
现在，PTS系统检测手指尖触摸投影式用户接口元件的常见方式是使用来自深度传感器的深度图像。接下来，可以从深度图像找出手团点（blob）。正如本文所使用的，团点是数字图像中一些属性（例如，与点的距离、连通性、颜色、亮度等）是恒定的或在限定的值范围内变化的区域（例如，像素、子像素、体素的集合等）。在找到手团点之后，从手团点中找出手指骨架（例如对其建模）。最后，可以从手骨架查找一个或多个手指尖的三维（3D）位置以确定与投影式用户接口的交互。在一个示例中，可以使用手骨架来确定用户在投影的表面上或上方的手势输入。
至少两个问题来自PTS系统的目前实现。首先，在深度图像中从团点计算手骨架是计算密集的过程，可能浪费在非手的团点上，如不是用于输入的物体。此类物体的示例可以包括放置在桌面上碰巧位于深度传感器的视场内的杯子。随着深度传感器分辨率增加，此问题复杂化。
其次，目前深度传感器性能无法模仿逼近触摸屏幕用户体验，因为例如无法跟随用户、没有深度分辨率、噪声深度图像等。在一些示例中，可以使用线发射器来投影平行于且接近触摸表面的光平面。由此，手指触摸表面将中断该平面并将光反射到例如PTS系统的摄像器并指示已发生触摸。但是，在深度传感器使用对线发射器波长敏感的摄像器的示例中，摄像器可能无法区分触摸与接近摄像器放置的物体之间的差别。
可以通过基于团点是否触碰深度图像的边缘来将团点分类为潜在的手或分类分物体来解决第一个问题。以此方式将团点分类是基于观察到手可能连接到手臂并由此可能连接到身体，而手臂和身体通常位于深度图像的视见平截头体外。相比之下，如杯子、电话、钢笔等的物体可能完整地位于视见平截头体内。可以避免对分类为物体的团点进行手骨架分析，并由此节省了昂贵的计算操作。因此，节省这些计算资源可以增加PTS系统的效率。
第二个问题可以通过将深度数据与手指中断线发射器发射的光平面导致的亮点识别组合来解决。这里，在深度计算之前，可以将亮点记录在图像中。例如，如果深度传感器包括红外（IR）发射器和IR敏感摄像器，以及光发射器发射IR光，可以使用深度分析之前深度传感器摄像器捕获的图像来检测IR光的亮点。正如上文提到的，这些亮点可能是由手指中断IR光平面并将其一部分反射回摄像器所致。可以识别这些亮点，然后基于深度图像将其分类，从而将接近表面的亮点分类为触摸以及远离表面的亮点是非触摸。再者，可以基于其他因素排除亮点作为可能的触摸。例如，如果亮点与例如手指尖的模型（例如，在尺寸、形状等方面）不一致，则可以将该亮点分类为非触摸。在一个示例中，可以根据深度图像来确定手骨架。如果亮点与手骨架的手指不对应，则也可以将其分类为非触摸。通过识别潜在触摸亮点，在上面的空中手势中，可以使用触摸表面而不会在投影的用户接口上引入错误触摸。因此，深度传感器和线发射器的组合能够通过提高PTS系统的输入准确度来提升用户体验。
上文给出的解决方案可以单独地使用或以多种方式来进行组合。例如，通过避免对物体团点处理来高效地确定手骨架，这样能够通过排除与潜在手团点不对应的亮点来实现高效亮点分析。但是，在所有情况中，计算效率和准确度的其中之一或全部均得以提高，从而促成PTS系统在自由空间中（例如，并不实际地与触敏表面交互）的更高效手指识别。
图1图示包括用于高效的自由空间手指识别的电路实现的设备175的框图的示例PTS系统100。PTS系统100可以包括基座105、垂直构件110（可以与基座105附接的下方部分）和头部115（可以附接到垂直构件110的上方部分）。PTS系统100还可以包括能够（例如，以有线、无线、置于其中的方式）在通信上耦合到基座105、垂直构件110或头部115的电路实现的设备175。
头部115可以包括布置成具有向下视场的深度传感器120。如图所示，粗虚线指示深度传感器120的视场。阴影区域140指示深度传感器的视场中的基座平面140。基座平面140与表面150吻合。在一个示例中，头部115还可以包括投影器125来实现投影的用户接口145（由线化区域145所示）。在一个示例中，投影器125可以被置于其他位置，如天花板、另一个设备等中。在一个示例中，深度传感器120包括摄像器和光发射器。可以通过将光发射器的发射反射出视见平截头体中的物体并被摄像器捕获的往返程设定时间来创建深度图像。在一个示例中，摄像器对于IR光敏感，且光发射器在IR光谱发射。
在一个示例中，基座105可以包括线发射器155。线发射器155可以发射与表面150平行的光平面160（由交叉线区域160指示）。如上文论述，这种发射可能在交叉时导致亮点，如物体亮点170和触摸亮点165。
如图1所示，杯子135表示杯子的实际物体和深度图像中的团点。相似地，手和手腕（下文称为手）130也表示实际的手和深度图像中的团点。
电路实现的设备175是能够在通信上耦合到基座105、垂直构件110或头部115的其中任何一个或全部来接收深度传感器或亮点数据的一个或多个机器。在一个示例中，电路实现的设备175的其中一个或全部组件封装在基座105、垂直构件110或头部115的其中一个或多个内。电路实现的设备175可以包括手鉴别器180、手骨架定位器185或表面触摸定位器190的其中任何一个或全部。
手鉴别器180可以布置成识别深度传感器120捕获的深度图像中的表面150。表面识别使得深度图像中的像素（例如，体素）分类为外围像素（例如，表面150与深度传感器120之间的像素或表面150上没有的像素）。识别团点（例如，手130和杯子135）是从外围像素进行。在一个示例中，手鉴别器180布置成从深度图像识别一个或多个团点（例如，手130或杯子135）。在一个示例中，可以不首先识别表面150的情况下识别团点。在一个示例中，团点包括深度图像中的多个连续像素（例如，外围像素）。因为深度图像可能是噪声，所以通过计算两个像素之间的距离并将该距离与阈值比较来确定像素是否是连续的。因此，如果像素距离在阈值以下，则可以将两个像素视为连续的。但是，要注意，可以使用多种公知的方法的任一种来确定什么像素构成团点。在一个示例中，可以计算外围像素的外轮廓（例如，轮廓线）。外轮廓内的像素是团点的一部分（例如，组成）。
手鉴别器180还可以布置成分类识别的团点。例如，对于每个识别的团点，手鉴别器180可以确定团点是否与深度图像的边缘交叉。如果团点与边缘相交，可以将团点分类为潜在的手。如果团点不与边缘相交，则可以将团点分类为物体。在一个示例中，可以将间距接近的团点（例如，基于环境在预先识别的容差或距离内）可以分类为潜在的手。在此示例中，基于PTS系统的一个或多个工作参数来确定接近，如深度图像噪声，深度传感器120的定位、深度传感器视场等。在一个示例中，接近是与深度图像边缘相距在预定义数量的像素内。
在一个示例中，为了确定团点是否与深度图像的边缘相交，手鉴别器180可以布置成创建深度图像的掩模。可以将掩模内的团点分类为与边缘相交，或直接分类为潜在的手。可以将掩模外的团点分类为不与边缘相交，分类为物体或直接将其忽略。在一个示例中，忽略团点相当于将团点分类为物体。为了创建掩模，手鉴别器可以由空白掩模开始，如与深度图像中像素对应的网格，其中网格的单元具有空白值。手鉴别器可以向空白掩模添加从深度图像的每个边缘至掩模的多个像素，从而构建边框。在一个示例中，边框的边缘可以包括与边框的其他边缘彼此不同深度的像素。作为一个示例，边框边缘可以是非线性的。
在将边框像素添加到掩模置换，手鉴别器可以确定与深度图像的团点对应的团点对应的团点像素或轮廓是否对应于掩模（例如，当前掩模包括与轮廓或团点像素重叠的像素）。在此情况中，团点的像素（例如，轮廓本身上轮廓内的那些）添加到掩模。图2A和图2B中图示以及下文论述了其一个示例。
手骨架定位器185可以布置成确定对于团点是否能够查找到手骨架模型。手骨架定位器185可以对团点采用任何多种公知的技术来计算手骨架、找到手骨架、将手骨架与团点匹配等。在一个示例中，将手骨架定位器185的活动限定于为潜在的手的团点。由此，可以将手骨架定位器185仅应用于被分类为潜在的手的团点。在一个示例中，手骨架定位器185接收团点以及手鉴别器180确定的分类，并确定要处理哪些团点。在一个示例中，手骨架定位器185仅接收分类为潜在的手的团点。
表面触摸定位器190可以布置成识别红外摄像器捕获的红外图像中的一个或多个亮点（例如，亮点165和170）。在一个示例中，亮点可以包括描绘从暗到亮的阈值以上的多个像素。在一个示例中，阈值具有两个分量，高值和低值。因此，高值以上的像素可以视为亮的，低值以下的像素可以视为暗的，以及其他像素可以是中间亮度的。在一个示例中，可以进一步处理中间像素以确定它们是否是亮的。在一个示例中，可以基于PTS系统100的可用计算资源选择性地应用该进一步处理。
表面触摸定位器190还可以布置成处理识别的亮点以将其分类为触摸或非触摸。在一个示例中，该分类基于捕获的深度图像。在一个示例中，该分类可以限于亮点的尺寸、形状或其他特征，而不涉及深度图像。例如，表面触摸定位器190可以具有手指（或手指尖）的模型或手指的尺寸或形状参数。可以将此模型与亮点比较。如果亮点不符合模型参数，则可以将其分类为非触摸。例如，杯子135的亮点170可能显著地比对于手指尖而言所预期的要宽。在一个示例中，可以将此类亮点从进一步处理中忽略掉。
在一个示例中，为了将亮点分类为触摸或非触摸，表面触摸定位器190可以使用深度图像来确定亮点是否与表面150相距在预定距离内。如果亮点比该预定距离更远离表面150，则可以将该亮点分类为非触摸。由此，直接观察到亮点不靠近表面，可以允许将其分类为非触摸而避免进一步处理。
在一个示例中，为了将亮点分类为触摸或非触摸，表面触摸定位器190可以确定亮点是否连接到从深度图像识别的手团点，以及如果该亮点不连接到手团点，则将该亮点分类为非触摸。例如，可以将亮点170分类为非触摸，因为它不连接到手团点130。
如上文论述，表面触摸定位器190可以采用多种机制来将亮点分类为非触摸。可以顺序地应用这些机制以便例如在亮点不符合手指模型的情况下避免手团点识别。在一个示例中，在处理链，如上文描述的处理链的结束时未分类为非触摸的任何亮点则被分类为触摸。
如上文描述，手鉴别器180和表面触摸定位器190的效率可以单独地利用或进行组合。例如，手鉴别器130可以提供高效手团点130识别以供表面触摸定位器190使用。相反，表面触摸定位器190可以基于手指模型分析将亮点识别为触摸（例如，亮点165），并将亮点的像素添加到掩模来协助手团点130检测。在这些情形的任何一个情形中，PTS系统的计算效率或准确度均可以得以提高，从而促成更好的用户体验。
图2A-2B图示用于高效的自由空间手指识别的深度图像205和掩模220的示例。在图2A中，深度图像205包括物体团点215和潜在的手团点210。潜在的手团点210图示为延伸超出深度图像的边缘以演示团点210与深度图像的边缘相交。团点210和215的轮廓线可以视为上文描述的轮廓。图2B图示应用于深度图像205的掩模220。如图所示，掩模220包括边框。潜在的手团点210的该部分也被包含在掩模220中，因为边框覆盖潜在的手团点210的一部分，如上所述。可以不进一步处理物体团点215（例如，对此将不预期有手骨架），因为掩模220未覆盖它。
图3图示根据实施例的用于高效的自由空间手指识别的方法300的示例。
在操作305处，可以识别深度传感器捕获的深度图像中的表面。该表面可以是由深度图像衍生的视见平截头体中的基平面。
在操作310处，可以识别深度图像中的一个或多个团点。如图所示，一个或多个团点中的团点可能包含深度图像中比表面更接近深度传感器的多个连续像素。在一个示例中，识别团点可以包括识别外围像素。如上文描述，外围像素可以是深度图像中位于表面与深度传感器之间的像素。在一个示例中，可以确定外围像素的外轮廓。在一个示例中，闭合的轮廓可以对应于一个团点。相应地，闭合的轮廓所包围的像素以及在一个示例中，轮廓本身构成一个团点。在一个示例中，深度图像的边缘可以是轮廓的一部分。由此，与边缘相交的团点被其轮廓和边缘闭合。
在操作315处，对于由操作310识别的一个或多个团点中的每个团点，可以应用操作320和325。当没有识别的团点时，方法300可以终止或继续其他处理处理（例如，识别潜在的手团点中的手骨架）。
在操作320处，对于给定团点，可以确定该团点是否与深度图像的边缘相交。在一个示例中，确定团点是否与边缘相交包括创建与深度图像对应的掩模。掩模覆盖的团点视为与边缘相交。在一个示例中，为了创建掩模，可以将来自深度图像的每个边缘的预定数量的像素添加到掩模。然后，当团点的像素或其他轮廓对应于掩模的现有像素时，可以将团点的像素添加到掩模。
在操作325处，可以将与深度图像的边缘相交的团点分类为潜在的手团点。如果团点不与边缘相交，则可以将其分类为物体团点。
在一个示例中，可以对团点进行查找手骨架的尝试。在一个示例中，如果团点被分类为物体，则不执行此类尝试。因此，可以通过方法300来避免昂贵的手骨架计算。
图4图示根据实施例的用于高效的自由空间手指识别的方法400的示例。
在操作405处，可以识别摄像器捕获的图像中的一个或多个亮点。这些亮点包括亮度阈值以上的多个像素，如上文结合图1描述的。在一个示例中，图像是IR图像，并且摄像器对IR光敏感（例如，IR摄像器）。
在操作410处，可以将亮点分类为触摸或非触摸。在一个示例中，这种分类基于深度图像。在一个示例中，这种分类可以包括确定亮点是否连接到从深度图像识别的手团点，并且如果该亮点不连接到手团点，则将亮点分类为非触摸。在一个示例中，这种分类可以包括使用深度图像来确定亮点是否与表面相距在预定距离内，并且如果该亮点不在预定距离内，则将该亮点分类为非触摸。在一个示例中，对于操作405处识别的每个亮点，可以执行操作415、420、425和430。
在操作415处，可以确定亮点的尺寸和形状是否与手指尖的模型对应。
在操作420处，可以确定亮点是否连接到手团点。
在操作425处，可以确定亮点是否与表面相距在预定距离内。
在操作430处，如果操作415、420和425的结果的每一个均为真，则可以将该亮点分类为触摸。否则（例如，如果操作415、420和425中的任一个为假），可以将该亮点分类为非触摸。在一个示例中，可以按任何顺序执行操作415、420和425。在一个示例中，可以顺序地执行操作415、420和425，以使较早操作时的假确定结果促成非触摸分类并排除进一步操作。
通过方法400，可以提高PTS系统的触摸准确度，从而促成更好的用户体验。再者，方法400的灵活特性还可以通过在早期识别出非触摸亮点并排除附加处理，以在不降低准确度的情况下产生计算效率。
图5图示可以执行本文论述的技术中任何一个或多个技术（例如，方法）的示例及其500的框图。在备选实施例中，机器500可以作为单独的设备来工作或可以连接到（例如联网到）其他机器。在联网的部署中，机器500可以采用服务器机器功能、客户端机器功能来工作或在服务器-客户端网络环境中工作。在一个示例中，机器500可以在对等（P2P）（或其他分布式）网络环境中作为对等机器。机器500可以是个人计算机（PC）、平板PC、机顶盒（STB）、个人数字助理（PDA）、移动电话、Web电器、网络路由器、交换机或网桥或可以执行指定机器要执行的动作的指令（序列的或其他方式）的任何机器。再者，虽然仅图示了一台机器，但是术语“机器”也应该视为包括个别形式地或统一执行一组（或多组）指令来执行本文论述的方法的其中任何一个或多个方法的机器的任何集合，如云计算、作为服务的软件（SaaS）、其他计算机簇配置。
如本文描述的示例可以包括逻辑或多个组件、模块或机构，或在逻辑或多个组件、模块或机构上工作。模块是能够在工作时执行指定操作的有形实体（例如，硬件）。模块包括硬件。在一个示例中，硬件可以专门地配置成执行特定操作（例如，硬连接）。在一个示例中，硬件可以包括可配置执行单元（例如，晶体管、电路等）和包含指令的计算机可读介质，其中这些指令配置这些执行单元以在工作时执行特定操作。该配置可以在指令单元或加载机构的指引下进行。相应地，当该设备工作时，这些执行单元在通信上耦合到计算机可读介质。在此示例中，这些执行单元可以是多于一个模块中的多个模块。例如，在工作情况下，这些执行单元可以在一个时间点处被第一组指令配置成实现第一模块以及被第二组指令再次配置成实现第二模块。
机器（例如计算机系统）500可以包括硬件处理器502（例如，中央处理单元（CPU）、图形处理单元（GPU）、硬件处理器核或其任何组合）、主存储器504和静态存储器506，其中一些或全部可以经由互连链路（例如，总线）508彼此通信。机器500还可以包括显示单元510、字母数字输入装置512（例如键盘）和用户界面（UI）导航装置514（例如，鼠标）。在一个示例中，显示器单元510、输入装置512和UI导航装置514可以是触摸屏显示器。机器500可以附加地包括存储装置（例如，驱动器单元）516、信号生成装置518（例如，扬声器）、网络接口装置520和一个或多个传感器521，如全球定位系统（GPS）传感器、罗盘、加速仪或其他传感器。机器500可以包括输出控制器528，如串行（例如，通用串行总线（USB）、并行或其他有线或无线（例如，红外线（IR）、近场通信（NFC）等）连接，以便与一个或多个外设（例如，打印机、读卡器等）通信或控制一个或多个外设（例如，打印机、读卡器等）。
存储装置516可以包括机器可读介质522，机器可读介质522存储采用本文描述的技术或功能的其中任何一个或多个或被本文描述的技术或功能的其中任何一个或多个利用的一组或多组数据结构或指令524（例如，软件）。指令524还可以在机器500执行这些指令期间完全或至少部分地驻留在主存储器502内、静态存储器506内或硬件处理器502内。在一个示例中，硬件处理器502、主存储器504、静态存储器506或存储装置516的其中一个或任何组合可以构成机器可读介质。
虽然机器可读介质522图示为单个介质，但是术语“机器可读介质”可以包括配置成存储一个或多个指令524的单个介质或多个介质（例如，集中式或分布式数据库和/或关联的缓存和服务器）。
术语“机器可读介质”可以包括能够存储指令、将指令编码或载送指令以供机器500执行且促使机器500执行本发明披露的技术中任何一个或多个技术或能够将此类指令所使用的数据结构或与之关联的数据结构进行存储、编码或载送的任何介质。非限制性机器可读介质的示例可以包括静态存储器以及光和磁介质。在一个示例中，海量机器可读介质包括具有含静止块（resting mass）的多个颗粒的机器可读介质。海量机器可读介质的特定示例可以包括：非易失性存储器，如半导体存储器装置（例如电可编程只读存储器（EPROM）、电可擦写可编程制度存储器（EEPROM））和闪存存储器的；如内置硬盘和移动硬盘的磁盘；磁光盘；以及CD-ROM和DVD-ROM光盘。
可以使用传输介质经由网络接口装置520在通信网络526上传送或接收指令524，网络接口装置520采用多种传输协议（例如，帧中继、因特网协议（IP）、传输控制协议（TCP）、用户数据报协议（HDP）、超文本传输协议（HTTP）等）。示例通信网络其中可以包括局域网（LAN）、广域网（WAN）、分组数据网络（例如，因特网）、移动电话我（例如，蜂窝网络）、明文旧式电话（POTS）网络和无线数据网络（例如，所说的Wi-Fi®的电器电子工程师协会（IEEE）802.11系列标准，所说的WiMax®的IEEE 802.16系列标准）、IEEE 802.15.4系列标准、对等（P2P）网络。在一个示例中，网络接口装置520可以包括用于以连接到通信网络526的一个或多个物理接头（例如，以太网、同轴电缆或电话接头）或一个或多个天线。在一个示例中，网络接口装置520可以包括用于使用单输入多输出（SIMO）、多输入多输出（MIMO）或多输入单输出（MISO）技术的至少其中之一进行无线通信的多个天线。术语“传输介质”应该视为包括能够将指令存储、编码或载送以供机器500执行的任何无形介质，并且包括用于协助此类软件的通信的数字或模拟通信信号或其他无形介质。
附加注释和示例
示例1 一种用于高效的自由空间手指识别的设备，所述设备包括：基座；垂直构件，所述垂直构件的下方部分附接到所述基座；附接到所述垂直构件的上方部分的头部，所述头部包括深度传感器，所述深度传感器布置成具有向下视场；以及硬件电路实现的手鉴别器，所述硬件电路实现的手鉴别器用于：识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及对于所述一个或多个团点中的每个团点：确定所述团点是否与所述深度图像的边缘相交；以及如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
在示例2中，示例1的主题可以可选地包括，其中为了识别一个或多个团点，手鉴别器用于：识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
在示例3中，示例2的主题可以可选地包括，其中为了确定团点是否与边缘相交包括，手鉴别器通过如下步骤创建与深度图像对应的掩模：将来自深度图像的每个边缘的预定数量的像素添加到掩模；并且，当所述轮廓的像素对应于掩模的现有像素时，将团点的像素添加到所述掩模。
在示例4中，示例1-3中任何一个的主题可以可选地包括，手骨架定位器，所述手骨架定位器用于确定对于团点是否能够查找到手骨架模型。
在示例5中，示例4的主题可以可选地包括，其中所述手骨架定位器仅应用于被分类为潜在的手的团点。
在示例6中，示例1-5中任何一个的主题可以可选地包括，其中所述深度传感器包括红外发射器和红外摄像器，以及所述基座包括红外线发射器，所述红外线发射器用于在视场内发射与所述表面平行的红外光平面。
在示例7中，示例6的主题可以可选地包括，表面触摸定位器，所述表面触摸定位器用于：识别红外摄像器捕获的红外图像中的一个或多个亮点，所述亮点包含阈值以上的多个像素；以及对于所述一个或多个亮点中的每个亮点，基于所述深度图像将亮点分类为触摸或非触摸。
在示例8中，示例6-7中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，所述表面触摸定位器确定亮点是否连接到从深度图像识别的手团点，以及如果该亮点不连接到手团点，则将该亮点分类为非触摸。
在示例9中，示例6-8中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，所述表面触摸定位器使用所述深度图像确定亮点是否与所述表面相距在预定距离内，并且如果所述亮点不在预定距离内，则将所述亮点分类为非触摸。
在示例10中，示例6-9中任何一个的主题可以可选地包括，其中将所述亮点分类为触摸或非触摸包括，所述表面触摸定位器执行如下操作：确定所述亮点的尺寸和形状是否与手指尖的模型对应；确定所述亮点是否连接到手团点；确定所述亮点是否与所述表面相距在预定距离内；以及如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到手团点，以及所述亮点与所述表面相距在预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
在示例11中，示例1-10中任何一个的主题可以包括含有用于高效的自由空间手指识别的方法的主题或可以可选地与含有用于高效的自由空间手指识别的方法的主题进行组合，所述方法通过包括深度传感器的电路实现的设备来执行，所述深度传感器布置成具有向下视场，所述方法包括：识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及对于所述一个或多个团点中的每个团点：确定所述团点是否与所述深度图像的边缘相交；以及如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
在示例12中，示例11的主题可以可选地包括，其中识别一个或多个团点包括：识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
在示例13中，示例12的主题可以可选地包括，其中确定所述团点是否与所述边缘相交包括，通过如下步骤创建与所述深度图像对应的掩模：将来自所述深度图像的每个边缘的预定数量的像素添加到所述掩模；以及当所述团点的像素对应于掩模的现有像素时，将所述轮廓的像素添加到所述掩模。
在示例14中，示例11-13中任何一个的主题可以可选地包括，确定对于团点是否能够查找到手骨架模型。
在示例15中，示例14的主题可以可选地包括，其中确定对于团点是否能够查找到手骨架模型限于被分类为潜在的手的团点。
在示例16中，示例11-15中任何一个的主题可以可选地包括，其中所述深度传感器包括红外发射器和红外摄像器，以及其中所述设备的基座包括红外线发射器，所述红外线发射器用于发射与所述表面平行的红外光平面。
在示例17中，示例16的主题可以可选地包括：识别红外摄像器捕获的红外图像中的一个或多个亮点，所述亮点包含阈值以上的多个像素；以及对于所述一个或多个亮点中的每个亮点，基于所述深度图像将亮点分类为触摸或非触摸。
在示例18中，示例16-17中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，确定亮点是否连接到从深度图像识别的手团点，以及如果该亮点不连接到手团点，则将所述亮点分类为非触摸。
在示例19中，示例16-18中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，使用所述深度图像确定亮点是否与所述表面相距在预定距离内，并且如果所述亮点不在预定距离内，则将所述亮点分类为非触摸。
在示例20中，示例16-19中任何一个的主题可以可选地包括，其中将所述亮点分类为触摸或非触摸包括：确定所述亮点的尺寸和形状是否与手指尖的模型对应；确定所述亮点是否连接到手团点；确定所述亮点是否与所述表面相距在预定距离内；以及如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到手团点，以及所述亮点与所述表面相距在预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
在示例21中，示例11-20的主题可以可选地包括包含指令的机器可读介质，所述指令在被机器执行时促使机器执行示例11-20的方法中任何一个或多个方法。
在示例22中，示例11-20中任何一个的主题可以可选地包括，具有用于执行示例11-20的方法中任何一个或多个方法的部件的系统。
在示例23中，示例1-22中任何一个的主题可以可选地包括用于高效的自由空间手指识别的系统，或可以可选地与用于高效的自由空间手指识别的系统进行组合，所述系统包括：用于升高投射头部高于表面的支承部件；附接到所述支承部件的投射头部部件，所述投射头部部件包括深度传感器部件，所述深度传感器部件用于测量目标从投射头部部件向所述表面的距离；以及手鉴别部件，所述手鉴别部件用于：识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及对于所述一个或多个团点中的每个团点：确定所述团点是否与所述深度图像的边缘相交；以及如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
在示例24中，示例23的主题可以可选地包括，其中识别一个或多个团点包括：识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
在示例25中，示例24的主题可以可选地包括，其中确定所述团点是否与所述边缘相交包括，通过如下步骤创建与所述深度图像对应的掩模：将来自深度图像的每个边缘的预定数量的像素添加到掩模；以及当所述团点的像素对应于掩模的现有像素时，将所述轮廓的像素添加到所述掩模。
在示例26中，示例23-25中任何一个的主题可以可选地包括，手骨架定位器部件，所述手骨架定位器部件用于确定对于团点是否能够查找到手骨架模型。
在示例27中，示例26的主题可以可选地包括，其中所述手骨架定位器部件仅应用于被分类为潜在的手的团点。
在示例28中，示例23-27中任何一个的主题可以可选地包括，其中所述深度传感器部件包括红外发射器部件和红外摄像器部件，所述红外发射器部件用于发射红外光，以及所述红外摄像器部件用于捕获从目标反射之后的红外光，以及其中所述支承部件包括红外线发射器，所述红外线发射器用于在红外摄像器部件的视场内发射与所述表面平行的红外光平面。
在示例29中，示例28的主题可以可选地包括，表面触摸定位器部件，所述表面触摸定位器部件用于：识别红外摄像器捕获的红外图像中的一个或多个亮点，所述亮点包含阈值以上的多个像素；以及对于所述一个或多个亮点中的每个亮点，基于所述深度图像将亮点分类为触摸或非触摸。
在示例30中，示例28-29中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，确定亮点是否连接到从深度图像识别的手团点，以及如果该亮点不连接到手团点，则将所述亮点分类为非触摸。
在示例31中，示例28-30中任何一个的主题可以可选地包括，其中将亮点分类为触摸或非触摸包括，使用所述深度图像确定亮点是否与所述表面相距在预定距离内，并且如果所述亮点不在预定距离内，则将所述亮点分类为非触摸。
在示例32中，示例28-31中任何一个的主题可以可选地包括，其中将所述亮点分类为触摸或非触摸包括：确定所述亮点的尺寸和形状是否与手指尖的模型对应；确定所述亮点是否连接到手团点；确定所述亮点是否与所述表面相距在预定距离内；以及如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到手团点，以及所述亮点与所述表面相距在预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
上文详细描述包括参考附图，这些附图形成详细描述的一部分。这些附图通过说明示出可实施的特定实施例。这些实施例在本文中也称为“示例”。此类示例可以包括示出或描述的那些以外的多个元件。但是，本发明还可设想其中仅提供示出或描述的那些元件的示例。而且，本发明发明人还设想使用示出或描述的那些元件（或其一个或多个方面）的任何组合或排列的示例，其结合具体示例（或其一个或多个方面）或结合本文示出或描述的其他示例（或其一个或多个方面）。
本文档引述的所有出版物、专利、专利文档通过引用完整地并入本文，与通过引用个体地并入一样。如果本文档与如此通过引用并入的那些文档之间的用法不一致，则应该将所并入的引用中的用法视为对本文档的用法的补充；对于不可调解的不一致性，以本文档中的用法为准。
在本文档中，术语“一个”或“一”，如专利文档中常见的，用于包括一个或多于一个，而与“至少一个”或“一个或多个”的任何其他实例或用法与否无关。在本文档中，除非另行陈述，否则术语“或”用于指代非排他性的，或者使得“A或B”包括“A但是非B”、“B但是非A”以及“A和B”。在所附权利要求中，术语“包括”和“其中”与相应术语“包含”和“在其中”的英语字面等效使用。同样地，在所附权利要求中，术语“包括”和“包含”是开放性的，即，除了包含权利要求中列在此术语之后的元素之外的元素的系统、设备、产品或过程仍视为落在该权利要求的范围内。而且，在所附权利要求中，术语“第一”、“第二”和“第三”等仅用作标记，无意暗示其对象的数值要求。
上文描述是说明性的且无意作为限制。例如，上述示例（和/或其多个方面）可以彼此组合来使用。如在复读上文描述时，本领域技术人员可以使用其他实施例。说明书摘要使得读者能够快速地了解本发明技术披露的本质，并且是在已知说明书摘要将不用于解释和限定权利要求的范围或含义的前提下来提交的。再有，在上文的具体实施方式中，为了使披露描述流畅，可能将多种特征归组在一起。这不应解释为有意使未要求权利的所披露的特征对于任何权利要求是必不可少的。相反，主题可以依据特定披露的实施例中少于全部的特征。因此，所附权利要求由此并入具体实施方式中，其中每个权利要求作为单独的实施例来支持自己。应参考所附权利要求连同此类权利要求授权的等效物的完整范围来确定这些实施例的范围。

Claims (35)

1.一种用于高效的自由空间手指识别的设备，所述设备包括：
基座；
垂直构件，所述垂直构件的下方部分附接到所述基座；
附接到所述垂直构件的上方部分的头部，所述头部包括深度传感器，所述深度传感器布置成具有向下视场；以及
硬件电路实现的手鉴别器，所述硬件电路实现的手鉴别器用于：
识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；
识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及
对于所述一个或多个团点中的每个团点：
确定所述团点是否与所述深度图像的边缘相交；以及
如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
2.如权利要求1所述的设备，其中为了所述一个或多个团点，所述手鉴别器用于：
识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及
确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
3.如权利要求2所述的设备，其中确定所述团点是否与所述边缘相交包括，所述手鉴别器通过如下步骤创建与所述深度图像对应的掩模：
将来自所述深度图像的每个边缘的预定数量的像素添加到所述掩模；以及
当所述轮廓的像素对应于所述掩模的现有像素时，将团点的像素添加到所述掩模。
4.如权利要求1所述的设备，其包括手骨架定位器，所述手骨架定位器用于确定对于团点是否能够查找到手骨架模型。
5.如权利要求4所述的设备，其中所述手骨架定位器仅应用于被分类为潜在的手的团点。
6.如权利要求1所述的设备，其中所述深度传感器包括红外发射器和红外摄像器，以及其中所述基座包括红外线发射器，所述红外线发射器用于在视场内发射与所述表面平行的红外光平面。
7.如权利要求6所述的设备，包括表面触摸定位器，所述表面触摸定位器用于：
识别红外摄像器捕获的红外图像中的一个或多个亮点，所述亮点包含阈值以上的多个像素；以及
对于所述一个或多个亮点中的每个亮点，基于所述深度图像将亮点分类为触摸或非触摸。
8.如权利要求7所述的设备，其中将亮点分类为触摸或非触摸包括，所述表面触摸定位器确定所述亮点是否连接到从所述深度图像识别的手团点，以及如果所述亮点不连接到所述手团点，则将所述亮点分类为非触摸。
9.如权利要求7所述的设备，其中将所述亮点分类为触摸或非触摸包括，所述表面触摸定位器使用所述深度图像确定所述亮点是否与所述表面相距在预定距离内，并且如果所述亮点不在所述预定距离内，则将所述亮点分类为非触摸。
10.如权利要求7所述的设备，其中将所述亮点分类为触摸或非触摸包括，所述表面触摸定位器执行如下操作：
确定所述亮点的尺寸和形状是否与手指尖的模型对应；
确定所述亮点是否连接到手团点；
确定所述亮点是否与所述表面相距在预定距离内；以及
如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到所述手团点，以及所述亮点与所述表面相距在预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
11.一种用于高效的自由空间手指识别的方法，所述方法由电路实现的设备来执行，所述电路实现的设备包括深度传感器，所述深度传感器布置成具有向下视场，所述方法包括：
识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；
识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及
对于所述一个或多个团点中的每个团点：
确定所述团点是否与所述深度图像的边缘相交；以及
如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
12.如权利要求11所述的方法，其中识别所述一个或多个团点包括：
识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及
确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
13.如权利要求12所述的方法，其中确定所述团点是否与所述边缘相交包括，通过如下步骤创建与所述深度图像对应的掩模：
将来自所述深度图像的每个边缘的预定数量的像素添加到所述掩模；以及
当所述轮廓的像素对应于所述掩模的现有像素时，将团点的像素添加到所述掩模。
14.如权利要求11所述的方法，其包括确定对于团点是否能够查找到手骨架模型。
15.如权利要求14所述的方法，其中确定对于团点是否能够查找到手骨架模型限于被分类为潜在的手的团点。
16.如权利要求11所述的方法，其中所述深度传感器包括红外发射器和红外摄像器，以及其中所述设备的基座包括红外线发射器，所述红外线发射器用于发射与所述表面平行的红外光平面。
17.如权利要求16所述的方法，其包括：
识别红外摄像器捕获的红外图像中的一个或多个亮点，所述亮点包含阈值以上的多个像素；以及
对于所述一个或多个亮点中的每个亮点，基于所述深度图像将亮点分类为触摸或非触摸。
18.如权利要求17所述的方法，其中将亮点分类为触摸或非触摸包括，确定所述亮点是否连接到从所述深度图像识别的手团点，以及如果所述亮点不连接到所述手团点，则将所述亮点分类为非触摸。
19.如权利要求17所述的方法，其中将亮点分类为触摸或非触摸包括，使用所述深度图像确定亮点是否与所述表面相距在预定距离内，并且如果所述亮点不在所述预定距离内，则将所述亮点分类为非触摸。
20.如权利要求17所述的方法，其中将所述亮点分类为触摸或非触摸包括：
确定所述亮点的尺寸和形状是否与手指尖的模型对应；
确定所述亮点是否连接到手团点；
确定所述亮点是否与所述表面相距在预定距离内；以及
如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到手团点，以及所述亮点在与所述表面相距预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
21.一种包含指令的机器可读介质，所述指令在被机器执行时促使所述机器执行如权利要求11-20所述的方法中任何一个或多个方法。
22.一种具有用于执行如权利要求11-20所述的方法中任何一个或多个方法的部件的系统。
23.一种用于高效的自由空间手指识别的系统，所述系统包括：
用于升高投射头部高于表面的支承部件；
附接到所述支承部件的投射头部部件，所述投射头部部件包括深度传感器部件，所述深度传感器部件用于测量目标从所述投射头部部件向所述表面的距离；以及
手鉴别部件，所述手鉴别部件用于：
识别所述深度传感器捕获的深度图像中的表面，所述表面是由所述深度图像衍生的视见平截头体中的基平面；
识别所述深度图像中的一个或多个团点，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及
对于所述一个或多个团点中的每个团点：
确定所述团点是否与所述深度图像的边缘相交；以及
如果所述团点与所述边缘相交，则将所述团点分类为潜在的手，否则将所述团点分类为物体。
24.如权利要求23所述的系统，其中识别所述一个或多个团点包括：
识别外围像素，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及
确定所述外围像素的外轮廓，闭合的每个轮廓对应于所述一个或多个团点中的团点。
25.如权利要求24所述的系统，其中确定所述团点是否与所述边缘相交包括，通过如下步骤创建与所述深度图像对应的掩模：
将来自所述深度图像的每个边缘的预定数量的像素添加到所述掩模；以及
当所述轮廓的像素对应于所述掩模的现有像素时，将团点的像素添加到所述掩模。
26.一种用于高效的自由空间手指识别的装置，所述装置与电路实现的设备一起使用，所述电路实现的设备包括深度传感器，所述深度传感器布置成具有向下视场，所述装置包括：
用于识别所述深度传感器捕获的深度图像中的表面的部件，所述表面是由所述深度图像衍生的视见平截头体中的基平面；
用于识别所述深度图像中的一个或多个团点的部件，所述一个或多个团点中的团点包含所述深度图像中比所述表面更接近所述深度传感器的多个连续像素；以及
对于所述一个或多个团点中的每个团点：
用于确定所述团点是否与所述深度图像的边缘相交的部件；以及
用于如果所述团点与所述边缘相交则将所述团点分类为潜在的手而否则将所述团点分类为物体的部件。
27.如权利要求26所述的装置，其中用于识别所述一个或多个团点的部件包括：
用于识别外围像素的部件，所述外围像素是所述深度图像中位于所述表面与所述深度传感器之间的像素；以及
用于确定所述外围像素的外轮廓的部件，闭合的每个轮廓对应于所述一个或多个团点中的团点。
28.如权利要求27所述的装置，其中用于确定所述团点是否与所述边缘相交的部件包括，用于通过如下步骤创建与所述深度图像对应的掩模的部件：
将来自所述深度图像的每个边缘的预定数量的像素添加到所述掩模；以及
当所述轮廓的像素对应于所述掩模的现有像素时，将团点的像素添加到所述掩模。
29.如权利要求26所述的装置，其包括用于确定对于团点是否能够查找到手骨架模型的部件。
30.如权利要求29所述的装置，其中确定对于团点是否能够查找到手骨架模型限于被分类为潜在的手的团点。
31.如权利要求26所述的装置，其中所述深度传感器包括红外发射器和红外摄像器，以及其中所述设备的基座包括红外线发射器，所述红外线发射器用于发射与所述表面平行的红外光平面。
32.如权利要求31所述的装置，其包括：
用于识别红外摄像器捕获的红外图像中的一个或多个亮点的部件，所述亮点包含阈值以上的多个像素；以及
用于对于所述一个或多个亮点中的每个亮点基于所述深度图像将亮点分类为触摸或非触摸的部件。
33.如权利要求32所述的装置，其中用于将亮点分类为触摸或非触摸的部件包括，用于确定所述亮点是否连接到从所述深度图像识别的手团点的部件，以及用于如果所述亮点不连接到所述手团点则将所述亮点分类为非触摸的部件。
34.如权利要求32所述的装置，其中用于将亮点分类为触摸或非触摸的部件包括，用于使用所述深度图像确定亮点是否与所述表面相距在预定距离内的部件，以及用于如果所述亮点不在所述预定距离内则将所述亮点分类为非触摸的部件。
35.如权利要求32所述的装置，其中用于将所述亮点分类为触摸或非触摸的部件包括：
用于确定所述亮点的尺寸和形状是否与手指尖的模型对应的部件；
用于确定所述亮点是否连接到手团点的部件；
用于确定所述亮点是否与所述表面相距在预定距离内的部件；以及
用于执行如下步骤的部件：如果所述亮点的尺寸和形状与手指尖的模型对应，所述亮点连接到手团点，以及所述亮点在与所述表面相距预定距离内的每一项均为真，则将所述亮点分类为触摸，否则将所述亮点分类为非触摸。
CN201510088079.2A 2014-03-26 2015-02-26 高效的自由空间手指识别 Active CN104951064B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/225,941 US9563956B2 (en) 2014-03-26 2014-03-26 Efficient free-space finger recognition
US14/225941 2014-03-26

Publications (2)

Publication Number Publication Date
CN104951064A CN104951064A (zh) 2015-09-30
CN104951064B true CN104951064B (zh) 2018-08-03

Family

ID=54066923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510088079.2A Active CN104951064B (zh) 2014-03-26 2015-02-26 高效的自由空间手指识别

Country Status (5)

Country Link
US (1) US9563956B2 (zh)
KR (1) KR101794148B1 (zh)
CN (1) CN104951064B (zh)
DE (1) DE102015102679A1 (zh)
TW (1) TWI578190B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
WO2017110257A1 (ja) * 2015-12-21 2017-06-29 ソニー株式会社 情報処理装置および情報処理方法
CN110838121A (zh) * 2018-08-15 2020-02-25 辽宁开普医疗系统有限公司 一种用于辅助骨龄鉴定的儿童手骨关节识别方法
US11073898B2 (en) 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
CN109409316B (zh) * 2018-11-07 2022-04-01 极鱼（北京）科技有限公司 空中签名方法及装置
KR102660740B1 (ko) * 2020-12-28 2024-04-26 한국과학기술원 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템
EP4400942A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method, system, computer program and computer-readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497841B1 (en) * 2012-08-23 2013-07-30 Celluon, Inc. System and method for a virtual keyboard
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20110205151A1 (en) * 2009-12-04 2011-08-25 John David Newton Methods and Systems for Position Detection
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
KR101281461B1 (ko) * 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
JP2014202951A (ja) * 2013-04-05 2014-10-27 船井電機株式会社 画像投影装置、及び操作物検出方法
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统
US8497841B1 (en) * 2012-08-23 2013-07-30 Celluon, Inc. System and method for a virtual keyboard

Also Published As

Publication number Publication date
TW201602840A (zh) 2016-01-16
US20150279019A1 (en) 2015-10-01
DE102015102679A1 (de) 2015-10-01
TWI578190B (zh) 2017-04-11
KR101794148B1 (ko) 2017-11-06
CN104951064A (zh) 2015-09-30
KR20150111833A (ko) 2015-10-06
US9563956B2 (en) 2017-02-07

Similar Documents

Publication Publication Date Title
CN104951064B (zh) 高效的自由空间手指识别
KR102649272B1 (ko) 신체 자세 추정
US11431896B2 (en) Augmented reality for three-dimensional model reconstruction
US11263824B2 (en) Method and system to generate authoring conditions for digital content in a mixed reality environment
US10475250B1 (en) Virtual item simulation using detected surfaces
US10846938B2 (en) User device augmented reality based item modeling
EP3540561A1 (en) Systems and methods for viewport-based augmented reality haptic effects
JP2020510934A (ja) 追加の次元のデータを用いたエンハンスト画像の生成
EP3090424A1 (en) Assigning virtual user interface to physical object
US11279023B2 (en) System and method for determining grasping positions for two-handed grasps of industrial objects
US11164384B2 (en) Mobile device image item replacements
US11010947B2 (en) Information processing system and information processing apparatus
US20180262713A1 (en) Dynamically modeling an object in an environment from different perspectives
US20220058823A1 (en) Method and system for displaying a large 3d model on a remote device
US11995788B2 (en) Method and system for merging distant spaces
WO2018023042A1 (en) Method and system for creating invisible real-world links to computer-aided tasks with camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant