CN102334086A - 用于监测物体行为的装置和方法 - Google Patents

用于监测物体行为的装置和方法 Download PDF

Info

Publication number
CN102334086A
CN102334086A CN2010800095181A CN201080009518A CN102334086A CN 102334086 A CN102334086 A CN 102334086A CN 2010800095181 A CN2010800095181 A CN 2010800095181A CN 201080009518 A CN201080009518 A CN 201080009518A CN 102334086 A CN102334086 A CN 102334086A
Authority
CN
China
Prior art keywords
data
physical objects
behavior
expression
sensitive surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800095181A
Other languages
English (en)
Inventor
O·雷蒙
R·扎胡特
V·科恩·沙尔维特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZRRO TECHNOLOGIES 2009
Original Assignee
ZRRO TECHNOLOGIES 2009
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZRRO TECHNOLOGIES 2009 filed Critical ZRRO TECHNOLOGIES 2009
Publication of CN102334086A publication Critical patent/CN102334086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于监测物体行为的装置和方法。提出了一种供在监测物理物体的至少一部分的行为中使用的监测单元。该监测单元包括：数据输入模块，该数据输入模块被设置成，用于接收与预定感测表面相关联的特定坐标系统中的、表示物理物体的至少一部分的行为的测量数据；和数字信号处理器，该数字信号处理器被设置并且可响应于所述测量数据操作，以将所述测量数据变换成虚拟坐标系统中的、所述物理物体的所述至少一部分的近似表达，以使所述变换保持虚拟点与所述物理物体的所述至少一部分内的对应部分之间的方位关系。这种技术使能将所述近似表达进一步格式化成特定电子装置的预定数据输入格式。

Description

用于监测物体行为的装置和方法
技术领域
本发明涉及用于监测物理物体的行为的装置和方法。
背景技术
已经开发出了用于监测物体行为的各种技术。一种类型的这种技术利用具有合适视野的一个或更多个成像器(摄像机)来跟踪物体位置处的物体运动。另一类型的这种监测技术利用接近传感器来跟踪物体邻域的物体移动。该接近传感器可以基于接触或非接触方位传感器(例如，所谓的“触摸型小键盘”，其中按预定次序排列了一系列按钮，并且针对每一个按钮提供预定功能)。接近传感器可以是能够提供有关该物体的运动的2D或3D信息的种类，同样可以利用用于方位检测和跟踪的电、磁、光、声机制。
一些已知技术例如在美国专利5543588和WO 07/017848中进行了公开。美国专利5543588描述了一种手持式计算装置，其包括具有两个相对主面的薄外壳。在该外壳的两个相对主面中的第一主面上设置显示屏，而在该外壳的两个相对主面中的第二主面上设置触敏物体方位检测器输入装置。计算装置电路、用于将触敏物体方位检测器界面连接至该计算装置电路的电路，以及用于驱动显示屏的电路全都设置在外壳内。WO 07/017848描述了用于确定有关于至少一个物体的信息的系统。该系统包括：对电容耦合敏感的传感器；适于在向该传感器输入至少一个信号时创建与该传感器电容耦合的至少一个物体；适于测量与该至少一个物体相关联的所述传感器的至少一个输出信号的检测器，其中，与该至少一个物体相关联的输出信号是物体信息代码。
发明内容
直接操纵方法使得能够以单个的人类动作到达显示器上的任何位置(刚好轻敲在目标上)，但它们受限于显示器应当位于与用户相距臂长距离这一事实。在多数情况下，该显示器是移动的。如果该屏幕固定(并由此在多数情况下垂直安装)，则当手不方便地保持悬空达较长时间时出现人机工程问题。间接操作没有距离限制，但需要用于到达目标的跟随动作：第一，方位化(通常通过将光标拖拉至所需方位)；第二，激活(通常通过诸如轻敲或悬停的预定触摸姿势)。诸如激活虚拟按钮的简单动作变得非常慢，并且不自然。
在触摸或多触摸接口变得标准化的情况下，其中显示器距用户较远的情况(如同其中TV距用户较远的标准客厅排布结构)成为针对多种多触摸应用的障碍。
在本领域存在针对用于远离物体位置地监测物体行为的新颖监测系统的需要。这种需要与下列方面相关联。通常的情况是，电子装置要利用典型数据输入方式输入用户数据/被用户数据控制，典型数据输入方式即可被装置识别的通过其数据输入工具(例如，基于键盘的符号排布结构)提供的方式。
例如，本发明人已经发现，近来开发出的便携式电子装置(例如，电话装置)的型号配备有现代设施(尤其包括外部接口)，允许将该便携式装置直接连接至电视机或主机计算机处恰当设置的连接端口，并且在它们之间执行数据交换。然而，这对于用户来说阻碍了(并且实际上使得不可能)通过该便携式装置实现数据输入。
因而，希望提供一种简单和性价比高的技术，使得能够在该便携式电子装置连接至主机时经由该便携式电子装置的远程操作来使用这种现代技术，或者按好像所述控制器连接至该主机的方式从远程控制器直接操作该主机。
因而，本发明提供了一种用于监测物理物体的至少一部分的行为的方法。根据这种方法，提供了表示所述物理物体的至少一部分相对预定感测表面的行为的测量数据，并且该测量数据被处理并变换成所述行为在虚拟坐标系统中的近似表达，所述变换保持虚拟点与所述物理物体的对应部分之间的方位关系。
可以将表示所述近似表达的数据发送至所述虚拟坐标系统的远程位置。另选的是，可以将所述测量数据发送至所述虚拟坐标系统的远程位置，使得能够在所述远程位置对所述测量数据的所述处理以将其变换成所述近似表达。所述数据发送可以包括无线信号发送，该无线信号发送包括IR、Bluetooth、射频(RF)、以及声发送中的至少一种。
在本发明的一些实施方式中，所述方位传感器装置的感测表面是接近传感器矩阵的表面。然而，一般来说，该感测表面不是有源感测工具的感测表面，而可以是另一感测工具(任何已知合适类型)所认为的、用于限定测量用坐标系统的基准表面。
这种方法还包括将表示所述近似表达的数据格式化成输入到特定电子装置中的预定格式的数据。
应当明白，表示物体(或其部分)行为的数据可以包括以下数据中的一种或更多种：物理物体的多个部分相对所述预定感测表面的方位；物理物体的多个部分相对所述预定感测表面的方位变化；物理物体的多个部分相对所述预定感测表面的运动模式。
提供表示所述物理物体的至少一部分的所述行为的所述数据的步骤可以包括利用连续检测模式和/或采样检测模式来检测所述物理物体的所述至少一部分的所述方位。
优选的是，本发明利用表示所述行为在三维空间中的所述测量数据。所述近似表达可以对应于所述物理物体的所述至少一部分在三维坐标系统中的所述行为。
所述变换可以包括确定表示每一个所述虚拟点与所述物理物体的所述至少一部分的每一个中的各对应部分之间的距离的数据；和/或表示一路径的数据，所述物理物体的所述至少一部分的方位相对所述预定感测表面沿所述路径改变。
所述方法还可以包括以下步骤：识别所述物理物体的所述至少一部分，由此允许选择性地生成所述测量数据。
在一些实施方式中，本发明还包括识别所述接近传感器矩阵邻域的噪声能量，并由此选择操作所述接近传感器矩阵。例如，所述噪声能量根据处于所述接近传感器矩阵的操作频率范围中或至少部分地交叠该操作频率范围的频率来识别，在该情况下，根据识别所述噪声能量来操作所述接近传感器矩阵包括通过防止所述接近传感器矩阵测量或者将所述操作频率移位至所述操作频率范围之外。
还应明白，所述物理物体可以与人体的至少一部分(例如，人手和/或手指和/或多个手指)相关联。所述近似表达例如可以包括：表示所述物理物体的所述至少一部分的形状的数据；和/或表示与所述物理物体的所述至少一部分相对应的图案的数据；和/或表示所述物理物体的至少一部分的阴影的数据；和/或表示所述物理物体的至少一部分的透明程度的数据。
在本发明的一些应用中，处于所述远程位置的所述坐标系统与显示单元相关联。
根据本发明另一广泛方面，提供了一种供在监测物理物体的至少一部分的行为中使用的监测单元。该监测单元包括：数据输入模块，该数据输入模块被设置成，用于接收与预定感测表面相关联的特定坐标系统中的、表示物理物体的至少一部分的行为的测量数据；和数字信号处理器，该数字信号处理器被设置并且可响应于所述测量数据操作，以将所述测量数据变换成虚拟坐标系统中的、所述物理物体的所述至少一部分的近似表达，以使所述变换保持虚拟点与所述物理物体的所述至少一部分内的对应部分之间的方位关系，由此使能将所述近似表达格式化成输入到特定电子装置中的预定格式数据。
根据本发明的又一方面，提供了一种供在监测物理物体的行为中使用的装置，该装置包括：上述监测单元，和方位传感器装置，该方位传感器装置连接至所述监测单元的所述数据输入模块，所述方位传感器装置限定所述感测表面和所述特定坐标系统，并且被设置为可操作以生成表示所述物理物体的所述至少一部分在所述特定坐标系统中的所述行为的所述测量数据。
如上所示，所述方位传感器装置可以包括接近传感器矩阵，该接近传感器矩阵能够按接触模式和非接触模式中的任一种模式或两者的组合来生成所述测量数据。
用于监测物体行为的所述装置还可以包括发送器单元，该发送器单元被设置用于向所述虚拟坐标系统的远程位置发送表示所述物理物体的所述至少一部分的所述近似表达的数据，所述数据按IR、Bluetooth、RF以及声发送模式中的至少一种来发送。另外或否，所述装置可以包括格式器工具，该格式器工具可连接至所述数字信号处理器的输出部或者连接至所述发送器单元的输出部，并且被设置为可操作以接收表示所述近似表达的数据并将所述数据转换成输入到特定电子装置中的预定格式数据。
所述方位传感器装置的所述接近传感器矩阵可以与要应用所述行为的所述近似表达的电子装置的小键盘相关联，所述测量数据表示用户的手指相对所述小键盘的符号的行为。
根据本发明的又一方面，提供了一种供在监测物理物体的行为中使用的装置，该装置包括：上述监测单元，和数据输入单元，该数据输入单元被设置来限定所述虚拟坐标系统，所述数据输入单元连接至所述数字信号处理器的输出部用于接收表示所述近似表达的数据。
类似的是，所述装置可以包括在所述数字信号处理器的所述输出部与所述数据输入单元之间互连的上述格式器工具。所述装置还可以包括信号接收器单元，该信号接收器单元被设置用于接收表示相对所述预定感测表面的所述行为的所述测量数据，并且采用IR、Bluetooth、RF以及声数据中的至少一种的形式，并且生成输入到所述数字信号处理器中的对应数据。
本发明在其又一方面提供了一种用于监测物理物体的至少一部分的行为的系统。该系统包括：方位传感器装置，该方位传感器装置限定感测表面和第一坐标系统，并且被设置为可操作以生成表示所述物理物体的至少一部分在所述特定坐标系统中相对所述感测表面的行为的测量数据；数据呈现装置，该数据呈现装置限定第二坐标系统；以及数字信号处理器，该数字信号处理器连接在所述方位传感器装置与所述数据呈现装置之间，并且被设置为可响应于所述测量数据操作，以将所述测量数据变换成所述第二坐标系统中的、所述物理物体的所述至少一部分的近似表达，所述变换保持虚拟点与所述物理物体的所述至少一部分内的对应部分之间的方位关系。
附图说明
为了理解本发明并且了解怎样可以在实践中执行，下面，参照附图，仅通过非限制示例的方式来对多个实施方式进行描述，其中：
图1A例示了根据本发明的、用于远离物体位置地监测物体行为的监测单元的框图。
图1B示出了通过图1A的监测单元执行的监测方法的流程图。
图2A例示了本发明一装置的实施例的框图，其中，图1A的监测单元并入能够用于感测物体邻域的物体行为的便携式电子装置内。
图2B是本发明的、用于远离物体行为所源自的位置地监测/跟踪该物体行为的系统的框图。
图3例示了利用本发明的电子装置的实施例，其中，图1A的监测单元并入要远离物体地根据物体行为控制/操作的装置中。
图4是本发明的、利用在远离物体的位置显示物体行为的系统的实施方式的例示图。
图5A至5D例示了本发明的、示出本发明怎样被用于远程跟踪物体行为的一些特征。
图6A至6E例示了本发明的、利用电容式触摸感测垫的四个实施方式，其中，图6A是具有电容式感测垫的示例性电路；图6B是等效电路的立体投影；图6C示出了分路电容构造；图6D示出了利用经由用户主体的信号发送的构造；以及图6E例示了电压测量与对接近感测矩阵的接近度的函数。
图7A和7B示出了电容式感测垫的排布结构的实施例(图7A)，及其电路的实施例(图7B)。
图8A和8B例示了用于改进高度映象图像的接近传感器矩阵的电场防护构造。
图9是利用按时间切换至同一电路的几个电容式感测垫的硬件优化的实施例。
图10例示了通过接近传感器矩阵中的分布式开关系统简化的硬件。
图11A-11D示出了应用至用于生成表示传感器矩阵邻域的物体行为的测量数据的传感器矩阵的输出部的处理技术的实施例。
图12是例示本发明的、用于处理测量数据以使能变换成所述近似表达的方法的流程图，该方法使用了使得能够进行物体独立处理的特征集。
图13A和13B示出了感测表面上的特定手情况和对应高度映象数据的实施例。
图14A-14B例示了利用手指尖端的跟踪信息的姿势识别技术。
图15和16示出了本发明的、利用测量数据的物体相关处理的另一实施例，其中，图15示出了手模型的实施例，而图16示出了以这个模型为基础的处理方法的流程图。
具体实施方式
对图1A进行说明，图1A通过框图例示了根据本发明构造为可操作用于监测物理物体行为的监测单元10的实施例。提供本发明用于远离物体位置地(即，远离要监测行为所源自的位置地)监测物体行为。监测单元10包括数据输入模块12和数字信号处理器14。
数据输入模块12适于接收来自方位传感器装置的测量数据16。方位传感器装置可以是已知的任何合适类型的方位传感器装置，例如，包括接近传感器矩阵。下面，利用包括接近传感器矩阵的该种方位传感器装置对本发明进行例示。但应当明白，本发明的概念不限于任何类型的物体方位检测。
该测量数据表示特定物理物体的至少一部分在与接近传感器矩阵相关联的第一坐标系统中的行为。该物理物体可以与个人的手或手指或多个手指的至少一部分相关联。物理物体的行为包含物体或其一个或更多个部分相对接近传感器矩阵的方位。接近传感器矩阵典型地包括一阵列(一维或二维阵列)或者通常包括多个间隔开的接近传感器的空间排布结构。典型的是，接近传感器矩阵包括按行和列(包括m行和n列)在感测平面或感测弯曲表面内排列的多个传感器，该感测平面或感测弯曲表面由支承该矩阵的基板或嵌入该矩阵的单个整体构件限定。传感器的排布结构限定了用于检测物体行为的第一坐标系统。
该接近传感器可以是能够在传感器邻域(即，传感器灵敏度区域内)定位与传感器相对的点或区域(确定其坐标或相对坐标)的任何已知合适种类的接近传感器。应注意到，这种定位优选地旨在确定3D位置，但通常可以利用2D位置方案，或者可以在2D与3D模型之间切换。还应明白，灵敏度区域可以处于距传感器为0的地方，该传感器由此是接触型或触摸型传感器；或者可以高于零，该传感器由此是非接触型传感器。该接近传感器可以以连续测量模式来操作或者利用特定采样模式来操作，以确定物体或物体的点的距离(或者通常为三个坐标)。如下面将进一步例示的，该接近传感器矩阵可以利用电容式接近传感器。这种传感器的构造和操作的原理本身是已知，并由此除了可以是所谓的“有源”或“无源”传感器以外不需要详细描述其它方面。指定种类的有源传感器在传感器邻域生成电场，并且在物理物体接近该传感器(其感测表面)时，产生电场变化，检测该变化并且用来表示物体相对所述传感器的位置。无源传感器通常类似于有源传感器，但不利用生成的电场，而是敏感于其邻域的(因物体的相对方位而造成的)外部电场变化。
对图1B进行说明，图1B例示了根据本发明的监测单元10所执行的方法。提供了表示物理物体相对特定接近传感器矩阵的行为的测量数据16(步骤I)。数字信号处理器14被设置为可响应于来自数据输入模块12的测量数据16操作。为此，处理器14典型地通过导线连接至模块12，但一般来说，这可以利用无线连接(例如，经由IR、RF、蓝牙(Bluetooth)或声信号发送)来实现。因而，该测量数据由监测单元的数字信号处理器14接收(步骤II)。如下所述，监测单元10可以与接近传感器矩阵、或者与要在其中呈现物体行为的远程电子装置一体化。数字信号处理器14操作以处理测量数据(步骤III)。数字信号处理器14包括预编程的变换模块18，该变换模块18用于将与预定第一坐标系统相对应的测量数据16变换成物理物体(或其至少一部分)在预定第二(虚拟)坐标系统中的近似表达(approximate representation)，并且生成表示这种近似表达的数据(步骤IV)。该变换例如要保持第二坐标系统中的虚拟点与被检测出的物体(其至少一部分/部位)在第一(物理)坐标系统中的对应位置/点之间的方位关系。应当明白，物理物体的近似表达对应于物体行为，即，物体的方位、方位变化、物体或其部分的运动等。
信号处理器14生成与物理物体的所述近似表达相对应的输出数据20。该输出数据20按这样的方式格式化：使监测单元能够数据连接至被设置成响应于这种数据的电子装置(例如，用于显示数据的电子装置)。
该监测单元可以是包括接近传感器矩阵的电子装置的部件，在该监测单元处，输出数据20被格式化，以向响应于物体行为的远程定位的电子装置进行无线信号传输；该监测单元也可以是响应于物体行为的这种电子装置的部件，在该情况下，该监测单元被设置成接收来自远程接近传感器矩阵的数据。换句话说，该监测可以被设置成在物体行为所源自的位置处监测物体行为，或者在远离所述位置的接收位置监测物体行为。
通过图2A、图2B以及图3中的框图对以上内容进行更具体的例示。
图2A例示了本发明的、供远离物理物体地监测物理物体行为时使用的装置30。该装置30包括彼此一体形成的上述监测单元10和接近传感器矩阵32。该装置30可以是一种用于控制另一电子装置的操作而使用的便携式(例如，手持式)电子装置。例如，适于将本发明并入其中的装置是电话装置(移动电话)、远程控制单元等。要被控制的装置可以是电视机、主机计算机等。这在图2B中进行了例示，图2B示出了由如上所述设置的并且旨在在要监测物体的邻域操作的输入装置30和主机电子系统40所形成的系统(总括地指定为600)。在本实施例中，主机系统40由计算机装置41A和可连接至该计算机的显示单元41B构成。
该系统600按下列方式操作：装置30的接近传感器矩阵(图2A中的32)操作以跟踪物体相对于传感器矩阵(即，感测单元32限定的感测表面)的移动(即，监测物体的行为)，并且生成表示该移动的感测数据(测量数据)。应注意到，传感器矩阵可以被确定所要跟踪的运动确实与要监测其行为的特定物理物体相关联的初始识别(例如，特定用户识别)所致动而进行跟踪。这种致动例如可以由用户启动。另选的是，该感测数据可以经历初始处理，以忽视“噪声”测量，并且选择被进一步认为是与特定物体相关联的测量数据。例如，该传感器矩阵执行高度测量并且允许识别用户的手指尖端位置和/或它们相对传感器矩阵(感测表面)的相应位置。装置30中的该监测单元(图1和2A中的10)生成合适格式的测量数据，以向主机计算机41A无线发送。因而，将用户相关行为信息(数据)发送至主机系统41A，主机系统41A响应于所接收信息并进而适当地操作屏幕41B以显示(呈现图像)这种运动或者根据用户行为在主机计算机中操作特定应用。针对本发明的目的，该主机计算机安装有接收工具/模块(软件和/或硬件)，其响应于该测量数据，并且能够识别该测量数据，好像该测量数据经由其常规数据输入端口直接输入主机一样。
应注意到，传感器矩阵与接合至AC电源或与AC电源相关联的致动器(未示出)相关联。AC电源将以特定频率或频率范围操作。该致动器被设置为可操作以识别处于相同或交叠频率范围中并且源自外部能量源的“噪声”能量。在识别出这种状况(存在噪声能量)时，致动器防止操作传感器矩阵，或者优选地进行操作以移位AC电源的操作频率。
还应注意，尽管没有具体示出，但该装置可以包括这样的发送器，该发送器能够接收数字信号处理器的输出，并将该输出转换成用于无线信号传输的合适发送媒体，如IR、RF、Bluetooth、声媒体。
还应注意，尽管未具体示出，但该装置可以包括格式器工具，该格式器工具视情况而定连接至数字信号处理器的输出部或发送器的输出部。该格式器被预编程成将所接收的数据转换成预定格式，该预定格式是要应用(例如，显示)物体行为的近似表达的、远程位置处使用的输入装置的数据输入格式的预定格式。
如上所示，该监测单元可以是主机系统的部件。这在图3中示意性地示出，图3例示了构成主机系统9的电子装置40，其旨在根据物体行为控制/操作和/或远离检测这种行为的传感器矩阵地显示该行为。这种情况下的传感器矩阵可以根据用户偏好便利地定位。装置40包括监测单元10和被设置成限定所述第二(虚拟)坐标系统的数据输入单元42。数据输入单元42典型地连接至所述数字处理器14的输出部，用于接收所述近似表达。装置40可以是显示系统和基于计算机的系统的部件，其适于例如远离媒体中心、家庭电影设备等地操作。
应当明白，尽管未具体例示，但情况可以是使得装置40配备有能够将无线类型媒体的传入数据转换成针对数字信号处理器的恰当输入的接收器单元。而且，装置40可能配备有根据装置40的输入单元42预编程的上述格式器工具。
下面，对图4进行说明，图4例示了利用本发明的原理的、用于显示表示用户手指运动的近似表达的数据的技术。示例性用户由此操作本发明的、用于显示表示所述近似表达的数据的系统。该系统总体地被配置为上述系统600，形成了并入有传感器矩阵并且可无线连接至外部计算机装置(例如，显示装置)的手持式装置，其中，本发明的监测单元并入手持式装置或者与显示装置相关联(并入或接合至)。因而，并入监测单元的装置可以是手持式装置30或显示装置40。
用户可以单手保持该装置，而他的另一只手/手指在手持式装置30上触摸、悬空或远离地定位。例如，手持式装置30中的传感器矩阵(未示出)检测手指尖端，并将表示它们的行为的经变换的测量数据(格式化以被显示)发送至远程屏幕装置40，或者将该测量数据(原始数据)发送至屏幕，在该屏幕处其变换成显示格式。在该图中，显示在该屏幕上的点403、403A、403B、403C以及403D对应于处于与装置30的传感器矩阵(感测表面405)相对的特定方位处的用户手指尖端。通过非限制例，点的颜色和/或亮度表示对应手指尖端的绝对高度或相对高度。因而，用户的手或手指行为可以在屏幕上近似地表示，并且因接近感测和运动数据变换而可以远离手/手指位置地跟踪手/手指的运动(或者，通常可以监测该行为)。运动数据变换要使得远程表面/空间上的近似表达保持用户的手的相应部分之间和相对感测垫的方位关系。可以跟踪这些点以检测姿势或执行选择等。
该应用可选为基于计算机的系统(或主机)，如固定显示器402(在多数情况下，相对较大)所连接至的媒体中心、视频游戏台或常规PC，并且可选地与用户401相对较远地放置，该用户401利用他的、处于装置表面405上方的手指404与该系统相互作用，该装置表面405可以检测较远高度的多个手指并且例如可以发送用户手指、手掌、手或其任何部分的行为。通过一实施例，显示器402提供用户手的近似表达。该表达包括用户手的五个部分，即，手指尖端表达403、403A-D。可选的是，所表达的每一个部分都通过可视表示(如颜色、形状、轮廓或图案等或其任何组合)来独特识别。另外，一个或更多个部分的距离可以用颜色、形状、轮廓或图案等或其任何组合来表示。手指的行为可以包括以矢量空间中的3D坐标表示的手指尖端的方位、手指尖端(或手掌等)的相应高度、所识别出的姿势(包括3D空间中的运动姿势)、高度映象图像表达，用户手指的相对定位可以包括所监测手指的立体图。
例如，图4例示了用户手的几个部分与其它部分相比更靠近接近传感器矩阵。在这个实施例中，中间手指部分403a和403b通过更暗的颜色指示而表示为更靠近接近传感器矩阵。
所监测的行为还可以包括用户手的其它部分的相对定位。手指的行为可以发送至主机，在一个实施方式中，所述主机显示所接收的行为。在主机上执行的专用模块可以按使得用户能够看到下面的原始图像的方式，来在原始图像上交叠地显示物理物体(如手指部分)的行为并且出于用户交互和控制的目的而使用每一个手指的行为信息。例如，在这个方面可以想象在屏幕原始图像上的用户手指尖端的行为的半透明显示。在一个实施方式中，本发明的装置或系统向基于计算机的系统无线地发送手指行为。有线的或无线的接近传感器表面也包括在本发明的范围中。该主机可以可选地与基于计算机的系统通信。
不是仅仅识别手指尖端的触摸(或者具有非常靠近的接近度的悬空检测)，本发明还提供了将用户手的行为变换成用户手或其任何部分在坐标空间(可能为3D空间)中的近似表达，这例如将客厅场景下的常规控制装置改进到了农机工程和设计的新的程度。
所检测的手指和手在距感测表面405相当距离时还可以被监测(或者，例如显示)为所显示图像顶部上的多个符号403或图像。该距离可以从0至3cm、1至4cm、1至5cm、2至5cm、2至6cm，以及3至7cm变动。本发明的装置和感测表面405可以激活可以可选地显示的任何形状、大小、取向或图案的虚拟物体、按钮或特征。因而，允许在近似表达中诸如手指的物理物体的一个或更多个部分的表达或显示可以以接触或非接触(相对感测表面的零接近度)模式定位在虚拟物体、按钮或特征上。另外，监测的物体的行为包括用于拖拉、移动、操纵(根据姿势)、缩放、3D旋转以及全方向扫视显示在显示屏上的那些虚拟物体的接触运动和非接触运动或较远移动。在这个方面，术语“触摸”和“悬空”分别与“接触”和“非接触”相互交换地使用。在一些实施方式中，可以在3D坐标系统中监测拖拉、移动、操纵、作手势以及其它特征。另外，预定的手的姿势可以被用于选择预定或编程动作。这些姿势可以朝向或不朝向特定的显示物体。
视频、音频以及感官反馈被用于表示物体及其任何部分的行为；该反馈可以表示检测的触摸或非触摸操纵、悬空行为、远离行为、拖拉、作手势等。
用于近似地表示物理物体的多个部分(如用户的手和/或手指)的另一可能方式可以利用随所监测的物理物体的行为自适应变化的其轮廓、相对方位以及/或形状。可选的是，该表达的尺寸可以随着所监测的物理物体变得更靠近感测表面或被拖离感测表面而增加或缩减。
根据本发明，变换保持虚拟点(在远离物体位置处所使用的那些虚拟点)与在该物体邻域感测到的该物理物体的多个部分的对应视点之间的方位关系。因而，又一可能实现可以利用形状、大小或其它效应(可视的或其它方面)，来提供保持被监测的物理物体的多个部分的相对定位的物体表达。
应注意到，本发明不限于特定数量的点(视点或虚拟点)。一般来说，这可以根据传感器矩阵中的传感器数量来限定，或者还可以通过恰当的插值算法来限定(这增加了点数)。
在一些实施方式中，方位关系包括从物理物体的对应部分到感测表面的距离。另选的或者另外的，方位关系包括物理物体的两个或更多个对应部分之间的距离。换句话说，该方位关系包括物理物体(立体)的对应部分的空间(容积)排布结构和虚拟点的对应排布结构。该方位关系还可以表示以下任一个：(1)物理物体的哪一(些)部分最靠近接近传感器矩阵；(2)物理物体的哪一(些)部分最远离接近传感器矩阵；(3)表示物理物体的多个对应部分的比较数据，即它们之间的最靠近邻近部分。应当明白，传感器矩阵能够生成测量数据，该测量数据可以被处理以获取3D表达，由此允许对物理物体的至少一部分进行深度感知。
在一些实施方式中，监测单元的处理器被预先编程，以向物理物体的多个部分分配典型几何结构、形状、图案以及/或标记。它们可以具有虚拟坐标系统中的方位(3D)。
该近似表达可以利用投影到呈现在投影表面(例如，显示器)上的预定图案(所谓“原始图像”)上的虚拟点。该预定图案可以在本发明的不同应用之间改变。例如，针对用户手的行为(包括触摸、悬空、3D姿势、旋转等)，用户的手可以按接近度表示为具有两个不同符号或形状(或其它可视外观)的专用光标。该专用光标或其它表达可以反映用户手的一部分与感测表面的距离。该表达可以采取所监测的物体的距离、立体图、取向、分段的可视外观特征的形式。例如，悬空物体可以被显示为所照明的图像中的、随着其变得越来越靠近感测表面而变得越来越亮的物体。照明效果可以按光强度连续地或步进式改变。
另一可能方法可以利用随着物体变得越来越靠近该表面而变得越来越小的自适应的形状和/或尺寸(反之亦然)。本发明由此提供了针对虚拟特征或点的改进目标化专用光标。
下面，对图5A至图5D进行说明，图5A至图5D例示了适于在本发明中使用的、用于生成感测数据和对应变换数据或近似表达的技术。如图5A所示，用户一只手的手指501位于感测表面520上方，而另一只手的手指502接触(触摸)感测表面520。手指部分501位于相对感测表面的特定非零距离处，而手指部分502位于零距离处。图5B示出了与传感器矩阵生成的测量数据相对应的高度映象图像数据。不同高度值可以用感测表面520处的物体的点(501′处)的亮度变化来表示。图5B所示的数据由此对应于利用接近传感器矩阵通过接近测量所获取的3D测量数据。该数据接着被变换成所监测的物理物体的近似表达。如上所示，这种变换通过接近矩阵侧或远程显示器侧的处理器来执行。如图5C、5D所示，所计算出的手指尖端位置(变换结果)呈现在远程屏幕上。在图5C中，该呈现利用不同颜色(灰度级或透明级)来例示3D空间中、相对感测表面的并由此相对该屏幕的、与物体的多个部分相对应的虚拟点(不同高度值)。这里，利用半透明符号504、504a-d以及505在预定图案顶部(背景标注)上执行物体的近似表达。在需要到预定图案的最小图形接口的情况下，这种可视技术可以被用于更好地目标化和控制可视特征或物体。透明级可以表示高度/接近度。通过非限制例，因为手502比手501更靠近感测表面520，其相应符号505(表示手指尖端部分)与表示手的手指部分501的符号504相比不太透明。图5D例示了用于显示与图5B所示相对应的测量数据的近似表达的另一可能显示技术。这里，将立体图像506拉伸并且放入原始屏幕图像(背景标记)。所显示(已转换)数据506中的虚拟点的方位关系对应于感测表面邻域的物体的多个部分/点(即，在本实施例中，真实手指和其它手部分)之间的方位关系。
应注意到，本发明可以在各种应用中使用。例如，本发明可以被用于在虚拟域(或虚拟坐标系统)中近似地表示物理物体并且使用这种表达来控制和可选地操纵虚拟物体。在一些其它实施例中，所发明的技术可以被用于利用虚拟显示小键盘来实现键盘；以及利用单个或多个触摸姿势、书写/速写垫、可以被用于激活和控制的3D姿势装置、被设置用于识别物理物体(例如，用户手的手指)的特定部件/部分的姿势来激活特征。
反映物理物体行为的近似表达的虚拟坐标空间或显示中的面积和立体图可以根据特定应用而动态自适应。例如，当被用于移动光标时，该显示器可以被用于反映所监测的物理物体的近似表达。可选的是，当被用于在虚拟3D键盘上键入时，该显示器可以按与虚拟键盘的相对关系来反映物体的表达。应注意到，其中并入传感器矩阵并且限定了感测表面的输入装置中所使用的技术可以是任何已知合适类型的。传感器矩阵与其内建或接合至的处理器一起利用合适的处理工具(硬件和算法)，来获取如上参照图5B的实施例所述的接近/高度测量或映象图像。传感器矩阵可以利用电容式接近感测表面。在这种情况下，该矩阵由传感器垫的阵列(例如，2D阵列)形成。
电容式接近传感器矩阵能够提供Z维度(接近/距离测量)和沿矩阵平面(X、Y)或感测表面的方位。电容式方法被广泛用于各种应用中，尤其是其中要在极端环境条件(光照破坏、机械应力等)下跟踪方位/运动的那些应用。电容式方法的原理本身是已知的并且不形成本发明的一部分。这种方法可以被有利地用于本发明的手持式输入装置，因它们使得该装置能够简单、紧凑并且性价比高。
基于电容式传感器的感测表面充分利用物理主体来实现电路电容的变化。在这一点上，对图6A-6D进行说明。图6A例示了传感器矩阵的感测垫603及其关联电路。如图6B所示，由导电材料制成的垫603呈现了电容器604的两个板中的一个。垫603放置在由接近感测矩阵所限定的X-Y感测表面中的已知2D位置处。
当用户手指601更靠近垫603时，其创建对地的板电容器。手指越靠近感测垫603，在604处测量出的等效电容就越大。电连接至感测垫603的电源602可以是AC电源。该等效电容越大，其施加的阻抗就越小。因而，所测量AC信号的量值(即放大器605的输出)同样减小。另选的是，电源可以是DC电流源。等效电容越大，固定充电周期结束时所测量电势就越大。如在图6D中所例示，可选的是，接近传感器垫的电源接合至用户主体(例如，当用户拿着接近传感器部分时，可以确保这种接合)。手指越接近垫，垫处的电场就越强，并由此电压测量增加得就越高。电路部件将以相同电势来参照，并由此增加测量灵敏度。
图6C对应于其中使用已知为“分路电容”的技术的实施例。激励(电)源611连接至生成针对接收器垫613的电场的发送器垫612。在接收器垫613处测量的电场线614被转换成电压测量。当手指615或其它接地物体与电场相干扰时，一些电场线被分路至地而未到达接收器垫。因而测量电压减小。
针对每一个传感器矩阵部件(针对每一个垫)，描述信号量值或电势与相对于感测表面的距离/接近度的相关性的函数通常可以是已知的，例如在校准过程中确定的。图6E例示了这种函数的实施例。这个实施例对应于针对电容测量的电压与高度函数，其中，电源是AC电压源并且电路参数如下：电源频率F为400KHz，电源的电压V为1V，电阻器R为1MOhm，空气介电常数ε0为8.85e-12、板面积A为64μm，板间距离d从1至30mm改变。电容器上的测量电压Vcap通过分压器公式得出：
Vcap＝V·jXc/(jXc+R)
其中，Xc是电容器阻抗。
利用板电容器公式，这可以展开成：
Vcap＝V·[d/sqrt(d2+(2π·F·R·ε0·A)2]
因而，利用作为距离/接近度的函数的用于测量信号的校准曲线，可以推断出物理物体(例如，手的手指部分)与感测垫的距离。利用基于AC电压的配置，物理物体的接近度可以根据测量信号的相位变化来确定。
应注意到，受影响电容可以是低通滤波器的一部分。所测量相位是等效电容的函数，即，高度和接近度的函数。如果使用这种配置，则必须获知或推断出AC电源相位，以便计算相移。可选的是，相位和量值都被用于计算高度或接近度。
方位数据的第一级或低级处理旨在获取采用所谓“高度映象图像数据”的形式的测量数据。这可以在传感器矩阵单元处或所述处理器单元处的数字处理单元(DSP)或监测单元的也执行变换的计算机模块中来完成。如上所示，监测单元同样可以是并入传感器矩阵的输入装置的部件，或者可以是远程电子装置(例如，显示器)的部件。相同或不同DSP由此可以确定表示物理物体的在接近传感器矩阵的邻域并相对接近传感器矩阵的行为的数据，生成表示该行为的测量数据，并将该测量数据变换成虚拟坐标系统中的近似表达。该近似表达可以是或不是所谓“立体”表达。
存在针对感测垫阵列的、适用于本发明目的的许多可能排布结构。然而，出于简化目的，下面，仅对特定但非限制性的示例进行描述。
在这一点上，对图7A-7B进行说明，图7A和7B分别示出了2D传感器矩阵排布结构701和相关电路。每一个感测垫706都具有模拟放大器702。AC电源信号707被提供给电路。放大器输出通过模拟数字转换器703来采样，并将样本传递至CPU704，供进一步分析。在一些实施方式中，信号源(供电电压信号)由正弦波或方波振荡器生成，并且通过对样本进行离散傅里叶变换(DFT)来获取量值测量。DFT方法是本领域已知的，并且不需要详细描述。在一些其它实施方式中，通过硬件将电容测量转换至DC电平。放大器702的输出被整流和过滤成成正比于输出量值的DC电平。这可以在采样过程之前来执行。
可选的是，具有几个输入信道的模拟数字转换器703可以被用于支持几个放大器。这个实施例中所需放大器的数量根据感测表面的表面积来限定。可选的是，使用几个处理器(CPU)，各CPU用于该装置的不同表面区域(不同垫组)。处理结果经由发送器705来发送。
可选的是，电容式数字芯片被用于估计与各感测垫相关联的电容。
对图8A和8B进行说明，图8A和8B示出了适于在本发明中使用的接近传感器单元的构造和操作的实施例。如图8A所示，当将电压信号811施加至感测表面(例如，单个垫的感测表面)812时，电场线813在所有方向传播，即电场线分散。这增加了传感器(垫或整个矩阵)的“视野”或“感测区”，使得能够感测未与感测表面精确对准的物体。例如，位于空间区817邻域的诸如用户的手的物理物体可能被检测为表示区段819处的物理物体的电信号。从而，出现方位偏差821并且模糊了从感测表面提取的方位信息。偏差821可以通过利用环绕感测表面的框来防止或大致消除。这在图8B中进行了例示。
如图所示，框854由(至少部分地)环绕接近传感器矩阵的感测表面(例如，垫)的一种或更多种导电材料制成。接近传感器矩阵和框电连接到可以是DC或者AC电源的电源单元851和855。通过流过电压源855的电流，电场853更加集中或更加平行。通过利用这种技术来读出，方位和高度读取都更加准确。在将被框包围的感测表面用于获取高度映象的情况下，所获取图像更加准确。结合感测表面(垫)使用框还消除了手持装置的影响。为了如图8B所示操纵电场，感测表面的背面和侧面被导电框854包围，该导电框854被电源855施加与感测垫本身被施加的电压相同的电压。因为框(防护装置)和感测垫之间不存在电位差，所以它们之间不存在电场。结果，感测垫旁边或后面定位的任何导电物体(例如，把持该装置的手)将与防护装置而非与感测垫形成电场。至于感测垫，仅其未被防护的表面区域被允许与导电物体创建电场。
另外或者作为针对使用包围矩阵的感测表面的导电框的另选例，可以使用另一技术，依据该技术，感测矩阵中的每一个垫都被其它垫(充当上述框)包围，这提供了基本上类似的更加集中的场线。这种效果通过同时从所有垫发送或感测而产生。包围特定感测垫的垫充当所述特定感测垫的“电场防护”。可选的是，上述框的侧面利用电路夹层通孔(贯穿PCB层的传导孔)来实现。
转回至图7A和图7B，与每一个感测垫706相关联的硬件电路包括：放大器702、A/D转换器703(或A/D通道)、以及到CPU 704的接口线。该放大器和A/D转换器也被称为“感测垫接口”或“接口”。在一些实施方式中，在可能需要高分辨率接近传感器矩阵，并由此需要该矩阵中的感测垫的数目更多的情况下，需要减少接近传感器矩阵中接口的数目。
图9描述了适于对感测垫阵列进行读取的时分方法的原理。一组感测垫901(2个垫或更多垫)连接至单一接口903。在一指定时间，仅将来自该组的一个感测垫连接至该接口。这可以利用开关902来完成，开关902的状态对于CPU(图7B中的704)是已知的。组901的规模限定了所需接口的总数。组的规模越大，所需接口数就越少。
本领域已知的、适于在本发明中使用的另一技术是频分。两个或更多个感测垫901可以同时连接至公共接口，分别以相互正交的频率激励。在这种实施方式中，两个或更多个垫可以同时通过相互接口来处理。结果，该接口生成信号的总和。因为正交，所以每一个频率都可以与该总和分离或分离地分析。每一个频率分析的结果与该频率分析结果所源自的对应垫相关联。
当使用很多的感测垫(例如，几百或几千感测垫)时，信号线的布线和开关控制线更复杂。为了简化这种情况下的布线，可以使用所述多个感测垫的另一排布结构和操作。这在图10中例示。这里，多个垫(一般性地表示为1002)被排列得接合至公共接口1004。使用分布式移位寄存器方案1005，以易于获取希望的时帧，在该时帧期间，每一个垫都分立地接合至该接口，由此允许在不同时帧/时隙经由相互接口对多个感测垫进行测量。
如将详尽阐述的，除电路布线的简化和灵活性以外，还存在针对这种构造的另一优点，该优点可以在将电容转换至DC电平的实施例中利用。线1001经由感测垫附近的、这些感测垫的相应开关1003来连接这些垫，并且连接至接口1004。开关1003由分布式移位寄存器来控制。在一非限制例中，分布式移位寄存器经由D型触发器1005来实现，该D型触发器1005的构造一般地是提供本文所说明功能的任何触发器排布结构。各D型触发器1005(移位寄存器的一个组件)接近感测垫地定位。作为一例示性实施例，将脉冲1006提供给第一D型触发器1020将导致第一垫电子地接合至接口1004。下一个时钟脉冲1007效果是仅将第二垫接合至接口，依此类推。这个实施方式的优点之一是消除了针对任何中心切换单元和复杂路由或布线的需要。在一种构造中，该路由可以在单一层中完成。
在一些实施方式中，电容测量通过获取与电容有特定关系(例如，成比例)的DC电平来执行。图10所例示的排布结构利用了用于综合测量的整个刷新周期时间。这增加了电容测量的灵敏度。即使在特定垫未接合至该接口的时间期间也获取该测量。因此，可以将整个刷新周期时间用于并行获取针对所有垫的接近测量。刷新周期时间在这个情况下意指为更新高度映象图像所需时间。利用图10所例示排布结构，可以在综合时间结束时非常快地读取所得DC电平。
硬件和DSP算法按根据为确保稳定测量所需采样时间、和感测垫的组规模而确定的速率，进行物体在感测表面的平面中的2D定位和接近(距离)测量。例如，如果为稳定测量所需采样时间为T，而组的规模为N，则刷新率大约为1/(T·N)。为稳定测量所需时间T例如可以大约为1msec，但可以采用其它时间间隔。如果感测表面包括1000个感测垫，并且组的规模为N＝10(即，100个感测垫接口)，则刷新率为100Hz。
下面，对图11A-11D进行说明，图11A-11D示出了应用至传感器矩阵的输出、用于生成表示传感器矩阵(即，传感器矩阵的坐标系统中)的邻域中的物体的行为的测量数据的处理技术的实施例。接近传感器矩阵中感测垫的感测表面积限定了垫的灵敏度区域的边界。在特定实施方式中，该表面积处于9mm2-400mm2、36mm2-400mm2、81mm2-400mm2之间，甚至比400mm2更高。增加每一个垫的表面积允许检测更远物理物体，或者换句话说，允许增加灵敏度区域。该距离可以在0至3cm、1至4cm、1至5cm、2至5cm、2至6cm、以及3至7cm之间变动。增加垫的表面积还能缩减能量消耗和硬件复杂性。另一方面，感测垫的扩展灵敏度区域导致X-Y平面中的分辨率测量更低(更低分辨率的高度映象)。图11A是位于接近传感器矩阵上方的手的高分辨率映像图像。图11B是可从作为利用具有扩展表面积的感测垫的结果而具有相对低分辨率的传感器矩阵获取的低分辨率映像图像。因此，物理物体的行为不能利用简单图像处理算法来提取。
本发明人已经开发出了用于检测物理物体的姿势或其一部分的位置的新颖处理方案。对图12进行说明，图12例示了这种处理方案1200。在一特定实施方式中，物理物体是用户的手并且其部分是手指尖端。该处理方案利用所监测的物理物体的模型，例如用户手的模型。该模型考虑到对所监测或跟踪的物理物体进行参数化。接近测量1205(即，接近传感器矩阵的输出)例如采用先前在图11A-11D中例示的高度映象的形式来提供。
通过非限制例，手模型是预定参数的集合(或特征集)。该特征集的值对应于手特定状态、构造、姿势以及/或方位。图11C和11D例示了这种特征集的实施例。图11D提供了手模型，根据此手模型，用多达五个手部分表示该手。根据这个模型的手部分描述了手掌和该手的每一个特定手指。具体来说，拇指、食指、中指、无名指以及小指。该手上这五个手指被用于表示用户手的行为。
本领域技术人员应当清楚，手模型可以包括手部的任何子集，包括但不限于拇指、食指、中指、无名指以及小指。例如，作为预定参数集合(或特征集)值的预定手模型可以表示手空间状态。如下面更进一步具体描述的，该模型可以被选择成使得能够“物体独立”地解释物体相关测量数据，以提供物体行为的近似表达。图11D例示了这种特征集的实施例。矢量空间的原点设置在(所跟踪)腕部1170处。所提取参数是表示手掌方向的矢量与通过(所跟踪的)手指尖端位置的矢量之间的角。一般来说，手模型可以包括手掌、食指以及中指。在一些其它实施例中，可以利用手部的其它选择。具体来说，手模型还可以包括手掌方向1190。手掌和四个手指可以在手掌上折叠，其允许抓握虚拟物体等。
下面是本发明的“物体(用户)独立”数据处理工具的操作的具体而非限制例。
图11D例示了手模型，其中，该手用手掌1170和全部五个手指(即，食指1130、中指1140、无名指1150以及小指1160)表示。该模型包括手掌与各手指之间的距离(或距离范围)。该模型还包括例如针对手掌与各相应手指所绘制的距离线之间的可能和实际角。
在一些实施方式中，如图11D的实施方式，手的原点定义为腕部。由此可以跟踪手的原点。所提取参数可以是表示手掌方向1190的矢量/线与所绘制的手掌1170和各手指尖端位置1120、1130、1140、1150以及1160之间的矢量/线之间的角1180。在一些实施方式中，根据例如在图11B所示的高度(接近)测量或高度映象信号强度中提取手指尖端位置和手掌。在一些实施方式中，手模型假定手姿势使得手指尖端与手掌原点相比，通常更靠近接近传感器矩阵，并由此信号强度表示手指尖端的位置。
在一些实施方式中，识别物理物体的一部分的方位和接近度需要过滤方位(X、Y)和接近(Z)测量。
转回至图12，在一些实施方式中，在获取输入信息1205之后，可能希望增强图像1230的质量并且通过应用噪声过滤来执行。另选的是或者除此以外，执行偏移和漂移校正。本发明中的噪声缩减可以通过计算从感测垫所获取的测量的平均值来执行。典型的是，读取每一个传感器垫可以针对多个测量而平均化。
处理方案1200还包括从输入数据1205中提取信息的过程1240。该输入还可以被处理成提取所监测的物理物体的特征。所提取的特征可以被称为特征矢量或特征集。这些特征是物理物体模型中的每一个组元的测量。这些测量可以是连续的或被量化的。特征矢量的组元可以是物体一部分的方位。
一种可能的物理物体是用户的手，在该情况下，所提取的特征可以是图11D的实施例中所例示的特征(表示手掌方向1190的矢量/线与所绘制的手掌1170和可观察的手掌的手指尖端位置之间的矢量/线之间的角1180)。本领域技术人员应当明白，针对每一个应用，考虑合适手模型或合适物理物体模型。手掌位置和手掌方向特征可以从接近测量或所获取的增强图像中来提取。按这种方式，可以获取针对基于手的模型的特征集的值的测量。PCA(主要组件分析)可以被用于测量图11C所示的手掌方向1190。在第一阶段，物理物体被分配有该物体的多个部分(或点)的位置。在第一阶段之前和/或之后，可以根据低分辨率映象(例如，图11B的分辨率映象)计算对物理物体的位置的估计，物理物体如可观察手指尖端(处于传感器矩阵的灵敏度区域内)或手掌。
可选的是，可以通过寻找最高局部最大值(即，物理物体的、被检测为最靠近接近传感器矩阵的部分/点)来执行对所监测物体的多个部分的位置的估计。在一些其它实施方式中，应用聚类算法来确定具有类似亮度模式并且可选地遵循几个规则的群类。这些规则可以是限定到所监测物体的边缘或可接受限制的尺寸和接近度的规则。
图13A-13B示出了聚类结果的实施例。图13A示出了感测表面1301上方的用户的手1302。图13B示出了所获取的对应接近映象图像1303，以供进一步处理。应用分段算法，其寻找具有类似高度/接近度或图案的像素(感测垫)区段(例如，虚环所标记的区段1304、1305以及1306)。接着，可以计算质心。
本发明人已经发现，利用如图11D所示的基于角的特征集使得可以确定手状态或姿势。应注意到，角特征被发现是“用户独立”的。
应当注意到，特征矢量中的组元数(如所找到的角的数量)可以改变。该特征矢量中的组元数对应于(等于)可观察的手指的数量。
转回至处理方案1200，执行跟踪过程1250，以跟踪所监测的物理物体。
跟踪过程1250可以包括寻找所监测的物理物体的接近姿势。典型的是，该姿势包括准确定位物理物体的一些部分。如果物理物体是手，则该过程的输入是在前一阶段中所提取的特征集和可观察手指尖端部分。该跟踪过程具有两个子步骤：
1)用于寻找最佳地配合测量的手姿势的过程。这个过程同样由两个组元组成：
a)寻找(在特定高度之下并且在所关注区域(ROI)内)可见手指的标记。在这一点上，使用经训练HMM(隐藏马尔可夫模型)，其原理本身已知，并由此不需要详细描述。该模型包含32种隐藏状态，每一种都表示可视手指子集的标记(五个手指中的每一个都可能可见或不可见，由此需要32种状态)。这些观察是上述所提取特征集(例如，量化角)。这些状态与观察发射概率之间的转移概率根据HMM训练例程离线训练，以适应典型手运动。
搜索当前隐藏状态通过以在线方式运行维特比搜索(Viterbi Search)来完成。考虑当前观察以结束一系列观察，据此，寻找维特比路径(具有最大概率的路径)。选择所希望的隐藏状态作为这个路径的最后状态。应注意到，使用HMM模型使得可以考虑到在垂直于手掌的水平面上拇指典型地能够旋转90°，而相反，其它手指仅可以以更加受限的方式旋转。该模型可以典型地包括骨头尺寸，可选地用手指尖端与手掌之间的距离来表示。
b)将标记匹配至所指定尖端方位。设L为指定标记的先前方位矢量；C为没有标记的当前方位矢量。在L与C之间构建全二部图。使用Hungarian方法来寻找L与C之间的最佳匹配，其中，目标函数是距离的最小和。根据所得匹配指定标记。可选的是，L包含预测位置，以代替用于稳定匹配的位置。可选的是，根据下面描述的Kalman过滤器来指定预测。
2)用于通过过滤来平滑方位的过程。利用质心或插值根据高度映象图计算出的尖端方位因噪声而非常粗略。在一些实施方式中，通过对历史位置平均化来完成平滑，其中，针对历史位置指定的权重随着速度的增加而减小。在一些其它实施方式中，通过Kalman过滤器来完成平滑。状态转移矩阵通过以下获得：
X t + 1 V t + 1 A t + 1 = 1 Δt Δt 2 / 2 0 1 Δt 0 0 1 * X t V t A t
其中X代表方位，V代表速度，A代表加速度，而Δt代表t与(t+1)之间的时差，其对应于刷新周期时间。
该矩阵对应于恒定加速度运动。尽管人类行为中的加速度典型地不恒定，但Kalman过滤器允许将加速度变化模型化为白噪声。
图12的上述实施例对应于所谓的“物体独立”处理技术。下面是参照图15和图16描述的“物体相关”处理方法的实施例。
这种技术利用其行为被监测的特定用户的特征值的学习期。手1501被分解至具有用户特定尺度并且在学习期测量的矩形1502集合。各矩形表示特定手部并且具有用于调谐的几个参数。这些参数描述了矩形空间姿势，例如，手掌矩形1503具有6个参数：x、y、z、alpha、beta以及gamma(6个自由度)，并且每一个指骨1504都具有涉及其起源关节的一个或两个空间角(取决于其原点是手掌还是指骨)，例如，针对指骨的矩形1507的角1506(由此，指骨的矩形仅具有一个或两个自由度)。总体上，存在描述手姿势的有限参数集。
该处理技术调谐如图16中例示的那些参数。指定初始猜测(下面将进一步详尽阐述)，通过其，生成对应高度映象图。这种生成根据电场模型来完成。利用某一指标(例如，欧几里德)来比较这样生成的高度映象(“虚拟”高度映象)与实际测量高度映象(如从输入装置接收到的)，以给出误差结果，根据该误差结果引导参数搜索优化程序(例如，下坡单形)向对应于当前的、真实手姿势的最佳参数的值调谐所述猜测。该搜索保持迭代，直到参数修改足够小为止。
初始猜测越靠近最佳值，搜索的收敛就越快。因此，采取该猜测作为以前手姿势参数。因为手的行为是连续的，所以这种猜测更靠近最佳值，并且收敛性在几个步骤内完成(排除没有历史要依赖的第一搜索)。这也可以通过需要来自用户的初始手姿势而解决。
这种方法适于通过其中常规图像处理不足的低分辨率图形监测行为的情况。
应注意到，用户相关和独立方法保持每手指一独特ID，其既不随着时间也不随着不同期间而改变，例如，小指总是获得ID“1”，食指总是获得ID“4”等。这使能实现针对手指特定姿势的平台。
本发明可以利用姿势识别，根据姿势识别，检查所跟踪的ID的轨迹。如果一个或更多个轨迹遵循与一些姿势相关联的预定模式，则生成对应数据。图14A-14B示出了实施例。在图14A中，测试出点1402和1403的两个ID集与“缩小”姿势1401的一致性。如果两个ID轨迹的原点闭合(例如，点1404与点1405之间的距离小于2cm)，并且轨迹方向(例如，1402和1403)彼此接近180度，则生成缩小姿势。在图14B，测试出点的一个ID集与“OK”姿势1406的一致性。如果由两个连贯点(例如，1408)形成的区段的方向在角范围内，直到特定点1407，从该特定点1407，由两个连贯点形成的区段方向在另一角范围内，则生成“OK”姿势。其它简单形状轨迹可以利用霍夫变换来识别。更复杂的姿势识别可以使用手写识别领域已知的统计学习方法，如HMM(隐藏马尔可夫模型)。一些提到的方法可以通过考虑代替2D空间的3D空间中的方向和长度而扩展至3D姿势识别。
还应注意，方位传感器矩阵可以在从传感器起的视线内利用用于感测物理物体触摸的触摸传感器(触摸型接近矩阵)和标准摄像机。在这个实施方式中，手图像在悬空在传感器上时被隔离，将这个图像变换至触摸传感器的坐标系统。这个图像被用于表达物理物体，并且将触摸传感器用于在触摸和悬空之间进行辨别。
一般来说，摄像机可以与接近矩阵传感器组合使用。摄像机的视野与针对用户手和诸如平坦表面的预定物理物体的视线相交，并且处理模块/工具能够监测并解释与预定物理物体相对的手行为。使用组合的成像器和触摸型接近传感器矩阵可能被用于使能/改进与3D坐标系统相对应的测量数据的生成。
本发明除了如上所述的物体行为监测以外，还可以测量物理物体的一个或更多个部分对触摸型传感器进行按压的效果。这可以通过在接近检测器矩阵的顶部上添加由诸如硅的柔性材料制成的柔性层来完成。这样，可以将小于柔性层的宽度的所有测量高度变换成压力值。

Claims (36)

1.一种用于监测物理物体的至少一部分的行为的方法，所述方法包括以下步骤：
(a)提供表示物理物体相对预定感测表面的行为的测量数据；
(b)处理表示所述物理物体相对所述预定感测表面的所述行为的所述测量数据，并将其变换成虚拟坐标系统中的、所述行为的近似表达，所述变换保持虚拟点与所述物理物体的对应部分之间的方位关系。
2.根据权利要求1所述的方法，所述方法包括以下步骤：将表示所述近似表达的数据发送至所述虚拟坐标系统的远程位置。
3.根据权利要求1所述的方法，所述方法包括以下步骤：将所述测量数据发送至所述虚拟坐标系统的远程位置，并且在所述远程位置进行将所述测量数据变换成所述近似表达的处理。
4.根据权利要求2或3所述的方法，其中，所述发送包括无线信号发送，该无线信号发送包括IR发送、蓝牙发送、射频(RF)发送、以及声发送中的至少一种。
5.根据权利要求1至4中的任一项所述的方法，其中，所述预定感测表面是接近传感器矩阵的表面。
6.根据权利要求1至5中的任一项所述的方法，所述方法包括以下步骤：将表示所述近似表达的数据格式化成输入到特定电子装置中的预定格式数据。
7.根据权利要求1至6中的任一项所述的方法，其中，表示所述行为的所述数据包括所述物理物体的所述部分相对所述预定感测表面的方位。
8.根据权利要求1至7中的任一项所述的方法，其中，表示所述行为的所述数据包括所述物理物体的所述部分相对所述预定感测表面的方位变化。
9.根据权利要求1至8中的任一项所述的方法，其中，表示所述行为的所述数据包括所述物理物体的所述部分相对所述预定感测表面的运动模式。
10.根据权利要求8或9所述的方法，其中，所述提供表示所述物理物体的至少一部分的所述行为的所述数据的步骤包括利用连续检测模式和采样检测模式中的任一种模式或这两种模式的组合来检测所述物理物体的所述至少一部分的所述方位。
11.根据权利要求1至10中的任一项所述的方法，其中，所述测量数据表示在三维空间中的所述行为。
12.根据权利要求1至11中的任一项所述的方法，其中，所述近似表达对应于所述物理物体的所述至少一部分在三维坐标系统中的所述行为。
13.根据权利要求1至12中的任一项所述的方法，其中，所述变换包括确定表示各所述虚拟点与所述物理物体的所述至少一部分中的各所述对应部分之间的距离的数据。
14.根据权利要求1至13中的任一项所述的方法，所述方法包括以下步骤：识别所述物理物体的所述至少一部分，由此允许生成所述测量数据。
15.根据权利要求5至14中的任一项所述的方法，所述方法包括以下步骤：识别所述接近传感器矩阵邻域的噪声能量，并相应操作所述接近传感器矩阵。
16.根据权利要求15所述的方法，其中，所述噪声能量由处于所述接近传感器矩阵的操作频率范围中或至少部分地交叠所述操作频率范围的频率来识别，根据识别所述噪声能量来操作所述接近传感器矩阵包括防止所述接近传感器矩阵进行测量或者将所述操作频率移到所述操作频率范围之外。
17.根据权利要求1至15中的任一项所述的方法，其中，所述物理物体与人体的至少一部分相关联。
18.根据权利要求17所述的方法，其中，所述物理物体与至少一只人手的多个手指相关联。
19.根据权利要求17所述的方法，其中，所述物理物体包括人体的、在与人手或手指的至少一部分相距预定位置处的部分。
20.根据权利要求1至19中的任一项所述的方法，其中，所述近似表达包括表示所述物理物体的所述至少一部分的形状的数据。
21.根据权利要求1至20中的任一项所述的方法，其中，所述近似表达包括表示与所述物理物体的所述至少一部分相对应的图案的数据。
22.根据权利要求1至21中的任一项所述的方法，其中，所述近似表达包括表示所述物理物体的至少一部分的阴影的数据。
23.根据权利要求1至22中的任一项所述的方法，其中，所述近似表达包括表示所述物理物体的至少一部分的透明程度的数据。
24.根据权利要求4至23中的任一项所述的方法，其中，处于所述远程位置的所述坐标系统与显示单元相关联。
25.根据权利要求1至23中的任一项所述的方法，其中，所述提供所述测量数据的步骤包括获取表示路径的数据，所述物理物体的所述至少一部分的方位相对所述预定感测表面沿所述路径改变。
26.一种供在监测物理物体的至少一部分的行为中使用的监测单元，所述监测单元包括：
数据输入模块，所述数据输入模块被设置成用于接收测量数据，所述测量数据表示物理物体的至少一部分的在与预定感测表面相关联的特定坐标系统中的行为；和
数字信号处理器，所述数字信号处理器被设置为能够响应于所述测量数据操作，以将所述测量数据变换成虚拟坐标系统中的、所述物理物体的所述至少一部分的近似表达，所述变换保持虚拟点与所述物理物体的所述至少一部分内的对应部分之间的方位关系，由此使得能够将所述近似表达格式化成输入到特定电子装置中的预定格式数据。
27.一种供在监测物理物体的行为中使用的装置，所述装置包括：
根据权利要求22所述的监测单元，和
方位传感器装置，所述方位传感器装置连接至所述监测单元的所述数据输入模块，所述方位传感器装置限定所述感测表面和所述特定坐标系统，并且被设置为能够操作以生成表示所述物理物体的所述至少一部分在所述特定坐标系统中的所述行为的所述测量数据。
28.根据权利要求27所述的装置，其中，所述方位传感器装置包括接近传感器矩阵，所述接近传感器矩阵能够以接触模式和非接触模式中的任一种模式或这两种模式的组合来生成所述测量数据。
29.根据权利要求27或28所述的装置，所述装置包括发送器单元，所述发送器单元被设置用于向所述虚拟坐标系统的远程位置发送表示所述物理物体的所述至少一部分的所述近似表达的数据，所述数据以IR发送模式、蓝牙发送模式、RF发送模式以及声发送模式中的至少一种来发送。
30.根据权利要求27至29中的任一项所述的装置，所述装置包括格式器工具，所述格式器工具能够连接至所述数字信号处理器的输出部，并且被设置为能够操作以接收表示所述近似表达的数据并将所述数据转换成输入到特定电子装置中的预定格式数据。
31.根据权利要求27至29中的任一项所述的装置，所述装置包括格式器工具，所述格式器工具能够连接至所述发送器单元的输出部，并且被设置为能够操作以接收表示所述近似表达的数据并将所述数据转换成输入到特定电子装置中的预定格式数据。
32.根据权利要求28至31中的任一项所述的装置，其中，所述接近传感器矩阵与要应用所述行为的所述近似表达的电子装置的小键盘相关联，所述测量数据表示用户的手指相对所述小键盘的符号的行为。
33.一种供在监测物理物体的行为中使用的装置，所述装置包括：
根据权利要求26所述的监测单元，和
数据输入单元，所述数据输入单元被设置成限定所述虚拟坐标系统，所述数据输入单元连接至所述数字信号处理器的输出部，用于接收表示所述近似表达的数据。
34.根据权利要求33所述的系统，所述系统包括格式器工具，所述格式器工具在所述数字信号处理器的所述输出部与所述数据输入单元之间互连，并且被设置为能够操作以接收表示所述近似表达的数据并将所述数据转换成输入到所述数据输入单元中的预定格式数据。
35.根据权利要求33或34所述的系统，所述系统包括信号接收器单元，所述信号接收器单元被设置成用于接收表示针对所述感测表面的所述行为的所述测量数据，并且采用IR数据、蓝牙数据、RF数据以及声数据中的至少一种的形式，并且生成输入到所述数字信号处理器中的对应数据。
36.一种用于监测物理物体的至少一部分的行为的系统，所述系统包括：
(a)方位传感器装置，所述方位传感器装置限定感测表面和第一坐标系统，并且被设置成能够操作以生成表示所述物理物体的至少一部分在所述特定坐标系统中相对所述感测表面的行为的测量数据；
(b)数据呈现装置，所述数据呈现装置限定第二坐标系统；以及
(c)数字信号处理器，所述数字信号处理器连接在所述方位传感器装置与所述数据呈现装置之间，并且被设置为能够响应于所述测量数据操作，以将所述测量数据变换成所述第二坐标系统中的、所述物理物体的所述至少一部分的近似表达，所述变换保持虚拟点与所述物理物体的所述至少一部分内的对应部分之间的方位关系。
CN2010800095181A 2009-01-26 2010-01-26 用于监测物体行为的装置和方法 Pending CN102334086A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14735709P 2009-01-26 2009-01-26
US61/147,357 2009-01-26
PCT/IL2010/000063 WO2010084498A1 (en) 2009-01-26 2010-01-26 Device and method for monitoring an object's behavior

Publications (1)

Publication Number Publication Date
CN102334086A true CN102334086A (zh) 2012-01-25

Family

ID=42112202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800095181A Pending CN102334086A (zh) 2009-01-26 2010-01-26 用于监测物体行为的装置和方法

Country Status (6)

Country Link
US (1) US8830189B2 (zh)
EP (1) EP2389622A1 (zh)
JP (1) JP2012515966A (zh)
KR (1) KR20110132349A (zh)
CN (1) CN102334086A (zh)
WO (1) WO2010084498A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014047944A1 (en) * 2012-09-29 2014-04-03 Siemens Aktiengesellschaft system and method for improving manufacturing production
CN103838447A (zh) * 2012-11-19 2014-06-04 泽罗技术(2009)有限公司 透明的接近传感器
CN104272218A (zh) * 2012-06-30 2015-01-07 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
CN105518590A (zh) * 2013-08-30 2016-04-20 高通股份有限公司 用于触摸传感器数据的改进处理的系统及方法
CN106233227A (zh) * 2014-03-14 2016-12-14 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
CN106406784A (zh) * 2015-07-27 2017-02-15 宏碁股份有限公司 影像输出装置
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN108304782A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 生成用于训练和验证检测模型的模拟传感器数据
CN108450007A (zh) * 2015-09-14 2018-08-24 密执安州立大学董事会 使用廉价惯性传感器的冗余阵列的高性能惯性测量
CN109032462A (zh) * 2012-10-09 2018-12-18 诺瓦利亚公司 书、方法、计算机程序以及计算机可读介质
CN110753900A (zh) * 2017-06-16 2020-02-04 威尔乌集团 具有手指运动感测的电子控制器
CN112446277A (zh) * 2019-09-04 2021-03-05 原相科技股份有限公司 物体侦测系统以及物体侦测方法
CN114382377A (zh) * 2022-01-04 2022-04-22 长春一汽富维汽车零部件股份有限公司 车窗控制近电场手势识别系统
US11786809B2 (en) 2016-10-11 2023-10-17 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US11992751B2 (en) 2016-10-11 2024-05-28 Valve Corporation Virtual reality hand gesture generation

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110525B1 (en) 2001-06-25 2006-09-19 Toby Heller Agent training sensitive call routing system
US20060152482A1 (en) * 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US8674948B2 (en) 2007-01-31 2014-03-18 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
DE202007017303U1 (de) * 2007-08-20 2008-04-10 Ident Technology Ag Computermaus
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
US8289316B1 (en) * 2009-04-01 2012-10-16 Perceptive Pixel Inc. Controlling distribution of error in 2D and 3D manipulation
US9323398B2 (en) * 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
WO2011031492A1 (en) * 2009-08-25 2011-03-17 Google Inc. Direct manipulation gestures
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US20120050007A1 (en) * 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
JP5569271B2 (ja) 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20130241832A1 (en) 2010-09-07 2013-09-19 Zrro Technologies (2009) Ltd. Method and device for controlling the behavior of virtual objects on a display
KR20140008292A (ko) * 2010-09-15 2014-01-21 어드밴스드 실리콘 에스아 멀티터치 디바이스로부터 임의의 터치 회수를 감지하는 방법
US9092089B2 (en) 2010-09-15 2015-07-28 Advanced Silicon Sa Method for detecting an arbitrary number of touches from a multi-touch device
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9569003B2 (en) * 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8421752B2 (en) * 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
JP5519546B2 (ja) * 2011-01-31 2014-06-11 パナソニック株式会社 手書き文字入力装置
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
JP5095021B2 (ja) 2011-04-04 2012-12-12 シャープ株式会社 表示装置、情報処理システム、プログラム及びテレビジョン受信機
KR101789683B1 (ko) * 2011-06-13 2017-11-20 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법, 그리고 리모컨 장치
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9904646B2 (en) 2011-09-27 2018-02-27 Microchip Technology Incorporated Virtual general purpose input/output for a microcontroller
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
WO2013051054A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、情報表示方法及び情報表示プログラム
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9323379B2 (en) * 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US20130155010A1 (en) * 2011-12-14 2013-06-20 Microchip Technology Incorporated Capacitive Proximity Based Gesture Input System
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same
US8913026B2 (en) * 2012-03-06 2014-12-16 Industry-University Cooperation Foundation Hanyang University System for linking and controlling terminals and user terminal used in the same
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US8698746B1 (en) * 2012-04-24 2014-04-15 Google Inc. Automatic calibration curves for a pointing device
WO2013177761A1 (zh) * 2012-05-30 2013-12-05 华为技术有限公司 显示控制方法和装置
KR20130137989A (ko) * 2012-06-08 2013-12-18 엘지이노텍 주식회사 근접센서를 구비한 터치윈도우
US9507462B2 (en) * 2012-06-13 2016-11-29 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-dimensional image detection apparatus
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
KR101913817B1 (ko) * 2012-08-29 2018-10-31 삼성전자주식회사 터치스크린 입력 처리 방법 및 장치
WO2014041548A1 (en) * 2012-09-13 2014-03-20 Zrro Technologies (2009) Ltd. System and method for controlling behavior of a cursor
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
JP5495406B2 (ja) * 2013-01-25 2014-05-21 パナソニック株式会社 入力装置および入力方法
US9720504B2 (en) * 2013-02-05 2017-08-01 Qualcomm Incorporated Methods for system engagement via 3D object detection
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US9146633B1 (en) * 2013-03-15 2015-09-29 hopTo Inc. Touch-based hovering on remote devices
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
JP2014219768A (ja) * 2013-05-02 2014-11-20 船井電機株式会社 情報処理装置及び情報処理システム
US9195332B2 (en) 2013-05-23 2015-11-24 Nokia Technologies Oy Apparatus with deformable flexible user interface area and adjustable hover input region and associated methods
JP2015011679A (ja) * 2013-07-02 2015-01-19 シャープ株式会社 操作入力装置及び入力操作処理方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10042446B2 (en) 2013-08-13 2018-08-07 Samsung Electronics Company, Ltd. Interaction modes for object-device interactions
US10318090B2 (en) 2013-08-13 2019-06-11 Samsung Electronics Company, Ltd. Interaction sensing
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP2015060303A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 情報処理装置
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
USD741877S1 (en) * 2013-11-21 2015-10-27 Microsoft Corporation Display screen with animated icon
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US10423226B2 (en) 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
US9805254B2 (en) * 2014-02-18 2017-10-31 Lenovo (Singapore) Pte. Ltd. Preventing display clearing
FR3017723B1 (fr) * 2014-02-19 2017-07-21 Fogale Nanotech Procede d'interaction homme-machine par combinaison de commandes tactiles et sans contact
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
KR102216554B1 (ko) 2014-03-14 2021-02-17 삼성디스플레이 주식회사 터치 패널 및 이를 포함하는 표시 장치
US10459623B2 (en) * 2014-04-17 2019-10-29 Microchip Technology Incorporated Touch detection in a capacitive sensor system
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
CN104407786A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 实现全息图像显示的交互式显示方法、控制方法及系统
US20160103550A1 (en) * 2014-10-08 2016-04-14 Kapik Inc. Sensing system and method
US10748439B1 (en) 2014-10-13 2020-08-18 The Cognitive Healthcare Company Automated delivery of unique, equivalent task versions for computer delivered testing environments
US10444980B1 (en) * 2014-10-13 2019-10-15 The Cognitive Healthcare Company Biomechanical motion measurement and analysis for self-administered tests
US10383553B1 (en) 2014-10-14 2019-08-20 The Cognitive Healthcare Company Data collection and analysis for self-administered cognitive tests characterizing fine motor functions
KR102244650B1 (ko) 2014-10-24 2021-04-28 삼성디스플레이 주식회사 표시 장치
CN105549798A (zh) * 2014-10-30 2016-05-04 中强光电股份有限公司 触控投影幕及使用触控投影幕的投影系统
KR102399589B1 (ko) * 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
JP6402611B2 (ja) 2014-12-04 2018-10-10 富士通株式会社 入力制御方法、入力制御プログラム、及び情報処理装置
KR102381121B1 (ko) 2015-02-02 2022-04-01 삼성디스플레이 주식회사 터치패널 및 이를 포함하는 표시장치
US10296147B2 (en) 2015-02-02 2019-05-21 Samsung Display Co., Ltd. Touch screen and display device including the same
KR102381659B1 (ko) 2015-03-10 2022-04-04 삼성디스플레이 주식회사 플렉서블 표시장치
US11953618B2 (en) * 2015-07-17 2024-04-09 Origin Research Wireless, Inc. Method, apparatus, and system for wireless motion recognition
KR102464814B1 (ko) 2015-10-15 2022-11-09 삼성디스플레이 주식회사 터치 감지부, 이를 포함하는 터치 스크린 패널 및 터치 스크린 패널의 구동 방법
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
JP6728865B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 手上げ検出装置及び手上げ検出プログラム
JP6675936B2 (ja) * 2016-06-10 2020-04-08 三菱電機株式会社 表示装置
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
CN114721576A (zh) * 2020-12-18 2022-07-08 华为技术有限公司 手指触摸操作显示方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4145748A (en) * 1977-12-23 1979-03-20 General Electric Company Self-optimizing touch pad sensor circuit
US4550221A (en) * 1983-10-07 1985-10-29 Scott Mabusth Touch sensitive control device
JPS6324319A (ja) * 1986-03-17 1988-02-01 Mitsubishi Electric Corp 情報入力装置
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
FR2662528B1 (fr) * 1990-05-25 1994-03-11 Sextant Avionique Dispositif pour la localisation d'un objet situe a proximite d'une aire de detection et clavier transparent utilisant ledit dispositif.
US5381158A (en) 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
US5543588A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Touch pad driven handheld computing device
DE69324067T2 (de) * 1992-06-08 1999-07-15 Synaptics Inc Objekt-Positionsdetektor
US5594222A (en) * 1994-10-25 1997-01-14 Integrated Controls Touch sensor and control circuit therefor
GB9613315D0 (en) * 1996-06-25 1996-08-28 Philips Electronics Nv Virtual environment interaction and navigation device
EP1717683A3 (en) 1998-01-26 2010-03-17 Apple Inc. Method and apparatus for integrating manual input
US6452514B1 (en) * 1999-01-26 2002-09-17 Harald Philipp Capacitive sensor and array
US6498590B1 (en) 2001-05-24 2002-12-24 Mitsubishi Electric Research Laboratories, Inc. Multi-user touch surface
JP2003067107A (ja) * 2001-08-28 2003-03-07 Foundation For Advancement Of Science & Technology 触覚提示装置
US7145552B2 (en) * 2003-10-22 2006-12-05 Solectron Corporation Electric field proximity keyboards and detection systems
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
US8931780B2 (en) 2005-08-11 2015-01-13 N-Trig Ltd. Apparatus for object information detection and methods of using same
US7640518B2 (en) * 2006-06-14 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for switching between absolute and relative pointing with direct input devices
US8094136B2 (en) * 2006-07-06 2012-01-10 Flatfrog Laboratories Ab Optical touchpad with three-dimensional position determination
US9069417B2 (en) * 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix
US8031174B2 (en) * 2007-01-03 2011-10-04 Apple Inc. Multi-touch surface stackup arrangement
DE102007016408A1 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
WO2009108334A2 (en) 2008-02-28 2009-09-03 New York University Method and apparatus for providing input to a processor, and a sensor pad
JP5124397B2 (ja) * 2008-09-01 2013-01-23 本田技研工業株式会社 自動車用入出力装置
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048779B2 (en) 2012-06-30 2018-08-14 Hewlett-Packard Development Company, L.P. Virtual hand based on combined data
CN104272218A (zh) * 2012-06-30 2015-01-07 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
TWI492146B (zh) * 2012-06-30 2015-07-11 Hewlett Packard Development Co 以組合資料爲基礎之虛擬手
CN104272218B (zh) * 2012-06-30 2017-03-08 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
WO2014047944A1 (en) * 2012-09-29 2014-04-03 Siemens Aktiengesellschaft system and method for improving manufacturing production
CN109032462A (zh) * 2012-10-09 2018-12-18 诺瓦利亚公司 书、方法、计算机程序以及计算机可读介质
CN103838447A (zh) * 2012-11-19 2014-06-04 泽罗技术(2009)有限公司 透明的接近传感器
CN105518590A (zh) * 2013-08-30 2016-04-20 高通股份有限公司 用于触摸传感器数据的改进处理的系统及方法
CN106233227A (zh) * 2014-03-14 2016-12-14 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
CN106406784A (zh) * 2015-07-27 2017-02-15 宏碁股份有限公司 影像输出装置
CN108450007A (zh) * 2015-09-14 2018-08-24 密执安州立大学董事会 使用廉价惯性传感器的冗余阵列的高性能惯性测量
US11378399B2 (en) 2015-09-14 2022-07-05 The Regents Of The University Of Michigan High-performance inertial measurements using a redundant array of inexpensive inertial sensors
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
US11786809B2 (en) 2016-10-11 2023-10-17 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US11992751B2 (en) 2016-10-11 2024-05-28 Valve Corporation Virtual reality hand gesture generation
CN108304782A (zh) * 2017-01-13 2018-07-20 福特全球技术公司 生成用于训练和验证检测模型的模拟传感器数据
CN110753900A (zh) * 2017-06-16 2020-02-04 威尔乌集团 具有手指运动感测的电子控制器
CN112446277A (zh) * 2019-09-04 2021-03-05 原相科技股份有限公司 物体侦测系统以及物体侦测方法
CN114382377A (zh) * 2022-01-04 2022-04-22 长春一汽富维汽车零部件股份有限公司 车窗控制近电场手势识别系统

Also Published As

Publication number Publication date
US20110279397A1 (en) 2011-11-17
EP2389622A1 (en) 2011-11-30
KR20110132349A (ko) 2011-12-07
JP2012515966A (ja) 2012-07-12
WO2010084498A1 (en) 2010-07-29
US8830189B2 (en) 2014-09-09
WO2010084498A4 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
CN102334086A (zh) 用于监测物体行为的装置和方法
CN104903824B (zh) 交互感测设备和交互感测方法
US9535547B2 (en) Device and method for control interface sensitive to a movement of a body or of an object and viewing screen integrating this device
CN105975116B (zh) 输入感测和排除
CN106020546B (zh) 用于使用所估计偏转响应来确定物体信息的系统和方法
JP2019527400A (ja) タッチセンシティブキーボード
WO2012032515A1 (en) Device and method for controlling the behavior of virtual objects on a display
CN103853333A (zh) 一种手势控制玩具的方案
KR102533303B1 (ko) 잡음 결정을 위한 전극 결합
US10353526B1 (en) Room-scale interactive and context-aware sensing
US10078374B2 (en) Method and system enabling control of different digital devices using gesture or motion control
CN103019415B (zh) 一种检测物体相对于表面移动的方法及设备
CN109313521A (zh) 校准用于电容性感测的连续时间接收器
CN113176825B (zh) 一种大面积隔空手势识别系统及方法
CN106020578A (zh) 单个接收器超不活跃模式
CN113989687A (zh) 一种融合低功耗芯片深度学习算法的无人机前端识别系统
EP3839700A1 (en) Gesture recognition system for kitchen machines
KR20160056609A (ko) 3차원 호버링 디지타이저

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120125