CN108351731B - 包括事件以及检测到的运动的用户输入 - Google Patents

包括事件以及检测到的运动的用户输入 Download PDF

Info

Publication number
CN108351731B
CN108351731B CN201680063588.2A CN201680063588A CN108351731B CN 108351731 B CN108351731 B CN 108351731B CN 201680063588 A CN201680063588 A CN 201680063588A CN 108351731 B CN108351731 B CN 108351731B
Authority
CN
China
Prior art keywords
sensing
detected
event
movement
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680063588.2A
Other languages
English (en)
Other versions
CN108351731A (zh
Inventor
G·绍尔
N·维拉
D·克莱西罗伊
张海燕
C·霍尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/931,049 external-priority patent/US10649572B2/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108351731A publication Critical patent/CN108351731A/zh
Application granted granted Critical
Publication of CN108351731B publication Critical patent/CN108351731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0445—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using two or more layers of sensing electrodes, e.g. using two layers of electrodes separated by a dielectric layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • H01Q1/22—Supports; Mounting means by structural association with other equipment or articles
    • H01Q1/2258—Supports; Mounting means by structural association with other equipment or articles used with computer equipment
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/52—Means for reducing coupling between antennas; Means for reducing coupling between an antenna and another structure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive loop type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Abstract

感测表面设备包括耦合到感测垫的感测模块。感测模块被配置为：检测感测垫上的第一位置处的第一对象，检测与第一对象相关联的事件，以及检测感测垫上的第二位置处的移动。感测模块还被配置为基于检测到的事件和检测到的移动二者来生成用于在软件中触发动作的输入。

Description

包括事件以及检测到的运动的用户输入
背景技术
存在许多可以用于产生触敏表面的不同技术，包括电容式或电阻式感测和光学技术。电容式多点触控表面可以检测一个或多个手指在表面上的位置，但不能唯一地标识放置在表面上的对象。使用照相机/投影仪系统或像素式传感器技术的光学多点触控桌具有标识配备有可视标记的对象以及感测多点触摸用户输入的能力。有些技术只能在对象与表面实际物理接触时才能检测到对象，而其他技术则可以检测到与表面非常接近但并不物理接触的对象。
发明内容
为了向读者提供基本的理解，下面给出了本公开的简要概述。该概述并非旨在标识所要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求保护的技术方案的范围。其唯一目的是以简化的形式呈现本文中公开的概念的选择，作为稍后呈现的更详细描述的序言。
感测表面设备包括耦合到感测垫的感测模块。感测模块被配置为：检测感测垫上的第一位置处的第一对象，检测与第一对象相关联的事件，并且检测感测垫上的第二位置处的移动。感测模块还被配置为基于检测到的事件和检测到的移动二者来生成输入，以在软件中触发动作。
通过参考结合附图考虑的以下详细描述，可以更好地理解很多伴随的特征，这些特征将变得更好理解。
附图说明
根据附图阅读以下详细描述将更好地理解本描述，其中：
图1是示出了感测表面设备的示意图；
图2是更详细地示出了来自感测表面设备的感测垫的示意图；
图3是示出了图1的感测表面设备的示例操作方法的流程图；
图4是图示了图1的感测表面设备的操作的示例的示意图；
图5是示出了图1的感测表面设备的另一示例操作方法的流程图；
图6是图示了图1的感测表面设备的操作的示例的另一示意图；
图7是图示了图1的感测表面设备的操作的示例的另一示意图；
图8是分段感测垫的示意图；以及
图9是图示了图1的感测表面设备的操作的示例的另一示意图。
相同的附图标记在附图中用于表示相同的部分。
具体实施方式
以下结合附图提供的详细描述旨在作为对本示例的描述，而不是旨在表示构建或利用本示例的仅有形式。描述阐述了示例的功能以及构建和操作示例的操作序列。然而，相同或等同的功能和序列可以通过不同的示例来完成。
如上所述，一些触敏表面只能检测与表面物理接触的对象，而另一些可以检测接近表面但不接触表面的对象。下面描述的实施例不限于解决已知感测表面的任何或全部缺点的实现。
本文描述了一种感测表面设备，其包括感测垫(例如，单个感测区域或多个感测区域)以及感测模块，感测模块耦合到感测垫，并且被配置为检测当与感测垫接触时，对象和/或用户的手指的位置。如下面更详细描述的，取决于感测垫被实施的方式，感测模块可以附加地能够标识感测垫上或感测垫附近的对象(例如，通过读取对象中的短程无线标签)。感测模块还被配置为检测与感测垫上的对象相关联的事件和感测垫上另一位置处的分离的移动。感测模块进一步被配置为至少基于检测到的事件和检测到的移动的组合来生成输入，其中输入触发软件内的可能动作集中的一个动作，该软件可以在感测表面本身上或者在分离的计算设备上运行，该计算设备与感测表面通信(例如，计算设备和感测表面可以经由有线或无线链路被连接，例如经由USB、蓝牙TM或WiFiTM)。
在各种示例中，本文描述的感测表面设备包括感测模块，其被配置为检测第一对象的位置并检测与该第一对象相关联的事件。响应于检测到第二对象(或在感测垫上的多于一个的其他对象)的移动，感测模块确定第二对象的移动是否与检测到的与第一对象相关联的事件相关(例如，基于时间和/或空间相关性)，并且取决于该确定的结果，生成对在感测表面或分离的计算设备上运行的软件的所选择的输入(例如，响应于正相关的第一输入和响应于负相关的不同的第二输入)。
在各种示例中，本文描述的感测表面设备包括感测模块，其被配置为检测第一对象的位置，并且检测与该第一对象的用户交互(事件)。响应于在感测垫上(或上方)的另一位置处检测到手势或触摸事件，感测模块生成对软件的输入，该软件在感测表面上或者在分离的计算设备上运行，其中该输入基于检测到的用户交互和检测到的触摸事件/手势来生成。用户交互和分离的触摸事件/手势一起限定由感测模块生成的输入，并且二者之一单独地(例如，用户交互或者触摸事件/手势)不生成输入。
图1是示出了感测表面设备100的示意图，感测表面设备100可以被集成在计算设备内，或者可以作为用于分离的计算设备102的外围设备(例如输入设备)来操作，并且可以使用有线或者无线技术(例如，USB、蓝牙TM、Wi-FiTM等)来与分离的计算设备102通信。感测表面100能够检测和定位表面上的一个或多个对象106，并且附加地能够检测和定位多点触摸用户输入(例如，用户的手指104)和/或手势。如果对象106中的任何一个包括无线标签，则感测表面100还能够通过读取(多个)无线标签来标识那些对象106。
如图1所示，感测表面设备100包括感测垫或衬垫108和感测模块110。感测表面设备100还可以包括被布置为与分离的计算设备102通信的通信接口112。然而，在其他示例中，感测表面设备100可以与计算设备集成(例如，使得感测表面设备100包括处理器114、存储器116、输入/输出接口118等)。
感测模块110被配置为至少检测对象106在表面上的位置，并且可以附加地被配置为检测用户触摸表面(例如，用他们的手指104)或用户在表面上/上方的手势(例如，用他们的手指104和/或他们的手/手臂105)。
感测垫108可以包括一个或多个感测阵列，例如，电容式感测电极阵列和/或一个或多个RF天线阵列，如可以参考图2所描述的，并且在各种示例中，感测垫108可以是多层结构，其包括覆盖在另一阵列上方的一个阵列。在感测垫108包括使用不同感测技术的两个不同阵列的情况下，感测垫108(并且由此的感测表面设备100)可以被描述为是多模态的。
图2示出了两个不同的阵列202、208的示例，并且如上所述，感测垫108可以包括这些阵列中的一个或两个。图2所示的第一阵列是电容式感测电极阵列202，并且第二阵列是RF天线阵列208，并且在感测垫108包括两个阵列的示例中，电容式感测电极阵列202可以被定位在RF天线阵列208上方(例如，当以图1所示的定向时，并且用户触摸第一部分108的最上面的触摸表面，如图1中的手105所示)，即电容式感测电极阵列202比RF天线阵列208更接近触摸表面。使电容式感测电极阵列202比RF天线208阵列更接近触摸表面使得RF天线阵列能够在电容式感测层下面提供屏蔽(例如，以防止由感测表面下方的对象引起的错误检测)以及为用户手指提供接地触摸返回路径。
在感测垫108包括两个阵列202、208的各种示例中，这两个阵列202、208可以具有基本上相同的尺寸，使得阵列完全重叠。然而，在其他示例中，两个阵列可以不是相同的尺寸(例如，电容式感测电极阵列202可以大于RF天线阵列，或者反之亦然)，和/或阵列可以部分相互偏移，使得它们并不完全重叠，并且使得存在多模态的感测表面的部分(即，在该部分中两个阵列重叠)，并且存在不是多模态的感测表面的部分(即，在该部分中只存在两个阵列202、208中的一个阵列)。
图2所示的电容式感测电极阵列202包括第一层205中的第一电极集204和第二层207中的第二电极集206。在图2所示的示例中，两个电极集204、206被布置为彼此垂直，使得一个集可以被称为x轴电极，而另一集可以被称为y轴电极。然而，在其他示例中，电极集可以被布置为使得它们不完全彼此垂直，而是电极以不同的角度交叉。电极集204、206通过一些绝缘件被分离，这些绝缘件可以是绝缘层(图2中未示出)的形式，或形成电极集204、206中的一个或两个电极集的导线上的绝缘件。
图2所示的RF天线阵列208包括多个环形天线，并且图2的示例中，阵列208包括在两个分离的层212、213中的两个天线集210、211；然而，在其他示例中，RF天线阵列208可以仅包括单个天线集(即，可以省略图2中示出的两个集210、211中的一个)。如图2所示，两个天线集可以被提供，以使感测表面100能够区分在不同位置处但都接近相同RF天线的两个对象(使得如果仅存在一个天线集，则单个RF天线将能够读取两个对象中的标签)。RF天线的这种行/列布置(包括如图2所示的两个天线集210、211)还使得感测表面能够更好地缩放(即，到更大尺寸的感测表面)，并且使得更快地跨区域扫描以发现对象。在备选布置中，可以使用单独天线的矩阵(或网格)(例如，布置在网格中的m乘以n个天线)。这样的网格不像图2所示的布置那样缩放良好，但是可以使得能够更快地执行在已知位置处的对象的寻址。
在图2所示的示例中，两个天线集210、211在行/列矩阵中彼此垂直地布置，使得一个集可以被称为x轴天线，而另一集可以被称为y轴天线。然而，在其他示例中，天线集可以布置为使得它们不完全彼此垂直，而是天线以不同的角度交叉，或者仅存在单个天线集(即，集210、211中的一个集被省略)。两个天线集210、211通过一些绝缘件被分离，这些绝缘件可以是绝缘层(图2中未示出)的形式，或形成天线集210、211中的一个或两个天线集的导线上的绝缘件。
在感测表面设备100包括两个阵列202、208的示例中，这两个阵列202、208被分离开一距离(例如，通过在图2中也未示出的绝缘层)，以便减小电容式感测电极和由NFC天线提供的“接地”层之间的互电容。
如图2所示，RF天线可以是具有以下宽度的、基本上为矩形的环形天线(如箭头214所示)，该宽度接近待标识的任何对象中使用的无线标签的尺寸。例如，宽度可以是大约25mm，典型的标签直径是17mm、22mm、25mm、30mm和35mm，尽管可以使用更大的标签(例如，50mm直径)。备选地，可以使用其他形状的环形天线。
两个集210、211中的每个集内的环形天线可以等间距(其中天线之间的这个间距s不一定与天线的宽度w相同)或不等间距(并且如上所述，在一些示例中，天线阵列208可以仅包括单个天线集)。例如，可以使用不等间距来在感测表面上的各个点处实现可变分辨率(例如，以提供朝向边缘具有较低分辨率并且在中间具有较高分辨率的感测表面)，并且例如，这可以使得相同数目的天线能够被用于较大的感测表面和较小的感测表面。在一个示例中，环形天线可以被间隔开，以便提供整个表面的良好覆盖，并且减轻单个天线的信号响应中的任何空值的影响。
例如，感测垫108可以以多层柔性电路形成，或使用柔性基底上导电迹线的绣品(例如，编织到织物中)来形成，以提供柔性但坚固的表面区域。在一个示例中，感测108可以具有足够的柔性，使得当不使用时，其可以围绕第二部分120(其包括有源电子器件，例如，感测模块110和其他可选元件112-118)卷绕，该第二部分120可以是刚性的，例如用于存储。然而，在其他示例中，感测垫108和电子器件(例如，感测模块110和其他可选元件112-118)之间可能没有明显的区别，并且相反地，感测模块110等可以被集成在感测垫108内，或者区别可以更小(例如，感测模块110等可以被形成在感测垫108下方的一个或多个附加层中)。
在感测垫108包括电容式感测电极阵列202的示例中，感测模块110(其可以包括微处理器控制单元(MCU))耦合到电容式感测电极阵列202，并且可以被配置为检测阵列中的电极之间的电容的降低和升高。电极之间(即，第一电极集204中的一个或多个电极与第二电极集206中的一个或多个电极之间)的互电容的降低被用于以与常规多点触摸感测相同的方式检测用户的手指。然而，与常规多点触摸感测不同，第一感测模块602还可以被配置为检测阵列中的电极之间的电容的升高。电极之间(即，第一电极集204中的一个或多个电极与第二电极集206中的一个或多个电极之间)的互电容的升高被用于检测导电对象的位置，并且在各种示例中，还检测导电对象的形状，导电对象诸如为非导电外壳中的无线标签(例如，NFC或RFID标签)或由导电材料形成的其它对象(没有标签)。与用户的手指不同，这样的对象不具有到地的连接，相反地，该对象电容式地耦合相邻的电极(因此，对象不需要具有高导电率，而是可以由任何导电材料制成或包括任何导电材料)。
在感测垫108包括RF天线阵列208的示例中，感测模块110耦合到RF天线阵列208，并被配置为选择性地调谐和解调谐阵列中的RF天线。例如，第二感测模块604可以去激活除了选择的一个或多个RF天线以外的所有天线，然后给选择的RF天线供电，使得它们可以激活并读取任何邻近的无线标签(其中，使用所选择的天线读取标签可以以与常规NFC或RFID读取器相同的方式来执行)。在同时调谐和供电多于一个的RF天线的情况下，这些天线被选择为相距足够远，使得一个被供电的RF天线不会受到来自任何其他被供电的RF天线的影响。RF天线的去激活可以以许多不同的方式来实现，例如，通过经由晶体管来使回路的两半短路，或者使调谐电容器(否则，其将天线调谐到正确的频率处)开路(使用晶体管)。RF天线的这种选择性调谐和解调谐阻止天线彼此耦合(例如，使得功率不被耦合到另一个天线中，这将激活接近该另一个天线而不是原始的、被供电的天线的标签)。
在感测垫108包括电容式感测电极阵列202和RF天线阵列208两者的示例中，感测模块110还可以被配置为：当使用电容式感测电极阵列202检测到触摸事件时，将所有RF天线连接到地。这防止电容式感测器感测到感测垫的非触摸侧(例如，桌子下方的腿)上的活动，并且提供到地的电容返回路径(其使得用户手指到感测电极到地和到用户身体的电路完整)。
取决于感测表面设备100的实施方式，感测表面设备100也可以包括通信接口112，其被布置为使用有线或无线技术与分离的计算设备102通信。在各种示例中，通信接口112可以附加地或替代地被布置为与对象106通信(例如，在感测模块110标识模块之后)。
在各种示例中，感测表面设备100可以与计算设备集成，使得感测表面设备100还包括计算设备的部件部分，诸如处理器11、存储器116、输入/输出接口118等。在其他示例中，感测表面设备100可以被集成在用于分离的计算设备102的外围设备内，例如，在键盘内。
在各种示例中，感测模块110可以被布置为检测感测垫108的表面上方的手势，以及与表面接触的手指或导电对象。感测模块110因此可以附加地包括手势识别模块，其耦合到电容式感测电极阵列202(例如，其中手势由用户在阵列202上或附近用他们的手指进行)，或耦合到能够检测手势的另一感测层(例如，如果手势由持有包括短距离无线标签的对象的用户进行，则为RF天线阵列)。
本文描述的感测模块110的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如，而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
在感测表面设备100与计算设备集成，使得感测表面设备100还包括计算设备的部件部分(例如，处理器114、存储器116、输入/输出接口118等)的示例中，处理器114可以是微处理器、控制器或任何其它合适类型的处理器，用于处理计算机可执行指令以控制设备的操作，以便实现计算设备的功能(例如，以运行操作系统和应用软件)。
操作系统和应用软件可以使用感测表面设备100可访问的任何计算机可读介质来提供。计算机可读介质可以包括例如，计算机存储介质，诸如存储器116和通信介质。诸如存储器116之类的计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或类似物的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或者可以用于存储用于由计算设备访问的信息的任何其他非传输介质。相比而言，通信介质可以在调制的数据信号(例如载波)或其他传输机制中可以实施计算机可读指令、数据结构、程序模块等。如本文中定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应当被解释为传播信号。传播信号本身不是计算机存储介质的示例。尽管计算机存储介质(存储器116)被示出为在感测表面设备100内，但是可以理解，存储设备可以被分布或位于远程并且可以经由网络或其他通信链接(例如，使用通信接口112)来访问。
感测表面设备100还可以包括输入/输出接口118，输入/输出接口118被布置为将显示信息输出到可以与感测表面设备100分离或集成的显示设备。显示信息可以提供图形用户界面。输入/输出接口118还可以被布置为接收和处理来自诸如用户输入设备(例如，鼠标、键盘、照相机、麦克风或其他感测器)的一个或多个设备的输入。在一些示例中，用户输入设备可以检测语音输入、用户手势或其他用户动作，并且可以提供自然用户接口(NUI)。输入/输出接口118可以包括NUI技术，其使得用户能够以自然的方式与基于计算的设备交互，而不受由诸如鼠标、键盘、遥控器等输入设备施加的人为约束。可以被提供的NUI技术的示例包括但不限于依赖以下的示例：声音和/或语音识别、触摸和/或触笔识别(触敏显示器)、屏幕上和屏幕附近两处的手势识别、空中手势、头部和眼睛跟踪、声音和语音、视觉、触摸、手势和机器智能。可以被使用的NUI技术的其他示例包括：意图和目标理解系统、使用深度相机(诸如立体相机系统、红外相机系统、RGB相机系统及其组合)的运动姿势检测系统、使用加速度计/陀螺仪的运动姿势检测、面部识别、3D显示、头部、眼睛和视线跟踪、沉浸式增强现实和虚拟现实系统以及使用电场感测电极感测大脑活动的技术(EEG和相关方法)。
图3是示出了感测表面设备100(并且特别地，感测模块110)的示例操作方法的流程图。如图3所示，感测垫108上的第一对象的位置被检测(框302，例如，通过感测模块110使用从感测垫108接收的输入)，并且该位置可以被称为第一位置。与第一对象相关联的事件也被检测(框304，例如，通过感测模块110使用从感测垫108接收的输入)。例如，该事件可以是已经由第一对象执行的操作，诸如抛射体的发射或空气射流，第一对象上或附着于第一对象的另一对象(例如，在第一对象上方滚动的球)的存在，与第一对象的用户交互，并且各种示例将在以下被更详细地描述。在各种示例中，在该事件涉及另一对象(例如，附着于第一对象或第一对象上的抛射体或对象)的情况下，该对象可能无法被感测垫检测到(例如，该对象可能不包括可以被RF天线阵列读取的短程无线标签，和/或该对象可能不与感测表面接触，并且因此不能被电容性感测电极阵列检测到，和/或该对象可能不包括可以将感测器数据传送到感测模块的任何感测器)。
在各种示例中，位置的检测(在框302中)可以通过感测模块110使用电容式感测电极阵列或RF天线阵列来执行。类似地，事件的检测(在框304中)可以通过感测模块110使用电容式感测电极阵列或RF天线阵列来执行。
响应于检测到感测垫108上第二位置处的移动(框306，例如，通过感测模块110使用从感测垫108接收的输入)，对在感测设备100或分离的计算设备102上运行的软件的输入被生成(框308，例如，通过感测模块110)，其中该输入至少基于感测表面上检测到的事件和检测到的第二位置的组合来生成。生成的输入(在框308中)触发软件内的动作。
检测到的第二位置处的移动(在框306中)可以是感测垫上第二对象的移动，或用户的手指104或手105的移动(例如，以触摸事件、一系列触摸事件或手势的形式)。对象的移动的检测可以由感测模块110使用电容式感测电极阵列或RF天线阵列来执行。然而，如果移动是用户的手指/手的移动(例如，以触摸事件或手势的形式)，那么这只能使用电容式感测电极阵列来检测。
输入的生成(在框308中)可以以多种不同的方式执行，并且下面描述两个示例：第一示例参考图4-8，第二示例参考图9。应该理解，虽然这两个示例被分开描述，但是感测表面设备100可以实施这些示例中的一个或两个。
如以下更详细描述的，可以重复该方法(或其部分)，如图3中的虚线箭头所示。例如，可以重复该方法的元素以检测另外的事件和/或另外的移动(例如，其他对象的移动)，使得可以基于单个检测到的事件和单个检测到的移动，或者基于一个或多个检测到的事件和一个或多个检测到的移动的组合，来生成输入(在框308中)。
在第一示例中，该方法包括确定检测到的移动是否与检测到的事件相关(框386，例如，使用感测模块110)，然后取决于相关结果是为正(指示事件和移动相关)还是为负(指示事件和移动不相关)，选择不同的输入/动作(框388，例如，使用感测模块110)。在这样的示例中，在第二位置检测到的移动(在框306中)是第二对象的移动，并且所执行的确定(在框386中)可以使用空间和/或时间方面来确定与第一对象相关联的事件(如在框304中检测到的)是否和第二对象的移动(如在框306中检测到的)相关。下面参考图4-图8更详细地描述该示例。
图4示出了感测表面设备100和感测垫108上的四个对象401-404的示意图。在这个示例中，四个对象都是玩具角色，其中一个对象是大炮(对象401)，其他对象是海盗(对象402-404)，尽管可以理解对象可以具有任何形状。还示出了第五对象405，其不在感测垫108上，而是在感测垫108上方移动，并且其存在、位置或移动不能被感测垫108检测到。
使用本文描述的方法，感测表面(并且特别地，感测模块110)可以推断第五对象405的运动，并且基于该推断的运动在软件内触发动作。因此，本文描述的方法使得软件能够响应于对感测表面不可见的对象的运动。这避免了需要用无线标签/感测器来增强第五对象，以使其对感测表面中的电容性电极和/或RF天线可见(这将增加第五对象的重量和系统的复杂性)，并且避免需要提供可以检测表面上方的第五对象的另外的感测模态(例如，将增加感测表面的复杂性和体积的照相机跟踪系统)。这也可以使得能够实现对没有感测器附着于其上和/或以其他方式不能被感测的东西(例如，空气射流)的感测。
感测表面设备100内的感测模块110检测表面上的四个对象401-404中的每个对象的位置(包括在框302中在位置P1处检测第一对象的位置)。可以使用电容式感测电极阵列202(如上所述)或RF电极阵列208(如上所述)来执行四个对象401-404的位置的检测，例如，其中每个对象包括短程无线标签。
在感测表面包括RF电极阵列(不管它们是否用于检测对象的位置)并且对象包括短程无线标签的示例中，感测表面可以从对象中的短程无线标签读取数据(例如，包括标识符)，并且在各种示例中，这可以被用于确定对象应该被激活的频率，以便从对象中的短程无线标签读取数据(例如，标识符和可选的状态信息)。例如，如果从图4中感测表面上的全部四个对象401-404读取数据，那么数据(例如，数据内的标识符或数据内的状态信息)可以标识一个对象，在该对象处事件可能发生，并且然后可以通过感测表面(例如，通过激活近端RF天线)比对其他对象更频繁地轮询这些对象。在这样的示例中，感测模块110可以基于从感测垫108上的对象读取的数据来更新RF天线(在RF天线阵列内)被激活的顺序和/或任何激活的时间长度。
感测表面100内的感测模块110可以检测事件410(框304)，事件410与第五对象405从第一对象401的发射相对应。例如，通过轮询对象(即，对象中的短距离无线标签)并且根据从对象读取的数据检测状态的改变(例如，从“未发射”到“已发射”)，可以使用RF天线阵列208来执行事件410的检测。事件检测的时间T1可以是感测模块110从对象读取数据的时间，或者在各种示例中，第一对象可以在本地存储器内存储时间戳T1，其指示事件的时间(例如，第五对象从第一对象发射的时间)，并且下一次第一对象401内的短距离无线标签被RF天线中的一个天线激活时，时间戳可以被传送并因此被感测表面100读取，并且该时间戳T1可以被用作事件的时间。
备选地，可以使用电容式感测电极阵列202来执行事件410的检测。例如，发射第五对象的按钮可以由导电材料制成，使得按压按钮具有两个效果——第五对象的发射以及完成向下到达与感测表面接触的金属电极的导电路径。因此在这样的示例中按下按钮在对象本身下面记录触摸事件(如使用电容式感测电极阵列202检测到的)，并且这可以用于通知事件的检测。
在各种示例中，事件410的检测可以使用电容式感测电极阵列202通过检测发射第五对象的对象的电容足迹来执行，并且该对象可以改变其电容足迹以反映状态从“未发射”到“已发射”的改变(例如，使用对象内的切换布置，该切换布置选择性地短路或以其它方式一起连接到对象的面上的更多导电区域，和/或该切换布置改变对象的面上与电容式感测电极阵列202接触的两个或两个以上导电区域的相对位置)。
术语“电容足迹”在本文中用于指当对象被放置为与阵列接触时，可以由电容式感测电极阵列检测到的图案。足迹是对象的面上与电容式感测电极阵列接触的导电区域布置以及导电区域之间的任何电连接的结果。
在这样的示例中，事件410的检测可以由耦合到电容式感测电极阵列的感测模块执行，并且感测模块被配置为将在第一时间(例如，在第一帧中)使用电容式感测电极阵列检测到的对象的第一电容足迹与一个或多个参考足迹(例如，“开”参考足迹和“关”参考足迹)相比较，或者将其与在第二时间(例如，在第二帧中)使用电容式感测电极阵列检测到的对象的第二电容足迹相比较。在使用参考足迹的情况下，感测模块确定第一电容足迹是否匹配参考足迹中的一个，并且在使用了第二电容足迹的情况下，感测模块确定第一电容足迹和第二电容足迹是相同还是不同。感测模块可以用硬件和/或软件来实现。
如果在检测到与在表面上的已知位置P1处的对象相关联的事件(在时间T1)之后或不久之前，在感测表面上的分离位置处检测到运动410(框306)，其中该运动可以在时间T2和位置P2(其中P1≠P2)处被检测到，则感测模块110确定检测到的移动是否与检测到的事件相关联(框386，例如，检测到的运动是否是另一对象受第五对象影响的结果)。基于该确定的结果，对在感测表面100或分离的计算设备102上运行的软件的输入被生成(例如，响应于确定检测到的运动412与事件410相关而生成触发动作A的输入A，或者响应于确定检测到的运动412与事件410不相关生成触发动作B的输入B)。
在图4所示的示例中，检测到的运动412是在检测到的事件410之后900ms发生的第二对象402的运动，并且如果检测到的运动与事件相关，则触发的动作可以是第一声音(声音A)的播放；如果检测到的运动与事件不相关，则触发的动作可以是不同的第二声音(声音B)的播放。
事件和检测到的运动是否相关的确定(在框386中)可以基于时间和/或位置，如可以参考图5中的流程图所描述的。在该示例中，通过确定检测到运动的时间T2是否在由事件时间T1定义的时间窗内(框502)来执行确定。时间窗可以是一个时间段，其开始于事件时间T1，并延伸预定时间段ΔT，使得如果T1≤T2≤(T1+ΔT)，则存在相关性(在框502中为“是”)。在其他示例中，例如，在感测模块110检测到事件之前事件可能已经发生的情况下，该时间段可以开始于检测到的事件时间之前。例如，如果感测模块110仅每30毫秒轮询第一对象，那么它可能在事件实际发生之后达30毫秒才读取指示该事件已经发生的数据(例如，指示状态从“未发射”到“已发射”的改变的数据)。因此，在这样的示例中，可以在检测到事件之前检测到移动，并且如果(T1-30ms)≤T2≤(T1+ΔT-30ms)，则可以确定存在相关性(在框502中为“是”)。
时间窗的长度ΔT对于感测垫108上的所有对象可以是相同的，或者可以是基于对象与第一对象的间距来计算的变量，例如，其可以是P1和P2之间的距离的函数，并且可以基于针对第五对象405的可能速度的已知范围来计算。
除了(或代替)基于时间执行确定(在框386中)，还可以基于位置数据(例如，基于P1和P2)来执行该确定。在这样的示例中，感测垫110上的区域可以基于P1来限定(例如，围绕P1的圆或者圆的扇区，其中第一对象的位置/定向是已知的，并且这限制了第五对象405可能的行程方向)，并且通过确定移动的位置P2是否落入由P1限定的该区域内来执行确定(框504)。
在各种示例中，感测模块110能够检测用户是否正在触摸移动的对象(例如，第二对象402)，并且在各种示例中，感测模块110可以过滤掉在运动被检测到时(或者紧接在其之前/之后)由用户握持的对象的运动(框506，例如，因为如果对象被用户握持，则所导致的运动很可能由用户引起，而非来自第五对象的影响)。取决于使用电容式感测电极阵列是否检测到电容增加，可以通过感测模块110来检测用户是否握持对象。在其他示例中，对象可以包括能够检测该对象是否被握持的一个或多个感测器(例如，用于检测轻微震颤或移动的加速度计、温度感测器或光感测器、或电容式触摸感测器)。这样的感测器可以提供关于用户是否握持对象的更细粒度的信息，例如，对象的哪个部分被握持，并且感测模块110可以根据用户正在握持哪个部分(如果有的话)来过滤对象的运动。
在各种示例中，感测模块110可以检测多于一个对象的移动(在框306中)，并且在这样的示例中，移动与事件是否相关的确定可以针对移动的每个对象来独立执行(例如，通过重复图3中的框308或图5中的框502-506)，并且在每种情况下可以触发分离的动作，或者可以基于针对所有移动的对象的确定(在框386或框502-506)的结果，来触发单个动作。
图6示出了感测表面设备100和感测垫108上的四个对象601-604的示意图。在该示例中，两个对象602、603位于另一个对象604的顶部，但是仍然可以全部被感测模块110检测到(例如，因为使用了RF天线阵列，并且对象604足够薄以至于其不阻挡由近端RF天线生成的电磁场)。在该示例中，感测模块110根据其他对象602-604中的一个或多个是否移动来推断从第一对象601发射的抛射体的轨迹，并且感测模块110还可以推断出哪些对象连接在一起。例如，如果在检测到与第一对象601相关联的发射事件之后，针对其他三个对象602-604同时检测到运动，并且所有三个对象的移动被确定为与检测到的事件相关，则感测模块110可以推断所有三个对象连接在一起，并且基础对象(例如，船604)被抛射体击中，并且响应于此，(在框308中)可以生成特定输入(对应于特定动作)。然而，如果感测模块110仅检测到三个对象中的一个(例如，海盗602)的运动，并且该运动被确定为与检测到的事件相关，则(在框308中)可以生成不同的输入(对应于不同的动作)。在其他示例中，基础对象604对于感测垫108可以是不可见的(例如，它可以不包括短距离无线标签和/或它可以由非导电材料制成)，并且在这样的示例中，如果对象602-603一起移动，则感测模块可以推断对象602-603以某种方式连接。
图7示出了感测表面设备100和感测垫108上的三个对象701-703的示意图。在该示例中，感测模块110在两个对象702、703在两个不同位置P2、P3和两个不同时间T2、T3的运动之后，检测到事件(在框304中)，并且确定(在框386中)被执行两次，并且由此可以确定第二对象702(在时间T2和位置P2)的运动与事件(在时间T1和位置P1)相关联，因此可以推断：第二对象702受到从第一对象701发射并且对感测设备100不可见的抛射体705的影响。然而，第三对象703的运动与时间T1和位置P1处的事件不相关。在这样的示例中，第二对象的运动可以被认为是检测到的第二事件(在时间T2和位置P2)，并且上述方法可以被重复以确定其他检测到的运动(例如，对象703在时间T3和位置P3的运动)是否与该第二事件相关，并且如果确定该运动与第二事件相关(例如，因为该对象在不可见对象705从第二对象弹跳开之后被不可见对象705影响)，则对软件的另外的输入可以被生成(在框308中)。因此，在各个示例中，检测到的移动(在框306中)可以用于生成输入(在框308中)，并且还可以被认为是另外检测到的事件(在框304中)，其随后可以用于生成另外的输入(在框308中)。
引起运动(在框306中检测到的)的对象可以是固体对象，诸如以上示例中所述的抛射体，或者沿感测垫上方的对象之间的升高路径滚动的球。然而，在其他示例中，抛射体可以不是固体对象，而是可以是气体/液体射流，例如，其可以是空气射流(例如，其中第一对象可以是喷射空气射流的空气炮)或水射流。
尽管在图4、图6和图7所示的示例中示出了感测垫108的单个连续区域，但是相反地，感测垫108可以由如图8所示多个分离的区域108A-D形成，其中感测垫108A-D的每个单独区域被连接到感测模块110。
在第二示例中，生成输入(在图3的框308中)的方法包括至少基于检测到的事件来选择候选输入/动作集(框390，例如，使用感测模块110)，然后至少基于检测到的移动从所选择的候选集中选择一个输入/动作(框392，例如，使用感测模块110)。在这个示例中，事件和移动本身都不会触发动作，而是基于检测到的事件和检测到的动作的组合来触发动作。
在第二示例中，检测到的事件(框304中)是与第一对象的用户交互，即，用户将第一对象放置在感测垫108上的位置P1处，用户从感测垫上的位置P1处移除第一对象，用户触摸感测垫上的位置P1处的第一对象，用户在感测垫上的位置P1处将第一对象连接至第二对象，等等。
在该第二示例中，检测到的运动(在框306中)不是感测垫108上的另一对象的运动，而是用户的手/手指在触摸事件或手势中的运动，并且各种示例在图9中示出。检测到的运动/手势向检测到的事件提供上下文。
在该第二示例的变型中，基于检测到的事件选择输入的一部分(框394)，并且至少基于检测到的移动生成输入的剩余部分(例如，一个或多个参数)(框396)，并且这两部分一起形成一个完整的输入，可以提供给软件以触发动作。
在图9所示的第一示例901中，事件(如在框304中感测模块110检测到的)可以是对象910的放置，并且移动(如在框306中由感测模块110检测到的)可以是在感测垫108上或附近的用户手势(如由虚线912所示)。基于该事件，候选动作/输入集被选择(例如，在框390中，例如，基于与检测到的事件相关联的第一对象的身份和/或基于检测到的事件的性质)，并且来自候选集的动作/输入中的一个随后基于检测到的手势被选择(在框392中)。
在其他示例中，可以基于检测到的事件来选择动作(在框394中)，并且检测到的移动(例如，手势)可以提供参数(在框396中)，以量化动作的方面(例如，强度、幅度、方向、位置等方面)。例如，对象910可以是卡片或玩具，并且手势912可以指示大小或位置，与物理对象910对应的虚拟对象应当以所述大小和位置被绘制在软件中的虚拟场景内。在另一示例中，对象910可以是玩具飞机，并且手势912可以指示软件中的虚拟场景内的与物理对象910相对应的虚拟对象的轨迹。
在各种示例中，感测模块可以检测多个事件(在框304中)，例如，如图9的第二示例902中所示的，将三个对象920-922放置在感测表面上，随后是手势924。在该示例中，可以基于具有最接近手势924(例如，对象922的放置)的检测位置的位置的检测到的事件，来检测候选动作/输入集，并且然后基于检测到的手势924来从候选集选择动作/输入中的一个(在框392中)。
例如，三个对象920-922可以表示物理系统(例如，灯、扬声器等)，并且通过靠近一个或多个对象做手势，用户可以能够控制对应的物理系统(例如，增加/降低灯光亮度或扬声器音量)。通过这种方式，对象和感测表面设备可以用作针对更大的物理对象/系统集的可重配置且直观的控制面板。放置在感测表面上的对象可以被认为是通过与感测表面相互作用来控制的实际对象/系统的标记。为了控制不同的系统，用户可以将对应的对象放置在感测表面上，然后在接近一个或多个对象的表面上执行手势。通过将表面上的对象分组在一起，用户可以能够同时控制多个系统(例如，如果用户靠近对象920-921的组做手势，用户可以控制该组系统，而不是对应于对象922的系统)，并且通过以交互和直观的方式改变分组来重新配置它们。
在图9所示的第三示例903中，用户可以放置两个对象930、932，并且这被检测为两个事件(在框304中)。通过执行连接这两个对象的手势934，可以(从由对象的放置触发的候选集中)选择动作/输入，该动作/输入将软件内的两个对象配对(例如，蓝牙TM配对)。
在另外的示例中，如图9的第四示例904所示，对象和手势的组合可以用于提供触觉复制/粘贴缓冲区。通过将对象942放置在感测垫上(如在框304中所检测到的)，可以标识候选动作集(在框390中)，并且邻近该对象942的手势944可以导致对输入/动作的选择(在框390中)，该输入/动作将内容的一部分(例如，文本或图像)与软件内的特定对象942(其可以是例如操作系统)相关联。为了随后粘贴该内容部分，用户可以将相同的对象放置在相同或不同的感测表面上(如在框304中所检测到的)，然后执行相反的手势(例如，如在框306中检测到的手势924)，并且这可以触发在软件内针对先前与对象942相关联的内容的“粘贴”动作的选择。
在以上参考图9描述的许多示例中，空间滤波被执行，以链接事件和手势(例如，使得事件是用户与邻近对象的交互)。在各种示例中，可以附加地或相反地使用时间滤波，例如，使得事件是最近检测到的与在手势被检测到时被评估的对象的用户交互。例如，如果在图9的示例902中，感测模块110以922、921、920的顺序检测到对象的放置，并且然后检测到手势924，则基于对象920(最近放置的对象)的放置和手势924生成输入(在框308中)，而不是如上所述基于对象922(最靠近地放置的对象)的放置和手势924。在该示例中，用于生成输入的事件和手势在时间上最接近，而不是在空间上最接近。
第二示例的方法可以被重复，使得在已经检测到事件和移动(在框304-306中)并且生成第一输入(在框308中)之后，检测另外的事件(在框304中，例如，在第一事件中放置的对象的移除或在感测表面上第二对象的放置)可以导致基于两个检测到的事件和检测到的移动的组合来生成第二输入。类似地，检测另外的移动(例如，手势)而不是另外的事件可以导致基于检测到的事件和两个检测到的移动的组合来生成第二输入。
在参照图9描述的示例中，用户在执行手势的同时不握持对象或与对象交互，并且手势在与对象的交互(这是检测到的事件)之后与该交互分离地被执行。在各种示例中，这使得用户能够执行双手手势，和/或将手势与多个对象(例如，3个或更多个对象)相关联。
在一个示例中，上面参考图9描述的方法可以用于实现教育工具或触觉编程方法。每个检测到的事件可以对应于用户将特定对象放置在感测垫上，每个对象对应于软件命令的一部分，并且在放置对象之后检测到的手势可以用于确定一个或多个参数以完成命令。然后完成的命令可以被提供给软件(在框308中作为生成的输入的一部分)，以触命令的执行和/或触发图形用户界面中命令的显示。
在上述第一示例和第二示例的各种示例中，可以使用第一感测模态(例如，使用RF天线阵列)来检测事件(在框304中)，并且可以使用第二感测模态(例如，使用电容式感测电极阵列)来检测移动(在框306中)，但是感测由相同的感测表面100(例如，通过相同的感测模块110)执行。
尽管本文的示例在本文中被描述和图示为在如图1所示的感测系统中实现，但是所描述的系统仅作为示例而非限制。如本领域技术人员将认识到的，本示例适于在各种不同类型的感测系统中应用，并且例如，感测垫可以具有任何尺寸或形状，并且可以是波状的而不是平坦的(如图1所示)。
第一另外的示例提供了一种感测表面设备，其包括：感测垫；以及感测模块，耦合到感测垫并且被配置为：检测感测垫上的第一位置处的第一对象；检测与第一对象相关联的事件；检测感测垫上第二位置处的移动；以及基于检测到的事件和检测到的移动来生成输入，以在软件中触发动作。
感测垫可以提供两种不同的感测模态，并且事件和移动可以由感测模块使用不同的感测模态来检测。
作为前述任何示例的备选或附加，感测垫可以包括：电容式感测阵列；和RF天线阵列。
作为前述示例中任一个的备选或附加，感测模块可以被配置为使用RF天线阵列来检测事件，并且使用电容式感测阵列来检测移动。
作为前述示例中任一个的备选或附加，感测模块可以被配置为使用电容式感测阵列来检测第一对象。
作为前述示例中任一个的备选或附加，感测模块可以被配置为：基于检测到的事件和检测到的移动二者，通过以下来生成用于在软件中触发动作的输入：确定检测到的移动是否与检测到的事件相关；并且响应于确定检测到的移动和检测到的事件相关，生成第一输入；并且响应于确定检测到的移动和检测到的事件不相关，生成第二输入。
作为前述示例中任一个的备选或附加，检测到的移动可以是感测垫上的第二对象的检测到的移动。
作为前述示例中任一个的备选或附加，检测到的事件可以指示抛射体从第一对象的射出，其中抛射体不可被感测表面设备检测。
作为前述示例中任一个的备选或附加，感测模块可以被配置为：基于检测到的事件和检测到的移动二者，通过以下来生成用于在软件中触发动作的输入：至少基于检测到的事件来选择候选输入集；以及基于检测到的移动来选择候选输入集中的一个候选输入。
作为前述示例中任一个的备选或附加，检测到的移动可以是检测到的触摸事件或手势。
第二另外的示例提供了一种感测表面设备，其包括：感测垫；以及感测模块，耦合到感测垫并且被配置为：在感测垫上的第一位置处检测第一对象；检测与第一对象相关联的事件；检测感测垫上的第二对象的移动；以及基于确定第二对象的移动是否与检测到的事件相关来生成输入，以在软件中触发动作。
第三另外的示例提供了一种感测表面设备，其包括：感测垫；以及感测模块，耦合到感测垫并且被配置为：在感测垫上的第一位置处检测第一对象；检测与第一对象相关联的事件；在感测垫上的第二位置处检测手势或触摸事件；以及基于检测到的事件和检测到的手势或触摸事件二者来生成输入，以在软件中触发动作。
第四另外的示例提供了一种方法，该方法包括：使用耦合到感测垫的感测模块来检测感测垫上的第一对象的位置；使用感测模块检测与第一对象相关联的事件；使用感测模块来检测在感测垫上的第二位置处的移动；以及基于检测到的事件和检测到的移动的组合来生成对软件的输入。
基于检测到的事件和检测到的移动的组合产生对软件的输入可以包括：确定检测到的移动是否与检测到的事件相关；并且基于相关性确定的结果来生成输入。
确定检测到的移动是否与检测到的事件相关可以包括：确定移动是否发生在相对于检测到的事件的时间而限定的时间窗中；和/或确定移动是否发生在相对于第一对象的位置而限定的感测垫的一部分中。
作为前述示例中任一个的备选或附加，检测到的移动可以是感测表面上第二对象的移动，并且确定检测到的移动是否与检测到的事件相关还可以包括：使用感测模块确定在检测到的移动的时间或者紧邻检测到的移动之前，用户是否正在触摸第二对象。
检测与第一对象相关联的事件可以包括检测与第一对象的用户交互，并且检测第二位置处的移动包括检测第二位置处的触摸事件或手势。
作为前述示例中任一个的备选或附加，该方法还可以包括：使用感测模块来检测感测垫上的第一对象的定向。
作为前述示例中任一个的备选或附加，该方法还可以包括：使用感测模块检测在感测垫上的第三位置处的移动；以及至少基于检测到的事件和在第三位置处检测到的移动的组合来生成对软件的另外的输入。
基于检测到的事件和检测到的移动的组合来生成对软件的输入可以包括：至少基于检测到的事件来选择候选输入集；以及至少基于检测到的移动来从候选输入集中选择输入。
基于检测到的事件和检测到的移动的组合生成对软件的输入可以包括：至少基于检测到的事件来选择不完整的输入；至少基于检测到的移动来确定一个或多个参数；以及将不完整的输入和一个或多个参数组合以生成对软件的输入。
作为前述示例中任一个的备选或附加，感测垫可以包括第一感测阵列和第二感测阵列，并且其中事件使用第一感测阵列来检测，并且移动使用第二感测阵列来检测。
术语“计算机”或“基于计算的设备”在本文中用于指代具有处理能力使得它执行指令的任何设备。本领域技术人员将认识到，这样的处理能力被合并到很多不同的设备中，并且因此术语“计算机”和“基于计算的设备”每个包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏控制台、个人数字助理、可穿戴计算机和很多其他设备。
在一些示例中，本文描述的方法由有形存储介质上的机器可读形式的软件来执行，例如，包括计算机程序代码设备的计算机程序的形式，计算机程序代码设备适于当程序在计算机上运行时并且在计算机程序可以在计算机可读介质上实施的情况下执行本文描述的方法中的一种或多种方法的所有操作。软件适合在并行处理器或串行处理器上执行，使得方法操作可以以任何合适的顺序或同时执行。
这里承认软件是有价值的可单独交易的商品。它旨在涵盖运行于“伪”或标准硬件上或控制“伪”或标准硬件以执行期望功能的软件。它还旨在涵盖“描述”或定义硬件配置的软件，诸如HDL(硬件描述语言)软件，其用于设计硅芯片或用于配置通用可编程芯片以执行期望功能。
本领域技术人员将认识到，用于存储程序指令的存储设备可选地分布在网络上。例如，远程计算机能够存储被描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并且下载部分或全部软件以运行程序。或者，本地计算机可以根据需要下载软件片段，或者在本地终端处执行一些软件指令并且在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已知的常规技术，全部或部分软件指令可以由诸如数字信号处理器(DSP)、可编程逻辑阵列等的专用电路来执行。
本领域技术人员将会明白，可以扩展或改变本文中给出的任何范围或设备值而不失去所寻求的效果。
尽管已经用特定于结构特征和/或方法动作的语言描述了技术方案，但是应当理解，在所附权利要求中限定的技术方案不一定限于上述特定特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。
应当理解，上述的益处和优点可以涉及一个实施例，或者可以涉及若干实施例。实施例不限于解决任何或全部所述问题的那些实施例或者具有任何或所有所述益处和优点的那些实施例。将进一步理解，对“一个”项目的引用是指这些项目中的一个或多个。
本文中描述的方法的操作可以以任何合适的顺序执行，或者在适当的情况下同时执行。另外，可以从任何方法中删除各个块，而不偏离本文中描述的技术方案的范围。以上描述的任何示例的各方面可以与所描述的任何其他示例的各方面组合以形成另外的示例而不失去所寻求的效果。
术语“包括”在本文中用于表示包括所标识的方法块或元素，但是这些块或元素不包括排他列表，并且方法或装置可以包含附加的块或元素。
术语“子集”在本文中用于指代合适的子集，使得集的子集不包括集的所有元素(即，集中的至少一个元素从子集中缺失)。
应当理解，以上描述仅作为示例给出，并且本领域技术人员可以进行各种修改。以上说明、示例和数据提供了示例性实施例的结构和使用的完整描述。虽然以上已经以一定程度的特定性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的精神或范围的情况下对所公开的实施例进行很多改变。

Claims (17)

1.一种感测表面设备，包括：
感测垫；以及
感测模块，被耦合到所述感测垫并且被配置为：
检测所述感测垫上的第一位置处的第一对象；
检测与所述第一对象相关联的事件；
检测所述感测垫上的第二位置处的移动；以及
基于检测到的所述事件和检测到的所述移动二者来生成用于在软件中触发动作的输入，检测到的所述移动是所述感测垫上的第二对象的检测到的移动，并且检测到的所述事件指示抛射体从在所述感测垫上方移动的所述第一对象的射出。
2.根据权利要求1所述的感测表面设备，其中所述感测垫提供两种不同的感测模态，并且所述事件和所述移动由所述感测模块使用不同的所述感测模态来检测。
3.根据权利要求1所述的感测表面设备，其中所述感测垫包括：
电容式感测阵列；以及
RF天线阵列。
4.根据权利要求3所述的感测表面设备，其中所述感测模块被配置为使用所述RF天线阵列来检测所述事件，并且使用所述电容式感测阵列来检测所述移动。
5.根据权利要求4所述的感测表面设备，其中所述感测模块被配置为使用所述电容式感测阵列来检测所述第一对象。
6.根据权利要求1所述的感测表面设备，其中所述感测模块被配置为：基于检测到的所述事件和检测到的所述移动二者，通过以下来生成用于在软件中触发动作的输入：
确定检测到的所述移动是否与检测到的所述事件相关；以及
响应于确定检测到的所述移动与检测到的所述事件相关，生成第一输入；以及
响应于确定检测到的所述移动与检测到的所述事件不相关，生成第二输入。
7.根据权利要求6所述的感测表面设备，其中所述抛射体不可被所述感测表面设备检测。
8.根据权利要求1所述的感测表面设备，其中所述感测模块被配置为：基于检测到的所述事件和检测到的所述移动二者，通过以下来生成用于在软件中触发动作的输入：
至少基于检测到的所述事件来选择候选输入集；以及
基于检测到的所述移动来选择所述候选输入集中的一个候选输入。
9.一种方法，包括：
使用被耦合到感测垫的感测模块来检测所述感测垫上的第一对象的位置；
使用所述感测模块来检测与所述第一对象相关联的事件；
使用所述感测模块来检测所述感测垫上的第二位置处的移动；以及
基于检测到的所述事件和检测到的所述移动的组合来生成对软件的输入，所述检测到的移动是所述感测垫上的第二对象的检测到的移动，并且检测到的所述事件指示抛射体从在所述感测垫上方移动的所述第一对象的射出。
10.根据权利要求9所述的方法，其中基于检测到的所述事件和检测到的所述移动的组合来生成对软件的输入包括：
确定检测到的所述移动是否与检测到的所述事件相关；以及
基于相关性确定的结果来生成输入。
11.根据权利要求10所述的方法，其中确定检测到的所述移动是否与检测到的所述事件相关包括：
确定所述移动是否发生在相对于检测到的所述事件的时间而被限定的时间窗中；和/或
确定所述移动是否发生所述感测垫的一部分中，所述感测垫的所述一部分相对于所述第一对象的所述位置而被限定。
12.根据权利要求11所述的方法，其中确定检测到的所述移动是否与检测到的所述事件相关还包括：使用所述感测模块确定在检测到的所述移动的时间或者紧邻检测到的所述移动之前，用户是否正在触摸所述第二对象。
13.根据权利要求9所述的方法，还包括：使用所述感测模块来检测所述感测垫上的所述第一对象的定向。
14.根据权利要求9所述的方法，还包括：
使用所述感测模块检测在所述感测垫上的第三位置处的移动；以及
至少基于检测到的所述事件和在所述第三位置处检测到的所述移动的组合来生成对软件的另外的输入。
15.根据权利要求9所述的方法，其中基于检测到的所述事件和检测到的所述移动的组合来生成对软件的输入包括：
至少基于检测到的所述事件来选择候选输入集，并且
至少基于检测到的所述移动来从所述候选输入集选择输入。
16.根据权利要求9所述的方法，其中基于检测到的所述事件和检测到的所述移动的组合来生成对软件的输入包括：
至少基于检测到的所述事件来选择不完整的输入；
至少基于检测到的所述移动来确定一个或多个参数；以及
将所述不完整的输入和所述一个或多个参数组合以生成所述对软件的输入。
17.根据权利要求9所述的方法，其中所述感测垫包括第一感测阵列和第二感测阵列，并且其中所述事件使用所述第一感测阵列而被检测，并且所述移动使用所述第二感测阵列而被检测。
CN201680063588.2A 2015-11-03 2016-11-01 包括事件以及检测到的运动的用户输入 Active CN108351731B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/931,049 US10649572B2 (en) 2015-11-03 2015-11-03 Multi-modal sensing surface
US14/931,049 2015-11-03
US15/231,174 2016-08-08
US15/231,174 US9933891B2 (en) 2015-11-03 2016-08-08 User input comprising an event and detected motion
PCT/US2016/059805 WO2017079095A2 (en) 2015-11-03 2016-11-01 User input comprising an event and detected motion

Publications (2)

Publication Number Publication Date
CN108351731A CN108351731A (zh) 2018-07-31
CN108351731B true CN108351731B (zh) 2021-05-25

Family

ID=57396806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063588.2A Active CN108351731B (zh) 2015-11-03 2016-11-01 包括事件以及检测到的运动的用户输入

Country Status (4)

Country Link
US (1) US9933891B2 (zh)
EP (1) EP3371680B1 (zh)
CN (1) CN108351731B (zh)
WO (1) WO2017079095A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649572B2 (en) 2015-11-03 2020-05-12 Microsoft Technology Licensing, Llc Multi-modal sensing surface
US10955977B2 (en) 2015-11-03 2021-03-23 Microsoft Technology Licensing, Llc Extender object for multi-modal sensing
US10338753B2 (en) 2015-11-03 2019-07-02 Microsoft Technology Licensing, Llc Flexible multi-layer sensing surface
CN115427922B (zh) 2020-06-15 2023-08-25 深圳市汇顶科技股份有限公司 打码方法、打码装置和触控芯片
CN112363634B (zh) * 2020-06-15 2022-05-03 深圳市汇顶科技股份有限公司 打码方法、打码装置和触控芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443087A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 具有可移动显示器的游戏系统
WO2009142383A1 (en) * 2008-05-20 2009-11-26 Lg Electronics Inc. Electronic device with touch device and method of executing functions thereof
EP2535797A2 (en) * 2011-06-17 2012-12-19 Konica Minolta Business Technologies, Inc. Information viewing apparatus, control program and controlling method
CN103761000A (zh) * 2008-10-02 2014-04-30 株式会社和冠 输入系统及传感器控制单元

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2170373A (en) * 1935-12-18 1939-08-22 Kind Oscar Apparatus for playing a table game
US8931780B2 (en) * 2005-08-11 2015-01-13 N-Trig Ltd. Apparatus for object information detection and methods of using same
US20100053111A1 (en) 2008-09-04 2010-03-04 Sony Ericsson Mobile Communications Ab Multi-touch control for touch sensitive display
US8508497B2 (en) * 2009-04-20 2013-08-13 Broadcom Corporation Inductive touch screen with antenna mode for use in a communication device and methods for use therewith
US8797301B2 (en) 2012-02-15 2014-08-05 Cypress Semiconductor Corporation Active stylus to host data transmitting method
DE102011056940A1 (de) 2011-12-22 2013-06-27 Bauhaus Universität Weimar Verfahren zum Betrieb einer mehrfachberührungsfähigen Anzeige und Vorrichtung mit einer mehrfachberührungsfähigen Anzeige
TWI467453B (zh) * 2012-01-18 2015-01-01 Chunghwa Picture Tubes Ltd 雙模式觸控感應裝置
FR2991800B1 (fr) * 2012-06-07 2014-07-04 Epawn Dispositif d'aide a la localisation en temps reel d'un element mobile autoalimente
US9335872B2 (en) 2012-10-01 2016-05-10 Stmicroelectronics Asia Pacific Pte Ltd Hybrid stylus for use in touch screen applications
US9958966B2 (en) 2012-10-16 2018-05-01 Atmel Corporation Active stylus communication and position system
US9405398B2 (en) * 2013-09-03 2016-08-02 FTL Labs Corporation Touch sensitive computing surface for interacting with physical surface devices
US9304599B2 (en) * 2014-03-21 2016-04-05 Dell Products L.P. Gesture controlled adaptive projected information handling system input and output devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443087A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 具有可移动显示器的游戏系统
WO2009142383A1 (en) * 2008-05-20 2009-11-26 Lg Electronics Inc. Electronic device with touch device and method of executing functions thereof
CN103761000A (zh) * 2008-10-02 2014-04-30 株式会社和冠 输入系统及传感器控制单元
EP2535797A2 (en) * 2011-06-17 2012-12-19 Konica Minolta Business Technologies, Inc. Information viewing apparatus, control program and controlling method

Also Published As

Publication number Publication date
EP3371680B1 (en) 2021-12-01
US9933891B2 (en) 2018-04-03
US20170123561A1 (en) 2017-05-04
WO2017079095A3 (en) 2017-06-08
CN108351731A (zh) 2018-07-31
WO2017079095A2 (en) 2017-05-11
EP3371680A2 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
CN108351731B (zh) 包括事件以及检测到的运动的用户输入
CN105518596B (zh) 用于局部力和近距离感测的装置和方法
KR102589636B1 (ko) 지문 센서를 포함하는 전자 장치
KR102450301B1 (ko) 중간 차폐 전극층을 채용한 포스 및 근접 센싱을 위한 디바이스 및 방법
CN108351732B (zh) 柔性多层感测表面
CN105308538A (zh) 基于所检测到的示意动作执行装置动作的系统和方法
US20170123562A1 (en) Communication with a capacitive touch-screen
CN108463794B (zh) 多模态感测表面
US9785296B2 (en) Force enhanced input device with shielded electrodes
CN108351733B (zh) 用于多模态感测的扩展器物体
US10248244B2 (en) Device operated through opaque cover and system
CN107710109B (zh) 输入装置和指示输入系统
CN107272971B (zh) 抓握管理
JP7188392B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11861066B2 (en) Computer system for providing tactile interface for real-time two-dimensional tactile input/output interaction of visually impaired people, and operating method thereof
US20150029128A1 (en) Face detection with transcapacitive sensing
US10466839B2 (en) Dynamic differential algorithm for side touch signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant