CN112673335A - 通过笔设备改变计算设备的操作模式 - Google Patents
通过笔设备改变计算设备的操作模式 Download PDFInfo
- Publication number
- CN112673335A CN112673335A CN201980058921.4A CN201980058921A CN112673335A CN 112673335 A CN112673335 A CN 112673335A CN 201980058921 A CN201980058921 A CN 201980058921A CN 112673335 A CN112673335 A CN 112673335A
- Authority
- CN
- China
- Prior art keywords
- computing device
- pen
- pen device
- signal
- wake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 47
- 230000007704 transition Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 230000003993 interaction Effects 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 10
- 238000012795 verification Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000002618 waking effect Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 6
- 238000001994 activation Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开描述了使用来自笔设备的信号来改变计算设备的操作模式。笔设备从该笔设备的至少一个传感器获取姿势输入数据,并且将所获取的姿势输入数据与至少一个姿势模式进行比较。基于该姿势输入数据匹配该至少一个姿势模式,该笔设备转换到活跃状态。该笔设备经由静电通信信道来检测来自该计算设备的上行链路信号,并且通过网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号。改变计算设备的操作模式提供了灵活的流线型方式来增强将计算设备与笔设备一起使用(例如,执行初始配对过程)的用户体验。
Description
背景
许多现代计算设备包括被配置成与该计算设备一起使用的相关联的笔设备或触控笔。例如,笔设备可被用于在计算设备的触摸屏界面上书写和/或绘图,从而模拟用笔、铅笔或其他书写工具在纸上书写或绘图。笔设备还可被装备有各种传感器(例如,压力传感器、惯性测量单元(IMU)、按钮、开关、话筒等),这些传感器可被用于收集数据以实现与计算设备的交互(例如,传感器或用于与计算设备的数字化仪组件进行交互(诸如邻近度感测)的其他组件)。
然而,与处于低功率状态的计算设备的功率预算相比,与笔设备的许多交互(诸如通过计算设备的数字化仪进行笔检测)需要大量功率。例如,通过计算设备的数字化仪以低等待时间检测笔设备的移动和邻近度消耗了处于低功率状态的计算设备的显著大量的功率预算。因此,在计算设备处于低功率状态时,由笔设备实现的操作不适合使用。例如,基于由计算设备对笔设备活动的低等待时间检测来触发该计算设备从低功率状态转换到活跃状态导致该计算设备的一致的相对较高的功率消耗,由此降低了该计算设备的低功率状态的功率效率。
发明内容
提供本发明内容以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征,亦非旨在用于帮助确定所要求保护的主题的范围。
描述了一种用于使用笔设备来改变计算设备的操作模式的计算机化方法和系统。笔设备从该笔设备的至少一个传感器获取姿势输入数据,并且所获取的姿势输入数据与至少一个姿势模式进行比较。基于该姿势输入数据匹配该至少一个姿势模式,该笔设备唤醒。该笔设备经由静电通信信道来检测来自该计算设备的上行链路信号,并且通过网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号。
许多附带特征将变得更容易领会,因为这些附带特征通过参考结合附图考虑的以下详细描述而变得更好理解。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书,在附图中:
图1是解说根据一实施例的被配置成基于来自笔设备的姿势输入来将计算设备转换出低功率状态的系统的示例性框图;
图2A和图2B是解说根据各个实施例的笔设备获取姿势输入数据的方法的示例性框图。
图3A和图3B是解说根据一实施例的笔设备被用于生成唤醒事件消息并且向计算设备传送该唤醒事件消息以将该计算设备转换出低功率状态和/或检测来自计算设备的上行链路信号并且发送用于改变该计算设备的操作模式的信号的示例性流程图;
图4是解说根据一实施例的计算设备接收唤醒事件消息并且在该唤醒事件消息被验证时转换出低功率状态的示例性流程图;
图5是解说根据一实施例的笔设备与计算设备之间的交互包括基于用户反馈来调整唤醒姿势模式的示例性序列图;以及
图6将根据一实施例的计算装置解说为功能框图。
在整个附图中相应的附图标记指示相应的部件。在图1到6中,各系统被解说为示意图。附图可能没有按比例绘制。
具体实施方式
本公开的各方面提供了一种用于基于来自笔设备的传感器数据将计算设备从低功率状态转换出的系统和方法。笔设备从相关联的传感器获取姿势输入数据。姿势输入数据与存储在笔设备上的姿势模式进行比较,并且在该姿势输入数据匹配姿势模式时,唤醒事件消息被生成。笔设备使用计算设备被配置成在处于低功率状态中时使用的网络连接/协议来向该计算设备传送唤醒事件消息。当计算设备接收到唤醒事件消息时,它可以基于计算出的置信值来验证该消息是准确的。在验证完消息之际,计算设备从低功率状态转换到活跃状态或其他类似状态。
附加地或替换地,计算设备和笔设备可被配置成使计算设备基于与笔设备的交互来改变该计算设备的操作模式。笔设备可被配置成基于检测到来自用户的唤醒姿势模式而转换到活跃状态或以其他方式唤醒,并且在唤醒之际,笔设备可经由静电通信信道来检测来自计算设备的上行链路信号。响应于该上行链路信号,笔设备可以通过网络接口或除了静电通信信道之外的通信信道向计算设备发送用于改变该计算设备的操作模式的信号。计算设备可以接收用于改变操作模式的信号,并且作为响应,基于接收到的信号执行改变该操作模式的操作。例如,计算设备和笔设备可以开始初始配对过程。
所描述的方法和系统为用户提供了一种使用直观的、用户友好的笔设备移动和与笔设备的其它交互和/或计算设备与笔设备之间的静电通信来“唤醒”计算设备,将计算设备转换到活跃状态和/或以其他方式改变包括笔设备的计算设备的操作的高效、灵活的方式。此外,用户被允许创建和自定义唤醒姿势模式以供与其计算设备一起使用,并且此类唤醒姿势模式还可被用于在计算设备从低功率状态转换出时触发对适当应用的快速访问(例如,基于涂墨的笔记记录应用在计算设备响应于来自笔的姿势(其包括模拟在表面上的书写的姿势)而转换到活跃状态之际立即打开等)。所描述的系统以非常规方式操作以利用笔设备的传感器以及笔设备与计算设备之间的链接来提供用于唤醒处于低功率状态中的计算设备和/或以其他方式改变计算设备的操作模式的直观方法。以此方式,本公开减少了计算设备的存储器和功耗,由此改进了计算设备的功能并解决了技术问题。此外,本公开至少减少了笔设备的功耗,因为笔设备不必传送和/或退出其低功率状态,直到笔设备对唤醒过程是确信的,由此改进了笔设备的功能并解决了技术问题。
图1是解说根据一实施例的被配置成基于来自笔设备102的姿势输入108来将计算设备104转换出低功率状态的系统100的示例性框图。系统100包括计算设备104和笔设备102(解说为笔和表示笔设备102的各组件的嵌套块)。在一些示例中,笔设备102被链接到计算设备104,并且被配置成仅或主要与计算设备104一起工作(例如,与平板设备、平板手机或膝上型设备包括在一起的笔设备或触控笔等)。此外,计算设备104和笔设备102被配置成执行本文所描述的操作以及其他常规计算机操作(例如,接收用户输入,显示输出,执行应用等)。
在一些示例中,笔设备102或触控笔是包括网络接口105的笔形设备,该网络接口105被配置成使笔设备102能够与计算设备104和/或其他计算设备(例如,WI-FI通信、蓝牙通信、近场通信(NFC)等)和其他计算机组件(诸如处理器、存储器和输入/输出(I/O)组件)进行通信。例如,笔设备102包括传感器106,该传感器106被配置成用于收集指示笔设备102与用户、其他设备或其他对象的交互的传感器数据。传感器106可包括被配置成检测笔设备102的运动和/或冲击的惯性测量单元(IMU)、被配置成用于检测与笔设备102的接触的一个或多个压力传感器(例如,在笔设备102的尖端中用于检测其何时与表面接触以用于收集书写数据的压力传感器、笔设备102的杆中用于检测笔设备102何时和/或如何被用户握住的压力传感器等)、按钮传感器、开关传感器、被配置成用于收集笔设备102附近的音频数据的话筒等。
在一些示例中,由笔设备102从传感器106收集的数据被获取为姿势输入数据108,该姿势输入数据是用于标识用户何时使用笔设备102做出唤醒姿势的输入数据。姿势输入数据108可包括来自任何和/或所有传感器106的传感器数据。作为姿势输入数据108获取的数据可基于构成唤醒姿势模式110的数据类型,这些唤醒姿势模式是被配置成指示在利用笔设备102执行唤醒姿势时获取的传感器数据的所存储和/或所记录的数据模式。例如,唤醒姿势模式110可包括来自笔设备102的尖端上的压力传感器的两次检测到的冲击,其中在两次冲击之间具有所定义的时间间隔。此类唤醒姿势模式110可包括在一时间段内的一系列压力传感器数据点,其中在该系列的开始和结束处相对较高的数据点值表示这两次冲击。替换地,压力传感器可被配置成提供二进制输出,使得该传感器被激活或不被激活。在该情形中,唤醒姿势模式110可能需要连续检测到两个压力传感器激活,并且可任选地,唤醒姿势模式110可包括这两次激活之间的所定义的时间间隔。
在一些示例中,笔设备102和/或与笔设备102相结合的计算设备104可被配置成基于笔设备102和/或计算设备104的传感器来检测其他姿势类型。例如,姿势可以与以下各项相关联:利用笔设备102的“书写”(例如,使计算设备104从笔设备102的运动和/或接触接收书写或绘图数据等)、利用笔设备102的“擦除”(例如,响应于相关联的“擦除”姿势而使书写或绘图数据被擦除等)、应用的激活、通过界面的导航等。此类姿势还可以由如本文所描述的姿势模式来表示,和/或这些姿势可以根据任何姿势检测过程来检测,如本领域普通技术人员将理解的。此外,所描述的系统被配置成检测的一些或所有其他姿势可被视为唤醒姿势,使得在这些其他姿势中的一者或多者被检测到时,无论是通过匹配到姿势模式还是另一姿势检测方法,唤醒事件都可以按与在如本文所述的姿势输入数据108匹配唤醒姿势模式110的情况下的相同的方式来触发。
笔设备102被配置成将所获取的姿势输入数据108与唤醒姿势模式110进行比较,以确定用户何时打算在计算设备104上执行唤醒事件(例如,将计算设备104转换出低功率状态或模式(例如,睡眠状态、挂起状态、待机状态等)等)。如果姿势输入数据108匹配唤醒姿势模式110,则笔设备102被配置成使用唤醒消息生成器112来生成唤醒事件消息113。在一些示例中,唤醒姿势模式110可包括用于匹配到所获取的姿势输入数据108的目的的所定义的可接受误差余裕。例如,如果模式110要求相隔1秒的时间段接收传感器数据点,则模式110可包括20%的误差余裕,使得在相隔0.8秒或相隔1.2秒接收数据点的情况下,这些数据点被认为匹配模式110。此类误差余裕在默认情况下可被定义用于模式110(例如,默认误差余裕或10%可被定义用于模式110的每个要求等)和/或这些误差余裕可由用户在创建或编辑模式110时定义。替换地或附加地,模式110的误差余裕可基于接收到的反馈和/或机器学习来调整,如本文所述。应理解,误差余裕可被应用于基于时间的模式要求、基于数据值的模式要求或其他类型的模式要求,而不背离本文的描述。
图2A和图2B是解说根据各个实施例的笔设备获取姿势输入数据的方法的示例性框图。在图2A中,笔设备202被配置为在笔设备202的尖端中包括压力传感器232。姿势输入数据108可基于压力传感器232被轻击、按压或以其他方式被放置成与表面234(例如,计算设备、平板等的表面)接触来收集。在一些示例中,姿势输入数据108包括连续轻击压力传感器232,如在236所解说。唤醒姿势模式110可包括包含来自压力传感器232的压力输入的模式,该压力输入连续发生两次,其中在这些输入之间(例如,在0.5秒与1.5秒之间等)具有所定义的时间段。如果在236处的笔设备202的两次轻击匹配该模式(例如,这些轻击足以提供来自传感器232的压力输入,并且这些轻击被定时成匹配在该模式的压力输入之间的所定义时间段等),笔设备202将生成如下所述的唤醒事件消息113。
替换地或附加地,在图2B中,笔设备202被配置成包括按钮238和惯性测量单元(IMU)240。姿势输入数据108可包括来自按钮238的激活数据点和/或来自IMU 240的运动数据。唤醒姿势模式110可包括来自按钮238的激活数据和来自IMU 240的运动数据的组合。例如,该模式可要求用户按下和/或按住按钮238,并且随后在按下之后(例如,在按下按钮238之后的所定义时间段内,诸如在1秒内,在2秒内等)和/或在按住按钮238期间以一个或多个运动移动笔设备202,如在242所解说的。作为结果,由于还必须按下或保持按钮238,笔设备202的无意移动不太可能意外地致使唤醒事件消息被生成。该模式所需的来自IMU 240的运动数据可包括在特定方向上的一个或多个移动,简单地前后移动或摇动笔设备202或者可以由IMU 240检测到的其他运动模式。应理解,用于匹配到唤醒姿势模式110的所需传感器数据可包括更多、更少和/或不同的传感器数据点,而不背离本文的描述。
返回图1,唤醒消息生成器112是笔设备102的软件组件,其被配置成采用姿势输入数据108作为输入并生成唤醒事件消息113作为输出,如本文所述。唤醒事件消息113的生成可包括将一些或全部姿势输入数据108转换成与关联于计算设备104和笔设备102的所定义网络通信协议兼容的格式。替换地或附加地,唤醒事件消息113可包括唤醒事件码,该唤醒事件码被定义成向计算设备104指示唤醒姿势已被执行和/或标识与唤醒事件消息113相关联的唤醒姿势模式110。
计算设备104包括显示器114,其进一步包括被配置成用于向用户显示计算设备104的输出的显示面板116子组件以及被配置成用于检测笔设备或其他对象与显示器114表面的接触和/或邻近度等的数字化仪118子组件、网络接口120、传感器121和存储器122。计算设备104被进一步配置成在多个功率状态下操作,该多个功率状态至少包括期间计算设备104的一些子组件和/或过程被禁用或以其他方式被配置成消耗更少的功率的低功率状态(例如,睡眠状态、挂起状态等)以及期间子组件和/或过程根据默认行为操作并且与处于低功率状态时相比潜在地消耗更高水平的功率的活跃状态(例如,唤醒状态、默认状态等)。例如,当计算设备处于低功率状态时,包括数字化仪118的显示器114可被禁用,并且网络接口120可被配置成仅使用需要较少功率的潜在通信协议子集来操作(例如,WI-FI可被禁用,而蓝牙保持被启用等)。其他组件(诸如其他用户界面)也可被禁用。此外,在低功率状态下保持活跃的子组件和/或过程可被配置成以较高的等待时间来操作(例如,以较少的频率来操作(诸如每秒一次而非每50毫秒一次等))以降低所消耗的功率。将计算设备104转换出低功率状态或唤醒计算设备104的方法利用了计算设备104在低功率状态下仍活跃的过程(例如,如果数字化仪118在低功率状态下被完全停用,则在显示器114表面上的轻击不能被检测到,并且因此不能将计算设备104从低功率状态唤醒)。
计算设备104的网络接口120可包括被配置成使计算设备104能够与包括笔设备102的其他设备通信的硬件、固件和/或软件。网络接口120可被配置成经由一个或多个无线和/或无线电通信协议(例如,WI-FI、蓝牙、近场通信(NFC)、蜂窝通信协议等)、一个或多个有线通信协议(例如,以太网等)等进行通信。如以上所提及的,当计算设备处于低功率状态时,网络接口120的一些或全部能力可被禁用或降低。
存储器122被配置成包括与在计算设备上执行的软件应用相关联的指令和/或数据,如本领域普通技术人员将理解的。在一些示例中,存储器122中的应用和数据包括唤醒消息验证器124、功率状态管理器128和唤醒事件管理器130。当计算设备104处于低功率状态并且其接收到唤醒事件消息113时,组件124-130可由计算设备104用于从低功率状态转换到活跃功率状态或其他功率状态。
唤醒消息验证器124是被配置成接收唤醒事件消息113作为输入并且验证它是由用户尝试唤醒计算设备104的结果的软件应用。唤醒消息验证器124可被进一步配置成除了唤醒事件消息113之外还使用来自计算设备104的传感器121(例如,内部IMU、触摸传感器、话筒或其他音频传感器等)的传感器数据作为输入。在一些示例中,唤醒姿势模式110可以相对简单,使得用户在携带笔设备102、摆弄笔设备102、碰到笔设备102等时可无意地触发唤醒事件消息113。唤醒消息验证器124被配置成计算置信值125,并且将置信值125与置信阈值126进行比较。如果置信值125超过或以其他方式超越置信阈值126,则接收到的唤醒事件消息113被视为指示合法唤醒事件,并且功率状态管理器128被用于将计算设备104从低功率状态转换到活跃状态或其他功率状态。置信值125的计算以及与置信阈值126的比较在下面更详细地描述。
在一些示例中,计算设备104包括唤醒事件管理器130,其被配置成使得能够创建供与笔设备102一起使用的唤醒姿势模式110,并且使得能够基于在唤醒事件被处理之后获取的用户反馈来调整置信阈值126和/或唤醒姿势模式110以改进本文所描述的唤醒操作的准确性和效率。例如,唤醒事件管理器130可被配置成向用户提供界面,用户可以通过该界面请求创建新的唤醒姿势模式110。计算设备104和笔设备102可随后被转换到唤醒姿势模式学习状态,使得用户可以将期望的唤醒姿势模式输入到笔设备102中(例如,按下按钮、激活压力传感器、移动和/或轻击笔设备102等)。唤醒事件管理器130获取新的姿势输入数据并且基于该姿势输入数据来定义新的唤醒姿势模式。除了将新的唤醒姿势模式存储在计算设备上之外,唤醒事件管理器130还将新的唤醒姿势模式上载到笔设备102以用于检测将来的唤醒事件。
在一些示例中,唤醒事件管理器130被进一步配置成包括机器学习组件,该机器学习组件被配置成基于作为反馈数据的与唤醒事件相关联的用户输入来调整唤醒姿势模式110、置信阈值126和/或计算置信值125的方法。例如,唤醒事件管理器130可分析有意唤醒事件、无意唤醒事件、失败的唤醒事件尝试(例如,当用户尝试触发唤醒事件并且笔设备102和/或计算设备104未能执行唤醒事件过程时等)的模式,以调节唤醒姿势模式110、置信阈值126和/或计算置信值125的方法以提高基于笔设备102传感器输入来标识和触发唤醒事件的效率(例如,调整唤醒姿势模式以减少无意唤醒事件和/或提高标识有意唤醒事件的准确性等)。此外,唤醒事件管理器130可被配置成基于作为反馈数据的用户对唤醒事件的响应来推荐对系统100的各方面的调整。例如,唤醒事件管理器130可以标识与无意唤醒事件的高频率相关联的唤醒姿势模式110和/或使用户在唤醒事件被实际触发之前连续尝试多次触发唤醒事件的唤醒姿势模式110(例如,唤醒姿势模式110可能具有过窄的误差余裕或可能太难重新创建等)。这些方面中的任一者和/或全部可以致使唤醒姿势模式110和/或置信阈值126被唤醒事件管理器130标记为可能导致低效率和/或不准确的唤醒事件执行。唤醒事件管理器130可以进一步向用户通知所标记的唤醒事件姿势模式110,并且鼓励用户考虑针对所标记的唤醒事件姿势模式110的改变和/或改进(例如,唤醒事件管理器130可以在计算设备104上向用户发送自动通知消息等)。
在一些示例中,唤醒事件管理器130的机器学习模块包括经训练的回归器(诸如随机决策森林、有向无环图、支持向量机,神经网络或其他经训练的回归器)。经训练的回归器可以使用上述反馈数据来训练。经训练的回归器的示例包括卷积神经网络和随机决策森林。应进一步理解,在一些示例中,机器学习模块可以根据本领域已知的机器学习原理和/或技术来操作,而不背离本文所述的系统和/或方法。
替换地或附加地,唤醒事件管理器130的机器学习模块还可包括分类器,如机器学习技术领域的普通技术人员将理解的。
在一示例中,唤醒事件管理器130的机器学习模块可以在应用机器学习技术和/或算法时利用训练数据对。数百万(或更多)的训练数据对可被存储在机器学习数据结构中。在一些示例中,训练数据对包括与值调整值配对的基于时间戳的反馈数据值。这两个值的配对展示了反馈数据值与调整值之间的关系,该关系可由机器学习模块用于根据机器学习技术和/或算法来确定将来的值调整。用于训练的数据可以是从单个用户收集的数据或从多个用户收集的数据。机器学习模块的机器学习算法可被即时应用于数据,或者它可以按所定义的时间间隔或基于其他执行触发被应用于“离线”数据集,使得所调整的或所调节的模式或系统的其他受影响方面在相对于相关联唤醒事件发生时的稍后时间在系统内被更新。应理解,在一些示例中,姿势输入数据108与唤醒姿势模式110的匹配被认为足以指示唤醒事件,并且计算设备104不执行任何附加的唤醒事件验证(例如,置信值125的生成和该值125与置信阈值126的比较等)。替换地,笔设备102可以几乎不执行或不执行姿势输入数据验证(例如,输入数据108与唤醒姿势模式110的比较等)和/或唤醒姿势模式110可被配置成相对较宽泛(例如,关于唤醒事件等的粗略检测和/或验证决策等),以使得唤醒事件的大部分或全部验证(例如,关于唤醒事件的精细或更精确的检测和/或验证决策等)是由唤醒事件验证器124在计算设备104处执行的,如本文所述。在进一步的示例中,笔设备102被配置成将原始传感器数据、经压缩的传感器数据和/或其他姿势输入数据恒定地或以短的规则间隔流传输到计算设备104,并且计算设备104被配置成基于流传输的数据来执行对唤醒事件的检测和/或验证。然而,此类实现可导致笔设备102和/或计算设备104的不期望的功耗水平。
图3A和图3B是解说根据一实施例的笔设备被用于生成唤醒事件消息并且向计算设备传送该唤醒事件消息以将该计算设备转换出低功率状态和/或检测来自计算设备的上行链路信号并且发送用于改变该计算设备的操作模式的信号的示例性流程图。图3A是解说根据一实施例的笔设备(例如,笔设备102等)被用于生成唤醒事件消息(例如,唤醒事件消息113等)并且向计算设备(例如,计算设备104等)传送该唤醒事件消息以将该计算设备转换出低功率状态并且转换成非低功率状态(例如,高功率状态或较高功率状态)的方法的示例性流程图300。在302,笔设备经由至少一个传感器获取姿势输入数据。只要笔设备通电和/或活跃,获取姿势输入数据就可以被持续地和/或以一致的间隔执行。替换地或附加地,笔设备可被配置成取决于计算设备的状态而激活和/或停用姿势输入数据的获取。例如,在进入低功率状态之际,计算设备可被配置成向笔设备发送消息,该消息使笔设备激活用于检测唤醒事件的目的的姿势输入捕捉,并且在计算设备从低功率状态进入另一状态之际,计算设备可被配置成向笔设备发送消息,该消息使笔设备停用用于检测唤醒事件的目的的姿势输入捕捉。此外,此类激活和/或停用可基于所定义的时间间隔(例如,计算设备可以使笔设备在转换出低功率状态之后的所定义的时间段(例如,1分钟、5分钟等)内停用用于唤醒事件的姿势输入捕捉等)。
如上所述,获取姿势输入数据可包括从笔设备的多个传感器(例如,压力传感器、IMU、按钮、开关、电容传感器、话筒等)获取数据点。在一些示例中,姿势输入数据捕捉可限于来自包括在当前唤醒姿势模式集合(例如,唤醒姿势模式110等)中的传感器的数据。例如,如果没有唤醒姿势模式包括来自笔设备上特定按钮的数据,则获取姿势输入数据可不包括从该特定按钮收集输入数据,因为此类输入数据对于与唤醒姿势模式进行比较是无用的。
在304,将所获取的姿势输入数据与至少一个所存储的唤醒姿势模式进行比较。笔设备可包括触发唤醒事件的一个或多个唤醒姿势模式,如本文所述。将所获取的姿势输入数据与各模式进行比较可包括将所获取的姿势输入数据的特定数据点与各模式中的数据点进行比较,包括计及可被包括在各模式中的任何可接受的误差余裕。此外,姿势输入数据的数据点的定时可按类似的方式与各模式的定时要求进行比较,如上所述。
在306,如果该姿势输入数据匹配至少一个唤醒姿势模式,则过程进行到308。替换地,如果该姿势输入数据不匹配至少一个唤醒姿势模式,则过程返回到302以从笔设备的传感器获取任何附加的姿势输入数据。
在308,笔设备生成唤醒事件消息。唤醒事件消息可包括指示唤醒事件已经被触发的指示符和/或代码。此外,唤醒事件消息可被生成以包括一些或全部姿势输入数据(例如,原始传感器数据和/或可能已经从原始传感器数据处理过的姿势输入数据等)。在唤醒事件消息上包括姿势输入数据可以使计算设备能够如本文关于计算唤醒事件的置信值所描述的执行对唤醒事件的单独的分析和/或验证。
在310,该唤醒事件消息经由通信协议被传送到该计算设备。笔设备被配置成使用计算设备可在处于低功率状态中时接收的通信协议来传送唤醒事件消息。在一些示例中,唤醒事件消息经由笔设备与计算设备之间的蓝牙连接被传送到计算设备。唤醒事件消息的传输可基于笔设备和/或计算设备的所定义的等待时间设置来定时(例如,计算设备可被配置成仅以高等待时间(诸如一秒等待时间(每秒接收(诸)消息一次))接收唤醒事件消息,以便保持该计算设备的低功率状态的低功耗等)。
在一些示例中,操作304和306在计算设备上被执行。姿势输入数据作为唤醒事件消息的一部分被发送到计算设备,并且在该计算设备保持处于低功率状态时,将该计算设备将姿势输入数据与存储在该计算设备上的唤醒姿势模式进行比较。如果姿势输入数据匹配唤醒姿势模式,则计算设备可以执行操作以从低功率状态转换到活跃状态或其他非低功率状态。
图3B是解说笔设备(例如,笔设备102等)基于检测到的姿势从低功率状态唤醒,经由静电通信信道检测计算设备(例如,计算设备104等)的存在并且经由相同或另一通信信道向计算设备发送用于改变操作模式的信号的方法的示例性流程图301。操作302-306与以上关于图3A所描述的基本上相同。
在308,笔设备基于姿势输入数据匹配至少一个唤醒姿势模式而从低功率状态唤醒。在一些示例中,笔设备被配置成尽管处于低功率状态也检测姿势输入数据,从而实现了这一所描述的功能性。笔设备从低功率状态唤醒可包括激活网络通信能力和/或静电信号检测和通信能力以供在流程图301的其余过程中使用。此类能力可包括例如蓝牙通信能力和/或用于检测来自计算设备的数字化仪的静电信号的静电检测能力。
在310处,笔设备经由静电通信信道来检测来自计算设备的上行链路信号(诸如在计算设备不能检测到来自笔设备的静电下行链路信号时,或者在计算设备能够检测到下行链路信号但不需要检测此类信号时)。在一些示例中,邻近于计算设备的笔设备能够经由静电通信与计算设备的一个或多个数字化仪通信。笔设备和计算设备的定时可以是异步的(例如,笔设备的定时最初未与数字化仪的定时同步等)或同步的(例如,笔设备的定时与数字化仪的定时同步等)。在定时最初是异步的实施例中,计算设备的数字化仪可被配置成搜索笔信号,并且在从笔设备接收到此类静电信号时,数字化仪可被配置成改变其定时以与笔设备同步,使得数字化仪能够捕捉来自笔设备的所有信号,并且向操作系统和/或应用发送笔报告。
在一些示例中,计算设备的数字化仪可经由静电通信检测到笔设备的范围不同于笔设备可检测到计算设备的数字化仪的范围。例如,数字化仪(例如,经由来自笔设备的下行链路信号等)检测到笔设备的范围可距计算设备的屏幕约15mm远,而笔设备(例如,经由来自数字化仪的上行链路信号等)检测到数字化仪的范围可距计算设备的屏幕约30-40mm远。下行链路和上行链路信号的有效范围可受信号的信噪比(SNR)和/或用于生成信号的功率量的影响(例如,数字化仪可使用与笔设备用于生成下行链路信号的功率相比更多的功率来生成上行链路信号等)。在310,当笔设备在检测到来自计算设备的数字化仪的上行链路信号的范围内但仍在计算设备的数字化仪检测到来自笔设备的下行链路信号的范围之外时,由笔设备进行的对上行链路信号的检测可以发生。在一些示例中,由笔设备在此类扩展范围处对数字化仪的检测可被用于更高效地响应笔设备与计算设备之间的潜在交互,如本文所述。应理解,在一些示例中,计算设备在物理上可以能够检测来自笔设备的下行链路信号,但是被配置成尝试检测下行链路信号以便节省功率、处理资源或出于其他原因而不背离本文的描述。
在一些示例中,由笔设备检测到的上行链路信号可包括与计算设备的数字化仪相关联的定时信息,从而使笔设备能够在检测到上行链路信号之际与数字化仪和/或计算设备同步。此外,笔设备可基于检测到上行链路信号(例如,通过增加所传送的下行链路信号的强度,增加传输历时或频率等)来改变其操作模式,以实现由计算设备的数字化仪进行的更快地捕获。来自数字化仪的上行链路信号可按笔设备计算该笔设备相对于数字化仪的位置和/或该笔设备在数字化仪上方的“悬停高度”的方式来配置。此类计算可基于上行链路信号强度、在上行链路信号中提供的数据和/或上行链路信号的其他方面。所计算的位置可被传达到计算设备,并且如下所述的对计算设备的操作模式的改变可以取决于所计算的位置(例如,当笔设备在距数字化仪的所定义距离内时,计算设备的UI可以改变为变得笔友好等)。
替换地或附加地,在检测到静电上行链路信号之前,笔设备可以经由另一通信信道(例如,蓝牙信道或具有比静电更长的范围的其他信道等)与计算设备通信,以请求计算设备传送上行链路信号(若其尚未这样做)。此类请求可基于笔设备本身检测到对该笔设备的姿势输入和/或基于对笔设备的另一类型的输入来发送。
在312,笔设备在检测到上行链路信号之后经由除了静电通信信道之外的通信信道来发送用于改变计算设备的操作模式的信号。该通信信道可包括通过网络接口(诸如经由如本文所述的蓝牙协议)的连接。在不背离描述的情况下,其他可能的通信信道(诸如具有比静电信道长的范围的低功率通信信道)可被使用。在一些示例中,来自笔设备的信号可包括笔设备的笔标识符和/或供计算设备用来与笔设备的信号同步的定时信息。
计算设备的操作模式的改变可包括对计算设备的功率状态的改变(例如,如本文所述,将计算设备从低功率状态转换到活跃状态等)、对笔设备如何被检测到和/或发信号通知的改变、和/或基于笔设备的检测到的邻近度对相对于笔设备的界面、操作系统操作和/或应用操作的改变。例如,计算设备的操作可包括改变显示屏的界面以容适用户用笔设备进行书写或绘图和/或将数字化仪和/或计算设备的其他组件配置成捕捉来自笔设备的用户的涂墨(例如,书写和/或绘图等)输入。在一些示例中,由于笔设备在与数字化仪检测到下行链路信号的范围相比更大的范围处检测到上行链路信号,因此计算设备具有更多的时间来将操作转换成捕捉笔设备涂墨输入,以使得计算设备更有可能捕捉所有书写或绘图输入,而非基于等待对来自笔设备的下行链路信号的检测而可能未能捕捉到初始涂墨输入。对操作模式的其他改变可包括显示因笔而异的菜单或其他笔相关的用户界面组件,唤醒计算设备或以其他方式改变计算设备的功率状态,启动或恢复笔相关应用等。
替换地或附加地,计算设备的操作模式的改变可包括配对或以其他方式配置计算设备和/或笔设备以供进一步的通信和/或交互(例如,蓝牙配对以实现通过蓝牙连接的进一步通信等)。当笔设备和计算设备先前尚未配对或相关联的配对历史数据已被擦除等时,此类配对可以由计算设备和/或笔设备作为初始配对过程来执行。替换地,当计算设备和笔设备先前已经配对时,计算设备的操作模式的改变可包括恢复计算设备和笔设备的经配对状态。
在一些示例中,由310-312描述的过程可以与由302-308描述的过程独立地执行,只要计算设备和笔设备能够经由静电信号和另一通信信道进行通信,如所述。例如,如果计算设备和笔设备先前已经交互以交换姿势数据,则由310-312描述的过程可以稍后使用(诸)静电信号和先前建立的一个或多个通信信道来执行。在一些实施例中,笔设备可以不被配置成主动扫描静电上行链路信号,直到姿势和/或其他输入被笔设备检测到。例如,笔设备可被配置成保持处于非活跃状态(例如,不扫描上行链路信号,降低的信号传输频率等)以节省电池功率,直到姿势输入被检测到。在检测到姿势之后,笔设备可以转换到活跃状态并且检测静电上行链路信号,如本文所述。以此方式,本公开利用笔设备与计算设备之间的不同通信路径来获得诸如快速捕获时间和准确的范围内报告之类的益处。笔设备和计算设备之间的第一捕获时间确定并影响笔设备性能。例如,如果捕获时间较长,并且笔设备仅在接触到计算设备的屏幕之后才被捕获,则影响可以是丢失来自笔设备的输入的第一笔划,从而导致不良的用户体验(例如,涂墨应用中的降级的手写或绘图质量)或通过一个或多个应用的降级的导航体验(例如,如果笔设备被用于此类导航)。另外,知晓笔设备在范围内(例如,即使笔设备的确切位置是未知的)是有利的并且促成计算设备上的某些特征。例如,如果期望使用笔设备,则因笔而异的菜单被显示。
图4是解说根据一实施例的计算设备(例如,计算设备104等)接收唤醒事件消息(例如,唤醒事件消息113等)并且在该唤醒事件消息被验证时转换出低功率状态的示例性流程图400。流程图400的过程可以由当前处于低功率状态(例如,“睡眠”状态、“挂起”状态等)的计算设备来执行。由于计算设备能访问与笔设备相比更多和/或不同的数据、更大的处理资源和能力、和/或更复杂的算法,因此以下验证过程可以使计算设备能够对唤醒事件进行更精确的验证。如果计算设备已经处于除了低功率状态之外的状态(例如,活跃状态、默认状态等),则计算设备可被配置成忽略接收到的唤醒事件消息,或者以其他方式被配置成不接收唤醒事件消息(例如,使用相关联的无线电网络连接或静电上行链路来使姿势检测机制“超时”等)。此外,如上所述,计算设备可被配置成在计算设备不处于低功率状态时使笔设备禁用唤醒事件的生成。在402,计算设备经由可由该计算设备在低功率状态下使用的通信协议(例如,经由蓝牙连接等)从笔设备接收唤醒事件消息。
在404,计算设备生成该唤醒事件消息的置信值。置信值可以是由回归或软决策引擎基于与以下数据相关联的因子来计算出的连续数:包括在唤醒事件消息中的数据(例如,姿势输入数据(诸如原始或经压缩的传感器数据等))、由计算设备(例如,从传感器121等)收集的传感器数据、和/或与唤醒事件消息相关联的上下文数据(例如,该消息何时被接收到、最近接收到的其他消息的结果等)。用于计算置信值的每个因子可包括指示该因子影响计算出的置信值的程度的所定义的权重。例如,权重为0.1的因子可能对置信值的影响小于权重为0.5的因子(例如,权重值可以通过相乘应用于相关联的因子值,并且所得的加权因子值可以通过求和等来组合,等等)。
在一些示例中,置信值基于来自唤醒事件消息的输入数据和/或来自计算设备的传感器(例如,传感器121等)的传感器数据与存储在计算设备上的唤醒姿势模式(例如,这些唤醒姿势模式可以与在笔设备上存储的那些唤醒姿势模式相同,它们可包括基于计算设备的传感器数据的附加或不同模式,或者它们可包括基于来自笔设备的数据和计算设备的传感器数据的组合或融合的模式等)匹配的程度来计算。置信值可相反地受输入数据不同于唤醒姿势模式的程度的影响(例如,如果输入数据与唤醒姿势模式相差10%或更小,则为10的因子值可被包括在置信值中,而如果输入数据与唤醒姿势模式相差30%或更多,则为3的因子值可被包括在置信值中等。)包括在置信值中的因子值可被配置为可能值的范围(例如,从0至10的因子值等)、二进制值(例如,为0的因子值或为10的因子值等)和/或值类型的任何其他组合,而不背离本文的描述。
此外,置信值可基于与接收到的唤醒事件消息相关联的其他上下文数据来计算。例如,如果在计算设备通常由用户使用时的时间框内接收到唤醒事件消息,则置信值与在计算设备通常在延长时段内保持处于低功率状态(例如,计算设备整晚处于“睡眠”状态等)时的时间框内接收到消息的情况下的置信值相比可以更高。在另一示例中,如果计算设备最近接收到始终错误的唤醒事件消息(例如,在用户行走时携带笔设备,从而导致可使错误的唤醒事件消息被生成的运动等),则置信值可低于在笔设备在其它情况下相对静止时接收到消息的情况下的置信值。
在406,计算设备验证该置信值超过所定义的置信阈值以生成关于唤醒事件是真还是假的硬决策。置信阈值可以是在如上所述用于计算置信值的方法的上下文中定义的单个值(例如,如果置信值可以在0到100的范围内生成,则置信阈值可在该置信值标度上被定义为85等)。置信阈值可以是默认值和/或可以由计算设备的用户来设置。在一些示例中,如上所述的置信阈值和/或计算置信值的其他方面可基于如本文关于机器学习所描述的反馈来调整。
在408,如果置信值超过置信阈值,则过程进行到410。替换地,如果置信值不超过置信阈值,则过程进行到402。当置信值不超过置信阈值时,唤醒事件消息可被计算设备忽略。替换地,计算设备可以作为响应向笔设备提供消息,该消息通知笔设备最新近的消息很可能是错误的。此类通知可以使笔设备返回以获取姿势输入数据,而非例如在计算设备已经从低功率状态转换出的情形中禁用姿势输入数据的收集。
在410处,计算设备从低功率状态转换到活跃状态。低功率状态与其他状态之间的转换在本领域中是众所周知的(例如,“唤醒”处于“睡眠”状态或“挂起”状态的计算设备等)。该转换可包括激活在低功率状态下禁用的各组件和/或各应用,和/或将处于低功耗模式的各组件和/或各应用改变为活跃模式、默认模式或可导致组件和/或应用消耗附加功率(例如,以换取改进的性能等)的其他模式。
在一些示例中,该转换还可包括一个或多个应用(诸如可特定于唤醒事件被检测到的方法的应用)的执行(例如,如果唤醒事件如本文所述由笔设备的传感器检测到,则计算设备可被配置成执行使用户能够用笔设备进行书写或绘图的应用(诸如文档生成应用或图像编辑应用等))。
图5是解说根据一实施例的笔设备502与计算设备504之间的交互包括基于用户反馈来调整唤醒姿势模式的示例性序列图500。应理解,计算设备504在由示图500描述的时间段的开始处如本文所述处于低功率状态。在506,笔设备502获取与唤醒姿势模式匹配的姿势输入数据,并且在508,笔设备502向计算设备504传送与该姿势输入数据相关联的唤醒事件消息。在506和508的过程可以按与以上关于图3A和3B所描述的基本上相同的方式或相似的方式来执行。
在510,计算设备接收并验证该唤醒事件消息,并且在512,作为该唤醒事件消息被验证的结果,计算设备转换到活跃状态。在510和512的过程可以按与以上关于图4所描述的基本上相同的方式或相似的方式来执行。
在514,计算设备504获取关于唤醒事件的用户反馈。用户反馈可以通过计算设备504提示计算设备504的用户来确认或否认唤醒事件是有意的来获取。在一些情形中,用户基于提供给笔设备502的传感器数据而可能已经无意地触发了唤醒事件,从而导致计算设备504在无意的时间处唤醒。响应于计算设备的提示,用户可以指示唤醒事件是无意的,并且计算设备504可被配置成记录用户反馈响应,并且随后返回到低功率状态。替换地,用户可能已经打算触发唤醒事件,并且响应于提示,可以确认唤醒事件是有意的。在该情形中,计算设备504可被配置成记录用户反馈响应并且在当前活跃状态下继续操作。
替换地或附加地,用户与计算设备504在转换到活跃状态之际的立即交互可被获取为关于唤醒事件的用户反馈。例如,如果在512转换到活跃状态之后,计算设备504的用户立即选择将计算设备504转换回低功率状态,则该用户的选择可被视为关于到活跃状态的转换被错误地触发的用户反馈。此外,如果用户立即开始使用计算设备504,则用户的动作可被视为关于到活跃状态的转换被正确地触发的用户反馈。
在一些示例中,计算设备504被配置成仅在唤醒事件子集之后获取用户反馈。例如,如果在510的唤醒事件消息的验证期间,发现唤醒事件的计算出的置信值显著超过所定义的置信阈值(例如,置信值超过置信阈值达所定义的量和/或所定义的置信阈值百分比等),则用户反馈可不被获取,因为唤醒事件很可能是用户想要的。替换地,如果发现计算出的置信值接近所定义的置信阈值(例如,置信值在置信阈值的所定义的量和/或置信阈值的所定义的百分比内等),则可以提示用户提供反馈,或者可以按其他方式从用户获取反馈,因为唤醒事件可能是无意的。
在516,计算设备504基于用户反馈来生成经调整的唤醒姿势模式。在一些示例中,对使唤醒事件被触发的唤醒姿势模式作出调整。所作出的调整可包括改变唤醒姿势模式的误差余裕,以使姿势输入更大可能地或更小可能地匹配该模式。例如,如果唤醒事件基于用户反馈而被确定为是无意的,则相关联的唤醒姿势模式的误差余裕可被减小(匹配到模式值的值范围可被减小,用于匹配到模式的时间间隔可被缩短等)。替换地或附加地,如果用户反馈指示用户尝试触发唤醒事件但该唤醒事件由于传感器输入未能匹配唤醒姿势模式而未被触发,则相关联的唤醒姿势模式的误差余裕可被扩大。
在一些示例中,用户反馈被用于调整计算与计算设备504相关联的(诸)置信阈值和/或置信值的方式,如本文所述。与调整唤醒姿势模式类似,置信阈值和/或置信值计算可被调整成使唤醒事件将更大可能地或更小可能地被触发。
在518,计算设备504向笔设备502传送经调整的唤醒姿势模式518。该传输可以通过与在508的唤醒事件消息的传输相同的网络连接。替换地或附加地,因为计算设备504已经转换到活跃状态,所以计算设备504可被配置成经由不同的网络协议(诸如在计算设备504处于低功率状态时可能已经被禁用的协议)来向笔设备502传送经调整的唤醒姿势模式。
在520,笔设备502接收经调整的唤醒姿势模式,并且将其连同与笔设备502相关联的任何其他唤醒姿势模式一起存储。经调整的唤醒姿势模式可以覆写经调整的唤醒姿势模式的先前版本,以使得经调整的唤醒姿势模式被用于基于将来的姿势输入数据来标识唤醒事件。
替换地或附加地,计算设备504可被配置成向笔设备502发送与唤醒事件消息相关联的反馈数据,并且笔设备502可被配置成基于所发送的反馈数据来调整唤醒姿势模式。发送回笔设备502的反馈数据可包括与唤醒事件消息、计算设备504相关联的标签或标识符,和/或相关联的传感器数据或由计算设备504在验证期间使用的其他数据。例如,在计算设备504处被发现为错误的唤醒事件可以导致与唤醒事件消息相关联的错误的唤醒事件消息被发送到笔设备502。笔设备502可随后基于机器学习原理和/或技术来调节或调整相关联的唤醒姿势模式,如本文所述。肯定结果(例如,唤醒事件消息被发现为是真的和/或准确的等)可被发送到笔设备502,以同样被应用于唤醒姿势模式。尽管一些笔设备可不包括此类实现所必需的处理资源,但是在具有能够进行这种处理的笔设备的系统中,对计算设备进行模式调节的依赖可被减少。
附加示例场景
本公开的各方面实现了各种附加场景,诸如下面描述的。
在一示例中,用户具有带有处于睡眠状态的笔设备的计算设备。用户拿起笔设备并且在附近的表面上快速连续地轻击笔设备的尖端两次。笔设备在尖端上包括压力传感器,该压力传感器将这两次轻击检测为姿势输入数据。笔设备将检测到的轻击与存储在笔设备上的唤醒姿势模式进行比较。唤醒姿势模式包括间隔0.5秒的两次轻击,并且包括关于轻击的定时的20%的误差余裕。笔设备确定检测到的轻击在所定义的误差余裕内匹配唤醒姿势模式。唤醒事件消息被生成并且使用蓝牙网络连接被传送到计算设备。
计算设备接收到唤醒事件消息,并且基于该消息中包括的数据以及与该消息的接收相关联的其他上下文数据来计算置信值。当置信值超过所定义的置信阈值时,计算设备验证消息,并且基于该验证,计算设备从睡眠状态转换到活跃状态。一旦计算设备转换到活跃状态,用户就开始在计算设备上工作。
在另一示例中,用户定义新唤醒姿势模式以供与笔设备一起使用以唤醒计算设备。新唤醒姿势模式包括将笔的尖端按到表面上,并且以圆周运动方式移动笔,就像在表面上画圆一样。与该唤醒姿势模式相关联的数据包括来自笔设备的尖端中的压力传感器的输入数据和针对笔设备中的IMU的移动数据。用户进一步定义在新唤醒姿势模式被用于唤醒计算设备时,计算设备还应激活用户最爱的笔记记录应用,从而使用户能够从计算设备处于睡眠状态开始快速且直观地访问该应用。
另一示例构想了用户的计算设备处于低功率状态,并且用户想要使用笔记记录应用。用户拿起笔设备,并且通过将笔设备的尖端按到桌面上并以圆形模式移动来尝试执行新唤醒姿势模式。笔设备从压力传感器和IMU获取输入数据,但是基于与新唤醒姿势模式相关联的(诸)误差余裕,笔设备确定移动输入不充分匹配所定义的模式。在看到计算设备未唤醒之际,用户尝试再次执行该模式。这次,输入数据匹配所定义的模式,并且唤醒事件消息(包括输入数据和所匹配的模式的标识符)被传送到计算设备。计算设备验证该消息并且转换到活跃状态。基于所匹配的模式,计算设备随后启动与该唤醒姿势模式相关联的笔记记录应用以供用户使用。用户立即开始使用该笔记记录应用。
计算设备收集与最新近的唤醒事件相关联的上下文数据,包括指示用户先前紧接在该最新近的唤醒事件之前尝试过并且未能引起唤醒事件的数据。计算设备的机器学习组件确定在唤醒事件之前的失败尝试指示关于与新唤醒姿势模式相关联的(诸)误差余裕太窄以使得该模式的执行比应有的难度更大的反馈。机器学习组件调整新模式的(诸)误差余裕以拓宽满足该模式的值的范围,并且经调整的模式被提供给笔设备以供在将来的唤醒姿势检测期间使用。
在其他示例中,其他类型的传感器数据可被用于检测唤醒事件。例如,笔设备上的话筒传感器可被配置成检测使笔设备发起唤醒事件的所定义的声音(诸如口述单词或短语)。此外,所描述的姿势类型可由笔设备的多个传感器来检测(例如,笔设备的轻击由笔设备的尖端上的压力传感器、由嵌入在设备中的IMU、和/或由笔设备的话筒传感器等来检测)。传感器的类型可包括在笔设备内的压电传感器等,其对施加到笔设备的力敏感以检测由用户在笔设备上使用的抓握力的水平,其可以单独使用或与其他传感器数据结合使用以用于触发唤醒事件。
在又其他示例中,该系统包括用于其他目的(诸如书写、擦除、激活应用、导航界面等)的对笔设备姿势的检测。该系统的笔设备和/或计算设备被配置成在检测到这些其他设备姿势中的至少一者之际触发唤醒事件。
此外,该系统可被配置成基于在笔设备处使用较宽误差余裕对唤醒姿势和/或其他姿势的检测来触发唤醒事件,以使得实际上任何检测到的传感器输入数据或检测到的传感器输入数据的变化都使笔设备向计算设备传送唤醒事件消息。因此,计算设备对于用户而言相对容易唤醒。然而,当用户四处移动,携带计算设备和/或笔设备等时,许多无意的唤醒事件可在笔设备级别处被触发,因此在计算设备处的验证可被配置和/或调节以针对无意事件进行控制。
示例性操作环境
本公开可以通过根据一实施例的作为图6中的功能框图600的计算装置来操作。在一实施例中,计算装置618的各组件可被实现为根据本说明书中所描述的一个或多个实施例的电子设备的一部分。计算装置618包括一个或多个处理器619,这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制电子设备的操作的任何其他合适类型的处理器。替换地或附加地,处理器619是能够执行逻辑或指令的任何技术(诸如硬编码或硬件机器)。可以在装置618上提供包括操作系统620或任何其他合适的平台软件在内的平台软件以使得应用软件621能够在设备上被执行。根据一实施例,如本文所述,基于由笔设备经由静电通信检测到的上行链路信号来执行改变计算设备的操作模式的操作可由软件来实现。
可以使用计算装置618能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可包括例如诸如存储器622等计算机存储介质和通信介质。诸如存储器622之类的计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于,RAM、ROM、EPROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备,或者可被用来储存信息以供计算装置访问的任何其他非传输介质。相比而言,通信介质可以以诸如载波或其他传输机制之类的已调数据信号来体现计算机可读指令、数据结构、程序模块等。如本文中所定义的,计算机存储介质不包括通信介质。因此,计算机存储介质本身不应当被理解成是传播信号。传播的信号本身不是计算机存储介质的示例。虽然计算机存储介质(存储器622)被示为在计算装置618内,但是本领域的技术人员应当领会,该存储可以是分布式的或位于远程并经由网络或其他通信链路(例如,使用通信接口623)来访问。
计算装置618可包括被配置成向可以与电子设备分开或集成在一起的一个或多个输出设备625(例如,显示屏或扬声器)输出信息的输入/输出控制器624。输入/输出控制器624还可被配置成接收和处理来自一个或多个输入设备626(例如,键盘、话筒或触摸垫)的输入。在一个实施例中,输出设备625也可充当输入设备。这样的设备的示例可以是触敏显示器。输入/输出控制器624还可以向除输出设备之外的设备(例如,本地连接的打印设备)输出数据。在一些实施例中,用户可向(诸)输入设备626提供输入和/或从(诸)输出设备625接收输出。
本文中所描述的功能性可以至少部分地由一个或多个硬件逻辑组件来执行。根据一实施例,计算装置618由当被处理器619执行时执行所描述的操作和功能性的各实施例的程序代码进行配置。替代地或附加地,本文中所描述的功能性可以至少部分地由一个或多个硬件逻辑组件来执行。作为示例而非限制,可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、应用专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
附图中的各种元素的至少一部分功能可由附图中的其他元素或附图中未示出的实体(例如,处理器、web服务、服务器、应用程序、计算设备等)执行。
尽管结合一示例性计算系统环境进行了描述,但本公开的各示例能够用众多其它通用或专用计算系统环境、配置或设备实现。
可能适用于本公开的各方面的公知的计算系统、环境和/或配置的示例包括但不限于:移动或便携式计算设备(如智能手机)、个人计算机、服务器计算机、手持式设备(例如平板)或膝上型设备、多处理器系统、游戏控制台或控制器、基于微处理器的系统、机顶盒、可编程消费电子产品、移动电话、具有可穿戴或配件形状因子(例如,手表、眼镜、头戴式耳机或耳塞)的移动计算和/或通信设备、网络PC、小型计算机、大型计算机、包括上面的系统或设备中的任何一种的分布式计算环境等等。一般而言,本公开可通过具有处理能力使得其能够执行诸如本文所描述的指令的任何设备来操作。这样的系统或设备可以以任何方式来接受来自用户的输入,包括来自诸如键盘或指点设备之类的输入设备、通过姿势输入、接近输入(诸如通过悬停)和/或通过语音输入。
本公开的各示例可在被软件、固件、硬件或其组合中的一个或多个计算机或其他设备执行的计算机可执行指令(诸如程序模块)的一般上下文中被描述。计算机可执行指令可以被组织成一个或多个计算机可执行的组件或模块。一般而言,程序模块包括但不限于,执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件,以及数据结构。可以利用任何数量的这样的组件或模块以及它们的任何组织来实现本公开的各方面。例如,本公开的各方面不限于附图中所举例说明并且在本文所描述的特定计算机可执行指令或特定组件或模块。本公开的其他示例可以包括具有比本文所示出和描述的功能更多或更少功能的不同的计算机可执行指令或组件。
在涉及通用计算机的示例中,在被配置成执行本文所描述的指令之时,本公开的各方面将通用计算机变换成专用计算设备。
作为本文中所描述的其他示例的替换或补充,示例包括以下的任何组合:
一种用于使用笔设备来改变计算设备的操作模式的系统,该系统包括:
-该笔设备的至少一个处理器;
-该笔设备的至少一个网络接口;
-该笔设备的至少一个传感器;以及
-该笔设备的包括计算机程序代码的至少一个存储器,该至少一个存储器和计算机程序代码被配置成与该至少一个处理器一起使该至少一个处理器:
-经由该至少一个传感器获取姿势输入数据;
-将所获取的姿势输入数据与至少一个姿势模式进行比较;
-基于该姿势输入数据匹配该至少一个姿势模式,唤醒该笔设备;
-经由该笔设备的静电通信信道来检测来自该计算设备的上行链路信号;以及
-经由该网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号。
-进一步包括:
-该计算设备的至少一个处理器;
-该计算设备的至少一个网络接口;以及
-该计算设备的包括计算机程序代码的至少一个存储器,该计算设备的至少一个存储器和计算机程序代码被配置成与该计算设备的至少一个处理器一起使该计算设备的至少一个处理器:
-经由该网络接口从该笔设备接收用于改变操作模式的信号;以及
-基于接收到用于改变操作模式的信号,执行改变该计算设备的操作模式的操作。
-其中接收用于改变操作模式的信号包括接收用于在计算设备与笔设备之间的通信信道上执行初始配对过程的信号;并且
-其中执行改变该计算设备的操作模式的操作包括执行对该计算设备和该笔设备进行初始配对的操作。
-其中接收用于改变操作模式的信号包括接收用于将该计算设备从低功率状态转换到活跃状态的唤醒事件信号;并且
-其中执行改变该计算设备的操作模式的操作包括执行将该计算设备从低功率状态转换到活跃状态的操作。
-经由该计算设备的用户界面来提示该计算设备的用户进行唤醒事件反馈;以及
-基于接收到唤醒事件反馈,基于机器学习来调整与唤醒该笔设备相关联的姿势模式;以及
-将经调整的姿势模式上传到该笔设备。
-计算该笔设备相对于该计算设备的数字化仪的位置;
-其中发送用于改变该计算设备的操作模式的信号包括向该计算设备发送该笔设备的计算出的位置。
-其中由该计算设备接收用于改变操作模式的信号包括接收该笔设备的计算出的位置;并且
-其中执行改变该计算设备的操作模式的操作进一步基于所接收到的该笔设备的位置。
-其中执行改变该计算设备的操作模式的操作基于所接收到的该笔设备的位置在该计算设备的数字化仪的所定义距离内。
-一种用于使用笔设备来改变计算设备的操作模式的计算机化方法,该方法包括:
-由该笔设备从该笔设备的至少一个传感器获取姿势输入数据;
-由该笔设备将所获取的姿势输入数据与至少一个姿势模式进行比较;
-基于该姿势输入数据匹配该至少一个姿势模式,唤醒该笔设备;
-经由该笔设备的静电通信信道来检测来自该计算设备的上行链路信号;以及
-由该笔设备经由网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号。
-进一步包括:
-由该计算设备经由该网络接口从该笔设备接收用于改变操作模式的信号;以及
-基于接收到用于改变操作模式的信号,由该计算设备执行改变该计算设备的操作模式的操作。
-其中接收用于改变操作模式的信号包括:接收用于在该计算设备与该笔设备之间的通信信道上执行初始配对过程的信号。
-其中执行改变该计算设备的操作模式的操作包括执行对该计算设备和该笔设备进行初始配对的操作。
-其中接收用于改变操作模式的信号包括接收用于将该计算设备从低功率状态转换到活跃状态的唤醒事件信号;以及
-其中执行改变该计算设备的操作模式的操作包括执行将该计算设备从低功率状态转换到活跃状态的操作。
-进一步包括:
-由该计算设备经由该计算设备的用户界面来提示该计算设备的用户进行唤醒事件反馈;以及
-基于接收到唤醒事件反馈,由该计算设备基于机器学习来调整与唤醒该笔设备相关联的姿势模式;以及
-由该计算设备将经调整的姿势模式上传到该笔设备。
-进一步包括:
-由该笔设备计算该笔设备相对于该计算设备的数字化仪的位置;
-其中发送用于改变该计算设备的操作模式的信号包括向该计算设备发送该笔设备的计算出的位置。
-其中由该计算设备接收用于改变操作模式的信号包括接收该笔设备的计算出的位置;并且
-其中执行改变该计算设备的操作模式的操作进一步基于所接收到的该笔设备的位置。
-其中执行改变该计算设备的操作模式的操作基于所接收到的该笔设备的位置在该计算设备的数字化仪的所定义距离内。
-一个或多个具有用于使用笔设备来改变计算设备的操作模式的计算机可执行指令的计算机存储介质,该计算机可执行指令在由该笔设备的处理器执行之际使该笔设备的处理器至少进行以下操作:
-经由该至少一个传感器获取姿势输入数据;
-将所获取的姿势输入数据与至少一个姿势模式进行比较;
-基于该姿势输入数据匹配该至少一个姿势模式,唤醒该笔设备;
-经由该笔设备的静电通信信道来检测来自该计算设备的上行链路信号;以及
-经由该网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号。
-其中这些计算机可执行指令包括在由该计算设备的处理器执行之际使该计算设备的处理器至少进行以下操作:
-经由该网络接口从该笔设备接收用于改变操作模式的信号;以及
-基于接收到用于改变操作模式的信号,执行改变该计算设备的操作模式的操作。
-其中接收用于改变操作模式的信号包括:接收用于在该计算设备与该笔设备之间的通信信道上执行初始配对过程的信号。
-其中执行改变该计算设备的操作模式的操作包括执行对该计算设备和该笔设备进行初始配对的操作。
-其中接收用于改变操作模式的信号包括接收用于将该计算设备从低功率状态转换到活跃状态的唤醒事件信号;并且
-其中执行改变该计算设备的操作模式的操作包括执行将该计算设备从低功率状态转换到活跃状态的操作。
如对本领域技术人员将显而易见的,本文中所给出的任何范围或设备值可以在不丢失所寻求的效果的情况下被扩展或被改变。
虽然本发明的各方面没有跟踪个人可标识的信息,但参考了从用户监视和/或收集的数据来描述了各示例。在一些示例中,可向用户提供有关数据收集的通知(例如,经由对话框或偏好设置),并且给予用户对监视和/或收集给予同意或拒绝同意的机会。该同意可以采用选择加入同意或选择退出同意的形式。
虽然用结构特征和/或方法动作专用的语言描述了本发明主题,但应当理解,所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言,以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
将会理解,以上所描述的益处及优点可以涉及一个实施例或者可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解,对“一个”项目的提及是指那些项目中的一个或多个。
本文中所解说和描述的实施例以及本文中未具体描述但在权利要求的各方面的范围内的实施例构成了以下示例性装置:用于从笔设备的至少一个传感器获取姿势输入数据的装置、用于将所获取的姿势输入数据与至少一个姿势模式进行比较的装置、用于基于该姿势输入数据匹配该至少一个姿势模式来唤醒该笔设备的装置、用于经由静电通信信道来检测来自该计算设备的上行链路信号的装置、以及用于经由网络接口或除了该静电通信信道之外的通信信道中的至少一者来发送用于改变该计算设备的操作模式的信号的装置。所解说的一个或多个处理器619连同被存储在存储器622中的计算机程序代码一起构成了用于获取和处理传感器数据、将数据与姿势模式进行比较、经由静电通信信道来检测信号、实现笔设备与计算设备之间的通信的示例性处理装置。
术语“包括”在本说明书中被用来意指包括此后伴随的(一个或多个)特征或(一个或多个)动作,而不排除一个或多个附加特征或动作的存在。
在一些示例中,各附图中所例示的操作可以作为在计算机可读介质上编码的软件指令以被编程或设计为执行操作的硬件或这两者来实现。例如,本公开的各方面可以被实现为片上系统或包括多个互连的导电元件的其它电路。
本文所例示并描述的本公开的各示例中的操作的执行或完成的顺序不是必需的,除非另作指定。也就是说,除非另作指定,操作可以以任何顺序执行,本公开的各示例可以包括附加的或比本文所公开的操作更少的操作。例如,构想了在某一个操作之前、同时、或之后执行或完成另一个操作也在本公开的各方面的范围之内。
当介绍本公开的各方面的元素或其示例时,冠词“一”、“一个”、“该”、“所述”旨在意指一个或多个这样的元素。术语“包括”、“包含”、以及“具有”旨在是包含性的,并意指除所列出的元素以外可存在附加的元素。术语“示例性”旨在表示“……的一示例”。短语“以下各项中的一个或多个:A、B和C”意指“A中的至少一个和/或B中的至少一个和/或C中的至少一个”。
已经详细地描述了本公开的各方面,显然,在不偏离所附权利要求书所定义的本公开的各方面的范围的情况下,可以进行各种修改和变化。在不偏离本公开的各方面的范围的情况下,可以在上面的构造、产品以及方法中作出各种更改,意图是上面的描述中所包含的以及各附图中所示出的所有主题都应该解释为说明性的,而不是限制性的。
Claims (15)
1.一种用于使用笔设备来改变计算设备的操作模式的系统,所述系统包括:
所述笔设备的至少一个处理器;
所述笔设备的至少一个网络接口;
所述笔设备的至少一个传感器;以及
所述笔设备的包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起使所述至少一个处理器:
经由所述至少一个传感器获取姿势输入数据;
将所获取的姿势输入数据与至少一个姿势模式进行比较;
基于所述姿势输入数据匹配所述至少一个姿势模式,将所述笔设备转换到活跃状态;
经由所述笔设备的静电通信信道来检测来自所述计算设备的上行链路信号;以及
经由所述网络接口或除了所述静电通信信道之外的通信信道中的至少一者来发送用于改变所述计算设备的操作模式的信号。
2.如权利要求1所述的系统,其中所述笔设备的所述至少一个存储器和所述计算机程序代码被配置成与所述笔设备的所述至少一个处理器一起进一步使所述笔设备的所述至少一个处理器:
计算所述笔设备相对于所述计算设备的数字化仪的位置;
其中发送用于改变所述计算设备的操作模式的信号包括向所述计算设备发送所述笔设备的所计算出的位置。
3.如权利要求1所述的系统,进一步包括:
所述计算设备的至少一个处理器;
所述计算设备的至少一个网络接口;以及
所述计算设备的包括计算机程序代码的至少一个存储器,所述计算设备的所述至少一个存储器和所述计算机程序代码被配置成与所述计算设备的所述至少一个处理器一起使所述计算设备的所述至少一个处理器:
从所述笔设备接收用于改变所述操作模式的所述信号;以及
基于接收到用于改变所述操作模式的所述信号,执行改变所述计算设备的操作模式的操作。
4.如权利要求3所述的系统,其中接收用于改变操作模式的所述信号包括:接收用于在所述计算设备与所述笔设备之间的所述通信信道上执行初始配对过程的信号;并且
其中执行改变所述计算设备的操作模式的操作包括执行对所述计算设备和所述笔设备进行初始配对的操作。
5.如权利要求3所述的系统,其中接收用于改变操作模式的所述信号包括接收用于将所述计算设备从低功率状态转换到活跃状态的唤醒事件信号;并且
其中执行改变所述计算设备的操作模式的操作包括执行将所述计算设备从所述低功率状态转换到所述活跃状态的操作。
6.如权利要求5所述的系统,其中所述计算设备的所述至少一个存储器和所述计算机程序代码被配置成与所述计算设备的所述至少一个处理器一起进一步使所述计算设备的所述至少一个处理器:
经由所述计算设备的用户界面来提示所述计算设备的用户进行唤醒事件反馈;以及
基于接收到唤醒事件反馈,基于机器学习来调整与将所述笔设备转换到所述活跃状态相关联的姿势模式;以及
将经调整的姿势模式上传到所述笔设备。
7.如权利要求3所述的系统,其中由所述计算设备接收用于改变操作模式的所述信号包括接收所述笔设备的计算出的位置;并且
其中执行改变所述计算设备的操作模式的操作进一步基于所接收到的所述笔设备的位置。
8.如权利要求7所述的系统,其中执行改变所述计算设备的操作模式的操作基于所接收到的所述笔设备的位置在所述计算设备的所述数字化仪的所定义距离内。
9.一种用于使用笔设备来改变计算设备的操作模式的计算机化方法,所述方法包括:
由所述笔设备从所述笔设备的至少一个传感器获取姿势输入数据;
由所述笔设备将所获取的姿势输入数据与至少一个姿势模式进行比较;
基于所述姿势输入数据匹配所述至少一个姿势模式,将所述笔设备转换到活跃状态;
经由所述笔设备的静电通信信道来检测来自所述计算设备的上行链路信号;以及
由所述笔设备经由网络接口或除了所述静电通信信道之外的通信信道中的至少一者来发送用于改变所述计算设备的操作模式的信号。
10.如权利要求9所述的计算机化方法,进一步包括:
由所述笔设备计算所述笔设备相对于所述计算设备的数字化仪的位置;
其中发送用于改变所述计算设备的操作模式的信号包括向所述计算设备发送所述笔设备的所计算出的位置。
11.如权利要求9所述的计算机化方法,进一步包括:
由所述计算设备从所述笔设备接收用于改变所述操作模式的所述信号;以及
基于接收到用于改变所述操作模式的所述信号,由所述计算设备执行改变所述计算设备的所述操作模式的操作。
12.如权利要求11所述的计算机化方法,其中接收用于改变操作模式的所述信号包括:接收用于在所述计算设备与所述笔设备之间的通信信道上执行初始配对过程的信号。
其中执行改变所述计算设备的操作模式的操作包括执行对所述计算设备和所述笔设备进行初始配对的操作。
13.如权利要求11所述的计算机化方法,其中接收用于改变操作模式的所述信号包括接收用于将所述计算设备从低功率状态转换到活跃状态的唤醒事件信号;并且
其中执行改变所述计算设备的操作模式的操作包括执行将所述计算设备从低功率状态转换到活跃状态的操作。
14.如权利要求13所述的计算机化方法,进一步包括:
由所述计算设备经由所述计算设备的用户界面来提示所述计算设备的用户进行唤醒事件反馈;以及
基于接收到唤醒事件反馈,由所述计算设备基于机器学习来调整与将所述笔设备转换到所述活跃状态相关联的姿势模式;以及
由所述计算设备将经调整的姿势模式上传到所述笔设备。
15.一个或多个具有用于使用笔设备来改变计算设备的操作模式的计算机可执行指令的计算机存储介质,所述计算机可执行指令在由所述笔设备的处理器执行之际使所述笔设备的所述处理器至少进行以下操作:
经由所述至少一个传感器获取姿势输入数据;
将所获取的姿势输入数据与至少一个姿势模式进行比较;
基于所述姿势输入数据匹配所述至少一个姿势模式,将所述笔设备转换到活跃状态;
经由所述笔设备的静电通信信道来检测来自所述计算设备的上行链路信号;以及
经由网络接口或除了所述静电通信信道之外的通信信道中的至少一者来发送用于改变所述计算设备的操作模式的信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/125,752 | 2018-09-09 | ||
US16/125,752 US11269428B2 (en) | 2018-09-09 | 2018-09-09 | Changing a mode of operation of a computing device by a pen device |
PCT/US2019/038835 WO2020050899A1 (en) | 2018-09-09 | 2019-06-25 | Changing a mode of operation of a computing device by a pen device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112673335A true CN112673335A (zh) | 2021-04-16 |
CN112673335B CN112673335B (zh) | 2024-03-29 |
Family
ID=67185792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980058921.4A Active CN112673335B (zh) | 2018-09-09 | 2019-06-25 | 通过笔设备改变计算设备的操作模式 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11269428B2 (zh) |
EP (1) | EP3830677B1 (zh) |
CN (1) | CN112673335B (zh) |
WO (1) | WO2020050899A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11003345B2 (en) | 2016-05-16 | 2021-05-11 | Google Llc | Control-article-based control of a user interface |
US10732695B2 (en) | 2018-09-09 | 2020-08-04 | Microsoft Technology Licensing, Llc | Transitioning a computing device from a low power state based on sensor input of a pen device |
US10955941B2 (en) * | 2019-03-26 | 2021-03-23 | Atlantic Health System, Inc. | Multimodal input device and system for wireless record keeping in a multi-user environment |
US11720160B2 (en) * | 2019-04-12 | 2023-08-08 | Dell Products, L.P. | Preventing false wake events from a low-power state |
EP3991067A1 (en) | 2019-06-26 | 2022-05-04 | Google LLC | Radar-based authentication status feedback |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
CN113853567B (zh) | 2019-07-26 | 2024-03-29 | 谷歌有限责任公司 | 基于imu和雷达降低状态 |
JP7316383B2 (ja) | 2019-07-26 | 2023-07-27 | グーグル エルエルシー | Imuおよびレーダーを介した認証管理 |
KR20210017099A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 스타일러스 펜을 인식하는 전자 장치 및 그 동작 방법 |
CN112753005B (zh) | 2019-08-30 | 2024-03-01 | 谷歌有限责任公司 | 移动设备的输入方法 |
CN113874812A (zh) | 2019-08-30 | 2021-12-31 | 谷歌有限责任公司 | 用于多输入模式的输入模式通知 |
KR102479012B1 (ko) | 2019-08-30 | 2022-12-20 | 구글 엘엘씨 | 일시정지된 레이더 제스처에 대한 시각적 표시자 |
US11467672B2 (en) | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
JP7433005B2 (ja) * | 2019-09-10 | 2024-02-19 | 株式会社ワコム | タッチコントローラ及びペン入力システム |
CN110908516A (zh) * | 2019-10-03 | 2020-03-24 | 谷歌有限责任公司 | 促进用户熟练使用雷达手势来与电子设备交互 |
US20210103337A1 (en) * | 2019-10-03 | 2021-04-08 | Google Llc | Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device |
US11199908B2 (en) * | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
US11157086B2 (en) * | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US11740729B2 (en) * | 2021-03-25 | 2023-08-29 | Microsoft Technology Licensing, Llc | Assigning device identifiers by host identifier availability |
US11592926B2 (en) | 2021-07-14 | 2023-02-28 | Microsoft Technology Licensing, Llc | Establishing wireless pairing via electrostatic interface using temporary key |
US11915010B2 (en) * | 2022-03-28 | 2024-02-27 | Microsoft Technology Licensing, Llc | Cross-platform multi-transport remote code activation |
US11662839B1 (en) * | 2022-04-19 | 2023-05-30 | Dell Products L.P. | Information handling system stylus with power management through acceleration and sound context |
US11733788B1 (en) | 2022-04-19 | 2023-08-22 | Dell Products L.P. | Information handling system stylus with single piece molded body |
US11662838B1 (en) * | 2022-04-19 | 2023-05-30 | Dell Products L.P. | Information handling system stylus with power management through acceleration and sound context |
US11941193B2 (en) * | 2022-06-23 | 2024-03-26 | Microsoft Technology Licensing, Llc | Wireless uplink communication system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120331546A1 (en) * | 2011-06-22 | 2012-12-27 | Falkenburg David R | Intelligent stylus |
CN103262005A (zh) * | 2010-12-17 | 2013-08-21 | 微软公司 | 检测涉及计算设备的有意移动的姿势 |
US20140253522A1 (en) * | 2013-03-11 | 2014-09-11 | Barnesandnoble.Com Llc | Stylus-based pressure-sensitive area for ui control of computing device |
US20160026252A1 (en) * | 2014-07-28 | 2016-01-28 | Sony Corporation | System and method for gesture recognition |
US20170255328A1 (en) * | 2016-03-06 | 2017-09-07 | Microsoft Technology Licensing, Llc | Pen in field force sensing calibration |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020046299A1 (en) * | 2000-02-09 | 2002-04-18 | Internet2Anywhere, Ltd. | Method and system for location independent and platform independent network signaling and action initiating |
US7907901B1 (en) * | 2007-09-13 | 2011-03-15 | Dp Technologies, Inc. | Method and apparatus to enable pairing of devices |
US8629358B2 (en) | 2007-09-26 | 2014-01-14 | N-Trig Ltd. | Method for identifying changes in signal frequencies emitted by a stylus interacting with a digitizer sensor |
JP2011248766A (ja) * | 2010-05-28 | 2011-12-08 | Sony Corp | 電子ペン、情報処理システム及びプログラム |
US9239637B2 (en) | 2010-08-30 | 2016-01-19 | Perceptive Pixel, Inc. | Systems for an electrostatic stylus within a capacitive touch sensor |
US9019239B2 (en) | 2010-11-29 | 2015-04-28 | Northrop Grumman Systems Corporation | Creative design systems and methods |
US8766954B2 (en) | 2010-12-21 | 2014-07-01 | Motorola Mobility Llc | Active stylus for use with touch-sensitive interfaces and corresponding method |
US8635560B2 (en) | 2011-01-21 | 2014-01-21 | Blackberry Limited | System and method for reducing power consumption in an electronic device having a touch-sensitive display |
US9201520B2 (en) | 2011-02-11 | 2015-12-01 | Microsoft Technology Licensing, Llc | Motion and context sharing for pen-based computing inputs |
US9395800B2 (en) | 2011-09-30 | 2016-07-19 | Qualcomm Incorporated | Enabling instant handwritten input on mobile computing devices |
US10162400B2 (en) | 2011-10-28 | 2018-12-25 | Wacom Co., Ltd. | Power management system for active stylus |
US9081448B2 (en) | 2011-11-04 | 2015-07-14 | 3M Innovative Properties Company | Digitizer using multiple stylus sensing techniques |
US9176604B2 (en) * | 2012-07-27 | 2015-11-03 | Apple Inc. | Stylus device |
US9921626B2 (en) | 2012-09-28 | 2018-03-20 | Atmel Corporation | Stylus communication with near-field coupling |
US20140218343A1 (en) | 2013-02-01 | 2014-08-07 | Barnesandnoble.Com Llc | Stylus sensitive device with hover over stylus gesture functionality |
US9411394B2 (en) | 2013-03-15 | 2016-08-09 | Seagate Technology Llc | PHY based wake up from low power mode operation |
US20140368423A1 (en) | 2013-06-17 | 2014-12-18 | Nvidia Corporation | Method and system for low power gesture recognition for waking up mobile devices |
US20150149801A1 (en) | 2013-11-26 | 2015-05-28 | Synaptics Incorporated | Complex wakeup gesture framework |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9703946B2 (en) | 2014-03-31 | 2017-07-11 | Stmicroelectronics Asia Pacific Pte Ltd | Secure pairing method, circuit and system for an intelligent input device and an electronic device |
US20160048213A1 (en) | 2014-08-13 | 2016-02-18 | Google Technology Holdings LLC | Gesture detection in three dimensions |
WO2016108216A1 (en) | 2015-01-04 | 2016-07-07 | Microsoft Technology Licensing, Llc | Active stylus communication with a digitizer |
US9977519B2 (en) * | 2015-02-25 | 2018-05-22 | Synaptics Incorporated | Active pen with bidirectional communication |
US20170102758A1 (en) | 2015-10-08 | 2017-04-13 | Stmicroelectronics Asia Pacific Pte Ltd | Wake up gesture for low power using capacitive touch controller |
US9891773B2 (en) | 2015-12-17 | 2018-02-13 | Synaptics Incorporated | Detecting hover distance with a capacitive sensor |
CN106095143B (zh) | 2016-06-28 | 2020-07-24 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
US10025403B2 (en) | 2016-07-25 | 2018-07-17 | Microsoft Technology Licensing, Llc | Stylus communication channels |
WO2018020598A1 (ja) | 2016-07-27 | 2018-02-01 | 株式会社ワコム | スタイラス及びセンサコントローラ |
WO2018074098A1 (ja) * | 2016-10-18 | 2018-04-26 | 株式会社ワコム | ペアリング方法、位置検出システム、位置指示器、及び位置検出装置 |
CN107168689A (zh) | 2017-03-23 | 2017-09-15 | 联想(北京)有限公司 | 一种信息处理方法、操作设备和电子设备 |
CN107134279B (zh) | 2017-06-30 | 2020-06-19 | 百度在线网络技术(北京)有限公司 | 一种语音唤醒方法、装置、终端和存储介质 |
US10877578B2 (en) * | 2018-07-18 | 2020-12-29 | Wacom Co., Ltd. | Sensor controller and active pen |
KR102552745B1 (ko) * | 2018-07-19 | 2023-07-06 | 주식회사 엘엑스세미콘 | 터치구동장치 및 디스플레이장치 |
US10732695B2 (en) | 2018-09-09 | 2020-08-04 | Microsoft Technology Licensing, Llc | Transitioning a computing device from a low power state based on sensor input of a pen device |
-
2018
- 2018-09-09 US US16/125,752 patent/US11269428B2/en active Active
-
2019
- 2019-06-25 WO PCT/US2019/038835 patent/WO2020050899A1/en unknown
- 2019-06-25 CN CN201980058921.4A patent/CN112673335B/zh active Active
- 2019-06-25 EP EP19736943.2A patent/EP3830677B1/en active Active
-
2022
- 2022-02-01 US US17/590,814 patent/US11899855B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103262005A (zh) * | 2010-12-17 | 2013-08-21 | 微软公司 | 检测涉及计算设备的有意移动的姿势 |
US20120331546A1 (en) * | 2011-06-22 | 2012-12-27 | Falkenburg David R | Intelligent stylus |
US20140253522A1 (en) * | 2013-03-11 | 2014-09-11 | Barnesandnoble.Com Llc | Stylus-based pressure-sensitive area for ui control of computing device |
US20160026252A1 (en) * | 2014-07-28 | 2016-01-28 | Sony Corporation | System and method for gesture recognition |
US20170255328A1 (en) * | 2016-03-06 | 2017-09-07 | Microsoft Technology Licensing, Llc | Pen in field force sensing calibration |
Also Published As
Publication number | Publication date |
---|---|
CN112673335B (zh) | 2024-03-29 |
EP3830677B1 (en) | 2023-04-12 |
US11899855B2 (en) | 2024-02-13 |
WO2020050899A1 (en) | 2020-03-12 |
US20220155885A1 (en) | 2022-05-19 |
EP3830677A1 (en) | 2021-06-09 |
US20200081560A1 (en) | 2020-03-12 |
US11269428B2 (en) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112673335B (zh) | 通过笔设备改变计算设备的操作模式 | |
US10732695B2 (en) | Transitioning a computing device from a low power state based on sensor input of a pen device | |
EP3274793B1 (en) | Stylus having a plurality of operating portions configured to transmit synchronized signals | |
US10983603B2 (en) | Devices and methods for generating input | |
EP2479642B1 (en) | System and method for reducing power consumption in an electronic device having a touch-sensitive display | |
CN110083219B (zh) | 无按钮的显示器激活 | |
CA2879128C (en) | Adjusting mobile device state based on user intentions and/or identity | |
US8635560B2 (en) | System and method for reducing power consumption in an electronic device having a touch-sensitive display | |
US9575544B2 (en) | Ultrasound based mobile receivers in idle mode | |
US9189099B2 (en) | Information input unit, information input method, and computer program | |
US20140160085A1 (en) | Adaptive analog-front-end to optimize touch processing | |
US20150149801A1 (en) | Complex wakeup gesture framework | |
WO2019218843A1 (zh) | 按键配置方法、装置、移动终端及存储介质 | |
US20150365515A1 (en) | Method of triggering authentication mode of an electronic device | |
KR102110971B1 (ko) | 액세스 포인트 네트워크에서의 전력 절감 방법 및 장치 | |
US20150253894A1 (en) | Activation of an electronic device with a capacitive keyboard | |
US9250723B2 (en) | Method and apparatus for stroke acquisition and ultrasonic electronic stylus | |
CN110799933A (zh) | 使用多维热图消除手势输入类型的歧义 | |
CN107526522B (zh) | 黑屏手势识别方法及装置,以及移动终端、存储介质 | |
CN108769871B (zh) | 发声方法、装置、电子装置及存储介质 | |
CN109618234A (zh) | 视频播放控制方法、装置、移动终端及存储介质 | |
CN111142958B (zh) | 主动笔睡眠唤醒方法、装置、设备及可读存储介质 | |
US20120133603A1 (en) | Finger recognition methods and systems | |
TW201523356A (zh) | 掃描頻率切換方法與電子系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |