CN110647246A - 触控笔使用中的用户意图的预测检测 - Google Patents

触控笔使用中的用户意图的预测检测 Download PDF

Info

Publication number
CN110647246A
CN110647246A CN201910547986.7A CN201910547986A CN110647246A CN 110647246 A CN110647246 A CN 110647246A CN 201910547986 A CN201910547986 A CN 201910547986A CN 110647246 A CN110647246 A CN 110647246A
Authority
CN
China
Prior art keywords
stylus
computing system
mode
grip
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910547986.7A
Other languages
English (en)
Inventor
A·库马尔
A·怀尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN110647246A publication Critical patent/CN110647246A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一个实施例提供了一种方法。该方法包括利用计算系统来接收表示触控笔的取向的触控笔取向数据。该方法包括利用计算系统来接收表示用户对触控笔的握持的握持特征数据。该方法包括至少部分地基于触控笔取向数据和握持特征数据，利用计算系统来识别计算系统使用的触控笔模式。该方法包括将触控笔模式应用于计算系统以解释表示触控笔与计算系统的交互的交互数据。

Description

触控笔使用中的用户意图的预测检测
技术领域
本公开涉及利用计算系统检测触控笔使用中的用户意图。
背景技术
触控笔已成为与平板电脑、膝上型计算机、平板手机、以及其他类型的计算系统交互的流行工具。利用触控笔，用户能够选择、点击、键入、绘制以及执行可能比用户的手指更难和/或更不精确的其他交互功能。尽管触控笔具有优点和多种用途，但实际达到期望的使用模式将是棘手的和/或不方便的。例如，如果触控笔被用作绘画应用中的画笔，则用户将使用模式改变为选择模式或其他模式以使用触控笔执行其他功能将是不方便的。因而，计算机与触控笔的交互具有改进的空间。
附图说明
要求保护的主题的特征和优点将从与其一致的实施例的以下详细描述中变得显而易见，该描述应该参照附图来考虑，其中：
图1示出了与本公开的实施例一致的系统的功能框图；
图2是与本公开的实施例一致的系统的框图；
图3A、图3B、图3C、以及图3D是与本公开的实施例一致的触控笔上的各种握持特征的签名图的示图；
图4是与本公开的实施例一致的示例触控笔特征和示例计算系统特征的表，其可以与机器学习相关联，与特定的触控笔模式相关联；
图5是与本公开的实施例一致的用于从触控笔特征中确定触控笔操作模式的过程的流程图；
图6是与本公开的实施例一致的用于从触控笔特征中确定触控笔操作模式的过程的流程图；
图7是示出与本公开的实施例一致的计算系统的框图。
尽管以下具体实施方式将参考说明性的实施例进行，但是，本领域技术人员将清楚其众多替换、修改、以及变型。
具体实施方式
这里公开了根据各种实施例的用于确定用户使用触控笔的意图的方法和系统。该方法和系统使用触控笔握持特征、触控笔取向、和/或计算系统取向来确定自动为用户选择哪个触控笔模式以解释触控笔与计算系统的交互。特定触控笔模式(来自多种触控笔模式)的识别和选择改善了用户使用触控笔和计算系统的体验的平滑性和个性化。
所公开的方法和系统包括利用计算系统接收表示触控笔的取向的触控笔取向数据。该方法和系统包括利用计算系统来接收表示用户对触控笔的握持的握持特征数据。该方法和系统包括至少部分地基于触控笔取向数据和握持特征数据来利用计算系统识别计算系统使用的触控笔模式。该方法和系统包括将触控笔模式应用于计算系统以解释表示触控笔与计算系统的交互的交互数据。
如这里所使用的，术语“触控笔”指代用于与计算系统交互的设备，并且可以包括用于与支持触控笔的计算系统或计算系统的组件通信的书写用具或工具。
图1示出了与本公开的若干实施例一致的系统100的框图，该系统被配置为至少部分地基于触控笔特征和/或计算设备取向来确定触控笔操作模式。系统100包括用于与计算系统104交互的触控笔102。根据实施例，系统100被配置为确定各种触控笔特征并预测反映用户对触控笔的意图的一个或多个触控笔模式。根据实施例，系统100被配置为使用触控笔取向、用户握持触控笔102时的握持特征、和/或计算系统取向来确定用户对触控笔的意图并为用户选择合适的触控笔模式。
触控笔102能够用于以各种方式与计算系统104交互。例如，触控笔102能够用于书写、绘画、绘图、选择、拖放、双击、左键单击、右键单击、中键单击、双击、指向、悬停或以其他方式与计算系统104交互。根据实施例，触控笔102能够包括壳体106(由用户的手108拿持)、笔尖110、握持传感器112、以及取向传感器114。
壳体106可以以各种形式实现。壳体106可以基本上是圆柱形的，可以是铅笔的形状，可以是矩形的，可以是三角形的，可以以漫画的形式(例如，海豚)成形，或者可以包括一个或多个易于被用户拿持或携带的其他形状。壳体106可以是金属、聚合物、玻璃、和/或各种材料的组合。
笔尖110可以用于与计算系统104接触，以促进与计算系统104的交互。笔尖110可以是塑料、橡胶、圆珠笔、毡尖，可在多种材料之间互换等。
根据实施例，握持传感器112可以用于获取表示用户的手108的握持特征的握持特征数据，并且更具体地，用户的手指113的握持特征。根据实施例，握持传感器112能够是压力传感器、电容传感器、热传感器、图像传感器、和/或其任何组合。握持传感器112获取或生成表示握持特征的握持特征数据。握持特征可以包括近握持特征，诸如悬停和非悬停。握持特征可以包括定量特征、定性特征、以及方式特征。在图3A至图3D中图示了各种定量特征、定性特征、以及方式特征的示例。定量特征包括握持传感器112与用户的手指113接触的程度。在一个实施例中，握持传感器112被划分/组织成各种单元(例如，正方形、像素等)，并且定量特征描述了多少单元通过用户的握持来激活/触摸。根据实施例，定性特征包括由用户的手指113施加到握持传感器112的压力或力的量。定性特征的示例可以包括无触摸、非悬停、悬停、轻触、中等触摸、强触摸等。定性特征的其他示例可以包括将握持压力映射到数字刻度的各种刻度中的一个或多个(例如，1到10的刻度)。根据实施例，方式特征包括指示由用户的手108和/或用户的手指113应用到握持传感器112的握持类型的方式。根据实施例，(多种方式中的)每种方式可以对应于特定的握持或使用类型。例如，一种方式及其紧密变型可以对应于如同人握持铅笔一样地握持触控笔102。作为另一个示例，一种方式及其紧密变型可以对应于如同人握持画笔一样地握持触控笔102。一种方式及其紧密变型可以对应于如同人将握持指针设备一样地握持触控笔102，并且一种方式及其紧密变型可以对应于如同人将握持选择设备一样地握持触控笔102。
根据一个实施例，取向传感器114生成表示触控笔取向115的触控笔取向数据。根据实施例，触控笔取向115可以由一个或多个坐标系表示，诸如笛卡尔坐标系。根据一个实施例，触控笔取向115可以包括围绕x轴136、y轴138、以及z轴140的取向。根据实施例，对于触控笔102，x轴136可以对应于侧倾角，y轴138可以对应于俯仰角，并且z轴140可以对应于偏航角。可以将触控笔取向数据和握持数据发送到计算系统104，以使计算系统104能够确定用户使用触控笔102的意图并使计算系统104能够基于触控笔102的握持和取向特征来为用户选择触控笔操作模式。
根据实施例，计算系统104接收触控笔取向数据和/或握持数据，并至少部分地基于触控笔102的握持数据和/或取向数据为用户设置触控笔操作模式。根据各种实施例，计算系统104能够被配置为使用操作系统、一个或多个应用、一个或多个固件驱动器、和/或一个或多个触控笔解释程序来处理或解释触控笔102的交互。计算系统104应用特定的触控笔模式以用于解释由计算系统104接收的触控笔交互。结果，根据实施例，可以将轻敲、滑动、笔划、悬停运动以及接近或接触计算系统104的其他触控笔交互按照用户意图的方式解释并应用于操作系统、应用、或程序。
根据实施例，计算系统104包括壳体116、触控笔传感器118、显示器120、多个按钮122(包括按钮122a、122b、122c以及122d)、取向传感器123、以及触控笔模式选择逻辑124。壳体116可以包括用于膝上型计算机、平板电脑、平板手机、智能手机、个人数字助理(“PDA”)、台式计算机、或其他电子计算系统的壳体。触控笔传感器118生成表示触控笔102与计算系统104的交互的交互数据。根据实施例，交互数据可以包括但不限于表示触控笔102与计算系统104之间的接触位置的数据、表示触控笔102与计算系统104之间的接触压力的数据、表示触控笔102与计算系统104的邻近接触(接近但不是实际接触)的位置的数据、和/或表示触控笔102与计算系统104的邻近接触的运动的数据。显示器120可以是监视器、触摸屏、屏幕、或一些其他可视化组件。触控笔传感器118可以使用显示器120的功能。触控笔传感器可以集成到计算系统104中的显示器120中、周围或附近。
根据一个实施例，取向传感器114生成表示计算系统取向125的计算系统取向数据。根据实施例，计算系统取向125可以由一个或多个坐标系表示，诸如笛卡尔坐标系。根据一个实施例，计算系统取向125可以包括围绕x轴142、y轴144、以及z轴146的取向。根据实施例，对于计算系统104，x轴142可以对应于侧倾角，y轴144可以对应于俯仰角，并且z轴146可以对应于偏航角。
根据实施例，计算系统104可以使用触控笔取向115和计算系统取向125来识别相对于计算系统104的触控笔角度或取向。计算系统104可以通过减去或以其他方式计算触控笔102和计算系统104的侧倾角、俯仰角和偏航角之间的差来识别相对触控笔角。
触控笔模式选择逻辑124表示由计算系统104执行的指令，以执行用于识别、确定、实现、和/或执行由触控笔模式数据126表示的触控笔模式的一个或多个方法或过程。触控笔模式选择逻辑124将握持特征数据128、触控笔取向数据130、和/或计算系统取向数据132中的一个或多个应用于由预测模型数据134表示的预测模型。预测模型的输出是由触控笔模式数据126表示的触控笔模式，可以称为类别。
根据实施例，触控笔模式数据126表示可以由计算系统104从一组触控笔模式中选择的触控笔模式。根据实施例，该组触控笔模式可以包括但不限于书写模式(例如，钢笔或铅笔)、绘画模式(例如，水彩或油)、绘画模式(例如，蜡笔、铅笔、粉笔、煤等)、喷漆模式、选择模式、或指针模式。在各种触控笔模式中的每一个中，计算系统104可以被配置为解释接触、运动、邻近接触、和/或邻近接触期间的运动以表示不同的用户意图。例如，在选择工具模式中由触控笔102单击显示器可以表示用户意图执行单击鼠标。相比之下，在绘图模式或绘画模式中由触控笔102单击显示器可以表示用户意图绘制小圆圈。根据实施例，可以基于握持特征数据128和触控笔取向数据130来选择触控笔模式数据126。根据实施例，握持特征数据128和触控笔取向数据130可以源自单个传感器或源自触控笔102上的两个或更多个传感器。在一些实现中(例如，电容式触摸)，触摸和触控笔使用相同的一组传感器。根据实施例，通过可预测地识别和执行特定触控笔模式(来自一组触控笔模式)，计算系统104可以改善用户使用计算系统104执行各种功能的体验。
根据一个实施例，预测模型数据134表示基于握持特征数据128、触控笔取向数据130、以及计算系统取向数据132中的至少一个来识别或确定触控笔模式的预测模型。预测模型由预测模型数据134表示，并且预测模型数据134可以使用各种机器学习技术中的一种或多种来生成。例如，根据实施例，可以通过向一个或多个机器学习算法应用先前获取的握持特征数据、应用先前获取的触控笔取向数据、和/或应用先前获取的计算系统取向数据以训练预测模型数据134表示的预测模型来生成预测模型数据134。根据各种实施例，机器学习算法的示例包括但不限于决策树学习、人工神经网络、聚类、贝叶斯网络、分类器算法等。根据实施例，将先前获取的或现有的数据集应用于所述一个或多个机器学习算法，并且一个或多个机器学习算法生成表示预测模型的预测模型数据134。当将新数据(例如，握持特征数据128、触控笔取向数据130、和/或计算系统取向数据132)应用于预测模型数据134时，预测模型数据134生成从一组预定义的类别中选择的类别。该类别表示触控笔模式，并且该组预定义的类别表示一组预定义的触控笔模式。根据实施例，预测模型数据134的输出可以是刻度上的数字，例如，从0到10，其表示输入数据与特定触控笔模式相关的似然度。根据实施例，预测模型数据134的输出可以包括多个数字，其中多个数字中的每一个表示刻度，例如，从0到10，其表示输入数据与特定触控笔模式相关的似然度。
图2示出了与本公开的若干实施例一致的系统200的示图，该系统被配置为至少部分地基于触控笔特征来确定触控笔操作模式。系统200是与本公开的若干实施例一致的系统100的实现。系统200包括触控笔102，该触控笔被配置为与计算系统104交互。根据实施例，触控笔102被配置为通过通信信道202将信息传送到计算系统104。通信信道202可以包括但不限于蓝牙无线通信信道、Wi-Fi通信信道、通用触控笔主动(USI)通信信道等。
根据实施例，触控笔102包括握持传感器112、取向传感器114、笔尖传感器204、处理器电路206、存储器电路208、触控笔逻辑210、通信电路212、以及电池(或其他电源)214。根据实施例，取向传感器114可以包括加速度计216和/或陀螺仪218，以识别和获取触控笔取向数据130。根据实施例，笔尖传感器204可以包括一个或多个压力传感器和/或电容传感器，其被配置为检测施加到触控笔102的笔尖的压力的量。根据实施例，处理器电路206被配置为执行由存储器电路208存储的指令，其可以包括但不限于触控笔逻辑210。根据实施例，触控笔逻辑210包括一个或多个指令，其使得处理器电路206能够从握持传感器112获取握持特征数据128。根据实施例，触控笔逻辑210包括一个或多个指令，其使得处理器电路206能够从取向传感器114获取触控笔取向数据130。根据实施例，触控笔逻辑210包括一个或多个指令，其使得处理器电路206能够从笔尖传感器204获取笔尖传感器数据220。
根据实施例，通信电路212和电池214使得触控笔102能够从计算系统104不受限制地操作。根据实施例，通信电路212使得触控笔102能够通过通信信道202将信息传送到计算系统104。根据实施例，通信电路212使得处理器电路206能够将握持特征数据128、触控笔取向数据130、以及笔尖传感器数据220中的至少一个发送到计算系统104，以使得计算系统104能够选择从一组触控笔模式中选择触控笔模式。
根据实施例，计算系统104包括触控笔传感器118、显示器120、取向传感器123、以及触控笔模式选择逻辑124。根据一个实施例，计算系统104响应于触控笔102与计算系统104的交互而从触控笔传感器118生成交互数据222。根据实施例，取向传感器123可以包括计算系统104可以用来生成计算系统取向数据132的加速度计224和陀螺仪226中的至少一个。如上所讨论的，根据实施例，触控笔模式选择逻辑124将握持特征数据128、触控笔取向数据130、以及计算系统取向数据132中的至少一个应用于预测模型数据134，以生成触控笔模式数据126(即，表示触控笔模式)。
根据实施例，计算系统104包括通信电路228、处理器电路230、以及存储器电路232。根据实施例，计算系统104使用通信电路228从触控笔102接收握持特征数据128、触控笔取向数据130、以及笔尖传感器数据220中的至少一个。根据实施例，处理器电路230被配置为执行由存储器电路232存储的指令，以便执行触控笔模式选择逻辑124和/或预测模型更新逻辑234。
根据实施例，处理器电路230或计算系统104执行预测模型更新逻辑234以生成表示更新的预测模型的更新的预测模型数据236。根据实施例，更新的预测模型数据236可以用于至少部分地基于用户反馈来替换、更新、或升级预测模型数据134。根据实施例，预测模型更新逻辑234接收触控笔模式用户反馈数据238，并且将触控笔模式用户反馈数据238应用于预测模型算法数据240(其表示预测模型算法)，以生成更新的预测模型数据236。
触控笔模式用户反馈数据238表示触控笔模式用户反馈。根据实施例，当触控笔模式数据126不表示用户对触控笔102的意图时，用户可以提供触控笔模式用户反馈。作为示例，触控笔模式用户反馈可以由用户在计算系统104预测用户意图使用绘图触控笔模式之后选择画笔触控笔模式来表示。预测模型更新逻辑234可以生成更新的预测模型，其从触控笔特征和/或计算系统取向数据中使(通过预测模型演进)触控笔模式的选择个性化。
图3A、图3B、图3C、以及图3D是与本公开的实施例一致的签名图的示例示图，该签名图表示用户握持触控笔的定量、定性、以及方式特征。
图3A是与本公开的实施例一致的签名图300的示例说明示图，该签名图表示用户在触控笔上具有铅笔握持的定量、定性、以及方式特征。根据实施例，签名图300包括各单元306的多个行302和多个列304。作为示例，签名图300包括10行和10列，然而，签名图300可以包括更多或更少数量的行和/或列。可以为每个单元306(100个单元和所图示的示例)分配一个值，该值量化施加到触控笔上的握持传感器的对应部分的压力。根据实施例，如图例所示，作为示例，每个单元306可以具有值0、1、2或3，其对应于无压力、轻压力、中间压力、或重压力。在一个实现中，无压力可以表示用户的手指悬停在握持传感器上，或者除了或代替一个或多个其他压力或触摸类别，值可以包括悬停和非悬停类别。根据实施例，签名图300是用于说明目的的颜色编码的，并且使用白色来表示无压力(例如，悬停)，浅灰色来表示轻压力，深灰色来表示中间压力，以及黑色来表示重压力。尽管在签名图300中使用了4个值，但实际上，可以使用2个值、10个值、100个值、或任何范围的值来表示签名图300的每个单元306。每个单元306可以表示图像传感器、压力传感器、热传感器、电容传感器、或触控笔上的一些其他类型的握持传感器的像素或位置。
基于单元306的每个类型值的量、基于单元306的值、和/或基于由单元306的值创建的方式，可以将签名图300的方式(及其类似变型)映射或关联到铅笔触控笔模式。
图3B是与本公开的实施例一致的签名图310的示例说明示图，该签名图表示用户在触控笔上具有画笔握持的定量、定性、以及方式特征。根据实施例，签名图310包括各单元316的多个行312和多个列314。作为示例，签名图310包括10行和10列，然而，签名图310可以包括更多或更少数量的行和/或列。可以为每个单元316(100个单元和所图示的示例)分配一个值，该值量化施加到触控笔上的握持传感器的对应部分的压力。根据实施例，如图例所示，作为示例，每个单元306可以具有值0、1、2、或3，其对应于无压力、轻压力、中间压力、或重压力。根据实施例，签名图310是用于说明目的的颜色编码的，并且使用白色来表示无压力，浅灰色来表示轻压力，深灰色来表示中间压力，黑色来表示重压力。尽管在签名图310中使用了4个值，但实际上，可以使用2个值、10个值、100个值、或任意范围的值来表示签名图310的每个单元316。每个单元316可以表示像素或图标传感器、压力传感器、热传感器、电容传感器、或触控笔上的一些其他类型的握持传感器位置。
基于单元316的每个类型的值的量、基于单元316的值、和/或基于由单元316的值创建的方式，可以将签名图310的方式(及其类似变型)映射或关联到画笔触控笔模式(例如，使用机器学习)。
图3C是与本公开的实施例一致的签名图320的示例说明示图，该签名图表示用户在触控笔上具有选择工具握持的定量、定性、以及方式特征。根据实施例，签名图320包括各单元326的多个行322和多个列324。作为示例，签名图320包括10行和10列，然而，签名图320可以包括更多或更少数量的行和/或列。可以为每个单元326(100个单元和所图示的示例)分配一个值，该值量化施加到触控笔上的握持传感器的对应部分的压力。根据实施例，如图例所示，作为示例，每个单元306可以具有值0、1、2或3，其对应于无压力、轻压力、中间压力、或重压力。根据实施例，签名图320是用于说明目的的颜色编码的，并且使用白色来表示无压力，浅灰色来表示轻压力，深灰色来表示中间压力，黑色来表示重压力。尽管在签名图320中使用4个值，但实际上，可以使用2个值、10个值、100个值、或任意范围的值来表示签名图320的每个单元326。每个单元326可以表示图像传感器、压力传感器、热传感器、电容传感器、或触控笔上的一些其他类型的握持传感器的像素或位置。
基于单元326的每个类型的值的量、基于单元326的值、和/或基于由单元326的值创建的方式，可以将签名图320的方式(及其类似变型)映射或关联到选择工具触控笔模式(例如，使用机器学习)。
图3D是与本公开的实施例一致的签名图330的示例说明示图，该签名图表示用户在触控笔上具有指针工具握持的定量、定性、以及方式特征。根据实施例，签名图330包括各单元336的多个行332和多个列334。作为示例，签名图330包括10行和10列，然而，签名图330可以包括更多或更少数量的行和/或列。可以为每个单元336(100个单元和所图示的示例)分配一个值，该值量化施加到触控笔上的握持传感器的对应部分的压力。根据实施例，如图例所示，作为示例，每个单元306可以具有值0、1、2、或3，其对应于无压力、轻压力、中间压力、或重压力。根据实施例，签名图330是用于说明目的的颜色编码的，并且使用白色来表示无压力，浅灰色来表示轻压力，深灰色来表示中间压力，以及黑色来表示重压力。尽管在签名图330中使用4个值，但实际上，可以使用2个值、10个值、100个值、或任何范围的值来表示签名图330的每个单元336。每个单元336可以表示图像传感器、压力传感器、热传感器、电容传感器、或触控笔上的一些其他类型的握持传感器的像素或位置。
基于单元336的每个类型的值的量、基于单元336的值、和/或基于由单元336的值创建的方式，可以将签名图330的方式(及其类似变型)映射或关联到指针工具触控笔模式(例如，使用机器学习)。
图4示出了与本公开的实施例一致的表400的示例，该表包括触控笔特征和计算系统特征，其可以与机器学习相关联，与特定触控笔模式(例如，分类类别)相关联。表400包括表示用户与触控笔和/或计算系统的交互的各种特征的多个列。表400包括表示一组触控笔模式的分类列402，计算系统可以基于触控笔和/或计算系统的特征来在其中进行选择。分类能够包括但不限于钢笔、画笔、指针、以及选择工具。
表400包括与计算设备和触控笔的取向相关联的多个列。表400包括倾斜x列404和倾斜y列406，其表示来自计算系统的加速度计数据(例如，计算系统取向数据)。表400还可以包括来自触控笔内的加速度计的倾斜x和倾斜y数据。表400包括用于计算设备的偏航列408、俯仰列410、以及侧倾列412，其值表示计算系统的陀螺仪数据(例如，计算系统取向数据)。表400包括触控笔的偏航列414、俯仰列416、以及侧倾列418，其值表示触控笔的陀螺仪数据(例如，触控笔取向数据)。
根据实施例，表400包括压力列420，其表示由触控笔上的握持传感器检测到的平均压力。
根据实施例，表400包括表示来自签名图(例如，图3A至图3D的签名图300、310、320、330等)的位置和压力值的多个列，该签名图表示施加到触控笔的握持传感器的压力的位置。压力列422可以包括值0以表示无悬停或触摸，可以包括值1-3以表示悬停，可以包括值4-7以表示轻压力，可以包括值8-11以表示中间压力，并且可以包括值12-15以表示施加到握持传感器的强压力。触摸传感器值0-15可以用于表示用于表示触摸压力的4比特值。然而，值可以为0-16或不必限于4比特值的一些其他范围。从系统100(图1中所示)收集的值可以用于基于触控笔特征和/或基于计算系统取向来确定为用户选择哪种触控笔模式。根据各种实施例，值可以由8比特数字(即，0-255的范围)来表示，可以由16比特数字(即，0-65,535的范围)来表示，或者可以具有一些其他范围。较大范围的值可以提供为由握持传感器收集的信息提供更大粒度的益处。
图5示出了根据实施例的用于从触控笔特征中确定触控笔操作模式的过程500的流程图。
在操作502处，根据实施例，过程500包括使用计算系统接收表示触控笔的取向的触控笔取向数据。
在操作504处，根据实施例，过程500包括使用计算系统至少部分地基于触控笔取向数据来识别计算系统使用的触控笔模式。
在操作506处，根据实施例，过程500包括将触控笔模式应用到计算系统以解释表示触控笔与计算系统的交互的交互数据。
图6示出了根据实施例的用于从触控笔特征中确定触控笔操作模式的过程600的流程图。
在操作602处，根据实施例，用户拿起触控笔并接近计算系统。
在操作604处，根据实施例，触控笔唤醒并发送触控笔特征数据。
在操作606处，根据实施例，计算系统获取计算系统取向数据并分析触控笔特征数据和/或计算系统取向数据。在实施例中，分析触控笔特征数据和/或计算系统取向数据可以包括将触控笔特征数据和/或计算系统取向数据应用到预测模型。预测模型输出表示从一组触控笔模式中选择的触控笔模式的类别。
在操作608处，根据实施例，过程600确定数据是否符合已知类别(机器学习模型分类)。如果数据不符合已知类别，则操作608进行到操作610。根据实施例，如果数据确实符合已知类别，则操作608进行到操作612。
在操作610处，根据实施例，将触控笔保持在当前/默认模式。换句话说，执行过程600的计算系统维持默认或当前的触控笔模式，而不是识别触控笔的不同用户意图。根据实施例，操作610进行到操作614。
在操作614处，根据实施例，过程600等待触控笔特征数据和/或计算系统取向数据的改变。换句话说，在操作614处，过程600可以等待触控笔取向改变，等待握持特征改变，或等待计算系统取向改变。根据实施例，操作614进行到操作602。
在操作612处，根据实施例，过程600设置触控笔模式以匹配类别。
在操作616处，根据实施例，过程600确定用户是否前往菜单并改变触控笔模式。用户从菜单改变触控笔模式是一种类型的用户反馈。用户从菜单改变触控笔模式可以被解释为过程600基于触控笔特征和/或计算系统取向而错误地为用户选择触控笔模式的指示。根据实施例，过程600可以被配置为将用户立即改变触控笔模式解释为错误选择的触控笔模式。根据实施例，过程600可以被配置为将用户在预定的时间期限内(例如，低于30秒)改变触控笔模式解释为错误选择的触控笔模式。根据实施例，过程600可以被配置为将用户与设备交互期间(无论自设备启动以来已经过了多少时间)作为第一动作的用户改变触控笔模式解释为错误选择的触控笔模式。根据实施例，如果用户在从菜单改变触控笔模式之前已经使用预先选择的触控笔模式一段时间，则过程600可以被配置为不将用户的改变解释为错误选择的触控笔模式的指示。如果用户未改变触控笔模式，则操作616进行到操作614。根据实施例，如果用户改变触控笔模式，则操作616进行到操作618。
在操作618处，根据实施例，过程600将用户反馈应用于机器学习算法以更新预测模型。更新预测模型使得过程600能够针对触控笔特征以及计算系统取向学习和演进唯一于特定用户使用或者定制为由特定用户使用的自动触控笔模式选择。
图7是与本公开的实施例一致的计算系统700的说明示图7，该计算系统可以使用所公开的技术中的一个或多个来从触控笔特征中确定触控笔操作模式。计算系统700可以包括在例如台式计算机、膝上型计算机、上网本、笔记本计算机、个人数字助理(PDA)、服务器、工作站、蜂窝电话、移动计算设备、互联网设备或任意其他类型的计算设备中。
计算系统700可以包括中央处理单元(CPU)710，用于经由系统总线790来与用户接口760、主存储器720、盘式存储器730、I/O设备740和网络连接器750交换数据。
主存储器720可以包括同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)、和/或任意其他类型的随机存取存储器设备。主存储器720可以包括非易失性存储器，诸如固态存储器、相变存储器、3D XPointtm、或其任意组合。
盘式存储器730可以包括，例如，固态盘(SSD)驱动器、闪存、相变存储器(PCM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、或任意其他类型的非易失性存储器设备。
网络连接器750可以包括例如以太网接口、通用串行总线(USB)接口、外围组件互连(PCI)Express接口、无线接口和/或任意其他合适类型的接口。在一个实施例中，无线接口按照但不限于以下协议来操作：IEEE 802.11标准及其相关族、家庭插头AV(HPAV)、超宽带(UWB)、蓝牙、WiMax、或任意其他形式的无线通信协议。
如这里的任意实施例中所使用的，术语“逻辑”可以指代被配置为执行任意上述操作的app、软件、固件和/或电路。软件可以体现为记录在非暂时性计算机可读存储介质上的软件分组、代码、指令、指令集和/或数据。固件可以体现为在存储器设备中被硬编码(例如，非易失性的)的代码、指令或指令集和/或数据。
如这里的任意实施例中所使用的，“电路”可以包括，例如，单独的或以任意组合的，硬连线电路、可编程电路、状态机电路、逻辑和/或固件，其存储由可编程电路执行的指令。该电路可以体现为集成电路，诸如集成电路芯片。在一些实施例中，电路可以至少部分地由执行与这里所描述的功能相对应的代码和/或指令集(例如，软件、固件等)的处理器形成，从而将通用处理器转换为用于执行这里所描述的一个或多个操作的专用处理环境。在某些实施例中，存储器控制器电路或其他系统的各种组件和电路可以组合在片上系统(SoC)架构中。
这里所描述的操作的实施例可以在其上存储有指令的计算机可读存储设备中实现，所述指令在由一个或多个处理器执行时执行所述方法。处理器可以包括例如处理单元和/或可编程电路。存储设备可以包括机器可读存储设备，其包括任意类型的有形、非暂时性存储设备，例如，包括软盘、光盘、致密盘只读存储器(CD-ROM)、可重写致密盘(CD-RW)、以及磁光盘、半导体设备(诸如只读存储器(ROM))、随机存取存储器(RAM)(诸如动态和静态RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁卡或光卡、或适于存储电子指令的任意类型的存储设备。
在一些实施例中，硬件描述语言(HDL)可以用于指定用于这里所描述的各种逻辑和/或电路的(一个或多个)电路和/或逻辑实现。例如，在一个实施例中，硬件描述语言可以遵循或兼容超高速集成电路(VHSIC)硬件描述语言(VHDL)，该语言可以使能这里所描述的一个或多个电路和/或逻辑的半导体制造。VHDL可以遵循或兼容IEEE标准1076-1987、IEEE标准1076.2、IEEE1076.1、VHDL-2006的IEEE Draft3.0、VHDL-2008的IEEE Draft 4.0和/或其他版本的IEEE VHDL标准和/或其他硬件描述标准。
在一些实施例中，Verilog硬件描述语言(HDL)可以用于指定用于这里所描述的各种逻辑和/或电路的(一个或多个)电路和/或逻辑实现。例如，在一个实施例中，HDL可以遵循或兼容IEEE标准62530-2011：2011年7月7日发布的System Verilog-Unified HardwareDesign,Specification,and Verification Language；IEEE Std 1800TM-2012：2013年2月21日发布的IEEE Standard for System Verilog-Unified Hardware Design,Specification,and Verification Language；IEEE标准1364-2005：2006年4月18日发布的IEEE Standard for Verilog Hardware Description Language和/或其他版本的VerilogHDL和/或SystemVerilog标准。
示例
如以下所讨论的，本公开的示例包括主题素材，诸如与用户使用触控笔的意图的预测检测相关的方法、设备、装置或系统。
示例1、根据该示例，提供了一种从触控笔特征中确定触控笔操作模式的方法。该方法包括：利用计算系统来接收表示触控笔的取向的触控笔取向数据；至少部分地基于触控笔取向数据，利用计算系统来识别计算系统使用的触控笔模式；以及将触控笔模式应用于计算系统以解释表示触控笔与计算系统的交互的交互数据。
示例2、该示例包括示例1的要素，其中，触控笔的取向包括触控笔的侧倾角、俯仰角、以及偏航角。
示例3、该示例包括示例1的要素，其中，侧倾角是围绕x轴的旋转，俯仰角是围绕y轴的旋转，以及偏航角是围绕z轴的旋转，其中x轴、y轴、z轴表示笛卡尔坐标系的轴。
示例4、该示例包括示例1的要素，进一步包括：接收表示用户在触控笔上的握持特征的握持特征数据。
示例5、该示例包括示例4的要素，其中，用户在触控笔上的握持特征包括定量特征、定性特征、或方式特征中的一个或多个。
示例6、该示例包括示例5的要素，其中，定量特征包括用户触摸的握持单元的数量，其中，定性特征包括施加到握持传感器的压力量，其中，方式特征包括用户对触控笔的握持的方式。
示例7、该示例包括示例4的要素，进一步包括：至少部分地基于握持特征数据来识别计算系统使用的触控笔模式。
示例8、该示例包括示例1的要素，其中，触控笔模式选自一组触控笔模式，包括以下中的一个或多个：书写模式；绘画模式；绘图模式；喷涂模式；选择模式；或指针模式。
示例9、该示例包括示例1的要素，其中，识别触控笔模式包括：将触控笔取向数据应用于预测模型以从多个触控笔模式中选择触控笔模式。
示例10、该示例包括示例1的要素，进一步包括：接收表示用户对校正的触控笔模式的选择的校正反馈数据；以及至少部分地基于校正反馈数据来生成替换预测模型。
示例11、该示例包括示例1的要素，进一步包括：利用计算系统来生成表示计算系统的取向的计算系统取向数据；以及至少部分地基于触控笔取向数据和计算系统取向数据，利用计算系统来识别计算系统使用的触控笔模式。
示例12、根据该示例，提供了一种具有指令的计算机可读设备，当由一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行从触控笔特征中确定触控笔操作模式的方法。所述指令包括：利用计算系统来接收表示用户在触控笔上的握持特征的握持特征数据；至少部分地基于握持特征，利用计算系统来识别计算系统使用的触控笔模式；以及将触控笔模式应用于计算系统以处理表示触控笔与计算系统的交互的交互数据。
示例13、该示例包括示例12的要素，其中，所述指令进一步包括：接收表示触控笔的取向的触控笔取向数据；以及至少部分地基于握持特征数据和触控笔取向数据来识别计算系统使用的触控笔模式。
示例14、该示例包括示例12的要素，其中，用户在触控笔上的握持特征包括定量特征、定性特征、或方式特征中的一个或多个。
示例15、该示例包括示例14的要素，其中，定量特征包括用户触摸的握持单元的数量，其中，定性特征包括施加到握持传感器的压力量，其中，方式特征包括用户对触控笔的握持的方式。
示例16、该示例包括示例12的元素，其中，触控笔模式选自一组触控笔模式，包括以下中的一个或多个：书写模式；绘画模式；绘图模式；喷涂模式；选择模式；或指针模式。
示例17、该示例包括示例12的要素，其中，识别触控笔模式包括：将握持特征数据应用于预测模型以从多个触控笔模式中选择触控笔模式。
示例18、该示例包括示例12的要素，其中，所述指令进一步包括：接收表示用户对校正的触控笔模式的选择的校正反馈数据；以及至少部分地基于校正反馈数据，生成替换预测模型。
示例19、该示例包括示例12的要素，其中，所述指令进一步包括：利用计算系统来生成表示计算系统的取向的计算系统取向数据；以及至少部分地基于握持特征数据和计算系统取向数据，利用计算系统来识别计算系统使用的触控笔模式。
示例20、根据该示例，提供了一种系统。该系统包括：触控笔传感器，用于生成表示触控笔与计算系统的交互的交互数据；处理器电路；以及存储器电路，通信耦合到处理器电路，存储器电路用于存储指令，当由处理器电路执行时，所述指令使得处理器电路执行从触控笔特征中确定触控笔操作模式的方法。所述指令包括：利用计算系统来接收表示触控笔的取向的触控笔取向数据；至少部分地基于触控笔取向数据，利用计算系统来识别计算系统使用的触控笔模式；以及将触控笔模式应用于计算系统以处理由触控笔传感器生成的交互数据。
示例21、该示例包括示例20的要素，其中，触控笔的取向包括触控笔的侧倾角、俯仰角、以及偏航角。
示例22、该示例包括示例20的要素，其中，所述指令进一步包括：接收表示用户在触控笔上的握持特征的握持特征数据。
示例23、该示例包括示例22的要素，其中，所述指令进一步包括：至少部分地基于握持特征数据来识别计算系统使用的触控笔模式。
示例24、该示例包括示例20的要素，其中，触控笔模式选自一组触控笔模式，包括以下中的一个或多个：书写模式；绘画模式；绘图模式；喷涂模式；选择模式；或指针模式。
示例25、该示例包括示例20的要素，其中，识别触控笔模式的指令包括将触控笔取向数据应用于预测模型以从多个触控笔模式中选择触控笔模式的指令。
示例26、该示例包括示例20的要素，其中，所述指令进一步包括：生成表示计算系统的取向的计算系统取向数据；以及至少部分地基于触控笔取向数据和计算系统取向数据，利用计算系统来识别计算系统使用的触控笔模式。
示例27、根据该示例，提供了一种存储指令的计算机可读设备，当由一个或多个处理器执行时，所述指令执行示例13至20中任一者的方法。
示例28、根据该示例，提供了一种设备，包括用于执行示例1至11中任一者的方法的模块。
这里采用的术语和表达用作描述术语而非限制，并且在使用这样的术语和表达时，无意排除所示和所描述的特征的任何等价物(或其部分)，并且认识到在权利要求的范围内可以进行各种修改。因此，权利要求旨在涵盖所有这样的等价物。
这里已经描述了各种特征、方面、以及实施例。如本领域技术人员将理解到的，各个特征、方面、以及实施例易于彼此组合以及变化和修改。因此，本公开应该被当作包括这样的组合、变化和修改。

Claims (25)

1.一种系统，包括：
触控笔传感器，用于生成表示触控笔与计算系统的交互的交互数据；
处理器电路；以及
存储器电路，通信耦合到所述处理器电路，所述存储器电路用于存储指令，当由所述处理器电路执行时，所述指令使得处理器电路执行从触控笔特征中确定触控笔操作模式的方法，所述指令包括：
利用计算系统来接收表示触控笔的取向的触控笔取向数据；
至少部分地基于所述触控笔取向数据，利用所述计算系统来识别所述计算系统使用的触控笔模式；并且
将所述触控笔模式应用于所述计算系统以处理由所述触控笔传感器生成的交互数据。
2.如权利要求1所述的系统，其中，所述触控笔的取向包括所述触控笔的侧倾角、俯仰角、以及偏航角。
3.如权利要求1所述的系统，其中，所述指令进一步包括：
接收表示用户在所述触控笔上的握持的特征的握持特征数据。
4.如权利要求3所述的系统，其中，所述指令进一步包括：
至少部分地基于所述握持特征数据来识别所述计算系统使用的触控笔模式。
5.如权利要求1所述的系统，其中，所述触控笔模式选自一组触控笔模式，包括以下中的一个或多个：
书写模式；
绘画模式；
绘图模式；
喷涂模式；
选择模式；或
指针模式。
6.如权利要求1所述的系统，其中，识别所述触控笔模式的指令包括将所述触控笔取向数据应用于预测模型以从多个触控笔模式中选择触控笔模式的指令。
7.如权利要求1所述的系统，其中，所述指令进一步包括：
生成表示所述计算系统的取向的计算系统取向数据；以及
至少部分地基于所述触控笔取向数据和所述计算系统取向数据，利用所述计算系统来识别所述计算系统使用的触控笔模式。
8.一种从触控笔特征中确定触控笔操作模式的方法，包括：
利用计算系统来接收表示触控笔的取向的触控笔取向数据；
至少部分地基于所述触控笔取向数据，利用所述计算系统来识别所述计算系统使用的触控笔模式；以及
将所述触控笔模式应用于所述计算系统以解释表示所述触控笔与所述计算系统的交互的交互数据。
9.如权利要求8所述的方法，其中，所述触控笔的取向包括所述触控笔的侧倾角、俯仰角、以及偏航角。
10.如权利要求9所述的方法，其中，侧倾角是围绕x轴的旋转，俯仰角是围绕y轴的旋转，以及偏航角是围绕z轴的旋转，其中，x轴、y轴、z轴表示笛卡尔坐标系的轴。
11.如权利要求8至10中任一项所述的方法，进一步包括：
接收表示用户在所述触控笔上的握持的特征的握持特征数据。
12.如权利要求11所述的方法，其中，用户在所述触控笔上的握持的特征包括定量特征、定性特征、或方式特征中的一个或多个。
13.如权利要求12所述的方法，其中，所述定量特征包括用户触摸的握持单元的数量，其中，所述定性特征包括施加到握持传感器的压力量，其中，所述方式特征包括用户对触控笔的握持的方式。
14.如权利要求11所述的方法，进一步包括：
至少部分地基于所述握持特征数据来识别所述计算系统使用的触控笔模式。
15.如权利要求8至10中任一项所述的方法，其中，所述触控笔模式选自一组触控笔模式，包括以下中的一个或多个：
书写模式；
绘画模式；
绘图模式；
喷涂模式；
选择模式；或
指针模式。
16.如权利要求8至10中任一项所述的方法，其中，识别触控笔模式包括：将所述触控笔取向数据应用于预测模型以从多个触控笔模式中选择触控笔模式。
17.如权利要求8至10中任一项所述的方法，进一步包括：
接收表示用户对校正的触控笔模式的选择的校正反馈数据；以及
至少部分地基于所述校正反馈数据来生成替换预测模型。
18.如权利要求8至10中任一项所述的方法，进一步包括：
利用所述计算系统来生成表示所述计算系统的取向的计算系统取向数据；以及
至少部分地基于所述触控笔取向数据和所述计算系统取向数据，利用所述计算系统来识别所述计算系统使用的触控笔模式。
19.一种用于从触控笔特征中确定触控笔操作模式的系统，包括：
用于接收表示触控笔的取向的触控笔取向数据的模块；
用于至少部分地基于所述触控笔取向数据来识别计算系统使用的触控笔模式的模块；以及
用于将所述触控笔模式应用于所述计算系统以解释表示所述触控笔与所述计算系统的交互的交互数据的模块。
20.如权利要求19所述的系统，进一步包括：
用于确定所述触控笔的侧倾角、所述触控笔的俯仰角、或所述触控笔的偏航角中的至少一个的模块。
21.如权利要求19所述的系统，进一步包括：
用于确定触控笔围绕x轴旋转的侧倾角的模块；
用于确定触控笔围绕y轴旋转的俯仰角的模块；以及
用于确定触控笔围绕z轴旋转的偏航角的模块；
其中，x轴、y轴、以及z轴表示形成笛卡尔坐标系的正交轴。
22.如权利要求19至21中任一项所述的系统，还包括：
用于接收表示用户在所述触控笔上的握持的特征的握持特征数据的模块。
23.如权利要求22所述的系统，其中，用于接收表示用户在所述触控笔上的握持的特征的握持特征数据的模块进一步包括：
用于确定与用户在所述触控笔上的握持相关联的握持特征数据的模块，所述握持特征数据包括定量特征、定性特征、或方式特征中的一个或多个。
24.如权利要求23所述的系统：
其中，用于确定与用户在所述触控笔上的握持相关联的一个或多个定量特征的模块进一步包括：
用于确定用户触摸的握持单元的数量的模块；
其中，用于确定与用户在所述触控笔上的握持相关联的一个或多个定性特征的模块进一步包括：
用于确定施加到握持传感器的压力量的模块；并且
其中，用于确定与用户在所述触控笔上的握持相关联的方式特征的模块进一步包括：
用于确定用户在所述触控笔上的握持的方式的模块。
25.至少一种机器可读介质，包括多个指令，响应于在计算设备上执行，所述指令使所述计算设备执行根据权利要求8至18中任一项所述的方法。
CN201910547986.7A 2018-06-26 2019-06-24 触控笔使用中的用户意图的预测检测 Pending CN110647246A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/018,711 US10649550B2 (en) 2018-06-26 2018-06-26 Predictive detection of user intent for stylus use
US16/018,711 2018-06-26

Publications (1)

Publication Number Publication Date
CN110647246A true CN110647246A (zh) 2020-01-03

Family

ID=65229536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547986.7A Pending CN110647246A (zh) 2018-06-26 2019-06-24 触控笔使用中的用户意图的预测检测

Country Status (3)

Country Link
US (3) US10649550B2 (zh)
CN (1) CN110647246A (zh)
DE (1) DE102019114026A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433624A (zh) * 2020-11-24 2021-03-02 维沃移动通信有限公司 倾角获取方法、装置和电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10642376B2 (en) 2012-11-28 2020-05-05 Intel Corporation Multi-function stylus with sensor controller
KR102407446B1 (ko) 2014-01-22 2022-06-10 가부시키가이샤 와코무 위치 지시기, 위치 검출 장치, 위치 검출 회로 및 위치 검출 방법
US10649550B2 (en) * 2018-06-26 2020-05-12 Intel Corporation Predictive detection of user intent for stylus use
JP7014757B2 (ja) * 2019-09-03 2022-02-01 株式会社ワコム ペンの位置を導出し、導出したペンの位置を示すレポートをホストコンピュータに対して送信するデバイスにより実行される方法及びタッチコントローラ。
WO2021054936A1 (en) * 2019-09-16 2021-03-25 Hewlett-Packard Development Company, L.P. Haptic feedback for computing systems
US11194411B1 (en) * 2020-08-20 2021-12-07 Lenovo (Singapore) Pte. Ltd. Use of sensors in electronic pens to execution functions
US20230104299A1 (en) * 2021-09-29 2023-04-06 Linus Health, Inc. Computational approaches to assessing central nervous system functionality using a digital tablet and stylus

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2582939A (en) 1947-04-15 1952-01-15 Dictaphone Corp Record chip removal apparatus
US5546624A (en) 1991-03-25 1996-08-20 Sonex International Corporation Apparatus to selectively couple ultransonic energy in a therapeutic ultransonic toothbrush
US5277785A (en) 1992-07-16 1994-01-11 Anglen Erik S Van Method and apparatus for depositing hard chrome coatings by brush plating
US5420607A (en) 1992-09-02 1995-05-30 Miller; Robert F. Electronic paintbrush and color palette
GB9518530D0 (en) 1995-09-11 1995-11-08 Informatix Inc Image processing
US5825350A (en) 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
WO1999038149A1 (en) * 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
US6595219B2 (en) 2000-09-30 2003-07-22 Mitchell E. Anderson Hairbrush with retractable bristles
ATE532874T1 (de) 2001-02-15 2011-11-15 Univ Chicago Verfahren zum nachweis in hefe für mittels die proteinfaltung beeinflussen
US6882340B2 (en) 2001-10-19 2005-04-19 Wacom Co., Ltd. Electronic pen
US6801211B2 (en) 2001-12-21 2004-10-05 Ladd B. Forsline Computer painting system with passive paint brush stylus
US7348968B2 (en) 2003-12-02 2008-03-25 Sony Corporation Wireless force feedback input device
US7285021B2 (en) 2004-02-04 2007-10-23 Oqo, Inc. Docking cable
US20070079030A1 (en) 2005-09-30 2007-04-05 Intel Corporation Auxiliary display and storage unit
KR20070064980A (ko) 2005-12-19 2007-06-22 삼성전자주식회사 디스플레이 장치
US8453060B2 (en) 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
KR101380748B1 (ko) 2006-10-10 2014-04-02 삼성전자 주식회사 사용자 선택에 따라 배터리 충전모드를 변경하는컴퓨터시스템 및 그 제어방법
US8994336B2 (en) 2007-02-26 2015-03-31 Black & Decker Inc. Portable alternating current inverter having reduced impedance losses
WO2008147924A2 (en) 2007-05-22 2008-12-04 Qsi Corporation Tactile feedback device for use with a force-based input device
US7609122B2 (en) 2007-10-05 2009-10-27 Silicon Storage Technology, Inc. Method and system for calibration of a tank circuit in a phase lock loop
US8253686B2 (en) 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US20100079602A1 (en) 2008-09-26 2010-04-01 Silverbrook Research Pty Ltd. Method and apparatus for alignment of an optical assembly with an image sensor
US8450972B2 (en) 2008-12-30 2013-05-28 Sanford L.P. Rechargeable eraser and charging tray
EP2427138B1 (en) 2009-05-08 2017-06-21 The Gillette Company LLC Oral care system for comparing brushing routines of several users
US8185681B2 (en) 2009-06-15 2012-05-22 Hewlett-Packard Development Company, L.P. Docking Station
US8922530B2 (en) 2010-01-06 2014-12-30 Apple Inc. Communicating stylus
US9785987B2 (en) * 2010-04-22 2017-10-10 Microsoft Technology Licensing, Llc User interface for information presentation system
US9542032B2 (en) * 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
CN101872260B (zh) 2010-06-03 2013-07-31 张通达 一种远程交互笔及书写笔迹检测方法
CN101872259B (zh) 2010-06-03 2012-01-25 中国人民解放军第二炮兵工程学院 自动录入书写内容的自然交互笔及笔迹检测方法
US20120081299A1 (en) 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9223418B2 (en) 2010-12-15 2015-12-29 Microsoft Technology Licensing, Llc Pen digitizer
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
JP2013041504A (ja) 2011-08-18 2013-02-28 Toshiba Corp 光学式入力装置
US8872800B2 (en) 2011-11-02 2014-10-28 Microsoft Corporation Optical tablet stylus and indoor navigation system
US20130201162A1 (en) 2012-02-05 2013-08-08 Ian Daniel Cavilia Multi-purpose pen input device for use with mobile computers
US8896579B2 (en) 2012-03-02 2014-11-25 Adobe Systems Incorporated Methods and apparatus for deformation of virtual brush marks via texture projection
KR101282430B1 (ko) 2012-03-26 2013-07-04 삼성디스플레이 주식회사 스타일러스, 압력 검출 시스템 및 그의 구동방법
US8878824B2 (en) 2012-04-11 2014-11-04 Blackberry Limited Force-sensing stylus pointing device
US20140002338A1 (en) * 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US20140035883A1 (en) 2012-07-31 2014-02-06 Research In Motion Limited Apparatus and Method Pertaining to a Stylus That Emits a Plurality of Infrared Beams
US9164599B2 (en) 2012-08-10 2015-10-20 Adobe Systems Incorporated Multifunctional stylus
US20140051940A1 (en) 2012-08-17 2014-02-20 Rare Light, Inc. Obtaining physiological measurements using ear-located sensors
US9720701B2 (en) 2012-09-10 2017-08-01 Intel Corporation Providing support for device states
US10078900B2 (en) 2012-09-10 2018-09-18 Intel Corporation Providing support for display articulation-related applications
US9013455B2 (en) 2012-09-18 2015-04-21 Blackberry Limited Rechargeable active pen and electronic device with corresponding charging dock
US9921626B2 (en) 2012-09-28 2018-03-20 Atmel Corporation Stylus communication with near-field coupling
US9256301B2 (en) 2012-10-10 2016-02-09 Atmel Corporation Active stylus with noise immunity
US8977961B2 (en) 2012-10-16 2015-03-10 Cellco Partnership Gesture based context-sensitive functionality
US10642376B2 (en) 2012-11-28 2020-05-05 Intel Corporation Multi-function stylus with sensor controller
US20140149062A1 (en) 2012-11-28 2014-05-29 Moulishankar Chandrasekaran Sensor calibration
US9448643B2 (en) * 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US20140267184A1 (en) * 2013-03-14 2014-09-18 Elwha Llc Multimode Stylus
US10055030B2 (en) 2013-05-17 2018-08-21 Apple Inc. Dynamic visual indications for input devices
US9280219B2 (en) * 2013-06-21 2016-03-08 Blackberry Limited System and method of authentication of an electronic signature
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
DE102013214021A1 (de) 2013-07-17 2015-01-22 Stabilo International Gmbh Stromersparnis
US9665206B1 (en) * 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
US10423245B2 (en) * 2014-01-31 2019-09-24 Qualcomm Incorporated Techniques for providing user input to a device
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9547370B2 (en) 2014-05-27 2017-01-17 Fuji Xerox Co., Ltd. Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
KR102393950B1 (ko) 2014-08-02 2022-05-04 애플 인크. 상황 특정 사용자 인터페이스
KR102612427B1 (ko) * 2015-01-19 2023-12-12 가부시키가이샤 와코무 위치 지시기
EP3267293B1 (en) * 2015-03-02 2019-09-18 Wacom Co., Ltd. Active capacitive stylus, sensor controller, system comprising these, and method executed by these
CN112578918A (zh) * 2015-05-21 2021-03-30 株式会社和冠 主动式触控笔
US10564770B1 (en) * 2015-06-09 2020-02-18 Apple Inc. Predictive touch detection
US9696826B2 (en) 2015-06-30 2017-07-04 Atmel Corporation Stylus with low-power detector
KR20170019956A (ko) 2015-08-13 2017-02-22 삼성전자주식회사 전자 장치 및 전자 장치의 입력제어 방법
US10168804B2 (en) * 2015-09-08 2019-01-01 Apple Inc. Stylus for electronic devices
US10463464B2 (en) 2015-10-12 2019-11-05 Neluva, Inc. Smart teethbrush
TWI621038B (zh) * 2015-11-05 2018-04-11 禾瑞亞科技股份有限公司 有線觸控筆、觸控電子裝置、觸控電子系統與觸控處理方法
US20170315631A1 (en) 2016-04-29 2017-11-02 Qualcomm Incorporated System and method for multimode stylus
JP2017215807A (ja) 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置
US10990198B2 (en) 2016-06-30 2021-04-27 Intel Corporation Wireless stylus with grip force expression capability
US20180046268A1 (en) 2016-08-09 2018-02-15 Microsoft Technology Licensing, Llc Multi-Transmitter Stylus Tip
US20180088786A1 (en) * 2016-09-23 2018-03-29 Microsoft Technology Licensing, Llc Capacitive touch mapping
CN107894854B (zh) * 2016-10-04 2021-02-19 禾瑞亚科技股份有限公司 将触控笔模拟为摇杆的触控电子系统、触控处理装置与方法
CN109863467B (zh) * 2016-10-21 2022-01-25 惠普发展公司，有限责任合伙企业 虚拟现实输入的系统、方法和存储介质
US10620725B2 (en) * 2017-02-17 2020-04-14 Dell Products L.P. System and method for dynamic mode switching in an active stylus
US20180239509A1 (en) * 2017-02-20 2018-08-23 Microsoft Technology Licensing, Llc Pre-interaction context associated with gesture and touch interactions
US10185415B2 (en) * 2017-02-24 2019-01-22 Microsoft Technology Licensing, Llc Configurable communication protocol for communication between a stylus device and a host device
US11150749B2 (en) * 2017-03-16 2021-10-19 Microsoft Technology Licensing, Llc Control module for stylus with whiteboard-style erasure
US10318072B2 (en) * 2017-05-01 2019-06-11 International Business Machines Corporation Intelligent prevention of unintended mobile touch screen interaction
JP2018194700A (ja) * 2017-05-18 2018-12-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び画像投影制御方法並びにプログラム
US10338701B2 (en) 2017-07-18 2019-07-02 Intel Corporation Active brush stylus
US20190034070A1 (en) * 2017-07-30 2019-01-31 Sant Sevak Singh Flexible & customisable human computer interaction (HCI) device that combines the functionality of traditional keyboard and pointing device (mouse/touchpad) on a laptop & desktop computer
GB2571953A (en) * 2018-03-13 2019-09-18 Massless Emea Ltd Single view tracking of cylindrical objects
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
US10649550B2 (en) * 2018-06-26 2020-05-12 Intel Corporation Predictive detection of user intent for stylus use
JP7107787B2 (ja) * 2018-08-31 2022-07-27 株式会社ワコム データ通信方法
US11119589B2 (en) * 2018-12-26 2021-09-14 Wacom Co., Ltd. Stylus and position calculation method
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433624A (zh) * 2020-11-24 2021-03-02 维沃移动通信有限公司 倾角获取方法、装置和电子设备

Also Published As

Publication number Publication date
US20220129091A1 (en) 2022-04-28
US11221687B2 (en) 2022-01-11
US20200272257A1 (en) 2020-08-27
DE102019114026A1 (de) 2020-01-02
US11782524B2 (en) 2023-10-10
US10649550B2 (en) 2020-05-12
US20190042009A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
US11782524B2 (en) Predictive detection of user intent for stylus use
EP3191930B1 (en) Handedness detection from touch input
EP3195100B1 (en) Inactive region for touch surface based on contextual information
EP3089018A1 (en) Method, apparatus, and device for information processing
US9671877B2 (en) Stylus tool with deformable tip
WO2015084665A1 (en) User interface adaptation from an input source identifier change
WO2015088883A1 (en) Controlling interactions based on touch screen contact area
WO2015088882A1 (en) Resolving ambiguous touches to a touch screen interface
US20150212600A1 (en) Stylus tool with deformable tip
CN104571521A (zh) 手写记录装置和手写记录方法
US20200142582A1 (en) Disambiguating gesture input types using multiple heatmaps
CN105700727A (zh) 与透明层以下的应用层的交互方法
CN106598422B (zh) 混合操控方法及操控系统和电子设备
KR102079985B1 (ko) 터치 입력 프로세싱 방법 및 디바이스
US11947758B2 (en) Diffusion-based handedness classification for touch-based input
CN103809909A (zh) 一种信息处理方法及电子设备
TW201504929A (zh) 電子裝置及其手勢控制方法
CN113296616B (zh) 笔锋选择方法、装置以及智能终端
US20220147221A1 (en) Information processing system and information processing method
CN110570930B (zh) 一种基于平板电脑的医疗影像勾画方法及系统
CN110944084A (zh) 单手模式控制方法、终端及计算机存储介质
CN113986041B (zh) 一种基于电子白板橡皮擦擦除电子数据的方法及系统
CN114327099B (zh) 一种触屏传感器的操作方法
KR101380930B1 (ko) 터치 스크린 입력장치
KR20130098754A (ko) 입력 인터페이스 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination