CN110235096A - 基于笔邻近度重绘用户接口 - Google Patents

基于笔邻近度重绘用户接口 Download PDF

Info

Publication number
CN110235096A
CN110235096A CN201880008467.7A CN201880008467A CN110235096A CN 110235096 A CN110235096 A CN 110235096A CN 201880008467 A CN201880008467 A CN 201880008467A CN 110235096 A CN110235096 A CN 110235096A
Authority
CN
China
Prior art keywords
pen
equipment
user interface
electronic equipment
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880008467.7A
Other languages
English (en)
Inventor
A·P·维尔马
S·A·贝兰德
K·J·耶亚库马尔
O·奥凯
W·M·杰拉奇二世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110235096A publication Critical patent/CN110235096A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所描述的电子设备被配置为：增强与在电子设备的触摸屏上使用笔相关联的用户体验。检测笔的邻近度和/或接近，并且当笔足够靠近时，操作系统触发笔事件，该笔事件被传送到在电子设备上运行的应用。应用可以通过重绘用户接口以便以平滑、无缝的方式容纳传入的笔输入来处理笔事件。此外，可以由操作系统提供笔兼容的接口控件，以增强在可能不具有必要功能的应用情况下的笔使用。

Description

基于笔邻近度重绘用户接口
背景技术
电子设备(例如个人计算机、膝上型设备、移动电话等等)越来越多地装备有触摸屏或类似接口，其使得用户能够通过利用手写笔、笔或其它笔状设备书写或绘图来提供输入。例如，平板计算机(其包括触摸屏作为主要用户接口)已成为具有键盘、鼠标等等的传统膝上型设备的流行替代物。在触摸屏上手动绘图或书写的能力提供了关于可能输入的相当大的灵活性。然而，许多现代应用的用户接口在正常使用期间不容易容纳书写和绘图。例如，一些应用要求用户选择特定按钮以激活笔兼容模式，或者可能根本不以有用的方式支持笔输入。
发明内容
提供本发明内容以用简化形式引入一些概念，这些概念以下在详细描述中进一步描述。本发明内容并非旨在标识所要求保护的主题内容的关键特征或必要特征，也并非旨在用于限制所要求保护的主题内容的范围。
一种计算机化的方法包括：由应用执行检查笔事件的状态的笔事件处理程序例程，该笔事件指示笔邻近设备，在从操作系统接收到笔事件时，设置标志，以及在设置该标志时，重绘应用的用户接口以容纳来自笔的输入。
通过参考结合附图考虑的以下详细描述，将更容易理解许多伴随特征，因为这些特征变得更好理解。
附图说明
从以下根据附图阅读的详细描述中将更好地理解本描述，其中：
图1根据一实施例示出了包括电子设备和相关联的笔的系统；
图2根据一实施例示出了包括笔邻近度处理程序和笔兼容控件的电子设备的框图；
图3根据一实施例示出了笔/设备接口、操作系统和应用之间的交互图；
图4根据一实施例示出了由操作系统接收和处理笔邻近度数据的方法的流程图；
图5根据一实施例示出了通过重绘用户接口以容纳来自笔的输入来处理笔事件的方法的流程图；
图6根据一实施例解说了用户接口被重绘以容纳笔输入之前和之后的屏幕截图；以及
图7根据一实施例将计算装置示出为功能框图。
在图1至图7中，系统被示出为示意图。附图可以不按比例缩放。
具体实施方式
以下结合附图提供的详细描述旨在作为对多个实施例的描述，而并非旨在表示可以构造、实现或利用实施例的仅有形式。尽管各实施例在本文可以被描述和示出为在诸如服务器、个人计算机、移动设备等设备中实现，但这仅是示例性实现方式而非限制。如本领域技术人员将意识到的，本文的实施例适用于各种不同类型的计算设备，例如，PC、服务器、膝上型计算机、平板计算机等等。
术语“计算机”、“计算装置”、“移动设备”等等在本文中用于指代具有处理能力以使得其能够执行指令的任何设备。本领域技术人员将认识到，这种处理能力被纳入到许多不同的设备中，并且因此术语“计算机”和“计算装置”均可以包括PC、服务器、膝上型计算机、移动电话(包括智能电话)、平板计算机、媒体播放器、游戏控制台、个人数字助理、以及许多其它设备。
下面描述的电子设备被配置为：增强与在电子设备的触摸屏上使用笔相关联的用户体验。检测笔的邻近度和/或接近，并且当笔足够靠近时，操作系统触发笔事件，该笔事件被传送到在电子设备上运行的应用。应用可以通过重绘用户接口以便以平滑、无缝的方式容纳传入的笔输入来处理笔事件。此外，可以由操作系统提供笔兼容的接口控件，以增强在可能不具有必要功能的应用情况下的笔使用。本公开内容提供了一种在启用触摸屏的设备中纳入使用笔或笔状设备的平滑且简单的用户体验。
图1根据一实施例示出了包括电子设备102和相关联的笔104的系统100。电子设备102和笔(或笔设备)104可以相关联或链接，以使得电子设备102和笔104彼此响应。在一示例中，笔104可以与电子设备102唯一地关联，以使得其它笔和/或类似设备不与电子设备102交互或以不同方式交互。
电子设备102包括屏幕界面。屏幕界面可以经由触摸传感器、压力传感器等等来接收输入。输入可以具有形状、表达式、符号、手写等形式。在一示例中，笔104可以用于触摸、接触、按压或以其它方式与屏幕界面交互，以便向电子设备102提供输入。
笔104可以包括使得笔104能够与电子设备102、笔104的用户、其它电子设备等等交互的电子组件。例如，笔104可以包括无线接口，该无线接口使得即使当笔104未与电子设备102接触时笔104也能够与电子设备102进行无线通信(经由WiFi、蜂窝、蓝牙品牌短程无线通信协议、其它射频通信等等)。此外，笔104可以包括笔104的用户可以用来与笔104和/或笔104的电子组件交互的按钮、开关和/或其它输入接口。另外地或替代地，笔104可以包括能够检测笔104的运动、方向、角度、用户输入、姿势等等的压力传感器、运动传感器、加速度计、陀螺仪传感器等等。
电子设备102可以检测笔104与电子设备102的邻近度。笔104可以无线地发射、传送或以其它方式发送信号，该信号可以由电子设备102接收和解释以确定笔104相对于电子设备102的邻近度。笔与电子设备102的邻近度的检测可以包括：将来自笔104的无线信号的信号强度解释为对笔邻近度的指示符。例如，当笔104靠近电子设备102时无线信号的信号强度可能是强的，并且当笔104移动远离电子设备102时无线信号的信号强度可能变弱。替代地或另外地，笔可以向电子设备102发送描述笔运动、笔方向、笔角度等的信息，该信息可以由电子设备102用于进一步确定笔104相对于电子设备102的位置和/或邻近度。
在一示例中，电子设备102可以通过至少部分地检测来自笔104的无线信号来检测笔104的邻近度。此外，电子设备102可以通过至少部分地检测来自笔104的无线信号的信号强度来检测笔104的邻近度。笔邻近度阈值可以被定义为包括信号强度阈值，以使得当跨过该信号强度阈值时，电子设备102可以确定笔104在笔邻近度阈值内。
图2根据一实施例示出了包括笔邻近度处理程序210和笔兼容控件212的电子设备202的框图。电子设备202包括用户接口206、包括笔邻近度处理程序210和笔兼容控件212的操作系统208、应用214、以及网络接口216。用户接口206包括输入接口218和输出接口220。
在一示例中，用户接口206包括触摸屏。输入接口206包括触摸屏的检测触摸屏上的接触、按压等的位置的层或部分。通过触摸屏上的接触(无论是通过用户的手指、笔、手写笔等等)由输入接口218检测并被解释为用户接口206的输入。输出接口220包括触摸屏的向电子设备202的用户显示、呈现或以其它方式输出信息的层或部分。输出接口220可以显示颜色、形状、字母等等以向电子设备的用户传送输出信息。
替代地或另外地，输入接口218可以从链接到电子设备202的笔设备(例如，笔设备104等等)接收输入，如上面参考图1所描述的。笔设备和电子设备202可以经由电子设备202的网络接口216进行通信。
输入接口218可以包括其它接口，例如键盘、鼠标、开关、按钮、麦克风、相机、运动检测等等。输入接口218的这些组件还使得用户能够将信息输入到电子设备202中。例如，与输入接口218相关联的相机可以检测用户的姿势并将姿势解释为输入信息的形式。例如，相机和输入接口218可以与增强现实设备和/或虚拟现实设备相关联。
在一示例中，输出接口220还可以包括扬声器、振动组件、投影仪组件等等。输出接口220的这些组件还使得电子设备202能够将输出信息传送给用户。例如，输出接口220的振动组件可以振动以向电子设备202的用户提供通知。
操作系统208是被配置为执行电子设备202的核心软件操作并提供在其上执行其它软件组件(例如，应用214等等)的平台的软件组件。应该理解，操作系统208根据如计算机科学、计算机工程等领域的普通技术人员所理解的典型方法起作用。此外，操作系统208包括笔邻近度处理程序210和一个或多个笔兼容控件212。
笔邻近度处理程序210包括可以与用户接口206交互的软件，包括接收与笔设备(例如，笔设备104等等)相关联的笔邻近度数据。笔邻近度处理程序210可以在使用电子设备202期间监听来自用户接口206的与笔邻近度数据相关联的通信。基于接收到的笔邻近度数据/通信，笔邻近度处理程序210可以触发或抛出笔事件，该笔事件可以被发送给电子设备202的其它软件组件(例如，应用214等等)和/或由其接收。
笔兼容控件212是与操作系统208相关联的软件组件，该软件组件可以使电子设备202对笔(例如，笔104等等)作出反应和/或与笔交互。在一示例中，笔兼容控件212可以使用户接口206向电子设备202的用户提供书写区域、关于书写区域的上下文的信息和/或指导等等。例如，笔兼容控件212可以使用户接口206在屏幕上显示包含书写区域的框以及在框中或附近的提示，该提示将框描述为地址字段、名称字段、签名字段、搜索项字段等等。另外的笔兼容控件可以包括复选框和/或列表项，这些复选框和/或列表项扩展以基于笔的邻近度或放大至地理区域的地图控件来提供另外细节，并提供与地理区域相关联的虚拟书写区域，用户可以使用该虚拟书写区域来添加有关该地理区域的注释。
应用214是可以安装在电子设备202上的软件组件。在一示例中，应用214使用操作系统208作为用于执行指令和/或向电子设备202的用户提供功能的平台。例如，应用214可以是文字处理应用、电子邮件应用、web浏览器、消息传送应用、游戏等等。应该理解，应用214可以是本领域普通技术人员已知的任何应用类型而不脱离本文描述的范围。
应用214可以包括笔事件处理程序组件，其被配置为：接收、检测由操作系统触发的笔事件和/或对其作出反应。应用214的笔事件处理程序可以引起笔兼容控件的激活、如本文所描述的用户接口的重绘等等。应用214可以包括当笔事件被检测到时设置的笔事件标记或其它指示符或设定。在正常操作过程中，应用214可以以规则间隔来重绘用户接口。每次执行重绘过程时，可以检查笔事件标志。当笔事件标志未被设置时，根据应用214的正常操作来重绘用户接口。然而，当笔事件标志被设置时，可以重绘用户接口以通过促使显示笔兼容控件来容纳传入的笔输入。
应用214可能缺少特定于应用的控件和/或功能来接受和处理笔输入，并且替代地可以在检测到笔输入时访问操作系统208的一个或多个笔兼容控件212以供在应用214内使用。例如，消息传送应用可能未被配置为处理笔输入，并且当该消息传送应用接收到笔事件时，该消息传送应用可以访问或请求使用由操作系统208提供的笔兼容控件来显示书写区域并将笔输入转换为文本，该消息传送应用随后可以使用该文本在消息中与用户的联系人通信。该请求可以通过对操作系统的应用编程接口(API)调用来发生。
替代地，应用214可以被配置为：包括笔兼容控件并且可以处理传入的笔事件而无需从操作系统208请求笔兼容控件212。例如，地图应用可以包括将用户接口206的地图区域上的笔输入自动变换为地图上的精确位置的笔兼容控件212。此外，可以向用户提示关于该精确位置是否是新目的地、感兴趣的新位置等等。
网络接口216提供接口，电子设备202通过该接口可以与其它电子设备、计算设备、接入点等等进行通信。网络接口216可以提供对一个或多个网络通信信道的访问，包括有线网络连接、无线网络连接等等。在一些示例中，被描述为电子设备202的一部分的组件可以替代地位于电子设备202的外部并由电子设备经由网络接口216访问。
在一示例中，电子设备包括用户接口、至少一个处理器、以及包括计算机程序代码的至少一个存储器。计算机程序代码被配置为：利用该至少一个处理器来执行流程图中所示出的操作。
图3根据一实施例示出了笔/设备接口(例如，用户接口206等等)、操作系统(例如，操作系统208等等)和应用(例如，应用214等等)之间的交互图。笔/设备接口在302处将笔邻近度数据发送给操作系统。在304处，操作系统接收笔邻近度数据并基于该笔邻近度数据来确定是否跨过或通过邻近度阈值。如果为是，则在306处，操作系统触发笔事件。被触发的笔事件可以被发送到应用，该应用在308处接收笔事件。在310处，应用确定是否需要来自操作系统的笔兼容控件以便收集与笔事件相关联的传入笔输入或以其它方式对笔事件进行响应。如果为否，则在312处，应用使用至少一个基于应用的笔兼容控件来重绘用户接口。如果需要操作系统笔兼容控制，则应用在314处从操作系统请求笔兼容控件。在316处，操作系统向应用提供笔兼容控件。在318处，应用使用由操作系统提供的笔兼容控件来重绘用户接口。
笔邻近度数据可以包括如上所述的信号强度数据。此外，笔邻近度数据可以包括与笔相关联的其它数据点，例如笔位置数据、笔运动数据、笔加速度数据等等。另外地或替代地，笔邻近度数据还可以包括与笔的类型、笔的标识符、与笔相关联的用户标识符等等有关的数据，以用于识别笔和/或提供针对特定笔和/或特定用户定制的笔用户体验。
邻近度阈值可以被定义为一个或多个默认值，或者它可以由设备的用户配置。确定邻近度阈值是否通过可以包括：将接收到的信号强度值与定义的信号强度阈值进行比较，如上所述。另外地或替代地，邻近度阈值可以包括接近速率阈值或范围，以使得当笔以高于或低于经定义的接近速率阈值或在接近速率范围内的速率朝向电子设备移动时可以触发笔事件。
在另外的示例中，当确定是否通过邻近度阈值时，可以使用笔取向。例如，笔可以提供指示笔尖是指向电子设备还是远离电子设备的数据。当笔尖指向电子设备，邻近度阈值可通过，而当笔尖远离电子设备时，邻近度阈值不可通过。另外地或替代地，笔的末端可以被配置用于不同的功能，以使得笔取向数据影响笔事件可以如何被处理。例如，笔尖可以被处理为在用户接口的书写区域上书写虚拟墨水，而相对端可以被处理为擦除用户接口的书写区域上的虚拟墨水。
基于邻近度阈值的通过而触发的笔事件可以包括关于笔正在接近电子设备的用户接口的指示符。此外，笔事件可以包括与笔接近的类型、如上所述的笔的取向、由笔做出的姿势等等有关的信息。笔事件在被触发时可以被传递给、中断或以其它方式与当前正在操作系统上运行的应用交互。笔事件可以仅针对活动的、正在用户接口上显示的、或者否则将受笔输入的影响的那些应用。此外，笔事件可以仅被发送到向操作系统订阅以接收笔事件的应用，因为许多应用可能没有用户接口组件以使得笔事件不起作用。替代地或另外地，操作系统可以提供与笔事件相关联的应用程序接口(API)，应用可以访问该API以询问关于笔事件是否已被触发。
操作系统可以被配置为触发多种类型的笔事件。不同的笔事件可以用于不同的笔、用户、笔的类型、笔的动作或姿势、笔的取向等等。每种类型的笔事件可以通过与其它类型的笔事件相同或不同的方法来处理。
当笔事件由操作系统通过中断、消息等等触发时，应用可以接收该笔事件。应用可以向操作系统订阅笔事件，并且从而在笔事件被触发时接收笔事件。笔事件可以包括关于应用可以用来确定如何处理笔事件的信息。例如，笔事件可以包括如上所述的笔事件类型。
在一示例中，确定是否需要操作系统控件包括：基于笔事件、笔事件类型或与笔事件相关联的其它数据来识别可能需要的控件和/或控件类型。当应用包括对接收到的笔事件进行处理的笔兼容控件时，该应用可以确定不需要操作系统控件。替代地，当应用不包括对接收到的笔事件进行处理的笔兼容控件时，该应用可以确定需要操作系统控件。
操作系统可以通过将API暴露于应用来向应用提供笔兼容控件，从而使得应用能够通过使用API来调用笔兼容控件。API还可以由应用用于从各种格式的控件中提取输入数据、针对要显示的控件选择位置、选择控件的外观属性等等。
使用笔兼容控件来重绘用户接口可以包括：在用户接口的当前内容上覆盖控件，调整用户接口的部分的大小以容纳新的笔兼容控件，放大用户接口的一部分，突出显示用户接口的一部分，在用户接口上显示指令/提示等等。例如，用户可以在web浏览器应用中填写表格，并且当用户将笔带到电子设备附近时，可以突出显示、扩大或放大表格的文本字段等等，以及可以在提示中显示文本或符号以指示用户关于该文本字段的上下文。重绘用户接口还可以包括：移动、拉伸、增长等动画，以突出显示或引起对笔兼容控件的注意。
应用可以包括在接收到笔事件时设置或切换的笔事件标志。当应用执行重绘过程时，该应用可以检查该标志，并且当标志被设置时，重绘过程可以包括一个或多个笔兼容控件。当标志未被设置时，重绘过程可能不包括笔兼容控件。如果先前的重绘过程中包括笔兼容控件，但不再设置该标志，则应用可以重绘用户接口以将其恢复到在接收到笔事件之前发生的状态。该重绘过程可以包括诸如突出显示、调整大小、重叠、动画等细节，如上面参考重绘用户接口以容纳笔输入所描述的。
在另一示例中，应用和/或操作系统可以识别笔输入何时完成，以便确定何时将用户接口恢复到先前状态。例如，可以定义暂停阈值，以使得当活动的笔输入会话已经空闲超过该暂停阈值的时间段时，就认为笔输入会话完成。替代地或另外地，用户可以使用姿势(例如，双击、倒转笔、将笔放在另一表面上等等)或笔设备上的物理按钮等明确地发信号通知笔输入的完成。笔输入被认为完成可以使得标记被切换或取消设置，以使得用户接口可以恢复到用户接口被重绘以容纳笔输入之前的状态。
在重绘用户接口以容纳来自笔设备的输入并确定来自笔设备的输入完成时，用户接口恢复到用户接口被重绘以容纳来自笔设备的输入之前的状态。
图4根据一实施例示出了由操作系统接收和处理笔邻近度数据的方法400的流程图。方法400包括：由操作系统在402处接收与笔设备相关联的笔邻近度数据。在404处发生基于笔邻近度数据来检测笔设备的接近。检测接近包括检测来自笔设备的无线信号(例如，检测无线信号的信号强度的变化)。
如果检测到笔接近，则在406处将笔事件触发到至少一个应用。
在触发笔事件并且在408处由至少一个应用请求笔兼容控件时，在410处将笔兼容控件提供给至少一个应用。在一些示例中，笔兼容控件包括书写区域、动画或提示中的至少一个。
图5根据一实施例示出了通过重绘用户接口以容纳来自笔的输入来处理笔事件的方法500的流程图。方法500包括：由应用在502处执行检查笔事件的状态的笔事件处理程序例程。笔事件指示笔邻近设备。在504处从操作系统接收到笔事件时，在506处设置标志；在设置标志时，应用在508处重绘应用的用户接口以容纳来自笔的输入。
重绘用户接口以容纳来自笔的输入包括：重绘用户接口以显示至少一个笔兼容控件以用于接受来自笔的墨水输入。应用从操作系统取回笔兼容控件。在一些示例中，重绘的用户接口包括突出显示的书写区域、放大的书写区域或提示中的至少一个。
在另一示例中，该方法还包括：经由用户接口从笔接收输入，并且在确定从笔接收的输入完成时(例如，检测到从笔接收的输入中的暂停超过经定义的暂停阈值)，将用户接口恢复到在重绘应用的用户接口以容纳来自笔的输入之前的状态。例如，从用户接口中删除笔兼容控件。
图6根据一实施例示出了在用户接口被重绘以容纳笔输入之前和之后的屏幕截图600和602。第一屏幕截图600示出了示例性消息传送应用界面，包括参与者之间的过去消息和回复框604。回复框604可以使得用户能够键入新消息并将键入的消息发送给其他参与者。第二屏幕截图602示出了在消息传送应用界面由于如本文所述的笔邻近度而被重绘之后的消息传送应用界面。包含过去消息的界面部分保持大体不变，但回复框604已经被重绘为画布606，该画布606通过提供书写和/或绘图的额外空间来更好地容纳来自用户的笔输入。在所示出的示例中，用户利用笔在画布606中绘制了一颗心并写下“miss you！(想念你！)”。用户随后可以将所绘制/书写的消息发送给消息传送应用中的其他参与者。
图7根据一实施例将计算装置718示出为功能框图。在一实施例中，根据本说明书中所描述的一个或多个实施例，计算装置718的组件可以被实现为电子设备和/或计算设备的一部分。计算装置718包括一个或多个处理器719，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制电子设备的操作的任何其它合适类型的处理器。可以在装置718上提供包括操作系统720的平台软件或任何其它合适的平台软件，以使得应用软件721能够在设备上执行。根据一实施例，接收笔邻近度数据、触发笔事件、设置笔标志、以及重绘用户接口以容纳来自笔的输入可以由软件来完成。此外，它可以经由网络或其它类型的通信链路从其它计算设备接收与笔邻近度、笔事件等等有关的网络通信。
可以使用计算装置718可访问的任何计算机可读介质来提供计算机可执行指令。例如，计算机可读介质可以包括计算机存储介质(例如存储器722)和通信介质。计算机存储介质(例如存储器722)包括用任何用于存储信息(例如，计算机可读指令、数据结构、程序模块等等)的方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、盒式磁带、磁带、磁盘存储或其它磁存储设备、或者可以用于存储供计算装置访问的信息的任何其它非传输介质。相比之下，通信介质可以包含经调制的数据信号(例如载波或其它传输机制)中的计算机可读指令、数据结构、程序模块等等。如本文定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应被解释为传播信号。传播的信号本身不是计算机存储介质的示例。尽管计算机存储介质(存储器722)被示为在计算装置718内，但是本领域技术人员将意识到，存储装置可以远程分布或定位并且经由网络或其它通信链路访问(例如，使用通信接口723)。
计算装置718可以包括输入/输出控制器724，其被配置为：将信息输出到一个或多个输出设备725，例如显示器或扬声器，这些输出设备可以与电子设备分离或集成。输入/输出控制器724还可以被配置为：接收和处理来自一个或多个输入设备726(例如，键盘、麦克风或触摸板)的输入。在一个实施例中，输出设备725还可以充当输入设备。这种设备的示例可以是触敏显示器。输入/输出控制器724还可以将数据输出到除输出设备之外的设备，例如，本地连接的打印设备。
可以至少部分地由一个或多个硬件逻辑组件来执行本文所描述的功能。根据一实施例，计算装置718在程序代码被处理器719执行时被配置为执行所描述的操作和功能的各实施例。替代地或另外地，可以至少部分地由一个或多个硬件逻辑组件来执行本文所描述的功能。举例而言而非限制，可以使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
尽管可以将本文实施例中的一些实施例描述和示出为在智能电话、移动电话或平板计算机中实现，但这些仅是设备的示例而非限制。如本领域技术人员将意识到的，本文实施例适合应用于各种不同类型的设备，例如便携式和移动设备，例如，应用于膝上型计算机、平板计算机、游戏控制台或游戏控制器、各种可穿戴设备、增强现实设备、虚拟现实设备等等。
作为本文所描述的其它示例的替代或补充，各示例包括以下各项的任意组合：
一种电子设备，包括：
用户接口；
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被配置为使得所述电子设备进行至少以下操作：
检测笔设备与所述电子设备的所述用户接口的邻近度；
在所述笔设备的邻近度跨过笔邻近度阈值时，设置笔邻近度标志；
以及
在所述笔邻近度标志被设置时，重绘所述用户接口以容纳来自所
述笔设备的输入。
上面描述的所述电子设备，其中，检测笔设备的邻近度包括：检测来自所述笔设备的无线信号。
上面描述的所述电子设备，其中，检测笔设备的邻近度包括：检测来自所述笔设备的所述无线信号的信号强度；并且其中，所述笔邻近度阈值包括经定义的信号强度阈值。
上面描述的所述电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：由在所述电子设备上运行的应用来重绘所述用户接口以容纳来自所述笔设备的输入。
上面描述的所述电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：使用来自所述应用或与所述电子设备相关联的操作系统中的至少一者的至少一个笔兼容控件来重绘所述用户接口。
上面描述的所述电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：重绘所述用户接口以包括突出显示的书写区域、放大的书写区域、或提示中的至少一个。
上面描述的所述电子设备，所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被配置为还使得所述电子设备进行至少以下操作：在所述用户接口被重绘以容纳来自所述笔设备的输入并且确定来自所述笔设备的输入完成时，将所述用户接口恢复到在所述用户接口被重绘以容纳来自所述笔设备的输入之前的状态。
上面描述的所述电子设备，其中，检测笔设备的邻近度包括：检测被链接到所述电子设备的笔设备的邻近度。
一种方法，包括：
由应用执行检查笔事件的状态的笔事件处理程序例程，所述笔事件指示笔邻近设备；
在从操作系统接收到所述笔事件时，设置标志；以及
在设置所述标志时，重绘所述应用的用户接口以容纳来自所述笔的输入。
上面描述的所述方法，其中，重绘用户接口以容纳来自所述笔的输入包括：使用至少一个笔兼容控件来重绘所述用户接口。
上面描述的所述方法，其中，使用至少一个笔兼容控件来重绘所述用户接口包括：从操作系统取回至少一个笔兼容控件。
上面描述的所述方法，其中，重绘用户接口以容纳来自笔的输入包括：重绘所述用户接口以包括突出显示的书写区域、放大的书写区域、或提示中的至少一个。
上面描述的所述方法，还包括：
经由所述用户接口从所述笔接收输入；以及
在确定从所述笔接收的输入完成时，将所述用户接口恢复到在将所述应用的所述用户接口重绘以容纳来自所述笔的输入之前的状态。
上面描述的所述方法，其中，确定从所述笔接收的输入完成包括：检测从所述笔接收的输入中的跨过经定义的暂停阈值的暂停。
一个或多个具有计算机可执行指令的计算机存储介质，所述计算机可执行指令在由处理器执行时使得所述处理器进行至少以下操作：
由操作系统接收与笔设备相关联的笔邻近度数据；
在基于所述笔邻近度数据检测到笔设备的接近时，触发笔事件，其中，所述笔事件被提供给至少一个应用；以及
在所述笔事件被触发并且笔兼容控件被所述至少一个应用请求时，将笔兼容控件提供给所述至少一个应用。
上面描述的所述一个或多个计算机存储介质，基于所述笔邻近度数据来检测笔设备的接近包括：检测来自所述笔设备的无线信号。
上面描述的所述一个或多个计算机存储介质，其中，所述无线信号是短程射频信号。
上面描述的所述一个或多个计算机存储介质，其中，检测笔设备的捷径包括：检测来自所述笔设备的所述无线信号的信号强度的变化。
上面描述的所述一个或多个计算机存储介质，其中，所述笔兼容控件包括书写区域、动画或提示中的至少一个。
如本领域技术人员显而易见的，可以延长或更改本文给出的任何范围或设备值而不丧失所寻求的效应。
虽然以特定于结构特征和/或方法动作的语言描述了主题内容，但应理解，所附权利要求中定义的主题内容并不一定限于上述特定特征或动作。相反，上述的特定特征和动作是作为实现各权利要求的示例形式而公开的。
将理解，上述益处和优点可以涉及一个实施例，或者可以涉及若干个实施例。实施例不限于解决任何或所有所陈述问题的那些实施例或具有任何或所有所陈述益处和优点的那些实施例。还将理解，对“一个”项目的引用是指那些项目中的一个或多个项目。
本文所示出和描述的实施例以及本文未具体描述但在权利要求的各方面的范围内的实施例构成用于检测笔邻近度并重绘用户接口以容纳来自笔的输入的示例性单元。所示出的一个或多个处理器719与存储在存储器722中的计算机程序代码一起构成用于触发笔事件的示例性处理单元、用于处理笔事件的单元、用于提供笔兼容控件的单元、以及用于使用笔兼容控件来重绘用户接口的单元。
术语“包括”在本说明书中用于表示包括该术语后面的特征或动作，而不排除一个或多个另外特征或动作的存在。

Claims (15)

1.一种电子设备，包括：
用户接口；
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器使得所述电子设备进行至少以下操作：
检测笔设备与所述电子设备的所述用户接口的邻近度；
在所述笔设备的邻近度跨过笔邻近度阈值时，设置笔邻近度标志；以及
在所述笔邻近度标志被设置时，重绘所述用户接口以容纳来自所述笔设备的输入。
2.根据权利要求1所述的电子设备，其中，检测笔设备的邻近度包括：检测来自所述笔设备的无线信号。
3.根据权利要求2所述的电子设备，其中，所述无线信号是短程射频信号。
4.根据权利要求2所述的电子设备，其中，检测笔设备的邻近度包括：检测来自所述笔设备的所述无线信号的信号强度；并且
其中，所述笔邻近度阈值包括经定义的信号强度阈值。
5.根据权利要求1所述的电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：由在所述电子设备上运行的应用来重绘所述用户接口以容纳来自所述笔设备的输入。
6.根据权利要求5所述的电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：使用来自所述应用或与所述电子设备相关联的操作系统中的至少一者的至少一个笔兼容控件来重绘所述用户接口。
7.根据权利要求1所述的电子设备，其中，重绘所述用户接口以容纳来自所述笔设备的输入包括：重绘所述用户接口以包括突出显示的书写区域、放大的书写区域、或提示中的至少一个。
8.根据权利要求1所述的电子设备，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器还使得所述电子设备进行至少以下操作：在所述用户接口被重绘以容纳来自所述笔设备的输入并且确定来自所述笔设备的输入完成时，将所述用户接口恢复到在所述用户接口被重绘以容纳来自所述笔设备的输入之前的状态。
9.根据权利要求1所述的电子设备，其中，检测笔设备的邻近度包括：检测被链接到所述电子设备的笔设备的邻近度。
10.一种方法，包括：
由应用执行检查笔事件的状态的笔事件处理程序例程，所述笔事件指示笔邻近设备；
在从操作系统接收到所述笔事件时，设置标志；以及
在设置所述标志时，重绘所述应用的用户接口以容纳来自所述笔的输入。
11.根据权利要求10所述的方法，还包括：
经由所述用户接口从所述笔接收输入；以及
在确定从所述笔接收的输入完成时，将所述用户接口恢复到在将所述应用的所述用户接口重绘以容纳来自所述笔的输入之前的状态。
12.根据权利要求11所述的方法，其中，确定从所述笔接收的输入完成包括：检测从所述笔接收的输入中的跨过经定义的暂停阈值的暂停。
13.一个或多个具有计算机可执行指令的计算机存储介质，所述计算机可执行指令在由处理器执行时使得所述处理器进行至少以下操作：
由操作系统接收与笔设备相关联的笔邻近度数据；
在基于所述笔邻近度数据检测到笔设备的接近时，触发笔事件，其中，所述笔事件被提供给至少一个应用；以及
在所述笔事件被触发并且笔兼容控件被所述至少一个应用请求时，将笔兼容控件提供给所述至少一个应用以供显示。
14.如权利要求13所述的一个或多个计算机存储介质，基于所述笔邻近度数据来检测笔设备的接近包括：检测来自所述笔设备的无线信号。
15.根据权利要求13所述的一个或多个计算机存储介质，其中，所述笔兼容控件包括书写区域、动画或提示中的至少一个。
CN201880008467.7A 2017-01-25 2018-01-19 基于笔邻近度重绘用户接口 Pending CN110235096A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/415,863 US10496190B2 (en) 2017-01-25 2017-01-25 Redrawing a user interface based on pen proximity
US15/415,863 2017-01-25
PCT/US2018/014297 WO2018140289A1 (en) 2017-01-25 2018-01-19 Redrawing a user interface based on pen proximity

Publications (1)

Publication Number Publication Date
CN110235096A true CN110235096A (zh) 2019-09-13

Family

ID=61163814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008467.7A Pending CN110235096A (zh) 2017-01-25 2018-01-19 基于笔邻近度重绘用户接口

Country Status (4)

Country Link
US (1) US10496190B2 (zh)
EP (1) EP3574397B1 (zh)
CN (1) CN110235096A (zh)
WO (1) WO2018140289A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795016A (zh) * 2019-09-27 2020-02-14 维沃移动通信有限公司 显示方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659082A (zh) * 2019-09-11 2020-01-07 Oppo（重庆）智能科技有限公司 应用程序界面的显示方法、装置、终端及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209016A1 (en) * 2005-03-17 2006-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
US20120013558A1 (en) * 2010-07-19 2012-01-19 Princeton Technology Corporation Touch devices and detection methods thereof
CN103092502A (zh) * 2011-08-31 2013-05-08 三星电子株式会社 在便携式终端中提供用户界面的方法及其设备
CN103164054A (zh) * 2011-12-19 2013-06-19 禾瑞亚科技股份有限公司 无线电容式书写装置
CN103176741A (zh) * 2013-03-20 2013-06-26 广东国笔科技股份有限公司 人机交互的方法、终端和系统
CN103294259A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 手写输入装置和手写输入方法
US20130285929A1 (en) * 2012-04-30 2013-10-31 Wolfgang Michael Theimer Method and Apparatus Pertaining to Stylus-Based Responses
US20140055427A1 (en) * 2012-08-23 2014-02-27 Yung Kim Mobile terminal and control method thereof
CN105138247A (zh) * 2014-06-03 2015-12-09 联想（新加坡）私人有限公司 检测到第二设备接近第一设备而在第一设备呈现用户界面

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099251A (ja) 1998-09-25 2000-04-07 Sanyo Electric Co Ltd 電子ペン装置、及び文字認識方法
US6795429B1 (en) 1999-09-27 2004-09-21 3Com Corporation System and method for associating notes with a portable information device on a network telephony call
US7564995B1 (en) 2000-03-07 2009-07-21 Apple Inc. Method and apparatus for acquiring and organizing ink information in pen-aware computer systems
GB2408337B (en) 2003-11-21 2005-11-23 Marc Zuta Graphic input device and method
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7522158B2 (en) 2005-09-22 2009-04-21 International Business Machines Corporation Systems, methods, and media for determining the location of a stylus for a portable electronic device
KR100850313B1 (ko) 2006-11-01 2008-08-04 이용직 필기형 유무선 복합 인스턴트 메신저 서비스 시스템 및 그서비스 방법
US9191483B2 (en) 2007-02-28 2015-11-17 Sony Corporation Automatically generated messages based on determined phone state
US9063591B2 (en) 2011-11-30 2015-06-23 Google Technology Holdings LLC Active styluses for interacting with a mobile device
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
KR101990565B1 (ko) * 2012-04-04 2019-06-19 삼성전자주식회사 펜 방식의 디스플레이장치에서 좌표 검출 장치 및 방법
KR102084041B1 (ko) 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
KR101987098B1 (ko) 2012-09-25 2019-09-30 삼성전자주식회사 터치 입력을 처리하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
WO2015174111A1 (ja) 2014-05-14 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8995972B1 (en) 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209016A1 (en) * 2005-03-17 2006-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
US20120013558A1 (en) * 2010-07-19 2012-01-19 Princeton Technology Corporation Touch devices and detection methods thereof
CN103092502A (zh) * 2011-08-31 2013-05-08 三星电子株式会社 在便携式终端中提供用户界面的方法及其设备
CN103164054A (zh) * 2011-12-19 2013-06-19 禾瑞亚科技股份有限公司 无线电容式书写装置
CN103294259A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 手写输入装置和手写输入方法
US20130285929A1 (en) * 2012-04-30 2013-10-31 Wolfgang Michael Theimer Method and Apparatus Pertaining to Stylus-Based Responses
US20140055427A1 (en) * 2012-08-23 2014-02-27 Yung Kim Mobile terminal and control method thereof
CN103176741A (zh) * 2013-03-20 2013-06-26 广东国笔科技股份有限公司 人机交互的方法、终端和系统
CN105138247A (zh) * 2014-06-03 2015-12-09 联想（新加坡）私人有限公司 检测到第二设备接近第一设备而在第一设备呈现用户界面

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795016A (zh) * 2019-09-27 2020-02-14 维沃移动通信有限公司 显示方法及电子设备

Also Published As

Publication number Publication date
US20180210567A1 (en) 2018-07-26
WO2018140289A1 (en) 2018-08-02
US10496190B2 (en) 2019-12-03
EP3574397A1 (en) 2019-12-04
EP3574397B1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
US10649552B2 (en) Input method and electronic device using pen input device
US8593398B2 (en) Apparatus and method for proximity based input
CN111142747B (zh) 群组管理方法及电子设备
CN109933252B (zh) 一种图标移动方法及终端设备
CN109074217A (zh) 用于多点触摸输入检测的应用
CN105900056A (zh) 辅助显示器的悬停敏感控制
KR20130121687A (ko) 방향 지각 정보 공유
WO2014062583A1 (en) Character deletion during keyboard gesture
KR20160114634A (ko) 디바이스 상의 롤링 제스처들을 식별하기 위한 기술들
CN104123072B (zh) 一种用于提供移动设备中的虚拟键盘的方法和设备
CN111414105A (zh) 信息提醒方法及电子设备
JP6386897B2 (ja) 電子黒板、情報処理プログラムおよび情報処理方法
EP3304287A1 (en) Assist layer with automated extraction
CN110235096A (zh) 基于笔邻近度重绘用户接口
KR20140009687A (ko) 매크로 기능을 이용하는 복합 입력 처리 방법 및 장치
US10365757B2 (en) Selecting first digital input behavior based on a second input
CN118034527A (zh) 检测笔相对于电子设备的定位
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
US8913008B2 (en) Image data generation using a handheld electronic device
CN105487740B (zh) 调用程序的方法和装置
EP2677401B1 (en) Image data generation using a handheld electronic device
CN104866215B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination