CN111414077B - 用于利用触笔来操纵用户界面的设备和方法 - Google Patents

用于利用触笔来操纵用户界面的设备和方法 Download PDF

Info

Publication number
CN111414077B
CN111414077B CN202010187432.3A CN202010187432A CN111414077B CN 111414077 B CN111414077 B CN 111414077B CN 202010187432 A CN202010187432 A CN 202010187432A CN 111414077 B CN111414077 B CN 111414077B
Authority
CN
China
Prior art keywords
stylus
touch
sensitive display
input
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010187432.3A
Other languages
English (en)
Other versions
CN111414077A (zh
Inventor
J·T·伯恩斯坦
L·L·董
M·K·豪恩施泰因
J·米西格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111414077A publication Critical patent/CN111414077A/zh
Application granted granted Critical
Publication of CN111414077B publication Critical patent/CN111414077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本公开涉及用于利用触笔来操纵用户界面的设备和方法。本发明公开了一种具有触敏显示器和用于检测来自与设备相关联的触笔的信号的一个或多个传感器的电子设备，该电子设备：检测触笔的位置状态，该触笔的位置状态对应于触笔相对于触敏显示器的距离、倾斜角和/或取向；确定触敏显示器上的与触笔的所检测到的位置状态对应的位置；根据触笔的位置状态，在触笔触摸触敏显示器之前在触敏显示器上显示对所确定的位置的指示；在触笔触摸触敏显示器之前，检测触笔的距离、倾斜角、和/或取向的变化；以及响应于检测到该变化，更新触敏显示器上的所显示的指示。

Description

用于利用触笔来操纵用户界面的设备和方法
相关申请引用
本申请是国际申请号为PCT/US2016/033588、国际申请日为2016年5 月20日、进入中国国家阶段日期为2017年11月23日、中国国家申请号为 201680029960.8、发明名称为“用于利用触笔来操纵用户界面的设备和方法”的发明专利申请的分案申请。
技术领域
本文整体涉及具有触敏表面的电子设备，包括但不限于具有利用触笔来操纵用户界面的触敏表面的电子设备。
背景技术
触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。示例性触敏表面包括触摸板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面对象。
可利用手指输入或触笔输入来操纵用户界面。手指输入比触笔输入更常见，部分原因在于使用触笔的现有方法很麻烦且效率低下。
发明内容
因此，本文公开了具有用于利用触笔来操纵用户界面的更快、更有效的方法的电子设备。此类方法任选地补充或替换用于利用触笔来操纵用户界面的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
通过所公开的设备减少或消除了与用于具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该设备为台式计算机。在一些实施方案中，该设备为便携式的(例如，笔记本电脑、平板电脑、或手持设备)。在一些实施方案中，该设备具有触摸板。在一些实施方案中，该设备具有触敏显示器(也被称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器、和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施方案中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/ 或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读介质或其他计算机程序产品中。
本文公开了具有用于显示和更新与触笔的位置状态对应的指示的改进方法的电子设备。此类方法任选地补充或替换用于显示指示的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器，该触笔包括代表性部分(例如，触笔的尖端)。该方法包括检测触笔的位置状态，其中触笔的位置状态对应于触笔相对于触敏显示器的距离、触笔相对于触敏显示器的倾斜角、和/或触笔相对于触敏显示器的取向；确定触敏显示器上的与触笔的所检测到的位置状态对应的位置；根据触笔的位置状态，在触笔触摸触敏显示器之前在触敏显示器上显示对所确定的位置的指示；在触笔触摸触敏显示器之前，检测触笔的距离、倾斜角、和/或取向的变化；以及响应于检测到该变化，更新触敏显示器上的所显示的指示。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：检测触笔的位置状态，其中触笔的位置状态对应于触笔相对于触敏显示器单元的距离、触笔相对于触敏显示器单元的倾斜角、和/或触笔相对于触敏显示器单元的取向；确定触敏显示器单元上的与触笔的所检测到的位置状态对应的位置；根据触笔的位置状态在触笔触摸触敏显示器单元之前在触敏显示器单元上启用对所确定的位置的指示；在触笔触摸触敏显示器单元之前检测触笔的距离、倾斜角和/或取向的变化；并且响应于检测到变化，更新触敏显示器单元上的所显示的指示。
因此，具有显示器、触敏表面、以及用于检测来自与该设备相关联的触笔的信号的任选的一个或多个传感器的电子设备被提供有用于显示和更新与触笔的位置状态对应的指示的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于显示指示的常规方法。
本文公开了具有用于在触笔与设备(例如，与设备的触敏显示器)接触时显示和更新与触笔的位置状态对应的指示的改进方法的电子设备。此类方法任选地补充或替换用于显示指示的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器，该触笔包括尖端(或其他代表性部分)。该方法包括在触笔尖端与触敏显示器接触时检测触笔的位置状态，其中触笔的位置状态对应于触笔尖端在触敏显示器上的位置、触笔相对于触敏显示器的倾斜角和触笔相对于触敏显示器的取向；确定触敏显示器上的与触笔的所检测到的位置状态对应的第一位置；在与触笔的所检测到的位置状态对应的第一位置处显示触敏显示器上的指示，该第一位置位于相对于触敏显示器上的触笔尖端的位置的第一偏移量处；检测触笔的取向的变化；并且响应于检测到触笔的取向的变化：确定触敏显示器上的与触笔的取向的变化对应的第二位置，该第二位置位于相对于触敏显示器上的触笔尖端的位置的第二偏移量处；并且在第二位置处显示触敏显示器上的指示。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元，该触笔包括尖端；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：在触笔尖端与触敏显示器单元接触时检测触笔的位置状态，其中触笔的位置状态对应于触笔尖端在触敏显示器单元上的位置、触笔相对于触敏显示器单元的倾斜角、和触笔相对于触敏显示器单元的取向；确定触敏显示器单元上的与触笔的所检测到的位置状态对应的第一位置；在与触笔的所检测到的位置状态对应的第一位置处启用对触敏显示器单元上的指示的显示，该第一位置位于相对于触敏显示器单元上的触笔尖端的位置的第一偏移量处；检测触笔的取向的变化；并且响应于检测到触笔的取向的变化：确定触敏显示器单元上的与触笔的取向的变化对应的第二位置，该第二位置位于相对于触敏显示器单元上的触笔尖端的位置的第二偏移量处；以及在第二位置处启用对触敏显示器单元上的指示的显示。
因此，具有触敏显示器和用于检测来自与该设备相关联的触笔的信号的一个或多个传感器的电子设备被提供有用于在触笔与设备(例如，与设备的触敏显示器)接触时显示和更新与触笔的位置状态对应的指示的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于显示指示的常规方法。
本文公开了具有改进方法的电子设备，该方法用于根据来自触笔的输入的特征来调整标记的一个或多个特征。此类方法任选地补充或替换用于显示标记的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏表面和显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：检测来自触笔的输入；确定来自触笔的输入的多个特征该，输入的特征包括触笔在输入期间相对于触敏表面的取向，以及触笔在输入期间在触敏表面上方的移动的方向(“方向性”)；并且响应于检测到来自触笔的输入：生成在显示器上所显示的标记，该标记具有包括不透明度、宽度、和/或颜色的特征；并且根据由触笔模拟的虚拟绘图工具以及在输入期间来自触笔的输入的多个特征的变化来调整标记的一个或多个特征。
根据一些实施方案，电子设备包括：被配置为显示用户界面的显示单元；被配置为接收用户接触(包括触笔接触)的触敏表面单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与显示单元、触敏表面单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：检测来自触笔的输入；确定来自触笔的输入的多个特征，该输入的特征包括触笔在输入期间相对于触敏表面单元的取向，以及触笔在输入期间在触敏表面单元上方的移动的方向(“方向性”)；并且响应于检测到来自触笔的输入：生成在所述显示单元上所显示的标记，所述标记具有包括不透明度、宽度、和/或颜色的特征；以及根据由触笔模拟的虚拟绘图工具以及在输入期间来自触笔的输入的多个特征的变化来调整标记的一个或多个特征。
因此，具有显示器、触敏表面、以及用于检测来自与该设备相关联的触笔的信号的一个或多个传感器的电子设备被提供有用于根据来自触笔的输入的特征来调整标记的一个或多个特征的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于显示标记的常规方法。
本文公开了具有用于利用触笔输入和手指输入来准备消息的改进方法的电子设备。此类方法任选地补充或替换用于利用触笔输入和手指输入来准备消息的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：在触敏显示器上显示通信应用程序的用户界面；检测与用于准备通信的请求对应的输入；响应于检测到与用于准备通信的请求对应的输入：根据确定输入为手指输入，显示用于键入文本消息的键盘；并且根据确定输入为触笔输入，显示用于创建绘图消息的绘图画布。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：在触敏显示器单元上启用对通信应用程序的用户界面的显示；检测与用于准备通信的请求对应的输入；响应于检测到与用于准备通信的请求对应的输入：根据确定输入为手指输入，启用对用于键入文本消息的键盘的显示；并且根据确定输入为触笔输入，启用对用于创建绘图消息的绘图画布的显示。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备与第一人相关联。该方法包括：在触敏显示器上显示通信应用程序的用户界面，该用户界面包括第一人与第二人之间的即时消息对话，该即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡、以及输入区域；检测对数字图像的选择，该数字图像包含多种颜色；响应于检测到对数字图像的选择：在输入区域中显示数字图像；以及显示包含用于在输入区域中的数字图像上绘图的颜色的调色板，其中在调色板中所显示的颜色基于数字图像中所包含的多种颜色；检测用于选择调色板中的第一颜色的输入；当选择调色板中的第一颜色时：检测输入区域中的数字图像上的一个或多个绘图输入；并且根据该一个或多个绘图输入在数字图像上利用第一颜色进行绘制；检测用于将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人的请求；响应于检测到用于发送在其上被绘制作为即时消息的数字图像的请求：将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人；并且在触敏显示器上在即时消息对话中显示在其上被绘图作为即时消息的数字图像。
根据一些实施方案，与第一人相关联的电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；以及与触敏显示器单元耦接在一起的处理单元。该处理单元被配置为：在触敏显示器单元上启用对通信应用程序的用户界面的显示，该用户界面包括第一人与第二人之间的即时消息对话，该即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡，以及输入区域；检测对数字图像的选择，所述数字图像包含多种颜色；响应于检测到对数字图像的选择：在输入区域中启用对数字图像的显示；以及启用对包含用于在输入区域中的数字图像上绘图的颜色的调色板的显示，其中在调色板中所显示的颜色基于数字图像中所包含的多种颜色色；检测用于选择调色板中的第一颜色的输入；当选择调色板中的第一颜色时：检测输入区域中的数字图像上的一个或多个绘图输入；并且根据一个或多个绘图输入在数字图像上利用第一颜色进行绘制；检测用于将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人的请求；以及响应于检测到用于发送在其上被绘制作为即时消息的数字图像的请求：将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人；并且在触敏显示器单元上在即时消息对话中启用对在其上被绘图作为即时消息的数字图像的显示。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备与第一人相关联。该方法包括：在触敏显示器上显示通信应用程序的用户界面，该用户界面包括：第一人与第二人之间的即时消息对话，该即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡，以及输入区域；接收用于指示第二人正在准备即时消息的信号；响应于接收到用于指示第二人正在准备即时消息的信号：根据确定第二人正在键入即时消息，在通信应用程序的用户界面中显示键入消息准备指示符；并且根据确定第二人正在绘图即时消息，在通信应用程序的用户界面中显示不同于键入消息准备指示符的绘图消息准备指示符；接收由第二人准备的即时消息；并且响应于接收到与所显示的消息准备指示符对应的由第二人准备的即时消息：停止显示键入消息准备指示符或绘图消息准备指示符；并且显示包含由即时消息对话中的第二人准备的即时消息的内容气泡。
根据一些实施方案，与第一人相关联的电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；以及与触敏显示器单元耦接在一起的处理单元。该处理单元被配置为：在触敏显示器单元上启用对通信应用程序的用户界面的显示，该用户界面包括：第一人与第二人之间的即时消息对话，该即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡，以及输入区域；接收用于指示第二人正在准备即时消息的信号；响应于接收到用于指示第二人正在准备即时消息的信号：根据确定第二人正在键入即时消息，在通信应用程序的用户界面中启用对键入消息准备指示符的显示；并且根据确定第二人正在绘图即时消息，在通信应用程序的用户界面中启用对不同于键入消息准备指示符的绘图消息准备指示符的显示；接收由第二人准备的即时消息；并且响应于接收到与所显示的消息准备指示符对应的由第二人准备的即时消息：停止启用对键入消息准备指示符或绘图消息准备指示符的显示；并且启用对包含由即时消息对话中的第二人准备的即时消息的内容气泡的显示。
因此，具有触敏显示器以及用于检测来自与该设备相关联的触笔的信号的任选的一个或多个传感器的电子设备被提供有用于利用触笔输入和手指输入来准备消息的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于利用触笔输入和手指输入来准备消息的常规方法。
本文公开了具有用于访问锁定设备中的绘图应用程序的改进方法的电子设备。此类方法任选地补充或替换用于访问锁定设备中的绘图应用程序的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：当电子设备处于锁定状态中时：在触敏显示器上显示锁定屏幕用户界面；当在触敏显示器上显示锁定屏幕用户界面时，检测来自触笔的用于在触敏显示器上进行绘制的第一输入；响应于检测到来自触笔的用于进行绘制的第一输入，在锁定屏幕用户界面上方显示与来自触笔的第一输入对应的绘图的一个或多个标记；当在锁定屏幕用户界面上显示与来自触笔的第一输入对应的绘图的一个或多个标记时：检测来触笔的用于以限制模式显示绘图应用程序的第二输入；并且响应于检测到来自触笔的用于显示绘图应用程序的第二输入，以限制模式来执行绘图应用程序并在绘图应用程序中显示绘图的一个或多个标记。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：当电子设备处于锁定状态中时：在触敏显示器单元上启用对锁定屏幕用户界面的显示；当在触敏显示器单元上启用对锁定屏幕用户界面的显示时，检测来自触笔的用于在触敏显示器单元上进行绘制的第一输入；响应于检测到来自触笔的用于进行绘制的第一输入，在锁定屏幕用户界面上方启用对与来自触笔的第一输入对应的绘图的一个或多个标记的显示；当在锁定屏幕用户界面上启用对与来自触笔的第一输入对应的绘图的一个或多个标记的显示时：检测来自触笔的以限制模式显示绘图应用程序的第二输入；并且响应于检测到来自触笔的用于显示绘图应用程序的第二输入，以限制模式来执行绘图应用程序并在绘图应用程序中启用对该绘图的一个或多个标记的显示。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：当电子设备处于锁定状态中时：在触敏显示器上显示锁定屏幕用户界面；当在触敏显示器上显示锁定屏幕用户界面时，检测用户输入；根据确定用户输入为利用触笔进行的预定义输入，在限制会话中利用对绘图应用程序的显示来替换对锁定屏幕用户界面的显示；并且根据确定用户输入为手指触摸输入，维持对锁定屏幕用户界面的显示并且放弃对绘图应用程序的显示。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：当电子设备处于锁定状态中时：在触敏显示器单元上启用对锁定屏幕用户界面的显示；当在触敏显示器单元上启用对锁定屏幕用户界面的显示时，检测用户输入；根据确定用户输入为利用触笔进行的预定义输入，在限制会话中利用对绘图应用程序的显示来替换对锁定屏幕用户界面的显示；并且根据确定用户输入为手指触摸输入，维持对锁定屏幕用户界面的显示并且放弃对绘图应用程序的显示。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：当电子设备处于锁定状态中时：在触敏显示器上显示锁定屏幕用户界面，该锁定屏幕用户界面包括锁定屏幕图像；当在触敏显示器上显示锁定屏幕用户界面时，检测由触笔在触敏显示器上进行的第一输入，其中检测第一输入包括：在第一输入开始时检测由触笔在触敏显示器上进行的初始接触；检测在第一输入期间触笔在触敏显示器上方的移动；以及在第一输入结束时检测触笔从触敏显示器抬离；响应于检测到触笔在触敏显示器上方的移动根据触笔在触敏显示器上方的移动来绘制在锁定屏幕图像顶部上所显示的第一标记；响应于检测到触笔从触敏显示器抬离：停止显示锁定屏幕用户界面，包括停止显示锁定屏幕图像；显示限制会话中的绘图应用程序的用户界面；以及在限制会话中的绘图应用程序的用户界面中，显示根据在所述第一输入期间触笔在触敏显示器上方的移动而绘制的第一标记；当显示限制会话中的绘图应用程序的用户界面时，检测由触笔在触敏显示器上进行的第二输入；并且响应于检测到由触笔在触敏显示器上进行的第二输入，绘制与限制会话中的绘图应用程序的用户界面中的第一标记一起被显示的第二标记。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：当电子设备处于锁定状态中时：在触敏显示器单元上启用对锁定屏幕用户界面的显示，该锁定屏幕用户界面包括锁定屏幕图像；当在触敏显示器单元上启用对锁定屏幕用户界面的显示时，检测由触笔在触敏显示器单元上进行的第一输入，其中检测第一输入包括：在第一输入开始时检测由触笔在触敏显示器单元上进行的初始接触；检测在第一输入期间触笔在触敏显示器单元上方的移动；以及在第一输入结束时检测触笔从触敏显示器单元抬离；响应于检测到触笔在触敏显示器单元上方的移动，根据触笔在触敏显示器单元上方的移动来绘制在锁定屏幕图像顶部上所显示的第一标记：停止启用对锁定屏幕用户界面的显示，包括停止显示锁定屏幕图像；启用对限制会话中的绘图应用程序的用户界面的显示；以及在限制会话中的绘图应用程序的用户界面中，启用对根据在第一输入期间触笔在触敏显示器单元上方的移动而绘制的第一标记的显示；当启用对限制会话中的绘图应用程序的用户界面的显示时，检测由触笔在触敏显示器单元上进行的第二输入；并且响应于检测到由触笔在触敏显示器单元上进行的第二输入，绘制与限制会话中的绘图应用程序的用户界面中的第一标记一起被显示的第二标记。
因此，具有触敏显示器以及用于检测来自与该设备相关联的触笔的信号的一个或多个传感器的电子设备被提供有用于访问锁定设备中的绘图应用程序的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于访问锁定设备中的绘图应用程序的常规方法。
本文公开了具有使用触笔来选择并使用虚拟绘图工具的更快、更有效的方法的电子设备。此类方法任选地补充或替换用于利用触笔来模拟虚拟绘图工具的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有显示器、触敏表面、和用于检测来自与该设备相关联的触笔的信号的一个或多个传感器的电子设备处执行方法。该方法包括：在显示器上显示电子文档；当在显示器上显示电子文档时，检测来自触笔的第一输入，其中检测第一输入包括检测由触笔在触敏表面上进行的初始接触；确定来自触笔的第一输入的多个特征，该多个特征包括触笔的倾斜角，其中触笔的倾斜角为相对于触敏表面的表面的法线的角度；根据确定倾斜角满足第一虚拟绘图工具的一个或多个选择标准，选择第一虚拟绘图工具以供触笔模拟；根据确定倾斜角满足第二虚拟绘图工具的一个或多个选择标准，选择第二虚拟绘图工具以供触笔模拟，其中第二虚拟绘图工具不同于第一虚拟绘图工具；并且在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟之后，响应于检测到来自触笔的第一输入利用所选择的虚拟绘图工具来在电子文档中生成标记。
根据一些实施方案，电子设备包括：被配置为显示用户界面的显示单元；被配置为接收用户接触(包括触笔接触)的触敏表面单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与显示单元、触敏表面单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：在显示单元上启用对电子文档的显示；当在显示单元上启用对电子文档的显示时，检测来自触笔的第一输入，其中检测第一输入包括检测触笔在触敏表面单元上的初始接触；确定来自触笔的第一输入的多个特征，该多个特征包括触笔的倾斜角，其中触笔的倾斜角为相对于触敏表面单元的表面的法线的角度；根据确定倾斜角满足第一虚拟绘图工具的一个或多个选择标准，选择第一虚拟绘图工具以供触笔模拟；根据确定倾斜角满足第二虚拟绘图工具的一个或多个选择标准，选择第二虚拟绘图工具以供触笔模拟，其中第二虚拟绘图工具不同于第一虚拟绘图工具；并且在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟之后，响应于检测到来自触笔的第一输入利用所选择的虚拟绘图工具来在电子文档中生成标记。
因此，具有显示器、触敏表面、用于检测来自与该设备相关联的触笔的信号的一个或多个传感器、以及用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备被提供有使用触笔来模拟虚拟绘图工具的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用利用触笔来模拟虚拟绘图工具的常规方法。
本文公开了具有使用手绘输入来在日历中创建事件的改进方法的电子设备。此类方法任选地补充或替换用于创建日历事件的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行一种方法。该方法包括在触敏显示器上显示电子日历，所显示的日历包括与第一天对应的区域。该方法还包括检测触敏显示器上的手绘输入，其中该手绘输入在所显示的日历中的第一天的并非全部的垂直部分上方延伸。该方法还包括响应于检测到该手绘输入而在第一天的垂直部分上方显示与该手绘输入对应的图形。该方法还包括：当在第一天的垂直部分上方显示与该手绘输入对应的图形时，检测与用于在电子日历中创建事件的请求对应的输入；并且响应于检测到与用于在电子日历中创建事件的请求对应的输入，在电子日历中的第一天中创建具有开始时间和结束时间的事件，其中事件的起始时间和结束时间与第一天的垂直部分一致。
根据一些实施方案，电子设备包括触敏显示器单元和与触敏显示器单元耦接在一起的处理单元。该触敏显示器单元被配置为在触敏显示器单元上显示电子日历，所显示的日历包括与第一天对应的区域。该触敏显示器单元还被配置为检测触敏显示器单元上的手绘输入，其中该手绘输入在所显示的日历中的第一天的并非全部的垂直部分上方延伸。该触敏显示器单元还被配置为：响应于检测到该手绘输入在第一天的垂直部分上方显示与该手绘输入对应的图形；并且当在第一天的垂直部分上方显示与该手绘输入对应的图形时，检测与用于在电子日历中创建事件的请求对应的输入。该处理单元被配置为响应于检测到与用于在电子日历中创建事件的请求对应的输入，在电子日历中的第一天中创建具有开始时间和结束时间的事件，其中事件的起始时间和结束时间与第一天的垂直部分一致。
因此，具有触敏显示器和用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备被提供有用于创建日历事件的更快、更有效的方法，从而提高此类设备的效用、效率和用户满意度。此类方法可补充或替换用于创建日历事件的常规方法。
本文公开了具有用于选择视频的一部分的改进方法的电子设备。此类方法任选地补充或替换用于选择视频的一部分的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行一种方法。该方法包括显示包括正被编辑的视频的时间轴区域的视频编辑应用程序。该方法还包括检测由接触在触敏显示器上作出的手势。该手势包括：通过接触与时间轴区域的初始接触，该初始接触在时间轴区域中的第一时间位处发生；与时间轴区域的初始接触之后的接触在触敏显示器上方的移动；以及接触在触敏显示器上的与时间轴区域中的第二时间位对应的位置处的抬离。该方法还包括响应于检测到由接触在触敏显示器上作出的手势，选择正被编辑的视频的一部分。该视频的所选择的部分在第一时间位处开始并在第二时间位处结束。
根据一些示例，电子设备包括触敏显示器单元和耦接到触敏显示器单元的处理单元。该触敏显示器单元被配置为显示包括正被编辑的视频的时间轴区域的视频应用程序。该处理单元被配置为检测由接触在触敏显示器单元上作出的手势。该手势包括：通过接触与时间轴区域的初始接触，该初始接触在时间轴区域中的第一时间位处发生；与时间轴区域的初始接触之后的接触在触敏显示器单元上方的移动；以及接触在触敏显示器单元上的与时间轴区域中的第二时间位对应的位置处的抬离。该处理单元还被配置为：响应于检测到由接触在触敏显示器单元上作出的手势，选择正被编辑的视频的一部分，其中视频的所选择的部分在第一时间位处开始并在第二时间位处结束。
因此，具有显示器、触敏表面和用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备被提供有用于选择视频的一部分的更快、更有效的方法，从而提高此类设备的效用、效率和用户满意度。此类方法可补充或替换用于选择视频的一部分的常规方法。
本文公开了具有用于利用触笔来显示并使用菜单的改进方法的电子设备。此类方法任选地补充或替换用于显示并使用菜单的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
根据一些实施方案，在具有触敏显示器的电子设备处执行方法，其中该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。该方法包括：在触敏显示器上显示用户界面；在触笔不与触敏显示器进行接触的情况下，当在触敏显示器上显示用户界面时检测到触笔正在朝向触敏显示器移动；在不与触敏显示器进行接触的情况下，确定朝向触敏显示器的所检测到的触笔移动是否满足一个或多个触笔移动标准；根据确定所检测到的触笔移动满足一个或多个触笔移动标准，显示覆盖在用户界面上的菜单，该菜单包括多个可选择菜单选项；检测对该多个可选择菜单选项中的第一菜单选项的选择；并且响应于检测到对多个可选择菜单选项中的第一菜单选项的选择：执行与第一菜单选项对应的操作并停止显示菜单。
根据一些实施方案，电子设备包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元；以及与触敏显示器单元和一个或多个传感器单元耦接在一起的处理单元。该处理单元被配置为：在触敏显示器单元上启用对用户界面的显示；在触笔不与触敏显示器单元进行接触的情况下，当在触敏显示器单元上启用对用户界面的显示时检测到触笔正在朝向触敏显示器单元移动；在不与触敏显示器单元进行接触的情况下确定朝向触敏显示器单元的所检测到的触笔移动是否满足一个或多个触笔移动标准；根据确定所检测到的触笔移动满足一个或多个触笔移动标准，启用对覆盖在用户界面上的菜单的显示，该菜单包括多个可选择菜单选项；检测对该多个可选择菜单选项中的第一菜单选项的选择；并且响应于检测到对多个可选择菜单选项中的第一菜单选项的选择：执行与第一菜单选项对应的操作并停止显示菜单。
因此，具有触敏显示器、以及用于检测来自与该设备相关联的触笔的信号的一个或多个传感器的电子设备被提供有用于利用触笔来显示并使用菜单的更快、更有效的方法，从而提高此类设备的效能、效率和用户满意度。此类方法可补充或替换用于显示菜单的常规方法。
根据一些实施方案，电子设备包括显示器、触敏表面、用于检测与触敏表面的接触的强度的任选的一个或多个传感器、一个或多个处理器、存储器、以及一个或多个程序；该一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行上述方法中的任一方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，该指令当由具有显示器、触敏表面、以及用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备执行时使得该设备执行或使得执行上述方法中的任一方法的操作。根据一些实施方案，一种电子设备上的图形用户界面，该电子设备具有显示器、触敏表面、用于检测与触敏表面的接触的强度的任选的一个或多个传感器、存储器、以及用于执行存储于存储器中的一个或多个程序的一个或多个处理器，该图形用户界面包括在上述方法中的任一方法中所显示的一个或多个元件，该一个或多个元件响应于输入而被更新，如上述方法中的任一方法中所描述的。根据一些实施方案，电子设备包括：显示器、触敏表面、和用于检测与触敏表面的接触的强度的任选的一个或多个传感器；以及用于执行或使得执行本文所述方法中任一方法的操作的装置。根据一些实施方案，一种在具有显示器和触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器的电子设备中使用的信息处理设备包括用于执行或使得执行本文所述方法中任一方法的操作的装置。
因此，具有显示器、触敏表面、和用于检测与触敏表面的接触强度的任选的一个或多个传感器的电子设备被提供有用于利用触笔来操纵用户界面的更快、更有效的方法，从而提高此类设备的效用、效率和用户满意度。此类方法可补充或替换用于利用触笔来操纵用户界面的常规方法。
附图说明
为了更好地理解本发明的各种所描述的实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号指示所有附图中的对应部分。
图1A为示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B为根据一些实施方案的示出用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3为根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4为根据一些实施方案的示例性电子笔的框图。
图5A-5B示出了根据一些实施方案的触笔相对于触敏表面的位置状态。
图6A示出了根据一些实施方案的便携式多功能设备上的应用程序的菜单的示例性用户界面。
图6B示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图7A-7J示出了根据一些实施方案的用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。
图8A-8D为示出根据一些实施方案的显示并更新于触笔的位置状态对应的指示的方法的流程图。
图9为根据一些实施方案的电子设备的功能框图。
图10A-10K示出了根据一些实施方案的用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。
图11A-11D为示出根据一些实施方案的显示并更新与触笔的位置状态对应的指示的方法的流程图。
图12为根据一些实施方案的电子设备的功能框图。
图13A-13O示出了根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的示例性用户界面。
图14A-14E为示出根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的方法的流程图。
图15为根据一些实施方案的电子设备的功能框图。
图16A-16N示出了根据一些实施方案的用于利用触笔输入和手指输入来准备消息的示例性用户界面。
图17A-17C、图18A-18B和图19为示出根据一些实施方案的利用触笔输入和手指输入来准备消息的方法的流程图。
图20A为根据一些实施方案的电子设备的功能框图。
图20B为根据一些实施方案的电子设备的功能框图。
图21A-21Q示出了根据一些实施方案的用于访问锁定设备中的绘图应用程序的示例性用户界面。
图22A-22B为示出根据一些实施方案的访问锁定设备中的绘图应用程序的方法的流程图。
图23A-23B为示出根据一些实施方案的访问锁定设备中的绘图应用程序的方法的流程图。
图24A-24B为示出根据一些实施方案的访问锁定设备中的绘图应用程序的方法的流程图。
图25为根据一些实施方案的电子设备的功能框图。
图26A-26H示出了根据一些实施方案的用于使用触笔来选择并使用虚拟绘图工具的示例性用户界面。
图27A-27C为示出根据一些实施方案的使用触笔来选择并使用虚拟绘图工具的方法的流程图。
图28为根据一些实施方案的电子设备的功能框图。
图29A-29H示出了根据一些实施方案的用于日历事件创建的示例性用户界面。
图30A-30D为示出根据一些实施方案的日历事件创建的方法的流程图。
图31为根据一些实施方案的电子设备的功能框图。
图32A-32F示出了根据一些实施方案的用于选择视频的一部分的示例性用户界面。
图33A-33B为示出根据一些实施方案的选择视频的一部分的方法的流程图。
图34为根据一些实施方案的电子设备的功能框图。
图35A-35J示出了根据一些实施方案的用于利用触笔来显示并使用菜单的示例性用户界面。
图36A-36C为示出根据一些实施方案的利用触笔来显示并使用菜单的方法的流程图。
图37为根据一些实施方案的电子设备的功能框图。
具体实施方式
本文描述了用于利用触笔来操纵用户界面的许多不同方法。使用这些方法中的一种或多种方法(任选地彼此结合)减少了用户输入的数量、程度和/或性质，并提供了更有效的人机界面。这使得用户能够更快、更有效地将触笔与具有触敏表面的设备配合使用。对于电池驱动设备，这些改进节省了功率并且增加了电池两次充电之间的时间间隔。为了便于解释，下文描述了包括这些方法中的一些方法的示例性示例的设备和方法，如下：
·图7A-7J示出了用于在触笔触摸触敏表面之前显示并更新与触笔的位置状态对应的指示的示例性用户界面。图8A-8D为示出了在触笔触摸触敏表面之前显示并更新与触笔的位置状态对应的指示的方法的流程图。图7A-7J中的用户界面用于示出图8A-8D中的过程。
·图10A-10K示出了用于触笔触摸触敏表面时显示并更新与触笔的位置状态对应的指示的示例性用户界面。图11A-11D为示出了当触笔触摸触敏表面时显示并更新与触笔的位置状态对应的指示的方法的流程图。图10A-10K中的用户界面用于示出图11A-11D中的过程。
·图13A-13O示出了根据来自触笔的输入的特征来调整标记的一个或多个特征的示例性用户界面。图14A-14E为示出根据来自触笔的输入的特征来调整标记的一个或多个特征的方法的流程图。图13A- 13O中的用户界面用于示出图14A-14E中的过程。
·图16A-16N示出了用于利用触笔输入和手指输入来准备消息的示例性用户界面。图17A-17C、图18A-18B和图19为示出了利用触笔输入和手指输入来准备消息的方法的流程图。图16A-16N中的用户界面用于示出图17A-17C、图18A-18B和图19中的过程。
·图21A-21Q示出了用于访问锁定设备中的绘图应用程序的示例性用户界面。图22A-22B、图23A-23B和图24A-24B为示出了访问锁定设备中绘图应用程序的方法的流程图。图21A-21Q中的用户界面用于示出图22A-22B、图23A-23B和图24A-24B中的过程。
·图26A-26H示出了用于使用触笔来选择并使用虚拟绘图工具的示例性用户界面。图27A-27C为示出了使用触笔来选择并使用虚拟绘图工具的方法的流程图。图26A-26H中的用户界面用于示出图27A- 27C中的过程。
·图29A-29H示出了用于日历事件创建的示例性用户界面。图30A- 30D为示出了日历事件创建的方法的流程图。图29A-29H中的用户界面用于示出图30A-30D中的过程。
·图32A-32F示出了用于选择视频的一部分的示例性用户界面。图 33A-33B为示出了选择视频的一部分的方法的流程图。图32A-32F 中的用户界面用于示出图33A-33B中的过程。
·图35A-35J示出了用于利用触笔来显示并使用菜单的示例性用户界面。图36A-36C为示出了利用触笔来显示并使用菜单的方法的流程图。图35A-35J中的用户界面用于示出图36A-36C中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的彻底理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可在没有这些具体细节的情况下被实施。在其他情况下，没有详细地描述熟知的方法、过程、部件、电路和网络，从而不会不必要地模糊实施方案的各个方面。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元素，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元素与另一元素区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不为同一接触，除非上下文另外明确地指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”(“a”“an”) 和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”“including”“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件、和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意思是“在确定……时”或“响应于确定……”或“在检测[所陈述的条件或事件]时”或“响应于检测[所陈述的条件或事件]”。
本文描述了电子设备、用于此类设备的用户界面、和用于使用此类设备的相关联的过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino, California)的
Figure GDA0002520029170000201
设备、iPod
Figure GDA0002520029170000202
设备和
Figure GDA0002520029170000203
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板) 的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下应用程序中的一个或多个应用程序：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用物理用户界面设备诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在关注具有触敏显示器的便携式设备的实施方案。图1A为示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器120、一个或多个处理单元(CPU)122、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入或控制设备116、以及外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统 112)上的接触的强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)的一个或多个触觉输出发生器163。这些部件任选地通过一个或多个通信总线或信号线 103来进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面 (例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。作为另一个示例，即使在触敏表面的光滑度无变化时，触敏表面的移动也将任选地由用户解释为或感测为触敏表面的“粗糙度”。虽然由用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是有许多触摸的感官知觉为大多数用户共有的。因此，当触觉输出被描述为与用户的特定感官知觉(例如，“松开点击”、“按下点击”、“粗糙度”)对应时，除非另外陈述，否则所生成的触觉输出与设备或其部件的物理位移对应，该物理位移将会生成典型(或普通)用户的所描述的感官知觉。
应当理解，设备100仅为便携式多功能设备的一个示例，并且设备 100任选地具有比所示出的更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件实现为硬件、软件、固件或其组合，包括一个或多个信号处理电路和/或专用集成电路。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 122 和外围设备接口118)对存储器102的访问任选地由存储器控制器120来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 122。所述一个或多个处理器122运行或执行存储在存储器102中的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个CPU 122和存储器控制器120任选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被叫做电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议、和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA (DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W- CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi) (例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、 IEEE 802.11g和/或IEEE802.11n)、互联网协议语音技术(VoIP)、Wi- MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议 (POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务 (IMPS)、和/或短消息服务(SMS))、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户和设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113根据声波转换的电信号。音频电路110将电信号转换为音频数据，并将音频数据传输到外围设备接口118，以用于处理。音频数据任选地由外围设备接口118检索自和/ 或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110 还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接在一起。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入或控制设备 116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和 /或麦克风113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频、和它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部视觉输出对应于用户界面对象。
触敏显示器系统112具有基于触觉/触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156 (与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一个示例性实施方案中，触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示器系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示器系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，所述多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino, California)的
Figure GDA0002520029170000251
iPod
Figure GDA0002520029170000252
和
Figure GDA0002520029170000253
发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示器系统112进行接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板为设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板任选地为与触敏显示器系统112分开的触敏表面，或者为由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示器 (例如，发光二极管(LED))，以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出与I/O 子系统106中的光学传感器控制器158耦接在一起的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143 (也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接在一起的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触摸屏显示器系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。一个或多个触觉输出发生器163任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件 (例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示系统112)并置排列或邻近，并且任选地通过垂直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示器系统112相背对的后部上。
设备100任选地还包括用于获取关于设备的位置(例如，姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析，在触摸屏显示器上以纵向视图或横向视图显示信息。设备100可选地包括用于获取关于设备100的位置的信息的 GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，被存储在存储器102中的软件部件包括操作系统 126、通信模块(或指令集)128、接触/运动模块(或指令集)130、位置模块(或指令集)131、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前为活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备位置和/或姿态的位置和/或位置信息。
操作系统126(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如，互联网、无线LAN 等)进行耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure GDA0002520029170000281
设备、iPod
Figure GDA0002520029170000282
设备、和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口为与AppleInc.(Cupertino,California)的一些
Figure GDA0002520029170000283
iPod
Figure GDA0002520029170000284
和
Figure GDA0002520029170000285
设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括用于执行与(例如手指或触笔)接触检测相关的各种操作的软件部件，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬起事件或者接触中断)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的变化)，接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触和/或触笔接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定的接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置 (或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，在触敏表面上检测到手指轻扫手势包括检测到手指按下事件，然后检测到一个或多个手指拖动事件，并且随后检测到手指抬起 (抬离)事件。类似地，通过检测触笔的特定接触模式来任选地检测触笔的轻击、轻扫、拖动和其他手势。
位置模块131结合加速度计167、陀螺仪168和/或磁力仪169任选地检测关于设备的位置信息，诸如在特定参考系中设备的姿态(滚转、仰俯和/或偏航)。位置模块130包括用于执行与检测设备位置以及检测设备位置变化相关的各种操作的软件部件。在一些实施方案中，位置模块131使用从与设备配合使用的触笔接收的信息来检测关于触笔的位置信息例如检测触笔相对于该设备的位置状态，并检测触笔的位置状态的变化。
图形模块132包括用于在触敏显示器系统112或其他显示器上呈现和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击 (例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，包括但不限于文本、网页、图标(诸如包括软按键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储待使用的用于表示图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还接收坐标数据和其他图形属性数据，然后生成屏幕图像数据，以输出至显示控制器 156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由一个或多个触觉输出发生器163使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供在各种应用程序中使用的这种信息(例如，提供至用于基于位置的拨号的电话138，提供至相机143作为图片/视频元数据，以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时叫做通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序 149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获取的其他桌面小程序，以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块 150；
·搜索模块151；
·视频和音乐播放器模块152，其任选地由视频播放器模块和音乐播放器模块构成；
·记事本模块153；
·地图模块154；和/或
·视频编辑模块155。
任选地被存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示系统112、显示控制器156、接触模块130、图形模块 132、和文本输入模块134，联系人模块137包括用于管理通讯录或联系人列表(例如被存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)的可执行指令，包括：将一个或多个姓名添加到通讯录；从通讯录删除一个或多个姓名；使一个或多个电话号码、一个或多个电子邮件地址、一个或多个物理地址或其他信息与姓名相关联；使图像与姓名相关联；对姓名归类和分类；提供电话号码和/或电子邮件地址以发起和/或促成通过电话138、视频会议139、电子邮件140、或IM 141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一者。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、发送相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APN)或IMPS)、接收即时消息以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块 130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块152，健身支持模块142包括用于以下操作的可执行指令：创建健身(例如具有时间、距离和/或卡路里燃烧目标)；与(运动设备和智能手表中的)健身传感器进行通信；接收健身传感器数据；校准用于监视健身的传感器；选择健身音乐并进行播放；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器 164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块 132、文本输入模块134和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收和显示网页或其部分，以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149为任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和 JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式 (诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于(例如，在触敏显示器系统112上或在无线连接或经由外部端口124连接的外部显示器上)显示、呈现或以其他方式回放视频的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器，诸如
Figure GDA0002520029170000332
(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块 132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块 147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；与特定位置处或附近的商店及其他兴趣点有关的数据；以及其他基于位置的数据)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、联系人模块130、图形模块132、音频电路110、扬声器111、文本输入模块134、视频编辑模块155包括允许用户编辑电影和其他视频(例如，Apple Inc.(Cupertino, California)的
Figure GDA0002520029170000331
)的可执行指令。
上述模块和应用程序中的每个模块和应用程序对应于用于执行上述一种或多种功能以及在该专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子集。此外，存储器102 任选地存储上面未描述的附加模块和数据结构。
在一些实施方案中，设备100为该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触摸板作为用于设备100的操作的主要输入控制设备，任选地减少设备100上的物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
唯一地通过触摸屏和/或触摸板执行的该预定义的一组功能任选地包括在用户界面之间进行导航。在一些实施方案中，触摸板在被用户触摸时将设备100从被显示在设备100上的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮为物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B为根据一些示例示出用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序 136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上所显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用于确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用于确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括另外的信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被该应用程序显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167、一个或多个陀螺仪168、一个或多个磁力仪169和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统 112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/ 或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172 提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户可在显示器上看到的控件和其他元件构成。
与应用程序相关联的用户界面的另一方面为一组视图，本文中有时也被称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被认为是正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，该初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有在分级结构中组织的多个视图时，命中视图确定模块172 将命中视图识别为应对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图为发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图通常接收与其被识别为命中视图所针对的相同触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173 确定仅命中视图才应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图都为活跃参与的视图，因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，但在分级结构中较高的视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在另一个实施方案中，事件分类器170 为独立的模块，或者为被存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中每个应用程序视图包括用于处理在应用程序的用户界面的相应视图内发生的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器为独立模块的一部分，该独立模块诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图 191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器 182和事件比较器184。在一些实施方案中，事件识别器180还包括以下各项的至少一个子集：元数据183和事件递送指令188(其任选地包括子事件递送指令)。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向到横向取向，或反之亦然)的旋转，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并基于该比较，确定事件或子事件，或确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件 2(187-2)以及其他。在一些实施方案中，事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1 (187-1)的定义为被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬离(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)，以及预先确定时长的第二次抬离(触摸结束)。在另一个示例中，事件2(187-2)的定义为被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动，以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试，以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件系列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括元数据183，该元数据具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标志，并且与该标志相关联的事件处理程序190获取该标志并执行预定义的过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而无需激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件系列相关联的事件处理程序或递送到活跃参与的视图。与子事件系列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块145中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，一个或多个事件处理程序190包括数据更新器 176、对象更新器177和GUI更新器178或者具有对数据更新器176、对象更新器177和GUI更新器178的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述讨论还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地结合单次或多次键盘按压或保持的鼠标移动和鼠标按钮按压；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；所检测到的眼睛移动；生物特征输入；和/或任选地被用作与用于限定要识别的事件的子事件对应的输入的它们的任意组合。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200 内显示一个或多个图形。在本实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在附图中没有按比例绘制)或者利用一个或多个触笔203(在附图中没有按比例绘制)，在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势为轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备 100上被执行的一组应用程序中的任何应用程序136。另选地，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204、用于使设备通电/断电和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212、和对接/充电外部端口124。下压按钮206被任选地用于：通过按下按钮并使按钮在下压状态保持预定义的时间间隔来使设备通电/断电；通过按下按钮并在经过预定义的时间间隔之前释放按钮来锁定设备；和/或解锁设备或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112 上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100 的用户生成触觉输出的一个或多个触觉输出发生器163。
图3为根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必为便携式的。在一些实施方案中，设备300是膝上型计算机、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统、或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并控制系统部件之间的通信的电路(有时称为芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常为触摸屏显示器。I/O接口 330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如，类似于以上参考图1A所述的传感器112、164、165、166、167、168和169 的触敏传感器、光学传感器、接触强度传感器、接近传感器、加速度传感器、姿态和/或磁传感器)。存储器370包括高速随机存取存储器诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离 CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块、和数据结构。例如，设备300的存储器370任选地存储绘图模块380、展示模块382、文字处理模块384、网站创建模块386、盘编辑模块388和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子集。此外，存储器370 任选地存储上面未描述的另外的模块和数据结构。
图4为根据一些实施方案的示例性电子笔203的框图。电子笔203有时被简称为触笔。触笔203包括存储器402(其任选地包括一个或多个计算机可读存储介质)、存储器控制器422、一个或多个处理单元(CPU)420、外围设备接口418、RF电路408、输入/输出(I/O)子系统406、以及其他输入或控制设备416。触笔203任选地包括外部端口424、以及一个或多个光学传感器464。触笔203任选地包括用于检测设备100(例如，当触笔203 与触敏表面诸如设备100的触敏显示器系统112一起使用时)或其他表面 (如桌面)上的触笔203的接触的强度的一个或多个强度传感器465。触笔 203任选地包括用于在触笔203上生成触觉输出的一个或多个触觉输出发生器463。这些部件任选地通过一个或多个通信总线或信号线403来进行通信。
在一些实施方案中，上文讨论的术语“触觉输出”是指将由用户利用用户的触感检测到的设备(例如，设备100)的附件(例如，触笔203)相对于该附件的先前位置的物理位移、附件的一个部件相对于该附件的另一个部件的物理位移、或该部件相对于该附件的质心的位移。例如，在附件或附件的部件与用户的对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于附件或附件的部件的物理特征的所感知的变化。例如，部件对(例如，触笔203的外壳)的移动任选地被用户解释为物理致动器按钮的“点击”。在一些情况下，用户将感觉到触感诸如“点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触笔相关联的物理致动按钮没有移动时。虽然由用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是有许多触摸的感官知觉为大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“点击”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将生成典型(或普通)用户的所述感官知觉。
应当理解，触笔203仅为电子笔的一个示例，并且触笔203任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图4中所示的各种部件实现为硬件、软件、固件或其组合，包括一个或多个信号处理电路和/或专用集成电路。
存储器402任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个闪存存储器设备或其他非易失性固态存储器设备。触笔203的其他部件(诸如一个或多个CPU 420和外围设备接口 418)对存储器402的访问任选地由存储器控制器422来控制。
外围设备接口418可被用于将触笔的输入外围设备和输出外围设备耦接到存储器402和一个或多个CPU 420。该一个或多个处理器420运行或执行被存储在存储器402中的各种软件程序和/或指令集，以执行触笔203 的各种功能并处理数据。
在一些实施方案中，外围设备接口418、一个或多个CPU 420和存储器控制器422任选地在单个芯片诸如芯片404上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路408接收和发送也被叫做电磁信号的RF信号。RF电路408将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与设备100或300、通信网络和其他通信设备进行通信。RF电路 408任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、 RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、存储器等。RF电路408任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网 (也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统 (GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE802.11g和/或IEEE 802.11n)、互联网协议语音技术 (VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/ 或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议 (XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS)和/或短消息服务(SMS))、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
I/O子系统406将触笔203上的输入/输出外围设备诸如其他输入或控制设备416与外围设备接口418耦接在一起。I/O子系统406任选地包括光学传感器控制器458、强度传感器控制器459、触觉反馈控制器461、以及用于其他输入或控制设备的一个或多个输入控制器460。该一个或多个输入控制器460从其他输入或控制设备416接收电信号/将电信号发送到该其他输入或控制设备。其他输入或控制设备416任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、点击轮等等。在一些另选的实施方案中，一个或多个输入控制器460任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：红外线端口和/或USB端口。
触笔203还包括用于为各种部件供电的电力系统462。电力系统462任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、电源转换器或逆变器、电力状态指示器 (例如，发光二极管(LED))和任何其他与便携式设备和/或便携式附件中电力的生成、管理和分配相关联的部件。
触笔203任选地还包括一个或多个光学传感器464。图4示出了与I/O 子系统406中的光学传感器控制器458耦接的光学传感器。一个或多个光学传感器464任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体 (CMOS)光电晶体管。一个或多个光学传感器464从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。
触笔203任选地还包括一个或多个接触强度传感器465。图4示出了与 I/O子系统406中的强度传感器控制器459耦接的接触强度传感器。一个或多个接触强度传感器465任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器465从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触笔203的尖端并置排列或邻近。
触笔203任选地还包括一个或多个接近传感器466。图4示出了与外围设备接口418耦接的接近传感器466。另选地，接近传感器466与I/O子系统406中的输入控制器460耦接。在一些实施方案中，接近传感器确定触笔203到电子设备(例如，设备100)的接近度。
触笔203任选地还包括一个或多个触觉输出发生器463。图4示出了与 I/O子系统406中的触觉反馈控制器461耦接在一起的触觉输出发生器。一个或多个触觉输出发生器463任选地包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器463从触觉反馈模块433接收触觉反馈生成指令，并且在触笔203上生成能够由触笔203的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触笔203的长度(例如，主体或外壳) 并置排列或邻近，并且任选地通过垂直(例如，在与触笔203的长度平行的方向上)或横向(例如，在与触笔203的长度垂直的方向上)移动触笔 203而生成触觉输出。
触笔203任选地还包括用于获取关于触笔203的位置和位置状态的信息的一个或多个加速度计467、陀螺仪468和/或磁力仪469(例如，作为惯性测量单元(IMU)的一部分)。图4示出了与外围设备接口418耦接在一起的传感器467,468和469。另选地，传感器467,468和469任选地与I/O子系统406中的输入控制器460耦接之在一起。触笔203任选地包括用于获取关于触笔203的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，被存储于存储器402中的软件部件包括操作系统 426、通信模块(或指令集)428、接触/运动模块(或指令集)430、位置模块(或指令集)431、以及全球定位系统(GPS)模块(或指令集)435。此外，在一些实施方案中，存储器402存储设备/全局内部状态457，如图4 中所示。设备/全局内部状态457包括以下一者或多者：传感器状态，包括从触笔的各种传感器和其他输入或控制设备416获得的信息；位置状态，包括关于触笔相对于设备(例如，设备100)的位置(例如，位置、取向、倾斜角、滚转和/或距离，如图5A和图5B所示)的信息；以及关于触笔位置的位置信息(例如，由GPS模块435确定)。
操作系统426(例如，iOS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、电源管理等)的各种软件部件和/或驱动器，并且有利于各种硬件和软件部件之间的通信。
通信模块428任选地促进通过一个或多个外部端口424与其他设备进行通信，并且还包括用于处理由RF电路408和/或外部端口424所接收的数据的各种软件部件。外部端口424(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如，互联网、无线 LAN等)进行耦接。在一些实施方案中，外部端口为与Apple Inc.(Cupertino,California)的一些
Figure GDA0002520029170000451
iPod
Figure GDA0002520029170000452
和
Figure GDA0002520029170000453
设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。
接触/运动模块430任选地检测与触笔203和触笔203的其他触敏设备(例如，触笔203的按钮或其他触敏部件)的接触。接触/运动模块430包括用于执行与接触的检测(例如，检测触笔的尖端与触敏显示器诸如设备 100的触摸屏112或与另一表面诸如桌面的接触)相关的各种操作的软件部件，该各种操作诸如确定是否已发生接触(例如，检测触按事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪(例如，在设备100的触摸屏112上)的移动，以及确定接触是否已停止(例如，检测抬离事件或者接触中断)。在一些实施方案中，接触/运动模块430从I/O子系统406接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的变化)，接触点的移动由一系列接触数据表示。如上所述，在一些实施方案中，与接触的检测相关的这些操作中的一个或多个操作由使用接触/运动模块130的设备(除了或代替使用接触/运动模块430的触笔)执行。
接触/运动模块430任选地检测由触笔203所作的手势输入。利用触笔 203所作的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、定时和/或强度)。因此，任选地通过检测特定的接触模式来检测手势。例如，检测单次轻击手势包括检测触按事件，然后在与触按事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测抬离事件。又如，检测轻扫手势包括检测触按事件，然后检测一个或多个触笔拖动事件，并且随后检测抬离事件。如上所述，在一些实施方案中，由使用接触/运动模块130的设备(除了或代替使用接触/运动模块430的触笔)来执行手势检测。
位置模块431结合加速度计467、陀螺仪468和/或磁力仪469任选地检测关于触笔的位置信息，诸如在特定参考系中触笔的姿态(滚转、仰俯和/或偏航)。与加速度计467、陀螺仪468和/或磁力仪469结合的位置模块431任选地检测触笔移动手势，诸如触笔的轻弹、轻击和滚转。位置模块431包括用于执行与检测触笔位置以及检测在特定参考系中的触笔的位置的变化相关的各种操作的软件部件。在一些实施方案中，位置模块431 检测触笔相对于设备的位置状态，并检测触笔相对于设备的位置状态的变化。如上所述，在一些实施方案中，设备100或300使用位置模块131来确定触笔相对于设备的位置状态以及触笔的位置状态的变化(除了或代替使用位置模块431的触笔)。
触觉反馈模块433包括用于生成指令的各种软件部件，该指令由一个或多个触觉输出发生器463使用，以便响应于用户与触笔203的交互而在触笔203上的一个或多个位置处产生触觉输出。
GPS模块435确定触笔的位置并提供在各种应用程序中使用的这种信息(例如，提供至提供基于位置的服务的应用程序，诸如用于寻找缺失的设备和/或附件的应用程序)。
上述模块和应用程序中的每个模块和应用程序对应于用于执行上述一种或多种功能以及在该专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器402任选地存储上述模块和数据结构的子集。此外，存储器402 任选地存储上面未描述的附加模块和数据结构。
图5A-5B示出了根据一些实施方案的触笔203相对于触敏表面(例如，设备100的触摸屏112)的位置状态。在一些实施方案中，触笔203的位置状态对应于(或指示)：触笔的尖端(或其他代表性部分)在触敏表面上的投影的位置(例如，图5A中的(x,y)位置504)、触笔相对于触敏表面的取向(例如，图5A中的取向506)、触笔相对于触敏表面的倾斜角 (例如，图5B中的倾斜角512)、和/或触笔相对于触敏表面的距离(例如，图5B中的距离514)。在一些实施方案中，触笔203的位置状态对应于(或指示)触笔的俯仰、偏转和/或滚转(例如，触笔相对于特定参考系诸如触敏表面(例如，触摸屏112)或地面的姿态)。在一些实施方案中，该位置状态包括一组位置参数(例如，一个或多个位置参数)。在一些实施方案中，根据从触笔203发送到电子设备(例如，设备100)的一个或多个测量来检测位置状态。例如，触笔测量触笔的倾斜角(例如，图5B中的倾斜角512)和/或取向(例如，图5A中的取向506)并将测量发送到设备 100。在一些实施方案中，代替根据来自触笔203的一个或多个测量所检测的位置状态或与其结合，根据来自触笔中的一个或多个电极的原始输出来检测由触敏表面(例如，设备100的触摸屏112)所感测的位置状态。例如，触敏表面从触笔中的一个或多个电极接收原始输出，并且基于原始输出(任选地，结合由触笔基于触笔所生成的传感器测量而提供的位置状态信息)来计算触笔的倾斜角和/或取向。
图5A示出了根据一些实施方案的从触敏表面正上方的视点相对于触敏表面(例如，设备100的触摸屏112)的触笔203。在图5A中，z轴594 指向页面外(即，在正交于触摸屏112的平面的方向上)，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且y轴592垂直于x轴590。
图5A示出了(x,y)位置504处的触笔203的尖端。在一些实施方案中，触笔203的尖端为被配置用于确定触笔到触敏表面(例如，触摸屏112)的接近度的触笔的末端。在一些实施方案中，触笔的尖端在触敏表面上的投影为正交投影。换句话说，触笔的尖端在触敏表面上的投影为从触笔尖端到触敏表面的与触敏表面的表面正交的直线端部的点(例如，(x,y)位置 504，如果触笔直接沿正交于触敏表面的路径移动，则触笔的尖端将在该位置处触摸触敏表面)。在一些实施方案中，触摸屏112左下角的(x,y)位置为位置(0,0)(例如，(0,0)位置502)，而触摸屏112上的其他(x,y)位置是相对于触摸屏112的左下角而言的。另选地，在一些实施方案中，(0,0)位置位于触摸屏112的另一位置(例如，在触摸屏112的中心)处，而其他(x,y) 位置是相对于触摸屏112的(0,0)位置而言的。
此外，图5A示出了具有取向506的触笔203。在一些实施方案中，取向506为触笔203在触摸屏112上的投影(例如，触笔203的长度的正交投影或与触笔203的两个不同点在触摸屏112上的投影之间的直线对应的直线)的取向。在一些实施方案中，取向506是相对于与触摸屏112平行的平面中的至少一个轴而言的。在一些实施方案中，取向506是相对于与触摸屏112平行的平面中的单个轴(例如，轴508，其中从轴508顺时针旋转角度在0度至360度的范围内，如图5A所示)而言的。另选地，在一些实施方案中，取向506是相对于与触摸屏112平行的平面中的一对轴(例如，如图5A所示的x轴590和y轴592，或与显示在触摸屏112上的应用程序相关的一对轴)而言的。
在一些实施方案中，在触敏显示器(例如，设备100的触摸屏112) 上显示指示(例如，指示516)。在一些实施方案中，指示516示出了在触笔触摸触敏显示器之前触笔将触摸(或标记)触敏显示器的位置。在一些实施方案中，指示516为在触敏显示器上绘制的标记的一部分。在一些实施方案中，指示516与正在触敏显示器上绘制的标记分离，并且对应于指示标记将在触敏显示器上绘制的位置的虚拟“笔尖”或其他元件。
在一些实施方案中，根据触笔203的位置状态来显示指示516。例如，在某些情况下，指示516从(x,y)位置504(如图5A和图5B所示)移位，而在其他情况下，指示516不从(x,y)位置504移位(例如，当倾斜角 512为零度时，指示516被显示在(x,y)位置504处或附近。在一些实施方案中，根据触笔的位置状态以变化的颜色、尺寸(或半径或面积)、不透明度、和/或其他特征来显示指示516。在一些实施方案中，所显示的指示应考虑到触敏显示器上的玻璃层的厚度，以便将指示维持在触敏显示器的“像素上”，而不是将指示显示在覆盖像素的“玻璃上”。
图5B示出了根据一些实施方案的从触敏表面的侧视点相对于触敏表面 (例如，设备100的触摸屏112)的触笔203。在图5B中，z轴594指向正交于触摸屏112的平面的方向，x轴590平行于触摸屏112的第一边缘(例如，长度)，y轴592平行于触摸屏112的第二边缘(例如，宽度)，并且 y轴592垂直于x轴590。
图5B示出了具有倾斜角512的触笔203。在一些实施方案中，倾斜角 512为相对于触敏表面的表面的法线(例如，法线510)(也被简称为触敏表面的法线)的角度。如图5B所示，当触笔垂直/正交于触敏表面时(例如当触笔203平行于法线510时)倾斜角512为零，并且当触笔倾斜得更接近平行于触敏表面时该倾斜角增加。
此外，图5B示出了触笔203相对于触敏表面的距离514。在一些实施方案中，距离514为在正交于触敏表面的方向上从触笔203的尖端到触敏表面的距离。例如，在图5B中，距离514为从触笔203的尖端到(x,y)位置 504的距离。
尽管本文使用术语“x轴”、“y轴”和“z轴”来说明特定图中的某些方向，但是应当理解，这些术语不是指绝对方向。换句话说，“x轴”可为任何相应的轴，并且“y轴”可为与x轴不同的特定轴。通常，x轴垂直于y轴。类似地，“z轴”不同于“x轴”和“y轴”，并且通常垂直于“x轴”和“y轴”。
此外，图5B示出了滚转518，即围绕触笔203的长度(长轴)的旋转。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面 (“UI”)的实施方案。
图6A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面600包括以下元件或者其子集或超集：
·一个或多个无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信号强度指示符602；
·时间604；
·蓝牙指示符605；
·电池状态指示符606；
·具有常用应用程序的图标的托盘608，常用应用程序图标诸如：
○电话模块138的被标记为“电话”的图标616，该图标任选地包括未接来电或语音留言的数量的指示器614；
○电子邮件客户端模块140的被标记为“邮件”的图标618，该图标任选地包括未读电子邮件的数量的指示符610；
○浏览器模块147的被标记为“浏览器”的图标620；和
○视频和音乐播放器模块152(也被称为
Figure GDA0002520029170000501
(Apple Inc.的商标)模块152)的被标记为“iPod”的图标622；以及
·其他应用程序的图标，诸如：
○IM模块141的被标记为“消息”的图标624；
○日历模块148的被标记为“日历”的图标626；
○图像管理模块144的被标记为“相片”的图标628；
○相机模块143的被标记为“相机”的图标630；
○视频编辑模块155的被标记为“视频编辑”的图标632；
○股市桌面小程序149-2的被标记为“股市”的图标634；
○地图模块154的被标记为“地图”的图标636；
○天气桌面小程序149-1的被标记为“天气”的图标638；
○闹钟桌面小程序149-4的被标记为“时钟”的图标640；
○健身支持模块142的被标记为“健身支持”的图标642；
○记事本模块153的被标记为“记事本”的图标644；和
○设置应用程序或模块的图标646，该图标提供对设备100及其各种应用程序136的设置的访问；
应当指出的是，图6A中示出的图标标签仅为示例性的。例如，在一些实施方案中，视频和音乐播放器模块152的图标622被标记为“音乐”或“音乐播放器”。其他标签任选地用于各种应用程序图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触摸板355)的设备(例如，图3中的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面651上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器359。
图6B示出了具有与显示器650分开的触敏表面651(例如，图3中的平板或触摸板355)的设备(例如，图3中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的示例中的许多示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图6B中所示。在一些实施方案中，触敏表面(例如，图6B中的651)具有与显示器(例如，650)上的主轴(例如，图6B中的653)对应的主轴(例如，图6B中的652)。根据这些实施方案，设备检测与显示器上的相应位置对应的位置处的与触敏表面651的接触(例如，图6B中的660和662)(例如，在图6B中，660对应于668 并且662对应于670)。这样，在触敏表面(例如，图6B中的651)与多功能设备的显示器(例如，图6B中的650)分开时，由设备在触敏表面上检测到的用户输入(例如，接触660和662及其移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、手指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入 (例如，基于鼠标的输入或触笔输入)代替。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)来代替。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，而不是对接触的检测，以及之后的停止检测接触)来代替。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与其进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素 (例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触摸板355或图6B中的触敏表面651)上检测到输入(例如，按压输入)时，该特定用户界面元素根据检测到的输入被调节。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图6A中的触摸屏)的一些具体实施中，在触摸屏上所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触进行的按压输入) 时，该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或接触在触摸屏显示器上的移动(例如，通过使用制表键或箭头键来将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据用户界面的不同区域之间的焦点移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常为由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器 (例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备的显示器上示出的其他用户界面元素)。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的代替物 (代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触面积的尺寸和/或其变化、接触附近的触敏表面的电容和/或其变化、和/或接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代测量直接用于确定是否已超过强度阈值(例如，强度阈值以与替代测量对应的单位描述)。在一些具体实施中，将接触力或压力的替代测量转换为预估力或压力，并且使用预估力或压力来确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130和/或430使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些实施方案中，向设备的用户提供用于调节这组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特性强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬起之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05 秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采样的预定义数量的强度样本或一组强度样本。接触的特性强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度为接触的强度在时间上的平均值时)。在一些实施方案中，将特性强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在本示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作 (例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并到达结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该示例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，该平滑化算法任选地包括以下各项中的一者或多者：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以用于确定特征强度。
本文所述的用户界面图任选地包括各种强度图，这些强度图示出了触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值 IT0、轻按压强度阈值ITL、深按压强度阈值ITD(例如，其至少最初高于 IL)和/或一个或多个其他强度阈值(例如，比IL更低的强度阈值IH))的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标的按钮或触控板相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有说明，否则这些强度阈值在不同组的用户界面附图之间为一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外的深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素而变化，诸如用户设置、接触运动、输入定时、应用程序运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等。示例性因素在美国专利申请序列号 No.14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，IT0为零。在一些实施方案中，IT0大于零。在一些图示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些图示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触，而无需指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值为按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触的强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触的强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触的强度增大或接触的强度减小)来执行相应操作。
为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，这些响应的触发也取决于满足基于时间的标准(例如，已经经过了达到第一强度阈值和达到第二强度阈值之间的延迟时间)。
用户界面和相关联的过程
在触笔触摸触敏表面之前显示并更新与触笔的位置状态对应的指示的方法
一些电子设备使用与该设备相关联的触笔来向该设备的触敏表面提供输入的附加方法。例如，一些蜂窝电话、膝上型电脑和平板电脑具有从触笔接收输入的能力。然而，由于各种原因(例如，触笔尖端的厚度、设备上玻璃的厚度等)，用户可能发现在触笔触摸触敏表面之前难以精确地知道将进行触笔交互(例如，作出标记)的位置。下面的实施方案通过在触笔触摸触敏显示器之前显示和更新与触笔的位置状态(例如，触笔相对于设备的触敏显示器的距离、倾斜角和/或取向)对应的指示来解决该问题。
图7A-7J示出了根据一些实施方案的用于显示和更新与触笔的位置状态对应的指示的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图8A-8D中的过程。尽管将参考触摸屏显示器(其中例如在触摸屏112上组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 7A-7J和图8A-8D所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650上显示图7A-7J所示的用户界面时在触敏表面651上(或附近)检测到图7A-7J中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似操作。
图7A-7J示出了根据一些实施方案的用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。虽然图7A示出了具有设备100的附加细节(例如，扬声器111、光学传感器164、接近传感器166等)的触摸屏 112，但是为了清楚起见，图7B-7J仅示出了设备100的触摸屏112，而没有示出设备100的其他细节。此外，虽然图7A示出了从触敏表面正上方的视点(例如，设备100的触摸屏112)观察的示例，但是图7B-7J示出了从如下两个视点观察的示例：触敏表面正上方的视点(例如，设备100的触摸屏112)和触敏表面的侧视点。
图7A示出了显示与触笔(例如，触笔203)的位置状态对应的指示 (例如，指示716-a)的示例。在该示例中，触笔203具有位置状态，该位置状态具有触笔203相对于触摸屏112的取向(例如，取向706-a)、以及触笔203的尖端在触摸屏112上的投影的位置(例如，(x,y)位置704-a)。如图7A所示，在触笔203触摸触摸屏112之前，当触笔203被定位成具有取向706-a(例如，相对于轴508的顺时针旋转角度为约315度)和在(x,y) 位置704-a处的尖端投影时，在触摸屏112上显示指示716-a，以示出触笔 203将触摸(或标记)触摸屏112的位置。在一些实施方案中，当触笔以第一取向定位时，该指示相对于(x,y)位置704-a在触摸屏112上在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时该指示相对于(x,y) 位置704-a在触摸屏112上在第二方向上移位。例如，在图5A中，当触笔 203被定位成具有取向506(例如，相对于轴508的顺时针旋转角度为约45 度)时，指示516相对于(x,y)位置504沿西南方向移位，并且在图7A中，当触笔203被定位成具有取向706-a(例如，相对于轴508的顺时针旋转角度为约315度)时，指示716-a相对于(x,y)位置704-a沿东南方向移位。
图7B-7E示出了改变触笔(例如，触笔203)相对于触敏显示器(例如，触摸屏112)的距离(例如，距离714)的示例，并且响应于该距离的变化而更新所显示的指示(例如，指示716)。在图7B-7E中，当触笔移动靠近触敏显示器时，触笔的取向(例如，取向706-b)、触笔的尖端的 (x,y)位置(例如，(x,y)位置704-b)和触笔的倾斜角(例如，倾斜角712- a)保持恒定，而触笔相对于触敏显示器的距离改变(例如，从距离714-a 到距离714-b、到距离714-c、到距离714-d)。此外，当触笔203移动靠近触摸屏112时，在触摸屏112上更新指示(例如，从指示716-b到指示716- c、到指示716-d、到指示716-e)。如在该示例中所示，在一些实施方案中，当触笔203移动靠近触摸屏112时，指示改变不透明度(例如，具有增大的不透明度)，改变尺寸(或半径或面积)(例如，具有减小的尺寸)，和/或改变颜色(例如，具有变深的颜色)。
图7E-7G示出了改变触笔(例如，触笔203)相对于触敏显示器(例如，触摸屏112)的倾斜角(例如，倾斜角712)的示例，并且响应于该倾斜角的变化而更新所显示的指示(例如，指示716)。在图7E-7G中，当触笔倾斜得更接近平行于设备100时，触笔的取向(例如，取向706-b)、触笔的尖端的(x,y)位置(例如，(x,y)位置704-b)和触笔相对于触敏显示器的距离(例如，距离714-d)保持恒定，而触笔的倾斜角改变(例如，从倾斜角712-a到倾斜角712-b、到倾斜角712-c)。如在该示例中所示，当倾斜角增加时，触笔的尖端的(x,y)位置与指示之间距离的量值增加，直到达到预定义的最大距离。在该示例中，指示716-f(在图7F中)处于预定义的最大距离处，因此尽管触笔203的倾斜角从倾斜角712-b(在图7F中) 改变为倾斜角712-c(在图7G中)，指示716-f也保持在相同的位置处。
图7H示出了当触笔(例如，触笔203)超过距离触敏显示器的表面的预定义距离时停止在触敏显示器(例如，触摸屏112)上显示指示的示例。与图7B中当触笔203的尖端低于阈值710时显示指示(例如，指示716- b)的情况相比，当触笔203的尖端高于阈值710(例如，距离714-e)时停止在触摸屏112上显示指示，如图7H所示。
图7I示出了当触笔(例如，触笔203)与触敏显示器(例如触摸屏 112)的表面物理接触时显示指示(例如，指示716-g)的示例。在一些实施方案中，当触笔203与触摸屏112物理接触时，触笔203距离触摸屏112 的距离(例如距离714-f)被计算为大于零(例如，考虑到触摸屏112上玻璃层的厚度)。在一些实施方案中，即使当触笔与触敏显示器的表面物理接触，也响应于取向的变化来更新该指示(如以上参照图7A所述)，并且响应于倾斜角的变化而更新该指示(如以上参照图7E-7G所述)，为了简洁起见，这里不再重复细节。
在一些实施方案中，当触笔203与触摸屏112物理接触时，显示指示和标记。在一些实施方案中，该指示对应于指示标记将在触敏显示器上绘制的位置的虚拟“笔尖”或其他元件。在一些实施方案中，该标记为触敏显示器上的点、直线、笔触等。在一些实施方案中，指示对应于标记的端部(末端)。例如，当被绘制的标记为一条直线时，该指示对应于(或相邻于)被绘制的直线的一端。在一些实施方案中，如果当触笔与触敏显示器的表面物理接触时显示该指示，则该指示的形状(以及任选地颜色)对应于由触笔所模拟的虚拟绘图工具的尖端的形状(以及任选地颜色)。例如，如果触笔被用作虚拟黄色荧光笔，则该指示为黄色矩形(对应于荧光笔的凿尖)，并且当触笔移动穿过触敏显示器的表面时(例如，通过沿触笔的路径传播指示的尺寸/形状/颜色)形成标记。如果触笔被用作虚拟黄色荧光笔，并且触笔在触敏显示器上的一点处进行触按并且然后抬离而不移动穿过触敏显示器，则黄色矩形标记(对应于为荧光笔的凿尖的指示)可在触敏显示器上的触笔触按的点处被显示。
图7J示出了当触笔(例如，触笔203)与触敏显示器(例如，触摸屏 112)的表面物理接触时显示标记(例如，标记718)并停止显示指示的示例。
图8A-8D为示出根据一些实施方案的显示并更新与触笔的位置状态对应的指示的方法800的流程图。方法800在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器 (也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器，该触笔包括代表性部分(例如，触笔的尖端)。在一些实施方案中，触笔上的除了尖端之外的部分用于估计尖端的位置。方法800中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法800提供了一种直观的方式来显示并更新与触笔的位置状态对应的指示。当使用触笔与电子设备交互时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
该设备检测(802)触笔的位置状态，其中触笔的位置状态对应于(或指示)触笔相对于触敏显示器的距离、触笔相对于触敏显示器的倾斜角、和/ 或触笔相对于触敏显示器的取向。例如，图7B示出了具有与距离714-a、倾斜角712-a、和取向706-b对应的位置状态的触笔203。在一些实施方案中，该位置状态包括一组位置参数(例如，一个或多个位置参数)。在一些实施方案中，根据从触笔发送到电子设备的一个或多个测量来检测位置状态。例如，触笔测量触笔的倾斜角和/或取向，并将测量发送到电子设备。另选地，在一些实施方案中，根据由触敏显示器感测的来自触笔中的一个或多个电极的原始输出来检测位置状态。例如，触敏显示器从触笔中的一个或多个电极接收原始输出，并基于该原始输出计算触笔的倾斜角和/ 或取向。
在一些实施方案中，触笔的倾斜角为(804)相对于触敏显示器的表面的法线(也被简称为触敏显示器的法线)的角度，并且触笔的取向为触笔在触敏显示器上的投影(例如，触笔的长度的正交投影或与触笔的两个不同的点在触敏显示器上的投影之间的直线对应的直线)相对于平行于触敏显示器的平面中的至少一个轴的取向。例如，在图5B中，触笔203的倾斜角 512为相对于触摸屏112的法线510的角度，并且在图5A中，触笔203的取向506为触笔203在触摸屏112上的投影相对于轴508的取向。在一些实施方案中，触笔在触敏显示器上的投影的取向是相对于单个轴(例如，单个轴，其中从该轴顺时针旋转角度在0度到360度的范围内)诸如图5A中的轴508而言的。另选地，在一些实施方案中，触笔在触敏显示器上的投影的取向是相对于一对轴(例如，x轴和y轴诸如图5A中的x轴590和y 轴592，或与在触敏显示器上所显示的应用程序相关的一对轴)而言的。
在一些实施方案中，当触笔与触敏显示器的表面物理接触时，触笔距触敏显示器的距离被计算为大于零(806)(例如，考虑到触敏显示器(例如触摸屏112)上的玻璃层的厚度，以便将指示维持在显示器的“像素上”，而不是将指示显示在覆盖像素的“玻璃上”)。在一些实施方案中，当触笔与触敏显示器的表面发生物理接触时，触笔距触敏显示器的距离被定义为大于零。例如，在图7I中，当触笔203与触摸屏112的表面物理接触时，距离714-f被计算(或定义)为大于零。
在一些实施方案中，位置状态包括(808)触笔的尖端(或其他代表性部分)在触敏显示器上的投影的位置。在一些实施方案中，触笔的尖端为被配置用于确定触笔到触敏显示器的接近度的触笔的末端。在一些实施方案中，触笔的尖端在触敏显示器上的投影为正交投影。换句话讲，触笔的尖端在触敏显示器上的投影为从触笔尖端到触敏显示器的正交于触敏显示器的表面的直线的一端处的点。例如，在图5B中，(x,y)位置504为触笔203 的尖端在触摸屏112上的投影，因为该投影为如果触笔203直接沿正交于触摸屏112的路径(例如，沿法线510的路径)移动，则触笔203的尖端将接触触摸屏112的点。
在一些实施方案中，可通过电子设备(例如，通过设备的触敏显示器中的机构)检测的触笔的第一电极靠近触笔的尖端(810)，可通过电子设备 (例如，通过设备的触敏显示器中的机构)检测的触笔的第二电极从第一电极移位预定义的距离。在一些实施方案中，触笔的第一电极在触笔的尖端处(或附近)，并且触笔的第二电极为从第一电极移位预定义距离的环。在一些实施方案中，如图5A-5B所示的，触笔203具有触笔203的尖端处(或附近)的第一电极，并且第二电极为从第一电极移位预定义距离的环，其中两个电极可通过设备100(例如，通过设备100的触摸屏112中的机构)被检测到。
设备确定(812)触敏显示器(例如，触摸屏112)上的与触笔(例如，触笔203)的所检测到的位置状态对应的位置。使用图5A-5B作为示例，触摸屏112上的与触笔203的所检测到的位置状态对应的位置由取向506、 (x,y)位置504、倾斜角512、和/或距离514来确定。
根据触笔(例如，触笔203)的位置状态，在触笔触摸触敏显示器之前，设备在触敏显示器(例如，触摸屏112)上显示(814)对所确定的位置的指示。在一些实施方案中，所显示的指示示出了在触笔触摸触敏显示器之前触笔将触摸/标记触敏显示器的位置。例如，在图7B中，在触笔203 触摸触摸屏112之前(因为触笔203距离触摸屏112仍为距离714-a)，在触摸屏112上显示指示716-b。在一些实施方案中，所显示的指示考虑到触敏显示器的玻璃的厚度。
在一些实施方案中，显示触敏显示器上的指示包括(816)根据触敏显示器在所确定的位置处的背景颜色来确定指示的颜色。在一些实施方案中，根据触敏显示器在所确定的位置处的背景颜色来确定指示的颜色包括确定与触敏显示器在所确定的位置处的背景颜色形成对比的指示的颜色。例如，在一些实施方案中，如果触敏显示器的背景颜色为白色，则所确定的指示的颜色为灰色或黑色或与白色形成对比的其他颜色。例如，在图7B 中，在触摸屏112的背景颜色为白色的情况下，指示716-b的颜色为灰色。又如，在一些实施方案中，如果触敏显示器的背景颜色为黑色，则所确定的指示的颜色为白色或黄色或与黑色形成对比的其他颜色。
在触笔触摸触敏显示器(例如，触摸屏112)之前，该设备检测(818) 触笔(例如，触笔203)的距离、倾斜角、和/或取向的变化。例如，图7B- 7E示出了在触笔203触摸触摸屏112之前的触笔203距触摸屏112的距离的变化(例如，从距离714-a改变为距离714-b、改变为距离714-c、再改变为距离714-d)。又如，图7E-7G示出了在触笔203触摸触摸屏112之前的触笔203的倾斜角的变化(例如，从倾斜角712-a改变为倾斜角712-b、再改变为倾斜角712-c)。再如，图5A和图7A示出了在触笔203触摸触摸屏112之前，触笔203的取向的变化(例如，从取向506改变为取向 706-a)。
响应于检测到变化，设备更新(820)触敏显示器(例如，触摸屏112) 上的所显示的指示。例如，图7B-7E示出了响应于检测到触笔203距触摸屏112的距离的变化而更新所显示的指示；当距离从距离714-a分别改变为距离714-b、改变为距离714-c、再改变为距离714时，在触摸屏112上将指示从指示716-b更新为指示716-c、更新为指示716-d、再更新为指示716-e。又如，图7E-7F示出了响应于检测到触笔203的倾斜角的变化而更新所显示的指示；随着倾斜角从倾斜角712-a改变为倾斜角712-b时，在触摸屏112上将指示从指示716-e更新为指示716-f。再如，图5A和图7A示出了响应于检测到触笔203的取向的变化而更新所显示的指示；随着取向从取向506改变为取向706-a，在触摸屏112上将指示从指示516更新为指示716-a。
在一些实施方案中，当触笔的(尖端或其他代表性部分)距离触敏显示器(沿正交于显示器的方向)第一距离时，指示利用第一颜色被显示，当触笔距触敏显示器(沿正交于显示器的方向)不同于第一距离的第二距离时，指示利用不同于第一颜色的第二颜色被显示(822)。在一些实施方案中，当距离减小时，指示的颜色变深。例如，在图7B中，当触笔203的尖端距离触摸屏112为距离714-a时，指示(例如，指示716-b)以浅灰色被显示，而在图7D中，当触笔203的尖端距离触摸屏112为距离714-c(例如，更靠近触摸屏112)时，指示(例如，指示716-d)以较深的灰色被显示。
在一些实施方案中，当触笔的(尖端或其他代表性部分)距离触敏显示器(沿正交于该显示器的方向)第一距离时，指示具有第一尺寸(例如，半径或面积)，并且当触笔距触敏显示器(沿正交于该显示器的方向)不同于第一距离的第二距离时，指示具有不同于第一尺寸的第二尺寸 (824)。在一些实施方案中，当距离减小时，指示的尺寸变小。例如，在图7B中，当触笔203的尖端距离触摸屏112为距离714-a时，指示(例如，指示716-b)为大圆圈，而在图7D中，当触笔203的尖端距离触摸屏112 为距离714-c(例如，更靠近触摸屏112)时，指示(指示716-d)为较小的圆圈。
在一些实施方案中，当触笔的(尖端或其他代表性部分)距离触敏显示器(沿正交于该显示器的方向)第一距离时，指示具有第一不透明度，并且当触笔距触敏显示器(沿正交于该显示器的方向)不同于第一距离的第二距离时，指示具有不同于第一不透明度的第二不透明度(826)。在一些实施方案中，当距离减小时，指示的不透明度增大。例如，在图7B中，当触笔203的尖端距离触摸屏112为距离714-a时，指示(例如，指示716- b)不透明度较低，而在图7D中，当触笔203的尖端距离触摸屏112为距离714-c(例如，更靠近触摸屏112)时，指示(指示716-d)不透明度较高。
在一些实施方案中，当触笔以第一取向定位时，该指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的投影在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时，指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的投影在不同于第一方向的第二方向上移位(828)。在一些实施方案中，指示 (例如，图5A中的指示516)相对于触笔尖端的投影(例如，图5A中的(x,y)位置504)的方向随着触笔(例如，触笔203)的取向的改变而改变。例如，在图5A中，当触笔203被定位成具有取向506时，指示516相对于 (x,y)位置504在第一方向上移位(例如，指示516位于(x,y)位置504的西南方向，或者指示516相对于轴508从(x,y)位置504沿顺时针旋转225度角)，并且在图7A中，当触笔203被定位成具有取向706-a时，指示716- a相对于(x,y)位置704-a在第二方向上移位(例如，指示716位于(x,y)位置 704-a的东南方向，或者说指示716-a相对于轴508从(x,y)位置704-a沿顺时针旋转135度角)。
在一些实施方案中，当触笔具有第一倾斜角时，指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的正交投影在平行于触敏显示器的平面的方向上移位第一距离，并且当触笔具有不同于第一倾斜角的第二倾斜角时，指示在触敏显示器上相对于触笔的尖端在触敏显示器上的正交投影在平行于触敏显示器的平面的方向上移位不同于第一距离的第二距离(830)。在一些实施方案中，该方法包括将指示从触笔的尖端在触敏显示器上的正交投影(例如，图5B中的(x,y)位置504，如果触笔直接沿正交于触敏显示器的路径(例如，沿着法线510)移动，则触笔的尖端将在该位置处触摸触敏显示器)移位与触笔的倾斜角对应的距离。例如，在图7E中，当触笔203具有第一倾斜角(例如，倾斜角712-a)时，指示716-e距(x,y)位置704-b第一距离，并且在图7F中，当触笔203具有第二倾斜角(例如，倾斜角712-b)时，指示716-f距(x,y)位置704-b第二距离。在一些实施方案中，随着触笔的倾斜角增加，指示从尖端的投影移位更大的距离。例如，当触笔203被定位成具有712-a的倾斜角(如图7E 所示)时，指示716-e相对于(x,y)位置704-b移位较短的距离，并且当触笔 203被定位成具有712-b的增加的倾斜角(如图7F所示)时，指示716-f相对于(x,y)位置704-b移位更大的距离。在一些实施方案中，距触笔尖端的正交投影的相应距离大于零，但小于沿触笔的长度进行投影的直线与触摸屏相交的点和正交投影位置504之间的距离，如图5B所示。
在一些实施方案中，相应距离不超过(832)平行于触敏显示器的平面的方向上的预定义的最大距离(例如，在平行于触敏显示器的(平面)的方向上的指示和投影之间)。例如，如图7E-7G所示，第一距离和第二距离 (如上文相对于操作830所述的)不超过预定义的最大距离。在一些实施方案中，如果指示已位于预定义的最大距离处，则触笔的倾斜角的进一步增加不会增加相对于触笔尖端的投影的距离的量值。例如，如图7F-7G所示，虽然触笔203的倾斜角从倾斜角712-b增加到倾斜角712-c，但是指示 716-f保持不变，因为其已位于相对于(x,y)位置704-b的预定义的最大距离处。
在一些实施方案中，即使当触笔(例如，触笔203)与触敏显示器 (例如，触摸屏112)的表面接触时，操作828,830和832的细节也适用 (例如，如下文相对于操作838和相对于方法1100所述的)。例如，在一些实施方案中，当触笔203与触摸屏112的表面接触时，指示(例如，图 5A中的指示516)相对于触笔尖端的投影(例如，图5A中的(x,y)位置 504)的方向随着触笔(例如，触笔203)的取向的变化而变化，如上文相对于操作828所述的。又如，在一些实施方案中，当触笔203与触摸屏112 的表面接触时，指示(例如，图5A中的指示516)与触笔尖端的投影(例如，图5A中的(x,y)位置504)之间的距离的量值随着触笔(例如，触笔203)的倾斜角的变化而变化，如上文相对于操作830所述的。再如，在一些实施方案中，当触笔203与触摸屏112的表面接触时，指示(例如，图 5A中的指示516)与触笔尖端的投影(例如，图5A中的(x,y)位置504)之间的距离不超过预定义的最大距离，如上文相对于操作832所述的。
在一些实施方案中，设备检测(834)触笔(例如，触笔的尖端)远离触敏显示器的表面的移动，并且响应于检测到触笔远离触敏显示器的表面的移动：根据确定触笔距触敏显示器的表面小于第一距离，在维持对指示的显示时，该设备基于触笔的移动来更新触敏显示器上的指示的外观；并且根据确定触笔距触敏显示器的表面大于第二距离，该设备停止显示触敏显示器上的指示。例如，如图7B-7G所示的，当触笔203的尖端距触摸屏 112的表面小于第一距离(例如，阈值710)时，该设备更新触摸屏112上的指示的外观(例如，随着触笔203移动靠近触摸屏112，该指示变得颜色更深、更不透明和/或尺寸更小)；此外，如图7H所示，当触笔203的尖端距触摸屏112的表面超过第二距离(例如阈值710)时，该设备停止在触摸屏112上显示指示。在一些实施方案中，第一距离与第二距离相同(例如，第一距离和第二距离均为阈值710，如图7B和图7H所示的)。在一些实施方案中，第一距离小于第二距离。
在一些实施方案中，根据确定触笔与触敏显示器的表面物理接触 (836)：设备根据位置状态来显示触敏显示器上的标记；并且设备停止显示触敏显示器上的指示。例如，如图7J所示，当触笔203与触摸屏112的表面物理接触时，该设备显示标记718并停止在触摸屏112上显示指示。
在一些实施方案中，根据确定触笔的代表性部分(例如，触笔的尖端)与触敏显示器的表面物理接触(838)：该设备根据位置状态来显示触敏显示器上的指示，其中指示在触敏显示器上的位置被约束，使得在平行于触敏显示器的平面的方向上指示和触笔的代表性部分之间的距离不超过预定义的最大距离。例如，当触笔尖端与触敏显示器的表面物理接触时，显示触敏显示器上的指示，该指示具有在平行于触敏显示器的平面的方向上在该指示与尖端之间的距离的截段。如图7I所示，例如，当触笔203与触摸屏112的表面物理接触时，该设备显示指示716-g，其中指示716-g和 (x,y)位置704-b之间的距离不超过预定义的最大距离(例如，不管触笔203 的倾斜角是否增加)。
在一些实施方案中，在触笔触摸触敏显示器的表面(或者到达触敏显示器的预定义距离内)之前，该设备通过更新指示并且放弃修改在触敏显示器上所显示的应用程序的内容来对触笔的所检测到的移动进行响应 (840)；并且在触笔正在触摸触敏显示器的表面(或者到达触敏显示器的预定义距离内)时，该设备通过修改在触敏显示器上所显示的应用程序的内容来对触笔的所检测到的移动进行响应。在一些实施方案中，当触笔触摸触敏显示器的表面时，该设备通过更新指示来对触笔的所检测到的移动进行响应。在一些实施方案中，当触笔触摸触敏显示器的表面时，设备停止显示指示(例如，如图7J所示)。在一些实施方案中，修改所显示的应用程序的内容包括修改由应用程序所显示的任何工具和/或修改应用程序的其他内容。
在一些实施方案中，响应于检测到触笔与触敏显示器的表面物理接触，该设备将(所显示的)指示从第一状态平滑地更改为(842)第二状态。在一些实施方案中，响应于检测到触笔与触敏显示器的表面物理接触，指示从第一状态更改为第二状态，以指示触笔是否与所显示的内容进行交互。在一些实施方案中，第一状态为预览模式(例如，其中内容不被触笔的移动修改的非交互模式)，并且第二状态为交互模式(例如，其中内容被触笔的移动修改的模式)。任选地，在一些实施方案中，第二状态中的指示具有比第一状态中的指示更大的不透明度和/或更小的半径。
应当理解，对图8A至-图8D中的操作进行描述的特定顺序仅为示例性的，并非旨在指示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图8A-8D所述的方法800。例如，以上参考方法800所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图9示出根据各种所述实施方案的原理进行配置的电子设备900的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图9中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图9所示，电子设备900包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元902；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元906；以及与触敏显示器单元 902和一个或多个传感器单元906耦接在一起的处理单元908。在一些实施方案中，处理单元908包括检测单元910、位置确定单元912、指示显示单元914、改变检测单元916、更新单元918、标记显示单元920、以及内容修改单元922。
处理单元908被配置为：检测触笔的位置状态(例如，利用检测单元 910)，其中触笔的位置状态对应于触笔相对于触敏显示器单元902的距离、触笔相对于触敏显示器单元902的倾斜角、和/或触笔相对于触敏显示器单元902的取向；确定触敏显示器单元902上的与触笔的所检测到的位置状态对应的位置(例如，利用位置确定单元912)；根据触笔的位置状态，在触笔触摸触敏显示器单元902之前，在触敏显示器单元902上启用对所确定的位置的指示(例如，利用指示显示单元914)；在触笔触摸触敏显示器单元902之前，检测触笔的距离、倾斜角、和/或取向的变化(例如，利用改变检测单元916)；并且响应于检测到该变化，更新触敏显示器单元902上的所显示的指示(例如，利用更新单元918)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图8A-8D所述的操作任选地由图1A-1B或图9中所描绘的部件来实现。例如，检测操作802、位置确定操作812、显示操作814、改变检测操作818、和更新操作820任选地由事件分类器170、事件识别器180 和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190 任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器 178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
当触笔触摸触敏表面时显示并更新与触笔的位置状态对应的指示
一些电子设备使用与该设备相关联的触笔来向该设备的触敏显示器提供输入的附加方法。例如，一些蜂窝电话、膝上型电脑和平板电脑具有从触笔接收输入的能力。然而，由于各种原因(例如，触笔尖端的厚度、设备上的玻璃的厚度等)，用户可能发现难以精确地知道将进行触笔交互 (例如，作出标记)的位置。下面的实施方案通过显示并更新与触笔的位置状态(例如，触笔相对于设备的触敏显示器的距离、倾斜角、和/或取向)对应的指示来解决该问题。该指示显示将在触敏显示器上作出标记的位置。该指示与触笔的尖端的偏移，使得触笔不阻挡对指示的观察。该指示有助于用户更精确地放置和使用触笔。
下面，图10A-10K示出了用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。图11A-11D为示出显示并更新与触笔的位置状态对应的指示的方法的流程图。图10A-10K中的用户界面用于示出图11A-11D 中的过程。
图10A-10K示出了根据一些实施方案的用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图11A-11D中的过程。尽管将参考触摸屏显示器(其中例如在触摸屏112上组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 10A-10K和图11A-11D所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650上显示在图10A- 10K中所示的用户界面时在触敏表面651上(或附近)检测到在图10A-10K中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似的操作。
图10A-10K示出了根据一些实施方案的用于显示并更新与触笔的位置状态对应的指示的示例性用户界面。虽然图10A示出了具有设备100的附加细节(例如，扬声器111、光学传感器164、接近传感器166等)的触摸屏112，但是为了清楚起见，图10B-10K仅示出了设备100的触摸屏112，而没有示出设备100的其他细节。此外，虽然图10A示出了从触敏表面正上方的视点(例如，设备100的触摸屏112)观察的示例，但是图10B-10K 示出了从如下两个视点观察的示例：触敏表面正上方的视点(例如，设备 100的触摸屏112)和触敏表面的侧视点。
图10A示出了显示与触笔(例如，触笔203)的位置状态对应的指示 (例如，指示1016-a)的示例。在该示例中，触笔203具有一定位置状态，该位置状态具有触笔203相对于触摸屏112的取向(例如，取向1006- a)、以及触笔203的尖端在触摸屏112上的投影的位置(例如，(x,y)位置 1004-a)。如图10A所示，当触笔203被定位成具有取向1006-a(例如，相对于轴508的顺时针旋转角度为约315度)和(x,y)位置1004-a处的尖端投影时，指示1016-a被显示在触摸屏112上，以显示触笔203将触摸(或标记)触摸屏112的位置。在一些实施方案中，当触笔以第一取向定位时，该指示相对于(x,y)位置1004-a在触摸屏112上在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时该指示相对于(x,y)位置1004- a在触摸屏112上在第二方向上移位。
图10B-10C示出了改变触笔(例如，触笔203)相对于触敏显示器 (例如，触摸屏112)的取向(例如，取向1006)的示例，并且响应于该取向的变化来更新所显示的指示(例如，从显示第一位置处的指示1016-b 更新为显示第二位置处的指示1016-c)。在图10B-10C中，触笔的尖端的 (x,y)位置(例如，(x,y)位置1004-b)、触笔的倾斜角(例如，倾斜角1012-a)、以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1014-a)保持恒定，而触笔相对于触敏显示器的取向改变 (例如，从取向1006-a改变为取向1006-b)。随着触笔203的取向从取向 1006-a(例如，相对于轴508的顺时针旋转角度为约315度)改变为取向 1006-b(例如，相对于轴508的顺时针旋转角度为约45度)，在触摸屏112上更新所显示的指示(例如，从指示1016-b到指示1016-c)。
图10C-10E示出了改变触笔(例如，触笔203)相对于触敏显示器 (例如，触摸屏112)的倾斜角(例如，倾斜角1012)的示例，并且响应于该倾斜角的变化而更新所显示的指示(例如，指示1016)。在图10C- 10E中，当触笔倾斜得更接近平行于设备100时，触笔的取向(例如，取向 1006-b)、触笔的尖端的(x,y)位置(例如，(x,y)位置1004-b)和触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1014- a)保持恒定，而触笔的倾斜角改变(例如，从倾斜角1012-a到倾斜角 1012-b、到倾斜角1012-c)。如在该示例中所示，当倾斜角增加时，触笔的尖端的(x,y)位置与指示之间的距离的量值增加，直到达到预定义的最大距离。在该示例中，指示1016-d(在图10D中)处于预定义的最大距离处，因此尽管触笔203的倾斜角从倾斜角1012-b(在图10D中)改变为倾斜角1012-c(在图10E中)，指示1016-d也保持在相同的位置处。
图10F-10I示出了改变触笔(例如，触笔203)相对于触敏显示器(例如，触摸屏112)的距离(例如，距离1014)的示例，并且响应于该距离的变化而更新所显示的指示(例如，指示1016)。在一些实施方案中，该位置状态包括触笔的尖端(或其他代表性部分)在触敏显示器上的投影的位置。在一些实施方案中，触笔的尖端为被配置用于确定触笔到触敏显示器的接近度的触笔的末端。在一些实施方案中，触笔的尖端在触敏显示器上的投影为正交投影。换句话讲，触笔的尖端在触敏显示器上的投影为从触笔尖端到触敏显示器的正交于触敏显示器的表面的直线的端部处的点。例如，在图10F-10I中，(x,y)位置1004-b为触笔203的尖端在触摸屏112上的投影，因为该投影为如果触笔203直接沿正交于触摸屏112的路径(例如，沿着法线510的路径)移动，则触笔203的尖端将接触触摸屏112的点。
在图10F-10I中，当触笔移动远离触敏显示器时，触笔的取向(例如，取向1006-b)、触笔尖端的投影的(x,y)位置(例如，(x,y)位置1004- b)和触笔的倾斜角(例如，倾斜角1012-a)保持恒定，而触笔相对于触敏显示器的距离改变(例如，从距离1014-b到距离1014-c、到距离1014-d、到距离1014-e)。此外，当触笔203移动远离触摸屏112时，在触摸屏112 上更新所显示的指示(例如，从指示1016-e到指示1016-f、到指示1016- g、到指示1016-h)。如在该示例中所示，在一些实施方案中，当触笔203 移动远离触摸屏112时，指示改变不透明度(例如，具有减小的不透明度)，改变尺寸(或半径或面积)(例如，具有增大的尺寸)，和/或改变颜色(例如，具有变亮的颜色)。
图10J示出了当触笔(例如，触笔203)超过距触敏显示器的表面的预定义距离时停止在触敏显示器(例如，触摸屏112)上显示指示的示例。与图10F-10I中当触笔203的尖端低于阈值1010时显示指示(例如，分别为指示1016-e、指示1016-f、指示1016-g、指示1016-h)的情况相比，当触笔203的尖端高于阈值1010时停止在触摸屏112上显示指示，如图10J所示。
图10B-10E示出了当触笔(例如，触笔203)与触敏显示器(例如，触摸屏112)的表面物理接触时显示指示(例如，指示1016-b、指示1016- c和指示1016-d)的示例。在一些实施方案中，当触笔203与触摸屏112物理接触时，触笔203距触摸屏112的距离(例如距离1014-a)被计算为大于零(例如，考虑到触摸屏112上玻璃层的厚度)。在一些实施方案中，当触笔与触敏显示器的表面物理接触时，响应于取向的变化来更新指示 (如以上参照图10A所述)，并且响应于倾斜角的变化来更新指示(如以上参照图10C-10E所述)，为了简洁起见，这里不再重复细节。
在一些实施方案中，当触笔203与触摸屏112物理接触时，显示指示和标记。在一些实施方案中，该指示对应于指示标记将在触敏显示器上绘制的位置的虚拟“笔尖”或其他元件。在一些实施方案中，该标记为触敏显示器上的点、直线、笔画等。在一些实施方案中，指示对应于标记的端部(末端)。例如，当被绘制的标记为一条直线时，该指示对应于(或相邻于)被绘制的直线的一端。在一些实施方案中，如果当触笔与触敏显示器的表面物理接触时显示该指示，则该指示的形状(以及任选地颜色)对应于由触笔所模拟的虚拟绘图工具的尖端的形状(以及任选地颜色)。例如，如果触笔被用作虚拟黄色荧光笔，则该指示为黄色矩形(对应于荧光笔的凿尖)，并且当触笔移动穿过触敏显示器的表面时(例如，通过沿触笔的路径传播指示的尺寸/形状/颜色)形成标记。如果触笔被用作虚拟黄色荧光笔，并且触笔在触敏显示器上的一点处进行触按并且然后抬离而不移动穿过触敏显示器，则黄色矩形标记(对应于为荧光笔的凿尖的指示)可在触敏显示器上的触笔触按的点处被显示。
图10K示出了当触笔(例如，触笔203)与触敏显示器(例如，触摸屏112)的表面物理接触时，显示标记(例如，标记1018)并停止显示指示的示例。
图11A-11D为示出了根据一些实施方案的显示并更新与触笔的位置状态对应的指示的方法1100的流程图。方法1100在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器(也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器，该触笔包括尖端(或其他代表性部分)。在一些实施方案中，触笔上的除了尖端之外的部分用于估计尖端的位置。方法1100中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1100提供了一种直观的方式来显示并更新与触笔的位置状态对应的指示。该指示有助于用户更精确地放置和使用触笔。当使用触笔与电子设备交互时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
在触笔尖端(或其他代表性部分)与触敏显示器接触时该设备检测 (1102)触笔的位置状态，其中触笔的位置状态对应于(或指示)触笔尖端在触敏显示器上的位置、触笔相对于触敏显示器的倾斜角、和触笔相对于触敏显示器的取向。例如，图10C示出了具有与(x,y)位置1004-b、倾斜角 1012-a和取向1006-b对应的位置状态的触笔203。在一些实施方案中，该位置状态包括一组位置参数(例如，一个或多个位置参数)。在一些实施方案中，该位置状态是相对于触敏显示器(例如，触摸屏112)而言的。在一些实施方案中，根据从触笔发送到电子设备的一个或多个测量来检测位置状态。例如，触笔测量触笔的倾斜角和/或取向，并将测量发送到电子设备。另选地，在一些实施方案中，根据由触敏显示器感测的来自触笔中的一个或多个电极的原始输出来检测位置状态。例如，触敏显示器从触笔中的一个或多个电极接收原始输出，并基于该原始输出计算触笔的倾斜角和/ 或取向。
在一些实施方案中，触笔的倾斜角为(1104)相对于触敏显示器的表面的法线(也被简称为触敏显示器的法线)的角度，并且触笔的取向为触笔在触敏显示器上的投影(例如，触笔的长度的正交投影或与触笔的两个不同的点在触敏显示器上的投影之间的直线对应的直线)相对于平行于触敏显示器的平面中的至少一个轴的取向。例如，在图5B中，触笔203的倾斜角512为相对于触摸屏112的法线510的角度，并且在图5A中，触笔203 的取向506为触笔203在触摸屏112上的投影相对于轴508的取向。在一些实施方案中，触笔在触敏显示器上的投影的取向是相对于单个轴(例如，单个轴，其中从该轴顺时针旋转角度在0度到360度的范围内)诸如图5A 中的轴508而言的。另选地，在一些实施方案中，触笔在触敏显示器上的投影的取向是相对于一对轴(例如，x轴和y轴诸如图5A中的x轴590和 y轴592，或与在触敏显示器上所显示的应用程序相关的一对轴)而言的。
在一些实施方案中，该位置状态包括(1106)触笔相对于触敏显示器的距离。例如，在图10B-10E中，触笔203相对于触摸屏112的距离为距离 1014-a(例如，当触笔尖端与触摸屏112接触时)。又如，在图10F-10J 中，当触笔203移动远离触摸屏112时，触笔相对于触摸屏112的距离改变(例如，从距离1014-b到距离1014-c、到距离1014-d、到距离1014-e、到距离1014-f)。
在一些实施方案中，当触笔与触敏显示器的表面物理接触时，触笔距触敏显示器的距离被计算为大于零(1108)(例如，考虑到触敏显示器(例如触摸屏112)上玻璃层的厚度，以便将指示维持在显示器的“像素上”，而不是将指示显示在覆盖像素的“玻璃上”)。在一些实施方案中，当触笔与触敏显示器的表面发生物理接触时，触笔距触敏显示器的距离被定义为大于零。例如，在图10B-10E中，当触笔203与触摸屏112的表面物理接触时，距离1014-a被计算(或定义)为大于零。
在一些实施方案中，可通过电子设备(例如，通过设备的触敏显示器中的机构)检测的触笔的第一电极靠近触笔的尖端(1110)，可通过电子设备 (例如，通过设备的触敏显示器中的机构)检测的触笔的第二电极从第一电极移位预定义的距离。在一些实施方案中，触笔的第一电极在触笔的尖端处(或附近)，并且触笔的第二电极为从第一电极移位预定义距离的环。在一些实施方案中，如图5A-5B所示的，触笔203具有触笔203的尖端处(或附近)的第一电极，并且第二电极为从第一电极移位预定义距离的环，其中两个电极可通过设备100(例如，通过设备100的触摸屏112中的机构)被检测到。
设备确定(1112)触敏显示器(例如，触摸屏112)上的与所检测到的触笔(例如，触笔203)的位置状态对应的第一位置。使用图10B作为示例，触摸屏112上的与所检测到的触笔203的位置状态对应的位置由(x,y) 位置1004-b、倾斜角1012-a和/或取向1006-a来确定。
该设备在触敏显示器(例如，触摸屏112)上的与触笔的所检测到的位置状态对应的第一位置(在操作1112中确定)处显示(1114)指示，该第一位置位于相对于触敏显示器上的触笔尖端的位置的第一偏移量处。例如，在图10B中，指示1016-b被显示在与所检测到的触笔203的位置状态对应的第一位置处，其中指示1016-b位于相对于(x,y)位置1004-b的第一偏移量处。在一些实施方案中，正在触敏显示器上绘制的标记被用作指示。在一些实施方案中，指示与在触敏显示器上绘制的标记分开。在一些实施方案中，如上所述，该指示对应于指示标记将在触敏显示器上绘制的位置的虚拟“笔尖”或其他元件。在一些实施方案中，该标记为触敏显示器上的点、直线、笔画等。在一些实施方案中，相应偏移包括从触笔尖端到相应指示的距离以及在平行于触敏显示器的平面的方向上相应指示和触笔尖端之间的直线(未示出)的取向，如图10B所示。在一些实施方案中，所显示的指示考虑到触敏显示器的玻璃的厚度。
在一些实施方案中，显示触敏显示器上的指示包括(1116)根据触敏显示器在所确定的位置处的背景颜色来确定指示的颜色。在一些实施方案中，根据触敏显示器在所确定的位置处的背景颜色来确定指示的颜色包括确定与触敏显示器在所确定的位置处的背景颜色形成对比的指示的颜色。例如，在一些实施方案中，如果触敏显示器的背景颜色为白色，则所确定的指示的颜色为灰色或黑色或与白色形成对比的其他颜色。例如，在图 10B中，在触摸屏112的背景颜色为白色的情况下，指示1016-b的颜色为黑色。又如，在一些实施方案中，如果触敏显示器的背景颜色为黑色，则所确定的指示的颜色为白色或黄色或与黑色形成对比的其他颜色。
该设备检测(1118)触笔(例如，触笔203)的取向的变化。例如，图 10B-10C示出了触笔203的取向的变化(例如，从取向1006-a改变为取向 1006-b)。
响应于检测到触笔(例如，触笔203)的取向的变化，该设备确定 (1120)触敏显示器(例如，触摸屏112)上的与触笔的取向的变化对应的第二位置，该第二位置位于相对于触敏显示器上的触笔尖端的位置的第二偏移量处。例如，在图10C中，指示1016-c被显示在与所检测到的触笔203 的位置状态对应的第二位置处，其中指示1016-c位于相对于(x,y)位置1004- b的第二偏移量处。
在一些实施方案中，当触笔以第一取向定位时，该指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的投影在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时，指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的投影在不同于第一方向的第二方向上移位(1122)。在一些实施方案中，指示 (例如，图7B中的指示1016-b)相对于触笔的尖端的投影(例如，图7B 中的(x,y)位置1004-b)的方向随触笔(例如，触笔203)的取向的改变而改变。例如，在图10B中，当触笔203被定位成具有取向1006-a时，指示 1016-b相对于(x,y)位置1004-b在第一方向上移位(例如，指示1016-b位于 (x,y)位置1004-b的东南方向，或者说指示1016-b相对于轴508从(x,y)位置 1004-b沿顺时针旋转135度角)，并且在图10C中，当触笔203被定位成具有取向1006-b时，指示1016-c相对于(x,y)位置1004-b在第二方向上移位 (例如，指示1016-c位于(x,y)位置1004-b的西南方向，或者说指示1016-c 相对于轴508从(x,y)位置1004-b沿顺时针旋转225度角)。
在一些实施方案中，当触笔尖端在触敏显示器上的位置位于固定位置 (例如，在图10B-10D中，(x,y)位置1004-b位于固定位置处)处时，该设备在两个或更多个不同位置处显示(1124)触敏显示器上的指示。例如，该方法包括改变指示的位置(例如，从第一位置到第二位置)，而触笔尖端在触敏显示器上的位置保持不变。在图10B和图10C中，例如，当触笔203 的尖端在触摸屏112上的位置位于固定位置(例如，固定在(x,y)位置1004- b)处时，该设备在触摸屏112上的两个不同的位置(例如，指示1016-b的位置和指示1016-c的位置)处显示指示。此外，在图10D中，当触笔203 的尖端在触摸屏112上的位置处于相同固定位置(例如，固定在(x,y)位置 1004-b)处时，该设备在触摸屏112上的第三位置(例如，指示1016-d的位置)处显示指示，如下文相对于操作1126所述的。
在一些实施方案中，该设备检测触笔倾斜角的变化；并且响应于检测到触笔的倾斜角的变化：该设备确定触敏显示器上的与触笔的倾斜角的变化对应的第三位置，该第三位置位于相对于触敏显示器上的触笔尖端的位置的第三偏移量处；并且该设备在第三位置处显示触敏显示器上的指示 (1126)。例如，图10C-10D示出了触笔203的倾斜角的变化(例如，从倾斜角1012-a到倾斜角1012-b)，并且指示1016-d被显示在与触笔203的位置状态对应的第三位置处，其中指示1016-d位于相对于(x,y)位置1004-b的第三偏移量处。在一些实施方案中，该方法包括(1)检测触笔的取向和触笔的倾斜角两者的变化，以及(2)响应于检测到触笔的取向和触笔的倾斜角两者的变化，(a)确定触敏显示器上的与该取向和倾斜角的变化对应的第四位置，该第四位置位于相对于触敏显示器上的触笔尖端的位置的第四偏移量处，以及(b)在第四位置处显示触敏显示器上的指示。在一些实施方案中，该方法包括检测触笔尖端在触敏显示器上的位置的变化，并且响应于检测到触笔尖端在触敏显示器上的位置的变化，在不同位置处显示指示。
在一些实施方案中，当触笔具有第一倾斜角时，指示在触敏显示器上相对于触笔的尖端(或其他代表性部分)在触敏显示器上的正交投影在平行于触敏显示器的平面的方向上移位第一距离，并且当触笔具有不同于第一倾斜角的第二倾斜角时，指示在触敏显示器上相对于触笔的尖端在触敏显示器上的正交投影在平行于触敏显示器的平面的方向上移位不同于第一距离的第二距离(1128)。在一些实施方案中，该方法包括将指示在触敏显示器上从触笔尖端的位置(例如，图10C中的(x,y)位置1004-b)移位基于触笔的倾斜角的距离。例如，在图10C中，当触笔203具有第一倾斜角(例如，倾斜角1012-a)时，指示1016-c距(x,y)位置1004-b第一距离，并且在图10D中，当触笔203具有第二倾斜角(例如，倾斜角1012-b)时，指示1016-d距(x,y)位置1004-b第二距离。在一些实施方案中，随着触笔的倾斜角增加，指示从尖端的投影(或尖端在触敏显示器上的位置)移位更大的距离。例如，当触笔203被定位成具有1012-a的倾斜角(如图10C所示) 时，指示1016-c相对于(x,y)位置1004-b移位较短的距离，并且当触笔203 被定位成具有1012-b的增加的倾斜角(如图10D所示)时，指示1016-d相对于(x,y)位置1004-b移位更大的距离。
在一些实施方案中，相应距离不超过平行于触敏显示器的平面的方向上的预定义的最大距离(例如，在平行于触敏显示器的(平面)的方向上的指示和触笔尖端的(x,y)位置之间)(1130)。例如，如图10D-10E所示，第一距离和第二距离(如上文相对于操作1128所述的)不超过预定义的最大距离。在一些实施方案中，如果指示已位于预定义的最大距离处，则触笔的倾斜角的进一步增加不会增加相对于触笔尖端的(x,y)位置的距离的量值。例如，如图10D-10E所示的，虽然触笔203的倾斜角从倾斜角1012-b 增加到倾斜角1012-c，但是指示1016-d保持不变，因为其已位于相对于 (x,y)位置1004-b的预定义的最大距离处。
在一些实施方案中，设备检测(1132)触笔(例如，触笔的尖端)远离触敏显示器的表面的移动，并且响应于检测到触笔远离触敏显示器的表面的移动：根据确定触笔距触敏显示器的表面小于第一距离，在维持对指示的显示时，该设备基于触笔的移动来更新触敏显示器上的指示的外观；并且根据确定触笔距触敏显示器的表面大于第二距离，该设备停止显示触敏显示器上的指示。例如，如图10F-10I所示的，当触笔203的尖端距触摸屏 112的表面小于第一距离(例如，阈值1010)时，该设备更新触摸屏112 上的指示的外观(例如，随着触笔203移动远离触摸屏112，该指示变得颜色更浅、不透明度更低和/或尺寸更大)；此外，如图10J所示，当触笔 203的尖端距触摸屏112的表面超过第二距离(例如阈值1010)时，该设备停止在触摸屏112上显示指示。在一些实施方案中，第一距离与第二距离相同(例如，第一距离和第二距离均为阈值1010，如图10F-10J所示的)。在一些实施方案中，第一距离小于第二距离。
在一些实施方案中，根据确定触笔的代表性部分(例如，触笔的尖端)与触敏显示器的表面物理接触(1134)：该设备根据位置状态来显示触敏显示器上的指示，其中指示在触敏显示器上的位置被约束，使得在平行于触敏显示器的平面的方向上指示和触笔的代表性部分之间的距离不超过预定义的最大距离。例如，当触笔尖端与触敏显示器的表面物理接触时，显示触敏显示器上的指示，该指示具有在平行于触敏显示器的平面的方向上在该指示与尖端之间的距离的截段。如图10D-10E所示，例如，当触笔 203与触摸屏112的表面物理接触时，该设备显示指示1016-g，其中指示 1016-g和(x,y)位置1004-b之间的距离不超过预定义的最大距离(例如，不管触笔203的倾斜角是否增加)。
应当理解，对图11A-11D的操作进行描述的特定顺序仅为示例性的，并非旨在指示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图11A-11D所述的方法1100。例如，以上参考方法1100所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图12示出根据各种所述实施方案的原理进行配置的电子设备1200的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图12中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图12所示，电子设备1200包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元1202；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元1206，该触笔包括尖端；以及与触敏显示器单元1202和一个或多个传感器单元1206耦接在一起的处理单元1208。在一些实施方案中，处理单元1208包括检测单元1210、位置确定单元1212、指示显示单元1214、改变检测单元1216、和更新单元1218。
该处理单元1208被配置为：在触笔尖端与触敏显示器单元1202接触时检测触笔的位置状态(例如，利用检测单元1210)，其中触笔的位置状态对应于触笔尖端在触敏显示器单元1202上的位置、触笔相对于触敏显示器单元1202的倾斜角、和触笔相对于触敏显示器单元1202的取向；确定触敏显示器单元1202上的与触笔的所检测到的位置状态对应的第一位置 (例如，利用位置确定单元1212)；在触敏显示器单元1202上的与触笔的所检测到的位置状态对应的第一位置处启用对指示的显示(例如，利用指示显示单元1214)，该第一位置位于相对于触敏显示器单元1202上的触笔尖端的位置的第一偏移量处；检测触笔的取向的变化(例如，利用改变检测单元1216)；并且响应于检测到触笔的取向的变化：确定触敏显示器单元1202上的与触笔的取向的变化对应的第二位置(例如，利用位置确定单元1212)，该第二位置位于相对于触敏显示器单元1202上的触笔尖端的位置的第二偏移量处并且在第二位置处启用对触敏显示器单元1202上的指示的显示(例如，利用指示显示单元1214)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图11A-11D所述的操作任选地由图1A-1B或图12中所描绘的部件来实现。例如，检测操作1102、位置确定操作1112、显示操作 1114、改变检测操作1118和确定/显示操作1120任选地由事件分类器 170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序 190。事件处理程序190任选地使用或调用数据更新器176或对象更新器 177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190 访问相应GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
根据来自触笔的输入的特征来调整标记的一个或多个特征
一些电子设备使用与该设备相关联的触笔来向该设备的触敏表面提供输入的附加方法。例如，一些蜂窝电话、膝上型电脑和平板电脑具有从触笔接收输入的能力。然而，用户可能想要利用触笔来模拟一个或多个虚拟绘图工具(例如，铅笔、毛笔、书法钢笔等)，其中对设备使用触笔提供与在纸上使用绘图工具相似的用户体验。此外，用户可能想要利用触笔和设备来提供超出在纸上利用绘图工具可能实现的绘图功能(例如，从当触笔向右移动时作出红笔标记改变为当触笔向左移动时作出蓝笔标记，或者从当触笔接触强度低时作出红笔标记改变为当触笔接触强度高时作出蓝笔标记)。下面的实施方案通过根据由触笔模拟的虚拟绘图工具和来自触笔的输入的特征来调整来自触笔的标记的一个或多个特征来解决这些问题。
下面，图13A-13O示出了根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的示例性用户界面。图14A-14E为示出了根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的方法的流程图。图13A-13O中的用户界面用于示出图14A-14E中的过程。
图13A-13O示出了根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图14A-14E中的过程。尽管将参考触摸屏显示器(其中例如在触摸屏112上组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650 分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 13A-13O所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650上显示图13A-13O所示的用户界面时在触敏表面651上(或附近)检测到图13A-13O中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似的操作。
图13A-13O示出了根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的示例性用户界面。虽然图13A示出了具有设备100的附加细节(例如，扬声器111、光学传感器164、接近传感器166 等)的触摸屏112，但是为了清楚起见，图13B-13O仅示出了设备100的触摸屏112，而没有示出设备100的其他细节。此外，虽然图13A示出了从触敏表面正上方的视点(例如，设备100的触摸屏112)观察的示例，但是图13B-13O示出了从如下两个视点观察的示例：触敏表面正上方的视点 (例如，设备100的触摸屏112)和触敏表面的侧视点。
图13A示出了显示与触笔(例如，触笔203)的位置状态对应的指示 (例如，指示1316-a)的示例。在该示例中，触笔203具有位置状态，该位置状态具有触笔203相对于触摸屏112的取向(例如，取向1306-a)以及触笔203的尖端在触摸屏112上的投影的位置(例如，(x,y)位置1304- a)。如图13A所示，当触笔203被定位成具有取向1306-a(例如，相对于轴508的顺时针旋转角度为约315度)和(x,y)位置1304-a处的尖端投影时，指示1316-a被显示在触摸屏112上，以显示触笔203将触摸(或标记)触摸屏112的位置。在一些实施方案中，当触笔以第一取向定位时该指示相对于(x,y)位置1304-a在触摸屏112上在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时该指示相对于(x,y)位置1304-a在触摸屏112上在第二方向上移位。
在一些实施方案中，在触笔的输入期间触笔的位置状态不是单一的静态位置状态；相反，触笔的位置状态通常在触笔的输入期间改变(并且有时被称为来自触笔的输入的多个特征)。例如，来自触笔203的输入的多个特征包括触笔203相对于触摸屏112的取向(例如，取向1306-a)，触笔203在输入期间在触摸屏112上的移动方向(“方向性”)，触笔203 相对于触摸屏112的倾斜角，触笔203在触摸屏112上的接触强度，和/或触笔203在触摸屏112上或附近的移动速度。
图13B-13C和图13H-13L示出了，当触笔(例如，触笔203)与触敏表面(例如，触摸屏112)的表面物理接触时，显示指示(例如，指示 1316-b、指示1316-c、指示1316-h、指示1316-i、指示1316-j、指示1316-k 和指示1316-l)的示例。在一些实施方案中，当触笔203与触摸屏112物理接触时，触笔203距触摸屏112的距离(例如距离1314-a)被计算为大于零(例如，考虑到触摸屏112上的玻璃层的厚度)。在一些实施方案中，当触笔与触敏表面的表面物理接触时，响应于取向的变化来更新指示(如下文参照图13B-13C所述的)，并且响应于倾斜角的变化来更新指示(如上所述)，为了简洁起见，这里不再重复细节。
在一些实施方案中，当触笔203与触摸屏112物理接触时，显示指示和标记(例如，在图13H-13L中)。在一些实施方案中，该指示对应于指示标记将在触敏显示器(例如，触摸屏112)上绘制的位置的虚拟“笔尖”或其他元件。在一些实施方案中，标记为触敏显示器上的点、直线、笔画等。在一些实施方案中，指示对应于标记的端部(末端)(例如，在图 13D-13G和图13M-13O中)。例如，当被绘制的标记为一条直线时，该指示对应于(或相邻于)被绘制的用户界面元素的端部。在一些实施方案中，如果当触笔与触敏显示器的表面物理接触时显示该指示，则该指示的形状(以及任选地颜色)对应于由触笔所模拟的虚拟绘图工具的尖端的形状(以及任选地颜色)。例如，如果触笔被用作虚拟黄色荧光笔，则该指示为黄色矩形(对应于荧光笔的凿尖)，并且当触笔移动穿过触敏显示器的表面时(例如，通过沿触笔的路径传播指示的尺寸/形状/颜色)形成标记。如果触笔被用作虚拟黄色荧光笔，并且触笔在触敏显示器上的一点处进行触按并且然后抬离而不移动穿过触敏显示器，则黄色矩形标记(对应于为荧光笔的凿尖的指示)可在触敏显示器上的触笔触按的点处被显示。
图13B-13C示出了改变触笔(例如，触笔203)相对于触敏显示器 (例如，触摸屏112)的取向(例如，取向1306)的示例，并且响应于该取向的变化来更新所显示的指示(例如，从显示第一位置处的指示1316-b 更新为显示第二位置处的指示1316-c)。在图13B-13C中，触笔的尖端的 (x,y)位置(例如，(x,y)位置1304-b)、触笔的倾斜角(例如，倾斜角1312-a)、以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314-a)保持恒定，而触笔相对于触敏显示器的取向改变 (例如，从取向1306-a改变为取向1306-b)。随着触笔203的取向从取向 1306-a(例如，相对于轴508的顺时针旋转角度为约315度)改变为取向 1306-b(例如，相对于轴508的顺时针旋转角度为约45度)，在触摸屏112上更新所显示的指示(例如，从指示1316-b到指示1316-c)。
图13D-13E示出了在触笔(例如，触笔203)的输入期间改变方向性的示例，并且响应于方向性的变化，通过随着方向性改变而改变标记的宽度来调整标记(例如，标记1330)。在图13D-13E中，触笔的取向(例如，取向1306-b)、触笔的倾斜角(例如，倾斜角1312-a)以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314- a)保持恒定，而触笔的方向性改变(例如，从在(x,y)位置1304-c向下移动改变为在(x,y)位置1304-d向上移动)。在一些实施方案中，图13D-13E中的触笔203正在模拟用于进行书法书写的钢笔。在图13D中，当触笔203 在一个方向(例如，向下)上移动时，标记的宽度(例如，指示1316-d处的标记1330-a)增加，而在图13E中，当触笔203在另一个方向(例如，向上)上移动时，标记的宽度(例如，指示1316-e处的标记1330-b)减小。在一些实施方案中，存在从当触笔在第一方向(例如，向上)上移动时的第一(例如，窄的)宽度到当触笔在与第一方向(例如，向下)相反的第二方向上移动时的第二(例如，宽的)宽度的逐渐过渡，如图13D- 13E所示的。
在一些实施方案中，响应于触笔203的方向性的变化，标记的颜色随着方向性改变而改变。在一些实施方案中，随着方向性改变，标记具有不明显的颜色变化。例如，当触笔203在第一方向上移动时，标记(例如，标记1330)的颜色为浅色，而当触笔203在第二方向上移动时，标记(例如，标记1330)的颜色为相同颜色的较深版本。使用图13D-13E作为示例，在一些实施方案中，当触笔203向下移动(并且标记的宽度增加) 时，标记的颜色为浅蓝色，而当触笔203向上移动(并且标记的宽度减少)时，标记的颜色为较深的蓝色。
图13F-13G示出了改变触笔(例如，触笔203)相对于触敏显示器 (例如，触摸屏112)的倾斜角(例如，倾斜角1312)的示例，并且响应于该倾斜角的变化，通过随着倾斜角增加而增加标记的宽度来调整标记 (例如，标记1332)。在图13F-13G中，当触笔203在触笔的输入期间倾斜得更接近平行于触摸屏112时，触笔的取向(例如，取向1306-b)和触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314-a)保持恒定，而触笔的倾斜角改变(例如，从倾斜角1312-b到倾斜角1312-c)。在一些实施方案中，图13F-13G中的触笔203正在模拟毛笔。如在该示例中所示，随着倾斜角增加，标记(例如，标记1332)的宽度增加。在图13F中，当倾斜角相对较小时(例如，倾斜角1312-b)，标记的宽度较窄(例如，在指示1316-f处)，而在图13G中，当倾斜角相对较大时(例如，倾斜角1312-c)，标记的宽度较宽(例如，在指示1316-g 处)。
图13H-13J示出了在输入期间改变触笔的接触强度(例如，与触笔 (例如，触笔203)在触敏表面(例如，触摸屏112)上的接触的强度对应的参数)的示例，并且响应于接触强度的变化，通过随着接触强度增加而增加标记的宽度来调整标记(例如标记1334)。在图13H-13J中，触笔的取向(例如，取向1306-b)、触笔的倾斜角(例如，倾斜角1312-a)以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314-a)保持恒定，而触笔的接触强度在触笔203的输入期间随着接触强度增加而改变(例如，从图13H中的接触强度1322-a到图13I中的接触强度1322-b、到图13J中的接触强度1322-c)。在一些实施方案中，图 13H-13J中的触笔203正在模拟铅笔或钢笔或毛笔。如图13H-13J所示，标记(例如，标记1334)的宽度随着接触强度增加(例如，如接触强度1322 的颜色变深所示，对应于接触1320的强度)而增加。在图13H中，当接触强度相对较低(例如，具有接触强度1322-a)时，标记的宽度较窄(例如，在指示1316-h处)；在图13I中，当接触强度为中等的(例如，具有接触强度1322-b)时，标记的宽度为中等的(例如，在指示1316-i处)；在图13J中，当接触强度相对较高(例如，具有接触强度1322-c)时，标记的宽度较宽(例如，在指示1316-j处)。
此外，虽然在图13H-13J中未示出，但在一些实施方案中，响应于触笔203的接触强度的变化，标记的颜色随着接触强度改变而改变。在一些实施方案中，随着接触强度增加，标记的颜色从第一颜色逐渐过渡到第二颜色。在一些实施方案中，随着触笔203的接触强度增加，标记(例如，标记1334)的颜色从第一颜色(例如，红色)逐渐过渡到第二颜色(例如，蓝色)，其中在逐渐过渡过程中标记的颜色包括第一颜色和第二颜色的混合色(例如，紫色)。使用图13H-13J作为说明的示例，随着触笔203 的接触强度增加，标记(例如标记1334)的颜色从红色逐渐过渡到蓝色 (例如，红色到紫色再到蓝色)。在图13H中，当接触强度相对较低(例如，具有接触强度1322-a)时，标记的颜色为红色(例如，在指示1316-h 处)；在图13I中，当接触强度为中等的(例如，具有接触强度1322-b) 时，标记的颜色为紫色(例如，在指示1316-i处的红色和蓝色的混合色)；在图13J中，当接触强度相对较高(例如，具有接触强度1322-c) 时，标记的颜色为蓝色(例如，在指示1316-j处)。类似地，在一些实施方案中，随着接触强度减小，标记的颜色从第二颜色逐渐过渡到第一颜色。
图13K-13L示出了在输入期间改变触笔(例如，触笔203)的接触强度的示例，并且响应于接触强度的变化，通过随着接触强度增加而增加标记的不透明度来调整标记(例如，标记1336)。在图13K-13L中，触笔的取向(例如，取向1306-b)、触笔的倾斜角(例如，倾斜角1312-a)、以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314-a)保持恒定，而触笔的接触强度在触笔203的输入期间随着接触强度增加而改变(例如，从图13K中的接触强度1322-d改变为图13L 中的接触强度1322-e)。在一些实施方案中，图13K-13L中的触笔203正在模拟铅笔或圆珠笔或毛笔。如图13K-13L所示，标记(例如，标记 1336)的不透明度随着接触强度增加(例如，如接触强度1322的颜色变深所示，对应于接触1320的强度)而增加。在图13K中，当接触强度相对较低时(例如，具有接触强度1322-d)，标记的不透明度为浅色的(例如，在指示1316-k处)；在图13L中，当接触强度较高时(例如，具有接触强度1322-e)，标记的不透明度为较深色的(例如，在指示1316-l处)。
图13M示出了在输入期间改变触笔(例如，触笔203)的移动速度的示例，并且响应于速度的变化，通过随着速度增加而减小标记的宽度来调整标记(例如，标记1338)。例如，标记1338-a的宽度随着触笔203的移动速度增加而减小，以完成标记1338-a的笔画。在一些实施方案中，响应于速度的变化，通过随着速度的减小而增加标记的宽度来调整标记。例如，标记1338-b的宽度随着触笔203的移动速度在标记1338-b的末端减小而增加。在一些实施方案中，图13M中的触笔203正在模拟用于中国书法 (或其他字体)的毛笔。另选地，在一些实施方案中，响应于速度的变化，通过随着速度增加而增加标记的宽度或随着速度的减小而减小标记的宽度来调整标记。
图13N-13O示出了在触笔的输入期间改变触笔(例如，触笔203)的方向性和取向之间的差值(角度)的示例，并且随着方向性和取向之间的差值的变化来调整标记的宽度。在图13N至13O中，触笔的取向(例如，取向1306-b)、触笔的倾斜角(例如，倾斜角1312-a)、以及触笔相对于触敏显示器的距离(例如，当触笔尖端与触敏显示器接触时为距离1314- a)保持恒定，而触笔的方向性改变(例如，从在(x,y)位置1304-m向下移动改变为在(x,y)位置1304-n向右移动)。在一些实施方案中，图13N-13O 中的触笔203正在模拟凿尖绘图工具(例如，荧光笔、白板笔等)。在图 13N中，当触笔203以第一取向(例如，相对于轴508顺时针旋转的角度为约45度)在一个方向(例如，相对于轴508顺时针旋转的角度为约180 度)上移动时，方向性和取向之间的差值(角度)为第一差值(例如，约 135度)，并且标记(例如，标记1340)具有第一宽度(例如，窄的宽度)。在图13O中，当触笔203以第一取向(例如，相对于轴508顺时针旋转的角度为约45度)在第二方向(例如，相对于轴508顺时针旋转的角度为约90度)上移动时，方向性和取向之间的差值(角度)为第二差值 (例如，约45度)，并且标记(例如，标记1340)具有第二宽度(例如，宽的宽度)。
图14A-14E为示出根据一些实施方案的根据来自触笔的输入的特征来调整标记的一个或多个特征的方法1400的流程图。方法1400在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器(也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。在一些实施方案中，触笔包括尖端(或其他代表性部分)。在一些实施方案中，触笔上的除了尖端之外的部分用于估计尖端的位置。方法1400中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1400提供了一种根据来自触笔的输入的特征(例如，取向、移动方向、倾斜角、接触强度和/或移动速度)来调整标记的一个或多个特征(例如，不透明度、宽度和/或颜色)的有效方式。该方法提供了与在纸上使用物理绘图工具的用户体验相似的利用触笔和电子设备的用户体验。此外，该方法提供了使用触笔和电子设备的绘图功能，其超出了在纸上使用物理绘图工具可能实现的绘图功能。当使用触笔与电子设备交互时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
设备检测(1402)来自触笔的输入。在一些实施方案中，来自触笔的输入包括从触笔触按直到触笔抬离期间的输入。例如，在图13D-13E中，来自触笔(例如，触笔203)的输入包括从触笔203在触摸屏112上触按开始作出标记(例如，标记1330)直到完成标记之后触笔203抬离期间的输入。
该设备确定(1404)来自触笔的输入的多个特征，该输入的特征包括在输入期间触笔相对于触敏表面的取向，以及在输入期间触笔在触敏表面上方的移动方向(“方向性”)。例如，图13D示出了具有取向1306-b和向下的方向性的触笔203，而图13E示出了具有取向1306-b和向上的方向性的触笔203。虽然图13D-13E中的取向没有改变，但是在输入期间触笔的取向通常不是单一的取向；相反，取向在输入期间通常会改变。另外，在输入期间触笔的方向性通常不是单一的方向性；相反，方向性在输入期间通常会改变，如图13D-13E所示的。在一些实施方案中，输入的多个特征是相对于触敏表面(例如，触摸屏112)而言的。
在一些实施方案中，根据从触笔发送到电子设备的一个或多个测量来检测来自触笔的输入的多个特征(例如，对应于触笔相对于触敏表面的取向、触笔相对于触敏表面的倾斜角等)。例如，触笔测量触笔的倾斜角和/ 或取向并将该测量发送到电子设备。另选地，在一些实施方案中，根据由触敏表面感测的来自触笔中的一个或多个电极的原始输出来检测输入的多个特征。例如，触敏表面从触笔中的一个或多个电极接收原始输出，并基于该原始输出来计算触笔的倾斜角和/或取向。
在一些实施方案中，触笔的取向为(1406)触笔在触敏表面上的投影 (例如，触笔的长度的正交投影或与触笔的两个不同的点在触敏表面上的投影之间的直线对应的直线)相对于平行于触敏表面的平面中的至少一个轴的取向。例如，在图5A中，触笔203的取向506为触笔203在触摸屏 112上的投影相对于轴508的取向。在一些实施方案中，触笔在触敏表面上的投影的取向是相对于单个轴(例如，单个轴，其中从该轴顺时针旋转角度在0度到360度的范围内)诸如图5A中的轴508而言的。另选地，在一些实施方案中，触笔在触敏表面上的投影的取向是相对于一对轴(例如，x 轴和y轴诸如图5A中的x轴590和y轴592，或与在显示器上所显示的应用程序相关的一对轴)而言的。
响应于检测到来自触笔(例如，触笔203)的输入(1408)，该设备生成 (1410)在显示器上所显示的标记，该标记具有包括不透明度、宽度、和/或颜色的特征。例如，在图13D中，响应于检测到来自触笔203的输入，该设备生成标记1330-a，其中标记1330-a具有包括不透明度、宽度、和/或颜色的特征。
另外，响应于检测到来自触笔的输入(1408)，该设备根据由触笔模拟的虚拟绘图工具以及在输入期间来自触笔的输入的多个特征的变化来调整 (1412)标记的一个或多个特征。在一些实施方案中，被模拟的虚拟绘图工具为经由所显示的菜单(例如，具有虚拟铅笔、钢笔、毛笔、荧光笔、书法钢笔等的调色板)由用户对工具进行选择来确定的。在一些实施方案中，被模拟的虚拟绘图工具通过利用触笔作出的用户手势(例如，旋转触笔笔杆、单击或双击触笔等)来确定。标记的任一特征诸如其宽度可基于来自触笔的输入的多个特征的子集或甚至单一特征来进行调整。例如，在图 13D-13E中，根据触笔203模拟书法钢笔以及在输入期间触笔203的方向性的变化而调整标记1330的一个或多个特征(例如，宽度和/或颜色)。又如，在图13F-13G中，根据触笔203模拟毛笔以及在输入期间触笔203的倾斜角的变化来调整标记1332的一个或多个特征(例如，宽度)。又如，在图13H-13J中，根据触笔203模拟毛笔(或铅笔或钢笔)以及在输入期间触笔203的接触强度的变化来调整标记1334的一个或多个特征(例如，宽度)。又如，在图13K-13L中，根据触笔203模拟铅笔(或毛笔或钢笔)以及在输入期间触笔203的接触强度的变化来调整标记1336的一个或多个特征(例如，不透明度)。
在一些实施方案中，调整标记的一个或多个特征包括随着方向性和取向之间的差值(角度)改变而调整(1414)标记的宽度。例如，在图13N-13O 中，标记1340的宽度随着触笔203的方向性和取向之间的角度差值改变 (例如，从图13N中的约135度的角度差值改变为图13O中的约45度的角度差值)而改变(例如，宽度增加)。又如，如果图13N-13O中的触笔203在用于绘制圆圈时改变取向以使方向性和取向之间的角度差值维持不变，则整个圆圈将具有相同的宽度；相反，如果图13N-13O中的触笔203 在用于绘制圆圈时保持触笔203的取向不变，则圆圈的顶部和底部将具有第一宽度(例如，宽)，并且圆圈的左侧和右侧将具有第二宽度(例如，窄)。
在一些实施方案中，设备在输入期间检测(1416)方向性的变化；并且响应于检测到方向性的变化，通过随着方向性改变而改变标记的宽度来调整标记。在一些实施方案中，当虚拟绘图工具为钢笔(例如，书法钢笔) 时，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着方向性改变而改变标记的宽度。在一些实施方案中，如果来自触笔的输入向上移动则标记的宽度减小，并且如果来自触笔的输入向下移动则标记的宽度增加，如图13D-13E所示的。在一些实施方案中，存在从当触笔在第一方向(例如，向上)上移动时的第一(例如，薄的)宽度到当触笔在与第一方向(例如，向下)相反的第二方向上移动时的第二(例如，厚的)宽度的逐渐转变，如图13D-13E所示的。
在一些实施方案中，设备在输入期间检测(1418)方向性的变化；并且响应于检测到方向性的变化，通过随着方向性改变而改变标记的颜色来调整标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着方向性改变而改变标记的颜色。在一些实施方案中，随着方向性改变，标记具有不明显的颜色变化，诸如当向右移动时为浅蓝色，而向左移动时为深蓝色，或者当向下移动时为浅蓝色，而向上移动时为深蓝色，如上文参照图13D-13E所述的。在一些实施方案中，随着方向性改变，标记具有明显的颜色变化，诸如当向右移动时为蓝色，当向左移动时为红色(这在对应的物理绘图工具中可能不会发生)。
在一些实施方案中，来自触笔的输入的多个特征包括(1420)触笔的倾斜角，其中触笔的倾斜角为相对于触敏表面的表面的法线(也被简称触敏表面的法线)的角度。在一些实施方案中，当触笔垂直/正交于触敏表面时，倾斜角为零，并且当触笔倾斜得接近平行于触敏表面时，倾斜角增加。例如，在图13F-13G中，当触笔203与法线510对齐时，触笔203的倾斜角将为零，并且从图13F-13G，触笔203的倾斜角从倾斜角1312-b增加到倾斜角1312-c。在一些实施方案中，倾斜角作为标记的一个或多个特征的调整因子。
在一些实施方案中，设备检测触笔倾斜角的变化；并且响应于检测到触笔的倾斜角的变化，通过随着倾斜角增加而增加标记的宽度来调整(1422) 标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着倾斜角改变而改变标记的宽度。例如，当虚拟绘图工具为毛笔时，调整标记的一个或多个特征包括随着倾斜角增加而增加标记的宽度，如图13F-13G所示的。
在一些实施方案中，来自触笔的输入的多个特征包括(1424)接触强度，其中接触强度为与触笔在触敏表面上的接触的强度对应的参数。例如，在图13H-13J中，触笔203的接触强度从图13H中的接触强度1322-a 增加到图13I中的接触强度1322-b再增加到图13J中的接触强度1322-c。在一些实施方案中，接触强度作为标记的一个或多个特征的调整因子。
在一些实施方案中，设备在输入期间检测触笔的接触强度的变化；并且响应于检测到接触强度的变化，通过随着接触强度增加而增加标记的不透明度来调整(1426)标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着接触强度改变而改变标记的不透明度。在一些实施方案中，当虚拟绘图工具为铅笔、圆珠笔或毛笔时，调整标记的一个或多个特征包括随着接触强度增加而增加标记的不透明度，如图13K-13L所示的。
在一些实施方案中，设备检测触笔的接触强度的变化；并且响应于检测到接触强度的变化，通过随着接触强度增加而增加标记的宽度来调整 (1428)标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着接触强度改变而改变标记的宽度。在一些实施方案中，当虚拟绘图工具为铅笔、钢笔或毛笔时，调整标记的一个或多个特征包括随着接触强度增加而增加标记的宽度，如图13H-13J所示的。
在一些实施方案中，设备检测触笔的接触强度的变化；并且响应于检测到接触强度的变化，通过随着接触强度改变而改变标记的颜色来调整 (1430)标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着接触强度改变而改变标记的颜色。在一些实施方案中，随着接触强度增加，标记的颜色从第一颜色逐渐过渡到第二颜色，其中在逐渐过渡过程中标记的颜色包括第一颜色和第二颜色的混合色。例如，随着接触强度增加，标记的颜色从红色逐渐过渡到蓝色(例如，红色到紫色到蓝色)，如上文参照图13H-13J所述的。
在一些实施方案中，设备检测(1432)来自触笔的输入的多个特征中的一个或多个特征的变化；并且响应于检测到一个或多个特征的变化，将由触笔模拟的虚拟绘图工具从第一虚拟绘图工具改变为第二虚拟绘图工具。在一些实施方案中，由触笔模拟的虚拟绘图工具基于倾斜角来确定。例如，如果触笔的倾斜角小于预定义的阈值角度(诸如10度、15度、20度或25度)，则触笔模拟虚拟钢笔或铅笔，并且如果触笔的倾斜角大于预定义的阈值角度(诸如10度、15度、20度或25度)，则触笔模拟虚拟荧光笔。以下对将由触笔模拟的虚拟绘图工具从第一虚拟绘图工具改变为第二虚拟绘图工具的细节参照方法2700进行描述，为了简洁起见，这里不再重复细节。在一些实施方案中，由触笔模拟的虚拟绘图工具由通过触笔作出的手势(例如，笔杆旋转手势)来确定。在一些实施方案中，由触笔模拟的虚拟绘图工具由来自虚拟绘图工具的所显示菜单的显式选择来确定。
在一些实施方案中，当由触笔模拟的虚拟绘图工具为第一虚拟绘图工具(例如，钢笔工具)并且触笔没有在显示器上主动地作出标记(例如，触笔没有与触敏表面接触)时，设备检测(1434)来自触笔的输入的多个特征中的第一变化；响应于检测到来自触笔的输入的多个特征中的第一变化，设备从第一虚拟绘图工具切换到不同于第一绘图工具的第二虚拟绘图工具 (例如，荧光笔工具)；并且当由触笔模拟的虚拟绘图工具为第二虚拟绘图工具时，设备检测来自触笔的输入的多个特征中的第二变化(例如，来自触笔的输入的多个特征中的第一变化的逆转)；并且响应于检测到来自触笔的输入的多个特征中的第二变化：根据确定触笔没有在显示器上主动地作出标记(例如，触笔没有与触敏表面接触)，设备从第二虚拟绘图工具切换到第三虚拟绘图工具(例如，与第一虚拟绘图工具相同)；并且根据确定触笔在显示器上主动地作出标记(例如，触笔与触敏表面接触并且已在触敏表面上移动，从而使设备在显示器上显示来自第二虚拟绘图工具的标记)，设备维持对第二虚拟绘图工具的选择。在一些实施方案中，第三虚拟绘图工具与第一虚拟绘图工具相同。在一些实施方案中，在维持对第二虚拟绘图工具的选择时，根据来自触笔的输入的多个特征中的第二变化来调整由第二虚拟绘图工具作出的标记的一个或多个特征。例如，由第二虚拟绘图工具作出的标记的宽度随着触笔的方向性、倾斜角和/或接触强度改变而改变。以下对虚拟绘图工具的切换和/或维持选择的更多细节参照方法2700进行描述，为了简洁起见，这里不再重复细节。
在一些实施方案中，设备检测触笔在触敏表面上或触敏表面附近的移动的速度的变化；并且响应于检测到速度的变化，通过随着速度增加而减小标记的宽度来调整(1436)标记。在一些实施方案中，根据输入期间来自触笔的输入的多个特征的变化来调整标记的特征包括随着触笔在触敏表面上或触敏表面附近的移动速度改变而改变标记的宽度。在一些实施方案中，当虚拟绘图工具为毛笔时，调整标记的一个或多个特征包括随着速度增加而减小标记的宽度，如图13M所示(例如，标记1338-a)。在一些实施方案中，当虚拟绘图工具为毛笔时，调整标记的一个或多个特征包括随着速度的减小而增加标记的宽度，如图13M所示(例如，标记1338-b)。另选地，在一些实施方案中，响应于速度的变化，通过随着速度增加而增加标记的宽度或随着速度的减小而减小标记的宽度来调整标记。
在一些实施方案中，由触笔模拟的虚拟绘图工具为一组虚拟绘图工具中的一个虚拟绘图工具，并且对于一组绘图工具中的四个虚拟绘图工具中的每个虚拟绘图工具，设备根据来自触笔的输入的不同特征来调整(1438)标记的宽度。例如，对于虚拟铅笔，根据接触强度来调整标记的宽度(例如，如图13H-13J所示，其中宽度随着接触强度增加而增加)；对于虚拟圆珠笔，根据速度来调整标记的宽度(例如，类似于图13M中的标记 1338-a，其中宽度随着速度增加而减小)；对于虚拟毛笔，根据倾斜角来调整标记的宽度(例如，如图13F-13G所示，其中宽度随着倾斜角增加而增加)；以及对于虚拟书法钢笔，根据方向性来调整标记的宽度(例如，如图13D-13E所示，其中宽度随着第一方向性增加，并且宽度随着第二方向性减小)。
在一些实施方案中，由触笔模拟的虚拟绘图工具为一组虚拟绘图工具中的一个虚拟绘图工具，并且对于一组绘图工具中的两个虚拟绘图工具中的每个虚拟绘图工具，设备根据来自触笔的输入的不同特征来调整(1440)标记的不透明度。例如，对于虚拟铅笔，根据接触强度来调整标记的不透明度(例如，如图13K-13L所示的，其中不透明度随着接触强度增加而增加)；并且对于虚拟细尖钢笔，根据速度来调整标记的不透明度(例如，其中不透明度随着速度增加而降低)。
在一些实施方案中，由触笔模拟的虚拟绘图工具为一组虚拟绘图工具中的一个虚拟绘图工具，并且对于一组绘图工具中的两个虚拟绘图工具中的每个虚拟绘图工具，响应于输入的相同特征(例如，取向、方向性、倾斜角、接触强度或速度)的变化，设备调整(1442)标记的不同特征(例如，宽度、不透明度、颜色等)。例如，如下表1所示，对于虚拟铅笔，根据接触强度来调整标记的宽度，并且对于虚拟圆珠笔或虚拟毛笔，根据接触强度来调整标记的不透明度。又如，对于虚拟细尖钢笔，根据速度调整来标记的不透明度，并且对于虚拟圆珠笔或虚拟毛笔，根据速度来调整标记的宽度。注意，表1中的不同虚拟绘图工具的输入特征和标记特征之间的关系仅为可能关系的示例。
表1：基于响应于不同虚拟绘图工具的输入特征(例如，取向、方向性、倾斜角、接触 强度或速度)的变化，标记特征(例如，宽度、不透明度、颜色)的示例性变化。
Figure GDA0002520029170000951
应当理解，对图14A-14E中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图14A-14E所述的方法1400。例如，以上参考方法1400所述的触笔输入特征(有时称为位置状态特征)、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔输入特征、移动、接触、手势、用户界面对象以及输出的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图15示出根据各种所述实施方案的原理进行配置的电子设备1500的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图15中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图15所示，电子设备1500包括：被配置为显示用户界面的显示器单元1502；被配置为接收用户接触的触敏表面单元1504；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元1506；以及与显示器单元1502、触敏表面单元1504和一个或多个传感器单元1506耦接在一起的处理单元1508。在一些实施方案中，处理单元1508包括检测单元 1510、特征单元1512、生成单元1514、标记调整单元1516、以及改变单元 1518。
处理单元1508被配置为：检测来自触笔的输入(例如，利用检测单元 1510)；确定来自触笔的输入的多个特征(例如，利用特征单元1512)，输入的特征包括触笔在输入期间相对于触敏表面单元1504的取向，以及触笔在输入期间在触敏表面单元1504上方的移动方向(“方向性”)；并且响应于检测到来自触笔的输入：生成在显示器单元1502上所显示的标记 (例如，利用生成单元1514)，该标记具有包括不透明度、宽度和/或颜色的特征；并且根据由触笔模拟的虚拟绘图工具以及在输入期间来自触笔的输入的多个特征的变化来调整标记的一个或多个特征(例如，利用标记调整单元1516)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图14A-14E所述的操作任选地由图1A-1B或图15中所描绘的部件来实现。例如，检测操作1402、确定操作1404、生成操作1410以及调整操作1412任选地由事件分类器170、事件识别器180和事件处理器 190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义 186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A- 1B中所示的部件可如何实现其他过程。
利用触笔输入和手指输入来准备消息
本文公开了具有用于利用触笔输入和手指输入来准备消息的改进方法的电子设备，包括：
·为了更有效地准备通信，如果利用手指进行输入，则一些设备对与通过显示用于键入文本消息的虚拟键盘来准备通信(例如，即时消息或电子邮件)的请求对应的输入进行响应，而如果利用触笔进行输入，则设备显示绘图画布。
·为了在通信中便于在数字图像上绘图(例如，在其上被绘图并作为即时消息发送的数字照片)，一些设备通过在通信应用程序的输入区域中显示该数字图像并显示包含用于在数字图像上绘图的颜色的调色板来对特定数字图像的选择进行响应，并且在调色板中所显示的颜色基于数字图像中所包含的颜色。
·为了向即时消息对话中的第一用户指示第二用户是否正在键入回复或绘制回复，如果第二用户正在键入回复，则一些设备显示键入消息准备指示符，并且如果第二用户正在绘制回复，则显示绘图消息准备指示符。
此类方法任选地补充或替换用于利用触笔输入和手指输入来准备消息的常规方法。此类方法减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动的设备，此类方法节省功率并且增加电池两次充电之间的时间间隔。
下面，图16A-16N示出了根据一些实施方案的用于利用触笔输入和手指输入来准备消息的示例性用户界面。图17A-17C、图18A-18B和图19为示出根据一些实施方案的利用触笔输入和手指输入来准备消息的方法的流程图。图16A-16N中的用户界面用于示出图17A-17C、图18A-18B和图19 中的过程。
尽管将参考触摸屏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图 1A)。为了便于说明，参考图16A-16N、图17A-17C、图18A-18B以及图 19所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650以及焦点选择器上显示图16A-16N所示的用户界面时在触敏表面651上检测到图16A-16N中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似的操作。
图16A示出了与第一用户相关联的设备上的通信应用程序(例如，即时消息应用程序)中的示例性用户界面1600。该用户界面包括显示第一用户和第二用户之间的即时消息对话1604的会话窗口1602。在一些实施方案中，来自第一用户的即时消息1605被显示在沿会话窗口一侧的内容气泡中，并且来自第二用户的即时消息1606被显示在沿会话窗口相对侧的内容气泡中。
图16A还示出了向第一用户指示第二用户正在准备键入回复(例如，使用与第二用户相关联的设备上的虚拟键盘)的示例性键入消息准备指示符“…”1608。
在图16B中，键入消息准备指示符“…”1608被包含由第二用户准备的即时消息1610(例如，“我回来了。你呢？”)的内容气泡替换。
图16C示出了向第一用户指示第二用户正在准备绘制回复(例如，在绘图画布上使用手指或触笔)而不是键入回复的示例性绘图消息准备指示符1612(例如，波浪线或其他图形)。在一些实施方案中，绘图消息准备指示符1612以动画方式显示(例如，循环动画)。
在图16D中，绘图消息准备指示符1612被包含由第二用户准备的绘图 1614(例如，一杯咖啡)的内容气泡替换。
图16D还示出了与用于准备通信(例如，新的即时消息)的请求(由第一用户发起)对应的示例性手指输入。在该示例中，该手指输入为由手指接触1616在键入输入区域1618上作出的手势，诸如轻击手势。
图16E示出了响应于利用手指接触1616作出的手指输入而显示键盘 1620。图16E还示出了第一用户可在键入输入区域1618中输入文本(例如，“我也回来了。我们去喝咖啡吧。”)(例如，在键盘1620上使用轻击手势或其他手指输入)。
作为图16D中的手指输入的替代形式，图16F示出了与用于准备通信 (例如，新的即时消息)的请求(由第一用户发起)对应的示例性触笔203 输入。在该示例中，触笔输入为由触笔203在键入输入区域1618上作出的手势，诸如轻击手势。
图16G示出了响应于触笔输入来显示绘图画布1622(例如，在键入输入区域1618上利用触笔203作出轻击手势)。绘图画布1622大于键入输入区域1618，以提供更多的区域，以利用触笔和/或手指进行绘制。在一些实施方案中，在显示绘图画布1622时，设备检测对由手指接触1624在绘图画布1622上键入输入诸如轻击手势的请求。响应于检测到对键入输入的请求，设备利用对用于键入输入的内容输入区域(例如，键入输入区域 1618(图16E))的显示来替换对绘图画布1622(图16G)的显示。
作为图16G的替代形式，图16H示出了响应于与用于准备通信的请求 (由第一用户发起)对应的触笔输入，显示绘图画布1622和键盘1620(例如，由触笔203在键入输入区域1618上作出的轻击手势，图16F)。
图16H还示出了使用由触笔203作出的标记来进行绘图1626，并且检测与用于将绘图1626作为即时消息来发送的请求对应的输入(例如，通过触笔或手指接触1628在发送按钮1627上作出的手势，诸如轻击手势)。
图16I示出了响应于检测到与用于发送绘图的请求对应的输入，发送绘图1626并维持对绘图画布1622的显示。
作为图16I的替代形式，图16J示出了响应于检测到与用于发送绘图的请求对应的输入，发送绘图1626并停止显示绘图画布。在图16J中，绘图画布1622被键入输入区域1618替换。
图16J-16K示出了选择在即时消息中使用的数字图像的示例性方式。图16J示出了检测到与用于进入图像选择模式的请求对应的输入(例如，通过触笔或手指接触1630在照片图标1631上作出的手势，诸如轻击手势)。图16K示出了对用于选择数字图像的示例性用户界面的显示。在一些实施方案中，存在用于在图像选择模式中选择数字图像的附加用户界面 (未示出)。图16K还示出了检测对数字图像的选择(例如，检测通过触笔或手指接触1632在照片1634上作出的手势，诸如轻击手势)。数字图像1634为包括多种颜色(在图像1634中利用深浅不同的灰色来表示)的彩色图像。
图16L示出了通过在通信应用程序的输入区域(例如，绘图画布 1622)中显示数字图像并且还显示包含用于在数字图像1634上绘图的颜色的调色板1636来对数字图像1634的选择进行响应。在调色板1636中所显示的颜色基于数字图像1634中所包含的颜色。图16L还示出了在调色板 1636中选择一种颜色的输入(例如，利用触笔203在调色板1636中的一种颜色上作出轻击手势)。
图16M示出了图像1634上的利用来自调色板1636的颜色进行绘制的绘图输入。例如，触笔输入用于利用来自调色板1636的一种颜色来绘制“Tall”，并且利用来自调色板1636的另一种颜色来绘制“Trees”。图 16M还示出了检测与用于将在其上被绘制的图像1634作为即时消息来发送的请求对应的输入(例如，通过触笔或手指接触1638在发送按钮1627上作出的手势，诸如轻击手势)。
图16N示出了发送其上被绘图的图像1634，在即时消息对话1604中将在其上被绘制的图像1634作为即时消息来显示，并且响应于检测到与用于发送该图像的请求对应的输入，停止显示调色板1636。
图17A-17C为示出了根据一些实施方案的用于利用触笔和手指输入来准备消息的方法1700的流程图。方法1700在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。方法1700中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1700通过以下方式来更有效地准备通信：如果利用手指进行输入，则通过使设备对与用于通过显示用于键入文本消息的虚拟键盘来准备通信(例如，即时消息或电子邮件)的请求对应的输入进行响应，而如果利用触笔进行输入，则设备显示绘图画布。该设备基于请求是利用手指输入进行输入还是利用触笔输入进行输入来显示用于准备通信的合适的输入工具。当利用触笔输入和手指输入来准备消息时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地利用触笔输入和手指输入来输入消息，从而节省了功率并且增加了电池两次充电之间的时间间隔。
设备在触敏显示器上显示(1702)通信应用程序的用户界面。在一些实施方案中，通信应用程序为即时消息应用程序(例如，图16A)。在一些实施方案中，通信应用程序为电子邮件应用程序。
在一些实施方案中，显示通信应用程序的用户界面包括在触敏显示器上显示(1704)通信会话窗口(例如，窗口1602)，在第一参与者和第二参与者之间的即时消息对话(例如，对话1604)中，通信会话窗口在内容气泡中显示来自第一参与者的即时消息(例如，消息1605)并且在内容气泡中显示来自第二参与者的即时消息(例如，消息1606)。在一些实施方案中，基于即时消息的接收时间顺序，在通信会话窗口中垂直显示即时消息会话中的即时消息。在一些实施方案中，来自第一参与者的即时消息被显示在通信会话窗口的第一侧(例如，右侧)，并且来自第二参与者的即时消息被显示在通信会话窗口的第二侧(例如，左侧)。
在一些实施方案中，设备接收(1706)用于指示第二参与者正在准备即时消息的信号；根据确定第二参与者正在键入即时消息(例如，使用键盘)，设备在通信会话窗口中显示键入消息准备指示符(例如，键入消息准备指示符1608，图16A)。在一些实施方案中，键入消息准备指示符被显示在通信会话窗口的第二侧(例如，左侧)区域中。在一些实施方案中，第二侧区域中的键入消息准备指示符的垂直位置基于键入消息准备指示符被创建的时间。根据确定第二参与者正在(例如，使用触笔)绘图即时消息，设备在通信会话窗口中显示与键入消息准备指示符不同的绘图消息准备指示符(例如，绘图消息准备指示符1612，图16C)。在一些实施方案中，绘图消息准备指示符被显示在通信会话窗口的第二侧(例如，左侧)区域中。在一些实施方案中，第二侧区域中的绘图消息准备指示符的垂直位置基于绘图消息准备指示符被创建的时间。
在一些实施方案中，响应于接收到与键入消息准备指示符对应的由第二参与者准备的即时消息：设备停止显示(1708)键入消息准备指示符；并且在通信会话窗口中显示包含由第二参与者准备的即时消息的内容气泡。例如，响应于接收到与键入消息准备指示符对应的由第二参与者准备的即时消息：设备停止显示键入消息准备指示符1608(图16A)，并且在通信会话窗口中显示包含由第二参与者准备的即时消息1610(图16B)的内容气泡。
在一些实施方案中，响应于接收到与绘图消息准备指示符对应的由第二参与者准备的即时消息：设备停止显示(1710)绘图消息准备指示符；并且在通信会话窗口中显示包含由第二参与者准备的包括绘图即时消息的即时消息的内容气泡。例如，响应于接收到与绘图消息准备指示符对应的由第二参与者准备的即时消息，设备停止显示绘图消息准备指示符1612(图 16C)，并且在通信会话窗口中显示包含由第二参与者准备的包括绘图即时消息的即时消息1614(图16D)的内容气泡。
在一些实施方案中，所显示的内容气泡根据绘图即时消息的大小来确定大小(1712)(例如，当发送绘图即时消息时，所显示的内容气泡中的绘图画布被裁剪以适应所绘制的内容)。在一些实施方案中，绘图即时消息被调整大小以适应其中将在发送者侧上显示该消息的内容气泡/区域。
在一些实施方案中，显示包含绘图即时消息的内容气泡包括改变绘图即时消息的大小(1714)，以适配在触敏显示器上的通信会话窗口内。
设备检测(1716)与用于准备通信的请求对应的输入。在一些实施方案中，在检测到输入之前，内容输入区域(例如，键入输入区域)已被显示。在一些实施方案中，与用于发起通信的请求对应的输入使得内容输入区域被显示。
响应于检测到(1718)与用于准备通信的请求对应的输入：根据确定输入为手指输入(例如，图16D中的手指输入1616)，设备显示(1720)用于键入文本消息(例如，具有文本的即时消息)的键盘(例如，图16E中的键盘1620)；并且根据确定输入为触笔输入(例如，图16F中的利用触笔 203作出的轻击输入)，设备显示(1722)用于创建绘图消息(例如，具有绘图的即时消息)的绘图画布(例如，图16G中的画布1622)。在一些实施方案中，绘图画布被配置为从触笔接收自由形式输入。在一些实施方案中，响应于检测到与用于准备通信的请求对应的输入，显示绘图画布而不显示键盘(图16G)。在一些实施方案中，一个或多个绘图工具(诸如调色板1636)与绘图画布一起被显示。
在一些实施方案中，与用于准备通信的请求对应的输入在(位于)通信应用程序的用户界面中的具有第一尺寸的所显示的键入输入区域中发生 (例如，图16D和图16F中的键入输入区域1618)；绘图画布具有大于具有第一尺寸的键入输入区域的第二尺寸；并且根据确定该输入为触笔输入，具有第二尺寸的绘图画布替换(1724)具有第一尺寸的键入输入区域(例如，如图16F-16H所示的)。在一些实施方案中，根据确定输入为触笔输入，显示将具有第一尺寸的键入输入区域过渡到具有第二尺寸的绘图画布的动画(例如，从图16F中的键入输入区域1618转变为图16G中的绘图画布1622)。
在一些实施方案中，根据确定输入为手指输入，维持(1726)对具有第一尺寸的键入输入区域的显示。例如，响应于手指输入1616，从图16D- 16E维持对键入输入区域1618的显示。
在一些实施方案中，绘图画布大于(1728)用于键入输入的内容输入区域的初始尺寸。例如，绘图画布1622(图16G)大于键入输入区域1618 (图16F)。在一些实施方案中，设备显示从键入内容输入区域1618(图 16F)到绘图画布1622(图16G)的平滑动画过渡。在一些实施方案中，响应于检测到绘图画布1622中的手指手势(例如，利用手指接触1624作出的轻击手势，图16G)或其他用户输入，设备显示从绘图画布1622(图 16G)到键入内容输入区域1618(图16E)的平滑过渡。
在一些实施方案中，在显示用于创建绘图消息的绘图画布时(例如，如图16G所示)，设备检测(1730)对用于键入输入的请求(例如，利用手指接触1624作出的轻击手势，图16G)；并且响应于检测到对用于键入输入的请求，设备利用对键入输入的内容输入区域的显示来替换对的显示绘图画布的显示，并且任选地还显示用于编写键入消息的键盘(例如，如图 16E所示)。
在一些实施方案中，在显示绘图画布时，设备显示(1732)具有根据一个或多个触笔输入作出的一个或多个标记的绘图(例如，图16H中的绘图 1626)；并且响应于检测到与用于发送绘图的请求对应的输入(例如，发送按钮1628上的手指输入1627)，设备发送绘图并停止显示绘图画布(例如，如图16J所示的)。在一些实施方案中，对绘图画布的显示被对比绘图画布小的键入输入区域(例如，绘图画布1622被图16J中的键入输入区域1618替换，图16H)的显示替换。在一些实施方案中，当绘图发送之后，维持滴哦绘图画布的显示(例如，如图16I所示的)。
在一些实施方案中，设备在绘图画布中插入(1734)数字图像并且显示用于在数字图像上绘图的自定义颜色调色板，该自定义颜色调色板基于数字图像的颜色(例如，如图16K-16L所示的)。在一些实施方案中，在插入数字图像之后，触笔的触按触发对自定义颜色调色板的显示。在一些实施方案中，响应于利用触笔输入(例如，利用触笔轻击手势而不是图16K 中的手指输入1632)来选择数字图像，显示自定义调色板，而不响应于利用手指输入选择数字图像来显示自定义调色板。
应当理解，对图17A-17C中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图17A-17C所述的方法1700。例如，以上参考方法1700所述的接触、手势和动画任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的接触、手势和动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图18A-18B为示出了根据一些实施方案的用于利用触笔输入和手指输入来准备消息的方法1800的流程图。方法1800在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。方法1800中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1800提供了一种在通信中便于在数字图像上绘图的方式(例如，其上被绘图并作为即时消息发送的数字照片)。设备通过在通信应用程序的输入区域中显示数字图像并且还显示包含用于在数字图像上绘图的颜色的调色板来对特定数字图像的选择进行响应。在调色板中所显示的颜色基于数字图像所包含的颜色。因此，用户可以在所选择的数字图像上使用适于数字图像的颜色立即开始绘图。当利用触笔输入和手指输入来准备消息时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使用户能够更快且更有效地用触笔输入和手指输入输入绘图消息，从而节省了功率并且增加了电池两次充电之间的时间间隔。
与第一人相关联的设备在触敏显示器上显示(1802)通信应用程序的用户界面。用户界面包括第一人与第二人之间的即时消息对话，即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡，以及输入区域(例如，如图16A和图16J所示)。
设备检测(1804)对数字图像的选择。数字图像包含多种颜色。例如，图16K示出了用手指输入1632选择图像1634。
响应于检测到对数字图像的选择(1806)，设备在输入区域中显示(1808) 数字图像，并且在输入区域中显示(1810)包含用于在数字图像上绘图的颜色的调色板。例如，响应于检测到数字图像1634的选择(图16K)，设备在绘图画布1622中显示数字图像1634，并且在输入区域中显示包含用于在数字图像上绘图的颜色的调色板1636，如图16L所示。在调色板中所显示的颜色基于数字图像中所包含的多种颜色(例如，调色板中的颜色从图像中的颜色的子集中选择和/或导出，诸如数字图像中N次最频繁出现的颜色 (其中N为整数))。
设备检测(1812)用于选择调色板中的第一颜色的输入(例如，如图16L 所示，检测用触笔或手指在调色板的第一颜色上的轻击)。
当选择(1814)调色板中的第一种颜色时，设备检测(1816)输入区域中的数字图像上的一个或多个绘图输入(例如，检测用触笔或手指在输入区域中的数字图像上作出的手势)，并且根据所述一个或多个绘图输入在数字图像上利用第一颜色进行绘制(1818)(例如，如图16M所示)。
设备检测(1820)用于将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人的请求(例如，检测在图16M中用触笔或手指 1638在发送按钮1627上作出的轻击)。
响应于检测到(1822)用于发送在其上被绘制作为即时消息的数字图像的请求：设备将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人，并且在触敏显示器上在即时消息对话中显示(1826)在其上被绘图作为即时消息的数字图像(例如，如图16N所示)。
在一些实施方案中，响应于检测到用于发送在其上被绘制作为即时消息的数字图像的请求，设备停止(1828)显示包含用于在输入区域中的数字图像上绘图的颜色的调色板，调色板中的颜色基于数字图像中包含的多种颜色。例如，在图16N中，在数字图像发送之后，不再显示具有基于数字图像所包含颜色的颜色的调色板。
应当理解，对图18A-18B中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图18A-18B所述的方法1800。例如，以上参考方法1800所述的移动、接触、手势和动画任选地具有本文参考本文所述的其他方法 (例如，在上述具体实施方式的第一段中列出的那些方法)所述的移动、接触、手势和动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
图19为示出了根据一些实施方案的用于利用触笔输入和手指输入来准备消息的方法1900的流程图。方法1900在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。方法1900中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法1900提供了一种向即时消息对话中的第一用户指示第二用户是否正在键入回复或绘制回复的方式。如果第二用户正在键入回复，设备显示键入消息准备指示符，而如果第二用户正在绘制回复，则设备显示绘图消息准备指示符。具有多于一种类型的消息准备指示符可在即时消息对话期间更准确地通知用户接下来是什么内容(其中在对话期间另一方对于第一用户而言通常是不可见的)。此信息有助于用户在设备上使用即时消息应用程序时管理他们的时间，尤其是如果用户正在设备上使用其他应用程序进行多任务处理时。当用触笔输入和手指输入进行即时消息对话时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使用户能够更快且更有效地进行即时消息对话，从而节省了功率并且增加了电池两次充电之间的时间间隔。
与第一人相关联的设备在触敏显示器上显示(1902)通信应用程序的用户界面。用户界面包括第一人与第二人之间的即时消息对话(例如，图1 中的对话1604)。即时消息对话显示具有在第一人和第二人之间交换的即时消息(例如，图1中的消息1605和消息1606)的内容气泡，以及输入区域(例如，输入区域1618)。
设备接收(1904)用于指示第二人正在准备即时消息的信号。
响应于接收到(1906)用于指示第二人正在准备即时消息的信号：根据确定第二人正在(例如，使用键盘)键入即时消息，设备在通信应用程序的用户界面中显示(1908)键入消息准备指示符(例如，图16A中的键入消息准备指示符1608)。在一些实施方案中，键入消息准备指示符显示在通信会话窗口的第二侧(例如，左侧)区域中。在一些实施方案中，第二侧区域中的键入消息准备指示符的垂直位置基于键入消息准备指示符创建的时间。
响应于接收到(1906)用于指示第二人正在准备即时消息的信号：根据确定第二人正在(例如，使用触笔)绘图即时消息，设备在通信应用程序的用户界面中显示(1910)不同于键入消息准备指示符的绘图消息准备指示符 (例如，图16C中的绘图消息准备指示符1612)。在一些实施方案中，绘图消息准备指示符被显示在通信会话窗口的第二侧(例如，左侧)区域中。在一些实施方案中，第二侧区域中的绘图消息准备指示符的垂直位置基于绘图消息准备指示符创建的时间。
设备接收(1912)由第二人准备的即时消息。
响应于接收到(1914)与键入消息准备指示符对应的由第二人准备的即时消息：设备停止(1916)显示键入消息准备指示符或绘图消息准备指示符，并且在即时消息对话中显示(1918)包含由第二人准备的即时消息的内容气泡。例如，图16A中的键入消息准备指示符1608被图16B中的对应键入即时消息1610替换。例如，图16C中的绘图消息准备指示符1612被图16D 中的对应绘图即时消息1614替换。
应当理解，图19中的操作被描述的特定次序仅为示例性的，并非旨在指示所述次序为操作可以被执行的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图 19所述的方法1900。例如，以上参考方法1900所述的输入和动画任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的输入和动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图20A示出了根据各种所述实施方案的原理进行配置的电子设备2000的功能框图。该设备的功能块任选地由执行各种所描述的实施方案的原理的硬件、软件、固件或它们的组合来实现。本领域的技术人员应当理解，图20A中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图20A所示，电子设备2000包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元2002；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元2006；以及与触敏显示器单元2002和一个或多个传感器单元2006耦接在一起的处理单元2008。在一些实施方案中，处理单元2008包括显示启用单元2010、检测单元 2012、接收单元2014、替换单元2016、发送单元2018、以及插入单元 2020。
该处理单元2008被配置为：在触敏显示器单元2002上启用对通信应用程序的用户界面的显示(例如，利用显示启用单元2010)；检测与用于准备通信的请求对应的输入(例如，利用检测单元2012)；并且响应于检测到与用于准备通信的请求对应的输入：根据确定输入为手指输入，启用对用于键入文本消息的键盘的显示(例如，利用显示启用单元2010)；并且根据确定输入为触笔输入，启用对用于创建绘图消息的绘图画布的显示 (例如，利用显示启用单元2010)。
根据一些实施方案，图20B示出了根据各种所述实施方案的原理进行配置的电子设备2030的功能框图。该设备的功能块任选地由执行各种所描述的实施方案的原理的硬件、软件、固件或它们的组合来实现。本领域的技术人员应当理解，图20B中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图20B所示，与第一人相关联的电子设备2030包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元2032；以及与触敏显示器单元2032耦接在一起的处理单元2038。在一些实施方案中，处理单元2038包括显示启用单元2040、检测单元2042、绘图单元2044、发送单元2046、以及接收单元2048。
该处理单元2038被配置为：在触敏显示器单元2032上启用对通信应用程序的用户界面的显示(例如，利用显示启用单元2040)，该用户界面包括第一人与第二人之间的即时消息对话，该即时消息对话显示具有在第一人和第二人之间交换的即时消息的内容气泡，以及输入区域；检测对数字图像的选择(例如，利用检测单元2042)，该数字图像包含多种颜色；响应于检测到对数字图像的选择：在输入区域中启用对数字图像的显示 (例如，利用显示启用单元2040)；以及启用对包含用于在输入区域中的数字图像上绘图的颜色的调色板的显示(例如，利用显示启用单元 2040)，其中在调色板中所显示的颜色基于数字图像中所包含的多种颜色；检测用于选择调色板中的第一颜色的输入(例如，利用检测单元 2042)；当选择调色板中的第一颜色时：检测输入区域中的数字图像上的一个或多个绘图输入(例如，利用检测单元2042)；并且根据该一个或多个绘图输入在数字图像上利用第一颜色进行绘制(例如，利用绘图单元 2044)；检测用于将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人的请求(例如，利用检测单元2042)；并且响应于检测到用于发送在其上被绘制作为即时消息的数字图像的请求：将在其上被绘制作为即时消息的数字图像发送至即时消息对话中的第二人(例如，利用发送单元2046)；并且在触敏显示器单元2032上，在即时消息对话中启用对在其上被绘图作为即时消息的数字图像的显示(例如，利用显示启用单元2040)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图17A-17C、图18A-18B以及图19所述的操作任选地由图 1A-1B或图20A-20B中所描绘的部件来实现。例如，显示操作1702、检测操作1716、显示操作1720和显示操作1722任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块 174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器 180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI 更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
在锁定设备中访问绘图应用程序
一些电子设备使用与该设备相关联的触笔来向该设备的触敏显示器提供输入的附加方法。例如，一些蜂窝电话、膝上型电脑和平板电脑具有从触笔接收输入的能力。此类电子设备增加了用户的内容生成机会的数量，包括写下备忘录和提醒，或者利用触笔来创建绘图，仅列举几个示例。通常，在此类内容生成机会中，时间至关重要，因为用户可能想要抓住新近的记忆或转瞬即逝的事件。然而，用于访问绘图应用程序的现有的方法很慢并且成为即时内容生成的障碍，尤其是当设备处于锁定密码保护状态时。在设备被锁定时访问设备上的绘图应用程序通常需要多个步骤，当快速使用是有益的或所需的时，这些步骤阻碍立即使用绘图应用程序。下面的实施方案通过使得用户能够使用来自触笔的输入在锁定屏幕用户界面上方开始绘制该绘图的一个或多个标记，并且然后利用限制会话中的绘图应用程序来替换锁定屏幕用户界面并且在绘图应用程序中显示在锁定屏幕用户界面上方绘制的一个或多个标记来解决这个问题。
下面，图21A-21Q示出了用于访问锁定设备中的绘图应用程序的示例性用户界面。图22A-22B、图23A-23B和图24A-24B为示出了访问锁定设备中绘图应用程序的方法的流程图。图21A-21Q中的用户界面用于示出图 22A-22B、图23A-23B、和图24A-24B中的过程。
图21A-21Q示出了根据一些实施方案的用于访问锁定设备中的绘图应用程序的示例性用户界面。这些附图中的用户界面用于示出如下所述的过程，包括图22A-22B、图23A-23B和图24A-24B中的过程。尽管将参考触摸屏显示器(其中例如在触摸屏112上组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 21A-21Q、图22A-22B、图23A-23B以及图24A-24B所述的实施方案将参考在具有触敏显示器系统112(也被简称为触摸屏112)的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650上显示图21A-21Q所示的用户界面时在触敏表面651上(或附近)检测到图21A-21Q中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似的操作。
图21A-21Q示出了根据一些实施方案的用于访问锁定设备中的应用程序(例如，绘图应用程序)的示例性用户界面。虽然图21A示出了具有设备100的附加细节(例如，扬声器111、光学传感器164、接近传感器166 等)的触摸屏112，但是为了清楚起见，图21B-21Q仅示出了设备100的触摸屏112，而没有示出设备100的其他细节。另外，图21A-21Q示出了从触敏表面正上方的视点(例如，设备100的触摸屏112)观察的示例。
图21A示出了在设备100的触摸屏112上显示锁定屏幕用户界面(例如，锁定屏幕用户界面2100)的示例。在一些实施方案中，当用户在设备 100处于锁定状态中时激活设备100上的物理按钮(例如，下压按钮206或“home”按钮或菜单按钮204)时，显示锁定屏幕用户界面2100。在一些实施方案中，锁定屏幕用户界面2100包括锁定屏幕图像、当前时间604、电池状态指示符606、和/或其他信息。在一些实施方案中，锁定屏幕用户界面2100包括用于对设备进行解锁的用户界面对象，诸如虚拟通道2104 中的解锁图像对象2102。例如，使用手势(例如，图21P中的拖动手势 2105)将解锁图像对象2102从通道2104的端部拖动到另端部来对设备100 进行解锁。如果设备100受密码保护(有时被称为密码保护)，则当将对象2102拖过通道2104时，显示解锁用户界面2140，如图21Q所示。在一些实施方案中，用户使用小键盘2109来输入密码。如果输入正确的密码，则设备100被解锁。另选地，在一些实施方案中，设备100包括用于认证用户的指纹传感器，并且使用用户指纹来对设备100进行解锁。
图21B-21E示出了响应于从触摸屏112上抬离(例如，触笔203)而显示绘图应用程序的示例。图21B-21C示出了在锁定屏幕用户界面2100上显示与来自与设备100相关联的触笔(例如，触笔203)的第一输入对应的一个或多个标记(例如，图21B中的标记2120-a和图21C中的标记2120- b)。在一些实施方案中，设备100被配置为检测来自与设备相关联的电子笔(例如，触笔203)的信号。在一些实施方案中，来自电子笔的检测信号可操作地将触笔与设备连接(或耦接)在一起。在图21C中，标记2120-b 完成并且触笔203刚刚抬离触摸屏112。
图21D示出了响应于来自触笔的第二输入而以限制模式显示绘图应用程序的示例(并且跳过图21Q中的解锁用户界面2140)。在图21C-21D的示例中，在图21C中的触笔203的抬离之后，在具有标记2120-b(在图 21C中的锁定屏幕用户界面2100上绘制的标记)的图21D中显示了具有新建备忘录输入用户界面2110的绘图应用程序。如图21D所示，新建备忘录输入用户界面2110包括绘图输入区域2118、图标(例如，导航图标 2112、文本图标2114和相机图标2116)、以及工具栏2130。在一些实施方案中，工具栏2130包括用于改变输入颜色、添加新备忘录、和/或撤销标记的选项。
图21E示出了在限制会话中的绘图应用程序的用户界面中绘制一个或多个附加标记的示例。例如，在图21E中，将书写提醒“买咖啡！”的附加标记添加至标记2120-b。在一些实施方案中，利用触笔作出的轻扫手势 (例如，轻扫手势2132)使用户返回到锁定屏幕用户界面(例如，锁定屏幕用户界面2100)。
图21B-21E示出了利用触笔作出的用户输入的示例。在一些实施方案中，用户输入由手指接触而非触笔作出。在其他实施方案中，与基于触笔的输入不同，手指输入不会在锁定屏幕用户界面上绘制(例如，创建标记)和/或不会导致对绘图应用程序的显示。
图21F-21H示出了响应于利用触笔(例如，触笔203)在触摸屏112 上进行轻击来显示绘图应用程序的示例。图21F-21G示出了利用触笔(例如，触笔203)作出的轻击手势(例如，轻击手势2107)，并且响应于轻击手势而以限制模式来显示绘图应用程序(并且跳过图21Q中的解锁用户界面2140)的示例。图21H示出了在限制会话中的绘图应用程序的用户界面(例如，用户界面2110)中显示由触笔作出的一个或多个标记(例如，标记2134和标记2136)的示例。在一些实施方案中，如果轻击手势为利用手指执行的，则不显示绘图应用程序。
图21I-21L示出了响应于用触笔(例如，触笔203)从触摸屏112抬离而显示绘图应用程序的示例。图21I示出了在锁定屏幕用户界面2100上显示与来自与设备100相关联的触笔(例如，触笔203)的输入对应的标记(例如，通过描摹锁定屏幕图像上的狗而创建的标记2122)的示例。响应于触笔203的抬离，设备100以限制模式来显示绘图应用程序，并且显示在锁定屏幕用户界面2100上作出的标记2122，如图21J所示。然后，用户可在绘图应用程序的限制会话中继续绘图(例如，利用标记2124、标记 2126、和标记2128)，如图21K所示。响应于撤销对按钮的选择(例如，利用图21L中的手势2134)，在绘图应用程序的当前限制会话中作出的标记被逐个撤销。以图21K为示例，用户绘制标记2122，然后绘制标记 2124、标记2126、并且然后标记2128。然后，一旦选择了撤销按钮，标记 2128便被删除。在再次选择撤销按钮之后，标记2126被删除，从而得到图 21L。在一些实施方案中，在绘图应用程序的限制会话中时，允许用户访问和编辑在绘图应用程序的当前限制会话期间创建的内容，但不允许访问在绘图应用程序的无限制会话期间创建的内容以及在绘图应用程序的先前限制会话期间创建的内容。在一些实施方案中，当处于绘图应用程序的限制会话中时，绘图应用程序具有有限的功能(例如，选择图标诸如导航图标 2112、文本图标2114、和/或相机图标2116不起作用)。
图21M-21O示出了响应于利用触笔(例如，触笔203)从触摸屏112 的边缘轻扫而显示绘图应用程序的示例。图21M示出了在锁定屏幕用户界面2100上显示与来自与设备100相关联的触笔的输入对应的一个或多个标记(例如标记2141和标记2142)的示例。在该示例中，触笔203的抬离 (例如，介于作出标记2141和作出标记2142之间的触笔203的抬离)不会导致对绘图应用程序的显示。相反，响应于利用触笔203从触摸屏112 的边缘轻扫(例如，使用图21N中的轻扫手势2106)，设备100以限制模式来执行绘图应用程序，并且显示在锁定屏幕用户界面上所显示的一个或多个标记(例如，标记2141和标记2142)，如图21O所示。
图22A-22B为示出了根据一些实施方案的访问锁定设备中的应用程序 (例如，绘图应用程序)的方法2200的流程图。方法2200在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器(也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。例如，该设备被配置为检测来自电子笔的信号。在一些实施方案中，来自电子笔的检测信号可操作地将触笔与设备连接(或耦接)在一起。方法2200中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法2200使得用户能够在锁定屏幕用户界面上立即开始绘图，并且然后提供无缝的方式以在限制会话中的绘图应用程序中继续绘图，从而创建更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
在电子设备处于锁定状态中时(2202)，设备在触敏显示器上显示(2204) 锁定屏幕用户界面。例如，在设备100处于锁定状态中时，设备100显示图21A中的锁定屏幕用户界面2100。在一些实施方案中，锁定屏幕用户界面包括用于对设备进行解锁的用户界面对象，诸如虚拟通道2104中的解锁图像对象2102，如图21A所示。在一些实施方案中，设备包括用于认证用户的指纹传感器，并且使用用户指纹来对设备进行解锁。
当在触敏显示器上显示锁定屏幕用户界面时，设备检测(2206)来自触笔的用于在触敏显示器上进行绘制的第一输入。例如，在图21B中，设备 100检测来自触笔203的用于在触摸屏112上进行绘制的第一输入。在一些实施方案中，第一输入为利用手指接触而非触笔作出的。在其他实施方案中，与基于触笔的输入相反，手指输入不会在触敏显示器上绘图和/或不会导致以限制模式来显示绘图应用程序(如下文结合操作2210所述的)。
响应于检测到来自触笔的用于进行绘制的第一输入，设备在锁定屏幕用户界面上显示(2208)与来自触笔的第一输入对应的绘图的一个或多个标记。在图21B中，例如，设备100在锁定屏幕用户界面2100上显示与来自触笔203的第一输入对应的标记2120-a。又如，在图21I中，设备100在锁定屏幕用户界面2100上显示与来自触笔203的第一输入对应的标记2122。
当在锁定屏幕用户界面上显示与来自触笔的第一输入对应的绘图的一个或多个标记时，设备检测来自触笔的以限制模式显示绘图应用程序的第二输入，并且响应于检测到来自触笔的用于显示绘图应用程序的第二输入，设备以限制模式来执行绘图应用程序，并在绘图应用程序中显示(2210) 该绘图的一个或多个标记。例如，当在锁定屏幕用户界面2100上显示标记 2122(在图21I中)时，设备100检测来自触笔203的以限制模式显示绘图应用程序的第二输入(例如，如图21I所示，从触摸屏112上抬离触笔 203)，并且响应于检测到第二输入(例如，抬离)，设备以限制模式来执行绘图应用程序，并在绘图应用程序中显示标记2122，如图21J所示。在绘图应用程序中所显示的一个或多个标记包括在锁定屏幕用户界面上所显示的一个或多个标记。在一些实施方案中，第二输入包括利用触笔从触敏显示器的边缘作出的轻扫手势(例如，图21N中的触摸屏112上的轻扫手势2106)、利用触笔在触敏显示器上作出的轻击手势(例如，图21F中的触摸屏112上的轻击手势2107)、和/或将触笔从触敏显示器上抬离(例如，当在锁定屏幕用户界面上绘制标记的拖动手势结束时，如图21C所示，或在轻击手势结束时，如图21F所示)。
在一些实施方案中，来自触笔的显示绘图应用程序的第二输入包括 (2212)利用触笔从触敏显示器的边缘进行轻扫。例如，图21N示出了触摸屏112上的作为来自触笔203的用于显示绘图应用程序的第二输入的轻扫手势2106。
在一些实施方案中，来自触笔的用于显示绘图应用程序的第二输入包括(2214)利用触笔对触敏显示器的轻击。例如，图21F示出了触摸屏112上的作为来自触笔203的用于显示绘图应用程序的第二输入的轻击手势 2107。尽管在图21F中未示出，但是在一些实施方案中，在轻击手势2107 之前，与来自触笔的第一输入对应的一个或多个标记被显示在锁定屏幕用户界面上。
在一些实施方案中，来自触笔的显示绘图应用程序的第二输入包括 (2216)利用触笔从触敏显示器的抬离。例如，图21C示出了作为来自触笔 203的用于显示绘图应用程序的第二输入的触笔203从触摸屏112的抬离 (当在锁定屏幕用户界面2100上绘制标记2120-b的拖动手势结束时)。另选地，图21F示出了作为来自触笔203的用于显示绘图应用程序的第二输入的触笔203从触摸屏112的抬离(当轻击手势2107结束时)。
在一些实施方案中，当以限制模式来执行绘图应用程序时，设备使得 (2218)用户能够访问在绘图应用程序的当前限制会话期间创建的内容，而无需访问在绘图应用程序的无限制会话期间创建的内容以及在绘图应用程序的先前限制会话期间创建的内容。例如，如果图21B-21E在时间上在图 21I-21L之前发生，则当在图21J-21L中以限制模式来执行绘图应用程序时时，设备100使得用户能够访问在当前限制会话期间(例如，在图21J-21L 的限制会话期间)所创建的内容，而无需访问在绘图应用程序的无限制会话期间(例如，在设备100处于解锁状态时)创建的内容以及在绘图应用程序的先前限制会话期间(例如，在图21D-21E的限制会话期间)所创建的内容。
应当理解，对图22A-22B中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图22A-22B所述的方法2200。例如，以上参考方法2200所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图23A-23B为示出根据一些实施方案的访问锁定设备中的应用程序 (例如，绘图应用程序)的方法2300的流程图。方法2300在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器(也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。例如，该设备被配置为检测来自电子笔的信号。在一些实施方案中，来自电子笔的检测信号可操作地将触笔与设备连接(或耦接)在一起。方法2300中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法2300提供了一种访问锁定设备中的应用程序(例如，绘图应用程序)的直观且快速的方式。当使用触笔与电子设备交互时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
在电子设备处于锁定状态中(2302)时，设备在触敏显示器上显示(2304) 锁定屏幕用户界面。例如，在设备100处于锁定状态中时，设备100显示图21A中的锁定屏幕用户界面2100。在一些实施方案中，锁定屏幕用户界面包括用于对设备进行解锁的用户界面对象，诸如虚拟通道2104中的解锁图像对象2102，如图21A所示。在一些实施方案中，设备包括用于认证用户的指纹传感器，并且使用用户指纹来对设备进行解锁。
当在触敏显示器上显示锁定屏幕用户界面时，设备检测(2306)用户输入。例如，图21F示出了当在触摸屏112上显示锁定屏幕用户界面2100时利用触笔203执行的用户输入(例如，轻击手势2107)。
根据确定用户输入为利用触笔进行的预定义输入，设备在限制会话中利用对绘图应用程序的显示来替换(2308)对锁定屏幕用户界面的显示。例如，图21F-21G示出了根据确定用户输入为利用触笔进行的预定义的输入 (例如，利用触笔作出的轻击手势)，利用对限制会话中的绘图应用程序 (具有用户界面2110)的显示来替换对锁定屏幕用户界面2100的显示。
根据确定用户输入为手指触摸输入(或其他非触笔触摸输入)，设备维持(2310)对锁定屏幕用户界面的显示并且放弃对绘图应用程序的显示。例如，如果图21F中的轻击手势2107为使用手指触摸输入(或其他非触笔触摸输入)执行的，则设备将维持对锁定屏幕用户界面2100的显示并且放弃对绘图应用程序的显示。
在一些实施方案中，当在触敏显示器上显示锁定屏幕用户界面时，设备检测(2312)来自触笔的用于在触敏显示器上进行绘制的第一输入，并且响应于检测到来自触笔的用于进行绘制的第一输入，设备在锁定屏幕用户界面上显示与来自触笔的第一输入对应的绘图的一个或多个标记。例如，在图21M中，设备100检测来自触笔203的在触摸屏112上进行绘制的第一输入，并且响应于检测到第一输入，设备100在锁定屏幕用户界面2100上显示与来自触笔203的第一输入对应的标记2141和标记2142。
在一些实施方案中，当在锁定屏幕用户界面上显示与来自触笔的第一输入对应的绘图的一个或多个标记时：设备检测(2314)来自触笔的以限制模式显示绘图应用程序的第二输入，并且响应于检测到来自触笔的用于显示绘图应用程序的第二输入，设备以限制模式来执行绘图应用程序，并在绘图应用程序中显示该绘图的一个或多个标记。例如，在图21N中，当在锁定屏幕用户界面2100上显示标记2141和标记2142时，设备100检测来自触笔203的以限制模式显示绘图应用程序的第二输入(例如，轻扫手势 2106)，并且响应于检测到第二输入(例如，轻扫手势2106)，设备以限制模式来执行绘图应用程序，并在绘图应用程序中显示标记2141和标记 2142，如图21O所示。在绘图应用程序中所显示的一个或多个标记包括在锁定屏幕用户界面上所显示的一个或多个标记。
在一些实施方案中，用户输入为轻击手势，并且：根据确定轻击手势为利用触笔执行的，设备显示(2316)绘图应用程序；并且根据确定轻击手势为利用触笔执行的，设备放弃显示绘图应用程序。例如，图21F示出了作为用户输入的轻击手势2107，并且由于该轻击手势为利用触笔(例如，触笔203)执行的，因此设备显示该绘图应用程序，如图21G所示。然而，如果图21F中的轻击手势2107为利用手指执行的，则设备放弃显示绘图应用程序(并维持对锁定屏幕用户界面2100的显示)。
在一些实施方案中，用户输入为轻扫手势，并且：根据确定轻扫手势为利用触笔执行的并且符合绘图应用程序显示标准，设备显示绘图应用程序；并且根据确定轻扫手势为利用手指执行的并且符合解锁启动标准，设备显示(2318)解锁用户界面。例如，图21N示出了作为用户输入的轻扫手势2106，并且由于该轻扫手势为利用触笔(例如，触笔203)执行的并且满足绘图应用程序显示标准，则设备显示绘图应用程序，如图21O所示。另一方面，图21P示出了作为用户输入的轻扫手势2105，并且如果该轻扫手势为利用手指执行的并且满足解锁启动标准，则设备显示解锁用户界面 (例如，解锁用户界面2140)，如图21Q所示。另选地，在一些实施方案中，根据确定轻扫手势为利用手指执行的(并且满足特定标准)，设备显示其他限制应用程序，诸如相机应用程序。在一些实施方案中，根据确定轻扫手势为利用手指执行的，设备提供对来自锁定屏幕用户界面的其他功能和/或内容的访问(例如，通知中心和/或控制中心)。
应当理解，对图23A-23B中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图23A-23B所述的方法2300。例如，以上参考方法2300所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图24A-24B为示出了根据一些实施方案的访问锁定设备中的应用程序 (例如，绘图应用程序)的方法2400的流程图。方法2400在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器(也被简称为触敏显示器)上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。例如，该设备被配置为检测来自电子笔的信号。在一些实施方案中，来自电子笔的检测信号可操作地将触笔与设备连接(或耦接)在一起。方法2400中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法2400使得用户能够在锁定屏幕用户界面上立即开始绘图，并且然后提供无缝的方式以在限制会话中的绘图应用程序中继续绘图，从而创建更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
在电子设备处于锁定状态(2402)中时，设备在触敏显示器上显示(2404) 锁定屏幕用户界面，该锁定屏幕用户界面包括锁定屏幕图像。例如，在设备100处于锁定状态中时，设备100显示图21A中的锁定屏幕用户界面 2100，该锁定屏幕用户界面2100包括狗的锁定屏幕图像。在一些实施方案中，锁定屏幕用户界面包括用于对设备进行解锁的用户界面对象，诸如虚拟通道2104中的解锁图像对象2102，如图21A所示。在一些实施方案中，设备包括用于认证用户的指纹传感器，并且使用用户指纹来对设备进行解锁。
当在触敏显示器上显示锁定屏幕用户界面时，设备检测(2406)由触笔在触敏显示器上进行的第一输入，其中检测第一输入包括：在第一输入开始时检测由触笔在触敏显示器上进行的初始接触；检测在第一输入期间触笔在触敏显示器上方的移动；以及在第一输入结束时检测触笔从触敏显示器抬离。例如，在图21I中，当在触摸屏112上显示锁定屏幕用户界面 2100时，设备检测包括触笔203在触摸屏112上的初始接触的由触笔203 进行的第一输入，检测在第一输入期间触笔203在触摸屏112上方的移动 (例如，绕着狗的头部描摹)，以及检测在第一输入结束时触笔203从触摸屏112的抬离。
响应于检测到触笔在触敏显示器上方的移动，设备根据触笔在触敏显示器上方的移动来绘制(2408)在锁定屏幕图像顶部上所显示的第一标记。例如，图21I示出了根据触笔203在触摸屏112上方的移动，在锁定屏幕图像的顶部(例如，在狗的锁定屏幕图像顶部)显示第一标记(例如，标记 2122)。在图21I中，标记2122在第一输入开始时触笔203在触摸屏112 上的初始接触的位置处开始进行绘制。在一些实施方案中，绘制第一标记与由触笔在触敏显示器上进行的初始接触的位置无关。
响应于检测到触笔从触敏显示器抬离：设备停止显示锁定屏幕用户界面，包括停止(2410)显示锁定屏幕图像；设备显示限制会话中的绘图应用程序的用户界面；并且在限制会话中的绘图应用程序的用户界面中，设备显示根据在第一输入期间触笔在触敏显示器上方的移动而绘制的第一标记。例如，图21J示出了响应于检测到图21I中的触笔203从触摸屏112的抬离，停止显示锁定屏幕用户界面2100(包括停止显示狗的锁定屏幕图像)，显示限制会话中的绘图应用程序的用户界面2110，并且在限制会话中的绘图应用程序的用户界面2110中，显示根据在第一输入期间触笔203 在触摸屏112上方的移动而绘制的标记2122(如在操作2408中所述)。
在显示限制会话中的绘图应用程序的用户界面时，设备检测(2412)由触笔在触敏显示器上进行的第二输入。例如，在图21J中，在显示限制会话中的绘图应用程序的用户界面2110时，设备100检测由触笔203进行的第二输入(例如，绘制标记2124)。
响应于检测到由触笔在触敏显示器上进行的第二输入，设备绘制(2414) 与限制会话中的绘图应用程序的用户界面中的第一标记一起被显示的第二标记。例如，图21K示出了显示与在限制会话中的绘图应用程序的用户界面2110中的第一标记(例如，标记2122)一起被显示的第二标记(例如，标记2124)。
应当理解，对图24A-24B中的操作进行描述的特定顺序仅为示例性的，并非旨在表示所述顺序为这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图24A-24B所述的方法2400。例如，以上参考方法2400所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图25示出根据各种所述实施方案的原理进行配置的电子设备2500的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图25中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图25所示，电子设备2500包括：被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元2502；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元2506；以及与触敏显示器单元2502和一个或多个传感器单元2506耦接在一起的处理单元2508。在一些实施方案中，处理单元2508包括显示启用单元2510、检测单元2512、应用程序单元2514、以及访问单元2516。
该处理单元2508被配置为：当电子设备处于锁定状态中时：在触敏显示器单元2502上启用对锁定屏幕用户界面的显示(例如，利用显示启用单元2510)；当在触敏显示器单元2502上启用对锁定屏幕用户界面的显示时，检测来自触笔的用于在触敏显示器单元2502上进行绘制的第一输入 (例如，利用检测单元2512)；响应于检测到来自触笔的用于进行绘制的第一输入，在锁定屏幕用户界面上启用对与来自触笔的第一输入对应的绘图的一个或多个标记的显示(例如，利用显示启用单元2510)；当在锁定屏幕用户界面上启用对与来自触笔的第一输入对应的绘图的一个或多个标记的显示时：检测来自触笔的以限制模式显示绘图应用程序的第二输入 (例如，利用检测单元2512)；并且响应于检测到来自触笔的用于显示绘图应用程序的第二输入，以限制模式来执行绘图应用程序(例如，利用应用程序单元2514)，并在绘图应用程序中启用对该绘图的一个或多个标记的显示(例如，利用显示启用单元2510)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图22A-22B、图23A-23B以及图24A-24B所述的操作任选地由图1A-1B或图25中所描绘的部件来实现。例如，显示操作2204、检测操作2206、显示操作2208和检测/执行操作2210任选地由事件分类器 170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序 190。事件处理程序190任选地使用或调用数据更新器176或对象更新器 177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190 访问相应GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
使用触笔来选择并使用虚拟绘图工具
电子设备可使用触笔来模拟各种虚拟绘图工具。用于选择特定虚拟绘图工具的现有方法为繁琐且低效的。这里，设备基于满足特定选择标准的触笔的倾斜角来选择虚拟绘图工具。这为电子设备提供了一种在两种不同的虚拟绘图工具(诸如钢笔和荧光笔)之间进行切换的快速、简便的方法。
图26A-26H示出了根据一些实施方案的用于使用触笔来选择并使用虚拟绘图工具的示例性用户界面。这些附图中的用户界面用于示出如下所述的过程，包括图27A-27C和图28中的过程。尽管将参考触摸屏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备为便携式多功能设备100，显示器为触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 26A-26H和图27A-27C以及图28所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112 上所检测到的两个或更多个接触的重心。然而，响应于在显示器650以及焦点选择器上显示图26A-26H所示的用户界面时在触敏表面651上检测到图26A-26H中所描述的接触，任选地在具有显示器650和独立触敏表面 651的设备上执行类似的操作。图26A-26H示出了从两个视点观察的示例：具有轴508的触敏表面(例如，设备100的触摸屏112)正上方的视点和具有轴590,592,594(依次为x轴、y轴、z轴)的触敏表面的侧视点，其包括具有位置(例如，504)和对应指示(516)的触笔(例如，203)。
图26A示出了通过触笔在电子文档(即，电子画布2601)上生成的标记2604-a的示例。触笔的位置状态在触敏表面正上方的视点中示出，从而显示了取向506和位置504-a，以及位于正在生成的当前标记2604的末端的指示516-a。在图26A中，位置和指示彼此偏移。侧视点示出了相对于法线(平行于z轴)510的触笔的倾斜角2606。当触笔垂直/正交于触敏表面时，倾斜角为零，并且当触笔倾斜得接近平行于触敏表面时，倾斜角朝向 90度增加。在一些实施方案中，触笔的倾斜角为根据选择标准来确定用于生成标记的虚拟绘图工具的特征。例如，如果倾斜角小于预定义的阈值角度(诸如10度、15度、20度或25度)，则设备选择第一虚拟绘图工具，诸如虚拟钢笔或铅笔。侧视点示出了触笔到触敏表面的距离2608(沿z轴测量)，使得触笔和触敏表面之间存在接触。在一些实施方案中，为了生成标记，触笔和触敏表面之间的接触为必需的。
继图26A，图26B示出了由与触笔203协同工作的设备生成的完成的标记2604-b。触笔的位置504-b和指示516-b被定位成远离完成的标记。侧视点示出了相对于法线(平行于z轴)510的触笔的倾斜角2606。触笔到触敏表面的距离2614(沿z轴测量)使得触笔和触敏表面之间不存在接触。在该示例中，当触笔未接触触敏表面时，设备不生成标记。
继续图26A-26B，图26C示出了将触笔的倾斜角从倾斜角角度2606变更为包括相对于初始倾斜角角度的附加倾斜角角度2616的新倾斜角角度。当与触摸屏112接触时，触笔的新倾斜角角度将使得设备选择并使用不同的虚拟绘图工具来生成标记。例如，如果倾斜角大于相对于法线的预定义的阈值角度(诸如10度、15度、20度或25度)，则设备选择第二虚拟绘图工具，诸如虚拟荧光笔或白板笔。侧视点示出了触笔到触敏表面的距离 2614(沿z轴测量)，使得在触笔和触敏表面之间不存在接触。
继续图26A-26C，图26D示出了结合触笔的设备基于满足虚拟荧光笔 (图26D)的选择标准而不是满足虚拟钢笔(图26A)的选择标准的触笔的倾斜角使用不同的虚拟绘图工具(即荧光笔)来生成标记2618。以浅灰度而显示的荧光笔标记2618被显示在以黑色钢笔书写的先前钢笔标记2604 (即单词“highlighter”)上方。在该示例中，在触笔的输入期间，触笔的倾斜角保持大于相对于法线的预定义的阈值角度，使得设备生成标记 2604。在侧视点中，距离2620指示在触笔和触敏表面之间存在接触。
图26E-26H示出了基于满足虚拟荧光笔的选择标准的触笔的倾斜角来选择并使用第二虚拟绘图工具(例如，虚拟荧光笔)。图26E-26H还示出了在输入期间突出显示的宽度随着倾斜角减小而减小，而无需在输入期间将虚拟荧光笔切换为虚拟钢笔。
图26E示出了在进行接触之前具有大倾斜角角度2626的触笔。距离 2630大于零，并且此时不存在接触。位置504-d和指示516-d远离文本 2622“The quick brown foxjumps over the lazy dog”。
图26F示出了在进行接触之后具有大倾斜角角度2626并且在触摸屏上的文本2622上或附近移动位置504-e和指示516-e之后的触笔。距离2632 对应于触笔和触摸屏之间的接触。设备选择并使用虚拟荧光笔，而不是选择虚拟钢笔，因为该倾斜角满足虚拟荧光笔的选择标准。例如，当由触笔在触敏表面上进行的初始接触被检测到时，触笔的倾斜角2626大于预定义的角度。由于大的倾斜角角度2626，作出了宽的荧光笔标记2634-a。
图26F-26H示出了当触笔位置从504-e移动到504-f、504-g时，将荧光笔标记从2634-a延伸到2634-b，延伸到2634-c，并且指示从516-e移动到516-f，延伸到516-g。此外，触笔倾斜角从2626减小到2628，减小到 2642，这导致荧光笔标记的宽度也减小。在一些实施方案中，倾斜角2628 (和/或倾斜角2642)满足作为用于选择虚拟钢笔的选择标准的一部分的倾斜角角度标准。然而，如图26H所示的，由于不满足作为虚拟钢笔的选择标准的一部分的定时标准，设备在输入的剩余时间内继续使用虚拟荧光笔来作标记。
图27A-27C为示出根据一些实施方案的使用触笔模拟虚拟绘图工具的方法2700的流程图。方法2700在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。方法2700中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法2700提供了一种基于触笔的倾斜角来选择虚拟绘图工具的方式。当使用触笔生成不同虚拟工具的标记时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地在不同的虚拟绘图工具之间进行切换，从而节省了功率并且增加了电池两次充电之间的时间间隔。
设备被配置为在触敏显示器上显示电子文档(2702)。例如，图26A示出了电子文档(即电子画布2601)的示例性实施方案。在一些实施方案中，电子文档为纸张、图像、文字处理页面、书籍、演示幻灯片、电子表格等。
当在显示器上显示电子文档时，设备检测来自触笔的第一输入 (2704)，其中检测第一输入包括检测由触笔在触敏表面上进行的初始接触 (如图26A中所示，触笔203在位置504-a处与触敏表面进行接触)。
设备确定来自触笔的第一输入的多个特征，该多个特征包括触笔的倾斜角(2706)，其中触笔的倾斜角为相对于触敏表面的表面的法线的角度。在图26A中倾斜角以侧视点示出，其中触笔倾斜角2606为相对于触敏表面的法线(平行于z轴)510而言的。当触笔垂直/正交于触敏表面时，倾斜角为零，并且当触笔倾斜得接近平行于触敏表面时，倾斜角朝向90度增加。在一些实施方案中，第一输入的特征包括但不限于位置、速度、方向、取向、倾斜角、和/或强度。
根据确定倾斜角满足第一虚拟绘图工具的一个或多个选择标准 (2708)，设备选择第一虚拟绘图工具以供触笔模拟。例如，如果倾斜角小于预定义的阈值角度(诸如10度、15度、20度或25度)，设备选择虚拟钢笔或铅笔(例如，图26A)。
根据确定倾斜角满足第二虚拟绘图工具的一个或多个选择标准，设备选择第二虚拟绘图工具以供触笔模拟，其中第二虚拟绘图工具不同于第一虚拟绘图工具(2710)。例如，如果倾斜角大于预定义的阈值角度(诸如10 度、15度、20度或25度)，则设备选择虚拟荧光笔(例如，图26D和图 26F)。
在一些实施方案中，第一虚拟绘图工具的一个或多个选择标准包括当检测到由触笔在触敏表面上进行的初始接触时，触笔的倾斜角小于预定义的角度，并且第二虚拟绘图工具的一个或多个选择标准包括当检测到由触笔在触敏表面上进行的初始接触时，触笔的倾斜角大于预定义的角度 (2712)。在一些实施方案中，对于给定的输入，当触笔与触敏表面进行初始接触时所检测到的倾斜角确定将被选择并用于给定的输入的是第一虚拟绘图工具还是第二虚拟绘图工具。
在一些实施方案中，第一虚拟绘图工具的一个或多个选择标准包括在检测到由触笔在触敏表面上进行的初始接触之后的预定义的时间内触笔的平均倾斜角小于预定义的角度，并且第二虚拟绘图工具的一个或多个选择标准包括在检测到由触笔在触敏表面上进行的初始接触之后的预定义的时间内触笔的平均倾斜角大于预定义的角度(2714)。在一些实施方案中，对于给定的输入，当触笔与触敏表面进行初始接触时和/或其后的短暂的预定义时间(例如，0.05s、0.1s或0.2s)内检测到的平均倾斜角确定将被选择并用于给定的输入的是第一虚拟绘图工具还是第二虚拟绘图工具。
在一些实施方案中，第一虚拟绘图工具用于书写(2716)，并且第二虚拟绘图工具用于突出显示(例如，如图26A-26D所示)。
在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟之后，设备响应于检测到来自触笔的第一输入利用所选择的虚拟绘图工具来在电子文档中生成(2718)标记(例如，如图26A-26D所示的)。
在一些实施方案中，在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟(2720)之后，设备检测触笔在第一输入期间的倾斜角的变化，并且响应于检测到第一输入期间倾斜角的变化，在第一输入期间随着倾斜角改变而调整标记的宽度(如图26F-26H所示的，其中标记2634随着倾斜角的减小而变窄)，而无需改变所选择的虚拟绘图工具。
在一些实施方案中，随着倾斜角改变而调整标记的宽度包括在输入期间随着倾斜角增加而增加标记的宽度(2722)。在一些实施方案中，随着倾斜角改变而调整标记的宽度包括在输入期间随着倾斜角的减小而减小标记的宽度(例如，如图26F-26H所示)。
在一些实施方案中，在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟之后，所选择的虚拟绘图工具在来自触笔的第一输入中的剩余输入期间保持不变，而不管触笔的倾斜角的其间的变化(2724)。例如，一旦选择了荧光笔，虚拟绘图工具便保持荧光笔不变直到抬离(例如，图26F-26G)。
在一些实施方案中，设备检测(2726)第一输入的结束，并且响应于检测到第一输入的结束，停止在电子文档中生成标记。在一些实施方案中，检测第一输入的结束包括检测(2728)触笔从触敏表面抬离(例如，图 26C)。
在一些实施方案中，第一输入的多个特征满足第一虚拟绘图工具的一个或多个选择标准；并且响应于检测到来自触笔的第一输入，使用所选择的虚拟绘图工具在电子文档中生成标记包括基于第一虚拟绘图工具来生成标记。在此类实施方案中，当在触敏表面上连续检测到来自触笔的第一输入时：在基于第一虚拟绘图工具来生成标记之后，设备检测触笔的倾斜角的变化，使得倾斜角满足第二虚拟绘图工具的一个或多个选择标准中的一个或多个倾斜角角度标准；在检测到触笔的倾斜角的变化之后，设备检测触笔沿触敏表面的移动；并且响应于检测到触笔的移动，设备继续基于第一虚拟绘图工具来生成标记(2730)。在一些实施方案中，各个虚拟绘图元素的一个或多个选择标准包括一个或多个倾斜角角度标准和一个或多个定时标准。例如，倾斜角角度标准为倾斜角大于预定义的阈值角度，并且定时标准为对于给定的输入仅由当触笔与触敏表面进行初始接触时和/或其后的短暂的预定义时间(例如，0.05s、0.1s或0.2s)内测得的倾斜角确定相应虚拟绘图工具是否被选择并用于给定的输入。在该示例中，如果最初选择的是第一虚拟绘图工具并且在稍后的时间(即不满足定时标准的时间)满足第二虚拟绘图工具的倾斜角角度标准，则在给定的输入期间的剩余时间内保持选择并使用第一虚拟工具，即使在给定的输入期间的稍后时间满足第二虚拟工具的倾斜角角度标准时仍是如此。
在一些实施方案中，在继续基于第一绘图工具来生成标记之后：设备检测触笔从触敏表面抬离；并且在检测到触笔从触敏表面抬离之后：设备检测满足第二虚拟绘图工具的一个或多个选择标准的来自触笔的第二输入；在继续检测触笔在触敏表面上的第二输入时，设备检测触笔沿触敏表面的移动；并且响应于检测到触笔沿触敏表面的移动，设备基于第二虚拟绘图工具来生成标记(2732)。
应当理解，对图27A-27C中的操作进行描述的特定顺序仅是示例性的，并非旨在表示所述顺序是这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图27A-27C所述的方法2700。例如，以上参考方法2700所述的触笔输入任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔输入的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图28示出根据各种所述实施方案的原理进行配置的电子设备2800的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图28中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图28所示，电子设备2800包括：被配置为显示用户界面的显示单元2802；被配置为接收用户接触(包括触笔接触)的触敏表面单元2804；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元 2806；以及与显示单元2802、触敏表面单元2804和一个或多个传感器单元 2806耦接在一起的处理单元2808。在一些实施方案中，处理单元2808包括显示启用单元2810、检测单元2812、确定单元2814、选择单元2816、生成单元2818、以及调整单元2820。
处理单元2808被配置为：在显示单元2802上启用对电子文档的显示 (例如，利用显示启用单元2810)；当在显示单元2802上启用对电子文档的显示时，检测来自触笔的第一输入(例如，利用检测单元2812)，其中检测第一输入包括检测触笔在触敏表面单元2804上的初始接触；确定来自触笔的第一输入的多个特征(例如，利用确定单元2814)，该多个特征包括触笔的倾斜角，其中触笔的倾斜角为相对于触敏表面单元2804的表面的法线的角度；根据确定倾斜角满足第一虚拟绘图工具的一个或多个选择标准，选择第一虚拟绘图工具以供触笔模拟(例如，利用选择单元2816)；根据确定倾斜角满足第二虚拟绘图工具的一个或多个选择标准，选择第二虚拟绘图工具以供触笔模拟(例如，利用选择单元2816)，其中第二虚拟绘图工具不同于第一虚拟绘图工具；并且在选择第一虚拟绘图工具和第二虚拟绘图工具中的一者以供触笔模拟之后，响应于检测到来自触笔的第一输入(例如，利用检测单元2812)利用所选择的虚拟绘图工具来在电子文档中生成标记(例如，利用生成单元2818)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图27A-27C所述的操作任选地由图1A-1B或图28中所描绘的部件来实现。例如，显示操作2702、检测操作2704、确定操作2706、选择操作2708、选择操作2710和生成操作2718任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应 GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
日历事件创建
许多电子设备具有电子日历。电子日历可显示事件和相关联的信息，诸如事件开始时间、事件结束时间、事件日期、事件标题、事件位置、备忘录等。需要为用户创建将在电子日历中所显示的事件提供高效且便利的方式。这里描述的实施方案使得用户能够在触敏显示器上提供不精确的手绘输入(例如，通过手指或触笔)，从而在电子日历中创建具有精确的开始时间和结束时间的事件。
下面，图29A-29H示出了根据一些实施方案的用于日历事件创建的示例性用户界面。图30A-30D为示出了利用手绘输来入来进行日历事件创建的方法的流程图。图29A-29H中的用户界面用于示出图30A-30D中的过程。
图29A-29H示出了根据一些实施方案的用于创建日历事件的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图30A- 30D中的过程。尽管将参照触摸屏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备是具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备是便携式多功能设备100，显示器是触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 29A-29H和图30A-30D所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650以及焦点选择器上显示在图29A-29H中所示的用户界面时在触敏表面651上检测到在图29A-29H中所描述的接触，任选地在具有显示器650和独立触敏表面651 的设备上执行类似的操作。
图29A示出了用于创建日历事件的手绘输入的示例。在该示例中，设备100在触敏显示器112上显示电子日历2902。日历2902将每一天2904 显示为列2906。在图29A的示例性示例中，6月20日(星期一)为在列 2906处所指示的日期2904。每一列2906包括与例如一天中的小时数对应的子区域2908。在图29A中的示例性示例中，由上线2910(4PM)和下线 2912(5PM)界定的小时数为由子区域2908指示的小时数。图形2914对应于由接触(诸如手指202或触笔203)提供的手绘输入。手绘输入在点2916 处与触敏显示器112进行初始接触，然后沿由图形2914指示的线条在触敏显示器112上移动，直到发生接触从触敏显示器112抬离的点2918。图形 2914示出为在列2906(即，日期2904)的垂直部分2920上延伸。垂直部分2920的垂直范围与手绘输入的垂直范围相同或大致相等。例如，垂直部分2920的垂直范围可从接触与触敏显示器112的初始接触的点2916延伸到接触从触敏显示器112抬离的点2918。在图29A中的示例性示例中，根据日期2904的垂直部分2920创建的事件可具有2PM的开始时间和3:30PM 的结束时间。如下面参照图30A进一步讨论的，根据用于确定事件的开始时间和结束时间的时间增量，可由图形2914指示的手绘输入确定不同的开始时间和/或结束时间。
图29B示出了事件的替换图形的示例。在该示例中，与手绘输入对应的图形2914由预先确定的图形2922替换。在一些实施方案中，响应于与用于在日历2902中创建事件的请求对应的所接收到的输入，替换发生。例如，在提供如图形2914所示的手绘输入之后，用户可轻击图形2914来请求创建事件。事件可在日历2902中利用预先确定的图形2922来指示。在一些实施方案中，替换图形2914的预先确定的图形2922包括具有指示事件开始时间的上侧2926，以及指示结束时间的下侧2928的框2924。预先确定的图形2922的垂直范围(例如，从上侧2926到下侧2928)与垂直部分2920的垂直范围相同或大致相等。在一些实施方案中，预先确定的图形 2922可包括文本2930，诸如默认文本(例如，“新建事件”)、与手写字符对应的所识别的字符等。
图29C示出了维持对与手绘输入对应的图形2914的显示并且添加图形 2932以指示事件的开始时间和结束时间的示例。在一些实施方案中，响应于与用于在日历2902中创建事件的请求对应的所接收到的输入，维持对图形2914的显示并且添加图形2932。例如，在提供由图形2914所指示的手绘输入之后，用户可轻击图形2914以请求创建事件。事件可在日历2902 中利用图形2914和附加图形2932来指示。在一些实施方案中，附加图形 2932为具有指示事件开始时间的上侧2934以及指示结束时间的下侧2936 的框。附加图形2932的垂直范围(例如，从上侧2934到下侧2936)可与日期2904的垂直部分2920的垂直范围相同或大致相等。
图29D示出了与包括手写字符的手绘输入对应的图形2938的示例。在该示例中，设备100在触敏显示器112上显示与由接触(诸如手指202或触笔203)提供的包括文字“BookClub”以及文字周围圆圈2939的手绘输入对应的图形2938。图形2938被示出为在列2942(即，日期2944)的垂直部分2940上延伸。垂直部分2940的垂直范围与手绘输入的垂直范围相同或大致相等。在一些实施方案中，包括图形2938的日历事件被显示在日历2902中。在图29D中的示例性示例中，根据日期2944的垂直部分2940 创建的事件可具有7:30PM的开始时间和8:30PM的结束时间。如下面参照图30A进一步讨论的，根据用于确定事件的开始时间和结束时间的时间增量，可由图形2938指示的手绘输入确定不同的开始时间和/或结束时间。
图29E示出了替换手写字符中的所识别的字符的数字文本的示例。在一些实施方案中，当手绘输入(例如，如图形2938所示)包括手写字符时，手绘输入中的手写字符被识别。例如，在手绘输入(例如，由图29D 中的图形2938指示)中形成文字“Book Club”的字符被识别。在图29E 中，设备100在触敏显示器112上显示具有数字文本2946的事件2948，该数字文本包括所识别的字符“Book Club”。
图29F示出了包括图形的事件提醒的示例。在该示例中，包括图形 2952的事件提醒2950被显示在触敏显示器112上。在一些实施方案中，设备100检测当前时间是否为事件的开始时间(例如，由图形2938指示的事件的开始时间7:30)。当前时间可在日历2902中由当前时间指示符2954 和/或当前日期指示符2956以视觉方式被指示。响应于检测到当前时间为由图形2938指示的事件的开始时间，设备100显示事件提醒2950。事件提醒 2950包括与作为提醒的主题的事件的图形2938对应的图形2952。在一些实施方案中，事件提醒在日历事件之前的一个或多个预先确定的时间(例如，在事件之前的5分钟、10分钟、15分钟、30分钟和/或60分钟)显示。
图29G示出了远程电子设备2958显示从设备100接收的事件的表示的示例。在该示例中，由图形2938指示的事件从设备100发送到远程设备 2958。远程电子设备2958显示所接收的事件的表示2960。事件的表示 2960包括与所接收的事件对应的图形2938。在一些实施方案中，远程电子设备2958显示包括数字文本(例如，包括所识别的字符的数字文本2946) 的表示2960。
图29H示出了在查看与手绘输入对应的图形和查看手绘输入的替换图形之间进行切换的示例。在第一状态2962中，设备100显示与事件的手绘输入对应的图形2914,2938。在第二状态2964中，设备100显示分别替换与事件的手绘输入对应的图形2914,2938的替换图形2922,2948。
在触敏显示器112处检测到的输入可用于请求在显示与手绘输入对应的图形和手绘输入的替换图形之间切换单个事件。例如，当在触敏显示器 112上的与手绘输入对应的图形2914处接收到输入时，设备100停止显示图形2914并且在触敏显示器112上显示替换图形2922。当在触敏显示器 112上的替换图形2922处接收到输入时，设备100停止显示2922并且在触敏显示器112上显示2914。当在触敏显示器112上的与手绘输入对应的图形2938处接收到输入时，设备100停止显示图形2938并且在触敏显示器 112上显示替换图形2948。当在触敏显示器112上的图形2948处接收到输入时，设备100停止显示图形2948并且在触敏显示器112上显示图形 2938。
在触敏显示器112处检测到的输入可用于请求在显示与手绘输入对应的图形和手绘输入的替换图形之间切换多个事件。例如，当在触敏显示器 112上接收到请求切换多个事件的输入时，如果设备100正在显示与手绘输入对应的图形2914,2938，则设备100停止显示图形2914,2938并且在触敏显示器112上显示替换图形2922,2948。当在触敏显示器112上接收到用于请求切换多个事件的输入时，如果设备100正在显示与手绘输入对应的图形2922,2948，则设备100停止显示图形2922,2948并且在触敏显示器112 上显示替换图形2914,2938。
图30A-30D是示出根据一些实施方案的从手绘输入创建日历事件的方法3000的流程图。方法3000在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与其集成。在一些实施方案中，显示器与触敏表面为分开的。方法3000中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法3000提供了一种从不精确的手绘输入创建具有精确的开始时间和结束时间的日历事件的直观方式。当创建日历事件时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地创建日历事件，从而节省了功率并且增加了电池两次充电之间的时间间隔。
设备显示(3002)包括与第一天对应的区域的电子日历。在一些实施方案中，与第一天对应的区域为包括与第一天中的小时数对应的子区域的列。例如，图29A示出了被显示在设备100的触敏显示器112上的电子日历2902。日历2902包括与日期2904对应的区域2906。区域2906为包括与日期2904中的小时数对应的子区域2908的列。
在一些实施方案中，设备100包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器。
设备在触敏显示器上检测(3004)手绘输入(例如，利用手指或触笔绘制的输入)。手绘输入延伸越过(跨越)所显示的日历中的第一天的并非全部的垂直部分。例如，在图29A中，设备100检测手绘输入(由图形 2914指示)。图29A中的手绘输入延伸越过所显示的日历2902中的日期 2904的垂直部分2920。又如，在图29C中，设备100检测手绘输入(由图形2938指示)。图29C中的手绘输入延伸越过所显示的日历2902中的日期2944的垂直部分2940。
响应于检测到手绘输入，设备在第一天的垂直部分上显示(3006)与手绘输入对应的图形。例如，设备显示与手绘输入中的利用手指或触笔作出的移动对应的一个或多个电子标记，诸如线和/或点。在图29A中的示例性示例中，设备100在日期2904的垂直部分2920上显示与在触敏显示器112 上接收的手绘输入对应的图形2914。在图29C中的示例性示例中，设备 100在日期2944的垂直部分2940上显示与在触敏显示器112上接收的手绘输入对应的图形2938。
在一些实施方案中，响应于检测到手绘输入，设备确定(3008)该手绘输入是否包括手写字符(例如，利用手指或触笔书写的文本或其他字符)。例如，如图29A所示，当接收到手绘输入(例如，如图形2914所示的)时，设备100确定该手绘输入不包括手写字符。如图29D所示，当接收到手绘输入(例如，如图形2938所示的)时，设备100确定该手绘输入包括手写字符(例如，文字“Book Club”的字符)。根据确定手绘输入包括手写字符，设备识别(3010)手绘输入中的手写字符。例如，设备在手绘输入上(例如，在与手绘输入对应的图形2938上)执行光学字符识别 (OCR)，以识别手写字符。此类所识别的文本随后可由设备进行电子搜索。在一些实施方案中，响应于检测到手绘输入，识别手写字符被自动执行，而无需请求执行手写识别的明确的用户输入。在一些实施方案中，手写文本被维持在事件中，但所识别的字符被索引用于搜索，使得包括所识别的字符的文本搜索最终将返回作为结果的事件。
在一些实施方案中，在识别手写字符之后，设备维持(3012)对与手绘输入对应的图形的显示。例如，如图29D所示，在设备100识别由图形 2938所指示的手绘输入中的手写字符之后，设备100在触敏显示器112上显示图形2938。
在一些实施方案中，在识别手写字符之后，设备利用对应的所识别的字符来替换(3014)对与手写字符对应的图形的显示(例如，在显示器上，利用对应的数字文本来替换手写文本)。例如，在图29D中，示出了与手写字符对应的图形2938，并且在图29E中，图形2938被指示“Book Club”的数字文本2946替换。在一些实施方案中，当手写输入被对应的数字文本替换时，维持对不与手写字符对应的图形的显示。例如，在图29D中，由图形2938指示的手写输入包括围绕指示“Book Club”的手写字符的圆圈 2939。在一些实施方案中，当由图形2938指示的手写输入被指示“Book Club”的数字文本替换时，替换图形2948包括例如围绕数字文本2946的圆圈2939。
在第一天的垂直部分上显示与手绘输入对应的图形时，设备检测(3016) 与用于在电子日历中创建事件的请求对应的输入。
在一些实施方案中，与用于在电子日历中创建事件的请求对应的输入包括停止(3018)检测手绘输入(例如，响应于检测到正在进行手绘输入的手指或触笔的抬离，或者在自检测到正在进行手绘输入的手指或触笔的抬离以来已过去预先确定的时间之后，创建事件)。例如，在图29A中，与用于在日历2902中创建事件的请求对应的输入可包括接触从触敏显示器112 的抬离，例如在点2918处发生的抬离。
在一些实施方案中，与用于在电子日历中创建事件的请求对应的输入在与手绘输入对应的图形上被检测到(3020)(例如，第一天的垂直部分上方的图形上的轻击手势)。例如，在图29A中，当与触敏显示器112的接触在触敏显示器112显示图形2914的位置发生时，可检测与用于在日历2902 中创建事件的请求对应的输入。在图29D中，当与触敏显示器112的接触在触敏显示器112的显示图形2938的位置处发生时，可检测与用于在电子日历2902中创建事件的请求对应的输入。在一些实施方案中，图形上的手指手势(例如，轻击手势)创建事件，而图形上的触笔手势不创建事件。
响应于检测到与用于在电子日历中创建事件的请求对应的输入，设备在电子日历中的第一天中创建(3022)具有开始时间和结束时间的事件，其中事件的开始时间和结束时间与第一天的垂直部分一致。在一些实施方案中，开始时间对应于所显示的图形的顶部，并且结束时间对应于所显示的图形的底部。在一些实施方案中，开始时间对应于最靠近所显示的图形的顶部的时间增量，并且结束时间对应于最靠近所显示的图形的底部的时间增量。在一些实施方案中，时间增量为15分钟增量，使得开始时间和结束时间以:00、:15、:30或:45结束。
例如，响应于检测到与用于创建事件的请求对应的输入(例如，在图 29A中的图形2914处接收到的输入)，设备100根据第一天的垂直部分 (例如，第一天2904的垂直部分2920)来创建具有开始时间(例如，1:52 PM)和结束时间(例如，3:25PM)的事件。当开始时间对应于最靠近图形2914的顶部的时间增量，结束时间对应于最靠近图形2914的底部的时间增量，并且时间增量为15分钟增量时，则事件的开始时间为2PM并且结束时间为3:30PM。在一些实施方案中，时间增量为5分钟、10分钟、或30分钟增量。在一些实施方案中，手绘输入的垂直范围可与由用户绘制的任何时段对应，从小于一小时到多个小时。事件的时间和长度与用户自由绘制的第一天中的手绘输入的垂直部分的位置和长度一致。
在一些实施方案中，响应于检测到与用于在电子日历中创建事件的请求对应的输入，设备在第一天的垂直部分上维持(3024)对与手绘输入对应的图形的显示。例如，响应于与用于创建事件的请求对应的输入(例如，在图29A中的图形2914处接收到的输入)，设备100维持对图形2914的显示(例如，如图29C所示)。
在一些实施方案中，响应于检测到与用于在电子日历中创建事件的请求对应的输入，设备在第一天的垂直部分上维持(3026)对与手绘输入对应的图形的显示，并且添加用于指示事件的开始时间和结束时间的一个或多个图形。在一些实施方案中，设备在事件的时隙中(例如在与手绘输入对应的图形后面)添加框，其中框的顶部为开始时间，并且框的底部为结束时间。例如，响应于与用于创建事件的请求对应的输入(例如，在图29A中的图形2914处接收到的输入)，设备100维持对图形2914的显示(例如，如图29C所示)并且在图形2914后面添加框2932。框2932具有指示事件开始时间(例如，2PM)的上侧2934，以及指示事件结束时间(例如，3:30PM)的下侧2936。在一些实施方案中，设备(例如，向图形 2914)针对开始时间和结束时间来添加线条。
在一些实施方案中，响应于检测到与用于在电子日历中创建事件的请求对应的输入，设备利用对事件的预先确定的图形的显示来替换(3028)对与手绘输入对应的图形的显示。例如，设备100利用预先确定的图形2922 (如图29B所示)来替换与手绘输入对应的图形2914(如图29A所示)。
在一些实施方案中，设备检测到(3030)当前时间为事件的开始时间。响应于检测到当前时间为事件的开始时间，设备在触敏显示器上显示(3032) 事件提醒，其中所显示的事件提醒包括与手绘输入对应的图形。显示原始图形消除了正确解读/识别图形的需要。例如，在图29F中，在与由图形 2938指示的手绘输入对应的事件的开始时间，设备100显示包括与手绘输入对应的图形2952的事件提醒2950。
在一些实施方案中，设备将事件发送至远离具有触敏显示器的电子设备的第二电子设备(3034)。事件的表示被配置为和与手绘输入对应的图形一起在第二电子设备上被显示。例如，在图29G中，设备100将与图形2938 对应的事件(例如，使用通信模块128)发送至远程电子设备2958。远程电子设备2958显示与图形2938对应的事件的表示2960。由远程电子设备 2958显示的事件的表示2960包括图形2938。在一些实施方案中，在电子日历中创建事件之后，事件可被发送至其他人(例如，经由电子邮件或即时消息)，并且可像通过常规方法在电子日历中创建的日历事件那样使用。相反，在电子日历中创建事件之前，事件不能发送至其他人，也不能像用常规方法在电子日历中创建的日历事件那样使用。
在一些实施方案中，设备检测与用于在使用与手绘输入对应的图形来显示事件和使用手绘输入的替换图形来显示事件之间来回切换的请求对应的输入(3036)。响应于检测到输入，设备确定是否显示与事件的手绘输入对应的图形，或是否显示事件的手绘输入的替换图形(3038)。响应于确定显示与手绘输入对应的图形，设备停止显示与手绘输入对应的图形，并且设备使用事件的手绘输入的替换图形来显示事件(3040)。响应于确定显示手绘输入的替换图形，设备停止显示手绘输入的替换图形，并且设备使用与手绘输入对应的图形来显示事件(3042)。
例如，当设备100检测到与用于在使用与手绘输入对应的图形来显示事件和使用手绘输入的替换图形来显示事件之间来回切换的请求对应的输入时，设备100确定是显示与手绘输入对应的图形(例如，图29A中所示的图形2914)，还是显示替换图形(例如，图29B中所示的预先确定的图形2922)。响应于确定显示与手绘输入对应的图形(例如，图29A中所示的图形2914)，设备100停止显示图形2914，并且设备100显示替换图形 (例如，如图29B所示的预先确定的图形2922)。响应于确定显示是替换图形(例如，预先确定的图形2922)，设备100停止显示替换图形2922，并且设备100显示与手绘输入对应的图形2914。
在一些实施方案中，设备检测到与用于在使用与多个事件的手绘输入对应的图形来显示多个事件并使用多个事件的手绘输入的替换图形来显示多个事件之间来回切换的请求对应的输入(3044)。响应于检测到输入，设备确定显示与多个事件的手绘输入对应的图形，还是显示多个事件的手绘输入的替换图形(3046)。响应于确定显示与多个事件的手绘输入对应的图形，设备停止显示与多个事件的手绘输入对应的图形，并且设备使用多个事件的手绘输入的替换图形来显示多个事件(3048)。响应于确定显示多个事件的手绘输入的替换图形，设备停止显示多个事件的手绘输入的替换图形，并且设备使用与多个事件的手绘输入对应的图形来显示多个事件(3050)。
例如，在图29H中，在2962所示的第一状态中，设备100使用与手绘输入对应的图形2914和2938来显示多个事件。当设备100检测到与用于在使用与多个事件的手绘输入对应的图形来显示多个事件并使用多个事件的手绘输入的替换图形来显示多个事件之间来回切换的请求对应的输入时，设备100停止显示图形2914和2938，并且设备100显示替换图形2922和2948，如设备100的第二状态2964所示的。当设备100处于2964 所示的第二状态中时，如果设备100检测到与用于在使用与多个事件的手绘输入对应的图形来显示多个事件并使用多个事件的手绘输入的替换图形来显示多个事件之间来回切换的请求对应的输入，设备100停止显示替换图形2922和2948，并且设备100显示与手绘输入对应的图形2914和2938，如设备100的第一状态2962所示的。
应当理解，对图30A-30D中的操作进行描述的特定顺序仅是示例性的，并非旨在表示所述顺序是这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图30A-30D所述的方法3000。例如，以上参考方法3000所述的接触、手势和用户界面对象(例如，图形)任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的接触、手势和用户界面对象(例如，图形)的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图31示出根据各种所述实施方案的原理进行配置的电子设备3100的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图31中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图31所示，电子设备3100包括：触敏显示器单元3102；以及与触敏显示器单元3102耦接在一起的处理单元3104。在一些实施方案中，处理单元3104包括创建单元3106、确定单元3108、识别单元3110、维持单元 3112、替换单元3114、添加单元3116、检测单元3118、以及停止单元 3120。
触敏显示器单元3102被配置为在触敏显示器单元3102上显示电子日历，所显示的日历包括与第一天对应的区域。触敏显示器单元3102被进一步配置为检测触敏显示器单元3102上的手绘输入，其中该手绘输入在所显示的日历中第一天的并非全部的垂直部分上延伸。触敏显示器单元3102被进一步配置为响应于检测到该手绘输入，在第一天的垂直部分上显示与该手绘输入对应的图形；并且当在第一天的垂直部分上显示与该手绘输入对应的图形时，检测与用于在电子日历中创建事件的请求对应的输入。
处理单元3104被配置为响应于检测到与用于在电子日历中创建事件的请求对应的输入，在电子日历中的第一天中创建具有开始时间和结束时间的事件(例如，利用创建单元3106)，其中事件的开始时间和结束时间与该天的垂直部分一致。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图30A-30D所述的操作任选地由图1A-1B或图31中所描绘的部件来实现。例如，检测操作3004,3016和创建操作3022任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170 中的事件监视器171检测触敏显示器112上的接触，并且事件分配器模块 174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器 180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190 任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器 178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
选择视频的一部分
许多电子设备具有用于视频编辑的图形用户界面。通常需要在视频编辑会话期间选择视频的一部分。例如，用户可能希望选择视频的一部分来预览视频的所选择的部分，对视频的所选择的部分执行操作等。下面的实施方案通过允许用户在触敏显示器处使用接触诸如触笔、手指等提供不精确的输入但精确地选择视频的一部分来改进现有的方法。
下面，图32A-32F示出了用于选择视频的一部分的示例性用户界面。图33A-33B为示出选择视频的一部分的方法的流程图。图32A-32F中的用户界面用于示出图33A-33B中的过程。
图32A-32F示出了根据一些实施方案的用于选择视频的一部分的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图 33A-33B中的过程。尽管将参照触摸屏显示器(其中组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备为具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备是便携式多功能设备100，显示器是触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图 32A-32F和图33A-33B所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、与手指或触笔接触对应的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650以及焦点选择器上显示在图32A-32F中所示的用户界面时在触敏表面651上检测到在图32A-32F中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似的操作。
图32A示出了用于选择视频的一部分的手势的示例。在该示例中，设备100在触敏显示器112处显示包括正被编辑的视频的时间轴区域3204的视频编辑应用程序3202。触敏显示器112检测使用与触敏显示器112的接触(例如，触笔203与触敏显示器112的接触)而提供的手势。该手势包括：触笔203与触敏显示器112在时间轴区域3204的第一时间位3206处的初始接触；初始接触之后的触笔203在触敏显示器112上的移动(例如，沿着由标记3208指示的线条)；以及触笔203在时间轴区域3204的第二时间位3210处从触敏显示器112的抬离。在一些实施方案中，当触笔203 在触敏显示器112上移动时，设备100绘制标记3208，该标记显示从初始接触的第一时间位3206到抬离的第二时间位3210的移动。响应于检测到上述手势，设备100选择在第一时间位3206开始并且在第二时间位3210 结束的视频的一部分。
在一些实施方案中，由设备100显示的视频编辑应用程序包括查看器区域3212。在触笔203与时间轴区域3204进行初始接触之后，根据触笔 203和触敏显示器112之间的接触的移动，视频在查看器区域3212中被擦除。例如，在图32A中，根据触笔203与触敏显示器112在位置3210的接触，查看器区域3212中示出了视频的第一帧。在图32C中，根据触笔203 与触敏显示器112在位置3226处的接触，在查看器区域3212中示出了视频的不同帧。
图32B示出了在视觉上区分时间轴区域的区域的示例，该区域将选自时间轴区域中的不会被选择的区域。在该示例中，当触笔203在触敏显示器112上从初始接触的第一时间位3206移动到第二时间位3210时，突出显示区域3214的宽度逐渐增加，以从第一时间位3206延伸到第二时间位 3210。在图32B中，突出显示区域3214在当触笔203在触敏显示器112上从初始接触的第一时间位3206移动之后并且刚好在第二时间位3210的抬离发生之前示出。突出显示区域3214为将要被选择的时间轴区域3204的区域。区域3216和3218为时间轴区域3204中的不会被选择的区域。图 32C-32D提供了突出显示区域的附加示例(区域3228、区域3238)。
图32C示出了使用包括折返的手势来选择视频的一部分的示例。在该示例中，手势包括：触笔203与触敏显示器112在位置3220处的接触；触笔203在触敏显示器112上方沿路径3222到位置3224的移动；以及到触笔 203从触敏显示器112的抬离发生的位置3226的随后的移动。在该示例中将被选择的时间轴区域3204的一部分由突出显示区域3228来指示。当触笔203在与时间轴区域3204接触的触敏显示器112上方从位置3220移动到位置3224时，突出显示区域3228的宽度逐渐增加，以从位置3220延伸到位置3224。当触笔203在触敏显示器112上方从位置3224移动到位置 3226时，突出显示区域3228的宽度逐渐减小，使得触笔230的位置连续地限定突出显示区域3228的边缘。
图32D示出了使用包括时间轴区域之外的接触的手势来选择视频的一部分的示例。在该示例中，例如，使用触笔203所提供的手势包括触笔203 与触敏显示器112在视频编辑应用程序3202的位置3230处的接触，该位置位于时间轴区域3204之外。触笔203在触敏显示器112上从位置3230连续移动，从而在位置3232处与时间轴区域3204进行接触。触笔203继续在触敏显示器112上沿由标记3234指示的路径移动，并且在位置3236处从触敏显示器112抬离。在该示例中将被选择的视频的一部分由时间轴区域3204的突出显示区域3238来指示。当触笔203在与时间轴区域3204接触的触敏显示器112方从位置3232移动到抬离的位置3236时，突出显示区域3238的宽度逐渐增加，以从位置3232延伸到位置3240。时间轴区域之外的位置3236在触敏显示器112上的水平位置与时间轴区域3204中的位置3240在触敏显示器112上的水平位置相同。
如图32D所示，标记3234可包括与标记3234的另一部分在视觉上区分的一部分3242。在图32D的示例中，标记3234的部分3242出现在触笔 203与触敏显示器112接触的位置3230和触笔203与时间轴区域3204接触的位置3232之间。在图32D所示的示例中，标记3234的部分3242被绘制成与标记3234的其余部分3244的颜色不同的颜色。这样，可向用户提供指示视频的所选择的部分将在触笔203与时间轴区域3204接触的点3232 处开始并且将在触笔203从触敏显示器112抬离的点3240处结束的反馈。
图32E示出了介于图32D中所示的状态和图32F所示的状态之间的视频编辑应用程序3202的中间阶段的示例。在一些实施方案中，触敏显示器 112显示标记(例如，标记3234)变成选择框3246的顶侧3248的动画 (如图32F所示)。在图32E的示例中，标记3234变平，从图32D所示的标记3234变形为图32F所示的选择框3246的顶侧3248的直线。
图32F示出了视频所选择的部分的视觉指示的示例。在该示例中，响应于检测到手势(例如，参照图32A-32D所述的任何手势)，选择正被编辑的视频的一部分。在一些实施方案中，当设备100检测到触笔203从触敏显示器112抬离时，设备100显示选择框3246。选择框3246指示视频的所选择的部分。例如，当所检测到的手势包括与时间轴3204在第一时间位3232处的初始接触时，在初始接触之后，接触在触敏显示器112上沿由标记3234指示的线条的移动、以及接触在位置3236(具有与时间轴区域 3204内的水平位置3240对应的触敏显示器112内的水平位置)处的抬离时，如图32D所示，选择框3246可包括从位置3232到位置3240的时间轴区域3204的区域。在一些实施方案中，当设备100检测到触笔203从触敏显示器112抬离时，设备100停止显示标记(例如，标记3234)并显示选择框3246。在一些实施方案中，显示标记3234变成选择框3246的一个侧边(诸如顶边3248)的动画。
图33A-33B为示出了根据一些实施方案的选择视频的一部分的方法 3300的流程图。方法3300在具有显示器和触敏表面的电子设备(例如，图 3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器为触摸屏显示器，并且触敏表面位于显示器上或与显示器集成。在一些实施方案中，显示器与触敏表面为分开的。方法3300中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法3300提供了选择视频的一部分的直观方式。该方法允许粗略或不精确的输入来精确地选择视频的一部分，从而创建更有效的人机界面。对于电池驱动的电子设备，使得用户能够更快且更有效地选择视频的一部分，从而节省了功率并且增加了电池两次充电之间的时间间隔。
设备在触敏显示器112上显示视频编辑应用程序3202(3302)。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔203的信号的一个或多个传感器。所显示的视频编辑应用程序包括正被编辑的视频的时间轴区域3204。在一些实施方案中，正被编辑的视频包括以视频的时间轴排列的多个视频片段。
设备检测由接触在触敏显示器上作出的手势(3304)。该手势包括通过接触与时间轴区域3204的初始接触。手势是例如利用手指接触或触笔接触作出的手势。初始接触在时间轴区域3204中的第一时间位(例如，如图 32A所示的3206)处发生。该手势另外包括在与时间轴区域3204初始接触之后，接触在触敏显示器112上方的移动，以及触敏显示器上的与时间轴区域3204中的第二时间位(例如，如图32A所示的3210)对应的位置处的接触的抬离。
在一些实施方案中，在与时间轴区域3204进行初始接触之前，手势中的接触与所显示的视频编辑应用程序3202在时间轴区域3204之外进行接触(3308)。例如，如图32D所示，接触在时间轴区域3204之外的点3230处触按所显示的视频编辑应用程序3202，并且然后在触敏显示器112上连续移动，直到接触在3232处与时间轴区域3204相交。接触与时间轴区域相交的点3232对应于时间轴区域3232中的第一时间位。在一些实施方案中，接触在时间轴区域3204内的点处(例如，如图32A的3206和图32C 的3220所示)触按所显示的视频编辑应用程序3202。
在一些实施方案中，设备显示诸如线条的标记(例如，图32A的 3208、图32C的3222、图32D的3234)，该标记示出了与时间轴区域 3204初始接触之后的接触在触敏显示器112上方的移动(3310)。在一些实施方案中，绘制示出了从接触在触敏显示器112上的触按到接触从触敏显示器112上抬离期间接触移动的线条，其中示出了在与时间轴区域3204初始接触之后接触在触敏显示器112上方移动的标记至少为该线条的一部分。例如，在图32D中，标记3234包括指示在与时间轴区域3204初始接触3232之前接触移动的线条的部分3242，以及指示在与时间轴区域3204 初始接触3232之后接触移动的标记3234的部分3244。
在一些实施方案中，在通过接触与时间轴区域3204初始接触之后，当接触在触敏显示器112上方移动时，设备在视觉上区分时间轴区域3204的区域，该区域将选自时间轴区域3204中不会被选择的一个或多个区域 (3312)。将被选择的时间轴区域3204的区域通过例如描影、着色和/或突出显示在视觉上进行区分。图32B的突出显示区域3214、图32C的突出显示区域3228和图32D的突出显示区域3238为时间轴区域3204的在视觉上区分的区域的示例。
在一些实施方案中，设备显示用于示出从接触在触敏显示器112上的触按到接触从触敏显示器112上抬离期间接触在触敏显示器112上方移动的标记(例如，图32D中的线条3234)(3314)。该标记包括与时间轴区域 3204初始接触3232之前的标记3234的第一部分3242。该标记包括与时间轴区域3204初始接触3232之后的标记的第二部分3244。在视觉上区分标记的第二部分3244与标记的第一部分3242。在一些实施方案中，绘制示出了从接触在触敏显示器112上的触按到接触从触敏显示器112上抬离期间的接触的移动的线条，并且在接触与时间轴区域3204的初始接触(例如， 3232)之后，该线条改变颜色、宽度、和/或其他视觉属性。
在一些实施方案中，抬离时的接触的位置(例如，位置3236)在时间轴区域3204之外，抬离时的接触的位置在触敏显示器112上具有水平位置，并且时间轴区域3204中的第二时间位(例如，3240)在显示器上具有与抬离时的接触的位置相同的水平位置(3316)。在一些实施方案中，第二时间位3240由抬离时的接触的水平位置确定，而与抬离时接触是否在时间轴区域3204之内或之外无关。例如，如图32D所示，接触的抬离在位于时间轴区域3204之外的位置3236处发生。第二时间位3240在时间轴区域3204 上的水平位置与接触抬离发生的位置3236在触敏显示器112上的水平位置相同。这样，当接触抬离发生在时间轴区域3204之外时，对视频的一部分的选择将包括到时间轴区域3204上的与时间轴区域3204之外的位置3236 的水平位置对应的位置3240的视频。
在一些实施方案中，在与时间轴区域3204初始接触(例如，图32C的 3220)之后，接触在触敏显示器112上方的移动包括接触继续移动到触敏显示器112上的与时间轴区域3204中的第三时间位(例如，3224)对应的位置(时间轴区域之内或之外)，在时间轴区域3204中第三时间位在第二时间位(例如，3226)之后，并且然后接触继续移动到触敏显示器上的与时间轴区域3204中的第二时间位(例如，3226)对应的接触的抬离的位置 (3318)。例如，在图32C中，触笔203在位置3220处与时间轴区域3204进行初始接触，在触敏显示器112上移动到第三时间位3224，然后折返到触笔203从触敏设备112抬离发生的第二时间位3226。如突出显示区域3228 所示，时间轴区域3204的将被选择的部分是初始接触位置3220和第二时间位3226之间的区域。
响应于检测到触敏显示器112上通过接触作出的手势，设备选择正被编辑的视频的一部分(3306)。例如，设备可以选择视频的一部分用于剪辑、复制、修剪或其他视频编辑操作。视频的所选择的部分在第一时间位处开始并在第二时间位处结束。例如，与图32A中所示的手势对应的视频的所选择的部分将在第一时间位3206开始并且在第二时间位3210结束。又如，与图32C中所示的手势对应的视频的所选择的部分将在第一时间位 3220开始并且在第二时间位3226结束。在其他示例中，与图32D中所示的手势对应的视频的所选择的部分将在第一时间位3232开始并且在第二时间位3240结束。
在一些实施方案中，设备显示正被编辑的视频的查看器区域(例如，查看器窗口3212)(3320)。在接触与时间轴区域3204进行初始接触之后，设备根据接触在触敏显示器112上方的移动来在查看器区域3212中擦除视频。在一些实施方案中，在接触与时间轴区域3204进行初始接触之后，当接触移动时，根据接触在触敏显示器上的当前水平位置来擦除视频，而与接触在时间轴区域之内还是之外无关。例如，在图32D的示例中，当接触沿着由标记3244指示的路径从位置3232移动到位置3236时，可以根据接触的当前水平位置擦除视频。
在一些实施方案中，设备显示用于示出在与时间轴区域3204初始接触 (例如，3206,3220,3232)之后接触在触敏显示器112上方的移动的标记 (例如，线条3208,3222,3244)。设备检测接触在与时间轴区域3204中的第二时间位(例如，3210,3226,3240)对应的触敏显示器112上的位置 (例如，3210,3226,3236)处的抬离。响应于检测到在触敏显示器112上的与时间轴区域3204中的第二时间位(例如，3210,3226,3240)对应的位置处的接触的抬离，设备停止显示标记(3208,3222,3244)，并且设备在视频所选择的部分周围显示选择框(例如，3246)(3322)。在一些实施方案中，绘制示出了从接触在触敏显示器112上的触按到接触从触敏显示器112上抬离期间接触移动的线条，其中示出了与时间轴区域3204的初始接触之后的接触在触敏显示器112上方的移动的标记(例如，图32D中的示出了在与时间轴区域3204初始接触3232之后触笔203在触敏显示器112上的移动的标记3244)至少是该线条的一部分。
在一些实施方案中，设备显示用于示出在与时间轴区域3204初始接触 (例如，3206,3220,3232)之后接触在触敏显示器112上方的移动的标记 (例如，线条3208,3222,3244)。设备检测接触在与时间轴区域3204中的第二时间位(例如，3210,3226,3240)对应的触敏显示器112上的位置 (例如，3210,3226,3236)处的抬离。响应于检测到在触敏显示器上的与时间轴区域3204中的第二时间位对应的位置处的接触的抬离，设备在视频的所选择的部分周围显示标记(例如，3234)变成选择框3246的一个侧边 (例如，顶侧3248)的动画(3324)。在一些实施方案中，响应于检测到抬离，在视频的所选择的部分周围显示在与时间轴区域的初始接触之后绘制的标记过渡(或变形)为选择框的一个侧边的动画。例如，图32D的线条 3234具有指示触笔203从与时间轴区域3204初始接触的位置3230到抬离的位置3236的运动的波浪状外观。响应于检测到抬离，设备可以显示线条 3234的指示从线条3234过渡到选择框3246的顶侧3248的动画，例如，波浪线逐渐变平。该动画可包括如图32D所示的标记3234过渡到图32E所示的扁平形式的标记3234再过渡到图32F所示的选择框3246的顶侧3248的直线。
应当理解，对图33A-33B中的操作进行描述的特定顺序仅是示例性的，并非旨在表示所述顺序是这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图33A-33B所述的方法3300。例如，以上参考方法3300所述的接触、手势和动画任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的接触、手势和动画的特征中的一个或多个。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图34示出根据各种所述实施方案的原理进行配置的电子设备3400的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图34中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图34所示，电子设备3400包括触敏显示器单元3402和与触敏显示器单元3402耦接的处理单元3404。触敏显示器单元3402被配置为显示视频编辑应用程序，所显示的视频编辑应用程序包括正被编辑的视频的时间轴区域。处理单元3404被配置为检测由接触在触敏显示器单元3402上作出的手势。该手势包括：通过接触与时间轴区域的初始接触，该初始接触在时间轴区域中的第一时间位处发生；与时间轴区域的初始接触之后的接触在触敏显示器单元3402上方的移动；以及接触在触敏显示器单元3402 上的与时间轴区域中的第二时间位对应的位置处的抬离。在一些实施方案中，处理单元3404包括选择单元3406、视觉区分单元3408、擦除单元 3410和停止单元3412。处理单元3404被配置为响应于检测到由接触在触敏显示单元3402上作出的手势，选择正被编辑的视频的一部分(例如，利用选择单元3406)，其中视频的所选择的部分在第一时间位处开始并在第二时间位处结束。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图33A-33B所述的操作任选地由图1A-1B或图34中所描绘的部件来实现。例如，显示操作3302、检测操作3304和选择操作3306任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应的事件识别器180将事件信息与相应的事件定义186进行比较，并且确定从触敏表面上的第一位置到抬离发生的第二位置的接触是否对应于预定义的事件或子事件，诸如视频的一部分的选择。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190访问相应GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
利用触笔来显示并使用菜单
一些电子设备使用与该设备相关联的触笔来向该设备的触敏显示器提供输入的附加方法。例如，一些蜂窝电话、膝上型电脑和平板电脑具有从触笔接收输入的能力。触笔可利用一个或多个选项(例如，颜色)来模拟一个或多个虚拟绘图工具(例如，铅笔、毛笔、书法钢笔等)。然而，使用常规方法，用户可能发现利用触笔来显示并使用菜单很麻烦(例如，用于选择虚拟绘图工具的选项的菜单)。下面的实施方案通过响应于触笔手势显示菜单(例如，调色板)来解决这个问题，从而提供了一种用触笔选择菜单选项的更快更简单的方式(例如，从调色板中选择用于虚拟绘图工具的颜色)。
下面，图35A-35J示出了利用触笔来显示并使用菜单的示例性用户界面。图36A-36C是示出了利用触笔来显示并使用菜单的方法的流程图。图 35A-35J中的用户界面用于示出图36A-36C中的过程。
图35A-35J示出了根据一些实施方案的利用触笔来显示并使用菜单的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图36A-36C中的过程。尽管将参考触摸屏显示器(其中例如在触摸屏112 上组合了触敏表面和显示器)上的输入给出随后的示例中的一些示例，但是在一些实施方案中，设备检测与显示器650分开的触敏表面651上的输入，如图6B中所示。
在一些实施方案中，设备是具有独立显示器(例如，显示器650)和独立触敏表面(例如，触敏表面651)的电子设备。在一些实施方案中，设备是便携式多功能设备100，显示器是触敏显示器系统112，并且触敏表面包括显示器上的触觉输出发生器163(图1A)。为了便于说明，参考图35A-35J和图36A-36C所述的实施方案将参考在具有触敏显示器系统112的设备上执行的操作来讨论。在此类实施方案中，焦点选择器任选地为：相应的手指或触笔接触、对应于手指或触笔接触的代表点(例如，相应接触的重心或与相应接触相关联的点)或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，响应于在显示器650上显示图35A-35J 所示的用户界面时在触敏表面651上(或附近)检测到图35A-35J中所描述的接触，任选地在具有显示器650和独立触敏表面651的设备上执行类似操作。
图35A-35J示出了根据一些实施方案的利用触笔来显示并使用菜单的示例性用户界面。虽然图35A示出了具有设备100的附加细节(例如，扬声器111、光学传感器164、接近传感器166等)的触摸屏112，但是为了清楚起见，图35B-35J仅示出了设备100的触摸屏112，而没有示出设备 100的其他细节。此外，虽然图35A示出了从触敏表面正上方的视点(例如，设备100的触摸屏112)观察的示例，但是图35B-35J示出了从如下两个视点观察的示例：触敏表面正上方的视点(例如，设备100的触摸屏 112)和触敏表面的侧视点。
图35A示出了显示对应于触笔(例如，触笔203)的位置状态的指示 (例如，指示3516-a)的示例。在该示例中，触笔203具有一定位置状态，所述位置状态具有触笔203相对于触摸屏112的取向(例如，取向 3506-a)以及触笔203的尖端在触摸屏112上的投影的位置(例如，(x,y)位置3504-a)。如图35A所示，在触笔203触摸触摸屏112之前，当触笔 203被定位成具有取向3506-a(例如，相对于轴508的顺时针旋转角度为约 315度)和在(x,y)位置3504-a处的尖端投影，在触摸屏112上显示指示 3516-a，以示出触笔203将触摸(或标记)触摸屏112的位置。在一些实施方案中，当触笔以第一取向定位时，该指示相对于(x,y)位置3504-a在触摸屏112上在第一方向上移位，并且当触笔以不同于第一取向的第二取向定位时该指示相对于(x,y)位置3504-a在触摸屏112上在第二方向上移位。例如，在图5A中，当触笔203定位成具有取向506(例如，相对于轴508的顺时针旋转角度为约45度)时，指示516相对于(x,y)位置504沿西南方向移位，并且在图35A中，当触笔203定位成具有取向3506-a(例如，相对于轴508的顺时针旋转角度为约315度)时，指示3516-a相对于(x,y)位置 3504-a沿东南方向移位。
图35B-35J示出了在触敏显示器(例如，触摸屏112)上显示用户界面 3520(例如，应用程序(诸如绘图应用程序)的用户界面)的示例。在一些实施方案中，用户界面3520包括指示符3522。在一些实施方案中，指示符3522指示所选择的虚拟绘图工具的颜色和类型(例如，蓝色的钢笔)，其中指示符3522中的色环指示虚拟绘图工具的颜色。例如，在指示符3522中，蓝色的钢笔通过蓝色环所环绕的钢笔的表示示出。
图35B-35E示出了在触笔不与触敏显示器进行接触的情况下触笔(例如，触笔203)正在朝向触敏显示器(例如，触摸屏112)移动的示例。在一些实施方案中，在触笔不与触敏显示器进行接触的情况下触笔正在朝向触敏显示器移动的触笔手势被称为“飞溅手势”。在一些实施方案中，在图35B-35E中，触笔203在至少部分移动期间以大于预先确定的非零值的速度朝向触摸屏112移动。在一些实施方案中，在图35B-35E中，当触笔朝向触摸屏112移动时，触笔203在移动的至少一部分期间具有大于预先确定的负加速度值的负加速度。在一些实施方案中，在图35B-35E中的触笔203的移动期间，当触笔朝向触摸屏112移动时触笔203加速，并且在随后的触笔朝向触摸屏112移动时减速。
在一些实施方案中，响应于改变触笔相对于触敏显示器的距离(例如，距离3514)，更新所显示的指示(例如，指示3516)。在图35B-35E 中，当触笔移动靠近触敏显示器但不与触敏显示器进行接触时，触笔的取向(例如，取向3506-b)、触笔的尖端的(x,y)位置(例如，(x,y)位置3504- b)和触笔的倾斜角(例如，倾斜角3512-a)保持恒定，而触笔相对于触敏显示器的距离改变(例如，从距离3514-a改变为距离3514-b、改变为距离 3514-c、再改变为距离3514-d)。此外，当触笔203移动靠近触摸屏112 时，在触摸屏112上更新指示(例如，从指示3516-b到指示3516-c、到指示3516-d、到指示3516-e)。如在该示例中所示，在一些实施方案中，当触笔203移动靠近触摸屏112时，指示改变不透明度(例如，具有增大的不透明度)，改变尺寸(或半径或面积)(例如，具有减小的尺寸)，和/ 或改变颜色(例如，具有变暗的颜色)。在一些实施方案中，响应于取向的变化更新指示(如下文参照图35A所述)，并且响应于倾斜角的变化而更新指示(如上所述)，为了简洁起见，这里不再赘述。在一些实施方案中，在飞溅手势期间未示出指示3516(例如，因为在飞溅手势期间触笔离触摸屏112太远)。
图35E示出了根据确定触笔移动(例如，触笔朝向触敏显示器的移动，如图35B-35E所示)满足一个或多个触笔移动标准，显示覆盖在用户界面(例如，用户界面3520)上的菜单(例如，菜单3524)的示例。在一些实施方案中，菜单3524包括多个可选择菜单选项，如下文参照图35F所述。在一些实施方案中，菜单的位置基于触笔尖端在触敏显示器上的投影 (例如，如参照方法800所述)。例如，在图35E中，菜单3524显示在指示3516-e的位置(或以指示3516-e为中心)。在一些实施方案中，一个或多个触笔移动标准包括检测到在所检测到的触笔朝向触敏显示器的移动的至少一部分期间触笔的速度大于预先确定的(非零)值。在一些实施方案中，一个或多个触笔移动标准包括在所检测到的触笔移动的至少一部分期间检测到触笔的负加速度在触笔朝向触敏显示器移动时大于预先确定的负加速度值。在一些实施方案中，一个或多个触笔移动标准包括在朝向触敏显示器的所检测到的触笔移动期间，当触笔朝向触敏显示器移动时检测到触笔加速，并且随后在触笔朝向触敏显示器移动时检测到触笔减速。
图35F示出了触笔(例如，触笔203)从菜单(例如，菜单3524)的多个可选择菜单选项(例如，菜单选项3526-a至3526-f)中选择第一菜单选项(例如，菜单选项3526-a)的示例。在一些实施方案中，对第一菜单选项的选择包括用触笔在菜单选项上轻击。为了清楚起见，图35F示出了具有浅色背景颜色的菜单3524，但是在一些实施方案中，菜单3524的背景是透明的，并且只有菜单3524的可选择菜单选项是可见的。在一些实施方案中，菜单3524是调色板，并且多个可选择菜单选项是调色板中的颜色。尽管图35F示出了具有从白色到深浅不同的灰色到黑色的一系列颜色的菜单3524，但是在一些实施方案中，菜单3524是具有其他颜色(例如，红色、橙色、黄色、绿色、蓝色、靛蓝、紫色等)的调色板。
图35G-35J示出了响应于检测到多个可选择菜单选项(如图35F所示)中的第一菜单选项(例如，菜单选项3526-a)的选择，执行与第一菜单选项对应的操作，并且停止显示菜单。例如，在触笔203选择了图35F 中的菜单选项3526-a之后，其他菜单选项(例如，菜单选项3526-b至 3526-f)消失，并且菜单3524变为菜单选项3526-a的颜色。然后，菜单选项3526-a和菜单3524表现为将被触笔吸收了(像墨水一样)，并且指示符 3522中的色环示出了新选择的菜单选项3526-a，如图35J所示。尽管图 35G-35I示出了响应于触笔选择菜单选项3526-a，菜单3524变为菜单选项 3526-a的颜色，但是在一些实施方案中，菜单3524与其他菜单选项(例如，菜单选项3526-b至3526-f)一起消失，并且只有菜单选项3526-a表现为将被触笔吸收。在其他实施方案中，可使用不同的动画序列来示出对第一菜单选项的选择。
图35A-35C是示出根据一些实施方案的利用触笔来显示并使用菜单的方法3600的流程图。方法3600在具有显示器和触敏表面的电子设备(例如，图3的设备300或图1A的便携式多功能设备100)上执行。在一些实施方案中，显示器是触摸屏显示器，并且触敏表面位于显示器(也简称为触敏显示器)上或与之集成。在一些实施方案中，显示器与触敏表面是分开的。在一些实施方案中，该设备包括用于检测来自与该设备相关联的触笔的信号的一个或多个传感器，触笔包括代表性部分(例如，触笔的尖端)。在一些实施方案中，触笔上除了尖端之外的部分用于估计尖端的位置。方法3600中的一些操作任选地被组合，和/或一些操作的顺序任选地被改变。
如下所述，方法3600提供了一种利用触笔来显示并使用菜单(例如，调色板)的直观的方式，提供了一种选择菜单选项(例如，从调色板中选择用于虚拟绘图工具的颜色)的更快更容易的方式。当使用触笔与电子设备交互时，该方法减少了来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。对于电池驱动的电子设备，使用户能够更快且更有效地输入触笔输入节省了功率并增加了电池两次充电之间的时间间隔。
设备在触敏显示器(例如，触摸屏112)上显示用户界面(例如，用户界面3520)(3602)。例如，图35B-35J示出了显示用户界面3520(例如，应用程序(诸如绘图应用程序)的用户界面)的设备100。
在触笔不与触敏显示器进行接触的情况下，设备在触敏显示器上显示用户界面时检测到触笔正在朝向触敏显示器移动(3604)。例如，图35B-35E 示出了在触笔203不与触摸屏112进行接触的情况下触笔203正在朝向触摸屏112移动。
在一些实施方案中，在检测到触笔装置朝向触敏显示器移动时，在触敏显示器上未检测到接触(3606)。例如，在图35B-35E中，触笔朝向触摸屏 112从距离3514-a移动到距离3514-d，并且触摸屏112上未检测到接触。
设备确定在不与触敏显示器进行接触的情况下朝向触敏显示器的所检测到的触笔移动是否满足一个或多个触笔移动标准(3608)。例如，设备100 确定图35B-35E中检测到的触笔朝向触摸屏112的移动是否满足一个或多个触笔移动标准。
在一些实施方案中，一个或多个触笔移动标准包括检测在检测到的至少部分的触笔朝向触敏显示器移动期间，触笔的速度大于预先确定的(非零)值(3610)。例如，在至少部分的触笔203从距离3514-a(图35B中)到距离3514-b(图35C中)、到距离3514-c(图35D中)、到距离3514-d (图35E中)的移动期间，触笔203的移动速度大于预先确定的非零值。
在一些实施方案中，一个或多个触笔移动标准包括检测在检测到的至少部分的触笔的移动期间(朝向触敏显示器)，触笔的负加速度在触笔朝向触敏显示器移动时大于预先确定的负加速度值(3612)。例如，在图35D- 35E中，当触笔203从距离3514-c移动到距离3514-d时，触笔203的负加速度大于预先确定的负加速度值。
在一些实施方案中，一个或多个触笔移动标准包括在检测到的触笔的移动期间(朝向触敏显示器)，检测到当触笔朝向触敏显示器移动时触笔加速，并且随后在触笔朝向触敏显示器移动时减速(3614)。如图35B-35E所示，例如，在检测到的触笔朝向触摸屏112从距离3514-a(图35B)到距离3514-d(图35E)的移动期间，当触笔朝向触摸屏112从距离3514-a移动到距离3514-b时，触笔203加速，并且随后当触笔朝向触摸屏112从距离3514-c移动到距离3514-d时，触笔203减速。
在一些实施方案中，一个或多个触笔移动标准与朝向触敏显示器的所检测到的触笔移动期间的触笔的倾斜角无关(例如，不包括或不取决于) (3616)。例如，如图35B-35E所示，一个或多个触笔移动标准与朝向触摸屏 112的所检测到的触笔移动期间的触笔203的倾斜角无关。尽管图35B-35E 示出了触笔203的倾斜角具有恒定的倾斜角3512-a，但是在一些实施方案中，一个或多个触笔移动标准与触笔203的倾斜角无关，并且触笔203的倾斜角在朝向触敏显示器的所检测到的触笔移动期间可能发生变化。
在一些实施方案中，一个或多个触笔移动标准与朝向触敏显示器的所检测到的触笔移动期间的触笔的取向无关(例如，不包括或不取决于) (3618)。例如，如图35B-35E所示，一个或多个触笔移动标准与所检测到的触笔朝向触摸屏112移动期间触笔203的取向无关。尽管图35B-35E示出了触笔203的取向具有恒定的取向3506-b，但是在一些实施方案中，一个或多个触笔移动标准与触笔203的取向无关，并且触笔203的取向在所检测到的触笔朝向触敏显示器移动期间可能发生变化。
在一些实施方案中，一个或多个触笔移动标准包括当触笔垂直于(或大致垂直，例如，在5度、10度、15度或20度内垂直)触敏显示器时所满足的标准(3620)。例如，在图35B-35E中，触笔203大致垂直于触摸屏 112。
根据确定检测到的触笔移动满足一个或多个触笔移动标准，设备显示覆盖在用户界面上的菜单，该菜单包括多个可选择菜单选项(3622)。例如，图35E示出了根据确定检测到的触笔移动(图35B-35E中)满足一个或多个触笔移动标准，显示覆盖在用户界面(例如，用户界面3520)上的菜单 (例如，菜单3524)。如图35F所示，该菜单包括多个可选择菜单选项 (例如，菜单选项3526-a至3526-f)。
在一些实施方案中，该菜单是调色板，多个可选择菜单选项是调色板中的颜色(3624)。例如，如图35F所示，菜单3524是调色板，并且多个可选择菜单选项(例如，菜单选项3526-a至3526-f)是调色板中的颜色。
设备检测对多个可选择菜单选项中的第一菜单选项的选择(3626)。在一些实施方案中，检测第一菜单选项的选择包括检测第一菜单选项上的手势，诸如用触笔的轻击手势或按压手势。例如，图35F示出了触笔203用轻击手势选择菜单选项3526-a。
响应于检测到对多个可选择菜单选项中的第一菜单选项的选择：设备执行与第一菜单选项对应的操作，并且停止显示菜单(3628)。在一些实施方案中，在菜单是调色板并且多个可选择菜单选项是调色板中的颜色的情况下，执行与第一菜单选项对应的操作包括将由触笔模拟的虚拟绘图工具的颜色改变为第一菜单选项的颜色。如图35J所示，响应于检测到第一菜单选项(例如，如图35F所示的菜单选项3526-a)的选择，虚拟绘图工具的颜色改变为新选择的颜色，如指示符3522中更新的色环所示，并且不再显示菜单3524。
在一些实施方案中，停止显示菜单包括显示第一菜单选项表现为将被触笔吸收的动画(3630)。例如，图35G-35I示出了第一菜单选项(例如，菜单选项3526-a)表现为将被触笔203吸收(像墨水一样)的动画的示例。图35G-35I示出了显示第一菜单选项表现为将被触笔吸收的动画的一个示例；在其他实施方案中，可使用不同的动画序列示出第一菜单选项表现为将被触笔吸收。
在一些实施方案中，根据确定不满足一个或多个触笔移动标准，设备放弃显示覆盖在用户界面上的菜单(3632)。例如，如果图35B-35E所示的触笔移动不满足一个或多个触笔移动标准，则菜单(例如，菜单3524)不会显示在图35E中的用户界面3520上。
在一些实施方案中，检测到触笔正在朝向触敏显示器移动包括检测到触笔正在朝向触敏显示器上的用户界面中的第一位置移动；并且显示覆盖在用户界面上的菜单包括在第一位置处(或邻近第一位置或以第一位置为中心)显示覆盖在用户界面上的菜单(3634)。例如，在图35B-35E中，触笔 203朝向触摸屏112上的用户界面3520中的第一位置(例如，指示3516的位置)移动，并且在图35E中，覆盖在用户界面3520上的菜单(例如，菜单3524)在第一位置处显示(例如，以指示3516-e的位置为中心)。
在一些实施方案中，检测到触笔正在朝向触敏显示器的移动包括在用户界面中的第一对象有焦点时检测触笔移动；并且显示覆盖在用户界面上的菜单包括在第一对象处或邻近第一对象来显示覆盖在用户界面上的菜单 (3636)。例如，如果用户界面3520中的第一对象具有焦点(在图35B中未示出)，而触笔移动(在图35B-35E中)满足一个或多个触笔移动标准，则覆盖在用户界面3520上的菜单(例如，菜单3524)显示在图35E中的第一对象处或其附近。
应当理解，对图36A-36C中的操作进行描述的特定顺序仅是示例性的，并非旨在表示所述顺序是这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文参照本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的其他过程的细节同样以类似的方式适用于以上参照图36A-36C所述的方法3600。例如，以上参考方法3600所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出任选地具有本文参考本文所述的其他方法(例如，在上述具体实施方式的第一段中列出的那些方法)所述的触笔位置状态特征、移动、接触、手势、用户界面对象以及输出中的一个或多个特征。为了简明起见，此处不再重复这些细节。
根据一些实施方案，图37示出根据各种所述实施方案的原理进行配置的电子设备3700的功能框图。该设备的功能块任选地由进行各种所描述的实施方案的原理的硬件、软件、固件、或其组合来实现。本领域的技术人员应当理解，图37中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施方案的原理。因此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或进一步限定。
如图37所示，电子设备3700包括被配置为显示用户界面并接收用户接触(包括触笔接触)的触敏显示器单元3702；被配置为检测来自与该设备相关联的触笔的信号的一个或多个传感器单元3706；以及与触敏显示器单元3702和一个或多个传感器单元3706耦接的处理单元3708。在一些实施方案中，处理单元3708包括显示启用单元3710、检测单元3712、确定单元3714和执行单元3716。
处理单元3708被配置为：在触敏显示器单元3702上启用对用户界面的显示(例如，利用显示启用单元3710)；当在触敏显示器单元3702上启用对用户界面的显示时，在触笔不与触敏显示器单元3702进行接触的情况下，检测到触笔正在朝向触敏显示器单元3702移动(例如，利用检测单元 3712)；在不与触敏显示器单元3702进行接触的情况下，确定朝向触敏显示器单元3702的所检测到的触笔移动是否满足一个或多个触笔移动标准 (例如，利用确定单元3714)；根据确定所检测到的触笔移动满足一个或多个触笔移动标准，启用对覆盖在用户界面上的菜单的显示(例如，利用显示启用单元3710)，该菜单包括多个可选择菜单选项；检测对所述多个可选择菜单选项中的第一菜单选项的选择(例如，利用检测单元3712)；并且响应于检测到对多个可选择菜单选项中的第一菜单选项的选择：执行与第一菜单选项对应的操作(例如，利用执行单元3716)，并且停止显示菜单(例如，利用显示启用单元3710)。
上述信息处理方法中的操作任选地通过运行信息处理设备中的一个或多个功能模块来实现，该信息处理设备诸如为通用处理器(例如，如以上相对于图1A和图3所描述的)或特定于应用的芯片。
以上参考图36A-36C所述的操作任选地由图1A-1B或图37中所描绘的部件来实现。例如，显示操作3602、检测操作3604、确定操作3608、显示操作3622、检测操作3626以及执行操作3628任选地由事件分类器 170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测触敏显示器112上的接触(或近接触)，并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏表面上第一位置处的第一接触(或近接触)是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与该事件或子事件的检测相关联的事件处理程序 190。事件处理程序190任选地使用或调用数据更新器176或对象更新器 177来更新应用程序内部状态192。在一些实施方案中，事件处理程序190 访问相应GUI更新器178，以更新由应用程序所显示的内容。类似地，本领域普通技术人员会清楚地知道基于在图1A-1B中所示的部件可如何实现其他过程。
解释的目的，前面的描述是通过参照具体实施方案来进行描述的。然而，上面的示例性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (7)

1.一种方法，包括：
在具有触敏显示器的电子设备处，其中所述电子设备包括用于检测来自与所述电子设备相关联的触笔的信号的一个或多个传感器：
在所述电子设备处于锁定状态中时：
在所述触敏显示器上显示锁定屏幕用户界面；
当在所述触敏显示器上显示所述锁定屏幕用户界面的同时，在所述触敏显示器上仅检测单击输入；
响应于在所述触敏显示器上检测到所述单击输入；
根据确定所述触敏显示器上的所述单击输入为利用所述触笔执行的，在限制会话中利用对绘图应用程序的显示来替换对所述锁定屏幕用户界面的显示，其中利用所述触笔执行的所述单击输入引起所述绘图应用程序的显示，而不基于所述单击输入引起所述绘图应用程序显示标记；以及
根据确定所述触敏显示器上的所述单击输入为利用手指触摸执行的，维持对所述锁定屏幕用户界面的显示并且放弃对所述绘图应用程序的显示。
2.根据权利要求1所述的方法，其中所述单击输入为轻扫手势的一部分，所述方法包括：
根据确定所述轻扫手势为利用触笔执行的并且符合绘图应用程序显示标准，显示所述绘图应用程序；以及
根据确定所述轻扫手势为利用手指执行的并且符合解锁启动标准，显示解锁用户界面。
3.根据权利要求1所述的方法，包括：
在所述电子设备处于所述锁定状态中的同时：
当在所述触敏显示器上显示所述锁定屏幕用户界面的同时，检测来自所述触笔的用于在所述触敏显示器上进行绘制的第一输入；以及
响应于检测到来自所述触笔的用于进行绘制的所述第一输入，在所述锁定屏幕用户界面上显示与来自所述触笔的所述第一输入对应的绘图的一个或多个标记。
4.根据权利要求3所述的方法，包括当在所述锁定屏幕用户界面上显示与来自所述触笔的所述第一输入对应的所述绘图的所述一个或多个标记的同时：
检测来自所述触笔的用于以限制模式显示绘图应用程序的第二输入；以及
响应于检测到来自所述触笔的用于显示所述绘图应用程序的所述第二输入，以所述限制模式来执行所述绘图应用程序并在所述绘图应用程序中显示所述绘图的所述一个或多个标记。
5.一种电子设备，包括：
触敏显示器；
一个或多个传感器，用于检测来自与所述电子设备相关联的触笔的信号；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序用于执行权利要求1-4中任一项所述的方法或引起权利要求1-4中任一项所述的方法的执行的指令。
6.一种存储可执行指令的计算机可读存储介质，所述可执行指令当由具有触敏显示器和用于检测来自触笔的信号的一个或多个传感器的电子设备执行时，使得所述电子设备执行权利要求1-4中任一项所述的方法。
7.一种装置，包括：
触敏显示器；
一个或多个传感器，用于检测来自与所述装置相关联的触笔的信号；以及
用于执行权利要求1-4中任一项所述的方法或引起权利要求1-4中任一项所述的方法的执行的装置。
CN202010187432.3A 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法 Active CN111414077B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562173916P 2015-06-10 2015-06-10
US62/173,916 2015-06-10
US14/860,320 US9658704B2 (en) 2015-06-10 2015-09-21 Devices and methods for manipulating user interfaces with a stylus
US14/860,320 2015-09-21
CN201680029960.8A CN107667333B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680029960.8A Division CN107667333B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法

Publications (2)

Publication Number Publication Date
CN111414077A CN111414077A (zh) 2020-07-14
CN111414077B true CN111414077B (zh) 2021-10-29

Family

ID=56113076

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010193374.5A Active CN111414121B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010175812.5A Pending CN111399741A (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010192575.3A Active CN111414120B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010192663.3A Active CN111399673B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010187432.3A Active CN111414077B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN201680029960.8A Active CN107667333B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202010193374.5A Active CN111414121B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010175812.5A Pending CN111399741A (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010192575.3A Active CN111414120B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法
CN202010192663.3A Active CN111399673B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680029960.8A Active CN107667333B (zh) 2015-06-10 2016-05-20 用于利用触笔来操纵用户界面的设备和方法

Country Status (8)

Country Link
US (6) US9658704B2 (zh)
EP (2) EP4336326A3 (zh)
JP (4) JP6603332B2 (zh)
KR (7) KR102402892B1 (zh)
CN (6) CN111414121B (zh)
AU (4) AU2016276031B2 (zh)
DK (1) DK179048B1 (zh)
WO (1) WO2016200588A1 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249486B2 (ja) * 2013-08-19 2017-12-20 株式会社ワコム 描画装置
USD747728S1 (en) 2014-03-18 2016-01-19 Apple Inc. Display screen or portion thereof with graphical user interface
KR102250856B1 (ko) * 2014-04-30 2021-05-11 삼성전자주식회사 터치 입력 검출 방법, 터치 입력 감지 장치, 및 좌표 표시 장치
KR102497720B1 (ko) 2014-09-02 2023-02-10 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
USD783642S1 (en) * 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10038775B2 (en) 2015-04-13 2018-07-31 Microsoft Technology Licensing, Llc Inputting data using a mobile apparatus
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US11182600B2 (en) * 2015-09-24 2021-11-23 International Business Machines Corporation Automatic selection of event video content
CN106601238A (zh) * 2015-10-14 2017-04-26 阿里巴巴集团控股有限公司 一种应用操作的处理方法和装置
KR20170046958A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
US20170180299A1 (en) * 2015-12-16 2017-06-22 Facebook, Inc. System and Method for Expanded Messaging Indicator
CN108475135A (zh) * 2015-12-28 2018-08-31 阿尔卑斯电气株式会社 手写输入装置、信息输入方法以及程序
CN105760019B (zh) * 2016-02-22 2019-04-09 广州视睿电子科技有限公司 基于交互式电子白板的触摸操作方法及其系统
KR102544716B1 (ko) * 2016-03-25 2023-06-16 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
KR102523154B1 (ko) * 2016-04-22 2023-04-21 삼성전자주식회사 터치 스크린 장치, 입력 장치 및 그 제어 방법
KR102231025B1 (ko) * 2016-06-06 2021-03-23 다이니폰 인사츠 가부시키가이샤 터치 패널 펜용 필기 시트의 선별 방법, 터치 패널 시스템, 터치 패널 펜용 필기 시트, 터치 패널 및 표시 장치
US20170357339A1 (en) * 2016-06-10 2017-12-14 Microsoft Technology Licensing, Llc Variable display properties as a function of input device type and input parameter values
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10534449B2 (en) * 2016-08-19 2020-01-14 Microsoft Technology Licensing, Llc Adjustable digital eraser
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10466891B2 (en) * 2016-09-12 2019-11-05 Apple Inc. Special lock mode user interface
US10146337B2 (en) * 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
US11087388B1 (en) 2016-10-31 2021-08-10 Swimc Llc Product-focused search method and apparatus
US10901576B1 (en) * 2016-11-01 2021-01-26 Swimc Llc Color selection and display
US10324544B2 (en) * 2016-12-27 2019-06-18 Wacom Co., Ltd. Hand-written information process apparatus, hand-written information processing method and hand-written information processing program
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
US10254846B1 (en) * 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
KR102444148B1 (ko) * 2017-04-17 2022-09-19 삼성전자주식회사 전자 장치 및 그 동작 방법
AU2018271107C1 (en) * 2017-05-16 2021-03-11 Apple Inc. Tactile feedback for user interfaces
US10365814B2 (en) * 2017-05-16 2019-07-30 Apple Inc. Devices, methods, and graphical user interfaces for providing a home button replacement
US10809884B2 (en) 2017-11-06 2020-10-20 The Sherwin-Williams Company Paint color selection and display system and method
CN107909633B (zh) * 2017-11-16 2021-04-16 马军民 虚拟鼠标绘图工具及绘图方法
WO2019117359A1 (ko) * 2017-12-14 2019-06-20 라인 가부시키가이샤 메시징 서비스 환경에서의 컨텐츠 공유를 위한 인터랙션 방법 및 시스템
JP7165251B2 (ja) * 2017-12-14 2022-11-02 Ｌｉｎｅ株式会社 メッセージングサービス環境におけるコンテンツ共有のためのインタラクション方法およびシステム
KR20190074335A (ko) * 2017-12-19 2019-06-28 삼성디스플레이 주식회사 스타일러스를 포함하는 전자장치 및 이의 동작방법
CN108230427B (zh) * 2018-01-19 2021-12-24 京东方科技集团股份有限公司 一种智能作画设备、图画分析系统及图画处理方法
US11270386B2 (en) * 2018-02-23 2022-03-08 Sony Corporation Information processing device, information processing method, and program
CN108446036B (zh) * 2018-03-27 2021-10-01 京东方科技集团股份有限公司 智能书写设备和智能书写系统
WO2019190511A1 (en) * 2018-03-28 2019-10-03 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
US20190324561A1 (en) * 2018-04-24 2019-10-24 Apple Inc. Stylus with display
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen
KR102506158B1 (ko) * 2018-07-30 2023-03-07 삼성전자주식회사 디지털 펜을 포함하는 전자 장치
KR102536263B1 (ko) 2018-08-02 2023-05-25 삼성전자주식회사 스타일러스 펜의 입력을 표시하기 위한 방법 및 그 전자 장치
KR102498813B1 (ko) * 2018-09-28 2023-02-13 삼성전자주식회사 스타일러스 펜과 페어링하기 위한 전자 장치 및 그에 관한 방법
KR102500309B1 (ko) * 2018-10-08 2023-02-16 삼성전자주식회사 펜 입력 장치를 포함하는 전자 장치 및 그의 동작 방법
USD926224S1 (en) * 2018-10-11 2021-07-27 Brand Gmbh + Co Kg Laboratory device display screen with graphical user interface
CN111046638B (zh) * 2018-10-12 2022-06-28 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
CN111124166A (zh) * 2018-10-31 2020-05-08 中强光电股份有限公司 电子白板系统及操控方法
JP7299754B2 (ja) * 2019-05-22 2023-06-28 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
KR102657878B1 (ko) * 2019-08-06 2024-04-17 삼성전자주식회사 전자 장치 및 그 장치에서 수행하는 디스플레이 방법
CN112987997B (zh) * 2019-12-18 2023-05-26 深圳Tcl新技术有限公司 一种用户界面菜单的寻路方法和计算机设备
CN111273992B (zh) * 2020-01-21 2024-04-19 维沃移动通信有限公司 一种图标显示方法及电子设备
US20210349625A1 (en) * 2020-05-05 2021-11-11 Wei Li Using a touch input tool to modify content rendered on touchscreen displays
WO2021241840A1 (ko) * 2020-05-29 2021-12-02 삼성전자 주식회사 제스쳐 기반 제어 전자 장치 및 그 동작 방법
CN112162788A (zh) * 2020-09-17 2021-01-01 维沃移动通信有限公司 应用启动方法、装置和电子设备
US20220107727A1 (en) * 2020-10-06 2022-04-07 Dojoit, Inc System and method for inputting text without a mouse click
KR20220048305A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 폴더블 디바이스의 화면 표시 방법 및 그 장치
WO2022107282A1 (ja) * 2020-11-19 2022-05-27 三菱電機株式会社 端末、入力表示方法および入力表示システム
US11844005B2 (en) 2020-12-28 2023-12-12 Toyota Motor North America, Inc. Message queuing and consolidation in an in vehicle environment
WO2022141176A1 (en) * 2020-12-30 2022-07-07 Citrix Systems, Inc. Contextual notes for online meetings
US11435893B1 (en) 2021-03-16 2022-09-06 Microsoft Technology Licensing, Llc Submitting questions using digital ink
US11526659B2 (en) 2021-03-16 2022-12-13 Microsoft Technology Licensing, Llc Converting text to digital ink
US11875543B2 (en) 2021-03-16 2024-01-16 Microsoft Technology Licensing, Llc Duplicating and aggregating digital ink instances
US11372486B1 (en) * 2021-03-16 2022-06-28 Microsoft Technology Licensing, Llc Setting digital pen input mode using tilt angle
US11361153B1 (en) 2021-03-16 2022-06-14 Microsoft Technology Licensing, Llc Linking digital ink instances using connecting lines
CN113093923B (zh) * 2021-04-07 2022-09-06 湖南汽车工程职业学院 一种艺术设计特征融合的3d画智能绘图设备
EP4332736A1 (en) * 2021-08-10 2024-03-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling input of electronic pen thereof
KR20230023277A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 그 전자 펜의 입력 제어 방법
CN114035739B (zh) * 2021-11-12 2023-12-29 网易（杭州）网络有限公司 图形绘制方法和装置、计算机可读存储介质、电子设备
US20230230044A1 (en) * 2021-12-30 2023-07-20 Microsoft Technology Licensing, Llc Calendar update using template selections
US11733788B1 (en) 2022-04-19 2023-08-22 Dell Products L.P. Information handling system stylus with single piece molded body
US11662838B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
US11662839B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
WO2023218886A1 (ja) * 2022-05-12 2023-11-16 ゼブラ株式会社 情報入力システム、情報入力方法、及び情報入力プログラム
JP7348368B1 (ja) * 2022-09-21 2023-09-20 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、情報処理装置、プログラム、および、制御方法
WO2024092432A1 (zh) * 2022-10-31 2024-05-10 京东方科技集团股份有限公司 显示设备、笔迹显示及笔迹轮廓确定的方法

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US338783A (en) * 1886-03-30 Half to jeffeeson stalet
US5155813A (en) * 1990-01-08 1992-10-13 Wang Laboratories, Inc. Computer apparatus for brush styled writing
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5457476A (en) * 1992-05-27 1995-10-10 Apple Computer, Inc. Method for controlling a computerized organizer
JPH09190268A (ja) 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
JPH11110119A (ja) 1997-09-29 1999-04-23 Sharp Corp スケジュール入力装置およびスケジュール入力装置制御プログラムを記録した媒体
US20020048404A1 (en) * 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
JP2004185488A (ja) * 2002-12-05 2004-07-02 Canon Inc 座標入力装置
US20050110777A1 (en) 2003-11-25 2005-05-26 Geaghan Bernard O. Light-emitting stylus and user input device using same
US20050156915A1 (en) 2004-01-16 2005-07-21 Fisher Edward N. Handwritten character recording and recognition device
EP1714465A1 (de) * 2004-01-30 2006-10-25 Combots Product GmbH & Co.KG Verfahren und system zur telekommunikation mit virtuellen stellvertretern
US7383291B2 (en) * 2004-05-24 2008-06-03 Apple Inc. Method for sharing groups of objects
CN100407118C (zh) * 2004-10-12 2008-07-30 日本电信电话株式会社 三维指示方法和三维指示装置
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US20070206024A1 (en) * 2006-03-03 2007-09-06 Ravishankar Rao System and method for smooth pointing of objects during a presentation
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
JP4740076B2 (ja) * 2006-09-12 2011-08-03 シャープ株式会社 メッセージ交換端末
US10445703B1 (en) * 2006-10-30 2019-10-15 Avaya Inc. Early enough reminders
GB0703276D0 (en) * 2007-02-20 2007-03-28 Skype Ltd Instant messaging activity notification
JP2009187235A (ja) * 2008-02-06 2009-08-20 Dainippon Printing Co Ltd 電子ペン及びそれに用いられるプログラム
US20110012856A1 (en) 2008-03-05 2011-01-20 Rpo Pty. Limited Methods for Operation of a Touch Input Device
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
KR101528262B1 (ko) * 2008-11-26 2015-06-11 삼성전자 주식회사 휴대 단말기 잠금 모드 해제 방법 및 장치
US8493340B2 (en) 2009-01-16 2013-07-23 Corel Corporation Virtual hard media imaging
JP2010183447A (ja) * 2009-02-06 2010-08-19 Sharp Corp 通信端末、通信方法、および通信プログラム
US20100306705A1 (en) 2009-05-27 2010-12-02 Sony Ericsson Mobile Communications Ab Lockscreen display
CN101964760A (zh) * 2009-07-24 2011-02-02 李艳平 即时通讯等通讯系统中的手写笔迹信息交流方式
CN101667100B (zh) * 2009-09-01 2011-12-28 宇龙计算机通信科技(深圳)有限公司 一种移动终端液晶显示屏的解锁方法、系统及移动终端
KR101623748B1 (ko) * 2009-09-01 2016-05-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 이동 단말기의 메시지 작성 방법
CN102103455A (zh) * 2009-12-18 2011-06-22 上海智问软件技术有限公司 一种基于交互输入的智能提示系统及其实现方法
US20110181517A1 (en) * 2010-01-22 2011-07-28 Research In Motion Limited Providing a Prompt for Entry of Information at a Later Time
US20110239146A1 (en) * 2010-03-23 2011-09-29 Lala Dutta Automatic event generation
US8379047B1 (en) * 2010-05-28 2013-02-19 Adobe Systems Incorporated System and method for creating stroke-level effects in bristle brush simulations using per-bristle opacity
EP2580645B1 (en) 2010-06-11 2019-11-27 Microsoft Technology Licensing, LLC Object orientation detection with a digitizer
JP2012018644A (ja) * 2010-07-09 2012-01-26 Brother Ind Ltd 情報処理装置、情報処理方法およびプログラム
US9557205B2 (en) 2010-08-10 2017-01-31 Magnetrol International, Incorporated Redundant level measuring system
JP5768347B2 (ja) * 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US9354804B2 (en) * 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
CN102053793B (zh) * 2010-12-30 2013-04-24 深圳市同洲电子股份有限公司 触摸屏终端解锁方法及终端
CN102591481A (zh) * 2011-01-13 2012-07-18 国立成功大学 数字绘图电子笔、数字绘图系统及其使用方法
WO2012108668A2 (ko) * 2011-02-10 2012-08-16 삼성전자 주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
TW201238298A (en) 2011-03-07 2012-09-16 Linktel Inc Method for transmitting and receiving messages
EP2689378A2 (en) 2011-03-21 2014-01-29 N-Trig Ltd. System and method for authentication with a computer stylus
KR101802759B1 (ko) 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US11165963B2 (en) 2011-06-05 2021-11-02 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US8638320B2 (en) * 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
CN102289352A (zh) * 2011-09-21 2011-12-21 宇龙计算机通信科技(深圳)有限公司 应用程序的启动方法和终端
WO2013041704A1 (en) * 2011-09-22 2013-03-28 Sanofi-Aventis Deutschland Gmbh Detecting a blood sample
US9389707B2 (en) 2011-10-28 2016-07-12 Atmel Corporation Active stylus with configurable touch sensor
US9116558B2 (en) 2011-10-28 2015-08-25 Atmel Corporation Executing gestures with active stylus
EP2783270B1 (en) 2011-11-21 2018-12-26 Microsoft Technology Licensing, LLC Customizing operation of a touch screen
KR20130060145A (ko) * 2011-11-29 2013-06-07 삼성전자주식회사 수기 입력의 처리 방법 및 장치
US9213822B2 (en) * 2012-01-20 2015-12-15 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
JP5835018B2 (ja) * 2012-03-02 2015-12-24 コニカミノルタ株式会社 会議システムおよび連絡方法
US8854342B2 (en) 2012-03-02 2014-10-07 Adobe Systems Incorporated Systems and methods for particle-based digital airbrushing
US8994698B2 (en) * 2012-03-02 2015-03-31 Adobe Systems Incorporated Methods and apparatus for simulation of an erodible tip in a natural media drawing and/or painting simulation
US8896579B2 (en) 2012-03-02 2014-11-25 Adobe Systems Incorporated Methods and apparatus for deformation of virtual brush marks via texture projection
CN103309482A (zh) * 2012-03-12 2013-09-18 富泰华工业（深圳）有限公司 电子设备及其触摸控制方法与触摸控制装置
US9508056B2 (en) * 2012-03-19 2016-11-29 Microsoft Technology Licensing, Llc Electronic note taking features including blank note triggers
US10032135B2 (en) * 2012-03-19 2018-07-24 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
US9720574B2 (en) * 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
US9529486B2 (en) 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
JP2013232033A (ja) 2012-04-27 2013-11-14 Nec Casio Mobile Communications Ltd 端末装置、及び端末装置の制御方法
JP6002836B2 (ja) * 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6273263B2 (ja) * 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
WO2013169300A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Thresholds for determining feedback in computing devices
EP2847662B1 (en) * 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US20130300719A1 (en) * 2012-05-10 2013-11-14 Research In Motion Limited Method and apparatus for providing stylus orientation and position input
US9009630B2 (en) 2012-06-05 2015-04-14 Microsoft Corporation Above-lock notes
US9201521B2 (en) * 2012-06-08 2015-12-01 Qualcomm Incorporated Storing trace information
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9513769B2 (en) * 2012-08-23 2016-12-06 Apple Inc. Methods and systems for non-linear representation of time in calendar applications
KR20140028272A (ko) * 2012-08-28 2014-03-10 삼성전자주식회사 달력을 디스플레이하기 위한 방법 및 그 전자 장치
US10079786B2 (en) * 2012-09-03 2018-09-18 Qualcomm Incorporated Methods and apparatus for enhancing device messaging
US10217253B2 (en) * 2012-09-14 2019-02-26 Adobe Inc. Methods and apparatus for simulation of a stateful brush tip in a natural media drawing and/or painting simulation
KR20140053554A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 디스플레이 공유방법
KR20140076261A (ko) * 2012-12-12 2014-06-20 삼성전자주식회사 펜을 이용한 사용자 인터페이스 제공 단말 및 방법
CN103164158A (zh) * 2013-01-10 2013-06-19 深圳市欧若马可科技有限公司 触摸屏上绘画创作与教学的方法、系统及装置
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
JP6100013B2 (ja) 2013-02-07 2017-03-22 株式会社東芝 電子機器および手書き文書処理方法
EP2772833B1 (en) * 2013-03-01 2016-05-18 BlackBerry Limited System and method of determining stylus location on touch-sensitive display
US20140253462A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Sync system for storing/restoring stylus customizations
US9448643B2 (en) * 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US20140280603A1 (en) * 2013-03-14 2014-09-18 Endemic Mobile Inc. User attention and activity in chat systems
EP2778864A1 (en) 2013-03-14 2014-09-17 BlackBerry Limited Method and apparatus pertaining to the display of a stylus-based control-input area
SG10201604804YA (en) * 2013-03-15 2016-08-30 Tactual Labs Co Fast multi-touch stylus and sensor
JP5951886B2 (ja) 2013-03-18 2016-07-13 株式会社東芝 電子機器および入力方法
KR20140132171A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
US10055030B2 (en) 2013-05-17 2018-08-21 Apple Inc. Dynamic visual indications for input devices
US9946366B2 (en) 2013-06-03 2018-04-17 Apple Inc. Display, touch, and stylus synchronization
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
CN104298551A (zh) * 2013-07-15 2015-01-21 鸿富锦精密工业(武汉)有限公司 应用程序调用系统及方法
US20150029162A1 (en) 2013-07-24 2015-01-29 FiftyThree, Inc Methods and apparatus for providing universal stylus device with functionalities
US9268997B2 (en) * 2013-08-02 2016-02-23 Cellco Partnership Methods and systems for initiating actions across communication networks using hand-written commands
KR102063103B1 (ko) 2013-08-23 2020-01-07 엘지전자 주식회사 이동 단말기
CN104423820A (zh) * 2013-08-27 2015-03-18 贝壳网际（北京）安全技术有限公司 锁屏壁纸更换方法及装置
KR102199786B1 (ko) * 2013-08-27 2021-01-07 삼성전자주식회사 콘텐트를 기반으로 하는 정보 제공 방법 및 장치
KR102214974B1 (ko) 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법
KR20150026615A (ko) * 2013-09-03 2015-03-11 유제민 일정 관리 방법 및 이를 위한 휴대용 전자 장치
US9484616B2 (en) 2013-09-09 2016-11-01 Eric Daniels Support truss for an antenna or similar device
KR20150043063A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 전자 장치 및 이의 정보 제공 방법
US20150109257A1 (en) 2013-10-23 2015-04-23 Lumi Stream Inc. Pre-touch pointer for control and data entry in touch-screen devices
JP6279879B2 (ja) 2013-10-31 2018-02-14 シャープ株式会社 情報処理装置および管理方法
WO2015065620A1 (en) * 2013-11-01 2015-05-07 Slide Rule Software Calendar management system
CN104679379B (zh) * 2013-11-27 2018-11-27 阿里巴巴集团控股有限公司 更换锁屏应用壁纸的方法及装置
US10338793B2 (en) * 2014-04-25 2019-07-02 Timothy Isaac FISHER Messaging with drawn graphic input
US9569045B2 (en) 2014-05-21 2017-02-14 Apple Inc. Stylus tilt and orientation estimation from touch sensor panel images
US20150347987A1 (en) * 2014-05-30 2015-12-03 Zainul Abedin Ali Integrated Daily Digital Planner
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US20150370350A1 (en) * 2014-06-23 2015-12-24 Lenovo (Singapore) Pte. Ltd. Determining a stylus orientation to provide input to a touch enabled device
JP5874801B2 (ja) 2014-10-16 2016-03-02 セイコーエプソン株式会社 スケジュール管理装置及びスケジュール管理プログラム
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus

Also Published As

Publication number Publication date
JP2018519583A (ja) 2018-07-19
KR20230044551A (ko) 2023-04-04
AU2016276031B2 (en) 2018-10-04
US20160364027A1 (en) 2016-12-15
KR102515009B1 (ko) 2023-03-29
JP6842645B2 (ja) 2021-03-17
CN111414121A (zh) 2020-07-14
US20190220109A1 (en) 2019-07-18
KR20220074991A (ko) 2022-06-03
AU2019200030A1 (en) 2019-01-24
AU2016276031A1 (en) 2017-11-23
KR102187943B1 (ko) 2020-12-07
KR20170139141A (ko) 2017-12-18
US9619052B2 (en) 2017-04-11
AU2020203817A1 (en) 2020-07-02
US20160364025A1 (en) 2016-12-15
AU2022200268A1 (en) 2022-02-10
WO2016200588A1 (en) 2016-12-15
JP6603332B2 (ja) 2019-11-06
CN111399673B (zh) 2023-06-27
CN107667333B (zh) 2020-05-05
JP2020025259A (ja) 2020-02-13
AU2022200268B2 (en) 2023-09-14
KR20190104456A (ko) 2019-09-09
CN111399673A (zh) 2020-07-10
EP3308256A1 (en) 2018-04-18
KR102020135B1 (ko) 2019-09-09
AU2020203817B2 (en) 2021-11-25
US10365732B2 (en) 2019-07-30
CN111414077A (zh) 2020-07-14
CN107667333A (zh) 2018-02-06
EP4336326A2 (en) 2024-03-13
DK179048B1 (en) 2017-09-18
KR102665226B1 (ko) 2024-05-13
JP7165220B2 (ja) 2022-11-02
US20160364026A1 (en) 2016-12-15
KR102402892B1 (ko) 2022-05-30
EP4336326A3 (en) 2024-05-29
KR102056579B1 (ko) 2019-12-16
JP2023017801A (ja) 2023-02-07
CN111414120B (zh) 2023-04-18
KR20200138442A (ko) 2020-12-09
DK201500580A1 (en) 2017-01-16
US20160364091A1 (en) 2016-12-15
US11907446B2 (en) 2024-02-20
AU2019200030B2 (en) 2020-05-07
JP2021089751A (ja) 2021-06-10
CN111414120A (zh) 2020-07-14
US9658704B2 (en) 2017-05-23
US20200293125A1 (en) 2020-09-17
KR102354955B1 (ko) 2022-02-08
US10678351B2 (en) 2020-06-09
US9753556B2 (en) 2017-09-05
CN111399741A (zh) 2020-07-10
KR20190139335A (ko) 2019-12-17
CN111414121B (zh) 2023-09-05
KR20220013465A (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
CN111414077B (zh) 用于利用触笔来操纵用户界面的设备和方法
KR20240072270A (ko) 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant