CN109906431A - 启用动作的着墨工具 - Google Patents

启用动作的着墨工具 Download PDF

Info

Publication number
CN109906431A
CN109906431A CN201780067108.4A CN201780067108A CN109906431A CN 109906431 A CN109906431 A CN 109906431A CN 201780067108 A CN201780067108 A CN 201780067108A CN 109906431 A CN109906431 A CN 109906431A
Authority
CN
China
Prior art keywords
tool
inking
actions
function
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780067108.4A
Other languages
English (en)
Other versions
CN109906431B (zh
Inventor
L·T·哈特菲尔德
I·W·米库特尔
E·德兰
A·J·西蒙斯
L·C·谢里安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109906431A publication Critical patent/CN109906431A/zh
Application granted granted Critical
Publication of CN109906431B publication Critical patent/CN109906431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

提供了一种用于动作工具集成的着墨输入的工具。在一个示例中，用户选择着墨工具并进一步选择动作功能以应用于着墨工具。着墨工具被突出显示并更新以显示所选功能。在另一示例中，用户选择具有特定功能的动作工具，并进一步选择着墨属性以应用于动作工具。突出显示并更新动作工具以显示所选的着墨属性。在另一示例中，提供了一种工具，并且用户选择动作功能和着墨属性以应用于该工具。更新动作工具以示出所选的功能和属性。在另一示例中，用户选择着墨工具和动作工具以将与着墨工具相关联的属性和与动作工具相关联的功能应用于活动工具。

Description

启用动作的着墨工具
背景技术
各种类型的计算设备和各种软件应用启用“着墨(inking)”输入，其中用户将一个或多个笔划输入(有时称为数字墨水)应用于计算设备的用户接口。例如，一些计算设备经由自然用户接口输入方法(例如，触摸、手势或眼睛跟踪)，经由手写输入设备(例如，数字笔或手写笔)或通过鼠标指针、触摸板指针等的移动来接受笔划输入。在一些示例中，着墨输入包括手写文本、自由形式图形、手写标记，其可以包括文本或符号等。
应用还可以提供用于将着墨输入转换为文本、形状或注释的动作工具功能。在一些示例中，着墨输入可以被识别为可执行命令，并且应用可以基于所识别的命令采取动作。在各种示例中，为了启用这样的动作工具功能，用户可以选择性地进入特定模式，例如形状模式、数学模式或修订模式。例如，用户可以选择形状模式按钮以使应用进入形状模式，其中分析用户的着墨输入并将其转换为形状。计算机和软件用户已经习惯于用户友好的软件应用，其提供直观的图形用户接口和高效的用户体验，并且虽然这种着墨功能是有用的，但是模式通常难以被用户理解并记住以打开或关闭。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在帮助确定所要求保护的主题的范围。
各方面涉及一种自动化系统、方法和设备，用于通过提供用于动作工具集成的着墨输入的工具来实现生产力应用的改进的可用性。通过采用本公开的各方面，提供了改进的用户体验，其中用户能够高效地选择集成的着墨和动作工具，用于提供具有着墨工具的属性和动作工具的功能的徒手输入，而无需进入特定的动作工具模式。因为不要求用户进入特定的动作工具模式，所以在生产力应用中将更少的存储器和更少的处理资源花费在创作内容上，并且从而扩展和改进了用于提供生产力应用的计算设备的功能。
示例被实现为计算机进程、计算系统或诸如设备、计算机程序产品或计算机可读介质的制品。根据一个方面，该计算机程序产品是计算机系统可读的计算机存储介质，并且编码有用于执行计算机过程的指令的计算机程序。
在下面的附图和描述中阐述了一个或多个方面的细节。通过阅读以下具体实施方式和对相关联的附图的回顾，其他特征和优点将是明显的。应理解，以下具体实施方式仅是解释性的，而不是对权利要求的限制。
附图说明
包含在本公开中并构成本公开的一部分的附图示出了各个方面。在图中：
图1是示出包括用于提供动作工具集成的着墨输入工具的系统的组件的示例操作环境的简化框图；
图2A是由启用墨水的应用的各方面生成的示例用户接口显示的图示，该示例用户接口显示示出了对所选择的着墨工具的数学动作工具功能的选择；
图2B是示出用所选择的动作工具功能更新的所选择的着墨工具和用户提供着墨输入的图示；
图2C是示出着墨输入到数学方程式的转换的图示；
图3A是由启用墨水的应用的各方面生成的另一示例用户接口显示的图示，该另一示例用户接口显示示出了对所选修订动作工具的着墨工具属性的选择；
图3B是示出用户提供着墨输入的图示；
图3C是示出基于着墨输入的内容的修订的图示；
图4A是由启用墨水的应用的各方面生成的另一示例用户接口显示的图示，该另一示例用户接口显示示出了对形状动作工具的选择，作为用于活动的启用动作的着墨工具的替代动作工具功能；
图4B是示出被更新以示出形状动作工具功能的动作工具和用户提供着墨输入的图示；
图4C是示出着墨输入到形状的转换的图示。
图5A是由启用墨水的应用的各方面生成的另一示例用户接口显示的图示，该另一示例用户接口显示示出了在选择着墨工具之后选择修订动作工具；
图5B是示出响应于对动作工具的辅助选择而启用用于所选择的修订动作工具的可选功能的显示的图示；
图5C是示出所选择的着墨工具和所选择的动作工具被突出显示并且用户提供着墨输入的图示；
图5D是示出基于着墨输入的内容的修订的图示；
图6A是示出根据第一示例的用于提供动作工具集成的着墨输入工具的示例方法中涉及的一般阶段的流程图；
图6B是示出根据第二示例的用于提供动作工具集成的着墨输入工具的示例方法中涉及的一般阶段的流程图；
图6C是示出根据第三示例的用于提供动作工具集成的着墨输入工具的示例方法中涉及的一般阶段的流程图；
图6D是示出根据第四示例的用于提供动作工具集成的着墨输入工具的示例方法中涉及的一般阶段的流程图；
图7是示出计算设备的示例物理组件的框图；
图8A和8B是移动计算设备的简化框图；以及
图9是分布式计算系统的简化框图。
具体实施方式
以下详细描述参考附图。只要可能，在附图中使用相同的附图标记，并且以下描述涉及相同或相似的元件。虽然可以描述示例，但是修改、变更和其他实现是可能的。例如，可以对附图中示出的元件进行替换、添加或修改，并且可以通过将阶段替换、重新排序或添加到所公开的方法来修改本文描述的方法。因此，以下详细描述不是限制性的，而是由所附权利要求限定适当的范围。示例可以采用硬件实现或完全软件实现或者结合软件和硬件方面的实现的形式。因此，以下详细描述不应被视为具有限制意义。
本公开的各方面涉及一种方法、系统和计算机存储介质，用于提供动作工具集成的着墨输入工具，用于在启用墨水的应用中使用动作工具功能来实现改进的用户体验。用户能够高效地选择集成的着墨和动作工具，用于提供具有着墨工具的属性和动作工具的功能的徒手输入，而不必进入特定的动作工具模式。
现在参考图1，示出了示例性操作环境100的框图，示出了用于提供动作工具集成的着墨输入工具的示例系统的各方面。示例性操作环境100包括电子计算设备102。图1中示出的计算设备102被示为平板计算设备；然而，应当理解，计算设备102可以是用于执行应用108以执行各种任务的各种类型的计算设备之一(例如，平板计算设备、台式计算机、移动通信设备、膝上型计算机、膝上型/平板电脑混合计算设备、大屏幕多点触摸显示器、游戏设备、智能电视、可穿戴设备或其他类型的计算设备)。关于图7，8A，8B和9更详细地讨论这些计算设备的硬件。
用户110可以利用计算设备102上的应用108来用于各种任务，其可以包括例如写、计算、绘制、记录和组织笔记、组织、准备演示、发送和接收电子邮件、制作音乐等。合适的应用108的示例包括但不限于文字处理应用、电子表格应用、幻灯片演示应用、电子邮件应用、绘图应用、笔记记录应用、web浏览器应用和游戏应用。应用108可以包括本地地存储在计算设备102上的胖客户端应用108，或者可以包括驻留在远程服务器上并且可以通过网络访问的瘦客户端应用108(即，web应用)。瘦客户端应用108可以托管在浏览器控制的环境中或者以浏览器支持的语言编码，并且依赖于公共web浏览器以使应用108在计算设备102上可执行。
根据示例，应用108是由操作系统启动和操纵的程序，并且管理在内容创作画布114内的并在显示屏122上发布的内容112。应用108的各方面是可操作的以生成并提供允许用户110与应用功能和电子内容交互的图形用户接口(GUI)104。在各种示例中，GUI 104包括工具栏，其包括与创作内容有关的各种工具和设置，以及内容区域显示区，其中显示文档内容文件的内容创作画布114。根据一个方面，应用108是启用墨水的应用，其可操作以接收从输入设备106(例如，平板笔、手指、鼠标或其他设备)收集的徒手输入，并且在诸如内容创作画布114之类的启用墨水的元素上可视地表示输入。徒手输入可以包括一个或多个数字笔划，并且在这里被称为“着墨”输入。
在示例中，应用108经由各种输入方法(诸如依赖于鼠标、键盘和遥控器的那些)以及自然用户接口(NUI)方法接收来自用户的输入，诸如文本输入、绘图输入、着墨输入等，自然用户接口(NUI)方法使用户能够以“自然”方式与设备交互，例如经由语音识别、触摸和手写笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛追踪、语音和语言、视觉、触摸、悬停、姿势和机器智能。用户输入导致内容112被添加到内容创作画布114。内容创作画布的示例包括文档内容文件中的页面、电子表格内容文件中的电子表格、演示内容文件中的幻灯片、备注内容文件中的页面等。
应用108的各方面提供了用于动作工具集成的着墨输入的工具。自始至终描述了与动作工具集成的着墨工具系统相关联的示例接口，包括关于图2A-5D。根据示例，应用108可操作以接收对着墨工具属性和动作工具功能的选择，将活动的启用动作的着墨工具设置为具有所选择的着墨工具属性以及用于在内容创作画布114中提供着墨输入和编辑内容112的所选择的动作工具的功能。
应用108包括墨水变换器124或与墨水变换器124通信，墨水变换器124可操作以经由着墨输入在应用108中提供扩展操作。在一个示例中，计算设备102包括墨水变换应用编程接口(API)，其可操作以使应用108能够经由存储的指令使用本公开的系统和方法。根据一个方面，墨水变换器124包括墨水分析器126，其可操作以分析所接收的着墨输入，用于基于活动的启用动作的着墨工具的所选择的动作工具功能来确定着墨输入是否可以转换为文本、形状、数学方程式或内容112的修订。应当理解，其他动作工具功能，例如将着墨输入转换为化学方程式或乐谱是可能的，并且在本公开的范围内。根据一个方面，墨水变换器124还包括墨水转换器128，其可操作以基于活动的启用动作的着墨工具的所选择的动作工具功能将着墨输入转换为文本、形状、数学方程、化学方程、乐谱或内容112的修订。在一些示例中，着墨输入可以被识别为可执行命令，并且墨水转换器128可以基于所识别的命令采取动作。例如，用户110可以经由着墨输入来划掉在内容创作画布114中显示的词(内容112)，并且墨水分析器126可以分析该划掉并确定该划掉是删除应用了所述划掉的内容112的指示。因此，墨水转换器128可以删除该单词。
根据第一示例并参考图2A，提供多个着墨工具206a-d(统称为206)，其中每个着墨工具具有与其相关联的唯一一组着墨工具属性以提供内容创作画布114内的着墨输入。着墨工具206的非限制性示例包括铅笔、钢笔、记号笔、荧光笔、蜡笔、油漆和其他绘图工具。在图2A中，示出了由应用108的一个方面生成并由用户计算设备102显示的示例GUI 200。在该示例中，GUI 200包括工具栏202和内容区域显示区204。内容区域显示区204操作以显示内容创作画布114的至少一部分。在该示例中，内容创作画布114是页。内容创作画布的其他示例包括电子表格和幻灯片。
在一些方面，用户110可以通过添加、移除、重新定位或以其他方式修改内容区域显示区204的各种内容元素来与所显示的内容区域交互并对其进行修改。例如，内容区域显示区204中的内容112可以经由键盘(例如物理键盘或虚拟(或软)键盘)上的用户击键、鼠标指针或触摸板指针的移动，或经由使用数字笔、手写笔或手指的手写或手绘输入来添加或修改。根据一个方面，在选择GUI 200中显示的着墨工具206时，启用徒手输入(即，着墨输入)。
根据一些示例，着墨工具206显示在工具栏202中。工具栏202包括与创作内容相关的各种工具和设置。在一些示例中，工具栏202中的工具和设置被组织在逻辑组中，逻辑组在标签下被收集在一起。工具栏202可以包括比图示示例中所示的更少、附加或不同的工具和设置。在一些示例中，着墨工具206显示在工具栏202的外部，例如在窗格中或沿着GUI200的一侧显示。根据示例，多个着墨工具206显示为图标，其中每个着墨工具图标示出了与着墨工具将在内容创作画布114中提供的着墨输入类型相关联的属性。显示示出了用于对应的着墨工具206的用户选择的属性的着墨工具图标有利地使用户110能够容易地区分着墨工具并且直观且高效地选择用于在内容创作画布114内提供着墨输入的所选绘图工具。对着墨工具206的选择将着墨工具设置为活动的启用动作的着墨工具214，并且根据一个方面，突出显示与活动的启用动作的着墨工具对应的所选择的着墨工具。根据一个方面，所选择的着墨工具206持久地显示在工具栏202中并且在激活时被突出显示以清楚地通知用户110当前或活动的动作工具功能。
应用108的各方面提供使用户110能够对着墨工具206进行辅助选择，其中响应于对着墨工具的辅助选择，显示定制菜单208以允许用户修改各种着墨工具属性210、212以应用于着墨工具。例如，响应于右击、长按、悬停、选择分离按钮命令或着墨工具206的其他辅助选择，应用108可操作以提供用于选择应用于着墨工具的特定颜色212、笔划粗度210或墨水效果的定制菜单208。
根据一个方面，应用108还可操作以在定制菜单208中提供选项，以允许用户选择动作工具功能216a-c(统称为216)以分配给所选择的着墨工具206。例如，定制菜单208包括数学动作工具功能216a，其在被选择时将数学动作工具功能应用于所选择的着墨工具206c，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成数学方程式。作为另一示例，定制菜单208包括形状动作工具功能216b，其在被选择时将形状动作工具功能应用于所选择的着墨工具206c，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成形状。作为另一示例，定制菜单208包括修订动作工具功能216c，其在被选择时，将修订动作工具功能应用于所选择的着墨工具206c，其使得经由所选择的着墨工具提供的着墨输入被分析并且内容创作画布114内的内容112基于着墨输入被修订。应当理解，其他动作工具功能216是可能的并且在本公开的范围内。例如，定制菜单208可以包括化学动作工具功能，其在被选择时，将化学动作工具功能应用于所选择的着墨工具，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成化学方程式。作为另一个例子，定制菜单208可以包括音乐动作工具功能，其在被选择时，将音乐动作工具功能应用于所选择的着墨工具，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成乐谱或音乐符号，如音符、休止符、临时音、连结线、装饰音、谱表、谱号、调号、拍子记号等。
现在参考图2B，响应于对动作工具216的选择，更新所选择的着墨工具206c以示出所选择的动作工具功能，例如经由动作工具功能图标218的显示。例如并如图所示，响应于选择数学动作工具功能216a，将数学动作工具功能应用于活动的启用动作的着墨工具，并且在所选择的着墨工具206c上显示数学图标218a，向用户110提供清楚的指示：活动的启用动作的着墨工具具有与所示的着墨工具图标相对应的着墨工具属性以及与所示动作工具功能图标218相对应的动作工具功能。仍然参考图2B，示出了用户110在内容创作画布114中提供着墨输入220。在所示的示例中，着墨输入220是数学方程式。
现在参考图2C，响应于接收到着墨输入220，墨水变换器124基于所选择的数学动作工具功能216a分析着墨输入，并将着墨输入转换为数学方程式222。例如，由徒手笔划组成的着墨输入220以方程式的形式转换为字母数字文本和数学符号。
现在参考图3A，示出了由应用108的一个方面生成并由用户计算设备102显示的另一示例GUI 300。在该示例中，GUI 300包括工具栏202和内容区域显示区204，其中工具栏包括多个动作工具302a-c(统称为302)。例如，多个动作工具302a-c包括具有用于将着墨输入220转换为数学方程式的功能的数学动作工具302a，具有用于将着墨输入转换为形状的功能的形状动作工具302b，以及具有基于着墨输入修订内容的功能的修订动作工具302c。应当理解，其他动作工具302，例如化学动作工具和音乐动作工具，是可能的，并且在本公开的范围内。如图所示，每个动作工具302示出了其对应的功能。例如，数学动作工具302a包括包含数学符号的图标218a，形状动作工具302b包括包含几何形状的图标218b，并且修订动作工具302c包括包含至少一个校对符号的图标218c。在其他示例中，化学动作工具包括图标218，其包括化学符号或图标，诸如烧杯或元素缩写，并且音乐动作工具包括包含音符或其他音乐符号的图标。
如图3A所示，用户110已经提供了对修订动作工具302c的辅助选择。例如，用户110可以执行右击、长按、悬停、选择分割按钮命令或动作工具302的其他辅助选择。响应于辅助选择，定制菜单304被显示以允许用户选择各种着墨工具属性(例如，颜色212、笔划粗度210或墨水效果)以应用于所选择的动作工具302c。根据示例，如果未选择着墨工具属性210、212，则可以将默认着墨工具属性应用于所选择的动作工具。
根据各方面并且现在参考图3B，响应于对动作工具302的主要选择或者在对动作工具的辅助选择之后对着墨工具属性210、212的选择，将所选择的动作工具设置为活动的启用动作的着墨工具214。如图所示，所选择的动作工具302c在工具栏202中突出显示，以通知用户110当前或活动的动作工具功能。在一些示例中，更新所选择的动作工具302c以示出所选择的着墨工具属性210、212。例如，所选择的动作工具302c的颜色212可以被更新为选择的着墨工具颜色。还在图3B中示出，着墨输入220由用户110经由输入设备106提供。在该示例中，用户110提供墨水校对注释，其包括指向着墨的词“ink”的插入标记以及在内容创作画布114中显示的文本“content”(内容112)上的划掉。
现在参考图3C，响应于接收到着墨输入220，墨水变换器124基于所选择的修订动作工具302c分析着墨输入，并将着墨输入转换为对内容112的修订306。例如，校对注释着墨输入220被识别为基于着墨输入修订内容112的命令。因此，删除文本“content”，并且将着墨的作品“ink”作为文本添加到内容112，并且将所选择的着墨工具属性210、212应用于文本。
现在参考图4A，示出了由应用108的一个方面生成并由用户计算设备102显示的另一个示例GUI 400。在该示例中，GUI 400包括工具栏202和内容区域显示区204，其中工具栏包括单个动作工具402。根据一个方面并且如图所示，单个动作工具402可操作以接收辅助选择(例如，右键单击、长按、悬停、选择拆分按钮命令或其他辅助选择方法)。响应于辅助选择，显示定制菜单404以允许用户选择动作工具功能216a-c(例如，数学动作工具功能216a、形状动作工具功能216b、修订动作工具功能216c、化学动作工具功能216d或音乐动作工具功能216e)和着墨工具属性(例如，颜色212、笔划粗度210或墨水效果)以应用于单个动作工具402。在所示示例中，示出用户110选择形状动作工具功能216b。根据示例，如果未选择着墨工具属性210、212，则可以将默认着墨工具属性应用于所选择的动作工具。此外，如果未选择动作工具功能216，则可以将上次使用的动作工具功能应用于动作工具。根据一个示例，如果未选择动作工具功能216，则墨水变换器124可操作以分析着墨输入120并基于所接收的着墨输入和上下文信息确定适当的编辑。
根据各方面并且现在参考图4B，响应于对单个动作工具402的主要选择或者对动作工具功能216的选择和/或在对单个动作工具的辅助选择之后对着墨工具属性210、212的选择，单个动作工具被设置为活动的启用动作的着墨工具214。此外，所选择的动作工具功能216和所选择的着墨工具属性210、212被应用于单个动作工具402。根据一个方面，单个动作工具402在工具栏202中突出显示，并且被更新以示出所选择的动作工具功能216b和所选择的着墨工具属性210、212。例如，包括几何形状的图标218b可以应用于单个动作工具402，并且所选择的着墨工具颜色212可以应用于单个动作工具。根据一个方面，所选择的着墨工具功能216b持久地显示在工具栏202中，以清楚地向用户110通知当前或活动的动作工具功能。还在图4B中示出，着墨输入220由用户110提供。在该示例中，用户110正在绘制墨水形状。
现在参考图4C，响应于接收到着墨输入220，墨水变换器124基于所选择的形状动作工具功能218b分析着墨输入，并将着墨输入转换为形状406。例如，墨水形状着墨输入220被识别为圆，并被转换为圆形406。
现在参考图5A，示出了由应用108的一个方面生成并由用户计算设备102显示的另一个示例GUI 500。在该示例中，GUI 500包括工具栏202和内容区域显示区204，其中工具栏包括多个着墨工具206和多个动作工具502a-c，其中每个动作工具具有与之相关联的特定的动作工具功能216a-c。根据一个方面，用户110能够选择着墨工具206和动作工具502，用于将与所选择的着墨工具相关联的着墨工具属性和与所选择的动作工具相关联的动作工具功能应用于活动的启用动作的着墨工具。如图5A所示，用户110被示出选择具有特定着墨工具属性的笔着墨工具206b，以及具有对应的修订动作工具功能216c的修订动作工具502c。
根据一个方面并且如图5B所示，响应于对着墨工具206或动作工具502的辅助选择，GUI 104/500被更新以显示定制菜单504，允许用户110选择一个或多个特定的属性或功能来进行选择。在所示示例中，多个修订功能506a-n(统称为506)显示在定制菜单504中，用户110能够从该定制菜单504中选择用于应用于活动的启用动作的着墨工具214。
现在参考图5C，响应于对着墨工具206和动作工具502的主要选择，或者在定制菜单504中对着墨工具属性210、212或动作工具功能506的选择之后，与所选择的着墨工具相关联的着墨工具属性和与所选择的动作工具相关联的动作工具功能被应用于活动的启用动作的着墨工具214。如图所示，所选择的着墨工具206b和所选择的动作工具502c在工具栏202中被突出显示。根据一个方面，所选择的着墨工具206b和所选择的动作工具502c持久地显示在工具栏202中，并且在激活时被突出显示以清楚地通知用户110当前或活动的动作工具功能。还在图5C中示出，着墨输入220a、b由用户110提供。在该示例中，用户110正在提供校对注释。例如，第一着墨输入220a包括指向着墨的词“tab”的插入标记，第二着墨输入220b包括在内容创作画布114中显示的文本“on”(内容112)的第一个字母下面的双下划线。
现在参考图5D，响应于接收到着墨输入220a、b，墨水变换器124基于所选择的修订动作工具502c分析着墨输入，并将着墨输入转换为对内容112的修订508a、b。例如，校对注释着墨输入220a、b被识别为基于着墨输入修订内容112的命令。因此，文本“on”中的“o”大写，着墨的作品“tab”作为文本添加到内容112，并且与所选择的着墨工具206b相关联的着墨工具属性210、212被应用于文本。
已经关于图1-5D描述了操作环境和各种用户接口显示示例，图6A-6D是示出用于提供动作工具集成的着墨输入工具的示例方法600、626、654、680中涉及的一般阶段的流程图。现在参考图6A，示例方法600对应于图2A-C中所示的用户接口显示示例。示例方法600在操作602处开始，并且前进到操作604，其中打开启用墨水的应用108。
在操作606，在应用的GUI 104/200中显示多个着墨工具206。例如，多个着墨工具206中的每一个包括一组可配置的着墨工具属性。方法600前进到操作608，其中接收对着墨工具206的选择。在一个示例中，选择是对着墨工具206的辅助选择，例如经由右击、长按、悬停、选择分割按钮命令或其他辅助选择方法。
方法600前进到操作610，其中与所选择的着墨工具206相关联的着墨工具属性210、212被应用于活动的启用动作的着墨工具214。在操作612，在定制菜单208中显示多个可选动作工具功能216。例如，多个可选动作工具功能216可以包括以下中的一个或组合：数学动作工具功能216a，其在被选择时，将数学动作工具功能应用于所选择的着墨工具206c，其使得经由所选的着墨工具提供的着墨输入被分析并转换成数学方程式；形状动作工具功能216b，其在被选择时，将形状动作工具功能应用于所选择的着墨工具206c，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成形状；修订动作工具功能216c，其在被选择时，将修订动作工具功能应用于所选择的着墨工具206c，其使得经由所选择的着墨工具提供的着墨输入被分析，并且基于着墨输入修订内容创作画布114内的内容112；化学动作工具功能，其在被选择时，将化学作用工具功能应用于所选择的着墨工具，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成化学方程式；以及音乐动作工具功能，其在被选择时，将音乐动作工具功能应用于所选择的着墨工具，其使得经由所选择的着墨工具提供的着墨输入被分析并转换成音符或乐谱。
方法600前进到操作614，其中选择动作工具功能216。响应于该选择，方法600前进到操作616，其中将所选择的动作工具功能216应用于活动的启用动作的着墨工具214。根据示例，更新所选择的着墨工具206以示出所选择的动作工具功能216。例如，当选择数学动作工具功能216a时，更新所选择的着墨工具206以包括包含数学符号的图标218a。作为另一示例，当选择形状动作工具功能216b时，更新所选择的着墨工具206以包括包含几何形状的图标218b。作为另一示例，当选择修订动作工具功能216c时，更新所选择的着墨工具206以包括包含至少一个校对符号的图标218c。根据另一示例，当选择化学动作工具功能时，更新所选择的着墨工具206以包括包含化学符号的图标218。作为另一示例，当选择音乐动作工具功能时，更新所选择的着墨工具206以包括包含音乐符号的图标218。
在操作618，在内容创作画布114中接收着墨输入220。在操作620，基于所选择的动作工具功能216执行动作并根据与选择着墨工具206相关联的着墨工具属性显示该动作。例如，分析着墨输入并将其转换为数学方程式、形状、化学方程式或乐谱，或者基于着墨输入修订内容创作画布114内的内容112。方法600在操作622处结束。
现在参考图6B，示例方法626对应于图3A-C中所示的用户接口显示示例。示例方法626在操作628开始，并且进行到操作630，其中打开启用墨水的应用108。
方法626进行到操作632，其中显示多个动作工具302a-c(统称为302)。例如，多个动作工具302a-c包括具有用于将着墨输入220转换为数学方程式的功能的数学动作工具302a，具有用于将着墨输入转换为形状的功能的形状动作工具302b，以及具有基于着墨输入修订内容的功能的修订动作工具302c。可以显示其他动作工具302，例如化学动作工具或音乐动作工具。
方法626进行到操作634，其中接收对动作工具302的选择。在一个示例中，选择是对动作工具302的辅助选择，诸如经由右击、长按、悬停、选择分割按钮命令或其他辅助选择方法。方法626进行到操作636，其中与所选择的动作工具302相关联的动作工具功能216被应用于活动的启用动作的着墨工具214。
方法626进行到操作638，其中显示着墨工具属性210、212以允许用户110选择特定颜色212、笔划粗度210或墨水效果以应用于活动的启用动作的着墨工具214。在操作640，接收对一个或多个着墨工具属性的选择，并且在操作642，将所选择的着墨工具属性应用于活动的启用动作的着墨工具214。根据示例，将所选择的动作工具302更新为显示所选择的着墨工具属性。此外，持久地突出显示所选择的动作工具302以清楚地向用户110通知当前或活动的动作工具功能。
方法626进行到操作644，其中在内容创作画布114中接收着墨输入220。在操作646，基于与所选择的动作工具302相关联的动作工具功能216执行动作并根据与选择着墨工具206相关联的着墨工具属性来显示该动作。例如，分析着墨输入并将其转换为数学方程式、形状、化学方程式或乐谱，或者基于着墨输入修订内容创作画布114内的内容112。方法626在操作648结束。
现在参考图6C，示例方法654对应于图4A-C中所示的用户接口显示示例。示例方法654在操作656开始，并且进行到操作658，其中打开启用墨水的应用108。
方法654进行到操作660，其中显示单个动作工具402。在操作662，接收对单个动作工具402的选择。方法654进行到判定操作664，其中确定选择是主要选择还是辅助选择。
当确定选择是主要选择时，方法654进行到操作666，其中对应于先前使用的启用动作的着墨工具的着墨工具属性210、212和动作工具功能216被应用于活动的启用动作的着墨工具214。
当确定选择是辅助选择时，方法654进行到操作668，其中可选择的着墨工具属性210、212和可选择的动作工具功能216显示在定制菜单208中。
方法654进行到操作670，其中接收对着墨工具属性210、212和动作工具功能216的选择，并且在操作672，将所选择的着墨工具属性210、212和动作工具功能216应用于活动的启用动作的着墨工具214。根据一个示例，更新所选择的着墨工具206以示出所选择的着墨工具属性210、212和动作工具功能216。
方法654进行到操作674，其中在内容创作画布114中接收着墨输入220。在操作676，基于所选择的动作工具功能216执行动作并根据与选择着墨工具206相关联的着墨工具属性显示该动作。例如，分析着墨输入并将其转换成数学方程式、形状、化学方程式或乐谱，或者基于着墨输入修订内容创作画布114内的内容112。方法654在操作678结束。
现在参考图6D，示例方法680对应于图5A-D中所示的用户接口显示示例。示例方法680在操作682处开始，并且进行到操作684，其中打开启用墨水的应用108。
方法680进行到操作686，其中显示多个着墨工具206和多个动作工具502a-c。例如，每个着墨工具206具有与其相关联的特定可配置的着墨工具属性，并且每个动作工具具有与其相关联的特定动作工具功能216a-c。
方法680进行到操作688，其中进行对着墨工具206的选择，并且在操作690，将与所选择的着墨工具相关联的着墨工具属性应用于活动的启用动作的着墨工具。此外，所选择的着墨工具206被持久地突出显示以向用户110通知当前或活动的着墨工具属性210、212。
方法680进行到操作692，其中接收对动作工具502的选择，并且在操作694，将与所选择的动作工具相关联的动作工具功能应用于活动的启用动作的着墨工具。此外，持久地突出显示所选择的动作工具502以向用户110通知当前或活动的动作工具功能。
方法680进行到操作696，其中在内容创作画布114中接收着墨输入220。在操作698，基于与所选择的动作工具502相关联的动作工具功能216执行动作并根据与选择着墨工具206相关联的着墨工具属性来显示该动作。例如，分析着墨输入并将其转换为数学方程式、形状、化学方程式或乐谱，或者基于着墨输入修订内容创作画布114内的内容112。方法680在操作699结束。
虽然已经在与在计算机上的操作系统上运行的应用程序一起执行的程序模块的一般上下文中描述了实现方式，但是本领域技术人员将认识到，这些方面也可以与其他程序模块一起实现。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。
本文描述的方面和功能可以经由多种计算系统来操作，包括但不限于台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板电脑或平板型计算机、笔记本计算机和膝上型计算机)、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、小型计算机和大型计算机。
另外，根据一个方面，本文描述的方面和功能在分布式系统(例如，基于云的计算系统)上操作，其中应用功能、存储器、数据存储和检索以及各种处理功能是通过例如因特网或内联网的分布式计算网络彼此远程地操作的。根据一个方面，经由车载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元显示各种类型的用户接口和信息。例如，在用户接口和各种类型的信息被投影到的墙壁表面上显示和交互各种类型的用户接口和信息。与实践实现方式的多个计算系统的交互包括击键输入、触摸屏输入、语音或其他音频输入、手势输入(其中相关联的计算设备配备有用于捕获和解释用户手势用于控制计算设备的功能的检测(例如，相机)功能等。
图7-9和相关联的描述提供了其中实践示例的各种操作环境的讨论。然而，关于图7-9示出和讨论的设备和系统是出于示例和说明的目的，而不是限制用于实践本文所述方面的大量计算设备配置。
图7是示出计算设备700的物理组件(即，硬件)的框图，利用其可以实践本公开的示例。在基本配置中，计算设备700包括至少一个处理单元702和系统存储器704。根据一个方面，取决于计算设备的配置和类型，系统存储器704包括但不限于易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪存或这些存储器的任何组合。根据一个方面，系统存储器704包括操作系统705和适合于运行软件应用750的一个或多个程序模块706。根据一个方面，系统存储器704包括启用墨水的应用108。操作系统705，例如，适合于控制计算设备700的操作。此外，各方面结合图形库、其他操作系统或任何其他应用程序来实践，并且不限于任何特定应用或系统。该基本配置在图7中由虚线708内的那些组件示出。根据一个方面，计算设备700具有附加特征或功能。例如，根据一个方面，计算设备700包括附加数据存储设备(可移除和/或不可移除)，例如磁盘、光盘或磁带。这种附加存储设备在图7中由可移除存储设备709和不可移除存储设备710示出。
如上所述，根据一个方面，多个程序模块和数据文件存储在系统存储器704中。当在处理单元702上执行时，程序模块706(例如，启用墨水的应用108)执行处理包括但不限于图6A-D中所示的方法600、626、654、680的一个或多个阶段。根据一个方面，根据示例使用其他程序模块，并且包括诸如电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等的应用。
根据一个方面，在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中或包含电子元件或微处理器的单个芯片上实践各方面。例如，经由片上系统(SOC)实现各方面，其中图7中所示的每个或许多组件被集成到单个集成电路上。根据一个方面，这种SOC设备包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都集成(或“烧制”)到芯片衬底上作为单个集成电路。当经由SOC操作时，这里描述的功能经由与单个集成电路(芯片)上的计算设备700的其他组件集成的专用逻辑来操作。根据一个方面，使用能够执行逻辑运算的其他技术来实践本公开的各方面，例如，与(AND)、或(OR)和非(NOT)，包括但不限于机械、光学、流体和量子技术。另外，各方面在通用计算机或任何其他电路或系统中实施。
根据一个方面，计算设备700具有一个或多个输入设备712，诸如键盘、鼠标、笔、声音输入设备、触摸输入设备等。根据一个方面，还包括输出设备714，诸如显示器、扬声器、打印机等。上述设备是示例，可以使用其他设备。根据一个方面，计算设备700包括允许与其他计算设备718通信的一个或多个通信连接716。合适的通信连接716的示例包括但不限于射频(RF)发射器、接收器和/或收发器电路；通用串行总线(USB)、并行和/或串行端口。
这里使用的术语计算机可读介质包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构或程序模块的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。系统存储器704、可移除存储设备709和不可移除存储设备710都是计算机存储介质示例(即，存储器存储)。根据一个方面，计算机存储介质包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储设备或可以用于存储信息并且可以由计算设备700访问的任何其他制品。根据一个方面，任何这样的计算机存储介质是计算设备700的一部分。计算机存储介质不包括载波或其他传播的数据信号。
根据一个方面，通信介质由计算机可读指令、数据结构、程序模块或已调制数据信号中的其他数据(诸如载波或其他传输机制)来体现，并且包括任何信息传递介质。根据一个方面，术语“已调制数据信号”描述了具有以对信号中的信息进行编码的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频(RF)、红外和其他无线介质的无线介质。
图8A和8B示出了可以实现这些方面的移动计算设备800，例如，移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图8A，示出了用于实现这些方面的移动计算设备800的示例。在基本配置中，移动计算设备800是具有输入元件和输出元件的手持式计算机。移动计算设备800通常包括显示器805和允许用户将信息输入到移动计算设备800中的一个或多个输入按钮810。根据一个方面，移动计算设备800的显示器805用作输入设备(例如，触摸屏显示器)。如果包括，则可选的侧输入元件815允许进一步的用户输入。根据一个方面，侧输入元件815是旋转开关、按钮或任何其他类型的手动输入元件。在替代示例中，移动计算设备800包含更多或更少的输入元件。例如，在一些示例中，显示器805可以不是触摸屏。在替代示例中，移动计算设备800是便携式电话系统，诸如蜂窝电话。根据一个方面，移动计算设备800包括可选的键盘835。根据一个方面，可选的键盘835是物理键盘。根据另一方面，可选键盘835是在触摸屏显示器上生成的“软”键盘。在各个方面，输出元件包括用于示出图形用户接口(GUI)的显示器805、视觉指示器820(例如，发光二极管)和/或音频换能器825(例如，扬声器)。在一些示例中，移动计算设备800包括振动换能器，用于向用户提供触觉反馈。在又一示例中，移动计算设备800包括输入和/或输出端口，诸如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)，用于向外部设备发送信号或从外部设备接收信号。在又一示例中，移动计算设备800包括外围设备端口840，诸如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)，用于向外部设备发送信号或从外部设备接收信号。
图8B是示出移动计算设备的一个示例的架构的框图。也就是说，移动计算设备800包括用于实现一些示例的系统(即，架构)802。在一个示例中，系统802被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传递客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些示例中，系统802被集成为计算设备，诸如集成的个人数字助理(PDA)和无线电话。
根据一个方面，一个或多个应用程序850被加载到存储器862中并在操作系统864上运行或与操作系统864相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息传递程序等。根据一个方面，启用墨水的应用108被加载到存储器862中。系统802还包括存储器862内的非易失性存储区域868。非易失性存储区域868用于存储如果系统802断电则不应丢失的持久性信息。应用程序850可以在非易失性存储区域868中使用和存储信息，诸如电子邮件应用使用的电子邮件或其他消息等。同步应用(未示出)也驻留在系统802上，并被编程为与驻留在主计算机上的对应的同步应用交互，以使存储在非易失性存储区域868中的信息与存储在主机计算机处的对应的信息保持同步。应当意识到，可以将其他应用加载到存储器862中并在移动计算设备800上运行。
根据一个方面，系统802具有电源870，其被实现为一个或多个电池。根据一个方面，电源870还包括外部电源，例如对电池进行补电或再充电的AC适配器或带电对接支架。
根据一个方面，系统802包括执行发送和接收射频通信的功能的无线电872。无线电872经由通信运营商或服务提供商促进系统802与“外界”之间的无线连接。在操作系统864的控制下进行去往和来自无线电872的传输。换句话说，无线电872接收的通信可以经由操作系统864传播到应用程序850，反之亦然。
根据一个方面，视觉指示器820用于提供视觉通知和/或音频接口874用于经由音频换能器825产生可听通知。在所示示例中，视觉指示器820是发光二极管(LED)，音频换能器825是扬声器。这些设备可以直接耦合到电源870，使得当被激活时，它们保持开启达由通知机制指示的持续时间，即使处理器860和其他组件可能关闭以节省电池电量。LED可以被编程为无限期地保持开启，直到用户采取行动来指示设备的打开状态。音频接口874用于向用户提供可听信号并从用户接收可听信号。例如，除了耦合到音频换能器825之外，音频接口874还可以耦合到麦克风以接收可听输入，例如以便于电话交谈。根据一个方面，系统802还包括视频接口876，其使得车载相机830的操作能够记录静止图像、视频流等。
根据一个方面，实现系统802的移动计算设备800具有附加特征或功能。例如，移动计算设备800包括附加数据存储设备(可移除和/或不可移除)，例如磁盘、光盘或磁带。这种附加存储设备在图8B中由非易失性存储区域868示出。
根据一个方面，由移动计算设备800生成或捕获并经由系统802存储的数据/信息被本地地存储在移动计算设备800上，如上所述。根据另一方面，数据被存储在可由设备经由无线电872或经由在移动计算设备800与关联于移动计算设备800的单独计算设备(例如，分布式计算网络(诸如因特网)中的服务器计算机)之间的有线连接来访问的任何数量的存储介质上。应当意识到，这样的数据/信息可经由移动计算设备800经由无线电872或经由分布式计算网络来访问。类似地，根据一个方面，根据众所周知的数据/信息传输和存储单元(包括电子邮件和协作数据/信息共享系统)，这种数据/信息被在计算设备之间容易地传输以用于存储和使用。
图9示出了用于提供如上所述的集成动作工具的着墨输入工具的系统的架构的一个示例。与启用墨水的应用108相关联地开发、交互或编辑的内容能够存储在不同的通信信道或其他存储设备类型中。例如，可以使用目录服务922、web门户924、邮箱服务926、即时消息存储库928或社交网络站点930来存储各种文档。启用墨水的应用108可操作以使用这些类型的系统等中的任何一个用于提供集成动作工具的着墨输入工具，如本文所述。根据一个方面，服务器920向客户端905a、b、c提供启用墨水的应用108。作为一个示例，服务器920是通过web提供启用墨水的应用108的web服务器。服务器920通过网络940通过web向客户端905提供启用墨水的应用108。举例来说，客户端计算设备被实现并体现在个人计算机905a、平板计算设备905b或移动计算设备905c(例如，智能电话)或其他计算设备中。客户端计算设备的这些示例中的任何一个都可操作以从商店916获得内容。
例如，以上参考根据各方面的方法、系统和计算机程序产品的框图和/或操作图示描述了实现方式。框中记录的功能/动作可以不按任何流程图所示的顺序发生。例如，示出连续的两个框实际上可以基本上并行地执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能/动作。
本申请中提供的一个或多个示例的描述和说明不旨在以任何方式限制或限定所要求保护的范围。本申请中提供的方面、示例和细节被认为足以传达占有并使其他人能够制作和使用最佳模式。实现方式不应被解释为限于本申请中提供的任何方面、示例或细节。无论是以组合还是单独地示出和描述，旨在选择性地包括或省略各种特征(结构和方法上的)以产生具有特定特征集的示例。已经提供了本申请的描述和说明，本领域技术人员可以设想落入本申请中体现的总体发明构思的更广泛方面的精神内的变型、修改和替换示例，这些变型、修改和替换示例不脱离更宽泛的范围。

Claims (15)

1.一种用于提供启用动作的着墨工具的计算机实现的方法，包括：
在电子计算设备的显示器内显示应用的用户接口，所述用户接口包括内容创作画布和动作工具，所述动作工具具有与在所述内容创作画布中编辑内容相关联的功能；
响应于对所述动作工具的辅助选择，显示定制菜单以允许用户针对活动的启用动作的着墨工具选择着墨工具属性；以及
响应于对所述动作工具的主要选择，将所述活动的启用动作的着墨工具设置为具有所选择的着墨工具属性和所选择的动作工具的功能，以便在所述内容创作画布中编辑内容。
2.如权利要求1所述的方法，还包括：
接收着墨输入；以及
基于所选择的动作工具的功能和所选择的着墨工具属性，在所述内容创作画布中编辑内容。
3.如权利要求1所述的方法，还包括持久地突出显示所选择的动作工具。
4.如权利要求1所述的方法，其中，显示所述定制菜单还包括显示多个替代动作工具，用于允许所述用户针对所述活动的启用动作的着墨工具选择动作工具功能。
5.如权利要求4所述的方法，其中，所述多个替代动作工具中的每一个具有单独的功能，所述功能与以下中的一个相关联：
将着墨输入转换为形状；
将着墨输入转换为数学方程式；
基于着墨输入来修订内容；
将着墨输入转换为化学方程式；以及
将着墨输入转换为乐谱。
6.如权利要求5所述的方法，其中，对所述动作工具的主要选择包括选择在所述定制菜单中显示的替代动作工具。
7.如权利要求6所述的方法，其中：
显示所述用户接口包括显示工具栏，所述工具栏包括所述动作工具；以及
将所述活动的启用动作的着墨工具设置为具有所选择的着墨工具属性和所选择的动作工具的功能还包括更新在所述工具栏中显示的所述动作工具的显示以示出所选择的动作工具功能。
8.如权利要求7所述的方法，其中，更新所述动作工具的显示以示出所选择的动作工具功能包括更新所述动作工具的显示以包括对应于所选择的动作工具功能的图标，其中：
对应于将着墨输入转换为形状的图标包括几何形状；
对应于将着墨输入转换为数学方程式的图标包括数学符号；
对应于基于着墨输入来修订内容的图标包括至少一个校对符号；
对应于将着墨输入转换为化学方程式的图标包括化学符号；以及
对应于将着墨输入转换为乐谱的图标包括音乐符号。
9.如权利要求1所述的方法，其中，显示包括所述动作工具的用户接口包括显示具有与以下中的一个相关联的功能的动作工具：
将着墨输入转换为形状；
将着墨输入转换为数学方程式；
基于着墨输入来修订内容；
将着墨输入转换为化学方程式；以及
将着墨输入转换为乐谱。
10.一种用于提供启用动作的着墨工具的方法，包括：
在电子计算设备的显示器内显示应用的用户接口，所述用户接口包括内容创作画布和具有着墨工具属性的着墨工具；
响应于对所述着墨工具的辅助选择，显示定制菜单以允许用户针对活动的启用动作的着墨工具选择动作工具功能；
响应于动作工具功能选择，将所述活动的启用动作的着墨工具设置为具有所选择的动作工具功能和所选择的着墨工具的所述着墨工具属性，以便在所述内容创作画布中编辑内容。
11.如权利要求10所述的方法，其中，显示定制菜单包括显示包括以下功能的动作工具功能：
用于将着墨输入转换为形状的功能；
用于将着墨输入转换为数学方程式的功能；
用于基于着墨输入来修订内容的功能；
用于将着墨输入转换为化学方程式的功能；以及
用于将着墨输入转换为乐谱的功能。
12.如权利要求11所述的方法，其中：
显示所述用户接口包括显示工具栏，所述工具栏包括所述着墨工具；以及
将所述活动的启用动作的着墨工具设置为具有所选择的动作工具功能和所选择的着墨工具的所述着墨工具属性还包括更新在所述工具栏中显示的所选择的着墨工具的显示以示出所选择的动作工具功能。
13.如权利要求12所述的方法，其中，更新所选择的着墨工具的显示以示出所选择的动作工具功能包括更新所述着墨工具的显示以包括对应于所选择的动作工具功能的图标，其中：
对应于将着墨输入转换为形状的图标包括几何形状；
对应于将着墨输入转换为数学方程式的图标包括数学符号；
对应于基于着墨输入来修订内容的图标包括至少一个校对符号；
对应于将着墨输入转换为化学方程式的图标包括化学符号；以及
对应于将着墨输入转换为乐谱的图标包括音乐符号。
14.一种用于提供启用动作工具功能的着墨工具的系统，所述计算设备包括：
至少一个处理设备；以及
至少一个存储指令的计算机可读数据存储设备，所述指令在由所述至少一个处理设备执行时，使所述计算设备用于：
在电子计算设备的显示器内显示应用的用户接口，所述用户接口包括内容创作画布、多个着墨工具、以及多个动作工具，其中，每个动作工具具有与在所述内容创作画布中编辑内容相关联的功能；
响应于接收到对着墨工具的选择：
突出显示所选择的着墨工具；以及
将与所选择的着墨工具相关联的着墨工具属性应用于活动的启用动作的着墨工具；
响应于接收到对动作工具的选择：
突出显示所选择的动作工具；以及
将与所选择的动作工具相关联的动作工具功能应用于所述活动的启用动作的着墨工具。
15.如权利要求14所述的系统，其中，所述多个动作工具包括：
形状动作工具，其具有用于将着墨输入转换为形状的功能；
数学动作工具，其具有用于将着墨输入转换为数学方程式的功能；
修订动作工具，其具有用于基于着墨输入来修订内容的功能；
化学动作工具，其具有用于将着墨输入转换为化学方程式的功能；以及
音乐动作工具，其具有用于将着墨输入转换为乐谱的功能。
CN201780067108.4A 2016-11-04 2017-10-27 启用动作的着墨工具 Active CN109906431B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/344,439 2016-11-04
US15/344,439 US10871880B2 (en) 2016-11-04 2016-11-04 Action-enabled inking tools
PCT/US2017/058644 WO2018085131A1 (en) 2016-11-04 2017-10-27 Action-enabled inking tools

Publications (2)

Publication Number Publication Date
CN109906431A true CN109906431A (zh) 2019-06-18
CN109906431B CN109906431B (zh) 2022-07-05

Family

ID=60413261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067108.4A Active CN109906431B (zh) 2016-11-04 2017-10-27 启用动作的着墨工具

Country Status (4)

Country Link
US (1) US10871880B2 (zh)
EP (1) EP3535651A1 (zh)
CN (1) CN109906431B (zh)
WO (1) WO2018085131A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
WO2015141260A1 (ja) * 2014-03-17 2015-09-24 株式会社河合楽器製作所 手書き音楽記号認識装置およびプログラム
USD764498S1 (en) 2015-06-07 2016-08-23 Apple Inc. Display screen or portion thereof with graphical user interface
USD885426S1 (en) * 2018-06-03 2020-05-26 Apple Inc. Electronic device with graphical user interface
USD879132S1 (en) 2018-06-03 2020-03-24 Apple Inc. Electronic device with graphical user interface
USD870139S1 (en) * 2018-06-04 2019-12-17 Apple Inc. Display screen or portion thereof with graphical user interface
USD905092S1 (en) * 2019-01-04 2020-12-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD916856S1 (en) * 2019-05-28 2021-04-20 Apple Inc. Display screen or portion thereof with graphical user interface
USD916812S1 (en) * 2019-06-01 2021-04-20 Apple Inc. Electronic device with graphical user interface
US20220237936A1 (en) * 2021-01-28 2022-07-28 Samsung Electronics Co., Ltd. Electronic device and method for shape recognition based on stroke analysis in electronic device
CN114327064A (zh) * 2021-12-29 2022-04-12 北京淳中科技股份有限公司 一种基于手势控制的标绘方法、系统、设备及存储介质
US20240094896A1 (en) * 2022-09-19 2024-03-21 Microsoft Technology Licensing, Llc Locally generating preliminary inking imagery

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692195A (zh) * 2009-09-29 2010-04-07 聂清永 用于触摸屏上的控制菜单的显示以及控制方法
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20100281374A1 (en) * 2009-04-30 2010-11-04 Egan Schulz Scrollable menus and toolbars
US20100289820A1 (en) * 2006-01-31 2010-11-18 Microsoft Corporation Creation and Manipulation of Canvases Based on Ink Strokes
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
CN104156860A (zh) * 2013-03-15 2014-11-19 彩滋公司 产品定制选项的规定和显示
US20140344662A1 (en) * 2013-05-20 2014-11-20 Microsoft Corporation Ink to text representation conversion
US20150338938A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5068644A (en) * 1988-05-17 1991-11-26 Apple Computer, Inc. Color graphics system
US5694563A (en) * 1994-12-13 1997-12-02 Microsoft Corporation Method and system for transferring data to common destinations using a common destination list
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
JP2003521061A (ja) * 2000-01-25 2003-07-08 オートデスク，インコーポレイテッド インターネット上で建築図面へのアクセスを提供し、処理する方法および装置
US20080104527A1 (en) * 2001-02-15 2008-05-01 Denny Jaeger User-defined instruction methods for programming a computer environment using graphical directional indicators
US6826729B1 (en) * 2001-06-29 2004-11-30 Microsoft Corporation Gallery user interface controls
US7299424B2 (en) * 2002-05-14 2007-11-20 Microsoft Corporation Lasso select
US7259752B1 (en) * 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7353453B1 (en) * 2002-06-28 2008-04-01 Microsoft Corporation Method and system for categorizing data objects with designation tools
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US7293242B2 (en) * 2002-10-15 2007-11-06 International Business Machines Corporation Facilitated source to target object editing functions
US20040117724A1 (en) * 2002-12-03 2004-06-17 Microsoft Corporation Extensible schema for ink
US7106343B1 (en) * 2003-04-08 2006-09-12 Carter Hickman Method and process for virtual paint application
US20050262481A1 (en) * 2003-09-30 2005-11-24 Coulson Julia C Customizable toolbar creation and control
US7424154B2 (en) * 2003-11-10 2008-09-09 Microsoft Corporation Boxed and lined input panel
US7860690B2 (en) * 2003-12-15 2010-12-28 Edgenet, Inc. Automated custom configuration system and method
US7181695B2 (en) * 2004-01-13 2007-02-20 Nbor Corporation System and method for sending and receiving electronic messages using graphic directional indicators
US8566732B2 (en) * 2004-06-25 2013-10-22 Apple Inc. Synchronization of widgets and dashboards
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
US7694222B2 (en) * 2004-12-08 2010-04-06 Steen David A Document composition system and method
US7847807B2 (en) * 2004-12-22 2010-12-07 Hntb Holdings Ltd Geometry creation tool
US7454702B2 (en) * 2005-03-21 2008-11-18 Microsoft Corporation Tool for selecting ink and other objects in an electronic document
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US7596598B2 (en) * 2005-10-21 2009-09-29 Birthday Alarm, Llc Multi-media tool for creating and transmitting artistic works
US7526737B2 (en) * 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US7602405B2 (en) * 2006-03-17 2009-10-13 Microsoft Corporation Multiple brush components
JP4337062B2 (ja) * 2007-02-13 2009-09-30 ソニー株式会社 表示制御装置、表示方法、およびプログラム
US8315482B2 (en) 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8037413B2 (en) 2007-09-06 2011-10-11 Adobe Systems Incorporated Brush tool for audio editing
US20090228838A1 (en) * 2008-03-04 2009-09-10 Ryan Christopher N Content design tool
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US8296670B2 (en) * 2008-05-19 2012-10-23 Microsoft Corporation Accessing a menu utilizing a drag-operation
US8121412B2 (en) * 2008-06-06 2012-02-21 Microsoft Corporation Recognition of tabular structures
US8213719B2 (en) * 2008-09-24 2012-07-03 Microsoft Corporation Editing 2D structures using natural input
US20100163316A1 (en) * 2008-12-30 2010-07-01 Microsoft Corporation Handwriting Recognition System Using Multiple Path Recognition Framework
US20100171754A1 (en) * 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
US20100257182A1 (en) * 2009-04-06 2010-10-07 Equiom Labs Llc Automated dynamic style guard for electronic documents
US8654143B2 (en) * 2009-09-30 2014-02-18 Adobe Systems Incorporated System and method for non-uniform loading of digital paint brushes
US8687015B2 (en) * 2009-11-02 2014-04-01 Apple Inc. Brushing tools for digital image adjustments
US8482539B2 (en) 2010-01-12 2013-07-09 Panasonic Corporation Electronic pen system
US8487889B2 (en) * 2010-01-15 2013-07-16 Apple Inc. Virtual drafting tools
US10788976B2 (en) * 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8638303B2 (en) * 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings
US20120092268A1 (en) * 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
US9229636B2 (en) * 2010-10-22 2016-01-05 Adobe Systems Incorporated Drawing support tool
JP5589909B2 (ja) 2011-03-14 2014-09-17 株式会社リコー 表示装置、表示装置のイベント切替え制御方法及びプログラム
US20120272144A1 (en) * 2011-04-20 2012-10-25 Microsoft Corporation Compact control menu for touch-enabled command execution
US20130132959A1 (en) * 2011-11-23 2013-05-23 Yahoo! Inc. System for generating or using quests
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
US10282055B2 (en) * 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US8963891B2 (en) * 2012-04-26 2015-02-24 Blackberry Limited Method and apparatus for drawing tool selection
US20140040789A1 (en) * 2012-05-08 2014-02-06 Adobe Systems Incorporated Tool configuration history in a user interface
US20130326381A1 (en) * 2012-05-29 2013-12-05 Microsoft Corporation Digital art program interaction and mechanisms
US8655112B2 (en) * 2012-06-08 2014-02-18 Adobe Systems Incorporated Method and apparatus for an improved workflow for digital image editing
US9916060B2 (en) * 2012-07-05 2018-03-13 Blackberry Limited System and method for rearranging icons displayed in a graphical user interface
US10217253B2 (en) * 2012-09-14 2019-02-26 Adobe Inc. Methods and apparatus for simulation of a stateful brush tip in a natural media drawing and/or painting simulation
KR102102663B1 (ko) * 2012-10-05 2020-04-22 삼성전자주식회사 휴대단말기의 사용 방법 및 장치
US9164658B2 (en) * 2012-10-12 2015-10-20 Cellco Partnership Flexible selection tool for mobile devices
JP5489377B1 (ja) * 2012-12-28 2014-05-14 パナソニック株式会社 表示装置、表示方法及び表示プログラム
US20140229873A1 (en) * 2013-02-13 2014-08-14 Corel Corporation Dynamic tool control in a digital graphics system using a vision system
US20140282077A1 (en) * 2013-03-14 2014-09-18 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
US20140272863A1 (en) * 2013-03-15 2014-09-18 Peter Kim User Interface For Virtual Reality Surgical Training Simulator
JPWO2014147716A1 (ja) * 2013-03-18 2017-02-16 株式会社東芝 電子機器および手書き文書処理方法
US10082935B2 (en) 2013-04-15 2018-09-25 Carnegie Mellon University Virtual tools for use with touch-sensitive surfaces
KR20140132917A (ko) * 2013-05-09 2014-11-19 삼성전자주식회사 휴대 전자기기와 연결 가능한 부가 장치를 통한 표시 방법 및 장치
US9727535B2 (en) * 2013-06-11 2017-08-08 Microsoft Technology Licensing, Llc Authoring presentations with ink
US20150058753A1 (en) * 2013-08-22 2015-02-26 Citrix Systems, Inc. Sharing electronic drawings in collaborative environments
US9811238B2 (en) * 2013-08-29 2017-11-07 Sharp Laboratories Of America, Inc. Methods and systems for interacting with a digital marking surface
US20150067592A1 (en) * 2013-08-29 2015-03-05 Sharp Laboratories Of America, Inc. Methods and Systems for Interacting with a Digital Marking Surface
KR102189787B1 (ko) * 2013-11-13 2020-12-11 삼성전자 주식회사 터치스크린을 가지는 전자 장치 및 이의 입력 처리 방법
US9459794B1 (en) * 2014-03-24 2016-10-04 Amazon Technologies, Inc. Interactions based on multiple stylus inputs
US9329761B2 (en) * 2014-04-01 2016-05-03 Microsoft Technology Licensing, Llc Command user interface for displaying and scaling selectable controls and commands
KR102393295B1 (ko) * 2014-09-18 2022-05-02 삼성전자주식회사 컨텐트를 스타일링하는 장치 및 방법
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
US9736137B2 (en) * 2014-12-18 2017-08-15 Smart Technologies Ulc System and method for managing multiuser tools
US20160179364A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Disambiguating ink strokes and gesture inputs
US9990740B2 (en) * 2015-03-04 2018-06-05 Adobe Systems Incorporated Camera-based brush creation
US10387034B2 (en) * 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20100289820A1 (en) * 2006-01-31 2010-11-18 Microsoft Corporation Creation and Manipulation of Canvases Based on Ink Strokes
US20100281374A1 (en) * 2009-04-30 2010-11-04 Egan Schulz Scrollable menus and toolbars
CN102449589A (zh) * 2009-04-30 2012-05-09 苹果公司 可滚动的菜单以及工具栏
CN101692195A (zh) * 2009-09-29 2010-04-07 聂清永 用于触摸屏上的控制菜单的显示以及控制方法
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
CN104156860A (zh) * 2013-03-15 2014-11-19 彩滋公司 产品定制选项的规定和显示
US20140344662A1 (en) * 2013-05-20 2014-11-20 Microsoft Corporation Ink to text representation conversion
US20150338938A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes

Also Published As

Publication number Publication date
CN109906431B (zh) 2022-07-05
EP3535651A1 (en) 2019-09-11
US20180129367A1 (en) 2018-05-10
US10871880B2 (en) 2020-12-22
WO2018085131A1 (en) 2018-05-11

Similar Documents

Publication Publication Date Title
CN109906431A (zh) 启用动作的着墨工具
CN105531695B (zh) 电子文档中简化的数据输入
CN105264517B (zh) 用于文本表示转换的墨水
US11656758B2 (en) Interacting with handwritten content on an electronic device
CN104471520B (zh) 用于提供用于呈现应用功能的用户界面的方法和系统
US11023655B2 (en) Accessibility detection of content properties through tactile interactions
KR20140008987A (ko) 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
US20050183029A1 (en) Glom widget
KR102059800B1 (ko) 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
CN104520843A (zh) 在电子阅读器中提供基于笔记的内容注释
EP3282350B1 (en) Feedback via an input device and scribble recognition
US10739988B2 (en) Personalized persistent collection of customized inking tools
US20180121074A1 (en) Freehand table manipulation
CN108885505B (zh) 具有交互式内容元素的直观文档导航
KR20140028807A (ko) 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
CN105518604A (zh) 对套索选择的反馈
CN109690520A (zh) 通过逻辑标记共享文档
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
CN104252312B (zh) 触笔词典共享
CN104252247A (zh) 触笔速记
KR20140014510A (ko) 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US20170285930A1 (en) Document content replay
CN108780443B (zh) 对数字笔划群组的直观选择
CN107783753A (zh) 一种光标控制方法及装置
US10459612B2 (en) Select and move hint

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant