CN110663017B - 多笔画智能墨水手势语言 - Google Patents

多笔画智能墨水手势语言 Download PDF

Info

Publication number
CN110663017B
CN110663017B CN201880035021.3A CN201880035021A CN110663017B CN 110663017 B CN110663017 B CN 110663017B CN 201880035021 A CN201880035021 A CN 201880035021A CN 110663017 B CN110663017 B CN 110663017B
Authority
CN
China
Prior art keywords
digital ink
stroke
ink stroke
previously received
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880035021.3A
Other languages
English (en)
Other versions
CN110663017A (zh
Inventor
J-K·马尔凯维奇
R·J·迪萨诺
C·克莱因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202310474881.XA priority Critical patent/CN116483247A/zh
Publication of CN110663017A publication Critical patent/CN110663017A/zh
Application granted granted Critical
Publication of CN110663017B publication Critical patent/CN110663017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述了用于多笔画智能墨水手势语言的技术以及支持多笔画智能墨水手势语言的系统。所描述的技术实现了数字墨水用户界面，其允许能够从无源触控笔或有源笔接收数字墨水笔画的显示器接收数字墨水笔画作为内容输入或动作输入。可以基于与先前接收的数字墨水笔画的接近度、相交性、或者按时间顺序的即时性，将数字墨水笔画确定为动作输入。当确定多个数字墨水笔画代表与动作输入相关联的多笔画手势时，则将该动作输入提供给应用程序，然后应用程序可以执行与该动作输入相关联的动作。多笔画手势允许用户使用无源触控笔或有源笔以及自然数字墨水笔画来输入内容和动作。

Description

多笔画智能墨水手势语言
背景技术
本背景技术提供了本公开内容的背景。除非另外说明，否则本节中描述的材料不是本发明中的权利要求的现有技术，并且不应因为包含在本节中而被认为是现有技术。
数字墨水技术使设备显示器能够在显示器上，以自然的形式数字化地表示触控笔或有源笔的笔画，类似于在纸上用液态墨水进行书写。可以将所获得的视觉表示保存为可搜索的文本和图像，或者在手写的情况下可以转换为键入的文本。随着移动设备变得越来越强大，并且可以用于绘图、素描、书写、编辑和其它创意性应用，这项技术已经变得越来越普遍。数字墨水使用户能够使用其自己的自然动作来捕获设备上的草图、手写、图表和其它内容。即使在主要以笔为中心的应用程序和环境(例如，写草稿和笔记记录)中，现有的数字墨水用户界面也要求用户从使用有源笔进行数字墨水书写切换为使用有源笔进行触摸屏交互，或者从触控笔或有源笔切换到不同的输入方法。例如，用户可能必须与屏幕上的命令用户界面执行一系列的笔交互操作，或者切换到触摸屏模式来执行导航和命令任务。这些方法通常使用起来很麻烦，并且要用户摆脱其使用笔进行笔画触写的自然习惯。
发明内容
本文描述了用于多笔画智能墨水手势语言的技术和系统。多笔画手势为用户提供了一种在数字墨水上下文中采用简单、自然手势的方式来创建内容和执行动作。用此方式，用户在使用和控制其设备时不必放慢速度或切换输入模式。所描述的技术实现了数字墨水用户界面。数字墨水用户界面允许能够从无源触控笔或有源笔接收数字墨水笔画的显示器接收数字墨水笔画作为内容输入或动作输入。可以基于与先前接收的数字墨水笔画的接近度、相交性、或者按时间顺序的即时性，将数字墨水笔画确定为动作输入。当确定多个数字墨水笔画(当前数字墨水笔画和先前接收的数字墨水笔画)代表与动作输入相关联的多笔画手势时，则将该动作输入提供给应用程序，然后应用程序可以执行与该动作输入相关联的动作。多笔画手势允许用户使用无源触控笔或有源笔以及自然数字墨水笔画来输入内容和动作。
提供该概括部分以便介绍将在以下的详细描述中进一步描述的与多笔画智能墨水手势语言相关的简化概念。本概括部分并不是旨在标识本发明的本质特征，也不是旨在用于确定本发明的保护范围。
附图说明
参照以下附图描述使用多笔画智能墨水手势语言的装置和技术。相同的元件可以在不同的附图中以不同的方向示出以提供另外的细节或清晰度。贯穿整个附图使用相同的附图标记来引用相似的功能和组件：
图1示出了可以在其中实现多笔画智能墨水手势语言的示例系统。
图2到图4示出了用于进行图1的多笔画手势的示例技术。
图5到图7示出了图1的动作输入概念的示例性实现。
图8根据一个或多个方面，示出了启用或使用多笔画智能墨水手势语言的示例方法。
图9A根据一个或多个方面，示出了启用或使用多笔画智能墨水手势语言的另一种示例方法。
图9B示出了图9A中所示的示例方法的其它步骤。
图10示出了示例性计算设备的各种组件，该示例性计算设备可以实现成如参考先前的图1到图9B所描述的任何类型的客户端、服务器和/或计算设备以实现多笔画智能墨水手势语言。
具体实施方式
概述
本文描述了使用多笔画智能墨水手势语言的技术以及支持多笔画智能墨水手势语言的系统。通过使用这些技术和系统，触控笔和有源笔的用户可以使用自然的数字墨水笔画来创建内容并在他们的设备上执行操作。通过保留在数字墨水过程中以执行这些命令和导航动作，可以在不减慢速度、不需要非触控笔输入方法或者要求用户使用触控笔或有源笔与触摸屏用户界面进行非墨水交互的情况下，完成这些动作。
通过示例的方式，考虑一个人正在使用有源笔画日落的情形。在绘制时，人们可能想更改数字墨水的属性，比如颜色或线条宽度。另外，该人可能想要通过删除细节或者将某项或部分复制到绘图的另一部分来更改已绘制的内容。用于这些操作的当前方法通常使用起来很慢，并且需要非笔输入方法(例如，触摸或打字)，或者需要使用有源笔进行非墨水交互，从而使用户退出墨水模式(例如，使用有源笔作为触控笔进行触摸交互)。
将这些现有技术与本文档中描述的用于多笔画智能墨水手势语言的技术和系统进行对比。所描述的技术是自然的，不需要在着墨和触摸屏行为之间进行模式切换，并且可以使人保持触控笔或有源笔的一致性使用。返回到上面的例子，考虑人们想要改变有源笔所形成的线条的宽度的情况。多笔画智能墨水手势语言技术允许用户简单地书写数字墨水笔画(例如，“W”形)，然后再书写另一个数字墨水笔画(例如，连接到“W”形的支腿并向左或向右移动的线)，而不是抬起有源笔、查找菜单、点击线宽命令并选择新的宽度。随着第二数字墨水笔画向左或向右进行，线宽减小或增加直到具有用户期望的线宽为止。然后，用户提起有源笔，并且这两个数字墨水笔画消失，使用户继续以新的线宽进行绘制。用户在保留创造性和自然的数字墨水模式的时候获得了所需的结果，而无需访问菜单或命令屏幕。
这仅仅是本发明的技术和设备如何实现多笔画智能墨水手势语言的一个例子。下面描述其它例子。现在，本文转向示例性系统，之后描述示例性方法和系统。
示例性系统
图1示出了可以在其中实现多笔画智能墨水手势语言的示例系统100。示例系统100示出了动作输入节点102、计算设备104、操作系统(OS)106和应用程序108。首先针对计算设备104和相关联的元件进行讨论，然后详细描述动作输入模块102。
计算设备104可以是包括显示器110的各种设备中的一个或者组合。显示器110能够从触控笔112接收数字墨水笔画。显示器110还能够接收触摸输入。显示器110可以使用多种技术中的任何一种来呈现数字墨水。例如，数字化器可以与液晶显示器(LCD)屏幕进行分层放置，以创建可以捕获触控笔1 12的笔画并在LCD屏幕上创建该笔画的视觉表示的显示，类似于使用液体墨水在纸上进行书写。数字墨水笔画的视觉表示可以是与触控笔112的活动点的自由形式运动相匹配的自由形式的线。可以将所获得的视觉表现保存为可搜索的文本和图像，或者在手写的情况下，可以转换为键入的文本。在图1中以五个例子示出了计算设备104：平板计算机104-1、计算手表104-2、膝上型计算机104-3、智能手机104-4和台式计算机104-5，但也可以使用其它计算设备和系统。
触控笔1 12可以是无源或有源触控笔。为了清楚说明起见，将使用术语“触控笔”来概括性地指代无源或有源触控笔，而术语“有源笔”将用于指代有源触控笔。通常，触控笔是可以用于与触摸屏交互的手持式仪器。有源触控笔也称为有源笔，能够与诸如显示器110之类的显示器进行有源通信。有源通信允许有源笔向数字化器提供信息。例如，数字化器可以确定有源笔在屏幕上的位置，或者仅在屏幕上方，并测量有源笔施加的压力。有源笔还可以包括其它功能，例如数字橡皮擦。
有源通信可以通过有线或无线连接。无线有源笔可以使用各种短程无线协议中的任何一种来与数字化器和显示器进行通信。例如，有源笔可以通过静电接口、蓝牙连接或红外数据协会(IrDA)协议进行通信。相比而言，无源触控笔在触摸屏上像手指一样操作，并且不与触摸屏进行有源通信。在触控笔112是无源触控笔的多笔画智能墨水手势语言的实现中，显示器110可以(例如，通过OS 106或应用程序108)提供控件，其中可以选择该控件以告诉数字化器接受触控笔112的输入作为来自有源笔的输入，而不仅仅是来自手指的输入。其它实现可以使用不同的方法来区分来自手指的触摸输入和来自无源触控笔的数字墨水输入。例如，动作输入模块102、OS 106和/或应用程序108可以分析触摸屏上的接触区域的大小和形状以便确定输入模式。
OS 106可以是管理软件和硬件资源和/或为在OS上运行的应用程序提供服务的各种移动式或桌上型操作系统中的任何一种。例如，OS 106可以是Microsoft Windows、macOS、Linux、Android或iOS。应用程序108可以是能从触控笔112接收、显示和使用数字墨水笔画的各种计算机应用程序中的任何一个。例如，应用程序108可以是文字处理或笔记记录程序、电子表格程序、绘制或绘图程序、照片编辑程序或动画程序。
动作输入模块102包括数字墨水用户界面114。如图1中所示，动作输入模块102(和数字墨水用户界面114)可以实现在OS 106、应用程序108中，或者实现成诸如独立的基于云的模块或订阅附加服务之类的单独模块。此外，因为OS 106和/或应用程序108可以由计算设备104托管，所以在表示计算设备104的模块内描绘了表示OS 106和应用程序108的框。但是，在一些实施方式中，OS 106和应用程序108中的任意一个或两者都可以是独立模块，例如，基于云或基于互联网的系统或应用程序。
动作输入模块102可以经由OS 106或应用程序108来呈现数字墨水用户界面114。数字墨水用户界面114可以接收通过触控笔112做出的数字墨水笔画。数字墨水笔画通过能够从触控笔112接收的显示器(例如，显示器110)进行接收，并在数字墨水用户界面114上接收。数字墨水用户界面114可以接收数字墨水笔画并实时地呈现数字墨水笔画的视觉表示。数字墨水用户界面114可以与应用程序(例如，应用程序108)相关联。与应用程序的关联可以允许数字墨水用户界面114以各种方式与应用程序进行交互。例如，数字墨水用户界面114可以接收并显示用于应用程序的内容输入、和/或接收并执行用于应用程序的动作输入，通过应用程序的各种功能进行控制和/或受到控制，与应用程序进行通信和/或通过应用程序进行通信。因此，通过数字墨水用户界面114与应用程序的关联，可以在数字墨水用户界面114上和在应用程序的用户界面上接收数字墨水笔画。在一些情况下，数字墨水用户界面114由操作系统106结合应用程序108来一起提供，OS106可以执行由动作输入模块102执行的步骤，其包括呈现数字墨水笔画的视觉表示。
内容输入是下面中的输入：由触控笔112的移动产生的数字墨水笔画的视觉表示是该输入。例如，内容输入可以是文本或绘图。相比而言，动作输入不是内容。动作输入也是由触控笔112的移动产生，但是数字墨水笔画的视觉表示本身不是输入。相比而言，动作输入是导致执行诸如命令之类的动作、选择操作或视觉实体、或者对属性或设置进行调整的输入。下面以另外的细节和例子来描述动作输入。
动作输入模块102可以基于两个或更多数字墨水笔画之间的关系，来确定所述两个或更多数字墨水笔画代表动作输入。例如，基于先前接收的数字墨水笔画当前在数字墨水用户界面114中或数字墨水用户界面114上呈现的接近度、相交性、或者按时间顺序的即时性，动作输入模块102可以确定数字墨水笔画和先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势。在一些实施方式中，可以使用接近度、相交性和按时间顺序的即时性中的两个或更多的组合，来确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势。然后，动作输入模块102可以将动作输入提供给应用程序108，应用程序108接收动作输入，并且通过执行该动作输入定义的动作来做出反应。
图2到图4示出了用于进行图1的多笔画手势的示例性技术200、300和400。在图2中，动作输入模块102基于数字墨水笔画与先前接收的数字墨水笔画的接近度，确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势。示例200-1示出了数字墨水笔画202和先前接收的数字墨水笔画204。数字墨水笔画202在先前接收的数字墨水笔画204的阈值接近度内。动作输入模块102可以由此确定数字墨水笔画202和先前接收的数字墨水笔画204代表与动作输入(此处是删除两只鸟的命令)相关联的多笔画手势。
示例200-2和200-3描绘了与动作输入相关联的其它多笔画手势。在示例200-2中，数字墨水笔画206和先前接收的数字墨水笔画208指示对文本中的所选段落(例如，突出显示所选段落)执行操作的命令。类似地，在示例200-3中，数字墨水笔画210和先前接收的数字墨水笔画212指示对图形中的对象执行操作的命令(例如，逆时针地旋转云)。同样，在这两个示例中，数字墨水笔画206和210分别在先前接收的数字墨水笔画208和212的阈值接近度内。
阈值接近度可以是多种值中的任何一种。例如，该阈值可以是绝对距离(例如，以毫米或像素为单位进行测量)，也可以是相对距离(例如，以数字墨水笔画的宽度的百分比或者显示器的宽度或高度的百分比进行测量)。在一些情况下，该阈值可以是由例如动作输入模块102、OS 106或应用程序108预先确定的。在其它情况下，该预定的阈值可以是可调整的(例如，经由特定的多笔画手势、动作输入模块102、OS 106或应用程序108)。
在每个示例200-1、200-2和200-3中，先前接收的数字墨水笔画(204、208和212)在显示器上保持可见，并且实时地显示当前数字墨水笔画(202、206和210)，这允许使用简单且容易的笔画进行动作输入(其可以以高精度来进行)。此外，因为动作输入模块102可以确定数字墨水笔画是多笔画手势，所以可以以瞬态数字墨水来呈现数字墨水笔画和先前接收的数字墨水笔画。一旦识别出多笔画数字手势并确定了相关联的输入动作，就可以自动地清除瞬态数字墨水。可以以允许将瞬态数字墨水与内容输入区分开的方式，在视觉上进行样式设置。例如，瞬态墨水可以是不同的颜色，或者包括动画(例如，闪闪发光或淡入和淡出)。通过数字墨水用户界面(例如，数字墨水用户界面114)呈现为覆盖的瞬态数字墨水的使用，使多笔画数字墨水手势通常可用于非墨水上下文中(例如，导航屏幕和命令菜单)。
在图3中，动作输入模块102基于数字墨水笔画与先前接收的数字墨水笔画的视觉表示的一个或多个相交，确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势。示例300-1示出了数字墨水笔画302和先前接收的数字墨水笔画304。数字墨水笔画302与先前接收的数字墨水笔画304相交两次。动作输入模块102由此可以确定数字墨水笔画302和先前接收的数字墨水笔画304代表与动作输入(此处是删除两只鸟的命令)相关联的多笔画手势。
示例300-2和300-3描绘了与动作输入相关联的其它多笔画手势。在示例300-2中，数字墨水笔画306和先前接收的数字墨水笔画308指示对文本中的选定段落执行操作的命令(例如，切换两个带下划线的单词的顺序)。类似地，在示例300-3中，数字墨水笔画310和先前接收的数字墨水笔画312指示对图形中的对象执行操作的命令(例如，逆时针地旋转云)。同样，在这两个示例中，使数字墨水笔画306和310分别与先前接收的数字墨水笔画308和312相交。
如上所述，因为动作输入模块102可以确定数字墨水笔画是多笔画手势，所以示例性数字墨水笔画(302、306和310)和先前接收的数字墨水笔画(304、308和312)可以用瞬态数字墨水来呈现。瞬态数字墨水实现高级手势，诸如示例300-1、300-2和300-3中所示的手势。例如，由于先前接收的数字墨水笔画(304、308和312)保持可见直到识别并解释了多笔画数字墨水手势为止，因此数字墨水笔画(302、306和310)可以包括相对于先前接收的数字墨水笔画的多个相交或者具有特定形状或位置。除非数字墨水笔画和先前接收的数字墨水笔画同时可见，否则如图3中所描述的高级手势将是不可能的。
在图4中，动作输入模块102基于数字墨水笔画与先前接收的数字墨水笔画的接收按时间顺序的即时性，来确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势。示例400-1显示了数字墨水笔画402和先前接收的数字墨水笔画404。数字墨水笔画402在先前接收的数字墨水笔画404的阈值持续时间之内。动作输入模块102可以由此确定数字墨水笔画402和先前接收的数字墨水笔画404代表与动作输入(此处是删除两只鸟的命令)相关联的多笔画手势。
示例400-2和400-3描绘了与动作输入相关联的其它多笔画手势。在示例400-2中，数字墨水笔画406和先前接收的数字墨水笔画408指示对文本中的选定段落执行操作的命令(例如，切换两个带下划线的单词的顺序)。类似地，在示例400-3中，数字墨水笔画410和先前接收的数字墨水笔画412指示对图形中的对象执行操作的命令(例如，逆时针地旋转云)。同样，在两个示例中，数字墨水笔画406和410分别在先前接收的数字墨水笔画408和412的阈值持续时间内。
阈值持续时间可以是多种值中的任何一种。例如，半秒、1秒或2秒。在动作输入模块102确定第一数字墨水笔画(例如，先前接收的数字墨水笔画404、408和412)可能是多笔画手势的一部分的实现中，可以在进行第二数字墨水笔画(例如，数字墨水笔画402、406和410)之前应用上面所描述的视觉样式的瞬态数字墨水。如果没有进行第二数字墨水笔画，则第一数字墨水笔画可以成为内容输入，也可以因为失败的动作输入而取消。如参照图2所描述的，阈值可以是预定的或可调整的。
在一些情况下，阈值持续时间的值是一个相对值，而不是绝对值。例如，可以基于绘制第一数字墨水笔画所花费的时间量来确定持续时间阈值，以便在其中进行第二数字墨水笔画的持续时间与进行第一数字墨水笔画所经过的时间成正比。另外地或替代地，可用的有效第二数字墨水笔画的长度或复杂度(基于第一数字墨水笔画)可以用于调整阈值持续时间。此外，可以使用绝对持续时间和相对持续时间的组合。例如，可以结合相对持续时间来应用绝对持续时间(例如，半秒)，以便对于大多数多笔画手势快速地做出确定，但是更长或更复杂的手势将具有更长的持续时间。用此方式，用户不需要为了生成简单或复杂的多笔画手势而调整其速度。
图2到图4中所示出的例子显示了具有两个数字墨水笔画的多笔画手势。如上所述，多笔画手势可以包括两个以上的数字墨水笔画。例如，确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势，可以是进一步基于与第二先前接收的数字墨水笔画的第二接近度、第二相交性、或者第二按时间顺序的即时性。在该情况下，第二先前接收的数字墨水笔画是在先接收数字墨水笔画之前接收的。
如上所述，可以使用接近度、相交性和按时间顺序的即时性中的两个或更多的组合，来确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势。虽然图3中所示的第一和第二数字墨水笔画包括一个相交，但是这些例子也可以用于说明组合情况。例如，在示例300-1中，数字墨水笔画302与先前接收的数字墨水笔画304相交两次。通过结合即时性来使用相交性，动作输入模块102可以仅在阈值持续时间内执行相交的情况下，确定数字墨水笔画302和先前接收的数字墨水笔画304代表与动作输入相关联的多笔画手势，如上所述。用此方式，类似于多笔画手势的内容元素不太可能被错误地解释为多笔画手势。
同样地，虽然图2和图4中的例子不包括相交，但是这些例子中的任何例子都可以示出可用于进一步指定能够将第一数字墨水笔画和第二数字墨水笔画确定为多笔画手势的方式的接近度和即时性的组合。例如，在示例400-2中，数字墨水笔画406和先前接收的数字墨水笔画408相距较远(例如，与显示器尺寸相比)。即便如此，如果在先前接收的数字墨水笔画408的阈值持续时间内执行数字墨水笔画406，则通过组合接近度和即时性技术，仍可以确定数字墨水笔画指示多笔画手势。
图5到图7示出了图1的动作输入概念的示例性实施方式500、600和700。在图5中，示例性动作输入包括用于定义选择的数字墨水笔画和用于定义要对该选择执行的命令的另一个数字墨水笔画。例如，在详细视图500-1中，第一数字墨水笔画502将该选择定义为图像中的两只鸟。在详细视图500-2中，第二数字墨水笔画504定义了要对该选择执行的命令。这里，该命令是删除选择，如详细视图500-3中所示。应当注意，如上所述，通过使用瞬态数字墨水，第一数字墨水笔画502在详细视图500-2中仍然可见，在这里它有助于放置第二数字墨水笔画504。但是，在详细视图500-3中，已经执行该命令，并且第一数字墨水笔画502和第二数字墨水笔画504都不可见。在其它情况下，所定义的选择可以是文本的一部分，并且所定义的命令可以是保存或复制该选择、更改该选择的格式、或者创建包含该选择的便笺。
在图6中，示例性动作输入包括用于定义属性的数字墨水笔画、以及用于在一个或两个维度上调整属性的另一个数字墨水笔画。例如，在详细视图600-1中，第一数字墨水笔画602定义了要调整的属性。在该例子中，使用“W”形状的第一墨水笔画来指定由触控笔绘制的线条的宽度是要调整的属性。在详细视图600-2中，然后使用第二数字墨水笔画604来增加线条的宽度。如详细视图600-3中所示，已增加了线宽。此外，如上所述，由于第一和第二数字墨水笔画602和604是使用瞬态数字墨水制成的，因此已将它们消除。如图6中所示，宽度调整是一维调整。一维调整的其它例子包括：调整字体、线条样式(例如，画笔、墨水笔或木炭铅笔)或数字值。二维调整的例子包括：调整颜色(例如，同时修改色调和饱和度)或者调整坐标对。
在图7中，示例性动作输入包括用于定义命令的数字墨水笔画、以及用于使用模拟限定符来执行该命令的另一个数字墨水笔画。例如，在详细视图700-1中，第一数字墨水笔画702定义了命令，在该情况下，在文本行之间插入的“<”符号指示该命令将更改文本的行间距。在详细视图700-2中，第二数字墨水笔画704使用模拟限定符来执行该命令。该模拟限定符提供实时反馈：也就是说，在第二数字墨水笔画期间，模拟限定符提供该命令的模拟(限定)结果的预览，其通过使命令更具表现力或精确性来提供另外的控制。
返回到详细视图700-2，第二数字墨水笔画704是控制行间距的垂直线。随着第二数字墨水笔画704沿箭头706所示的方向移动，段落线间距增加。在详细视图700-3中，第二数字墨水笔画704在箭头706的方向上延伸得更远，并且行间距相应地增加到超出详细视图700-2所示出的范围。虽然没有在图7中显示，但是如果第二数字墨水笔画704将在与箭头706的方向相反的方向上移动，则行间距将减小。
可以使用模拟限定符执行的命令的另一个例子是应用撤消/重做命令。在该例子中(图7中没有显示)，第一数字墨水笔画(例如，“U”形数字墨水笔画)定义了“撤消”命令。第二数字墨水笔迹(例如，从“U”形的一条腿移动到显示器上的左边的线)通过在线向左移动时撤消先前的笔画来限定命令，直到该线停止并抬起触控笔为止。其它例子包括：模糊图像或者调整数字墨水笔画的形状(或其它属性)以提高一致性或可读性(例如，对于手写文本)。
贯穿整个图5到图7，所描述的示例性多笔画手势显示为使用两个数字墨水笔画进行，并且使用上面在图2中所描述的接近度技术。但是，在其它实施方式中，示例性多笔画手势可以包括两个以上的数字墨水笔画，并且可以使用图3和图4中所分别描述的相交性或按时间顺序的即时性技术来进行。
另外，如上面在图2到图7中所描述的，动作输入模块102基于两个或更多数字墨水笔画之间的关系，来确定数字墨水笔画和先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势。确定数字墨水笔画和先前接收的数字墨水笔画代表多笔画手势还可以包括：将初始手势确定与和应用程序(例如，应用程序108)相关联的一组动作输入进行比较。
例如，不同的应用程序或应用程序的上下文(例如，单个应用程序中的阅读模式和注释模式)可以提供相同或不同的命令和功能。因此，在笔记记录应用程序和绘图应用程序中都可以使用“保存”和“删除”之类的命令。但是，笔记记录应用程序可以包括绘图应用程序未提供的与文本相关的命令，而绘图应用程序可以提供在笔记记录应用程序上不可用的以图形为中心的功能和命令。虽然初始手势确定可以是基于两个或更多数字墨水笔画之间的关系的确定，但是动作输入模块102还可以将初始手势确定与和正在运行的应用程序相关联的可能动作输入的特定集合进行比较。
这种比较提高了确定的准确性，这是因为该确定是根据减少的一组可能的动作输入(应用程序中可用的内容)而不是每个应用程序中可用的所有可能的动作输入来进行的。例如，特定的多笔画手势可以与绘图应用程序中的“模糊”命令以及笔记记录应用程序中的“斜体”命令相关联。通过使用比较，动作输入模块102可以更快速和准确地判断数字墨水笔画是真正的与动作输入相关联的多笔画手势，还是仅仅是另外的内容输入。
可用的命令集以及每个命令的特定解释可以是基于与源内容相关联的元数据以及源内容内的任何当前选择的数字墨水。例如，如果源内容是一组笔记，则在解释智能墨水手势时，系统可以考虑一组选定的笔记的主题(例如，由第一数字墨水笔画选择)。可以基于上下文来打开/关闭特定的多笔画手势，或者可以基于上下文将特定的多笔画手势的解释替换为其它解释。
示例方法
在详细说明示例系统100的结构的情况下，讨论转向用于根据一个或多个方面来实现或使用多笔画智能墨水手势语言的技术。可以使用先前描述的装置和示例性配置来实现这些技术。在以下讨论的部分中，可以参考图1到图7的示例系统100，仅通过示例的方式对其进行参考。这些技术并不限于由在一个设备上操作的一个实体或多个实体来执行。这些技术包括图8、9A和9B中所示的方法，这些方法可以全部地或部分地与其它方法结合使用，无论它们是由同一实体、单独的实体还是它们的任何组合来执行。
图8根据一个或多个方面，示出了实现或使用多笔画智能墨水手势语言的示例方法800。将该方法显示为一组框，这些框指定了所执行的操作，但其不一定限于所示出的顺序或组合来执行各个框的操作。
在802处，通过能够从触控笔接收输入的显示器(例如，图1的显示器110)来接收通过触控笔写出的数字墨水笔画。该触控笔可以是无源或有源触控笔(例如，图1的触控笔112)。通过与应用程序相关联的数字墨水用户界面来接收数字墨水笔画。例如，数字墨水用户界面可以是图1的数字墨水用户界面114。数字墨水用户界面可以接收数字墨水笔画，并实时地呈现数字墨水笔画的视觉表示。数字墨水笔画的视觉表示是与触控笔的活动点的自由形式移动相匹配的自由形式线。应用程序可以是能够将数字墨水笔画解释为内容输入的多种应用程序中的任何一种。
如上所述，内容输入是下面中的输入：由触控笔的移动产生的数字墨水笔画的视觉表示是该输入(例如，文本或绘图)。相比而言，动作输入不是内容。如上所述，动作输入是导致执行诸如命令之类的动作、选择操作或视觉实体、或者对属性或设置进行调整的输入。
如上所述，数字墨水用户界面可以实现在操作系统(例如，图1的OS106)、应用程序中，或者实现成诸如独立的基于云的模块或订阅附加服务之类的单独模块。在一些情况下，数字墨水用户界面由执行该方法的步骤的单独模块(例如，图1的动作输入模块102)提供。在其它情况下，数字墨水用户界面可以由操作系统结合应用程序一起工作来提供，操作系统可以执行该方法的步骤，其包括呈现数字墨水笔画的视觉表示。
在804处，基于与先前接收的数字墨水笔画当前在数字墨水用户界面中或数字墨水用户界面上呈现的接近度、相交性、或者按时间顺序的即时性，来确定数字墨水笔画和先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势。例如，可以使用上面参考图2到图4所描述的任何技术(其包括基于与第二先前接收的数字墨水笔画的第二接近度、第二相交性、或者第二按时间顺序的即时性的技术)，将数字墨水笔画和先前接收的数字墨水笔画解释为代表多笔画手势。
可选地，在806处，将步骤804的初始手势确定与和应用程序相关联的一组动作输入进行比较。如上所述，不同的应用程序以及应用程序内的不同上下文或模式可以提供不同的命令和功能。因此，可以将初始手势确定(例如，基于两个或更多数字墨水笔画之间的关系)与和正在运行的应用程序或模式相关联的可能动作输入的特定集合进行比较。这种比较使该确定更加稳健和准确，这是因为该确定是根据减少的一组可能的动作输入而不是根据所有应用程序中可用的所有可能的动作输入来进行的。
在808处，将动作输入提供给应用程序，该应用程序通过执行相关联的动作来接收动作并对其做出反应。与多笔画手势相关联的动作输入可以是上面参考图5到图7所描述的任何动作输入，其包括：用于定义选择，然后定义要对该选择执行的命令；用于定义属性，然后在一维或二维中调整该属性；以及用于定义命令，然后使用模拟限定符来执行该命令。
图9A根据一个或多个方面，示出了实现或使用多笔画智能墨水手势语言的示例方法900。将该方法显示为一组框，这些框指定了所执行的操作，但其不一定限于所示出的顺序或组合来执行各个框的操作。
在902处，通过能够从触控笔接收输入的显示器(例如，图1的显示器110)来接收通过触控笔写出的第一数字墨水笔画。该触控笔可以是无源或有源触控笔(例如，图1的触控笔112)。通过与应用程序相关联的数字墨水用户界面来接收第一数字墨水笔画。例如，数字墨水用户界面可以是图1的数字墨水用户界面114。
在904处，通过数字墨水用户界面来实时地呈现第一数字墨水笔画的第一视觉表示。第一数字墨水笔画的第一视觉表示是与触控笔的活动点的自由形式移动相匹配的自由形式线。
在906处，在视觉上维持第一数字墨水笔画的第一视觉表示的时候，通过显示器并且在数字墨水用户界面上接收通过触控笔写出的第二数字墨水笔画。
图9B示出了图9A中所示出的示例性方法900的附加步骤。
在908处，在视觉上保持第一视觉表示的时候，在数字墨水用户界面上实时地呈现第二数字墨水笔画的第二视觉表示。如上所述，数字墨水用户界面可以实现在操作系统(例如，图1的OS 106)、应用程序中，或者实现成诸如独立的基于云的模块或订阅附加服务之类的单独模块。在一些实施方式中，数字墨水用户界面由执行该方法的步骤的单独模块(例如，图1的动作输入模块102)提供。在其它实施方式中，数字墨水用户界面可以由操作系统结合应用程序一起工作来提供，操作系统可以执行该方法的步骤，其包括在数字墨水用户界面上呈现第一和第二视觉表示。
在910处，确定第一和第二数字墨水笔画代表与动作输入相关联的多笔画手势。该确定是基于由第一视觉表示所表示的第一数字墨水笔画的位置，或者是基于第一数字墨水笔画与第二数字墨水笔画之间的关系。
如上所述，内容输入是下面中的输入：由触控笔的移动产生的数字墨水笔画的视觉表示是该输入(例如，文本或绘图)。相比而言，动作输入不是内容。如上所述，动作输入是导致执行诸如命令之类的动作、选择操作或视觉实体、或者对属性或设置进行调整的输入。
在一些实施方式中，应用程序可能不能够接收数字墨水笔画作为内容输入。在其它实施方式中，应用程序能够接收数字墨水笔画作为内容输入。因此，应用程序可以接收多笔画手势的第一数字墨水笔画作为内容输入。在这些情况下，响应于确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势，应用程序不接收或识别第一数字墨水笔画作为内容输入。
例如，考虑图2的示例技术200-2，该技术示出了选择显示文本的一部分的第一数字墨水笔画208。在能够接收数字墨水笔画作为内容输入的应用程序中，可以将第一数字墨水笔画208解释为诸如注释之类的内容输入，以便稍后查看所选部分。但是，一旦接收到第二数字墨水笔画206，就可以确定数字墨水笔画206和208代表与动作输入相关联的多笔画手势。响应于该确定，应用程序不将数字墨水笔画208解释为内容输入，而是接收并执行动作输入。如上所述，以瞬态数字墨水来显示多笔画手势的数字墨水笔画，并在执行了动作输入后立即消失。
应用程序可以包括命令用户界面，并且确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势可以是基于第一数字墨水笔画的位置。命令用户界面是主要用于接收命令和指令以使用和导航应用程序的用户界面。例如，命令用户界面可以是导航菜单、启动屏幕、下拉菜单或工具栏。在这些情况下，可以基于位置来确定第一数字墨水笔画选择命令用户界面内呈现的视觉控件或图像。例如，绘图程序中的命令用户界面可以为绘图空间和工具栏提供可通过多种方式调整的属性列表。当第一数字墨水笔画是例如围绕工具栏上的属性之一的圆圈时，可以确定第一数字墨水笔画是对于要调整的属性的选择。
确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势还可包括：将第二数字墨水笔画与和应用程序相关联的一组动作输入进行比较。如上所述，可以将第一数字墨水笔画确定为对于在命令用户界面内呈现的控件或图像的选择。可以通过将第二数字墨水笔画与通过第一数字墨水笔画选择的属性相关联的可能动作输入的特定集合(选定的视觉控件或图像)进行比较，基于第一数字墨水笔画的位置来完成初始手势确定。这种比较使该确定更加稳健和准确，这是因为该确定是根据减少的一组可能动作输入(例如，可用于所选属性的调整)进行的，而不是根据每个可用控件的所有可能的调整来进行的。
在其它实施方式中，可以通过确定第一数字墨水笔画和第二数字墨水笔画彼此接近、彼此相交或者按时间顺序即时，确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势。例如，可以使用上面参考图2到图4所描述的任何技术，来确定第一和第二数字墨水笔画代表多笔画手势。此外，该确定可以包括其中以下的技术：多笔画手势包括第三数字墨水笔画(在第一数字墨水笔画之前接收)，并且该确定另外基于第三数字墨水笔画与第一数字墨水笔画的第二接近度、第二相交性、或者第二按时间顺序的即时性。因此，可以用三个数字墨水笔画来构造多笔画手势。如上所述，可以使用第一和第二数字墨水笔画之间以及第二和第三数字墨水笔画之间的接近度、相交性、或者即时性(或接近度、相交性和即时性的组合)来判断这三个数字墨水笔画是否是多笔画手势。
在初始手势确定同时地基于第一和第二数字墨水笔画的情况下，可以将该确定与和应用程序或者应用程序的特定模式或上下文相关联的一组动作输入进行比较。如上所述，不同的应用程序可以提供不同的命令和功能，其包括在应用程序的不同模式或上下文内的不同命令和功能。因此，可以将初始手势确定与和正在运行的应用程序(或应用程序的上下文或模式)相关联的可能动作输入的特定集合进行比较。
在步骤912处，将动作输入提供给应用程序，应用程序接收该动作输入并通过执行相关联的动作来对其做出反应。应用程序可以如上所述地执行命令用户界面中的命令，其中，确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势是基于第一数字墨水笔画的位置。例如，与导航菜单、启动屏幕、下拉菜单或工具栏相关的命令。
在基于第一数字墨水笔画和第二数字墨水笔画二者来确定第一数字墨水笔画和第二数字墨水笔画代表与动作输入相关联的多笔画手势的实现中，所执行的动作输入可以是上面参考图5到图7所描述的任何动作输入，其包括：用于定义选择，然后定义要对该选择执行的命令；用于定义属性，然后在一维或二维中调整该属性；以及用于定义命令，然后使用模拟限定符来执行该命令。
示例性计算系统
图10示出了包括示例性计算设备1002的通常以1000表示的示例性计算系统，其中计算设备1002表示可以实现本文参照图1到图9B所描述的多笔画智能墨水手势语言的一个或多个系统和/或设备。例如，计算设备1002可以是服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统和/或任何其它适当的计算设备或计算系统。
如图所示的示例性计算设备1002包括处理系统1004、一个或多个计算机可读介质1006、以及一个或多个I/O接口1008，它们彼此通信地耦合。虽然没有示出，但计算设备1002还可以包括用于将各种组件彼此耦合的系统总线或其它数据和命令传输系统。系统总线可以包括不同总线结构中的任何一个或组合，例如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何总线架构的处理器或本地总线。还可以预期各种各样的其它示例(例如，控制线和数据线)。
处理系统1004表示使用硬件执行一个或多个操作的功能。因此，将处理系统1004示出为包括可以被配置成处理器、功能块等等的硬件元件1010。这可以包括利用硬件实现成专用集成电路或者使用一个或多个半导体形成的其它逻辑器件。硬件元件1010不受制成它们的材料或者其中采用的处理机制的限制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质1006示出为包括存储器/存贮设备1012。存储器/存贮设备1012表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存贮设备1012可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、电阻式RAM(ReRAM)、闪存、光盘、磁盘等等)。存储器/存贮设备1012可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等等)以及可移动介质(例如，闪存、可移动硬盘驱动器、光盘等等)。可以以各种其它方式来配置计算机可读介质1006，如下面进一步描述的。
所述一个或多个输入/输出接口1008表示允许用户向计算设备1002输入命令和信息，并且还允许使用各种输入/输出设备将信息呈现给用户和/或其它组件或设备的功能。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风(例如，用于语音输入)、扫描仪、触摸功能(例如，被配置为检测物理触(其包括来自有源或无源触控笔的物理触)的电容或其它传感器)、相机(例如，其可以采用诸如红外频率之类的可见或不可见波长来检测不涉及作为手势的触摸的运动)等等。输出设备的示例包括具有如上所述的触摸功能并且能够显示数字墨水的显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备等等。因此，可以以下面进一步描述的支持用户交互的各种方式来配置计算设备1002。
本文可以在软件、硬件元件或程序模块的通常上下文中描述各种技术。通常，这样的模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等等。如本文所使用的术语“模块”、“功能”和“组件”通常表示软件、固件、硬件或者其组合。本文所描述的技术的特征是与平台无关的，这意味着可以在具有各种处理器的各种各样的商业计算平台上实现这些技术。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质进行传输。计算机可读介质包括可以由计算设备1002访问的各种介质。举例而言但非做出限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指代与仅仅信号传输、载波波形或信号本身相比，能够持久地存储信息的介质和/或设备。因此，计算机可读存储介质指代非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或存储设备之类的硬件，其以适于存储诸如计算机可读指令、数据结构、程序模块、逻辑单元/电路或其它数据之类的信息的方法或技术来实现。计算机可读存储介质的示例可以包括但不限于：RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储器、硬盘、盒式磁带、磁带、磁盘存储器或其它磁存储设备、或其它存储设备、有形介质、或者适于存储期望的信息并且可由计算机访问的制品。
“计算机可读信号介质”指代信号承载介质，其被配置为例如经由网络将指令发送到计算设备1002的硬件。信号介质通常可以体现计算机可读指令、数据结构、程序模块、或调制数据信号中的其它数据(例如，载波波形、数据信号或其它传输机制)。信号介质还包括任何信息传递介质。术语“调制的数据信号”是以对信号中的信息进行编码的方式来设置或改变其一个或多个特征的信号。举例而言但非做出限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质、以及诸如声波、RF、红外线之类的无线介质和其它无线介质。
如先前所描述的，硬件元件1010和计算机可读介质1006表示以硬件形式实现的指令、模块、可编程设备逻辑和/或固定设备逻辑，其可以用于实现本文所描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统的组件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及在硅或其它硬件设备中的其它实现。在此上下文中，硬件元件可以作为处理设备以及硬件设备进行操作，该处理设备执行由该硬件元件实现的指令、模块和/或逻辑所规定的程序任务，该硬件设备用于存储要执行的指令(例如，先前描述的计算机可读存储介质)。
还可以采用前述的组合来实现本文所描述的各种技术和模块。因此，软件、硬件或程序模块和其它程序模块可以实现成在某种形式的计算机可读存储介质上体现和/或由一个或多个硬件元件1010实现的一个或多个指令和/或逻辑。计算设备1002可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，可以由计算设备1002作为软件执行的模块的实现，可以至少部分地以硬件来实现，例如通过使用处理系统的计算机可读存储介质和/或硬件元件1010。指令和/或功能可以由一个或多个制品(例如，一个或多个计算设备1002和/或处理系统1004)执行/操作，以实现本文所描述的技术、模块和示例。
如图10中进一步所示，当在个人计算机(PC)、电视设备和/或移动设备上运行应用程序时，示例计算系统1000使得能够实现无处不在的环境以获得无缝的用户体验。服务和应用程序在所有三种环境中基本相似地运行，以便在使用应用程序、玩视频游戏、观看视频等等情况下从一个设备转换到下一个设备时获得共同的用户体验。
在示例性计算系统1000中，多个设备通过中央计算设备互连。该中央计算设备可以是所述多个设备的本地设备，或者也可以远离所述多个设备。在一种或多种实现中，中央计算设备可以是一个或多个服务器计算机的云，其通过网络、互联网或其它数据通信链路来连接到所述多个设备。
在一种或多种实现中，这种互连架构使得能够跨多个设备来传递功能，以向所述多个设备的用户提供共同且无缝的体验。所述多个设备中的每一个设备可以具有不同的物理要求和能力，中央计算设备使用平台来实现向设备传递体验，其既针对该设备进行定制又对所有设备是共同的。在一种或多种实现中，创建一种类别的目标设备，并针对通用设备类别来定制体验。可以通过物理特征、使用类型或设备的其它共同特征来规定一种类别的设备。
在各种实现中，计算设备1002可以采用各种不同的配置，例如针对计算机1014、移动台1016和电视1018的使用。这些配置中的每一个包括可以具有通常不同的构造和能力的设备，因此可以根据不同的设备类别中的一个或多个来配置计算设备1002。例如，可以将计算设备1002实现为计算机1014类别的设备，其包括个人计算机、桌上型计算机、多屏幕计算机、膝上型计算机、上网本等等。
还可以将计算设备1002实现为包括移动设备的移动台1016类别的设备，例如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、可穿戴设备、多屏幕计算机等等。还可以将计算设备1002实现为电视1018类别的设备，其包括具有或连接到休闲观看环境中的通常更大屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等等。
本文所描述的技术可以由计算设备1002的这些各种配置支持，并且其不限于本文所描述的技术的特定示例。例如，该功能可以全部地或部分地通过使用分布式系统来实现，例如经由平台1022通过“云”1020来实现，如下所述。
云1020包括和/或代表用于资源1024的平台1022。平台1022抽象出云1020的硬件(例如，服务器)和软件资源的底层功能。资源1024可以包括：当在远离计算设备1002的服务器上执行计算机处理时，能够使用的应用和/或数据。资源1024还可以包括通过互联网和/或通过用户网络(例如，蜂窝或Wi-Fi网络)提供的服务。
平台1022可以抽象用于将计算设备1002与其它计算设备连接的资源和功能。平台1022还可以用于抽象资源的缩放，以提供针对经由平台1022实现的资源1024的所遇到的需求的相应级别的规模。因此，在互连的设备实现中，本文描述的功能的实现可以分布在整个系统1000中。例如，功能可以部分地实现在计算设备1002上，以及经由抽象云1020的功能的平台1022来实现。
示例性计算系统1000还包括动作输入模块1026。可以经由云1020或者经由计算设备1002来实现动作输入模块1026。动作输入模块1026提供用于利用触控笔(例如，无源触控笔或有源触控笔)与计算设备1002进行交互的各种功能，例如，用于使计算设备1002能够从触控笔接收作为动作输入的输入。动作输入模块1026可以是例如图1的动作输入模块102。
结论
虽然利用特定于特征和/或方法的语言来描述了实现多笔画智能墨水手势语言的技术和装置的实施方式，但应当理解的是，所附权利要求书的主题并不是必需限于所描述的特定特征或方法。相反，只是将这些特定特征和方法公开成多笔画智能墨水手势语言的实施方式。
在本文的讨论中，描述了各种方法和装置。应当理解并明白的是，本文所描述的方法和装置中的每一个可以自身单独使用，也可以结合本文所描述的一个或多个其它方法和/或装置来使用。本文所讨论的技术的其它方面涉及下面中的一个或多个：
一种系统，包括：操作系统(OS)；应用程序；以及至少部分地在硬件中实现的动作输入模块，其被配置为：通过所述OS或所述应用程序提供与所述应用程序相关联的数字墨水用户界面，所述数字墨水用户界面可以接收通过触控笔写出的数字墨水笔画，其中所述数字墨水笔画为：通过能够从所述触控笔接收输入的显示器接收：通过所述数字墨水用户界面接收，所述数字墨水用户界面被配置为接收所述数字墨水笔画并实时地呈现所述数字墨水笔画的视觉表示，所述应用程序被配置为将所述数字墨水笔画解释为内容输入；基于与当前在所述数字墨水用户界面中或所述数字墨水用户界面上呈现的先前接收的数字墨水笔画的接近度、相交性、或者按时间顺序的即时性，来确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势；向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
替代地或者除了上面所描述的系统中的任何一项，还包括以下中的任何一项或者组合：其中，所述数字墨水笔画的所述视觉表示是与所述触控笔的活动点的自由形式运动相匹配的自由形式线；其中，所述数字墨水用户界面是由所述OS与所述应用程序一起工作来呈现的，并且所述OS用于：在所述数字墨水用户界面上呈现所述视觉表示；确定所述数字墨水笔画和所述先前接收的数字墨水笔画表示与所述动作输入相关联的所述多笔画手势；向所述应用程序提供所述动作输入；其中，所述触控笔是被配置为与所述显示器进行有源通信的有源笔；其中，所述内容输入是文本或绘图；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于所述数字墨水笔画与所述先前接收的数字墨水笔画的所述接近度；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于所述数字墨水笔画与所述先前接收的数字墨水笔画的视觉表示的所述相交性；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于所述数字墨水笔画与所述先前接收的数字墨水笔画的接收按时间顺序的所述即时性；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是进一步基于与第二先前接收的数字墨水笔画的第二接近度、第二相交性、或者第二按时间顺序的即时性的，所述第二先前接收的数字墨水笔画是在所述先前接收的数字墨水笔画之前接收的；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势还包括：将初始手势确定与和所述应用程序相关联的一组动作输入进行比较。
一种方法，包括：接收通过触控笔写出的数字墨水笔画，所述数字墨水笔画为：通过能够从所述触控笔接收输入的显示器接收：通过与应用程序相关联的数字墨水用户界面接收，所述数字墨水用户界面被配置为接收所述数字墨水笔画并实时地呈现所述数字墨水笔画的视觉表示，所述应用程序被配置为将所述数字墨水笔画解释为内容输入；基于与当前在所述数字墨水用户界面中或所述数字墨水用户界面上呈现的先前接收的数字墨水笔画的接近度、相交性、或者按时间顺序的即时性，来确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势；向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
替代地或者除了上面所描述的方法中的任何一项，还包括以下中的任何一项或者组合：其中，所述数字墨水用户界面由操作系统与所述应用程序一起工作来提供，所述操作系统执行所述方法并在所述数字墨水用户界面上呈现所述视觉表示；其中，所述动作输入被确定为：用于定义选择，然后定义要对所述选择执行的动作；用于定义属性，然后在一维或二维中调整所述属性；或者用于定义命令，然后使用模拟限定符来执行所述命令；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于：所述数字墨水笔画与所述先前接收的数字墨水笔画的所述接近度、所述数字墨水笔画与所述先前接收的数字墨水笔画的视觉表示的所述相交性、或者所述数字墨水笔画与所述先前接收的数字墨水笔画的接收按时间顺序的所述即时性；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是进一步基于与第二先前接收的数字墨水笔画的第二接近度、第二相交性、或者第二按时间顺序的即时性的，所述第二先前接收的数字墨水笔画是在所述先前接收的数字墨水笔画之前接收的；其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势还包括：将初始手势确定与和所述应用程序相关联的一组动作输入进行比较。
一种方法，包括：接收通过触控笔写出的第一数字墨水笔画，所述第一数字墨水笔画为：通过能够从所述触控笔接收输入的显示器接收：通过与应用程序相关联的数字墨水用户界面接收；在所述数字墨水用户界面上并且实时地呈现所述第一数字墨水笔画的第一视觉表示；在视觉上保持所述第一数字墨水笔画的所述第一视觉表示的时候，接收通过所述触控笔写出并通过所述数字墨水用户界面接收的第二数字墨水笔画；在视觉上保持所述第一视觉表示的时候，在所述数字墨水用户界面上并且实时地呈现所述第二数字墨水笔画的第二视觉表示；基于所述第一视觉表示所表示的所述第一数字墨水笔画的位置或者所述第一数字墨水笔画与所述第二数字墨水笔画之间的关系，来确定所述第一数字墨水笔画和所述第二数字墨水笔画代表与动作输入相关联的多笔画手势；向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
替代地或者除了上面所描述的方法中的任何一项，还包括以下中的任何一项或者组合：其中，所述应用程序包括命令用户界面，确定所述第一数字墨水笔画和所述第二数字墨水笔画表示与所述动作输入相关联的所述多笔画手势是基于所述第一数字墨水笔画的所述位置；以及所述方法进一步包括：基于所述位置，来确定所述第一数字墨水笔画选择在所述命令用户界面内呈现的视觉控件或图像；其中，确定所述第一数字墨水笔画和第二数字墨水笔画表示与所述动作输入相关联的所述多笔画手势是基于所述第一数字墨水笔画和所述第二数字墨水笔画；以及，其中，确定所述第一数字墨水笔画和所述第二数字墨水笔画彼此接近、彼此相交或者按时间顺序即时；其中，所述应用程序能够接收所述第一数字墨水笔画作为内容，并且响应于确定所述第一数字墨水笔画和所述第二数字墨水笔画表示与所述动作输入相关联的所述多笔画手势，不将所述第一数字墨水笔画识别为所述内容输入。

Claims (15)

1.一种系统，包括：
操作系统(OS)；
应用程序；以及
至少部分地在硬件中实现的动作输入模块，并且其被配置为：
通过所述OS或所述应用程序提供与所述应用程序相关联的数字墨水用户界面，并且所述数字墨水用户界面能够接收通过触控笔写出的数字墨水笔画，所述数字墨水笔画为：
通过能够从所述触控笔接收输入的显示器接收：以及
通过所述数字墨水用户界面接收，所述数字墨水用户界面被配置为接收所述数字墨水笔画并实时地呈现所述数字墨水笔画的视觉表示，所述应用程序被配置为将所述数字墨水笔画解释为内容输入；
基于与先前接收的数字墨水笔画的检测到的接近度，以及与相对于当前在所述数字墨水用户界面中或所述数字墨水用户界面上呈现的所述先前接收的数字墨水笔画而接收到所述数字墨水笔画相关联的按时间顺序的即时性持续时间，来确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势；以及
向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
2.根据权利要求1所述的系统，其中，所述数字墨水笔画的所述视觉表示是与所述触控笔的活动点的自由形式运动相匹配的自由形式线。
3.根据权利要求1或2所述的系统，其中：
所述数字墨水用户界面是由所述OS与所述应用程序一起工作来呈现的，并且所述OS用于：
在所述数字墨水用户界面上呈现所述视觉表示；
确定所述数字墨水笔画和所述先前接收的数字墨水笔画表示与所述动作输入相关联的所述多笔画手势；以及
向所述应用程序提供所述动作输入。
4.根据权利要求1或2所述的系统，其中，所述触控笔是被配置为与所述显示器进行有源通信的有源笔。
5.根据权利要求1或2所述的系统，其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于所述数字墨水笔画与所述先前接收的数字墨水笔画的所述接近度的。
6.根据权利要求1或2所述的系统，其中，所述检测到的接近度是基于检测到所述数字墨水笔画与所述先前接收的数字墨水笔画的视觉表示的相交性的。
7.根据权利要求1或2所述的系统，其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于按时间顺序的所述即时性持续时间的，按时间顺序的所述即时性持续时间指示接收到所述数字墨水笔画与接收到所述先前接收的数字墨水笔画之间已经经过的阈值时间量。
8.根据权利要求1或2所述的系统，其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是进一步基于以下中的一项或多项的：与第二先前接收的数字墨水笔画的第二接近度、第二相交性、以及第二按时间顺序的即时性持续时间，并且其中，所述第二先前接收的数字墨水笔画是在所述先前接收的数字墨水笔画之前接收的。
9.根据权利要求1或2所述的系统，其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势还包括：将初始手势确定与和所述应用程序相关联的一组动作输入进行比较。
10.一种方法，包括：
接收通过触控笔写出的数字墨水笔画，所述数字墨水笔画为：
通过能够从所述触控笔接收输入的显示器接收：以及
通过与应用程序相关联的数字墨水用户界面接收，所述数字墨水用户界面被配置为接收所述数字墨水笔画并实时地呈现所述数字墨水笔画的视觉表示，所述应用程序被配置为将所述数字墨水笔画解释为内容输入；
基于与先前接收的数字墨水笔画的检测到的接近度，以及与相对于当前在所述数字墨水用户界面中或所述数字墨水用户界面上呈现的所述先前接收的数字墨水笔画而接收到所述数字墨水笔画相关联的按时间顺序的即时性持续时间，来确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表与动作输入相关联的多笔画手势；以及
向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
11.根据权利要求10所述的方法，其中，所述数字墨水用户界面由操作系统与所述应用程序一起工作来提供，所述操作系统执行所述方法并在所述数字墨水用户界面上呈现所述视觉表示。
12.根据权利要求10或11所述的方法，其中，所述动作输入被确定为：
用于定义选择，然后定义要对所述选择执行的动作；
用于定义属性，然后在一维或二维中调整所述属性；或者
用于定义命令，然后使用模拟限定符来执行所述命令。
13.根据权利要求10或11所述的方法，其中，确定所述数字墨水笔画和所述先前接收的数字墨水笔画代表所述多笔画手势是基于：所述数字墨水笔画与所述先前接收的数字墨水笔画的所述接近度、所述数字墨水笔画与所述先前接收的数字墨水笔画的视觉表示的相交性、或者所述数字墨水笔画与所述先前接收的数字墨水笔画的接收按时间顺序的所述即时性。
14.一种方法，包括：
接收通过触控笔写出的第一数字墨水笔画，所述第一数字墨水笔画为：
通过能够从所述触控笔接收输入的显示器接收：以及
通过与应用程序相关联的数字墨水用户界面接收；
在所述数字墨水用户界面上并且实时地呈现所述第一数字墨水笔画的第一视觉表示；
在视觉上保持所述第一数字墨水笔画的所述第一视觉表示的时候，接收通过所述触控笔写出并通过所述数字墨水用户界面接收的第二数字墨水笔画；
在视觉上保持所述第一视觉表示的时候，在所述数字墨水用户界面上并且实时地呈现所述第二数字墨水笔画的第二视觉表示；
基于所述第一数字墨水笔画与所述第二数字墨水笔画的检测到的接近度，以及与相对于所述第一数字墨水笔画而接收到所述第二数字墨水笔画相关联的按时间顺序的即时性持续时间，来确定所述第一数字墨水笔画和所述第二数字墨水笔画代表与动作输入相关联的多笔画手势；以及
向所述应用程序提供所述动作输入，以有效地使所述应用程序接收所述动作输入并对其做出反应。
15.根据权利要求14所述的方法，其中，所述应用程序包括命令用户界面，并且其中，所述动作输入是基于所述第一数字墨水笔画的位置而选择的；以及
所述方法进一步包括：基于所述位置，来确定所述第一数字墨水笔画选择在所述命令用户界面内呈现的视觉控件或图像。
CN201880035021.3A 2017-05-31 2018-04-27 多笔画智能墨水手势语言 Active CN110663017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474881.XA CN116483247A (zh) 2017-05-31 2018-04-27 多笔画智能墨水手势语言

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/609,980 US10429954B2 (en) 2017-05-31 2017-05-31 Multi-stroke smart ink gesture language
US15/609,980 2017-05-31
PCT/US2018/029677 WO2018222307A1 (en) 2017-05-31 2018-04-27 Multi-stroke smart ink gesture language

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310474881.XA Division CN116483247A (zh) 2017-05-31 2018-04-27 多笔画智能墨水手势语言

Publications (2)

Publication Number Publication Date
CN110663017A CN110663017A (zh) 2020-01-07
CN110663017B true CN110663017B (zh) 2023-04-18

Family

ID=62148539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310474881.XA Pending CN116483247A (zh) 2017-05-31 2018-04-27 多笔画智能墨水手势语言
CN201880035021.3A Active CN110663017B (zh) 2017-05-31 2018-04-27 多笔画智能墨水手势语言

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310474881.XA Pending CN116483247A (zh) 2017-05-31 2018-04-27 多笔画智能墨水手势语言

Country Status (4)

Country Link
US (2) US10429954B2 (zh)
EP (1) EP3610361B1 (zh)
CN (2) CN116483247A (zh)
WO (1) WO2018222307A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846345B2 (en) * 2018-02-09 2020-11-24 Microsoft Technology Licensing, Llc Systems, methods, and software for implementing a notes service
JP6546455B2 (ja) * 2015-06-12 2019-07-17 シャープ株式会社 イレーサ装置および指示入力システム
CN111949132B (zh) * 2020-08-19 2024-09-13 麦片科技（深圳）有限公司 一种基于点读笔的手势控制方法及点读笔
US11409432B2 (en) 2020-12-23 2022-08-09 Microsoft Technology Licensing, Llc Pen command for ink editing
US11630504B2 (en) * 2021-03-16 2023-04-18 Htc Corporation Handheld input device and electronic system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760773A (en) 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US20020149630A1 (en) 2001-04-16 2002-10-17 Parascript Llc Providing hand-written and hand-drawn electronic mail service
US6973214B1 (en) * 2001-07-30 2005-12-06 Mobigence, Inc. Ink display for multi-stroke hand entered characters
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7412094B2 (en) * 2004-09-21 2008-08-12 Microsoft Corporation System and method for editing a hand-drawn table in ink input
US7394935B2 (en) * 2004-09-21 2008-07-01 Microsoft Corporation System and method for editing a hand-drawn chart in ink input
US7551779B2 (en) 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US8751550B2 (en) * 2010-06-09 2014-06-10 Microsoft Corporation Freeform mathematical computations
US20110307840A1 (en) 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
CN102467327A (zh) * 2010-11-10 2012-05-23 上海无戒空间信息技术有限公司 手势对象的生成、编辑方法和音频数据的操作方法
US9007390B2 (en) * 2012-05-15 2015-04-14 Evernote Corporation Creation and manipulation of hand drawn objects with automatic grouping
US9715282B2 (en) 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US20160048318A1 (en) 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
US20160179364A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Disambiguating ink strokes and gesture inputs
US10089291B2 (en) * 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation

Also Published As

Publication number Publication date
EP3610361B1 (en) 2024-02-14
WO2018222307A1 (en) 2018-12-06
US10664072B2 (en) 2020-05-26
US20190377433A1 (en) 2019-12-12
US20180348896A1 (en) 2018-12-06
US10429954B2 (en) 2019-10-01
CN116483247A (zh) 2023-07-25
CN110663017A (zh) 2020-01-07
EP3610361A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110663017B (zh) 多笔画智能墨水手势语言
US11016609B2 (en) Distance-time based hit-testing for displayed target graphical elements
US11460988B2 (en) Method of styling content and touch screen device for styling content
RU2627108C2 (ru) Установление направления навигации по контенту на основе направленных пользовательских жестов
US8769444B2 (en) Multi-input gesture control for a display screen
US10839139B2 (en) Glyph aware snapping
US9772978B2 (en) Touch input visualizations based on user interface context
US20140075302A1 (en) Electronic apparatus and handwritten document processing method
CN109074375B (zh) web文档中的内容选择
US20160147436A1 (en) Electronic apparatus and method
US20150347000A1 (en) Electronic device and handwriting-data processing method
JP2015158900A (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20230367473A1 (en) Ink data generation apparatus, method, and program
CN110727383A (zh) 基于小程序的触控交互方法、装置、电子设备与存储介质
CN108885556B (zh) 控制数字输入
US20160117093A1 (en) Electronic device and method for processing structured document
US9965457B2 (en) Methods and systems of applying a confidence map to a fillable form
US20170322723A1 (en) Method and apparatus for executing function on a plurality of items on list
CN108780383A (zh) 基于第二输入选择第一数字输入行为
US10930045B2 (en) Digital ink based visual components
US20140145928A1 (en) Electronic apparatus and data processing method
US20240176482A1 (en) Gesture Based Space Adjustment for Editing
US10007653B2 (en) Methods and systems of creating a confidence map for fillable forms
Madhuka et al. HTML5 Based Email Client with Touch Enabled Advanced User Interface for Tabs and Tablets
WO2017083876A1 (en) Free hand messaging and ink cluster editor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant