CN108885530A - 用墨水命令来操作可视用户界面控件 - Google Patents

用墨水命令来操作可视用户界面控件 Download PDF

Info

Publication number
CN108885530A
CN108885530A CN201780022387.2A CN201780022387A CN108885530A CN 108885530 A CN108885530 A CN 108885530A CN 201780022387 A CN201780022387 A CN 201780022387A CN 108885530 A CN108885530 A CN 108885530A
Authority
CN
China
Prior art keywords
ink
control
project
input
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780022387.2A
Other languages
English (en)
Inventor
D·W·迪翁
Y·孙
X·屠
F·周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108885530A publication Critical patent/CN108885530A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Inking, Control Or Cleaning Of Printing Machines (AREA)
  • Digital Computer Display Output (AREA)
  • Inks, Pencil-Leads, Or Crayons (AREA)
  • Pens And Brushes (AREA)

Abstract

描述了使用户能够用墨水命令来操作可视用户界面控件的设施。该设施致使可以用鼠标输入操作的控件被显示并且接收涉及所显示的控件的墨水命令。作为响应，该设施根据所接收到的墨水命令来操作所显示的控件；例如，通过围绕无线电按钮执行数字墨水圆圈来选择无线电按钮。

Description

用墨水命令来操作可视用户界面控件
背景
计算机可视界面——诸如操作系统、应用程序和网页的计算机可视界面——通常被设计成针对经由鼠标和/或键盘接收到的用户输入进行操作。例如，文字处理文档在垂直维度上可滚动是常见的。为了在这样的文档中向下移动一页，用户可以按下键盘上的向下翻页按钮，或者用鼠标点击所显示的滚动条的升降部的下方。要向下移动页面的一小部分，用户可以按键盘上的向下箭头按钮，或使用鼠标点击滚动条的向下箭头部分。该示例中的滚动条是各种不同的“可视用户界面控件”(在本文中有时简称为“控件”)中的一种。
概述
提供本发明内容以便以简化的形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键因素或必要特征，也不旨在用于限定所要求保护的主题的范围。
描述了使用户能够用墨水命令来操作可视用户界面控件的设施。该设施致使可以用鼠标输入操作的控件被显示，并且接收涉及所显示的控件的墨水命令。作为响应，该设施根据所接收到的墨水命令来操作所显示的控件。
附图简述
图1是示出可被包含在用于该设施在其上操作的计算机系统和其他设备中的至少一些中的一些组件的框图。
图2是示出一些示例中的由设施执行的用于以使得能够用墨水命令操作控件的方式来管理控件的过程的流程图。
图3和4是示出样本命令符号墨水命令的输入以及设施对其的响应的显示画面图。
图5和6是示出样本滑块切条墨水命令的输入以及设施对其的响应的显示画面图。
图7和8是示出样本数字文本墨水命令的输入以及设施对其的响应的显示画面图。
图9和10是示出样本包围形状项目选择命令的输入以及设施对其的响应的显示画面图。
图11和12是示出样本项目转移墨水命令的输入以及设施对其的响应的显示画面图。
图13和14是示出样本文本过滤墨水命令的输入以及设施对其的响应的显示画面图。
图15和16是示出样本文本过滤撤销墨水命令的输入以及设施对其的响应的显示画面图。
图17和18是示出样本复选选择命令的输入以及设施对其的响应的显示画面图。
图19和20是示出样本划线删除命令的输入以及设施对其的响应的显示画面图。
图21和22是示出样本项目挑选器包围形状墨水命令(类似于以上讨论的包围形状项目选择命令)的输入以及设施对其的响应的显示画面图。
图23和24是示出样本项目挑选器文本日期命令(类似于以上讨论的数字文本墨水命令)的输入以及设施对其的响应的显示画面图。
详细描述
计算机操作系统最近已经添加了对电子墨水的支持：其中用户手写、绘制或执行其他任意空间移动的用户输入技术。作为此类用户输入的结果，向显示画面添加对应于移动路径的可视标记。例如，在手写情形中，手写单词以它们由用户完成的相同的手写样式出现在显示画面上。
在一些情形中，用户通过在显示设备的表面上移动触笔或他或她的手指来执行该输入。在这种情况下，电子墨水通常出现在显示器上发生相互的位置。在一些情形中，用户通过使用诸如鼠标或触摸板之类的输入设备在屏幕上移动所显示的位置指针来执行墨水输入。
在对应于手写的电子墨水的情形中，可以使用各种手写形状识别技术来标识通过手写表示的文本，该文本可以与电子墨水笔迹一起或代替电子墨水笔迹显示在文档中。类似地，在对应于形状的电子墨水的情形中，可以使用各种形状识别技术来标识由墨水绘制的形状。
发明人已经标识了用户使用墨水与常规可视用户界面控件(诸如用可扩展应用标记语言(“XAML”)创建的那些控件)交互的新方法。具体地，发明人已经构思并归纳出实施用于用墨水命令操作可视用户界面控件的软件和/或硬件设施(“设施”)。在各种示例中，用户通过以特定方式在特定控件上或附近书写或绘图来生成墨水输入。该设施将该墨水输入解释为涉及特定控件的墨水命令，并继续根据该墨水命令来操作该控件。
例如，与滚动背景技术部分中描述的文字处理文档的常规方式对比，用户可以在文字处理应用文档窗口的垂直滚动条的高度中的特定点处绘制垂直于该滚动条的线段以便跳转到文档中的相应位置。或者，用户可以在滚动条上或附近手写与例如要跳转到的页码或者要跳转到的通篇文档的百分比相对应的数字。类似的技术可用于其他一维值设置控件，诸如滑块、文字处理格式化标尺等。
在各附加示例中，用户能够：圈选列表、网格或其他容器控件中的一个或多个项目以选择所圈选的项目；在容器中的一个或多个项目旁边绘制诸如复选标记或星形等形状以选择这些项目；绘制从源容器中选择的项目到目的地容器的箭头以便将项目转移到目的地容器，或者绘制到可以对项目执行的动作的可视指示(诸如用于打印项目的打印机的可视指示)的箭头；在容器中的项目上绘制诸如水平线段、一端带环的水平线段、或者涂抹等形状以从容器中删除项目；绘制按钮上的符号的近似符号以激活按钮，诸如绘制“>”以激活媒体播放器播放按钮，或绘制“<<”以激活媒体播放器快进按钮；在容器控件中书写字符序列以将容器中显示的项目子集化为具有与该字符序列匹配的文本的项目，和/或选择具有匹配文本的第一个或所有项目。
在一些示例中，根据设施使用墨水命令使得用户能够在其中隐藏一些或所有可视用户界面控件的模式中操作，从而节省显示空间以能够显示附加的实质性内容，以更高的放大/细节水平显示实质性内容，显示其他可视信息，操作更小的显示设备，等等。这进一步节省了原本需要切换打开和关闭可视用户界面控件的显示的用户交互，从而节省了用户方的精力和时间。
在一些示例中，该设施在缺少可见的用户界面控件以及隐藏的用户界面控件两者的情况下单独接收墨水命令。例如，在各种示例中，设施在没有可见的用户界面控件的无模式显示模式(诸如虚拟现实或增强现实显示器、游戏显示器、视频播放显示器等)中接收墨水命令；在各示例中，此类墨水命令是经由手指、触控笔、或其他握持物体、激光笔等的移动来接收的。
与口头命令相比，根据设施使用墨水命令可以更准确，并且可以受益于由书写墨水命令的显示位置提供的空间上下文，这与不涉及任何特定显示位置的口头命令形成对比。
通过以上述一些或所有方式执行，该设施使用户能够比许多常规可视界面控件的各种形式的输入最初设计的样子更快速和/或更准确地操作许多常规可视界面控件，并且在不必放下触控笔或恢复使用鼠标或键盘的中断的情况下进行操作。在一些示例中，该设施进一步提供了所消耗的计算资源水平的降低，诸如通过消除花费处理资源来处理被墨水命令替代的鼠标或键盘命令的需求，消除为某些设备配备鼠标和/或键盘的需求，允许一些设备使用较小的显示器，等等。
图1是示出可被包含在用于该设施在其上操作的计算机系统和其他设备中的至少一些中的一些组件的框图。在各示例中，这些计算机系统和其他设备100可包括服务器计算机系统、台式计算机系统、膝上型计算机系统、平板计算机系统、上网本、移动电话、个人数字助理、电视机、相机、汽车计算机、电子媒体播放器、电子广告亭设备、电子表格设备、电子白板设备等。在各示例中，计算机系统和设备可包括以下中的许多：用于执行计算机程序的中央处理单元(“CPU”)101；用于在其被使用时存储程序和数据(包括该设施和相关联的数据、包含内核的操作系统以及设备驱动程序以及一个或多个应用)的计算机存储器102；诸如用于持久地存储程序和数据的硬盘驱动器或闪存驱动器之类的持久地存储设备103；诸如软盘、CD-ROM、或DVD驱动器之类的用于读取存储在计算机可读介质上的程序和数据的计算机可读介质驱动器104；和/或用于诸如经由因特网或另一有线或无线网络及其网络硬件(诸如交换机、路由器、中继器、电缆和光纤、光线发射器和接收器、无线电发射器和接收器等等)将计算机系统连接到其他计算机系统和/或其他设备以发送和/或接收数据的通信子系统105。
在各示例中，这些计算机系统和其他设备100还可包括任何数量的以下组件：用于呈现诸如文本、图像、图标、文档、菜单等可视信息的显示器106；以及用于感测诸如用一个或多个手指、触控笔或其他物体来触摸显示器之类的与显示器的交互的触摸屏数字化仪107。在各种示例中，触摸屏数字化仪使用一种或多种可用技术来感测与显示器的交互，诸如电阻式感测、表面声波感测、表面电容感测、投射电容感测、红外网格感测、红外亚克力投射感测、光学成像感测、色散信号感测、以及声学脉冲识别感测。在各种示例中，计算机系统和其他设备100包括各种其他类型的输入设备，诸如键盘、鼠标、触控笔等(未示出)。
虽然如上所述配置的计算机系统或其他设备可用于支持设施的操作，但是本领域的技术人员将理解，该设施可使用各种类型和配置的设备来实现，并且具有各种组件。
图2是示出一些示例中的由设施执行的用于以使得能够用墨水命令操作控件的方式来管理控件的过程的流程图。在一些示例中，该过程由在计算机系统或其他设备上执行的设施在其上操作的操作系统执行。描绘该过程的执行的示例在图3-24中示出并且在以下讨论。
在201，设施诸如在例如操作系统外壳、应用程序或网页的上下文中显示一个或多个可视用户界面控件。在一些示例中，在201处显示的一个或多个控件以完全常规的方式定义。在一些示例中，在201处显示的一个或多个控件以指定可用于操作每一个控件的一个或多个墨水命令的集合(在一些情形中包括可容许通过墨水命令来执行的特定范围的控件操作)的方式定义。在202，设施接收用户输入，并且视接收到的输入类型分叉：如果接收到的输入是键盘或鼠标输入，则该设施在203处继续；如果接收到的输入是墨水输入，则该设施在204处继续。
在203，设施根据接收到的键盘或鼠标输入(诸如以对于控件而言是常规的方式)操作在201处显示的控件。在动作203后，该设施在202处继续接收另一输入。在204，在接收到的输入是墨水输入的情况下，如果可以在接收到的墨水输入中识别出墨水命令，则该设施在205处继续，否则该设施在202处继续。在205，该设施根据在接收到的墨水输入中识别出的墨水命令来操作控件。在动作205后，该设施在202处继续。
本领域技术人员将领会，图2所示的动作可以按各种方式来改变。例如，动作次序可以重排；一些动作可以并行执行；所示动作可被省略或者可包括其他动作；所示动作可被分成各子动作或者所示多个动作可被组合成单个动作，等等。
图3和4是示出样本命令符号墨水命令的输入以及设施对其的响应的显示画面图。图3示出了在播放音频序列的过程中被暂停的媒体播放器窗口300的初始状态。在一些示例中，这一媒体播放器可用于播放各种时间索引式媒体类型，包括音频序列、视频序列、动画、幻灯片放映等。该媒体播放器窗口包含控件，这些控件包括以下控件：用户可以通过例如使用鼠标在其内点击来激活以开始播放音频文件的播放控件301；用户可以通过例如使用鼠标在其内点击来激活以使得音频文件的回放快速前进到稍后的时间索引的快进控件302；用户可以诸如通过使用鼠标在其内点击来激活以将音频文件的回放返回到更早的时间索引的回退控件303；用户可以通过例如使用鼠标在其内点击来激活以结束音频文件的回放的停止控件304；以及用户可以通过例如将其把头306拖动到新的水平位置来操作以将当前回放时间索引改变为相应的回放时间索引的回放索引时间控件305。播放控件301的当前显示指示音频文件的回放当前被暂停。
该显示画面还示出用户生成形成“>”播放符号的墨水输入320。该设施将墨水输入320识别为“播放”符号墨水命令。
图4示出了该设施对将墨水输入320识别为“播放”墨水命令的响应。在许多情形中，被识别为命令符号墨水命令的墨水输入在某种程度上在视觉上像与该命令相关联的符号，诸如该墨水命令激活的控件内所显示的符号。可以看到，该墨水命令的效果已经是激活图3所示的播放控件301以继续回放音频文件。该播放状态通过用暂停控件401来替换图3所示的播放控件301来反映。
相对于点击播放按钮，使用墨水命令可以更快地且以更低的空间视敏度执行：点击播放按钮需要在播放按钮的小区域内触摸或点击，墨水命令可以在大得多的屏幕区域内绘制。而且，墨水命令可以在未显示(未示出)播放按钮时立即执行，而在该情形中，为了按压播放按钮，用户必须首先执行用于显示播放按钮的交互，然后在其内触摸或点击。
在各种示例中，该设施识别用于操作媒体播放器控件的各种相似的控件符号墨水命令，在一些情形中包括：用于操作暂停控件401的“||”暂停墨水命令；用于激活快进控件402的“>>”快进墨水命令；用于激活回退控件403的“<<”墨水命令；用于激活停止控件404的“·”停止墨水命令；等等。
在一些示例中，该设施与显示书本或供阅读的其他出版物的内容的电子阅读器应用相结合地识别类似的命令符号墨水命令。一些示例包括用于从当前页向前翻一页的“>”翻单页命令；用于从当前页向前翻三页的“>>>”翻三页墨水命令；用于向前翻六页的“6>”墨水命令；等等。
本领域普通技术人员将领会，在各种示例中，该设施识别各种类似的命令符号墨水命令以便在各种上下文中操作各种类型的控件。
图5和6是示出样本滑块切条墨水命令的输入以及设施对其的响应的显示画面图。图5示出了在播放音频序列的过程中的媒体播放器窗口500的初始状态。媒体播放器窗口包含各个控件，这些控件包括具有把头502的音量滑块501，该把头502可以移动至轨道503上的不同位置以将回放音量设为由该轨道的长度表示的容许范围内的各个点。用户可以通过例如用鼠标点击音量滑块的把头并将该把头拖至轨道上的新水平位置并且之后松开鼠标按钮来操作音量滑块。
显示画面还示出了用户生成在音量滑块上的特定水平位置处形成大致垂直的切条标记的墨水输入520。该设施将该墨水输入520识别为滑块切条标记墨水命令。
图6示出了该设施对将墨水输入520识别为滑块切条墨水命令的响应。可以看到，该墨水命令的效果已经是操作音量滑块以将其把头602移至切条墨水输入与该音量滑块相交的点。
在各种示例中，该设施与诸如回放时间索引滑块603之类的媒体播放器控件相结合地识别各种类似的滑块切条墨水命令。
在各种示例中，该设施识别类似的滑块切条墨水命令以便在各种上下文中操作各种滑块控件，以及识别类似的滑块切条墨水命令以操作单维位置控件而不是滑块，诸如滚动条、标尺、圆形模拟时钟和饼图控件等。
图7和8是示出样本数字文本墨水命令的输入以及设施对其的响应的显示画面图。图7示出了在播放音频序列的过程中的媒体播放器窗口700的初始状态。媒体播放器窗口包含控件，这些控件包括具有把头702的回放时间索引滑块701，该把头702在该滑块上的位置指示当前回放时间索引在音频序列持续时间内的相对位置。媒体播放器窗口300号还包含当前回放时间索引显示703，其将当前回放时间索引示为‘00:10’。用户可以通过例如用鼠标点击回放时间索引滑块的把头并将该把头拖至回放时间索引滑块上的新水平位置并且之后松开鼠标按钮来操作该回放时间索引滑块。这样做(a)在滑块上重新定位把头；(b)更新当前回放时间索引显示；以及(c)使回放在新回放时间索引处继续。
该显示画面还示出用户生成形成文本‘2:30’的墨水输入720。该设施将墨水输入720识别为用于跳转至绝对时间索引‘2:30’的墨水命令。
图8示出了设施对将墨水输入720识别为用于跳转至绝对回放时间索引‘2:30’的墨水命令的响应。可以看到，该墨水命令的效果已经是将当前回放时间索引显示803改为‘2:30’并且将滑块把头802移至回放时间索引滑块801上的对应位置。
在各种示例中，该设施识别用于操作媒体播放器控件(诸如音量滑块804)的各种相似的数字文本墨水命令：例如用户可以书写值，诸如‘25％’或者‘85dBA’。
在各种示例中，该设施识别类似的数字文本墨水命令以操作各种控件，诸如在电子阅读器应用的页面上书写页码以跳转至该书本的对应页，在文本编辑应用中的垂直滚动条上书写页码以跳转至正在编辑的文档的对应页，在文档中的一形状上书写尺寸大小以将该形状缩放至对应的尺寸大小，等等。
图9和10是示出样本包围形状项目选择命令的输入以及设施对其的响应的显示画面图。图9示出了包含文本文档项目901-912的文件系统容器控件窗口900的初始状态。用户可以通过例如按住键盘上的控制键并轮流点击要选择的每一项来选择该容器中的项目。一旦在显示画面中选择项目，用户就能使其全都经受同一命令，诸如删除它们、打开它们、将它们移动或复制到不同容器，等等。
该显示画面还示出用户生成形成围绕项目903、904、908和912的包围形状的墨水输入920。该设施将墨水输入920识别为包围形状项目选择命令。
图10示出了设施对将墨水输入920识别为包围形状项目选择墨水命令的响应。虽然在某些情况下被该设施识别为包围形状项目选择命令的墨水输入是封闭形状，但在一些示例中，该设施将其形状虽然未封闭但展示包围一个或多个项目的意图的墨水输入识别为包围形状项目选择命令。可以看到，该墨水命令的效果已经是选择项目1003、1004、1008和1012，诸如以便同时对所有这四个项目执行特定的文件系统操作。
在各种示例中，该设施识别各种类似的包围形状项目选择命令以选择各种类型的容器控件内或者诸如列表、树、图表等其他项目集合中的各种类型的项目。
图11和12是示出样本项目转移墨水命令的输入以及设施对其的响应的显示画面图。图11示出了文件系统容器控件1100的初始状态。在该文件系统容器控件内，可以看到项目1103、1104、1108和1112被选择。为了将这四个所选项目移动或复制到不同容器，用户可以例如用鼠标点击所选项目之一并将该项目拖至该容器并且之后松开鼠标按钮。
该显示画面还示出用户生成形成从所选项目之一到不同的文件系统容器的表示1119(‘文件夹H’)的箭头的墨水输入1120。该设施将墨水输入1120识别为项目转移墨水命令。
图12示出了该设施对将墨水输入1120识别为项目转移墨水命令的响应。在一些情形中，被该设施识别为项目转移命令的墨水输入指定将受影响的项目转移至各种目的地，包括文件系统容器和其他类型的容器；转移至动作的可视表示以便对所转移的项目执行动作，诸如转移至打印机的可视表示以打印所转移的项目；等等。图12示出了对应于目的地‘文件夹H’容器的新文件系统容器控件1200。可以看到，项目1203、1204、1208和1212已被转移至‘文件夹H’容器，诸如通过移动－以使得这些项目停止被其原始‘文本片段(snippet)’容器包含，或者通过复制－以使其继续被其原始‘文本片段’容器包含。
图13和14是示出样本文本过滤墨水命令的输入以及设施对其的响应的显示画面图。图13示出了包含项目1301-1312的文件系统容器控件1300的初始状态，每一个项目具有与该项目相结合地显示的不同名称。
该显示画面还示出用户生成形成文本串‘new’的墨水输入1320。该设施将墨水输入1320识别为指定将该容器中所显示的项目过滤成其名称包括串‘new’的项目的文本过滤墨水命令。
图14示出了该设施对将墨水输入1320识别为文本过滤命令的响应。在一些示例中，文本过滤墨水命令基于项目的属性而不是名称来过滤所显示的项目。在一些示例中，文本过滤墨水命令基于容器中的未与所显示的项目一起显示的项目的属性来过滤该容器中的所显示的项目。可以看到该墨水命令的效果已经是只在容器1400内显示其名称中具有串‘new’的项目1401、1404和1412，省略显示图13所示的在其名称中不包含串‘new’的项目1302、1303和1305-1311。
在各种示例中，该设施识别各种类似的文本过滤墨水命令以过滤各种容器以及诸如列表、树、图表等其他项目集合中所显示的项目。
图15和16是示出样本文本过滤撤销墨水命令的输入以及设施对其的响应的显示画面图。图15示出了文件系统容器1500的初始状态，该容器1500的显示画面已经如图13和14所示且以上讨论的那样过滤以只包括该容器所包含的在其名称中具有串‘new’的项目－项目1501、1504和1512。
该显示画面还示出用户生成形成‘l’回退符号的墨水输入1520。该设施将墨水输入1520识别为文本过滤撤销命令。
图16示出了该设施对将墨水输入320识别为文本过滤撤销墨水命令的响应。在一些示例中，该设施将类似的墨水输入识别为用于回退各种其他主动墨水命令(诸如以上讨论的项目转移命令、以下讨论的删除命令等)的墨水命令。可以看到，该墨水命令的效果已经是撤销对文件系统容器1600中的项目的过滤，回退至显示该容器所包含的所有项目，即项目1601-1612。
图17和18是示出样本复选选择命令的输入以及设施对其的响应的显示画面图。图17示出了电子邮件收件箱容器控件1700的初始状态。该容器至少包含电子邮件项目1701-1709。用户可以通过例如使用鼠标来点击所显示的电子邮件项目中的一者或多者中的每一者的左侧来选择电子邮件项目。
该显示画面还示出用户生成形成电子邮件消息项1704、1706和1707中的每一者附近的复选标记的墨水输入1721、1722和1723。该设施将墨水输入1721-1723识别为一个或多个复选选择墨水命令。
图18示出了设施对将墨水输入1721-1723识别为一个或多个复选选择命令的响应。可以看到，该墨水命令的效果已经是选择电子邮件项目1804、1806和1807，诸如以便同时对所有这三个电子邮件项目执行单个动作。
在各种示例中，该设施将各种类似的符号或其他墨水动作识别为选择墨水命令。在各种示例中，该设施识别各种类似的选择命令以选择各种类型的容器控件内或者诸如列表、树、图表等其他项目集合中的各种类型的项目。
在一些示例(未示出)中，该设施将诸如星形或星号等符号识别为用于将容器控件中的项目标记为收藏的墨水命令。另外，为了将项目标记为3星级最爱，用户可绘制一系列3星符号或者在单星符号之前书写数字3。
图19和20是示出样本划线删除命令的输入以及设施对其的响应的显示画面图。图19示出了包含至少电子邮件项目1901-1909的收件箱电子邮件容器控件1900的初始状态。为了删除所显示的电子邮件项目之一，用户可以例如点击电子邮件项目的左侧以选择该电子邮件项目并按压键盘上的删除键。
该显示画面还示出用户生成形成贯穿电子邮件项目1902的至少一部分的水平线的墨水输入1920。该设施将墨水输入1920识别为划线删除墨水命令。在一些示例中，该设施将其他墨水输入形状识别为划线删除墨水命令，诸如省略右端的环的水平线，而不像图19所示的墨水输入；构成来回涂抹的墨水输入形状；等等。
图20示出了该设施对将墨水输入1920识别为划线删除命令的响应。可以看到，该墨水命令的效果已经是删除图19所示的电子邮件项目1902以使其不再被收件箱电子邮件容器2000包含在内。
在各种示例中，该设施识别划线删除命令以删除各种类型的容器控件或者诸如列表、树、图表等其他项目集合内的各种类型的项目。
图21和22是示出样本项目挑选器包围形状墨水命令(类似于以上讨论的包围形状项目选择命令)的输入以及设施对其的响应的显示画面图。图21示出了旅游网站上的酒店搜索网页2100。该网页包含用于选择在其内预订酒店房间的日期范围的日期挑选器控件2101。通过使用鼠标，用户可以通过例如首先点击范围开头的日期，然后点击范围末尾的日期来这样做。
显示画面还示出用户生成形成围绕日期2102(March 9,2016)(2016年3月9日)和2103(March 10,2016)(2016年3月10日)的环的墨水输入2120。该设施将墨水输入2120识别为项目挑选器包围形状墨水命令。
图22示出了设施对将墨水输入2120识别为项目挑选器包围形状墨水命令的响应。可以看到，该墨水命令的效果已经是选择范围从日期2202(March 9,2016)(2016年3月9日)到日期2203(March 10,2016)(2016年3月10日)的日期。
在各种示例中，该设施识别项目挑选器包围形状和命令以便在各种项目挑选器控件中做出选择。
图23和24是示出样本项目挑选器文本日期命令(类似于以上讨论的数字文本墨水命令)的输入以及设施对其的响应的显示画面图。图23示出了旅行网站的酒店预订网页2300的初始状态。该网页包括用于指定在其间预订酒店房间的入住和退房日期的各个日期挑选器控件2301和2302。用户可以通过例如用鼠标点击每一个控件并用键盘键入日期；点击图21所示的显示控件2101内的日历图标；等等来操作这些日期挑选器控件。
显示画面还示出用户生成形成日期挑选器控件附近的文本‘March 9-10’的墨水输入2320。该设施将墨水输入2320识别为项目挑选器文本墨水命令。
图24示出了设施对将墨水输入2320识别为指定日期范围‘March 9-10’的项目挑选器文本墨水命令的响应。可以看到，该墨水命令的效果已经是在日期挑选器控件2401中选择入住日期March 9,2016(2016年3月9日)，并且在日期挑选器控件2402中选择退房日期March 10,2016(2016年3月10日)。
在一些示例中，该设施省略与文本输入域控件相结合地识别墨水命令和/或省略将手写文本直接转录到任何类型的控件中的域中，和/或只在对识别出的文本执行变换后将手写文本转录到控件中的域中。
在各种示例中，该设施识别项目挑选器文本墨水命令以便在各种类型的项目挑选器中做出选择。
在一些示例中，该设施提供了一种基于处理器的设备，包括：处理器；以及具有内容的存储器，所述内容使所述处理器响应于由所述处理器执行操作系统来执行以下操作：致使能用鼠标和/或键盘输入操作的控件被显示；接收毗邻所显示的控件的墨水输入；将所接收到的墨水输入解释为墨水命令；以及根据所解释的墨水命令来操作所显示的控件。
在一些示例中，该设施提供了一种具有内容的计算机可读介质，所述内容被配置成使计算系统：致使能用鼠标输入操作的控件被显示；接收涉及所显示的控件的墨水命令；以及根据所接收到的墨水命令来操作所显示的控件。
在一些示例中，该设施提供了一种计算系统中的方法，所述方法包括：致使能用鼠标输入操作的控件被显示；接收毗邻所显示的控件的墨水输入；将所接收到的墨水输入解释为墨水命令；以及根据所解释的墨水命令来操作所显示的控件。
本领域技术人员将理解，上述设备可以以各种方式被直接适配或延伸。虽然前面的描述参考了具体的示例，但本发明的范围仅由下面的权利要求和其中所述的要素来定义。

Claims (15)

1.一种基于处理器的设备，包括：
处理器；以及
具有内容的存储器，所述内容使所述处理器响应于由所述处理器执行操作系统来执行以下操作：
致使能用鼠标和/或键盘输入操作的控件被显示；
接收毗邻所显示的控件的墨水输入；
将所接收到的墨水输入解释为墨水命令；以及
根据所解释的墨水命令来操作所显示的控件。
2.如权利要求1所述的设备，其特征在于，所显示的控件是用于设置指标值的一维值设置控件，
并且其中所接收到的墨水输入包括手写数字，
并且其中所解释的墨水命令指定基于所述手写数字的指标值。
3.如权利要求1所述的设备，其特征在于，所显示的控件用于设置数量，并且具有控件、手柄和轨道，所述轨道具有第一端和第二端，所述手柄能被重新定位至所述轨道上的对应于所述数量的不同值的不同点，
其中所接收到的墨水输入包括在从所述轨道的所述第一端到所述轨道的所述第二端的距离的特定百分比处跨越所述控件的轨道的墨水，
并且其中所解释的墨水命令指定基于所述百分比的所述数量的值。
4.如权利要求1所述的设备，其特征在于，所显示的控件是承载视觉符号的按钮，
并且其中所接收到的墨水输入包括所述按钮所承载的所述视觉符号的近似符号，
并且其中根据所解释的墨水命令来操作所显示的控件包括激活所述按钮。
5.如权利要求1所述的设备，其特征在于，所显示的控件是用于设置多个枚举文本串之一的枚举文本串挑选器控件，每一个枚举文本串包括字符序列，
并且其中所接收到的墨水输入是与所述枚举文本串中的恰好一个的字符序列的开头相匹配的手写字符序列，
并且其中根据所解释的墨水输入来操作所显示的控件包括设置其序列的开头匹配所述手写字符序列的枚举文本串。
6.如权利要求1所述的设备，其特征在于，所显示的控件是用于选择容器中的项目的容器控件，所述容器控件包含所述容器中的项目的至少一部分中的每一个项目的可视表示，
并且其中所接收到的墨水输入是围绕一个或多个项目可视表示的包围形状，
并且其中根据所解释的墨水输入来操作所显示的控件包括选择其可视表示被所述包围形状围绕的项目。
7.如权利要求1所述的设备，其特征在于，所显示的控件是容器控件，所述容器控件包含源容器中的项目的至少一部分中的每一个项目的可视表示，所述项目可视表示中的至少一者指示所表示的项目被选择，
并且其中所接收到的墨水输入是箭头，所述箭头开始于一个项目可视表示附近以指示所表示的项目被选择，并且结束于目标容器的可视指示附近，
并且其中根据所解释的墨水输入来操作所显示的控件包括将所选项目从所述源容器转移至所述目标容器。
8.如权利要求1所述的设备，其特征在于，所显示的控件是容器控件，所述容器控件包含所述容器中的项目的至少一部分中的每一个项目的可视表示，
并且其中所接收到的墨水输入包括绘制在所选项目的表示的至少一部分上的形状，
并且其中根据所解释的墨水输入来操作所显示的控件包括将所选项目从所述容器中删除。
9.一种具有内容的计算机可读介质，所述内容被配置成使计算系统：
致使能用鼠标输入操作的控件被显示；
接收涉及所显示的控件的墨水命令；以及
根据所接收到的墨水命令来操作所显示的控件。
10.一种计算系统中的方法，所述方法包括：
在相对于显示区域的特定位置接收墨水输入；
基于所接收到的墨水输入的形状和位置，将所接收到的墨水输入解释为墨水命令；以及
执行所解释的墨水命令。
11.如权利要求1所述的设备，其特征在于，所显示的控件是一个或多个电子文档阅读器页面，
并且其中所接收到的墨水输入包括指向所选方向的所选数量的手绘插入符，
并且其中根据所解释的墨水命令来操作所显示的控件包括在所选方向上执行所选数量的翻页。
12.如权利要求1所述的设备，其特征在于，所显示的控件是用于设置日期的日期挑选器控件，所述控件呈现被排列成各自对应于一星期的各行的多个日期，
并且其中所接收到的墨水输入是包含由所述控件呈现的所选日期或者指示日期的文本的围合形状，
并且其中根据所解释的墨水命令来操作所显示的控件包括设置所选择或所指示的日期。
13.如权利要求1所述的设备，其特征在于，所显示的控件是用于设置容器中的项目的容器控件，所述容器控件包含所述容器中的项目的至少一部分中的每一个项目的可视表示，所述容器中的每一个项目具有与其相关联的文本串，
并且其中所接收的墨水输入是包括字符序列的手写文本串，
并且其中根据所解释的墨水输入来操作所显示的控件包括将所述容器控件包含其可视表示的项目子集化为其相关联的文本串匹配所述手写文本串的仅仅那些项目。
14.如权利要求1所述的设备，其特征在于，所显示的控件是容器控件，所述容器控件包含源容器中的项目的至少一部分中的每一个项目的可视表示，所述项目可视表示中的至少一者指示所表示的项目被选择，
并且其中所接收到的墨水输入是箭头，所述箭头开始于一个项目可视表示附近以指示所表示的项目被选择，并且结束于能对项目执行的操作的可视指示附近，
并且其中根据所解释的墨水输入来操作所显示的控件包括使所选项目经受所指示的操作。
15.如权利要求1所述的设备，其特征在于，所显示的控件是用于选择容器中的项目的容器控件，所述容器控件包含所述容器中的项目的至少一部分中的每一个项目的可视表示，
并且其中所接收到的墨水输入包括绘制在一个或多个区别项目中的每一个项目的表示附近的复选标记、星形、或星号，
并且其中根据所解释的墨水输入来操作所显示的控件包括选择所述区别项目。
CN201780022387.2A 2016-03-29 2017-03-23 用墨水命令来操作可视用户界面控件 Withdrawn CN108885530A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/084,272 2016-03-29
US15/084,272 US20170285931A1 (en) 2016-03-29 2016-03-29 Operating visual user interface controls with ink commands
PCT/US2017/023697 WO2017184294A1 (en) 2016-03-29 2017-03-23 Operating visual user interface controls with ink commands

Publications (1)

Publication Number Publication Date
CN108885530A true CN108885530A (zh) 2018-11-23

Family

ID=58530640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022387.2A Withdrawn CN108885530A (zh) 2016-03-29 2017-03-23 用墨水命令来操作可视用户界面控件

Country Status (17)

Country Link
US (2) US20170285931A1 (zh)
EP (1) EP3436915A1 (zh)
JP (1) JP2019516170A (zh)
KR (1) KR20180122732A (zh)
CN (1) CN108885530A (zh)
AU (1) AU2017252170B2 (zh)
BR (1) BR112018016175A2 (zh)
CA (2) CA3238454A1 (zh)
CL (1) CL2018002719A1 (zh)
CO (1) CO2018010521A2 (zh)
IL (1) IL261497B2 (zh)
MX (1) MX2018011574A (zh)
PH (1) PH12018550126A1 (zh)
RU (1) RU2018134170A (zh)
SG (1) SG11201808020SA (zh)
WO (1) WO2017184294A1 (zh)
ZA (1) ZA201805312B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023661B2 (en) 2018-05-03 2021-06-01 Microsoft Technology Licensing, Llc Visually enhanced digital ink
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
US11042558B1 (en) * 2019-09-06 2021-06-22 Tableau Software, Inc. Determining ranges for vague modifiers in natural language commands
US11698933B1 (en) 2020-09-18 2023-07-11 Tableau Software, LLC Using dynamic entity search during entry of natural language commands for visual data analysis
US11301631B1 (en) 2020-10-05 2022-04-12 Tableau Software, LLC Visually correlating individual terms in natural language input to respective structured phrases representing the natural language input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109737A1 (en) * 2001-02-15 2002-08-15 Denny Jaeger Arrow logic system for creating and operating control systems
US20060092138A1 (en) * 2004-10-29 2006-05-04 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5953735A (en) * 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
JPH09198546A (ja) 1996-01-22 1997-07-31 Toshiba Corp 自動取引装置
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
US6897851B2 (en) 2001-01-05 2005-05-24 International Business Machines Corporation Methods and apparatus for formatted entry of electronic ink
US7240300B2 (en) * 2001-02-15 2007-07-03 Nbor Corporation Method for creating user-defined computer operations using arrows
US7120299B2 (en) * 2001-12-28 2006-10-10 Intel Corporation Recognizing commands written onto a medium
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
US7086013B2 (en) * 2002-03-22 2006-08-01 Xerox Corporation Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images
US7299424B2 (en) * 2002-05-14 2007-11-20 Microsoft Corporation Lasso select
US20040121298A1 (en) 2002-11-06 2004-06-24 Ctb/Mcgraw-Hill System and method of capturing and processing hand-written responses in the administration of assessments
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
CA2513762A1 (en) 2003-01-23 2004-08-05 Intergraph Hardware Technologies Company Video analyzer
US20040196313A1 (en) * 2003-02-26 2004-10-07 Microsoft Corporation Ink repurposing
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
US20060136833A1 (en) * 2004-12-15 2006-06-22 International Business Machines Corporation Apparatus and method for chaining objects in a pointer drag path
JP2007145106A (ja) 2005-11-25 2007-06-14 Xanavi Informatics Corp 車載情報端末
US8074175B2 (en) * 2006-01-06 2011-12-06 Microsoft Corporation User interface for an inkable family calendar
KR100771626B1 (ko) * 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP4762070B2 (ja) * 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
WO2008020446A1 (en) * 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
US20080084400A1 (en) * 2006-10-10 2008-04-10 Outland Research, Llc Touch-gesture control of video media play on handheld media players
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
TW200825881A (en) * 2006-12-04 2008-06-16 Ulead Systems Inc Method and apparatus for selecting digital items
JP2008186120A (ja) 2007-01-29 2008-08-14 Seiko Epson Corp ユーザの指示に従って処理を実行するための処理装置、処理方法、および、プログラム
US7936341B2 (en) * 2007-05-30 2011-05-03 Microsoft Corporation Recognizing selection regions from multiple simultaneous inputs
US8423914B2 (en) * 2007-06-08 2013-04-16 Apple Inc. Selection user interface
US8094939B2 (en) * 2007-06-26 2012-01-10 Microsoft Corporation Digital ink-based search
JP4385169B1 (ja) 2008-11-25 2009-12-16 健治 吉田 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8954894B2 (en) * 2008-11-15 2015-02-10 Adobe Systems Incorporated Gesture-initiated symbol entry
US20130014041A1 (en) * 2008-12-09 2013-01-10 Denny Jaeger Using gesture objects to replace menus for computer control
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
US8707170B2 (en) * 2008-12-15 2014-04-22 Hewlett-Packard Development Company, L.P. Gesture based edit mode
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
TW201129921A (en) * 2010-02-24 2011-09-01 Mstar Semiconductor Inc Electronic displaying apparatus with touching capability and operating method thereof
US8930360B2 (en) * 2010-05-28 2015-01-06 Yahoo! Inc. System and method for online handwriting recognition in web queries
US8635555B2 (en) 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
US8799798B2 (en) * 2010-06-09 2014-08-05 Fujitsu Limited Method and system for handwriting-based launch of an application
US8555195B2 (en) * 2010-06-29 2013-10-08 Ricoh Co., Ltd. Bookmark function for navigating electronic document pages
US20120030566A1 (en) * 2010-07-28 2012-02-02 Victor B Michael System with touch-based selection of data items
US9021402B1 (en) * 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
US8793624B2 (en) * 2011-05-18 2014-07-29 Google Inc. Control of a device using gestures
CN102855079B (zh) * 2011-05-24 2016-06-08 Lg电子株式会社 移动终端
US9204094B2 (en) * 2011-06-28 2015-12-01 Lifesize Communications, Inc. Adjusting volume of a videoconference using touch-based gestures
JP2013105461A (ja) * 2011-11-16 2013-05-30 Canon Inc 情報処理装置及びその制御方法
US9571622B2 (en) * 2011-11-28 2017-02-14 Kika Tech (Hk) Holdings Co. Limited Method of inputting data entries of a service in one continuous stroke
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
TW201329839A (zh) * 2012-01-02 2013-07-16 Advanced Information And Electronics Software Technology Co Ltd 應用於行動電子裝置上之控制介面與方法
US9600169B2 (en) * 2012-02-27 2017-03-21 Yahoo! Inc. Customizable gestures for mobile devices
US9304656B2 (en) * 2012-03-30 2016-04-05 Google Inc. Systems and method for object selection on presence sensitive devices
KR101395480B1 (ko) * 2012-06-01 2014-05-14 주식회사 팬택 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
CN102789362A (zh) * 2012-06-29 2012-11-21 鸿富锦精密工业（深圳）有限公司 电子设备及其智能计算控制方法
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
US9619037B2 (en) * 2012-07-25 2017-04-11 Facebook, Inc. Custom gestures
KR101929301B1 (ko) * 2012-08-20 2019-03-12 삼성전자 주식회사 필기 제스처 인식을 통한 휴대단말의 기능 실행 제어 방법 및 장치
US9250783B2 (en) * 2012-08-21 2016-02-02 Apple Inc. Toggle gesture during drag gesture
GB201215283D0 (en) * 2012-08-28 2012-10-10 Microsoft Corp Searching at a user device
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
US9189149B2 (en) * 2013-03-21 2015-11-17 Sharp Laboratories Of America, Inc. Equivalent gesture and soft button configuration for touch screen enabled device
JP2014215906A (ja) 2013-04-26 2014-11-17 株式会社東芝 文字入力装置、方法、及びプログラム
KR20140132171A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
US20140337804A1 (en) * 2013-05-10 2014-11-13 Microsoft Corporation Symbol-based digital ink analysis
US9116871B2 (en) 2013-05-20 2015-08-25 Microsoft Technology Licensing, Llc Ink to text representation conversion
CN103442244A (zh) * 2013-08-30 2013-12-11 北京京东方光电科技有限公司 3d眼镜、3d显示系统及3d显示方法
KR102162836B1 (ko) * 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
US9383910B2 (en) * 2013-10-04 2016-07-05 Microsoft Technology Licensing, Llc Autoscroll regions
US20150127403A1 (en) * 2013-11-01 2015-05-07 Slide Rule Software Calendar management system
US11334843B2 (en) * 2014-02-28 2022-05-17 Freightmonster.com Inc. Apparatus for temporal scheduling of a load to be transported
US9459794B1 (en) * 2014-03-24 2016-10-04 Amazon Technologies, Inc. Interactions based on multiple stylus inputs
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160034685A (ko) * 2014-09-22 2016-03-30 삼성전자주식회사 전자장치에서 객체 입력 방법 및 장치
US10037137B2 (en) * 2014-12-23 2018-07-31 Lenovo (Singapore) Pte. Ltd. Directing input of handwriting strokes
US10083163B2 (en) * 2016-08-10 2018-09-25 Adobe Systems Incorporated Completing fields in electronic documents by automatically assigning drawing input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109737A1 (en) * 2001-02-15 2002-08-15 Denny Jaeger Arrow logic system for creating and operating control systems
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20060092138A1 (en) * 2004-10-29 2006-05-04 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures

Also Published As

Publication number Publication date
IL261497A (en) 2018-10-31
US20200125253A1 (en) 2020-04-23
WO2017184294A1 (en) 2017-10-26
JP2019516170A (ja) 2019-06-13
US20170285931A1 (en) 2017-10-05
PH12018550126A1 (en) 2019-02-27
ZA201805312B (en) 2019-10-30
EP3436915A1 (en) 2019-02-06
CL2018002719A1 (es) 2019-01-18
CA3014942C (en) 2024-06-25
SG11201808020SA (en) 2018-10-30
RU2018134170A (ru) 2020-03-30
KR20180122732A (ko) 2018-11-13
CA3238454A1 (en) 2017-10-26
AU2017252170B2 (en) 2022-02-17
US11144196B2 (en) 2021-10-12
MX2018011574A (es) 2019-01-28
AU2017252170A1 (en) 2018-08-23
RU2018134170A3 (zh) 2020-06-16
CO2018010521A2 (es) 2018-10-10
CA3014942A1 (en) 2017-10-26
BR112018016175A2 (pt) 2018-12-18
IL261497B2 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
US7091959B1 (en) System, computer program product, computing device, and associated methods for form identification and information manipulation
CN108885530A (zh) 用墨水命令来操作可视用户界面控件
US8427344B2 (en) System and method for recalling media
CN105830011B (zh) 用于交叠手写文本输入的用户界面
CN103492997B (zh) 用于操作电子书中的用户注释的系统和方法
CN108629033B (zh) 电子文本的操纵和显示
US9360955B2 (en) Text entry for electronic devices
CN108845664A (zh) 用于接收用户输入的用户界面
JP2009508230A (ja) 電子文書に関するリーディングモード
CN108780381A (zh) 利用手势进行笔记记录的装置和方法
CN102473066A (zh) 在多功能手持设备上显示、导航和选择电子方式存储内容的系统和方法
CN102722476A (zh) 一种对电子文档进行标注的方法及装置
JP6136967B2 (ja) 情報処理システム、情報処理方法、及びプログラム
Margetis et al. Augmenting natural interaction with physical paper in ambient intelligence environments
de Souza Alcantara et al. Interactive prototyping of tabletop and surface applications
CN105027053A (zh) 电子装置、显示方法和显示程序
JP6536214B2 (ja) 辞書端末、情報表示制御方法及び情報表示制御プログラム
JP6019716B2 (ja) コンピュータ装置、プログラム及び情報処理システム
JP5703972B2 (ja) コンピュータ装置及びそのプログラム
WO2023145227A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
Bachinger Technology adequate commenting: on the importance of details
JP2002278874A (ja) 電子伝言板システムおよび伝言板プログラム
WO2000058821A9 (en) System, computer program product, computing device and associated methods for form identification and information manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261125

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181123