CN108351746A - 引导手写输入的系统和方法 - Google Patents

引导手写输入的系统和方法 Download PDF

Info

Publication number
CN108351746A
CN108351746A CN201680062544.8A CN201680062544A CN108351746A CN 108351746 A CN108351746 A CN 108351746A CN 201680062544 A CN201680062544 A CN 201680062544A CN 108351746 A CN108351746 A CN 108351746A
Authority
CN
China
Prior art keywords
interactive
handwriting input
ink
dynamic
typesetting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062544.8A
Other languages
English (en)
Other versions
CN108351746B (zh
Inventor
尼古拉斯·鲁西内
埃尔万·热斯坦
安东尼·劳伦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Our Co Hui
MyScript SAS
Original Assignee
Our Co Hui
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Our Co Hui filed Critical Our Co Hui
Publication of CN108351746A publication Critical patent/CN108351746A/zh
Application granted granted Critical
Publication of CN108351746B publication Critical patent/CN108351746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

提供一种用于引导对计算装置的手写输入的系统、方法和计算机程序产品。该计算装置包括处理器和用于在处理器的控制下识别手写输入的至少一个系统应用。该至少一个系统应用配置成使得在计算机装置的交互式显示器上显示和与手写输入相对应的数字墨水的至少一部分显示相邻的引导要素。该引导要素配置成引导进一步的手写输入。

Description

引导手写输入的系统和方法
相关申请的交叉引用
本申请要求于2015年8月25日提交的欧洲专利申请第15290218.5号和于2015年10月19日提交的美国专利申请第14/886,200号的优先权,所述申请的全部内容通过引用并入本文。
技术领域
本发明总体上涉及使用计算装置接口的数字手写系统和方法的领域。更具体地,本发明涉及能够识别各种用户输入的手写字符、符号和对象的数字笔记系统和方法。
背景技术
计算装置在日常生活中会继续变得更加普遍。它们采用台式电脑、笔记本电脑、平板电脑、电子书阅读器、移动电话、智能手机、可穿戴电脑、全球定位系统(GPS)装置、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等的形式。此外,计算装置现在被包含在车辆和设备,如轿车、货车、农业设备、生产设备、建筑环境控制(例如,照明、采暖通风与空调)以及家用和商用电器中。
计算装置通常由至少一个处理单元(如中央处理单元(CPU))、一些形式的存储器以及输入输出装置构成。计算装置及它们的后继使用的多样化使得多种接口和输入装置成为必要。一个这种输入装置是触摸敏感表面(如触摸屏或触控板),其中用户输入是通过用户手指或器具(如笔或输入笔)与触摸敏感表面之间的接触来接收的。另一个输入装置是感知用户在输入表面上方所做出的手势的输入表面。这些输入方法中的任一方法通常可以用于绘入或输入文本。当用户输入是文本时,利用手写识别系统或方法对用户的手写进行解释。
手写识别在便携式计算装置(如智能手机、平板手机和平板电脑)中的一个应用是笔记记录。这尤其发生在教育和商业环境中,其中计算装置的用户例如在演讲或会议期间做笔记记录。这通常是通过用户打开在计算装置中的手写笔记应用而完成,该手写笔记应用在该装置中在本地或者经由该装置的通信链路远程地接收并解释在触摸敏感表面上输入的手写笔记。通常,这种手写笔记应用提供手写的识别,并且将被识别的手写(所谓的数字墨水)转换成排版文本。本专利申请人已发现,当使用手写笔记应用时用户通常希望实时地,也就是说在书写期间获得识别的反馈。一些常规的应用给用户提供这种反馈机制,但这些机制的有效性通常受到限制或者设计上较麻烦。
例如,可用的手写笔记应用通过自动地对手写输入进行排版(例如,在运行中)来提供反馈。这通常是通过在与用于手写输入的界面分离的装置显示器的窗口或专用部分中显示排版文本而完成的。然而,这种系统通常使用户在流畅输入时分心,因为他们必须查看屏幕的不同部分。其他可用的手写笔记应用通过在输入期间列出识别候选项等来提供反馈。这也容易使用户分心。
可以在原位(例如,在手写流之后)将数字墨水转换成排版文本。然而,手写文本相比,排版文本通常更小且更整齐一致。因此,字符、词和行间隔的相对差异立即变成了一个问题,该问题使得识别的文本难以阅读并因此使人分心。当希望时,也可以使用户通过菜单选择和手势输入来进行手动排版。然而,这种手动方法并不提供实时反馈,并且本专利申请人已发现当使用手写笔记应用时,用户通常不能也不想学习非自然或非直观的特定输入方法或者手势,或者经过菜单等来进行设置。
此外,常规的应用并不给用户提供与输入交互或者基于所做的笔记而提供完整文档创建的能力,因为这些应用的重点主要是识别准确率而不是文档创建。此外,本专利申请人已发现,当使用手写笔记应用时用户也会遇到其他问题,如多种语言或输入类型(例如,字母数字、符号、公式)的手写笔记,在书写时忘记通过菜单选择来改变语言或输入类型,以及不理解由于显示器限制等由应用施加的对书写尺寸(例如高度、长度以及量)的限制。
发明内容
在下文中所描述的本发明的各示例提供用于引导对计算装置的手写输入的系统、方法以及计算机程序产品。该计算机程序产品具有将计算机可读程序代码包含于其中的计算机可使用介质,所述计算机可读程序代码适合于被执行以实施所述方法。
在本公开的一个方面,提供一种用于引导对计算装置的手写输入的系统。所述计算装置包括处理器和在处理器控制下用于识别手写输入的至少一个系统应用。所述至少一个系统应用配置成在计算机装置的交互式显示器上显示和与手写输入相对应的数字墨水的至少一部分显示相邻的引导要素。所述引导要素配置成引导进一步的手写输入。
在本公开的另一个方面,公开了一种用于引导对计算装置的手写输入的方法。所述计算装置包括处理器和用于在处理器控制下识别手写输入的至少一个系统应用。所述方法包括将至少一个系统应用配置成在计算机装置的交互式显示器上显示和与手写输入相对应的数字墨水的至少一部分显示相邻的引导要素。所述引导要素配置成引导进一步的手写输入。
在本公开的另一个方面,提供一种具有在其中实现的计算机可读程序代码的非暂时性计算机可读介质。所述计算机可读程序代码适合于被执行以实施用于引导对计算装置的手写输入的方法。所述方法包括在计算机装置的交互式显示器上显示和与手写输入相对应的数字墨水的至少一部分显示相邻的引导要素。所述引导要素配置成引导进一步的手写输入。
附图说明
基于以下对本发明各示例的详细说明并结合附图,将更全面地理解本发明的系统和方法。在各附图中用类似的附图标记来标注类似的要素。在各附图中:
图1示出了根据本发明系统和方法的示例的计算装置的方框图;
图2示出了根据本发明系统和方法的示例的用于手写识别的系统的方框图;
图3示出了图示说明根据本发明系统和方法的一个示例的图2的手写识别系统的细节的方框图;
图4示出了在计算装置的一部分输入表面上的可滚动页面的示例性视觉呈现的示意图;
图5示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有由引导要素引导的语段的连续手写输入;
图6示出了图5的可滚动页面的示意图,所述可滚动页面具有由引导要素引导的语段的进一步连续手写输入;
图7示出了图6的可滚动页面的示意图,所述可滚动页面具有由引导要素引导的另一个语段的进一步连续手写输入;
图8示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有与引导要素的连续语段尺寸变换交互。
图9示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有语段的连续手写输入和由引导要素对排版文本的相应显示;
图10示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有与引导要素排版文本滚动交互;
图11示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有相对于引导要素的数字文本滚动交互;
图12示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有与引导要素的连续排版文本和菜单交互;
图13示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有连续数字墨水交互和引导要素的相应呈现;
图14示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有引导要素的语言标注;
图15示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有语段的连续手写输入和引导要素的语言标注的相应呈现;
图16示出了一部分可滚动页面的示例性视觉呈现的示意图,所述可滚动页面具有与引导要素的连续图标和菜单交互;
图17示出了与引导要素有关的可滚动页面的对齐要素的示例的示意图;
图18示出了与引导要素有关的可滚动页面的对齐要素的示例的示意图。
具体实施方式
在以下的详细描述中,通过举例陈述了许多具体细节从而提供对相关教示的详尽理解。然而,本领域技术人员应当理解的是本发明的教示可在没有这种细节的情况下而实施。在其他情况下,已在不提供具体细节的情况下以相对较高的水平对公知的方法、过程、部件和/或电路进行了描述,从而避免不必要地使本发明教示的各方面难以理解。
对方向性特征的引述和描述(如上、下、在上方、在下方、最低的、最高的、水平的、垂直的等)相对于直角坐标系统而进行,如适用于产生要被识别的输入的输入表面。此外,在本发明中术语“文本”的使用被理解成包括在书面文本中使用的所有字母数字字符及其字符串以及在书面文本中使用的常见非字母数字字符(例如符号)。此外,本发明中的术语“非文本”应被理解成包括在非文本语境中使用的自由形式手写内容、呈现呈现的文本和图像数据,以及非字母数字字符和其字符串、字母数字字符和其字符串。
本文中所描述的各种技术通常涉及到在便携式和非便携式计算装置上以允许将手写内容转换成可发行文档的方式对手写内容进行捕获、处理和管理。本文中所描述的系统和方法可利用经由连接到计算装置的或计算装置本身的输入表面(如触摸敏感屏幕)或者经由连接到计算装置的输入装置(如数字笔或鼠标)的、对输入到计算装置的用户自然书写或绘画风格的识别。尽管参照采用所谓在线识别技术对手写输入的识别而描述了各种示例,但应理解的是应用可用于对其他形式的输入进行识别,例如离线识别(其中图像而不是数字墨水被识别)。
图1示出了示例性计算装置100的方框图。所述计算装置可以是台式电脑、笔记本电脑、平板电脑、电子书阅读器、移动电话、智能手机、可穿戴电脑、数字式手表、交互式电子白板、全球定位系统(GPS)装置、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。计算装置100包括至少一个处理单元、某种形式的存储器以及输入和/或输出(I/O)装置等部件。各部件彼此经过输入和输出装置(如连接器、导线、总线、电缆、缓冲器、电磁连接、网络、调制解调器、转换器、红外端口、天线或本领域技术人员已知的其他方式)进行通信。
计算装置100具有用于从计算装置中输出数据(如图像、文本以及视频)的至少一个交互式显示器102。显示器102可采用LCD、等离子体、LED、iOLED、CRT或者本领域技术人员已知的触摸敏感或非触摸敏感的任何其他适当技术。显示器102的至少一部分与至少一个输入表面104处于相同的位置。输入表面104可采用例如电阻、表面声波、电容、红外网格、红外丙烯投影(infrared acrylic projection)、光学成像、色散信号技术、声学脉冲识别技术或者本领域技术人员已知的任何其他适当技术来接收用户输入。输入表面104可由清楚地确定其边界的永久边框或生成视频的边框所限定。
除了输入表面104外,计算装置100还可包括经由本地接口而通信连接的一个或多个其他I/O装置(或外围设备)。其他I/O装置可包括输入装置,如键盘、鼠标、扫描仪、传声器、触控板、条码阅读器、激光阅读器、射频装置阅读器或者本领域技术人员已知的任何其他适当技术。此外,I/O装置可包括输出装置,如打印机、条码打印机或者本领域技术人员已知的任何其他适当技术。此外,I/O装置可包括传送输入输出的通信装置,如调制器/解调器(调制解调器;用于访问另一个装置、系统或网络)、射频(RF)或其他收发器、电话接口、网桥、路由器或者本领域技术人员已知的任何其他适当技术。本地接口可具有实现通信的其他元件,如控制器、缓冲器(高速缓存)、驱动器、中继器以及接收器,为简单起见将这些元件省略,但对于本领域技术人员而言是已知的。此外,本地接口可包括寻址、控制和/或数据连接,用以实现其他计算机部件之间的适当通信。
计算装置100还包括处理器106,所述处理器是用于执行软件(特别地存储于存储器108中的软件)的硬件部件。处理器可以是任何定制的或市售的通用处理器、中央处理单元(CPU)、基于半导体的微处理器(采用微型芯片或芯片组的形式)、宏处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散的硬件组件、状态机或者本领域技术人员已知的被设计用于执行软件指令的它们的任意组合。合适的市售微处理器的例子如下:惠普(Hewlett-Packard)公司的PA-RISC系列微处理器、Intel公司的80x86或奔腾系列微处理器、IBM公司的PowerPC微处理器、太阳微系统(Sun Microsystems)有限公司的Sparc微处理器、摩托罗拉(Motorola)公司的68xxx系列微处理器、DSP微处理器或ARM微处理器。
存储器108可以包括下列中的任一个或组合:易失性存储单元(例如,随机存取存储器(RAM,如DRAM、SRAM或SDRAM))和非易失性存储单元(例如,ROM、EPROM、闪速PROM、EEPROM、硬盘驱动器、磁带或光带、存储寄存器、CD-ROM、WORM、DVD、廉价冗余磁盘阵列(RAID)、另一个直接存取存储装置(DASD)。此外,存储器108可包括电、磁、光和/或其他类型的存储介质。存储器108可以具有分布式结构,其中各种部件位于相互远离的位置,但也可以由处理器106进行访问。此外,存储器108可远离所述装置,例如在可由计算装置100远程访问的服务器或基于云的系统中。存储器108联接到处理器106,因此处理器106可以从存储器108中读取信息并将信息写入存储器108。在替代方案中,存储器108可与处理器106集成在一起。在另一个示例中,处理器106和存储器108两者可存在于单个ASIC或其他集成电路中。
存储器108中的软件包括操作系统110和应用112。软件任选地还包括手写识别(HWR)系统114,所述系统可各自包括一个或多个独立的计算机程序。这些程序中的每一个具有用于执行逻辑功能的可执行指令的有序列表。操作系统110控制应用112(和HWR系统114)的执行。操作系统110可以是任何专用的操作系统或者市售的操作系统,如WEBOS、MAC和IPHO NELINUX以及ANDROID。应理解,也可采用其他操作系统。
应用112包括与用户输入的布局(下面详细地描述)的检测、管理和处理有关的一个或多个处理元件。软件也可包括与手写识别、不同功能或两者有关的一个或多个其他应用。其他应用的一些例子包括文本编辑程序、电话拨号器、联系人目录、即时通信设施、计算机辅助设计(CAD)程序、电子邮件程序、字处理程序、网页浏览器以及相机。应用112和其他应用包括在制造时提供给计算装置100的程序,并且还可以包括在制造后上传到或下载到计算装置100的程序。
具有支持和兼容性能力的HWR系统114可以是源程序、可执行程序(目标代码)、脚本、应用或者具有被执行的指令集的任何其他实体。在源程序的情况下,所述程序需要利用可以或可以不被包括在存储器内部的编译程序、汇编程序、解释程序等进行转译,以便结合操作系统正确地操作。此外,具有支持和兼容能力的手写识别系统可以写为(a)面向对象的编程语言,所述语言具有各数据类和方法;(b)过程式编程语言,所述语言包括例程、子例程和/或函数,例如但不限于C、C++、Pascal、Basic、Fortran、Cobol、Perl、Java、对象ive C、Swift和Ada;或者(c)函数式编程语言,例如但不限于Hope、Rex、Common Lisp、Scheme、Clojure、Racket、Erlang、OCaml、Haskell、Prolog和F#。可替代地,HWR系统114可以是用于与远离所述装置(如服务器或基于云的系统)的手写识别系统进行通信的、但可由计算装置100利用计算装置100的前述通信I/O装置经由通信链路远程地访问的方法和系统。此外,应用112和HWR系统114可以共同地操作或者被组合成单个应用。
在输入表面104上或经由输入表面104输入的笔画被处理器106处理成为数字墨水。用户可以用手指或一些器具(如适用于在输入表面上使用的笔或输入笔)而输入笔画。用户也可通过在输入表面104上方做出手势(如果使用感知输入表面104附近的移动的技术),或者利用计算装置100的外围设备(如鼠标或操纵杆)来输入笔画。笔画的特点是至少具有笔画开始位置、笔画终止位置和将笔画开始位置与终止位置连接的路径。因为不同的用户可以自然地书写具有微小变化的相同对象(例如字母、形状、符号),所以HWR系统适应多种方法,其中可以输入每一个对象,同时识别为正确的或预期的对象。
图2是处于其本地的(即,被加载到装置100中)或远程的(即,可由装置100远程地访问)形式的HWR系统114的示例的示意图。HWR系统114包括如预处理116、识别118和输出120的各阶段。预处理阶段116对数字墨水进行处理以实现更高的精确度,并且减少识别阶段118期间的处理时间。该预处理可包括通过应用尺寸归一化和/或对输入进行平滑处理的方法(如B样条逼近)而对连接笔画开始位置和终止位置的路径进行归一化。然后,使经预处理的笔画经过识别阶段118,该阶段对各笔画进行处理以识别由此所形成的对象。然后,将所识别的对象输出120到显示器102,通常是手写要素/字符的排版版本。
识别阶段118可包括不同的处理要素或专家。图3是图2的示例的示意图,该图示出了识别阶段118的示意性细节。图示了三个专家(分割分割专家122、识别专家124和语言专家126),这些专家经过动态编程而合作以生成输出120。
分割分割专家122定义用于将输入笔画分割成单独素假设(例如字母数字字符和数学运算符、文本字符、单独的形状或子表达式)从而形成表达式(例如词语、数学方程式或各组的形状)的不同方法。例如,分割专家122可通过对原始输入的连续笔画进行分组,形成元素假设,以获得分割图,在分割图中每个结点对应于至少一个元素假设并且各个因素之间的相邻约束由结点连接来处理。可替代地,分割专家122可以对不同的输入类型(如文本、附图、方程式和音乐符号)利用不同的专家。
识别专家124提供由分类器128提取的对特征的分类,并且输出具有用于分割图的每个结点的概率或识别率的元素候选列表。存在可以用于完成此识别任务的许多类型的分类器,例如支持向量机、隐马尔可夫模型或神经网络(如多层感知机、深度卷积或递归神经网络)。选择取决于根据任务所需的复杂度、精确度和速度。
语言专家126利用语言模型(例如,语法或语义)生成分割图中的不同路径的语言意义。专家126根据语言信息130对由其他专家建议的候选进行检查。语言信息130可以包括词库、正则表达式等。语言专家126的目的是发现最佳识别路径。在一个示例中,语言专家126通过探索语言模型,如代表语言信息130的内容的有限状态自动机(确定型FSA),来完成此任务。除了词库限制外,语言专家126可以使用对给定元素序列在指定语言中出现的频率或者被特定用户使用的频率进行建模的统计信息,以便评估对分割图的给定路径进行的解释的语言可能性。
本发明的系统和方法将HWR系统114应用于识别对装置100的手写输入。如前所述,应用112包括用于所的识别用户输入的布局进行处理的应用。这些应用可以提供在具有各个单独层的架构中来对不同处理进行操纵。这些层中的一层或多层可以远离可经由前述通信信道而访问的装置100。这些层可以包括应用封装器、平台封装器和(平台专用)应用用户界面。
由本发明系统和方法所提供的应用112允许用户利用计算装置100来手写内容。具体地,应用112允许用户(如学生、学术和工作专业人士)手写笔记,例如在演讲、会议和集体讨论会期间,其中笔记可以在他们的计算装置中转换成可共享的格式化文档。本发明的系统和方法还允许输入自然书写,因为该书写是在(划定的)行中完成,并且参照了语段和其他布局要素。也支持在各装置之间同步被捕获的笔记以及笔记的自动保存。也支持通过HWR系统对手写笔记的排版,并且有效地提供使进行手写输入的用户不分心的实时识别反馈。也支持对所识别的排版文本和数字墨水的搜索,例如,转让给本专利申请人的美国专利申请US 2009/0077053中所描述的系统和方法(该专利的全部内容通过引用并入本文中),其中包括实时索引技术。也支持各种格式(如文本、Latex、HTML、图像、pdf等)的导出选项。现在对这些和其他方面进行描述。
应用112应用用于文档和文档要素的定义和操纵的框架,从而提供结构化内容以允许对笔记要素(如语段和非文本输入)进行处理。该文档模型对这些不同类型的文档要素进行处理,可参考HTML5对此进行最佳描述,例如参见W3C HTML5DOM-各类型的内容:http://www.w3.org/TR/html5/dom.html#kinds-of-content。由应用112所采用的文档模型不复制HTML规范,相反该模型从它们之中得到灵感。
本专利申请人已发现,现有数字笔记应用的用户对文本在编辑时在文本重排和未控制的文本/对象位置方面如何运作的理解有问题。为了降低用于这种应用的使用的学习曲线,手写应当更接近用户所熟悉的那些方式。也就是说,与用键盘在文本编辑软件/互联网服务中书写,具有相同的模型或行为。用户在输入手写时也想要手写识别的结果,但他们必须能够以最小的分心自然地书写。任何数字装置上,用户已习惯于各类型的识别反馈,如预测的文本候选等,但这种反馈的显示机制必须不打乱用户的书写流。
现在详细描述本发明系统和方法的这些和其他特征。图4示出了在示例性计算装置100的输入表面104的一部分笔记页面400的示例性视觉呈现的示意图。页面400被示为编辑视图,其中执行所有的内容输入。其他的视图可用于文档结构编辑和笔记本导航。除提供用户界面(UI)控制(下述)外,编辑视图的主要目的是提供从装置100的显示器102中垂直铺设的全宽页面。页面400包括具有可变高度(实际上无限高度)的页面,并且可以利用公知的触摸屏计算装置手势或非触摸屏计算装置方法(例如利用鼠标)而垂直地滚动。为了将用户的书写空间最大化(尤其是在较小的装置上),空白的可滚动页面被限定为占据至少整个编辑视图高度。
在编辑视图(以及适当的其他视图)中,显示若干个页面要素,包括顶部内边距402、左页边404和右页边406。内边距和页边限定具有行图案背景410的输入区408。行图案410具有被多个垂直节奏高度单元(密度独立像素(dp))所隔开的水平行。无论特定的装置100如何,在水平行410之间的垂直距离是由行图案单元(LPU)所限定,并且垂直节奏高度单元提供对在特定装置上的LPU的刻度测量。例如,对于任何垂直节奏高度单元的特定倍数的装置,可将LPU设定为约一厘米,或者可允许用户根据他们的书写方式将该行图案单元定制为不同的多个垂直节奏高度单元。可替代地,垂直节奏高度可以基于排版文本大小(例如,最小文本尺寸),并且LPU设置为多个此排版文本大小。所有的行410都被显示为相同的非常浅而不易察觉的颜色(例如灰色),亦即在可见与褪色之间。这样,该行图案是明显的但不惹眼,从而引导手写输入而不会从笔记自身分心。行图案背景410被显示于手写文本语境中并且用于多个目的:
●使用户在行图案背景410上书写,从而优化手写识别;
●帮助用户用整齐的垂直节奏进行书写,从而形成相同的书写大小和更好的块尺寸和位置;
●帮助用户控制跳行以便定义语段(下述)。
顶部内边距402被显示于任何新页面或章节上,并且不含有行图案背景。这帮助用户用正确的垂直间距进行书写,即,不太靠近界面104边框并且留出用于其他要素的空间,例如章节标题和标注。顶部内边距402是由多个LPU限定的,例如在图4的示例中,顶部内边距是LPU的两倍。
左页边404和右页边406被显示具有垂直线。在图4的示例中,这些行在颜色和清晰度上类似于行图案410,然而若需要,这些行可更粗地显示。垂直线页边定位在与相应的左右‘页面’边缘间隔垂直节奏单元的倍数。在图4的示例中,页边404,406不被显示于顶部内边距402中,并且开始于第一行图案410的水平行。然而,若需要,页边可延伸进入顶部内边距。此外,行图案410不被显示于页边要素中,从而不鼓励在这些区域中书写。然而,可能希望允许页边中书写,用于注记等。可替代地,这些页边可仅在悬停在页面400的水平范围上或与之进行接触交互时被显示,或者完全被省略,因此例如依赖于用户的自然手写行为,以便不在太靠近屏幕/UI边缘的位置进行书写。
利用文档模型的此基本结构,本发明的系统和方法提供用于引导用户手写输入以便优化识别的机制。该机制还可以用于将实时识别反馈提供给用户,这种反馈使得不从手写输入中分心,而是强化手写输入。这是通过提供包括动态尺和动态提示器的引导要素而实现。提示器是用于将一定数量的最后被识别词动态显示为当前句子或语段的排版墨水(或者在手写输入是非文本情况下,当前输入字符串的字符/符号)。尺配置成提供用于手写的水平定界,并且当在输入区408中手写笔画时,和/或排版墨水沿行410呈现呈现从而以数字墨水的形式显示时动态地增大。
下面参照图5至图18对引导要素进行描述。在这些附图中所示出的示例是在从左到右的书面语语境中,因此对各位置的任何引述可以适合于具有不同方向格式的书面语。在图5至图18的各图中,可滚动页面400的一部分以示意性方式被描绘于装置接口的可视区。可滚动页面400被示出为具有行图案背景410。
图5至图7示出了与将词的字符502连续手写输入在页面400的行图案410的一部分上的两个语段504和506中有关的引导要素500。当检测到在界面104的输入区408中的相应的数字墨水的手写和呈现呈现的开始(以前述的方式)时,本发明的系统和方法也将引导要素500显示为水平条508,水平条508和输入字符502的行410正上方的行图案背景的行410上的手写字符相邻,且位于其上方。如可以在图5的示例中所见,引导要素500的水平条508的尺寸与输入共同延伸,并且配置成当字符502被添加到行410上时随着输入而动态增大。水平条508被显示为非常淡且不易察觉的颜色,例如,用于行图案背景或数字墨水的蓝色或至少不同的色彩明暗,亦即在可见与褪色之间的,比数字墨水细但比行图案背景粗。这样,引导要素是明显的(比行图案背景更加明显)但不惹眼,以便引导手写输入而不会从记笔记本身分心。
如可以在图6中所见,引导要素500的水平条508保持在位于多行语段504中的输入的第一行410上方的行410上,并且在该语段水平宽度在语段504的任何行上增大时而增大。这样,引导要素500与语段自身邻近且共同延伸,因为它与最左语段位置对齐,延伸至最右的语段位置并且垂直地与行图案背景对齐,从而给用户提供上书写边界。这确保用户输入正确尺寸的字符(例如,不过分地高于单个LPU)。可替代地,可以将引导要素显示在相对于语段的不同位置,例如,显示为开始于该语段中输入的第一行到输入的最后行的最左语段位置旁边的简单垂直线。此外,引导要素可以配置成在水平方向和垂直方向两个方向上围绕语段/内容块延伸。在任一情况下,在该语段中的整个输入中,引导要素给用户提供语段尺寸的视觉提示。
在图7中,第二语段506开始于在语段504的最后行410下方的两条行410。因此,当不再在该语段中执行输入时,引导要素500在语段504上方的显示被终止,并且引导要素500以与如前所述的相同方式被显示在新语段506的第一行410上方的行410上。
在图6的示例中,添加到语段504中的输入是行图案背景410的下一行上的该语段的文本的延续部分。一般认为添加的文本属于现有的语段,因为它被添加到在页面400的垂直流中的紧接着的下一行410。可以利用HWR系统114的识别阶段118将对添加文本确定为实际上是新语段的一部分,尤其是参考相邻行的文本的偏移和它们与(现有)语段的的左页边或对齐边缘的关系。
在新语段行上方的引导的显示可以用于将这种识别的结果指示给用户,以便在新的语段被错误识别时,可以由用户采取一些校正措施,例如将语段合并。然而,在附图的示例性呈现呈现中,这将会要求在该语段的文本的最后行上叠加显示引导要素,并会因此掩盖该文本或者使引导要素难以看见,从而造成用户分心。上述引导要素的垂直显示将会消除该不希望有的叠加,而水平引导的使用还具有其他益处,如下所述。
因此,以容易被用户理解且应用的方式,对页面的垂直流中单独语段的输入施加简单的约束。该约束是在各水平叠加的语段之间始终存在空白行410(例如两个LPU的间距),如在图7的示例中所进行。该规则提供整齐地维持页面的垂直流中各语段之间相对布局的方法,其可用于直接输入内容和拖放或推放的语段,并且还提供在激活语段(例如,产生输入或者被选择进行交互的语段)上方的引导要素的清楚显示。
图8示出了具有图5的最终输入阶段中所示出内容的语段504。如图8中所示,引导要素500的水平条508配置有水平(第一)行508a和从水平行508a的最右端向下突出的垂直(第二)行508b。水平行508a是随着语段宽度增大而增大的引导要素500的部分,并且由此用作对象块(例如,语段)的宽度的指示。垂直行508b是给用户提供的关于块/语段沿页面宽度的结束之处的视觉提示的引导要素500的部分。因此,水平和垂直行508a和508b提供作为语段/内容块宽度的尺的引导条508。
尺508的垂直行508b也可提供用于块/语段的控制特征,因为它可以用作块的交互式尺要素,例如尺寸调整柄。例如,在图8中响应于接收单点或多点手势A(例如,利用接触或悬停在界面104上方的手指或输入笔而完成的单击、长按或双击手势),利用应用112对语段504进行选择(该选择可以被显示给用户,如下面详细说明)。然后,响应于接收另一个手势B(例如拖动或推动,如果手势A是按下,或者按下并拖动或推动),利用随之发生的块内容的重排、水平行508a的尺寸调整和必要时的尺寸调整引导对显示语段504进行尺寸调整。
在图8中,语段504的宽度被制作的较小,以便词“world”被重排到在语段504的第一行410下方的单独行410,从而使得尺508的宽度指示508a的尺寸增加,并且在开始于引导要素500的行410且向下延伸至语段504的最后行410下方的下一个可利用行410的语段504的右侧(用虚线表示)对该语段进行尺寸调整时,显示尺寸调整引导600。可使尺508的垂直行508b呈现为大于、小于或不同于各附图中所示的行,只要能够以所描述的方式进行交互而不使用户从内容输入分心。可替代地,垂直行508b可仅在悬停在尺上或与尺接触而进行交互时被显示或者完全被省略,因此例如依赖于用户的自然行为与引导要素的水平行508a交互从而直接地实施操纵。此外,如果利用应用112中可用的选择机制一次选择多个语段,则在此选择期间,用与所有所选择语段相关的工具条来代替引导要素。
水平设置的引导要素的另一个有利方面是,在激活语段/块上方提供提示器510,用于实时内容识别反馈,如在图9至图12中所示。如前所述,可用手写笔记应用的缺点是,缺乏用于用户的有效手写识别反馈,这使得在将笔记输出到文档处理应用之前,用户无法验证识别精确度。一些可用的应用提供所识别的文本/内容的导出视图,其中识别的变化和校正可以在导出之前完成。然而,任何这种校正只是在导出视图内完成,并且不被反映在笔记自身的数字墨水中。
提示器510在编辑视图中以排版墨水的方式以显示于引导要素500的水平行508a的顶部上的单行视图的形式来提供所识别的内容的实时反馈。图9示出了将词的字符502连续手写输入在页面400的一部分行图案410的语段900中。如前所述,在字符502的输入期间,生成并显示引导要素500。当HWR系统114提供输出120时,引导要素500的提示器510显示语段900的识别词510a。因此,在输入期间,提示器510从条508的左对齐范围起,在水平条508上方显示任何新识别的词。
该显示是以使对用户输入造成的分心最小化的方式而执行的,同时提供对他们的手写识别的实时视觉提示。例如,新识别的每个词可利用第一权重和/或颜色的排版而显示,例如权重小于数字墨水权重的蓝色,然后,短时间(例如,在约半秒至约一秒内)之后,如果没有新的词被识别或快速地(例如,几乎立刻)新识别的词被输入,则利用小于第一权重的第二权重和/或不同于第一颜色或至少具有不同色调的颜色的排版,将以前识别的词重新显示。显示和重新显示可利用细微的动画(如淡入)而完成。
可以看出,排版墨水小于数字墨水,使得当把更多的内容添加到一行或多行的语段中时,对新识别的词和现有的排版一起进行排版,使得用户可以容易地看见对单独词和词的字符串或句子的语境两者的识别。然而,当更多的内容被添加到语段中使得该语段的垂直范围大于其水平范围时,新排版的要素将不适合在提示器中已排版的要素。这通过仅允许提示器内容溢出到左侧而不是右侧而进行处理。例如,在图10中,语段900具有被添加到第二和第三行410的其他内容502,从而导致被定义为提示器框的尺508的长度短于被定义为提示器内容的排版文本的长度。因此,为了继续利用提示器510将新识别的词510a显示给用户,使提示器内容滚动到左侧,从而将最左侧的排版文本从提示器510显示中推出(即,第一词“Hello”消失),以便可以将新识别的词/内容510a(即,内容“you?”)显示在提示器框的右范围。
此(动态或自动的)提示器滚动可以响应于应用112确定新识别词具有排版长度而发生,这表示它将会显示超过目前尺长度,例如提示器内容将溢出在右侧提示器框,或者作为当排版内容到达当前引导要素的某个位置时的预定滚动。提示器和其要素还可以配置成是交互式的,以便在任何时间用户都可使提示器滚动来复查任何以前被识别的内容。这可以响应于接收单点或多点手势C而完成,例如如图10中所示的滑动。在这种手动滚动期间,可以显示指示滚动行为的滚动条指示,例如在图10中所示的下划线要素510b。在手动滚动发生之后,保持当前的指示器滚动位置,直到进一步的交互或者直到或新内容被输入到语段/块中,在此事件中提示器反向滚动到提示器框的右范围并且采取新的输入行为。
除了滚动提示器的排版内容之外,还可使页面400的输入区408中的全部内容滚动,如前所述。因此,当页面滚动时,引导要素与偏离页面顶部/底部的任何当前块一起滚动。然而,为了保持引导要素的有效性,要防止当前块被完全推出之前,在当前块正滚动出视图时引导要素被推出视图,这类似于“粘性头部(sticky header)”行为。因此,就在页面400上部分可见的当前块(例如,语段部分地溢出界面104的可视区)而言,引导要素“粘附”到最顶部位置,同时块内容在下方滚动,并且就被移出页面400上的可见区(例如,语段完全地溢出界面104的可视区)的当前块而言,引导要素失去其粘性行为并且滚动出具有块内容的最后行的可视区。图11示出了该行为的示例,其中使语段1100滚动出在页面400顶部的视图并伴有随之发生的显示效果。可以看出,在该示例性滚动操作期间,一旦语段1100到达页面400的顶部,引导要素510占据并粘附到页面400的顶部内边距区402。
利用由提示器所提供的实时识别反馈,用户可注意到错误识别的词/内容。这种错误识别是由于低品质手写或者由HWR系统114所处理的识别候选的错误选择或词库外的词/内容的存在而发生的。一旦被注意到,用户可以仅以本领域技术人员所理解的方式利用手写编辑手势来修改手写,从而校正该错误识别。可替代地或附加地,HWR系统114可向应用112指示识别的可信度较低,或者应用112自身可确定低可信度。在任一情况下,在本发明的系统和方法的示例中,提示器510配置成给怀疑的识别内容提供用户可容易理解的表示某物是错误的专用呈现。例如,在图12中将从当前的语段1200中可能被错误识别的词“agan”以下划线图形提供于提示器510中,所述下划线图形可以与其余的提示器内容具有不同的颜色和/或权重,例如红色的锯齿形图案,例如,在错误拼写词的文本编辑器应用中使用的图案。
提示器可以配置成是进一步交互式的或者具有交互式提示器要素,使得可以选择(突出显示的)排版墨水来进行校正,或者用在引导要素500中用其他或更优选的词直接地代替,或者用于与排版墨水的任何其他期望交互。这可以响应于接收单点或多点手势而完成,例如单击D,如图12中所示。在选择时,可显示其他识别候选的菜单(存在于HWR系统114中),如果显示该菜单,则响应于接收到单点或多点手势,例如图12的示例中所示的候选菜单1202上的单击E,可以从该菜单中选择正确的候选。在图12中,候选菜单1202具有与原错误识别词相对应的第一输入,接着是顶部三个候选词“again”、“aging”和“agent”(由HWR系统114返回),响应于接收在该词上的单击E而选择正确的词“again”,并且相应地改变提示器内容以便用“again”代替“agan”(呈现新的识别词;应注意的是在检查过程期间也可以类似地呈现正在被检查的词)。可将该过程的结果传送回到HWR系统114用以协助训练识别阶段118。在选择和与排版墨水的交互期间,可以类似于所选择排版墨水的方式突出显示相应的数字墨水。可以看出,通过该过程数字墨水并不会被改变,因为用户不与手写内容而是与识别反馈进行交互。然而,直接与数字墨水进行交互也可以执行编辑等。
当然,数字墨水的编辑对显示于提示器中的被识别文本具有影响。当用户选择手写内容时,提示器应当反映该子语境并且相应地修改其内容。图13示出了图10的语段900,其中将相应的被识别词显示于提示器510中。响应于接收到单点或多点手势(例如长按F)而选择词“world”语段900以便进行交互。响应于该选择,提示器510水平地滚动(如必要,例如所选择的词是在当前提示器框外)从而将其自身从重新定位于与所选择词相对应的被识别词上,并且具有一些前述的颜色/权重突出显示和/或去除所有其他提示器内容,如在图13中所示,并且被识别的词“world”仍然留在提示器510中。可替代地,除与所选择词相对应的排版墨水外,将所有排版墨水从提示器显示中省略。这样,在编辑期间,用户可以容易地确定与所选择数字墨水相对应的被识别内容(可以如图示的方式用已知的选择柄突出显示等),用于编辑/操纵。如果选择被延伸(例如,选择柄被拖动/推动),则相应地将提示器内容加以更新。
当退出选择模式时,提示器内容返回到在当前的提示器框中显示全部提示器内容。如果所选择的数字墨水被删除,那么用一些动画(例如,被去除字符/词的淡出)来删除相应的被识别内容,并且,重新显示或平移剩余的提示器内容来填充剩下的空间。如果所选择的数字墨水被覆盖或以其他方式被替代,则通过与新提示器内容的常规识别更新和其他提示器内容的重新显示/平移相同的动画,用新识别的内容来替代相应的以前被识别的内容。
本发明系统和方法的引导要素的提示器还可配置成提供额外的反馈和与其的交互。HWR系统114可以在运行中识别多种语言。这部分地消除了用户预先选择输入语言的需要(当在页面、段和甚至句子中互换地使用语言时这尤其是成问题的)。然而,这种多语言检测未必总是选择正确的语言用于识别或者反映用户在书写不同语言中的意图。引导要素的提示器可以进行配置,使得对于通过在提示器内容中显示多语言标注而指示该语言检测(或手动选择;见下)非常有用,从该提示器内容中用户可以确定何时将不同的识别语言应用于数字墨水内容。
图14和图15示出了根据本发明系统和方法的示例的提示器的语言标注的示例性呈现。图14示出了含有采用第一语言(即,西班牙语)的内容1400a和采用第二语言(即,英语)的内容1400b的数字墨水内容1400。在引导要素500的提示器510中,识别内容反映被识别语言并且在被识别语言之前(例如,向左侧)显示标记510c,该被识别语言指示由HWR系统114检测到的语言。例如,在西班牙语内容前面的标记510c指示“ES”而在英语内容(例如,在西班牙语内容与英语内容之间)之前的标记510c指示“EN”。
当用户具体地通过菜单等来选择语言输入的语言时也可以使用这些标记,以便当切换到另一种语言(例如,返回到应用112的主要语言)时,加入另一个语言标记以便标示先前语言序列的结束和新语言的开始。可以将这种主要的和替代的语言标记呈现成不同的风格,例如替代语言使用斜体文本。术语“主要的”和“替代的”反映在用于HWR系统112的语言中词库的相对尺寸和可利用性,例如通过安装到装置100的存储器108,装置100通常是基于操作系统110的语言而执行的。HWR系统对这些不同词库的使用影响输出120,因为HWR系统从减小的词库中或者从具有另一种语言的词库的一种语言中正确地识别词的能力通常受到严重的限制。
为了保持语言标记的有效性,当更多的数字墨水被输入并且提示器内容相应地滚动或者当用户手动地滚动提示器时,语言标记沿着行随着相关的提示器内容而移动。当提示器内容溢出当前的提示器框时,语言标记模拟“粘性头部”行为,但是在水平的语境中。例如,如图15中所示,数字墨水的语段1500包含第一语言部1500a(例如,法语)和第二语言部500b(例如,英语)并且用标记510a(例如,“FR”和“EN”)将这些指示于提示器510的内容中。当更多的内容输入到语言部1500b中的语段1500中时,提示器内容滚动到左侧,并且一旦第一标记510c“FR”到达提示器框的最左范围,它粘附到最左位置并且在其右边的文本内容好像与包含第二标记510c“EN”的其他内容的滚动一同在“被粘附”标记510c的下面而滚动出提示器框。当第二语言标记510c“EN”滚动到与粘附的语言标记510c“FR”“接触”时,第二标记将第一标记从提示器框中推到左侧并且在提示器框架的最左位置占据其粘附位置。
语言标记还可以是例如用于选择不同语言进行识别的交互式提示器要素。这是通过利用单点或多点手势(如单击)选择标记而实现,例如,响应于此,显示用于其他语言选择的菜单等,从而可以选择可用语言由HWR系统114进行重新识别,并且随后用新的输出120来替代提示器内容。这种与语言标记的交互也可以提供将被识别词在各语言之间进行翻译的方法,例如利用装置100可访问的语言翻译应用。此外,根据本发明系统和方法的引导要素的提示器可配置成显示用于不同目的的其他类型的交互式标记,例如使用装置100可访问的合适的应用,从应用112中手写的文本或音乐符号音频/语音呈现提示器内容排版或其一部分,或者使用装置100可访问的计算应用从应用112中手写的算术方程式自动计算提示器内容排版或其一部分。
本发明系统和方法的引导要素另一个有利应用是给用户提供经由引导要素自身对应用112的另外交互控制要素的访问。这样,控制要素可与利用通常的机制相比更易访问内容,例如应用的顶部条。该特征的示例示于图16中,其中引导要素500包括控制访问要素512,该访问要素512在最后被识别词/要素(例如,右侧)之后的提示器框的最右范围被显示为“更多的”图标。控制访问要素512可通过单点或多点手势进行交互,例如单击,例如响应于此而显示语境菜单。例如,在图16中,当选择“更多”要素512时,显示下拉菜单1600,其显示所有或某些可利用的操作,例如具有可清楚辨认的图标和分类的内容转换操作(例如重排和排版)和标准操作(例如剪切、复制、删除)。为了在内容输入期间不使用户分心,当不执行输入时可仅显示控制访问要素512,例如一旦检测到手指/笔向下事件时,“更多的”图标将淡出为不可见状态,在书写期间和书写后保持该图标不可见,例如在检测到手指/笔向上事件且外加预定的时间段(例如,约半秒至约1秒)时,将“更多”图标返回到完全可见。
在目前为止所描述的引导要素的示例中,引导要素的尺被呈现为大体上与输入内容语段/块邻近。在其他示例中,替代地,引导要素可配置成附着到本发明数字笔记应用的文档模型的某些特征。如前所述,可滚动页面400由行图案背景410所限定以帮助用户清楚地手写用于识别优化。该行图案背景也提供内容要素(例如,通过LPU)的规则垂直间距以协助基于手写笔记的正确文档创建。如前所述,引导要素500还相对于输入内容的各语段或块与行图案背景410对齐。与手写内容的行相同,引导要素高度也利用垂直的间距单元进行控制并且是各附图的示例中的一个LPU。这提供应用112的清楚的UI和与行图案的正确对齐。
利用该行图案,可以以无限制画布的形式提供可滚动页面,允许用户在任何位置创建对象块(文本的块、附图、公式、音乐符号等)而不用担心尺寸或对齐。为了提供流畅交互并且让用户感到他们在控制着布局,在交互期间可对对象块任何移动/尺寸调整进行实时更新并且与当前触摸或悬停位置对齐。然而,为了提供含有结构化内容的专业性格式化文档,可定义其他的对齐模式,其中所有内容(在输入中或者用户交互中)被对齐/限定。该对齐模式被定义为允许相对于彼此地对各单独内容块进行正确的处理。
该对齐模式具有内边距区,该内边距区被大体上限定于页面400的页边404和406内,在页边404和406之间将可利用的水平空间定义为用于用户内容的输入区。这样,防止内容在太靠近装置100的界面104边缘的位置处被输入。该输入区被划分为若干列,这些列都具有相同的宽度并且可灵活地填充输入区,并且以最小应用宽度值(单位dp)来定义断点,例如当满屏提供应用112时的屏幕宽度,或者仅缩小时的窗口宽度,如在台式电脑/笔记本电脑上,或者在平板电脑上的分屏。此外,可围绕各列划分定义装订线空间以防止对象块彼此太靠近。
对齐到图案(snap-to-pattern)行为用于对象块对齐。通过以两种方式参考行图案410而对垂直对齐进行处理,通过确保所有对象块高度是LPU的整数倍,或者每个块的至少顶部边界与行图案背景410的下一可用行对齐。在前者的情况下,无论交互如何(例如,新的、编辑的、移动的、尺寸调整的),所有的对象块始终是与LPU舍入对齐(rounded),并且根据垂直的LPU定位(例如,顶部和底部边界与行图案背景410对齐)。在任何方法中提供对齐到网格机制的LPU部分。就水平对齐而言,无论用户交互如何(例如,新的、编辑的、尺寸调整的),在任何情况下所有对象块的左和右边界保持与对齐模式的各列(或装订线)对齐。这提供对齐到网格机制的布局部分。因此,垂直的和水平的对齐操作提供与LPU(垂直)和布局(水平)网格的垂直对齐和水平对齐。
图17和图18中示出了示例性LPU和布局(对齐)网格1700。在图17和图18的各图中,部分可滚动页面400是以示意性的方式被图示为在装置界面的可视区中。可滚动页面400被图示为具有由行图案背景410构成的对齐网格1700,如网格1700的水平行1702(用虚线划分),和由网格1700的垂直行1704(用虚线划分)所限定的对齐模式,所述网格1700将页面400划分为若干个列,例如在附图中为六列。为便于描述,在附图中省略了可滚动页面的顶部内边距和页边和对齐模式的内边距区和列装订线。对齐网格自身不被显示给用户并且用作应用112的对象块布局管理的不可见引导。然而,行图案背景410可被显示给用户以提供对书写尺寸和位置的引导,如前所述。块和对齐网格的使用允许在对各块内的内容进行编辑的同时保持各块的相对布局。
当书写时,文本大致出现在手指或输入笔相对于装置界面的位置,从而保持用户的自由书写体验。然而,无论如何,语段边界都要与LPU和布局网格对齐。例如,语段的左边界与最近的左列边缘(装订线)对齐,并且语段的右边界与最近的右列边缘(装订线)对齐。对于与LPU和布局网格尺寸无关的各行语段,内部语段特征例如缩进(例如,对于从左到右的书写语言,文本水平地偏离语段左侧)可与各列对齐或者作为属性被存储于例如存储器108中。
在图17中,示出了语段1706,该语段与网格1700的最左或第一垂直行1704对齐并且跨越网格1700的四条水平行1702或四个LPU。该语段含有被图示为实心水平线的手写文本。边界1706a(用虚线表示)被限定在语段1706附近。如图中所示,语段1706的文本自身不对齐到对齐网格,因此用户不会产生失去控制的感觉,然而语段1706的边界1706a与最靠近语段内容的网格1700的水平行1702和垂直行1704对齐。虽然文本并不对齐到对齐网格,但可以看到引导要素500的尺508被提供为语段1706的边界1706a的顶部水平行,因此引导要素500对齐到对齐网格1700。这在图18中更清楚地显示,与最左的垂直行1704对齐的其中语段1800具有手写文本(图示为实心的水平行),该手写文本延伸进入对齐网格1700的第四列使得被限定在语段1800附近的边界1800a(用虚线表示)延伸至第五垂直行1704,由此将引导要素500的尺508限定到网格1700的垂直行1704。
语段/内容块的边界被本发明系统和方法用于相对于对齐网格确定输入要素的范围,因此通常不被应用112显示给用户,除了被显示为引导要素的尺的顶部边界外。然而,在编辑操作(例如块的移动等)期间,可显示全部的边界协助用户将要素相对于布局的其他要素进行正确放置。此外,为了协助用户感知适当间距,至少当前输入列的装订线内的行图案背景的显示在输入期间可以被省略。例如,在四列网格的第二列中的输入期间,行图案背景被省略/遮蔽在第二列的左和右装订线中,并且还可被省略/遮蔽在第一列的右装订线和第三列的左列中。
由本发明系统和方法所提供的数字笔记应用允许用户利用计算装置手写内容,该内容可以在计算装置中被转换成可共享的格式化文档,正如自然书写被允许被输入,因为在(划定的)行中完成对书写的引导,并且涉及到语段和其他布局要素,手写的排版完成,并且有效地提供不使人分心的用户手写输入的现场识别反馈。
虽然在前面描述了是最佳模式和/或其他示例,但应理解的是可在其中做出各种修改,并且本文中所公开的主题可以各种形式和示例进行实施,并且它们可应用于许多其他的应用、组合和环境,本文中仅描述了其中的部分。本领域技术人员将意识到在不背离该主题的真实精神和范围的前提下可对公开的各方面可进行更改和修改。因此,该主题并不局限于本说明中的具体细节、呈现和图示的示例。意图是保护落在落文中所公开的有利构思范围内的任何和所有修改和变形。
权利要求书(按照条约第19条的修改)
1.一种用于引导对计算装置的手写输入的系统,所述计算装置包括处理器和用于在所述处理器的控制下识别所述手写输入的至少一个系统应用,所述至少一个系统应用配置成:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
2.如权利要求1所述的系统,其中所述引导要素包括动态提示器,在手写输入时,所述提示器动态地显示与从所述手写输入识别的所述数字墨水相对应的排版墨水。
3.如权利要求2所述的系统,其中所述动态提示器包括至少一个交互式提示器要素,所述至少一个系统应用配置成响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
4.如权利要求3所述的系统,其中所述至少一个交互式提示器要素包括所述排版墨水。
5.如权利要求3或权利要求4所述的系统,其中所述至少一个交互式提示器要素包括与所述排版墨水有关的至少一个标记。
6.如权利要求5所述的系统,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
7.如权利要求2至6中任一项所述的系统,其中所述引导要素包括动态尺,在手写输入时,所述动态尺动态地指示所述数字墨水的至少一个维度。
8.如权利要求7所述的系统,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
9.如权利要求7或权利要求8所述的系统,其中所述动态尺指示包含所述数字墨水的内容块的宽度。
10.如权利要求9所述的系统,其中所述动态尺包括交互式尺要素,所述至少一个系统应用配置成响应于接收到与所述交互式要素的交互使得至少所述内容块的宽度变化。
11.如权利要求1至10中任一项所述的系统,其中所述引导要素包括交互式控制要素,所述至少一个系统应用配置成响应于接收到与所述交互式控制要素的交互使得所述处理器控制所述至少一个系统应用。
12.一种用于引导对计算装置的手写输入的方法,所述计算装置包括处理器和用于在所述处理器的控制下识别所述手写输入的至少一个系统应用,所述方法包括将所述至少一个系统应用配置成:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
13.如权利要求12所述的方法,其中所述引导要素被显示为包括动态提示器,所述方法包括将所述至少一个系统应用配置成:
在手写输入时,使得在所述动态提示器处动态显示与从所述手写输入识别的所述数字墨水相对应的排版墨水。
14.如权利要求13所述的方法,其中所述动态提示器被显示为包括至少一个交互式提示器要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
15.如权利要求14所述的方法,其中所述至少一个交互式提示器要素包括所述排版墨水。
16.如权利要求14或权利要求15所述的方法,其中所述至少一个交互式提示器要素被显示为包括与所述排版墨水有关的至少一个标记。
17.如权利要求16所述的方法,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
18.如权利要求13至17中任一项所述的方法,其中所述引导要素被显示为包括动态尺,所述方法包括将所述至少一个系统应用配置成:
在手写输入时,使得所述动态尺动态地指示所述数字墨水的至少一个维度。
19.如权利要求18所述的方法,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
20.如权利要求18或权利要求19所述的方法,其中所述动态尺指示含有所述数字墨水的内容块的宽度。
21.如权利要求20所述的方法,其中所述动态尺被显示为包括交互式尺要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述交互式要素的交互,使得至少所述内容块的宽度变化。
22.如权利要求12至21中任一项所述的方法,其中所述引导要素被显示为包括交互式控制要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述交互式控制要素的交互,使得所述处理器控制所述至少一个系统应用。
23.一种其中实现了计算机可读程序代码的非暂时性计算机可读介质,所述计算机可读程序代码适合于被执行以实施用于引导对计算装置的手写输入的方法,所述方法包括:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
24.如权利要求23所述的非暂时性计算机可读介质,其中所述引导要素被显示为包括动态提示器,所述方法包括:
在手写输入时,使得在所述动态提示器处动态显示与从所述手写输入中识别的所述数字墨水相对应的排版墨水。
25.如权利要求24所述的非暂时性计算机可读介质,其中所述动态提示器被显示为包括至少一个交互式提示器要素,所述方法包括:
响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
26.如权利要求25所述的非暂时性计算机可读介质,其中所述至少一个交互式提示器要素包括所述排版墨水。
27.如权利要求25或权利要求26所述的非暂时性计算机可读介质,其中所述至少一个交互式提示器要素被显示为包括与所述排版墨水有关的至少一个标记。
28.如权利要求27所述的非暂时性计算机可读介质,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
29.如权利要求24至28中任一项所述的非暂时性计算机可读介质,其中所述引导要素被显示为包括动态尺,所述方法包括:
在手写输入时,使得所述动态尺动态地指示所述数字墨水的至少一个维度。
30.如权利要求29所述的非暂时性计算机可读介质,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
31.如权利要求29或权利要求30所述的非暂时性计算机可读介质,其中所述动态尺指示包含所述数字墨水的内容块的宽度。
32.如权利要求31所述的非暂时性计算机可读介质,其中所述动态尺被显示为包括交互式尺要素,所述方法包括:
响应于接收到与所述交互式要素的交互,使得至少所述内容块的宽度变化。
33.如权利要求23至32中任一项所述的非暂时性计算机可读介质,其中所述引导要素被显示为包括交互式控制要素,所述方法包括:
响应于接收与所述交互式控制要素的交互,使得所述处理器控制所述至少一个系统应用。

Claims (33)

1.一种用于引导对计算装置的手写输入的系统,所述计算装置包括处理器和用于在所述处理器的控制下识别所述手写输入的至少一个系统应用,所述至少一个系统应用配置成:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
2.如权利要求1所述的系统,其中所述引导要素包括动态提示器,在手写输入时,所述提示器动态地显示与从所述手写输入识别的所述数字墨水相对应的排版墨水。
3.如权利要求2所述的系统,其中所述动态提示器包括至少一个交互式提示器要素,所述至少一个系统应用配置成响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
4.如权利要求3所述的系统,其中所述至少一个交互式提示器要素包括所述排版墨水。
5.如权利要求3或权利要求4所述的系统,其中所述至少一个交互式提示器要素包括与所述排版墨水有关的至少一个标记。
6.如权利要求5所述的系统,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
7.如权利要求2至6中任一项所述的系统,其中所述引导要素包括动态尺,在手写输入时,所述动态尺动态地指示所述数字墨水的至少一个维度。
8.如权利要求7所述的系统,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
9.如权利要求7或权利要求8所述的系统,其中所述动态尺指示包含所述数字墨水的内容块的宽度。
10.如权利要求9所述的系统,其中所述动态尺包括交互式尺要素,所述至少一个系统应用配置成响应于接收到与所述交互式要素的交互使得至少所述内容块的宽度变化。
11.如权利要求1至10中任一项所述的系统,其中所述引导要素包括交互式控制要素,所述至少一个系统应用配置成响应于接收到与所述交互式控制要素的交互使得所述处理器控制所述至少一个系统应用。
12.一种用于引导对计算装置的手写输入的方法,所述计算装置包括处理器和用于在所述处理器的控制下识别所述手写输入的至少一个系统应用,所述方法包括将所述至少一个系统应用配置成:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
13.如权利要求12所述的方法,其中所述引导要素被显示为包括动态提示器,所述方法包括将所述至少一个系统应用配置成:
在手写输入时,使得在所述动态提示器处动态显示与从所述手写输入识别的所述数字墨水相对应的排版墨水。
14.如权利要求13所述的方法,其中所述动态提示器被显示为包括至少一个交互式提示器要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
15.如权利要求14所述的方法,其中所述至少一个交互式提示器要素包括所述排版墨水。
16.如权利要求14或权利要求15所述的方法,其中所述至少一个交互式提示器要素被显示为包括与所述排版墨水有关的至少一个标记。
17.如权利要求16所述的方法,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
18.如权利要求13至17中任一项所述的方法,其中所述引导要素被显示为包括动态尺,所述方法包括将所述至少一个系统应用配置成:
在手写输入时,使得所述动态尺动态地指示所述数字墨水的至少一个维度。
19.如权利要求18所述的方法,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
20.如权利要求18或权利要求19所述的方法,其中所述动态尺指示含有所述数字墨水的内容块的宽度。
21.如权利要求20所述的方法,其中所述动态尺被显示为包括交互式尺要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述交互式要素的交互,使得至少所述内容块的宽度变化。
22.如权利要求12至21中任一项所述的方法,其中所述引导要素被显示为包括交互式控制要素,所述方法包括将所述至少一个系统应用配置成:
响应于接收到与所述交互式控制要素的交互,使得所述处理器控制所述至少一个系统应用。
23.一种其中实现了计算机可读程序代码的非暂时性计算机可读介质,所述计算机可读程序代码适合于被执行以实施用于引导对计算装置的手写输入的方法,所述方法包括:
使得在所述计算机装置的交互式显示器上显示和与所述手写输入相对应的数字墨水的至少一部分的显示相邻的引导要素,所述引导要素配置成引导进一步的手写输入。
24.如权利要求23所述的方法,其中所述引导要素被显示为包括动态提示器,所述方法包括:
在手写输入时,使得在所述动态提示器处动态显示与从所述手写输入中识别的所述数字墨水相对应的排版墨水。
25.如权利要求24所述的方法,其中所述动态提示器被显示为包括至少一个交互式提示器要素,所述方法包括:
响应于接收到与所述至少一个交互式提示器要素的交互,使得至少所述排版墨水变化。
26.如权利要求25所述的方法,其中所述至少一个交互式提示器要素包括所述排版墨水。
27.如权利要求25或权利要求26所述的方法,其中所述至少一个交互式提示器要素被显示为包括与所述排版墨水有关的至少一个标记。
28.如权利要求27所述的方法,其中所述至少一个标记与所述排版墨水包含的一种或多种语言文字有关。
29.如权利要求24至28中任一项所述的方法,其中所述引导要素被显示为包括动态尺,所述方法包括:
在手写输入时,使得所述动态尺动态地指示所述数字墨水的至少一个维度。
30.如权利要求29所述的方法,其中所述排版墨水沿着所述动态尺的至少一个维度被显示。
31.如权利要求29或权利要求30所述的方法,其中所述动态尺指示包含所述数字墨水的内容块的宽度。
32.如权利要求31所述的方法,其中所述动态尺被显示为包括交互式尺要素,所述方法包括:
响应于接收到与所述交互式要素的交互,使得至少所述内容块的宽度变化。
33.如权利要求23至32中任一项所述的方法,其中所述引导要素被显示为包括交互式控制要素,所述方法包括:
响应于接收与所述交互式控制要素的交互,使得所述处理器控制所述至少一个系统应用。
CN201680062544.8A 2015-08-25 2016-08-25 引导手写输入的系统和方法 Active CN108351746B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15290218.5 2015-08-25
EP15290218 2015-08-25
US14/886,200 2015-10-19
US14/886,200 US10416877B2 (en) 2015-08-25 2015-10-19 System and method of guiding handwriting input
PCT/EP2016/001445 WO2017032458A1 (en) 2015-08-25 2016-08-25 System and method of guiding handwriting input

Publications (2)

Publication Number Publication Date
CN108351746A true CN108351746A (zh) 2018-07-31
CN108351746B CN108351746B (zh) 2021-07-09

Family

ID=54106283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062544.8A Active CN108351746B (zh) 2015-08-25 2016-08-25 引导手写输入的系统和方法

Country Status (6)

Country Link
US (1) US10416877B2 (zh)
EP (1) EP3341827B1 (zh)
JP (1) JP6895950B2 (zh)
KR (1) KR102381801B1 (zh)
CN (1) CN108351746B (zh)
WO (1) WO2017032458A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860157A (zh) * 2019-11-12 2021-05-28 广州视源电子科技股份有限公司 显示元素调整方法、装置、设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
US10852938B2 (en) 2016-01-07 2020-12-01 Myscript System and method for mixed content digital ink interactivity
JP6728993B2 (ja) * 2016-05-31 2020-07-22 富士ゼロックス株式会社 筆記システム、情報処理装置、プログラム
US10514844B2 (en) * 2016-11-16 2019-12-24 Dell Products L.P. Automatically modifying an input area based on a proximity to one or more edges
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US20190155895A1 (en) * 2017-11-20 2019-05-23 Google Llc Electronic text pen systems and methods
US20190318652A1 (en) * 2018-04-13 2019-10-17 Microsoft Technology Licensing, Llc Use of intelligent scaffolding to teach gesture-based ink interactions
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen
US11048931B2 (en) * 2019-02-19 2021-06-29 Lenovo (Singapore) Pte. Ltd. Recognition based handwriting input conversion
US10783323B1 (en) * 2019-03-14 2020-09-22 Michael Garnet Hawkes Analysis system
US10769348B1 (en) * 2019-09-23 2020-09-08 Typetura Llc Dynamic typesetting
CN110969129B (zh) * 2019-12-03 2023-09-01 山东浪潮科学研究院有限公司 一种端到端税务票据文本检测与识别方法
KR20220017290A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 손글씨 정렬 방법 및 장치
US20230289515A1 (en) * 2022-03-08 2023-09-14 Xerox Corporation Methods and systems for adding annotations from a printed version of a document to a digital version of the document
CN116720489B (zh) * 2023-08-08 2023-11-07 建信金融科技有限责任公司 页面填充方法及装置、电子设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030038788A1 (en) * 2001-08-22 2003-02-27 Pierre Demartines Automatically scrolling handwritten input user interface for personal digital assistants and the like
CN1458564A (zh) * 2002-05-14 2003-11-26 微软公司 随处写工具
CN1856796A (zh) * 2003-11-10 2006-11-01 微软公司 框式和行式输入屏面
US20090161958A1 (en) * 2007-12-21 2009-06-25 Microsoft Corporation Inline handwriting recognition and correction
CN102903136A (zh) * 2012-09-28 2013-01-30 王平 一种手写笔迹电子化方法和系统
CN103034437A (zh) * 2011-09-29 2013-04-10 三星电子株式会社 在便携式装置中提供用户接口的方法和设备
CN103049207A (zh) * 2012-12-27 2013-04-17 富泰华工业(深圳)有限公司 手写输入识别系统及方法
US20130229341A1 (en) * 2012-03-02 2013-09-05 Casio Computer Co., Ltd. Handwriting input device and computer-readable medium

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362913B2 (ja) * 1993-05-27 2003-01-07 松下電器産業株式会社 手書き文字入力装置
JPH10171589A (ja) * 1996-12-09 1998-06-26 Hitachi Ltd 手書き文字入出力方法
JP2000123114A (ja) * 1998-10-15 2000-04-28 Casio Comput Co Ltd 手書き文字入力装置及び記憶媒体
JP4441966B2 (ja) * 1999-12-21 2010-03-31 富士通株式会社 手書き文字入力装置及びそれを実現するためのプログラムを記録した記録媒体
US6664991B1 (en) * 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
ATE454657T1 (de) * 2001-05-31 2010-01-15 Empower Technologies Inc System und verfahren zur dateneingabe in ein datenverarbeitungsgerät auf pen-basis
US7062090B2 (en) * 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
AU2003900865A0 (en) * 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPW010)
US20050175242A1 (en) * 2003-04-24 2005-08-11 Fujitsu Limited Online handwritten character input device and method
US7298904B2 (en) * 2004-01-14 2007-11-20 International Business Machines Corporation Method and apparatus for scaling handwritten character input for handwriting recognition
FR2880709B1 (fr) 2005-01-11 2014-04-25 Vision Objects Procede de recherche, reconnaissance et localisation dans l'encre, dispositif, programme et langage correspondants
US20060284851A1 (en) 2005-06-15 2006-12-21 Pittman John S Programmable orientation handwriting recognition system and method
JP2008204446A (ja) * 2007-01-26 2008-09-04 National Institute Of Advanced Industrial & Technology ソースファイル編集システム
US8116570B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation User interface for providing digital ink input and correcting recognition errors
US8315482B2 (en) 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8036468B2 (en) * 2007-12-24 2011-10-11 Microsoft Corporation Invariant visual scene and object recognition
JP2013214187A (ja) * 2012-04-02 2013-10-17 Sharp Corp 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体
US10162809B2 (en) * 2013-10-11 2018-12-25 Conduent Business Services, Llc Method and apparatus for customized handwriting entry zones
JP2015115682A (ja) 2013-12-10 2015-06-22 セイコーエプソン株式会社 画像表示装置、プロジェクター、および画像表示装置の制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030038788A1 (en) * 2001-08-22 2003-02-27 Pierre Demartines Automatically scrolling handwritten input user interface for personal digital assistants and the like
CN1458564A (zh) * 2002-05-14 2003-11-26 微软公司 随处写工具
CN1856796A (zh) * 2003-11-10 2006-11-01 微软公司 框式和行式输入屏面
US20090161958A1 (en) * 2007-12-21 2009-06-25 Microsoft Corporation Inline handwriting recognition and correction
CN103034437A (zh) * 2011-09-29 2013-04-10 三星电子株式会社 在便携式装置中提供用户接口的方法和设备
US20130229341A1 (en) * 2012-03-02 2013-09-05 Casio Computer Co., Ltd. Handwriting input device and computer-readable medium
CN102903136A (zh) * 2012-09-28 2013-01-30 王平 一种手写笔迹电子化方法和系统
CN103049207A (zh) * 2012-12-27 2013-04-17 富泰华工业(深圳)有限公司 手写输入识别系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860157A (zh) * 2019-11-12 2021-05-28 广州视源电子科技股份有限公司 显示元素调整方法、装置、设备及存储介质
CN112860157B (zh) * 2019-11-12 2022-06-24 广州视源电子科技股份有限公司 显示元素调整方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2018530051A (ja) 2018-10-11
WO2017032458A1 (en) 2017-03-02
EP3341827B1 (en) 2021-03-03
KR20180077152A (ko) 2018-07-06
US10416877B2 (en) 2019-09-17
US20170060406A1 (en) 2017-03-02
CN108351746B (zh) 2021-07-09
EP3341827A1 (en) 2018-07-04
KR102381801B1 (ko) 2022-03-31
JP6895950B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
CN108351746A (zh) 引导手写输入的系统和方法
US9965175B2 (en) System and method of digital note taking
JP6840132B2 (ja) デジタルノートテイキングのシステムおよび方法
Damaceno et al. Mobile device accessibility for the visually impaired: problems mapping and recommendations
EP3384372B1 (en) Apparatus and method for note taking with gestures
US9836192B2 (en) Identifying and displaying overlay markers for voice command user interface
US10417309B2 (en) Facilitating active reading of digital documents
US7818691B2 (en) Zeroclick
WO2021021624A1 (en) Technologies for content analysis
CN108700994A (zh) 用于数字墨水交互性的系统和方法
CN108369484A (zh) 引导手写图输入的系统和方法
KR20120010145A (ko) 정보 처리 장치, 컴퓨터 구현 방법 및 컴퓨터 판독 가능 기억 매체
CN103870192A (zh) 一种基于触摸屏的输入方法和装置、汉语拼音输入法和系统
CN100390794C (zh) 一种以导航树方式来组织通信设备命令集的方法
US20210081604A1 (en) Systems and methods for macro-mode document editing
US20230401376A1 (en) Systems and methods for macro-mode document editing
Singh GestAnnot: A paper annotation tool for tablet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant