CN108369484B - 引导手写图输入的系统和方法 - Google Patents

引导手写图输入的系统和方法 Download PDF

Info

Publication number
CN108369484B
CN108369484B CN201680074443.2A CN201680074443A CN108369484B CN 108369484 B CN108369484 B CN 108369484B CN 201680074443 A CN201680074443 A CN 201680074443A CN 108369484 B CN108369484 B CN 108369484B
Authority
CN
China
Prior art keywords
text
hand
drawn
input
readable medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680074443.2A
Other languages
English (en)
Other versions
CN108369484A (zh
Inventor
罗宾·梅利南
罗曼·贝纳尔维茨
克莱尔·西多里
法比恩·里克
尼古拉斯·鲁西内
埃尔万·热斯坦
安东尼·劳伦斯
阿内·博诺
哈奥拉·埃拉古尼
西里尔·塞洛维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxwell AG
Original Assignee
Maxwell AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxwell AG filed Critical Maxwell AG
Publication of CN108369484A publication Critical patent/CN108369484A/zh
Application granted granted Critical
Publication of CN108369484B publication Critical patent/CN108369484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/387—Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于在计算设备上引导手绘包括文本和非文本要素在内的图的系统，计算设备包括处理器和用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，至少一个非暂时性计算机可读介质被配置为使得在计算设备的交互式显示器上显示与所显示的手写图输入的至少一个图要素相关联的引导要素，该引导要素被配置成以识别形式对所述至少一个图要素的描绘。

Description

引导手写图输入的系统和方法
相关申请的交叉引用
本申请要求于2015年10月19日提交的欧洲申请No.15290270.6 和于2015年12月1日提交的、要求了欧洲申请No.15290270.6的优先权的美国申请No.14/955,198的优先权，其全部内容通过引用合并于此。
技术领域
本公开总体涉及能够识别各种图形和文本的用户输入手写的计算设备接口的领域。具体地，本公开提供了用于引导图要素的手绘输入以产生数字图文档以及与该文档的交互的系统和方法。
背景技术
计算设备在日常生活中不断变得越来越普遍。它们表现为如下形式：台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、全球定位系统(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。此外，计算设备被包括到车辆和设备(比如，汽车、卡车、农场设备、制造设备、建筑环境控制(例如，照明、HVAC)以及家用和商用电器)中。
计算设备通常由至少一个处理元件(比如，中央处理单元(CPU))、某种形式的存储器以及输出和输出设备组成。各种计算设备及它们的后续使用需要各种接口和输入设备。一个这样的输入设备是触敏表面 (比如，触摸屏或触摸板)，其中通过用户手指或工具(比如，笔或触写笔)和触敏表面之间的接触来接收用户输入。另一输入设备是感测用户在输入表面上做出的手势的输入表面。另一输入设备是位置检测系统，其检测触摸或非触摸交互与非触摸表面的相对位置。这些输入方法中的任何一种都可以普遍用于绘画和文本的手写或手绘输入，其中使用手写识别系统或方法来解译该绘画和文本。
手写识别在计算设备中的一个应用是创建在计算设备上手绘的、将被转换为排版版本的图。所述图是说明或示出(各部件的)布局和关系的图。图通常包括具有任意或特定含义的形状以及与这些形状有关系的文本。存在许多类型的图，如流程图、组织结构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔。图通常包括：定义不同类型的图块或容器的形状(例如，椭圆形、矩形、菱形、容器内有容器的嵌套关系)；连接或指定图块之间的关系的不同类型的连接符(例如，直线、曲线、直线箭头、曲线箭头、分支线)；以及容器中包含的、与连接符相关联的、或者在没有相关联的形状或容器的文本块中定义的文本。将图中的形状和文本的基本组件(有容器或无容器的连接)进行组合的这些无数可能变型可能给在计算设备上精确识别作为手绘或手写内容的输入的这些要素带来问题。
图具体用于教育和商业环境中，在该环境中，计算设备的用户例如在讲座或会议期间创建图以获得正在讨论的构思、问题或解决方案。这通常通过用户启动计算设备上的手写绘图或草图应用来完成，手写绘图或草图应用在设备中本地地或者经由设备的通信链路远程地，接收并解译在触敏表面或由相对位置检测系统监控的表面上的手绘输入。
通常，这种手写绘图应用在处理上述绘图的复杂性方面能力限制，并且通常约束用户采取不反映用户原始意图的行为或接受这样的妥协。因此，一些常规的手写绘图应用强制用户导航菜单以选择和绘制形状，并且插入与形状相关的文本。因此，用户无法自然或自由地绘制形状和连接符。其它一些常规的手写绘图应用依赖于用户绘制不同笔划的顺序，从而引导识别解释，符合所期望的行为。例如，用户可能需要先绘制两个块/框，然后才能够定义这些框之间的连接符，或者可能必须先绘制框然后再向其添加文本。然而，这对于用户来说是困难的，因为他们需要学习和实现所需的绘图/书写顺序，而如果不经常使用应用的话这样的顺序可能需要重新学习，并且该顺序是非直观的，由此导致不支持用于快速捕获图的能力。例如，用户可能希望随身携带便携式计算设备(例如，平板电脑)以准备演示，或者用户可能希望在计算设备(比如，具有触摸屏的膝上型电脑)上记下他们的老师在课堂上绘制的流程图，因此用户需要能够绘制具有混合内容的清晰的图，而无需成为专用、麻烦的软件的专家。
使手写绘图应用变得更智能，可以有助于支持用户。也就是说，应用能够区分出不同的形状(例如，区分块和连接符)以及区分出形状和文本，从而在创建图时为用户提供更多的自由。即使在常规的应用中，手绘形状和手写文字也能很好地被识别，同时给用户提供了适当的创建自由，但是通常，改变所绘制的图的能力(例如，编辑图的要素以添加、省略或替代要素)受限于仅某些操作是可用的并且仅对排版版本的图可用，而对手写输入(所谓的数字墨水)不可用，和/ 或需要学习手势或经由如上所述的菜单进行选择。
通常，在使用绘图应用时，用户希望在书写期间获得对形状和文本的识别情况的实时反馈。一些常规应用向用户提供这样的反馈机制，但是这些反馈机制通常效率不高或者设计繁琐。例如，可用的绘图应用通过自动(例如，即时)排版手写输入来提供反馈。然而，这些系统通常会分散用户对输入流的注意力，因为在进行绘图之前，用户必须等待排版执行。其它可用的手写笔记记录应用通过在输入期间列出识别候选项等来提供反馈。这也很分散用户的注意力。
发明内容
在下文中描述的本公开的示例提供了用于在计算设备上通过手写输入来实现创建图的系统、方法和计算机程序产品。该计算机程序产品具有非暂时性计算机可读介质，非暂时性计算机可读介质体现有适合于被执行以实现方法的计算机可读程序代码。
计算设备连接到具有输入表面的形式的输入设备。用户能够通过使用他或她的手指或工具(比如，触写笔或笔)向输入表面施加压力或在输入表面上做手势来提供输入。本系统和方法监测输入笔划。
计算设备具有处理器以及用于在处理器的控制下检测和识别手写输入的至少一个应用。所述至少一个系统应用被配置为：使得在所述计算设备的交互式显示器上显示与所显示的手写图输入的至少一个图要素相关联的引导要素，所述引导要素被配置成以识别形式对所述至少一个图要素的描绘。
所公开的系统和方法的另一方面提供包括动态提示项的引导要素，所述动态提示项在输入所述手写时动态地显示所述至少一个图要素描绘。所述动态提示项包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
所公开的系统和方法的另一方面提供了以图标形式显示对非文本要素的描绘。非文本要素可以是图的形状要素，其中图标描绘形状。
所公开的系统和方法的另一方面提供了以排版墨水显示对文本要素的描绘。
在一些实现中，本公开提供了一种用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的系统。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述至少一个非暂时性计算机可读介质被配置为使得在所述计算设备的交互式显示器上显示与所显示的手写图输入的至少一个图要素相关联的引导要素。所述引导要素被配置成以识别形式对所述至少一个图要素进行描绘。
所述引导要素可以包括动态提示项，所述动态提示项在输入所述手写时动态地显示所述至少一个图要素描绘。
所述动态提示项可以包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质可以被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
所述至少一个非暂时性计算机可读介质可以被配置为以图标形式显示对非文本要素的描绘。
非文本要素可以是图的形状要素，其中图标描绘形状。
所述至少一个非暂时性计算机可读介质可以被配置为以排版墨水显示对文本要素的描绘。
在一些实现中，本公开提供了一种用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括在所述计算设备的交互式显示器上显示与所显示的手写图输入的至少一个图要素相关联的引导要素，所述引导要素被配置成以识别形式对所述图要素进行描绘。
所述引导要素可以包括动态提示项，所述动态提示项在输入所述手写时动态地显示所述至少一个图要素描绘。
所述动态提示项可以包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质可以被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
所述方法可以包括以图标形式显示对非文本要素的描绘。
非文本要素可以是图的形状要素，其中图标描绘形状。
所述方法可以包括以排版墨水显示对文本要素的描绘。
在一些实现中，本公开提供了一种其中体现有计算机可读程序代码的非暂时性计算机可读介质。所述计算机可读程序代码适用于被执行以实现用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括在所述计算设备的交互式显示器上显示与所显示的手写图输入的至少一个图要素相关联的引导要素，所述引导要素被配置成以识别形式对所述图要素进行描绘。
所述引导要素可以包括动态提示项，所述动态提示项在输入所述手写时动态地显示所述至少一个图要素描绘。
所述动态提示项可以包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
所述方法可以包括以图标形式显示对非文本要素的描绘。
非文本要素可以是图的形状要素，其中图标描绘形状。
所述方法可以包括以排版墨水显示对文本要素的描绘。
附图说明
根据以下结合附图对本系统和方法的实施例的详细描述，将更全面地理解本系统和方法。在附图中，相似的附图标记表示相同的要素。附图中：
图1示出了根据本系统和方法的示例的计算设备的框图；
图2示出了根据本系统和方法的示例的手写识别系统的框图；
图3示出了图示根据本系统和方法的示例的图2的手写识别系统的细节的框图；
图4示出了描绘引导要素的示例手绘图；
图5示出了具有引导要素的关联组件的示例图中的第一手绘文本要素的输入；
图6示出了具有引导要素的关联组件的示例图中的手绘形状要素的后续输入；
图7示出了描绘对文本要素的选择的、具有引导要素的关联组件的图6的图状态；
图8示出了具有引导要素的关联组件的示例图中的与图7的文本要素相关联的手绘形状要素的后续输入；
图9示出了具有引导要素的关联组件的示例图中的手绘形状要素的后续输入；
图10示出了具有引导要素的关联组件的示例图中的手绘要素的备选(针对图9的输入的)后续输入；
图11示出了描绘了根据对针对要素的引导要素的组件的选择而显示的菜单的图10的图状态；
图12示出了描绘了根据对针对要素的引导要素的另一组件的选择而显示的另一菜单的图10的图状态；
图13示出了描绘对图8和图9的组合形状要素输入的选择的、具有引导要素的关联组件的图9的图状态；
图14示出了描绘了根据对针对组合形状要素的引导要素的组件的选择而显示的菜单的图13的图状态；
图15示出了描绘了根据对针对组合形状要素的引导要素的另一组件的选择而显示的另一菜单的图13的图状态；
图16示出了具有引导要素的关联组件的示例图中的另一手绘文本要素的输入；
图17示出了具有引导要素的关联组件的示例图中的另一手绘形状和文本要素的备选(针对图16的输入的)后续输入；
图18示出了描绘了根据对针对形状要素的引导要素的组件的选择而显示的菜单的图17的图状态；
图19示出了具有引导要素的关联组件的示例图中的手绘形状要素的后续输入；
图20示出了描绘对图16和图19的形状和文本要素输入的选择的、具有引导要素的关联组件的图19的图状态；
图21A示出了描绘对图16的文本要素输入的选择的、具有引导要素的关联组件的图16的图状态；
图21B示出了描绘对手绘形状要素的选择的示例图中的、具有引导要素的关联组件的手绘形状要素的备选(针对图16和19的输入的) 后续输入；
图22示出了以排版墨水显示的示例图；
图23示出了描绘具有引导要素的关联组件的对图16和图19的形状和文本要素输入的选择的图19的图状态；
图24示出了描绘了根据对针对所选择的要素的引导要素的组件的选择而显示的菜单的图23的图状态；
图25示出了描绘了根据对针对所选择的要素的引导要素的另一组件的选择而显示的另一菜单的图23的图状态；
图26示出了描绘了根据对针对所选择的要素的引导要素的另一组件的选择而显示的另一菜单的图23的图状态；
图27示出了描绘对形状和文本要素的多重选择的、具有引导要素的关联组件的图22的图状态；
图28示出了描绘了根据对针对多重选择的要素的引导要素的组件的选择而显示的菜单的图27的图状态；
图29示出了具有引导要素的关联组件的图22的示例图中的手绘自由形式形状要素的另一输入；
图30示出了描绘对自由形式要素的选择的、具有引导要素的关联组件的图29的图状态；以及
图31示出了描绘了根据对针对所选择的自由形式要素的引导要素的组件的选择而显示的菜单的图30的图状态。
具体实施方式
在以下详细描述中，以示例的方式阐述了大量的特定细节，以提供对相关教导的完全理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实践本教导。在其它情况下，为了避免不必要地模糊本教导的方面，仅在相对较高的层面上描述了公知的方法、过程、组件和/或电路，而没有详细地描述。
对于方向特征(比如，向上、向下、上方、下方、最低、最高、水平、竖直等)的引用和讨论是相对于如应用于在其上进行要被识别的输入的输入表面的笛卡儿坐标系进行的。此外，在查看附图时，诸如左和右之类术语是与读者的参照系有关的。此外，在本描述中使用的术语“文本”应被理解为包括在书面文本中使用的任何书面语言形式的所有字母数字字符及其字符串和常见的非字母数字字符(例如，符号)。此外，本描述中的术语“非文本”被理解为包括在非文本上下文中使用的自由形式的手写或手绘内容和呈现的文本和图像数据、以及非字母数字字符及其字符串、和字母数字字符及其字符串。此外，这些附图中所示的示例处于从左到右书写的语言环境中，因此对位置的任何引用都可以适用于具有不同方向格式的书面语言。
本文中描述的各种技术通常涉及以保持输入的内容风格的同时允许将该内容转换为忠实的排版或美化版本的方式、在便携式和非便携式计算设备上捕获、处理和管理手绘和手写内容。本文中所述的系统和方法可以对经由连接到计算设备的或者计算设备中的输入表面 (例如，触敏屏幕)、或经由连接到计算设备的输入设备(例如，数字笔或鼠标)、或经由由位置检测系统监控的表面而输入到计算设备的用户的自然书写和绘画风格进行识别。尽管关于使用所谓的在线识别技术识别手写输入来描述了各种示例，但是应该理解的是，也可以应用其它形式的输入识别，比如识别图像而不是识别数字墨水的离线识别。本文中可互换地使用术语手绘和手写来定义用户通过使用他/她们的手直接在数字介质或数字连接的介质上操作或经由输入工具(比如，手持式触写笔)创建的数字内容。本文中使用术语“手”来提供对输入技术的简要描述，然而，使用用户身体的其它部位(比如，脚、嘴和眼)来进行相似输入也被包括在该定义中。
图1示出了示例计算设备100的框图。计算设备可以是台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、数字手表、交互式白板、全球定位系统(GPS) 单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。计算设备100包括如下组件：至少一个处理元件、某种形式的存储器、以及输入和/或输出(I/O)设备。这些组件通过例如连接器、线路、总线、电缆、缓冲器、电磁链路、网络、调制解调器、换能器、IR端口、天线或本领域普通技术人员已知的其它设备实现的输入和输出来彼此通信。
计算设备100具有用于从计算设备输出数据(例如，图像、文本和视频)的至少一个显示器102。显示器102可以使用LCD、等离子体、LED、iOLED、CRT或本领域普通技术人员已知的为触敏的或非触敏的任何其它适当的技术。显示器102可以与至少一个输入表面104 位于同一位置或与至少一个输入表面104远程连接。输入表面104可以采用如下技术来，以触敏表面或接近敏感表面形式接收用户输入：例如，电阻式、表面声波、电容式、红外网格、红外丙烯酸投影、光学成像、色散信号技术、声学脉冲识别或本领域普通技术人员已知的任何其它适当技术。输入表面104可以由清楚地标识其分界线的永久性的或视频产生的边界限定。输入表面104可以是由位置检测系统监控的非触敏表面。
除输入表面104之外，计算设备100可以包括经由本地接口通信地耦接的一个或多个附加I/O设备(或外围设备)。附加I/O设备可以包括输入设备，例如键盘、鼠标、扫描仪、麦克风、触摸板、条形码读取器、激光读取器、射频设备读取器、或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括输出设备，例如打印机、条形码打印机或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括传送输入和输出两者的通信设备，例如调制器/解调器(调制解调器；用于访问另一设备、系统或网络)、射频(RF)收发机或其它收发机、电话接口、桥接器、路由器或本领域普通技术人员已知的任何其它适当技术。本地接口可以具有用于实现通信的附加元件，比如控制器、缓冲器(高速缓存)、驱动器、中继器和接收机，为了简单起见，省略了这些本领域技术人员熟知的元件。此外，本地接口可以包括地址、控制和/或数据连接，以实现其它计算机组件之间的适当通信。
计算设备100还包括处理器106，处理器106是用于执行软件(尤其是存储器108中存储的软件)的硬件设备。处理器可以是任何定制的或商业上可获得的通用处理器、中央处理单元(CPU)、基于半导体的微处理器(微芯片或芯片组形式的)、宏处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA) 或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、状态机或被设计用于执行本领域普通技术人员已知的软件指令的任何组合。合适的商业上可获得的微处理器的示例如下：来自Hewlett-Packard公司的PA-RISC系列微处理器、来自Intel公司的80x86或Pentium系列微处理器、来自IBM的PowerPC微处理器、来自Sun Microsystems 有限责任公司的Sparc微处理器、来自摩托罗拉公司的68xxx系列微处理器、DSP微处理器或ARM微处理器。
存储器108可以包括如下项中的任何一个或组合：易失性存储元件(例如，随机存取存储器(RAM，比如DRAM、SRAM或SDRAM) 和非易失性存储元件(例如，ROM、EPROM、闪存PROM、EEPROM、硬盘、磁盘或光盘、存储寄存器、CD-ROM、WORM、DVD、廉价磁盘冗余阵列(RAID)、另一直接存取存储设备(DASD))。此外，存储器108可以包含电子、磁性、光学和/或其它类型的存储介质。存储器108可以具有分布式架构，在该分布式架构中各种组件彼此远离，但仍可以由处理器106访问。此外，存储器108可以远离所述设备(比如，在服务器或基于云的系统处)，但是存储器108可以由计算设备 100远程访问。存储器108与处理器106耦接，因此处理器106可以从存储器108读取信息和向存储器108写入信息。在备选方案中，存储器108可以集成到处理器106。在另一示例中，处理器106和存储器108两者均可以驻留在单个ASIC或其它集成电路中。
存储器108中的软件包括操作系统110和应用112。可选地，软件还包括手写识别(HWR)系统114，手写识别(HWR)系统114可以各自包括一个或多个单独的计算机程序。这些程序中的每一个均具有用于实现逻辑功能的可执行指令的有序列表。操作系统110控制应用112(和HWR系统114)的执行。操作系统110可以是任何专有操作系统或商业上可获得的操作系统，例如WEBOS、
Figure BDA0001700092540000111
MAC和
Figure BDA0001700092540000112
LINUX和ANDROID。应该理解，也可以利用其它操作系统。
应用112包括与对用户输入的手绘形状和手写文本进行的检测、管理和处理相关的一个或多个处理要素(稍后详细讨论)。软件还可以包括与手写识别、不同的功能或这两者相关的一个或多个其它应用。其它应用的一些示例包括文本编辑器、电话拨号器、联系人目录、即时消息发送设施、计算机辅助设计(CAD)程序、电子邮件程序、文字处理程序、web浏览器和相机。应用112和其它应用包括在制造时与计算设备100一起提供的程序，并且还可以包括在制造之后被上传到或下载到计算设备100中的程序。
本系统和方法利用HWR系统114来识别对设备100的手写输入，包括手写文本和手绘形状(例如，非文本)具有支持和兼容能力的HWR 系统114可以是源程序、可执行程序(目标代码)、脚本、应用或具有要被执行的指令集的任何其它实体。在源程序的情况下，所述程序需要经由可以包括或可以不包括在存储器内的编译器、汇编器、解释器等来翻译，以便结合操作系统正确地操作。此外，具有支持和兼容能力的手写识别系统可以被写为：(a)面向对象的编程语言，其具有数据和方法的类；(b)程序编程语言，其具有例程、子例程和/或函数，例如但不限于C、C++、Pascal、Basic、Fortran、Cobol、Perl、Java、 Objective C、Swift和Ada；或(c)函数式编程语言，例如但不限于 Hope、Rex、Common Lisp、Scheme、Clojure、Racket、Erlang、OCaml、 Haskell、Prolog和F#。备选地，HWR系统114可以是用于与远离所述设备的(比如，服务器或基于云的系统处)、但是可以使用计算设备 100的前述通信I/O设备通过通信链路由计算设备100来远程访问的手写识别系统进行通信的方法和系统。此外，应用112和HWR系统 114可以一起操作访问存储器108中存储的并在存储器108中处理的信息，例如通过每个系统、或者被组合为单个应用。
在输入表面104上输入的或经由输入表面104输入的笔划由处理器106处理为数字墨水。用户可以用手指或适合于与输入表面一起使用的某种工具(比如，笔或触写笔)来输入笔划。如果正在使用感测输入表面104附近的运动的技术，则用户还可以通过在输入表面104 上方做出手势来输入笔划，或者利用计算设备100的外围设备(比如，鼠标或操纵杆)来输入笔划。笔划是至少由笔划开始位置、笔划终止位置和连接笔划开始位置和笔划终止位置的路径来表征的。由于不同的用户自然书写相同对象(例如，字母、形状或符号)会具有轻微变化，因此HWR系统适应可以在输入每个对象的同时对象被识别为正确或预期的对象的各种方式。
图2是本地(即，加载在设备100上)或远程(即，可由设备100 远程访问)形式的HWR系统114的示例的示意图。HWR系统114包括诸如预处理116、识别118和输出120之类的阶段。预处理阶段116 处理数字墨水，以在识别阶段118期间实现更高的精确度并减少处理时间。该预处理可以包括：通过应用大小归一化和/或诸如B样条逼近的方法来对连接笔划开始位置和笔划终止位置的路径进行归一化，以平滑输入。然后，将预处理后的笔划传送到识别阶段118，识别阶段 118处理该预处理后的笔划以识别由此形成的对象。然后，将被识别的对象输出120到存储器108和显示器102，作为数字墨水或者手写要素/字符和手绘形状的排版墨水版本。
识别阶段118可以包括不同的处理要素或专家。图3是示出了识别阶段118的示意细节的图2的示例的示意图。示出了分割专家122、识别专家124和语言专家126这三个专家，这三个专家通过动态编程进行协作以产生输出120。
分割专家122定义不同的方式来将输入笔划分割成各个要素假设 (例如，字母数字字符和数学运算符、文本字符、独特的形状或子表达式)，以便形成表示(例如，词语、数学公式或形状组)。例如，分割专家122可以通过对原始输入的连贯笔划进行分组来形成要素假设以获得分割图，在该分割图中每个节点与至少一个要素假设相对应，并且要素之间的邻接约束由节点连接处理。备选地，分割专家122可以针对不同的输入类型(比如，文本、绘画、方程式和音乐符号)而采用单独的专家。
识别专家124提供由分类器128提取的特征的分类，并且针对分割图的每个节点输出具有可能性或识别分数的要素候选项列表。存在可以用于解决该识别任务的许多类型的分类器，例如支持向量机、隐马尔可夫模型或神经网络(比如，多层感知器、深度卷积或递归神经网络)。选择取决于任务所需的复杂度、精确度和速度。
语言专家126使用语言模型(例如，语法或语义)为分割图中的不同路径产生语言学含义。专家126根据语言学信息130来检查由其它专家建议的候选项。语言学信息130可以包括词典、正则表达式等。语言专家126旨在找到最优识别路径。在一个示例中，语言专家126 通过探索语言模型(比如，表示语言学信息130的内容的最终状态自动机(决定论FSA))来实现该目的。除了词典约束之外，语言专家 126可以使用统计信息建模来确定给定的要素序列出现在指定语言中或者被特定用户使用的频度如何，以评估分段图的给定路径的解释的语言学似然性。
由本系统和方法提供的应用112允许用户(比如，学生、学术和工作专业人员)创建手写图，并且使用HWR系统114如实地识别那些图，而与所创建的图的类型(例如，流程图、组织架构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔)无关。该列表是非穷尽的，其它类型或非类型的图也是可能的。例如，手绘图的不同要素可以分别被识别，并且还识别这些要素之间的任何空间和上下文关系，而不考虑图的类型。如前所述，这些图表要素包括形状和文本要素。形状或绘画要素是定义线性或非线性配置的图形或几何形态的要素，包括容器、连接符和自由形式的绘画。文本要素是包含文本字符、并且包括文本块和针对文本块和形状要素的标签在内的要素。文本块和标签都可以包含沿一条或多条竖直线提供的一个或多个字符、单词、句子或段落的文本。文本块可以被容器包含(内部文本块)，也可以设置在容器外部(外部文本块)。外部文本块可以与图的容器或其它要素无关，也可以与某些其它图要素直接相关。
此外，本系统和方法所提供的应用112允许用户像在纸上那样手绘他们想到的内容(自由地，不会被技术拖慢)，同时受益于数字工具的能力。示例使用包括：
·创建：对形状和文本进行的高级识别和区分允许用户画出形状和书写文本，而无需在绘制形状和书写文本之间切换时选择或使用预先指派的工具，
·编辑：对形状和文本特征的识别使得能够对形状进行操纵以改变连接或形状类型，以及处理编辑手势，
·排版：当创建图时，向用户提供选项以用于立即识别反馈。
现在详细描述本系统和方法的这些和其它特征。
通过检测和区分形状和文本的不同手写对象的输入，应用112利用合适的识别技术来指导HWR系统114对不同对象类型的处理，例如，使用形状语言模型来处理所检测到的形状的笔划，以及使用文本语言模型来处理所检测到的文本的笔划。当手绘不同的对象时，本系统和方法使用这种区分来为用户提供实时(即，实质上实时)的识别反馈。然而，由于许多手写形状和文本字符可以共享共同的特征(例如，圆形和字母“o”、箭头头部和字母“v”)，该引导还向用户提供校正错误的区分决定的能力，稍后将详细描述。
通过消歧，包含文本和非文本(即，形状)的混合内容在内的手写输入被识别，并且自动地(例如，即时(on-the-fly)地)或根据需要转换为美化的数字墨水和排版墨水。数字墨水通过使手写输入成为数字图像格式而形成。美化(数字)墨水通过使数字墨水比原始手写显得更整齐划一、同时保持相似的式样或观感而形成。排版墨水通过将数字墨水转换成排版或字体化(fontified)的图像格式而形成。美化的排版墨水通过使排版墨水在输入位置和样式上发生改变而形成。 HWR系统114的预处理阶段116被配置为执行消歧处理。预处理器 116通过将数字墨水的要素分类为不同的类别或种类(非文本(即，形状)、文本、以及形状和文本的混合)来做到这一点。这通过使用简单的启发法(例如，阈值、书写速度、以及笔划之间的时间)或者(备选地或附加地)如在以下专利中描述的更复杂的启发法(例如，将笔画分组以与空间和时间阈值以及语言模型信息进行比较)来完成，所述专利为：以本申请人和受让人的名义提交的、题为“System and Method of Handwriting Recognition inDiagrams”的欧洲专利申请No. 15290271.4；以本申请人和受让人的名义与本申请同时提交的、题为“System and Method of Handwriting Recognition in Diagrams”的美国专利申请，这两个专利的全部内容以引用方式并入本文中。消歧系统和方法可以对已经输入的手写执行，或者在进行手写输入时逐步地执行。然后，将分类后的数字墨水解析到识别器118，以根据分类进行合适的识别处理。
例如，当处理被分类为文本的数字墨水时，识别器118采用分割专家122来分割文本的各个笔划以确定分割图，采用识别专家124来使用分类器128向图节点指派概率，并且采用语言专家126使用例如语言学信息130的基于文本的词典来找到通过图的最佳路径。另一方面，当处理被分类为非文本的数字墨水时，识别器118采用分割专家 122来分割形状的笔划，采用识别专家124使用分类器128确定分割图，以及采用语言专家126使用语言学信息130的基于形状的词典找到通过图的最佳路径。混合内容分类被视为“垃圾”，并且在被解析到识别器118时将导致低概率的识别。被解析到识别器、并且由于例如不属于词典形状而不被识别的形状被视为涂鸦，这是无法识别的内容 (稍后介绍)。
在编辑时，可以对数字墨水和排版墨水的非文本和文本执行手写操作(比如，覆写、擦除和布局控制)。例如，覆写包括将形状从一种类型或形式改变为另一种类型或形式(例如，通过在矩形上手绘椭圆来将矩形变为椭圆形)、在连接符上添加装饰、以及围绕文本创建形状。可以对形状和文本使用已知的手写手势(例如，划掉或删去手势)来执行擦除。可以执行布局控制来移动形状和调整形状大小，将图形和文本彼此对齐或将图形和文本彼此分配。通过消歧处理来增强对这些操作中的至少一些操作以及其它操作的检测。
利用这种分类后的手绘输入，本系统和方法提供了用于引导用户手写输入的机制，以优化识别和数字图创建。这种机制还可以用于向用户提供实时的识别反馈，这不会分散手写输入的注意力，而是增强手写输入。这通过提供包括动态提示项的引导要素来实现。提示项用于动态地将对象类别识别(例如，非文本或文本，以及对于形状，所识别的形状的指示，对于文本，所识别的文本的最后特定数量的字符/ 符号/单词)显示为排版墨水。引导要素还可以包括动态标尺，该动态标尺被配置为提供手写的水平划界，并且随着手写笔划和/或在提示项中呈现排版墨水而动态地增长。现在关于图4至图31所示的示例手绘图来描述本系统和方法的引导要素。
图4示出了例如在计算设备100的用户接口104处经由应用112 的UI 402输入的示例手绘图400。对UI 402及其任何组件的描述仅仅是示例，并且其它形式也是可能的。所输入的图400包括由应用112 显示为数字墨水对象的若干个图要素，该数字墨水对象包括：包含文本的容器404、包含文本410的容器408、连接容器404和408的连接符412、以及包含文本416的容器414。如前所述，检测和识别内容和要素类型，使得应用112基于它们的类型(例如，文本、非文本和垃圾(或无法识别的非文本))处理图要素。针对容器408和在其上显示的包含文本410示出了引导要素4000，引导要素4000与容器408略有重叠。引导要素的这种呈现和定位仅仅是示例，并且不同的呈现和/ 或定位是可能的，优选地，进行约束，使得在引导要素所属的图要素附近显示，具有最不分散注意力的外观显示，也最不影响自由手写输入，如下所述。
引导要素4000被显示为具有提示项和控制组件，提示项具有引导组件，该引导组件适用于引导要素所属的图要素的检测和识别内容。例如，在图4中，引导要素4000具有包括形状组件4004和文本组件 4006在内的提示项4002以及控制组件4008。
形状组件4004被显示为描绘由HWR系统114识别的容器404的形状(例如，矩形)的表示的图标或标签。然而，也可以显示通用形状图标。以这种方式，无需例如通过菜单或手势选择将数字墨水图中的形状部分或全部转换成排版墨水，就能向用户提供识别反馈，通知他们已经检测到手绘形状，并且已经识别出形状的类型。因此，用户能够继续创建或编辑数字墨水形式的图，而且除非需要，都不必执行排版。
文本组件4006被显示为由HWR系统114根据手写文本410识别的单个水平行的排版墨水文本。这样，无需将数字墨水图中的文本部分或全部转换成排版墨水，就能向用户提供识别反馈，通知他们已经检测到手写文本，并且已经识别出文本内容。
控制组件4008被显示为提供对应用112的控制特征的访问的交互式控制要素或“更多”图标。以这种方式，与通常的机制(比如，应用的顶部栏)相比，控制要素可更靠近内容地被访问。
为了将引导要素定位在其所属的图要素的附近，本系统和方法可以参照显示器界面下的对齐网格来进行，该网格还可以用于定义图要素本身的一个或多个范围和定位。图5至图28示出了关于图400的形状和文本的手写输入的序列的示例的引导要素4000的不同显示格式以及对引导要素4000执行的交互。
图5示出了作为图400的第一手绘要素的文本要素406的输入。在检测到输入开始和在接口104上呈现对应的数字墨水时，本系统和方法开始将引导要素4000显示为文本提示项4010，该文本提示项4010 具有与文本406的手写字符邻接的且在该手写字符上方的水平线或条 4012(例如，如由对齐网格设置的)、包括在水平条4012上方的根据文本406识别的排版墨水文本4014(即，单词“Ok”)在内的文本组件4006。水平条4012被配置为随着输入文本字符并且在文本提示项 4010中显示所识别的内容而动态地增长。然而，该增长是有限的，并且可以进行诸如自动滚动到已经显示的识别文本的文本提示项左侧的效果，以确保新识别的内容被显示在文本提示项4010中。
因此，在输入文本期间通过文本提示项4010提供大致实时的内容识别反馈。还在文本提示项4010中、在文本组件4006的右侧和在水平条4012上方显示有控制要素4008。然而，为了在内容输入期间不分散用户的注意力，控制图标可以仅在不执行输入时显示，例如，在书写期间“更多”图标被保持不可见，并且在书写之后(即，在检测到停止输入事件(例如，手指/笔向上事件)，再经过预定义时间段 (例如，大约半秒至大约一秒))之后，“更多”图标渐变为完全可见。
此外，为了不分散用户输入的注意力，以浅淡色呈现来显示文本提示项4010(和“更多”图标4008)，例如以淡蓝色或至少用于图要素数字和/或排版墨水显示的不同深浅(shade)的颜色(即在可见和褪色之间)来显示。以这种方式，引导要素显而易见却又不显眼，以便引导手写输入而不会分散图创建本身的注意力。此外，引导要素的显示一直保持，直到应用112接收到不同的输入为止，或在输入停止事件之后的预定义时间段(例如，大约半秒至大约1秒)结束、而且在此期间没有检测到针对引导要素所属的要素的其它输入，此时将引导要素褪色成不可见。
图6示出了被绘制为包含已输入的文本406在内的容器的形状要素404的后续输入。此时，由于输入414和416的相对位置和特性，形状要素414可以被识别为包含所识别的单词416的容器。容器和其包含的文本彼此相关联，以便对这些要素之一执行的一些动作会使得另一要素有反应。例如，当用户选择并移动容器时，所包含的文本将随容器一起移动，并且当用户选择并放大或添加文本时，调整容器的大小以容纳更大的文本大小或块。
在检测到输入开始和在接口104上呈现对应的数字墨水时，本系统和方法例如省略显示文本提示项4010(以及控制要素4008)，并且发起在手绘形状404上方(例如，如由对齐网格设置)将引导要素4000 显示为形状提示项4016，形状提示项4016具有包括根据形状404而识别出的圆形图形4018在内的形状组件4002。因此，在形状输入处提供大致实时的内容识别反馈。为了不分散用户输入的注意力，以与文本提示项4010相同或相似的浅淡色呈现来显示形状提示项4016，并且以类似的方式保持显示。
图7示出了图6的容器404和包含文本406，其中从显示中省略了形状提示项4016、并且文本提示项4010被重新显示由此与圆形404 部分重叠。由于检测到对数字墨水文本406的选择手势(比如，诸如单击之类的单点手势、或诸如双击之类的多点手势)，所以进行该重新显示。因此，例如，用户能够与手绘内容交互以确定内容的识别状态。针对所选择的内容的引导要素的显示一直保持，直到应用112接收到新的输入(例如，手写或手势)或在预定义时间段内(例如，大约5 秒)没有检测到与引导要素或引导要素所属的内容的交互为止，此时将引导要素褪色成不可见。
图8示出了在圆形404下方的被绘制为弯曲的线的形状要素412 的部分412a的后续输入。形状要素412是箭头，如在图4中所看到的，箭头被定义为由在一个或两个开口的(例如，V形的)或闭合的(例如，三角形的)“箭头头部”处终止的直的或弯曲的“主干”而形成。部分412a构成箭头412的杆。在检测到输入开始和在接口104上呈现对应的数字墨水时，本系统和方法发起在手绘形状412a旁(例如，如由对齐网格设置)将引导要素4000显示为形状提示项4016，形状提示项4016具有包括根据形状412a而识别出的线形图形4020(即，线)在内的形状组件4002。要注意的是，图8中所述的线形图形是泛化的线；然而，在该示例中，该图形可以是如所识别的弯曲线412a那样的弯曲的线。
此时，由于输入1101和412a的相对位置(例如，应用112使用预先设置的空间间隔阈值，其中线性形状的端部与非线性形状的间隔低于该阈值表示连接关系的高似然性；空间阈值可以被定义为笔划的平均点或重心之间的、以像素为单位的距离，例如，设置为大约5个像素至大约100个像素)和特性(例如，线的一端接近或邻接容器表示连接关系的高似然性；接近被定义为与空间阈值类似的距离范围)，线412a可以被识别为圆形404的连接符。形状对象(比如，容器)和连接到其的连接符彼此相关联，以便对这些要素之一执行的一些动作会使得另一要素有反应。例如，当用户选择并移动容器时，连接符随着容器一起移动。
图9示出了形状要素412的部分412b的后续输入，其被绘制为在线412a中的不接近圆形404的端部处的旋转V形。部分412b构成箭头412的箭头头部。当检测并识别出部分412b是由弯曲线412a和箭头头部412b组成的箭头412的箭头头部时，形状提示项4016中的识别形状图形改变为箭头图形4022，而不需要重新定位形状提示项 4016，但是重新定位也是可能的。要注意的是，图9中所述的图形是泛化的箭头；然而，在该示例中，该图形可以是如所识别的弯曲箭头 412那样的弯曲箭头。
应用112基于概率分数将在后绘制的形状412b和在先绘制的形状412a确定为属于单个形状412。也就是说，箭头412的笔划412a 和412b是在相对较长的时间间隔，比如多于1秒(例如，大于应用 112所使用的预先设置的和可重新设置的时间间隔阈值，其中绘制笔划之间的时间间隔低于该阈值指示笔划是单个形状的一部分的高似然性))内绘制的，使得笔画412a被单独解析到识别器1l8并被识别为弯曲线，如关于图9所述的。然而，通过根据输入笔划的空间和时间分数以及度量或特性计算出的总概率分数，提供了完整的连接符箭头412的正确识别。也就是说，尽管笔划412a和412b为相同对象的一部分的时间分数较低，但是笔划412a和412b为相同的对象的一部分的较高空间分数的组合(如通过由消歧系统和方法执行的分组和特性 (例如，线的端部处的旋转V形)返回的)产生笔划412a和412b属于一个形状的较高的总概率。例如，如果应用112将箭头分类为具有为连接符的较高似然性，则添加到线412a的箭头头部的确定可以用于确认形状要素412的连接符状态。
图10示出了形状要素412的部分412b’的备选输入，其被绘制为与如图9所示的部分412b类似的旋转v形，与如图9所示的部分 412b的不同在于与线412a的端部具有一定距离。在呈现数字墨水时，作为文本提示符4010的引导要素4000被显示为具有文本组件4006，文本组件4006包括根据部分412b’识别出的排版墨水文本4024，即，符号“＞”。由于部分412a和部分412b’之间的相对较大的距离产生了输入412b’属于单独的对象的更高概率分数，因此部分412b’被识别为文本而不是形状412的一部分，由此消歧系统和方法能够将部分 412b’分类为文本而不是非文本。然而，本系统和方法为用户提供了改变这种识别结果的能力，如下所述。
引导要素4000的形状、文本和控制组件中的每一个在引导要素 4000的并发显示(即，如图10中)或在后显示(即，如图7中)模式下均是交互式的。关于引导要素的显示模式(例如，并发或在后)，这种交互性可以通过利用由应用112检测到的对组件的选择手势(比如，诸如单击或长按之类的单点手势)进行选择、并由此实现针对该组件的指派动作来访问。因此，例如，用户能够与手绘内容交互以确定内容的识别状态。图11示出了具有响应于检测到对文本提示项4010 中的识别文本4024的选择手势而显示的具有菜单4026的图10的输入阶段。文本菜单4026具有两个显示区域4026a和4026b。
在菜单区域4026a中，显示了文本识别候选项列表。这些候选项是HWR系统114关于针对部分412b’的识别处理输出的最可能的识别候选项。在图18中，显示了四个最佳候选项，但是可以显示多于或少于四个的候选项。区域4026a中显示的每个候选项都是单独交互式的，其中，通过利用应用112检测到的对候选项的选择手势(比如，诸如单击或长按之类的单点手势)来进行选择、由此将文本提示项 4010中的识别文本4024改变为所选择的候选项、并且当排版部分412b’时显示所选择的候选项。在菜单区域4026b中，显示了手动分类动作，针对该文本菜单所述手动分类动作是“文本到形状”。类似地，区域 4026b的该动作是交互式的，其中利用选择使得识别的文本412b’被重新分类为非文本，并且进行相应的重新识别。在该处理中，消歧系统和方法利用其它已分类的接近形状要素(即，线412a)来重新评价现在分类的形状412b’，以确定形状412b’与那些其它形状要素的分组是否导致形状412b’有可能是更大的形状要素(即形状要素412) 的一部分，以供识别器118执行相应识别。所显示的动作仅是示例，可以显示更多、更少或不同的动作。
图12示出了响应于检测到对文本提示项4010中的“更多”图标 4008的选择手势而显示的具有不同菜单4028的图10的输入阶段。文本控制菜单4028具有两个显示区域4028a和4026b。在菜单区域4028a 中，显示了与内容变换相关的动作，针对文本控制菜单所述动作是“文本到形状”动作、“重排”动作和“排版”动作。区域4028b的这些动作是单独交互式的，其中对“文本到形状”动作的选择引起上述的手动重新分类，对“重排”动作的选择引起针对文本控制菜单4028将数字或排版墨水文本重排在多行上，并且对“排版”动作的选择引起针对文本控制菜单4028对所显示的数字墨水文本进行排版。在菜单区域 4028b中，显示了与标准操作相关的交互动作，针对文本控制菜单，所述动作是剪切、复制、删除、导出和属性/设置。这些所显示的操作仅是示例，可以显示更多、更少或不同的操作(手动重新分类除外)。
图13示出了在从显示中省略形状提示项4016、但在连接符412 的附近处(例如，如由对齐网格设置)有引导要素4000的连接符提示项4030的图6的连接符412。由于应用112检测到对连接符412的选择手势(例如，诸如单击或长按之类的单点手势)，因此显示连接符提示项。所选择的连接符412以选择模式呈现来显示，这种呈现包括重叠在数字墨水上的形状的排版版本以及用于对连接符调整大小的选择控键A，其中不强调数字墨水的呈现(例如，更浅地显示)并且强调排版墨水(例如，带颜色显示或墨水重量比正常墨水显示更大)。连接符提示项4030具有包括根据形状412识别出的箭头图形4022在内的连接符组件4032。还在连接符提示项4030中、在连接符组件4032的右侧和在水平条4012上方显示有控制要素4008。
当响应于用户与连接符的交互而显示连接符提示项时，因为可能期望与连接符提示项进行交互，所以用比形状和文本提示项更明显的呈现来显示连接符提示项4030。连接符提示项的显示被保持，直到检测到取消选择所选择的连接符为止，或者直到预定义时间段(例如，大约五秒)结束，其中该预定义时间段内，没有检测到与连接符提示项或其所属内容的交互，或者应用112接收到不同的输入，此时将导引要素褪色为不可见。
与文本提示项一样，连接符提示项也是交互式的。图14示出了响应于检测到对连接符提示项4030中的连接符图标4032的选择手势 4035而显示的具有菜单4034的图13的输入阶段。连接符菜单4034 具有两个显示区域4034a和4034b。在菜单区域4034a中，显示了备选的连接符箭头类型列表，所述备选连接符箭头类型也是单独交互式的。这些备选项是基于进行交互的连接符(在此示例中为箭头)的类型而显示的。对于图8的线型连接符，连接符菜单中显示不同的备选连接符类型列表。在菜单区域4034b中，显示了单独交互式并且与内容变换相关的动作，针对连接符菜单所述动作包括“设置为文本”动作和“设置为涂鸦”动作，其中对“设置为文本”的选择引起如上所述的手动重新分类，对“设置为涂鸦”动作的选择引起将形状412识别为连接符改变为涂鸦，从而去除被重新分类为涂鸦的连接符状态，即使在对图400进行排版之后，这种去除操作仍对数字墨水呈现有上述相应影响。这些所显示的动作仅是示例，可以显示更多、更少或不同的动作。
图15示出了响应于检测到对连接符提示项4030中的“更多”图标4008的选择手势而显示的具有菜单4036的图13的输入阶段。连接符菜单4036具有两个显示区域4036a和4036b。在菜单区域4036a中，显示了上述与标准操作相关的交互动作。在菜单区域4036b中，显示了“排版”内容变换动作。这些所显示的动作仅是示例，可以显示更多、更少或不同的动作。
图16示出了在容器408和所包含的文本410的后续输入以及文本要素416的后续输入之后的图400。在检测到输入开始和在接口104 上呈现对应的数字墨水时，本系统和方法发起将引导要素4000显示为文本提示项4010，该文本提示项4010具有包括在水平条4012上方的根据文本416识别的排版墨水单词4014(即，单词“Operation”)在内的文本组件4006。
图17示出了具有部分416a(字母“O”)和部分416b(字母“peration”)的文本要素416的备选输入，其中部分416a和部分416b 彼此间隔一定距离。在数字墨水的呈现中，将引导要素4000显示为在部分416a上方的形状提示项4016和在部分416b上方的文本提示项4010。这是因为部分416a被识别为形状(即具有圆形图形4018的显示的圆形)而不是文本，并且部分412b’正确被地识别为文本。这是由于部分416a和416b之间的相对较大的距离导致输入412b和416b 属于分开的对象的概率分数较高，由此消歧系统和方法能够将部分416a分类为非文本，而不是文本。如前所述，可以通过与形状提示项 4016的交互以启动菜单来改变该识别结果。
图18示出了响应于检测到对形状提示项4016中的形状组件4004 的选择手势而显示的具有菜单4038的图17的输入阶段。形状菜单 4038具有两个显示区域4038a和4038b。在菜单区域4038a中，显示了形状识别候选项列表。这些候选项是HWR系统114关于针对部分416a的识别处理输出的最可能的识别候选项。在图18中，显示了四个最佳候选项，但是可以显示多于或少于四个的候选项。区域4038a 中所显示的每个候选项都是单独交互式的，其中，通过利用由应用112 检测到的对候选项的选择手势(比如，诸如单击或长按之类的单点手势)进行选择、由此将形状提示项4016中的形状图形4018改变为所选择的候选项、并且当排版部分416a时显示所选择的候选项。在菜单区域4038b中，显示了手动分类动作，针对该形状菜单所述手动分类动作是“形状到文本”。类似地，区域4038b的该动作是交互式的，其中利用选择使得识别的形状416a被重新分类为文本，并且进行相应的重新识别。在该处理中，消歧系统和方法利用其它已分类的接近文本要素(即，文本416b)来重新评价现在分类的形状416a，以确定文本 416a与那些其它文本要素的分组是否导致文本416a有可能是是更大文本要素(即，文本要素416)的一部分，以供识别器118执行相应识别。所显示的动作仅是示例，可以显示更多、更少或不同的动作。
图19示出了形状要素414的后续输入(从图16的输入接着输入的)，其为被绘制为包含已经输入的文本416的容器的图400的最后一个要素。此时，由于输入414和416的相对位置和特性，形状要素414 可以被识别为包含所识别的单词416的容器。在检测到输入开始和在接口104上呈现对应的数字墨水时，本系统和方法例如省略显示文本提示项4010，并且发起在手绘形状414上方(例如，如由对齐网格设置)显示为形状提示项4016的引导要素4000，形状提示项4016具有包括根据形状414而识别出的椭圆形图形4018在内的形状组件4002。
图20示出了以前述选择模式呈现显示的图19中的容器414和所包含的文本416，其中所述呈现例如包括由于检测到对容器414的选择手势而形成的、形状的选择排版排版和文本的选择数字墨水版本。作为响应，显示了包括形状提示项4016、文本提示项4010和控制要素4008的完整引导要素4000，使得可以经由“更多”图标与容器和包含文本的整个选择图要素进行交互，或者可以经由各自的提示项与形状和文本要素单独进行交互。
图21A和图21B示出了这种选择的备选情景，其中文本要素416 和形状要素414分别是分开地和单独地输入的。在这种情况下，对单独要素的选择导致该要素的选择模式显示以及相应的引导要素提示项 (包括控制要素)的显示。
图22示出了例如响应于用户与应用112的用于执行排版的交互而以排版墨水显示的完整的图400。也就是说，图要素被显示为包含排版文本406b的排版容器404b、包含排版文本410b的排版容器408b、连接排版容器404b和408b的排版连接符412c、以及包含排版文本 416b的排版容器414b。
图23示出了排版图400，排版图400具有以上述选择模式呈现来显示的排版容器414b和所包含的文本416b，所述呈现包括例如由于检测到对容器414b的选择手势而实现的形状和文本的选择排版版本。作为响应，如前，显示了包括形状提示项4016、文本提示项4010和控制元件4008的完整引导要素4000。
图24、图25和图26分别示出了形状、文本和控制菜单4038、 4026和4028，这三个菜单分别具有在检测到分别针对形状提示项4016、文本提示项4010和控制要素4008的选择手势时所显示的上述交互动作。
图27示出了排版图400，排版图400具有以上述选择模式呈现显示的排版容器408b和所包含的文本410b以及排版容器414b和所包含的文本416b、以及由于通过应用112检测到的多选择手势(比如，对容器408b和414b之一的单点手势(比如，长按)和此后对其它容器的另一单点手势(比如，短按))而实现的围绕所有选择要素的选择框 4040。作为响应，显示了包括多要素提示项4042和控制要素4008的引导要素4000。与引导要素的其他提示项和组件一样，多要素提示项 4042也是交互式的。
图28示出了响应于检测到对多要素提示项4042的选择手势418 而显示的具有菜单4044的图27的选择模式。多要素菜单4044显示手动分类动作列表，手动分类动作包括上述“设置为文本”动作、“设置为形状”动作和“设置为涂鸦”动作。菜单4044的每个动作都是单独交互式的，其中通过由应用112检测到的对每个动作的选择手势(例如，诸如单击或长按之类的单点手势)进行选择。选择这些动作会使得所有多选择要素都被重新分类并相应地被重新识别。在多选模式下，对控制要素4008进行选择启动具有前述交互要素的控制菜单4028。
如前所述，被解析到识别器、但例如由于不属于词典形状 (out-of-lexicon)而未被识别的输入形状被视为涂鸦，因此不会在排版图中以排版墨水来呈现。在识别器118被配置为如果确定了高于特定概率分数阈值的候选项仅返回识别输出的情况下，发生这种不识别。现在参考图29至图31来描述输入到图400的示例涂鸦。
图29示出了在排版容器408b上方的被绘制为自由形式形状的形状要素420的输入。排版图400的新输入被显示为数字墨水，除非设置为逐步地排版新输入。此时，消歧系统和方法将形状要素404识别为非文本，但识别器118不识别形状要素404，因为它是不属于词典形状。为了向用户提供该失败识别的反馈，在检测到输入开始和在接口104上呈现对应的数字墨水时，本系统和方法发起在手绘形状420 上方(例如，如由对齐网格设置)将引导要素4000显示为自由形式提示项4046，自由形式提示项4046具有包括涂鸦图形4050在内的自由形式组件4048。为了不分散用户输入的注意力，以与其它提示项相同或相似的浅淡色呈现来显示自由形式提示项4046，并且以类似的方式保持显示。
图30示出了排版图400，排版图400具有以上述选择模式呈现来显示的数字墨水形状420、以及由于通过应用112检测到对该形状的选择手势(例如，诸如短按之类的单点手势)而实现的围绕被选择的要素的选择框4040。作为响应，显示了包括自由形式提示项4046和控制要素4008的引导要素4000。与引导要素的其它提示项和组件一样，自由形式提示项4046也是交互式的。
图31示出了响应于检测到对自由形式组件4048的选择手势422 而显示的具有菜单4052的图30的选择模式。涂鸦菜单4052显示包括上述“设置为文本”动作和“设置为形状”动作在内的手动分类动作列表。菜单4052的每个动作都是单独交互式的，其中通过由应用112 检测到的对每个动作的选择手势(例如，诸如单击或长按之类的单点手势)进行选择。对这些动作的选择使得所选择的未识别的自由形式要素被重新分类并因此被重新识别(例如，这种手动重新分类可以促使识别器118返回低于概率分数阈值的针对自由形式形状的最佳候选项)。
尽管前文已经描述了被视为是最佳实施方式的内容和/或其它示例，但是应当理解：可以在本发明中进行各种修改，并且可以以各种形式和示例来实现本文中所公开的主题，并且最佳实施方式的内容和/ 或其它示例可以应用于多个其它应用、组合和环境中，这里仅描述了其中的一些。本领域普通技术人员将认识到，在不脱离本主题的真实精神和范围的情况下，可以改变或修改所公开的方案。因此，主题不限于本说明书中的具体细节、展示和示例。本文旨在保护落入本文所公开的优势概念的真实范围内的任何和所有修改和变化。

Claims (18)

1.一种用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：
使得在所述计算设备的交互式显示器上显示：
手绘非文本图要素的识别形式，所述手绘非文本图要素的识别形式覆盖在所述手绘非文本图要素的数字墨水上，以及
动态提示项，所述动态提示项动态地显示对所述手绘非文本图要素的至少一个描绘，并且被配置成所述手绘非文本图要素的识别形式；
其中，所述手绘非文本图要素的识别形式最初是基于根据以下至少一项计算的概率分数而确定的：所述手绘非文本图要素的空间分数、时间分数和输入特性。
2.根据权利要求1所述的系统，其中，所述动态提示项在输入所述手绘时动态地显示对手绘文本图要素的至少一个描绘。
3.根据权利要求1所述的系统，其中，所述动态提示项包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
4.根据权利要求1所述的系统，所述至少一个非暂时性计算机可读介质被配置为以图标形式显示对非文本要素的描绘。
5.根据权利要求4所述的系统，其中，所述非文本要素是所述图的形状要素，所述图标描绘所述形状。
6.根据权利要求1所述的系统，所述至少一个非暂时性计算机可读介质被配置为以排版墨水显示对文本要素的描绘。
7.一种用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在所述计算设备的交互式显示器上显示：
手绘非文本图要素的识别形式，所述手绘非文本图要素的识别形式覆盖在所述手绘非文本图要素的数字墨水上，以及
动态提示项，所述动态提示项动态地显示对所述手绘非文本图要素的至少一个描绘，并且被配置成所述手绘非文本图要素的识别形式；
其中，所述手绘非文本图要素的识别形式最初是基于根据以下至少一项计算的概率分数而确定的：所述手绘非文本图要素的空间分数、时间分数和输入特性。
8.根据权利要求7所述的方法，其中，所述动态提示项在输入所述手绘时动态地显示对手绘文本图要素的至少一个描绘。
9.根据权利要求7所述的方法，其中，所述动态提示项包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
10.根据权利要求7所述的方法，包括：以图标形式显示对非文本要素的描绘。
11.根据权利要求10所述的方法，其中，所述非文本要素是所述图的形状要素，所述图标描绘所述形状。
12.根据权利要求7所述的方法，包括：以排版墨水显示对文本要素的描绘。
13.一种非暂时性计算机可读介质，其中体现有计算机可读程序代码，所述计算机可读程序代码适合于被执行以实现用于在计算设备上引导手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在所述计算设备的交互式显示器上显示：
手绘非文本图要素的识别形式，所述手绘非文本图要素的识别形式覆盖在所述手绘非文本图要素的数字墨水上，以及
动态提示项，所述动态提示项动态地显示对所述手绘非文本图要素的至少一个描绘，并且被配置成所述手绘非文本图要素的识别形式；
其中，所述手绘非文本图要素的识别形式最初是基于根据以下至少一项计算的概率分数而确定的：所述手绘非文本图要素的空间分数、时间分数和输入特性。
14.根据权利要求13所述的非暂时性计算机可读介质，其中，所述动态提示项在输入所述手绘时动态地显示至少一个图要素。
15.根据权利要求13所述的非暂时性计算机可读介质，其中，所述动态提示项包括至少一个交互式提示项要素，所述至少一个非暂时性计算机可读介质被配置为响应于接收到与所述至少一个交互式提示项要素的交互而显示动作菜单。
16.根据权利要求13所述的非暂时性计算机可读介质，其中，所述方法包括以图标形式显示对非文本要素的描绘。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述非文本要素是所述图的形状要素，所述图标描绘所述形状。
18.根据权利要求13所述的非暂时性计算机可读介质，其中，所述方法包括以排版墨水显示对文本要素的描绘。
CN201680074443.2A 2015-10-19 2016-10-18 引导手写图输入的系统和方法 Active CN108369484B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15290270.6 2015-10-19
EP15290270 2015-10-19
US14/955,198 US10976918B2 (en) 2015-10-19 2015-12-01 System and method of guiding handwriting diagram input
US14/955,198 2015-12-01
PCT/EP2016/001723 WO2017067654A1 (en) 2015-10-19 2016-10-18 System and method of guiding handwriting diagram input

Publications (2)

Publication Number Publication Date
CN108369484A CN108369484A (zh) 2018-08-03
CN108369484B true CN108369484B (zh) 2021-07-27

Family

ID=54396796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074443.2A Active CN108369484B (zh) 2015-10-19 2016-10-18 引导手写图输入的系统和方法

Country Status (6)

Country Link
US (2) US10976918B2 (zh)
EP (1) EP3365765B1 (zh)
JP (1) JP7065023B2 (zh)
KR (1) KR102392537B1 (zh)
CN (1) CN108369484B (zh)
WO (1) WO2017067654A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924335B1 (en) 2006-03-30 2014-12-30 Pegasystems Inc. Rule-based user interface conformance methods
US10469396B2 (en) 2014-10-10 2019-11-05 Pegasystems, Inc. Event processing with enhanced throughput
US11500535B2 (en) * 2015-10-29 2022-11-15 Lenovo (Singapore) Pte. Ltd. Two stroke quick input selection
US10698599B2 (en) * 2016-06-03 2020-06-30 Pegasystems, Inc. Connecting graphical shapes using gestures
US10402740B2 (en) * 2016-07-29 2019-09-03 Sap Se Natural interactive user interface using artificial intelligence and freeform input
US10956765B2 (en) * 2016-08-19 2021-03-23 Sony Corporation Information processing device and information processing method
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
US10679049B2 (en) * 2017-09-29 2020-06-09 Konica Minolta Laboratory U.S.A., Inc. Identifying hand drawn tables
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US11048488B2 (en) 2018-08-14 2021-06-29 Pegasystems, Inc. Software code optimizer and method
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
KR102610481B1 (ko) 2019-05-06 2023-12-07 애플 인크. 전자 디바이스 상의 수기 입력
EP3754537B1 (en) * 2019-06-20 2024-05-22 MyScript Processing text handwriting input in a free handwriting mode
JP6992795B2 (ja) * 2019-11-28 2022-01-13 ブラザー工業株式会社 図表作成プログラム、および図表作成機能を有する情報処理装置
US20210349627A1 (en) 2020-05-11 2021-11-11 Apple Inc. Interacting with handwritten content on an electronic device
US11567945B1 (en) 2020-08-27 2023-01-31 Pegasystems Inc. Customized digital content generation systems and methods
US11733861B2 (en) * 2020-11-20 2023-08-22 Trimble Inc. Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality
CN112711362B (zh) * 2020-12-24 2022-02-18 北京华宇信息技术有限公司 手绘流程图标准化生成方法及其装置
US11663761B2 (en) * 2021-08-25 2023-05-30 Sap Se Hand-drawn diagram recognition using visual arrow-relation detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399698A (zh) * 2013-07-31 2013-11-20 中国船舶重工集团公司第七〇九研究所 一种基于手绘草图和手势输入判断处理的笔式交互方法
CN104317421A (zh) * 2014-10-21 2015-01-28 苏州乐聚一堂电子科技有限公司 按键手写手机汉字输入法
CN104794107A (zh) * 2015-02-16 2015-07-22 北京道明科技有限公司 手写笔迹的编辑方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749020B2 (ja) 1991-11-14 1998-05-13 日立ソフトウエアエンジニアリング株式会社 ダイアグラム認識システム
JP3388524B2 (ja) 1994-06-30 2003-03-24 カシオ計算機株式会社 イメージ入力装置
US20030215145A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Classification analysis of freeform digital ink input
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US20040090439A1 (en) * 2002-11-07 2004-05-13 Holger Dillner Recognition and interpretation of graphical and diagrammatic representations
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US20050273761A1 (en) 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US7929767B2 (en) 2004-09-22 2011-04-19 Microsoft Corporation Analyzing subordinate sub-expressions in expression recognition
US7512273B2 (en) * 2004-10-21 2009-03-31 Microsoft Corporation Digital ink labeling
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US7725493B2 (en) * 2007-03-23 2010-05-25 Palo Alto Research Center Incorporated Optimization method and process using tree searching operation and non-overlapping support constraint requirements
US8116570B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation User interface for providing digital ink input and correcting recognition errors
US20100171754A1 (en) * 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
US8718375B2 (en) * 2010-12-03 2014-05-06 Massachusetts Institute Of Technology Sketch recognition system
CN102750552B (zh) * 2012-06-18 2015-07-22 北京捷通华声语音技术有限公司 一种手写识别方法、系统及手写识别终端
KR101929301B1 (ko) * 2012-08-20 2019-03-12 삼성전자 주식회사 필기 제스처 인식을 통한 휴대단말의 기능 실행 제어 방법 및 장치
JP5342052B1 (ja) * 2012-10-17 2013-11-13 株式会社東芝 電子機器および方法
JP2014081818A (ja) 2012-10-17 2014-05-08 Toshiba Tec Corp 商品販売データ処理装置および携帯端末
US9329726B2 (en) * 2012-10-26 2016-05-03 Qualcomm Incorporated System and method for capturing editable handwriting on a display
JP5377743B1 (ja) 2012-11-28 2013-12-25 株式会社東芝 電子機器および手書き文書処理方法
US20140210829A1 (en) * 2013-01-31 2014-07-31 Kabushiki Kaisha Toshiba Electronic apparatus and handwritten document processing method
JP6054547B2 (ja) 2013-12-09 2016-12-27 株式会社東芝 手書き文書情報を処理するための電子機器および方法
JP2015138494A (ja) * 2014-01-24 2015-07-30 株式会社東芝 電子機器および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399698A (zh) * 2013-07-31 2013-11-20 中国船舶重工集团公司第七〇九研究所 一种基于手绘草图和手势输入判断处理的笔式交互方法
CN104317421A (zh) * 2014-10-21 2015-01-28 苏州乐聚一堂电子科技有限公司 按键手写手机汉字输入法
CN104794107A (zh) * 2015-02-16 2015-07-22 北京道明科技有限公司 手写笔迹的编辑方法

Also Published As

Publication number Publication date
KR20180096590A (ko) 2018-08-29
US11740783B2 (en) 2023-08-29
US10976918B2 (en) 2021-04-13
KR102392537B1 (ko) 2022-04-28
EP3365765A1 (en) 2018-08-29
WO2017067654A1 (en) 2017-04-27
US20170109032A1 (en) 2017-04-20
US20210278965A1 (en) 2021-09-09
EP3365765B1 (en) 2022-01-19
CN108369484A (zh) 2018-08-03
JP2018536926A (ja) 2018-12-13
JP7065023B2 (ja) 2022-05-11

Similar Documents

Publication Publication Date Title
CN108369484B (zh) 引导手写图输入的系统和方法
US11157732B2 (en) System and method of handwriting recognition in diagrams
US11402991B2 (en) System and method for note taking with gestures
CN108700994B (zh) 用于数字墨水交互性的系统和方法
US20180114059A1 (en) System and method for managing digital ink typesetting
CN108475325B (zh) 用于识别手写图连接符的系统、方法及计算机可读介质
CN108369637B (zh) 用于美化数字墨水的系统和方法
US11687618B2 (en) System and method for processing text handwriting in a free handwriting mode
CN114365075B (zh) 用于选择图形对象的方法和对应装置
US11429259B2 (en) System and method for selecting and editing handwriting input elements
US20240134507A1 (en) Modifying digital content including typed and handwritten text
US20240078377A1 (en) Completing typeset characters using handwritten strokes
EP4047465A1 (en) Modifying digital content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant