CN108475325A - 用于识别手写图连接符的系统和方法 - Google Patents

用于识别手写图连接符的系统和方法 Download PDF

Info

Publication number
CN108475325A
CN108475325A CN201680074089.3A CN201680074089A CN108475325A CN 108475325 A CN108475325 A CN 108475325A CN 201680074089 A CN201680074089 A CN 201680074089A CN 108475325 A CN108475325 A CN 108475325A
Authority
CN
China
Prior art keywords
connector
identified
computing device
ink
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680074089.3A
Other languages
English (en)
Other versions
CN108475325B (zh
Inventor
罗宾·梅利南
罗曼·贝纳尔维茨
克莱尔·西多里
法比恩·里克
阿内·博诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Our Co Hui
Original Assignee
Our Co Hui
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Our Co Hui filed Critical Our Co Hui
Publication of CN108475325A publication Critical patent/CN108475325A/zh
Application granted granted Critical
Publication of CN108475325B publication Critical patent/CN108475325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，至少一个非暂时性计算机可读介质被配置为：使得在与计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。

Description

用于识别手写图连接符的系统和方法
相关申请的交叉引用
本申请要求于2015年10月19日提交的欧洲申请No.15290269.8和于2015年12月1日提交的、要求了欧洲申请No.15290269.8的优先权的美国申请No.14/955,174的优先权，其全部内容通过引用合并于此。
技术领域
本公开总体涉及能够识别各种形状和字符的用户输入手写的计算设备接口的领域。特别地，本公开提供了用于处理使得在输入手写图要素之间的连接符显示的编辑操作的系统和方法。
背景技术
计算设备在日常生活中不断变得越来越普遍。它们表现为如下形式：台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、全球定位系统(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。此外，计算设备被包括到车辆和设备(比如，汽车、卡车、农场设备、制造设备、建筑环境控制(例如，照明、HVAC)以及家用和商用电器)中。
计算设备通常由至少一个处理元件(比如，中央处理单元(CPU))、某种形式的存储器以及输出和输出设备组成。各种计算设备及它们的后续使用需要各种接口和输入设备。一个这样的输入设备是触敏表面(比如，触摸屏或触摸板)，其中通过用户手指或工具(比如，笔或触写笔)和触敏表面之间的接触来接收用户输入。另一输入设备是感测用户在输入表面上做出的手势的输入表面。另一输入设备是位置检测系统，其检测触摸或非触摸交互与非触摸表面的相对位置。这些输入方法中的任何一种都可以普遍用于绘画和文本的手写或手绘输入，其中使用手写识别系统或方法来解释该绘画和文本。
手写识别在计算设备中的一个应用是创建在计算设备上手绘的、将被转换为排版版本的图。所述图是说明或示出(各部件的)布局和关系的图。图通常包括具有任意或特定含义的形状以及与这些形状有关系的文本。存在许多类型的图，如流程图、组织结构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔。图1至图6中示出了可能的图的一些排版和手写示例的描绘。
图1A和图1B分别示出了排版和手写的示例概念图10，其具有不同的形状，以不同的方式定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头)。此外，在图1B中，容器12包含文本16。通常在概念图中，块之间的连接定义了由这些块中的文本定义的在概念上相关或从属的要素或主题。块本身可以不存在于概念图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。
图2A和图2B分别示出了排版和手写的示例思维导图20，其具有不同的形状，以不同的方式定义了图块或容器12、连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线)、以及到思维导图的某些特征或状态的路径18。此外，在图2B中，容器12和路径18具有相关联的文本16。通常在思维导图中，块之间的连接定义了从由这些块中的文本定义的中心要素或主题出发的可能的备选状态，并且路径定义了由这些路径上的文本定义的每个备选状态的关键特征。块本身可以不存在于思维导图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。
图3A和图3B分别示出了排版和手写的示例流程图30，其具有不同的形状，不同地定义了不同类型的图块或容器12(例如，椭圆形、矩形、菱形)和连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头、分支线)。此外，在图3B中，容器12包含文本16；文本也可以与连接符相关联。通常在流程图中，块之间的连接定义了由那些块中的文本定义的在程序上相关或从属的要素或步骤。块本身可以不存在于流程图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。
图4A和图4B分别示出了排版和手写的示例组织结构图40，其具有不同的形状，不同地定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线、分支线)。此外，在图4B中，容器12包含文本16。通常在组织结构图中，块之间的连接定义了由这些块中的文本定义的组织或团体的成员或功能的层次关系。块本身可以不存在于组织结构图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。
图5A和图5B分别示出了排版和手写示例块/架构图50，其具有不同的形状，定义了具有嵌套关系的图块或容器12(例如，容器12在其它容器12内)、以及连接或指定图块12(含嵌套块)之间的关系的连接符14。此外，在图5B中，容器12和连接符具有相关联的文本16。通常在架构图中，嵌套块定义了设备或处理组件的布局或所有权(possession)，并且块之间的连接定义了由这些块中的文本定义的块之间的功能关系。
图6A和图6B分别示出了排版和手写示例的蜘蛛图60，其具有不同的形状，定义了图块或容器12以及连接或指定图块12之间的关系的连接符14。此外，在图6B中，容器12和连接符具有相关联的文本16。通常在蜘蛛图中，块和/或文本之间的连接定义了从由文本定义的中心要素或主题出发的从属关系或状态。
在图1至图6示出的图仅仅是示例，除了每种图类型所描绘的要素之外，图中还可以附加地或备选地出现其它要素或不同要素、或者所描绘的要素本身的不同类型或形式。此外，这些图类型的其它定义以及它们的组合也是可能的。将图中的形状和文本的基本组件(有容器或无容器的连接)进行组合的这些无数可能变型可能给在计算设备上精确识别作为手绘或手写内容的输入的这些要素带来问题。图具体用于教育和商业环境中，在该环境中，计算设备的用户例如在讲座或会议期间创建图以获得正在讨论的构思、问题或解决方案。这通常通过用户启动计算设备上的手写绘图或草图应用来完成，手写绘图或草图应用在设备中本地地或者经由设备的通信链路远程地，接收并解译在触敏表面或由相对位置检测系统监控的表面上的手绘输入。
通常，这种手写绘图应用在处理上述绘图的复杂性方面能力限制，并且通常约束用户采取不反映用户原始意图的行为或接受这样的妥协。因此，一些常规的手写绘图应用强制用户导航菜单以选择和绘制形状，并且插入与形状相关的文本。因此，用户无法自然或自由地绘制形状和连接符。一些常规的应用较好地识别出手绘形状和手写文本，并为用户提供适当的创作自由。然而，改变已绘制的图的能力(例如，编辑图的要素以添加、省略或替换要素，将图修改为演进的构思，转换图的类型等)受到如下限制：只能用于某些操作，以及只能用于排版版本的图(尤其是，在保持识别的关系(比如，连接的容器等)的情况下，操纵图要素的相对位置)，不能用于手写输入(所谓的数字墨水)；和/或需要将学习的手势或经由如上所述的菜单进行的选择。例如，美国专利No.8,014,607描述了推断模式协议，其允许某些编辑操作直接作用于数字墨水。然而，所描述的操作非常有限。此外，没有提供一种解决方案，其能够在保持识别的关系的情况下对数字墨水中的图要素的相对位置进行操纵。
美国专利No.7,394,935描述了关于调整大小和重新定位操作的对数字墨水的相关操纵。然而，在这些操作中，仅仅根据操作来缩放数字墨水，这样的话将要求用户执行进一步交互以使数字墨水回到其原始绘制的尺寸，例如，移动容器远离其连接的容器会导致连接符在x和y两个维度上延伸，或者当连接符被调整大小或改变为不同形式(例如，直的变为弯的)时，通过重新计算对连接符的数字墨水进行近似的主干线(水平线和竖直方向)来“重排”连接符。这需要重新产生数字墨水，这可以通过在高曲率点(尖点)处的分割来对连接符墨水进行归一化来完成，如在相关美国专利No.7,324,691所述。因此，产生的被操纵的数字墨水可能与原始绘制的墨水大不相同，需要用户介入。
发明内容
在下文中描述的本公开的示例提供了用于在计算设备上通过手写输入来实现创建图的系统、方法和计算机程序产品。该计算机程序产品具有非暂时性计算机可读介质，非暂时性计算机可读介质体现有适合于被执行以实现方法的计算机可读程序代码。
计算设备连接到具有输入表面的形式的输入设备。用户能够通过使用他或她的手指或工具(比如，触写笔或笔)向输入表面施加压力或在输入表面上做手势来提供输入。本系统和方法监测输入笔划。
计算设备具有处理器以及用于在处理器的控制下检测和识别手写输入的至少一个应用。至少一个系统应用被配置为：使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。
所公开的系统和方法的另一方面提供了基于连接符的特性和图要素之间的位置关系来识别至少一个连接符。
所公开的系统和方法的另一方面提供了所识别的至少一个连接符的几何特性，该几何特性与所连接的图要素的几何特征之间的连接路径相关。几何特征包括所连接的图要素的几何图形的中心。
所公开的系统和方法的另一方面提供了所识别的至少一个连接符的几何特性，几何特性包括所识别的至少一个连接符与所连接的图要素的连接点之间的关系。
所公开的系统和方法的另一方面提供了基于连接点而偏移于所连接的图要素的几何图形的中心的连接路径。
所公开的系统和方法的另一方面提供了作为数字墨水的交互式墨水。
在一些实现中，本公开提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。至少一个非暂时性计算机可读介质被配置为：使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于所接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。
至少一个连接符可以基于所述连接符的特性和所述图要素之间的位置关系来识别。
所识别的至少一个连接符的几何特性可以与所连接的图要素的几何特征之间的连接路径相关。
几何特征可以包括所连接的图要素的几何图形的中心。
所识别的至少一个连接符的几何特性可以包括至少一个连接符与所连接的图要素的连接点之间的关系。
连接路径可以基于连接点而偏移于所连接的图要素的几何图形的中心。
交互式墨水可以是数字墨水。
在一些实现中，本公开提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括：在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。
所述方法可以包括：基于连接符的特性和图要素之间的位置关系来识别至少一个连接符。
所识别的至少一个连接符的几何特性可以与所连接的图要素的几何特征之间的连接路径相关。
几何特征可以包括所连接的图要素的几何图形的中心。
所识别的至少一个连接符的几何特性可以包括至少一个连接符与所连接的图要素的连接点之间的关系。
连接路径可以基于连接点而偏移于所连接的图要素的几何图形的中心。
交互式墨水可以是数字墨水。
在一些实现中，本公开提供了一种其中体现有计算机可读程序代码的非暂时性计算机可读介质。所述计算机可读程序代码适用于被执行以实现用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法。计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质。所述方法包括：在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。
非暂时性计算机可读介质可以包括：基于连接符的特性和图要素之间的位置关系来识别至少一个连接符。
所识别的至少一个连接符的几何特性可以包括所连接的图要素的几何特征之间的连接路径。
几何特征可以包括所连接的图要素的几何图形的中心。
所识别的至少一个连接符的几何特性可以包括至少一个连接符与所连接的图要素的连接点之间的关系。
连接路径可以基于连接点而偏移于所连接的图要素的几何图形的中心。
交互式墨水可以是数字墨水。
附图说明
根据以下结合附图对本系统和方法的实施例的详细描述，将更全面地理解本系统和方法。在附图中，相似的附图标记表示相同的要素。附图中：
图1A和图1B分别示出了排版和手写的示例概念图；
图2A和图2B分别示出了排版和手写的示例思维导图；
图3A和图3B分别示出了排版和手写的示例流程图；
图4A和图4B分别示出了排版和手写的示例组织结构图；
图5A和图5B分别示出了排版和手写的示例块/架构图；
图6A和图6B分别示出了排版和手写的示例蜘蛛图；
图7示出了根据本系统和方法的示例的计算设备的框图；
图8示出了根据本系统和方法的示例的手写识别系统的框图；
图9示出了图示根据本系统和方法的示例的图8的手写识别系统的细节的框图；
图10A和图10B分别示出了在对用连接符连接到其它形状要素的形状要素进行移动操作之前和之后的示例手绘图；
图11A示出了对数字墨水形状的移动操作，以及对示例手绘图中的数字墨水连接符的示例性结果影响；
图11B示出了对图11A的图中的数字墨水连接符的移动操作；
图11C示出了在移动操作之后的图11B的图；
图12A示出了以数字墨水呈现的示例手绘图；
图12B示出了对图12A的图中的形状要素的移动操作，以及对相关联的连接符的示例结果影响；
图13A和图13B分别示出了以排版墨水呈现的图12A和图12B的图；
图14A和图14B分别示出了对用平行的连接符连接到另一形状要素的形状要素进行移动操作之前和之后的示例手绘图；
图15A和图15B分别示出了对用平行的连接符连接到另一形状要素的形状要素进行移动操作之前和之后的示例手绘图；
图16A示出了以数字墨水呈现的示例手绘图；
图16B示出了对图16A的图中的形状要素的移动操作，以及对相关联的交叉连接符的示例结果影响；
图16C示出了对图16B的图中的形状要素的另一移动操作，以及对连接符的示例结果影响；
图17A至图17C分别示出了以排版墨水呈现的图16A至图16C的图。
具体实施方式
在以下详细描述中，以示例的方式阐述了大量的特定细节，以提供对相关教导的完全理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实践本教导。在其它情况下，为了避免不必要地模糊本教导的方面，仅在相对较高的层面上描述了公知的方法、过程、组件和/或电路，而没有详细地描述。
对于方向特征(比如，向上、向下、上方、下方、最低、最高、水平、竖直等)的引用和讨论是相对于如应用于在其上进行要被识别的输入的输入表面的笛卡儿坐标系进行的。此外，在查看附图时，诸如左和右之类术语是与读者的参照系有关的。此外，在本描述中使用的术语“文本”应被理解为包括在书面文本中使用的任何书面语言形式的所有字母数字字符及其字符串和常见的非字母数字字符(例如，符号)。此外，本描述中的术语“非文本”被理解为包括在非文本上下文中使用的自由形式的手写或手绘内容和呈现的文本和图像数据、以及非字母数字字符及其字符串、和字母数字字符及其字符串。此外，这些附图中所示的示例处于从左到右书写的语言环境中，因此对位置的任何引用都可以适用于具有不同方向格式的书面语言。
本文中描述的各种技术通常涉及以保持输入的内容风格的同时允许将该内容转换为忠实的排版或美化版本的方式、在便携式和非便携式计算设备上捕获、处理和管理手绘和手写内容。本文中所述的系统和方法可以对经由连接到计算设备的或者计算设备中的输入表面(例如，触敏屏幕)、或经由连接到计算设备的输入设备(例如，数字笔或鼠标)、或经由由位置检测系统监控的表面而输入到计算设备的用户的自然书写和绘画风格进行识别。尽管关于使用所谓的在线识别技术识别手写输入来描述了各种示例，但是应该理解的是，也可以应用其它形式的输入识别，比如识别图像而不是识别数字墨水的离线识别。本文中可互换地使用术语手绘和手写来定义用户通过使用他/她们的手直接在数字介质或数字连接的介质上操作或经由输入工具(比如，手持式触写笔)创建的数字内容。本文中使用术语“手”来提供对输入技术的简要描述，然而，使用用户身体的其它部位(比如，脚、嘴和眼)来进行相似输入也被包括在该定义中。
图7示出了示例计算设备100的框图。计算设备可以是台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、数字手表、交互式白板、全球定位系统(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。计算设备100包括如下组件：至少一个处理元件、某种形式的存储器、以及输入和/或输出(I/O)设备。这些组件通过例如连接器、线路、总线、电缆、缓冲器、电磁链路、网络、调制解调器、换能器、IR端口、天线或本领域普通技术人员已知的其它设备实现的输入和输出来彼此通信。
计算设备100具有用于从计算设备输出数据(例如，图像、文本和视频)的至少一个显示器102。显示器102可以使用LCD、等离子体、LED、iOLED、CRT或本领域普通技术人员已知的为触敏的或非触敏的适当的技术。显示器102可以与至少一个输入表面104位于同一位置或与至少一个输入表面104远程连接。输入表面104可以采用如下技术来，以触敏表面或接近敏感表面形式接收用户输入：例如，电阻式、表面声波、电容式、红外网格、红外丙烯酸投影、光学成像、色散信号技术、声学脉冲识别或本领域普通技术人员已知的任何其它适当技术。输入表面104可以由清楚地标识其分界线的永久性的或视频产生的边界限定。输入表面104可以是由位置检测系统监控的非触敏表面。
除输入表面104之外，计算设备100可以包括经由本地接口通信地耦接的一个或多个附加I/O设备(或外围设备)。附加I/O设备可以包括输入设备，例如键盘、鼠标、扫描仪、麦克风、触摸板、条形码读取器、激光读取器、射频设备读取器、或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括输出设备，例如打印机、条形码打印机或本领域普通技术人员已知的任何其它适当的技术。此外，I/O设备可以包括传送输入和输出两者的通信设备，例如调制器/解调器(调制解调器；用于访问另一设备、系统或网络)、射频(RF)收发机或其它收发机、电话接口、桥接器、路由器或本领域普通技术人员已知的任何其它适当技术。本地接口可以具有用于实现通信的附加元件，比如控制器、缓冲器(高速缓存)、驱动器、中继器和接收机，为了简单起见，省略了这些本领域技术人员熟知的元件。此外，本地接口可以包括地址、控制和/或数据连接，以实现其它计算机组件之间的适当通信。
计算设备100还包括处理器106，处理器106是用于执行软件(尤其是存储器108中存储的软件)的硬件设备。处理器可以是任何定制的或商业上可获得的通用处理器、中央处理单元(CPU)、基于半导体的微处理器(微芯片或芯片组形式的)、宏处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、状态机或被设计用于执行本领域普通技术人员已知的软件指令的任何组合。合适的商业上可获得的微处理器的示例如下：来自Hewlett-Packard公司的PA-RISC系列微处理器、来自Intel公司的80x86或Pentium系列微处理器、来自IBM的PowerPC微处理器、来自Sun Microsystems有限责任公司的Sparc微处理器、来自摩托罗拉公司的68xxx系列微处理器、DSP微处理器或ARM微处理器。
存储器108可以包括如下项中的任何一个或组合：易失性存储元件(例如，随机存取存储器(RAM，比如DRAM、SRAM或SDRAM)和非易失性存储元件(例如，ROM、EPROM、闪存PROM、EEPROM、硬盘、磁盘或光盘、存储寄存器、CD-ROM、WORM、DVD、廉价磁盘冗余阵列(RAID)、另一直接存取存储设备(DASD))。此外，存储器108可以包含电子、磁性、光学和/或其它类型的存储介质。存储器108可以具有分布式架构，在该分布式架构中各种组件彼此远离，但仍可以由处理器106访问。此外，存储器108可以远离所述设备(比如，在服务器或基于云的系统处)，但是存储器108可以由计算设备100远程访问。存储器108与处理器106耦接，因此处理器106可以从存储器108读取信息和向存储器108写入信息。在备选方案中，存储器108可以集成到处理器106。在另一示例中，处理器106和存储器108两者均可以驻留在单个ASIC或其它集成电路中。
存储器108中的软件包括操作系统110和应用112。可选地，软件还包括手写识别(HWR)系统114，手写识别(HWR)系统114可以各自包括一个或多个单独的计算机程序。这些程序中的每一个均具有用于实现逻辑功能的可执行指令的有序列表。操作系统110控制应用112(和HWR系统114)的执行。操作系统110可以是任何专有操作系统或商业上可获得的操作系统，例如WEBOS、MAC和LINUX和ANDROID。应该理解，也可以利用其它操作系统。
应用112包括与对用户输入的手绘形状和手写文本进行的检测、管理和处理相关的一个或多个处理要素(稍后详细讨论)。软件还可以包括与手写识别、不同的功能或这两者相关的一个或多个其它应用。其它应用的一些示例包括文本编辑器、电话拨号器、联系人目录、即时消息发送设施、计算机辅助设计(CAD)程序、电子邮件程序、文字处理程序、web浏览器和相机。应用112和其它应用包括在制造时与计算设备100一起提供的程序，并且还可以包括在制造之后被上传到或下载到计算设备100中的程序。
本系统和方法利用HWR系统114来识别对设备100的手写输入，包括手写文本和手绘形状(例如，非文本)具有支持和兼容能力的HWR系统114可以是源程序、可执行程序(目标代码)、脚本、应用或具有要被执行的指令集的任何其它实体。在源程序的情况下，所述程序需要经由可以包括或可以不包括在存储器内的编译器、汇编器、解译器等来翻译，以便结合操作系统正确地操作。此外，具有支持和兼容能力的手写识别系统可以被写为：(a)面向对象的编程语言，其具有数据和方法的类；(b)程序编程语言，其具有例程、子例程和/或函数，例如但不限于C、C++、Pascal、Basic、Fortran、Cobol、Perl、Java、Objective C、Swift和Ada；或(c)函数式编程语言，例如但不限于Hope、Rex、Common Lisp、Scheme、Clojure、Racket、Erlang、OCaml、Haskell、Prolog和F#。备选地，HWR系统114可以是用于与远离所述设备的(比如，服务器或基于云的系统处)、但是可以使用计算设备100的前述通信I/O设备通过通信链路由计算设备100来远程访问的手写识别系统进行通信的方法和系统。此外，应用112和HWR系统114可以一起操作访问存储器108中存储的并在存储器108中处理的信息，例如通过每个系统、或者被组合为单个应用。
在输入表面104上输入的或经由输入表面104输入的笔划由处理器106处理为数字墨水。用户可以用手指或适合于与输入表面一起使用的某种工具(比如，笔或触写笔)来输入笔划。如果正在使用感测输入表面104附近的运动的技术，则用户还可以通过在输入表面104上方做出手势来输入笔划，或者利用计算设备100的外围设备(比如，鼠标或操纵杆)来输入笔划。笔划是至少由笔划开始位置、笔划终止位置和连接笔划开始位置和笔划终止位置的路径来表征的。由于不同的用户自然书写相同对象(例如，字母、形状或符号)会具有轻微变化，因此HWR系统适应每个对象可以在被输入，而且被识别为正确或预期的对象的各种方式。
图8是本地(即，加载在设备100上)或远程(即，可由设备100远程访问)形式的HWR系统114的示例的示意图。HWR系统114包括诸如预处理116、识别118和输出120之类的阶段。预处理阶段116处理数字墨水，以在识别阶段118期间实现更高的精确度并减少处理时间。该预处理可以包括：通过应用大小归一化和/或诸如B样条逼近的方法来对连接笔划开始位置和笔划终止位置的路径进行归一化，以平滑输入。然后，将预处理后的笔划传送到识别阶段118，识别阶段118处理该预处理后的笔划以识别由此形成的对象。然后，将被识别的对象输出120到存储器108和显示器102，作为数字墨水或者手写要素/字符和手绘形状的排版墨水版本。
识别阶段118可以包括不同的处理要素或专家。图9是示出了识别阶段118的示意细节的图8的示例的示意图。示出了分割专家122、识别专家124和语言专家126这三个专家，这三个专家通过动态编程进行协作以产生输出120。
分割专家122定义不同的方式来将输入笔划分割成各个要素假设(例如，字母数字字符和数学运算符、文本字符、独特的形状或子表达式)，以便形成表示(例如，词语、数学公式或形状组)。例如，分割专家122可以通过对原始输入的连贯笔划进行分组来形成要素假设以获得分割图，在该分割图中每个节点与至少一个要素假设相对应，并且要素之间的邻接约束由节点连接处理。备选地，分割专家122可以针对不同的输入类型(比如，文本、绘画、方程式和音乐符号)而采用单独的专家。
识别专家124提供由分类器128提取的特征的分类，并且针对分割图的每个节点输出具有可能性或识别分数的要素候选项列表。存在可以用于解决该识别任务的许多类型的分类器，例如支持向量机、隐马尔可夫模型或神经网络(比如，多层感知器、深度卷积或递归神经网络)。选择取决于任务所需的复杂度、精确度和速度。
语言专家126使用语言模型(例如，语法或语义)为分割图中的不同路径产生语言学含义。专家126根据语言学信息130来检查由其它专家建议的候选项。语言学信息130可以包括词典、正规表达等。语言专家126旨在找到最优识别路径。在一个示例中，语言专家126通过探索语言模型(比如，表示语言学信息130的内容的最终状态自动机(决定论FSA))来实现该目的。除了词典约束之外，语言专家126可以使用统计信息建模来确定给定的要素序列出现在指定语言中或者被特定用户使用的频度如何，以评估分段图的给定路径的解译的语言学似然性。
由本系统和方法提供的应用112允许用户(比如，学生、学术和工作专业人员)创建手写图，并且使用HWR系统114如实地识别那些图，而与所创建的图的类型(例如，流程图、组织架构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔)无关。该列表是非穷尽的，其它类型或非类型的图也是可能的。例如，图1B、图2B、图3B、图4B、图5B和图6B中所示的手绘图的不同要素可以分别被识别，并且还识别这些要素之间的任何空间和上下文关系，而不考虑图的类型。如前所述，这些图表要素包括形状和文本要素。形状或绘画要素是定义线性或非线性配置的图形或几何形态的要素，包括容器、连接符和自由形式的绘画。文本要素是包含文本字符、并且包括文本块和针对文本块和形状要素的标签在内的要素。文本块和标签都可以包含沿一条或多条竖直线提供的一个或多个字符、单词、句子或段落的文本。文本块可以被容器包含(内部文本块)，也可以设置在容器外部(外部文本块)。外部文本块可以与图的容器或其它要素无关，也可以与某些其它图要素直接相关。
此外，本系统和方法提供的应用112允许用户像在纸上那样自由地手绘这样的形状和文本而不会被技术减慢，同时受益于允许捕获对所创建的图的编辑操作的数字工具的能力。特别地，支持编辑，这使得能够移动和操纵形状，以便为新的创意创建空间、改变连接或形状类型、以及处理编辑手势。现在结合图10至图18所示的示例图来描述通过本系统和方法对连接符执行的编辑操作的处理。
图11A示出了对数字墨水框的移动操作，以及对手绘图中的与该数字墨水框相关联的数字墨水连接符的示例结果影响。在图10A中，通过选择手势1001选择了框1000，并且将框1000沿箭头A的方向移动。所选择的框以呈现当前正被选择的选择模式示出。框具有两个相关联的连接符，弯曲的箭头连接符1002和直的箭头连接符1003。图10B中示出了移动操作完成时的调整后的显示，其中连接符1002和1003分别显示为调整后的连接符1002’和1003’。弯曲的连接符1002被调整，其分开的各个臂(即，在弯曲的连接符的“弯头”处连接)在弯头附近被延长。
在图10A中显示为大致竖直的连接符1003被调整为缩短，并且显示为与竖直方向成倾斜角度，如图10B中的调整后的连接符1003’。对连接符的角度进行改变，以便保持连接符的几何图形不变，例如，调整后的连接符1003’呈现为与原始连接符1003一样，大致是直的，并且并不会因框1000的移动而形成为弯曲的。例如，如果针对调整后的连接符1003’来保持连接符1003与框1000和另一框1004的连接点或锚定点不动，则需要这种弯曲。然而，调整连接点是为了保持连接符的几何图形，并且在移动操作期间和之后提供合理的再显示。这可以通过考虑每个连接形状的几何图形的中心来实现。
从图10A中可以看出，应用112确定了框1000和1004以及其它连接框1005和1006的几何图形的中心，如交叉标记B所示。还确定了考虑连接符的几何图形的、在每个几何图形的中心和相关联的连接符之间的连接路径，例如，针对框1000和1005之间的连接符1002所示出的、在弯曲连接符1002的弯头处弯曲的虚线1007。当移动框1000时，所确定的在连接框的几何图形的中心之间的连接路径被调整，以保持在几何图形的中心之间，同时保持路径的几何图形不变，例如，如图10B所示，连接路径1007保持其弯曲的几何图形，并且直线连接符1003的连接路径1008保持其在框1000和1004的重心之间的直线几何图形，以致连接路径1008变得与竖直方向成角度。因此，调整后的弯曲连接符1002’沿着调整后的连接路径1007呈现，并且调整后的连接符1003’沿着调整后的连接路径1008呈现。
图11示出了对数字墨水框和数字墨水连接符的移动操作，以及对手绘图中的数字墨水连接符的示例结果影响。在图11A中，通过选择手势1101选择了框1100，并且将框1100沿箭头C的方向移动。框具有相关联的直线连接符1102。连接符1102是分支连接符1103的一个分支。分支连接符是具有子连接符的复杂(多)连接符，由主干和从主干延伸的分支形成。主干和分支本身也可以是多连接符，例如弯曲或分支的连接符。图11B中示出了移动操作完成时的调整后的显示，其中连接符1102显示为调整后的连接符1102’。在图11A中显示为大致水平的连接符1102被调整为加长，并且显示为与水平方向成倾斜角度，如图11B中的调整后的连接符1102’。
(分支)连接符1102到(主干)连接符1103的连接点未被调整，以便保持用户创建的图的原始关系，而且原因还在于，应用112不知道框1100在经由分支连接符的主干连接的框的层次结构中的位置被改变到相同级别(例如，直接连接到主干)还是更低的级别(例如，连接到其它框中的一个框)。备选地，如果可以确定移动的意图，则可以自动调整连接点。此外，在图11B中，通过选择手势1104选择调整后的连接符1102’，并且将调整后的连接符1102’沿箭头D的方向移动。所选择的调整后的连接符以呈现当前正被选择的选择模式示出。图11B中示出了移动操作完成时的调整后的显示，其中调整后的连接符1102’显示为调整后的连接符1102”。
可以看出，应用112确定了框1100的几何图形的中心，如交叉标记B所示。在图11A中，从该几何图形的中心和主干连接符1103的连接路径如虚线1105所示。当移动框1100时，所确定的这条连接路径被调整为由虚线1105’示出，使得连接符1102保持在从几何图形的中心起始的连接路径上，如图11B所示。当移动连接符1103时，所确定的这条连接路径被调整为由虚线1105”示出，使得连接符1102保持在从几何图形的中心起始的连接路径上，如图11C所示。因此，调整后的连接符1102’沿着连接路径1105’呈现，这导致连接符1102与框1100的边界的连接点从图11A中的点i移动到图11B中的点ii。结果，连接符1102围绕框1100的角1100a移动。因此，调整后的连接符1102”沿着连接路径1105”呈现，这导致连接符1102与框1100的边界的连接点从图11B中的点ii移动回到图11C中的点i。结果，连接符1102围绕框1100的角1100a移动回到原来的地方。
在图10和图11中，连接形状与连接符的连接点相对于形状的几何图形的中心以及中心之间的连接路径移动。这样，在图10和图11的示例中，几何图形的中心被视为连接符的锚定点。这与常规技术不同，在常规技术中，连接点本身被视为容器边界上的锚定点。尽管这种处理在许多编辑操作中没有问题，但在要求用户再次与图要素交互以移动连接点的许多其它情况下会导致不希望的结果。另一方面，本系统和方法的连接点的调整与用户的编辑对象意图(例如，移动对象和调整对象的大小)一致，因为连接本身被遵守而不是连接的参数被遵守。尽管直接使用几何图形的中心来锚定连接符在许多情况下都能提供良好的结果，但更复杂的对象位置变化需要更复杂的连接调整。例如，(直接)使用几何图形的中心一般适用于连接点大致定位于连接对象的边界线中心的连接符，但不太适用于偏移连接点或侧面有多个连接符的对象。现在描述处理这种连接符场景的变换的本系统和方法的技术的示例。
图12示出了对数字墨水框的移动操作，以及对手绘图1200中的与该数字墨水框相关联的数字墨水连接符的示例结果影响。在图12A中，图1200包括通过连接符1206连接的框1202和框1204。在图12B中，框1204相对于框1202移动，由此，连接符的显示被调整为调整后的连接符1206’。可以看出，连接符1206与框1202的连接点i以及连接符1206与框1024的连接点ii分别被调整为调整后的连接符1206’的、在角1202a和1204a附近的连接点iii和iv，其类似于图11。然而，与图11的示例图1100中的连接符不同，图1200的连接符1206不具有位于框1202和1204的边界线中心的连接点，因此不直接锚定到框的几何图形的中心。尽管如此，调整后的连接符的看起来显示很自然，并且尊重用户对图1200的预期编辑。参考图13来说明在移动操作期间成功调整连接点不位于中心的连接符的方式，图13示出了图12的移动操作，其具有图1200的排版形式。这里的图的排版版本仅用于清楚描述的目的，并且以下描述的技术也适用于数字墨水版本。
在图13A中，框1202显示为排版框1202b，框1204显示为排版框1204b，并且连接符1206显示为排版连接符1206b，并且在图13B中，调整后的连接符1206’显示为排版连接符1206b’。图13A示出了由本系统和方法确定和使用的、用于连接点调整的图元素关系的几何特征。这些特征包括：框1202和1204的几何图形的中心B、从连接符1206的任一端进入框中的连接符1206的延长(虚)线1208、通过每个框的几何图形的中心与延长线1208垂直的(虚)线1210，由此将延长线形成为从位于彼此平行的法线1210上的点E起始的连接路径。应注意的是，在附图中提供针对几何图形的中心和关系线的图示标记仅用于说明目的，并且应用112通常不向用户显示这些图示标记。然而，应用112的UI可以向用户提供显示这种标记以供参考的能力，例如在编辑操作期间。
在图13B中，与图1200的调整后的显示相关地示出这些标记。可以看出，当由于框1204的移动而被调整时，调整后的连接符1206b’呈现在连接路径1208上。在进行该调整时，法线1210保持为经过几何图形的中心B，但是根据框1202和1204的新的相对位置x和y而旋转。通过该旋转，将点E保持在法线1210上，分别针对框1202和1204的、点E和几何图形的中心B之间的距离F和G也保持在法线1210上。
因此，通过图12和图13的示例的技术，针对偏移于连接对象的几何图形的中心的非中心定位的连接符，确定了连接路径，因此参照几何图形的中心间接地完成了连接点位置的调整。用于该转变技术的几何特征适用于图12和图13的单个连接符示例。然而，涉及多连接符的情况可能需要考虑附加或不同的几何特征。
图14示出了对数字墨水框的移动操作，以及对手绘图中的与该数字墨水框相关联的平行的数字墨水连接符的示例结果影响。在图14A中，响应检测到选择手势1401而选择框1400，并且将框1400沿箭头H的方向移动。框具有两个相关联的连接符，第一连接符1402和第二连接符1403，这两个连接符都具有大致直线的几何图形并且大致彼此平行。图14B中示出了移动操作完成时的调整后的显示，其中连接符1402和1403显示为调整后的连接符1402’和1403’。在图14A中显示为大致水平的连接符1402和1403被调整为加长，并且显示为与水平线成倾斜角度(如调整后的连接符1402’和1403’所示)，同时保持大致平行的对齐。
与图10的示例不同，从框1400的几何图形的中心B到连接框1404的几何图形的中心B的路径不经过平行对齐的连接符1402和1403。因此，在移动操作中，通过确定平行连接符的公共连接路径来遵守连接符的大致平行对齐，该公共连接路径大致平行于大致在平行连接符之间中部的连接符延伸。当移动框1400时，公共连接路径被调整为保持在几何图形的中心之间同时保持路径的几何图形不变，例如如图14B中所示，公共连接路径1405保持其在框1400和1404的几何图形的中心之间的直线几何图形，由此其变得与水平线成角度。调整后的连接符1402’和1403’沿着调整后的公共连接路径1405呈现，以保持原始连接符1402和1403彼此之间的平行分隔。
像图10和图11的示例一样，图14的平行连接符大致位于连接对象的中心，因此如前面所讨论的，直接锚定几何图形的中心，尽管通过构建到该几何图形的中心的公共连接路径是合适的。图15示出了对排版墨水框的移动操作，以及对排版手绘图1500中的与该排版墨水框相关联的平行的排版墨水连接符的示例结果影响。
在图15A中，排版框1502和1504通过排版平行连接符1506和1508连接，并且在图15B中，相对于框1502移动框1504，因此，连接符1506和1508被调整为调整后的排版连接符1506’和1508’。可以看出，平行连接符1506和1508与框1502的连接点i、以及与框1504的连接点ii偏移了框的几何图形的中心。如图14的示例那样，应用112针对平行连接符1506和1508确定公共连接路径1510；然而，使用图12和图13的技术，该公共路径1510偏移了框1502和1504的几何图形的中心B。因此，在框1504的移动操作中，遵守连接符的大致平行对齐，其中根据偏移来调整公共连接路径1510，并且沿着该调整后的路径呈现调整后的连接符1506’和1508’，以保持原始连接符1506和1508的彼此平行分隔，并且使调整后的连接点iii和iv分别与框1502和1504偏移。
通过对上述调整技术进行修改，也可以处理更复杂的多连接符场景。图16示出了对数字墨水框的移动操作，以及对手绘图1600中的与该数字墨水框相关联的数字墨水连接符的示例结果影响，图17示出了在图1600的排版形式下的这些移动操作。在图16A中，图1600包括通过连接符1606和1608连接的框1602和1604。可以看出，连接符1606和1608不是如图15的示例图中的那样是平行的，它们是交叉的。在图16B中，框1604相对于框1602移动，由此，连接符的显示被调整为保持交叉的调整后的连接符1606’和1608’。在图16C中，框1604相对于框1602进一步移动，由此，调整后的连接符的显示被调整为依然保持交叉的调整后的连接符1606”和1608”。图1600中的交叉连接符的布置相比于针对图16A至图16C执行的全部移动操作更加复杂，如以下参考图17所述，其中图17示出了在图1600的排版形式下的图16的移动操作。
在图17A中，框1602显示为排版框1602b，框1604显示为排版框1604b，连接符1606显示为排版连接符1606b，并且连接符1608显示为排版连接符1608b。在图17B中，调整后的连接符1606’显示为排版连接符1606b’，并且调整后的连接符1608’显示为排版连接符1608b’。在图17C中，调整后的连接符1606”显示为排版连接符1606b”，并且调整后的连接符1608”显示为排版连接符1608b”。
图17A示出了由本系统和方法确定和使用的、用于连接点调整的图元素关系的几何特征。这些特征包括：框1602和1604的几何图形的中心B；从连接符1606在框1602的边界上的连接点I1投影到框1602中的连接符1606的(虚)线1710；从连接符1608在框1602的边界上的连接点J1投影到框1602中的、与投影线1710平行的连接符1608的(虚)线1712；与投影线1710和1712正交并且经过框1602的几何图形的中心B和投影线1710和1712上的点E的(虚)线1714；从连接符1606在框1604的边界上的连接点I2投影到框1604中的连接符1606的悬垂(虚)线1716；从连接符1608在框1604的边界上的连接点J2投影到框1604中的、与投影线1706平行的连接符1608的(虚)线1718；与投影线1716和1718垂直，并且经过框1604的几何图形的中心B和投影线1716和1718上的点E而平行于法线1714的(虚)线1720。
基于所连接的最靠近框的几何图形的中心的连接符连接到该框的角度来确定投影线的方向，由此可以确定出平行的法线。可以使用不同的准则来设置参考方向，例如，如图所示，连接几何图形的中心B的线(连接路径)与线1714之间的(双)角。在图16和图17的示例中，由于连接符1606是最靠近框1602的几何图形的中心连接的，因此将连接符1606用作参考。因此，使用与框1602的边界线所成的角K，如图17A中所示。备选地，使用(双)角，这样做将这些参数与框的形状分开，框的形状可以是圆形或非规则形状。投影线1712(以及因此投影线1710、1716和1718)的方向被设置为与(虚)线1722成相同的角K，(虚)线1722在连接点J1处与连接符1606垂直。
在图17B中，与图1600的调整后的显示相关地示出这些特征标记。如图所示，调整后的连接符1606b’被呈现为分别与框1602和1604连接在连接点I3和I4处，并且调整后的连接符1608b’被呈现为分别与框1602和1604连接在连接点J3和J4处。在进行该调整时，法线1714和1720保持为经过几何图像的中心B，但是根据框1602和1604的新的相对位置x和y而旋转。如上设置的那样或者通过保持法线1714与几何图形的中线B之间的连接路径之间的角度，通过这种旋转，保持了投影线1710、1712、1716和1718与法线1714和1720的垂直方向，也保持了分别在框1602和框1604中的点E之间的距离L和M。
在图17C中，与图1600的调整后的显示相关地示出这些特征标记。如图所示，调整后的连接符1606b”被呈现为分别与框1602和1604连接在连接点I5和I6处，并且调整后的连接符1608b”被呈现为分别与框1602和1604连接在连接点J5和J6处。在进行该调整时，法线1714保持为经过框1602的几何图像的中心B，但是根据框1602和1604的新的相对位置x和y而旋转。然而，在该旋转期间，投影线1710的点E将位于框1602的外部。因此，投影线1710的点E被移位到法线1714上的点E’，导致将距离L缩短成框1602中的点E和E’之间的距离L’。将在连接符1606的另一端处的投影线1716的点E按照一定比例量移位到点E’，以便保持连接符1606和1608的相对几何图形。也就是说，距离M被缩短为在框1604中的点E和E’之间的距离M’。基于框1602和1604的相对尺寸(例如，框在y方向上的宽度)来确定移位的比例。应注意的是，法线1720没有被示出为经过框1604的几何图形的中心，然而，由于法线1714和1720保持平行，即使法线1720经过该中心，也将获得相同的几何图形。如上设置的那样或者通过保持法线1714与几何图形的中线B之间的连接路径之间的角度，通过这种旋转，保持了投影线1710、1712、1716和1718与法线1714和1720的垂直方向。
因此，通过图16和图17的示例的技术，针对偏移于连接对象的几何图形的中心的非中心定位的交叉连接符，确定了连接路径，因此参照几何图形的中心间接地完成了连接点位置的调整。此外，连接点根据该偏移而移位，以便使连接符合理地连接到对象，从而允许用户完全自由地移动对象。事实上，可以理解的是，针对中心定位连接符的情况的技术与非中心定位的情况类似，其中对于中心定位的情况，连接符在连接路径上的偏移为零，对于非中心定位的情况，相对于几何图形的中心产生的在连接路径上的偏移不为零。
尽管前文已经描述了被视为是最佳实施方式的内容和/或其它示例，但是应当理解：可以在本发明中进行各种修改，并且可以以各种形式和示例来实现本文中所公开的主题，并且最佳实施方式的内容和/或其它示例可以应用于多个其它应用、组合和环境中，这里仅描述了其中的一些。本领域普通技术人员将认识到，在不脱离本主题的真实精神和范围的情况下，可以改变或修改所公开的方案。因此，主题不限于本说明书中的具体细节、展示和示例。本文旨在保护落入本文所公开的优势概念的真实范围内的任何和所有修改和变化。
权利要求书(按照条约第19条的修改)
1.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：
使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
2.根据权利要求1所述的系统，其中，所述至少一个连接符是基于所述连接符的特性和所述图要素之间的位置关系来识别的。
3.根据权利要求1或2所述的系统，其中，所识别的至少一个连接符的几何特性与所连接的图要素的几何特征之间的连接路径相关。
4.根据权利要求3所述的系统，其中，所述几何特征包括所连接的图要素的几何中心。
5.根据权利要求4所述的系统，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
6.根据权利要求5所述的系统，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
7.根据权利要求1至6中任一项所述的系统，其中，所述交互式墨水是数字墨水。
8.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
9.根据权利要求8所述的方法，包括：基于所述连接符的特性和所述图要素之间的位置关系来识别所述至少一个连接符。
10.根据权利要求8或9所述的方法，其中，所识别的至少一个连接符的几何特性与所连接的图要素的几何特征之间的连接路径相关。
11.根据权利要求10所述的方法，其中，所述几何特征包括所连接的图要素的几何中心。
12.根据权利要求11所述的方法，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
13.根据权利要求12所述的方法，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
14.根据权利要求8至13中任一项所述的方法，其中，所述交互式墨水是数字墨水。
15.一种非暂时性计算机可读介质，其中体现有计算机可读程序代码，所述计算机可读程序代码适合于被执行以实现用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
16.根据权利要求15所述的非暂时性计算机可读介质，包括：基于所述连接符的特性和所述图要素之间的位置关系来识别所述至少一个连接符。
17.根据权利要求15或16所述的非暂时性计算机可读介质，其中，所识别的至少一个连接符的几何特性包括所连接的图要素的几何特征之间的连接路径。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述几何特征包括所连接的图要素的几何中心。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
21.根据权利要求15至20中任一项所述的非暂时性计算机可读介质，其中，所述交互式墨水是数字墨水。

Claims (21)

1.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：
使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
2.根据权利要求1所述的系统，其中，所述至少一个连接符是基于所述连接符的特性和所述图要素之间的位置关系来识别的。
3.根据权利要求1或2所述的系统，其中，所识别的至少一个连接符的几何特性与所连接的图要素的几何特征之间的连接路径相关。
4.根据权利要求3所述的系统，其中，所述几何特征包括所连接的图要素的几何中心。
5.根据权利要求4所述的系统，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
6.根据权利要求5所述的系统，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
7.根据权利要求1至6中任一项所述的系统，其中，所述交互式墨水是数字墨水。
8.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
9.根据权利要求8所述的方法，包括：基于所述连接符的特性和所述图要素之间的位置关系来识别所述至少一个连接符。
10.根据权利要求8或9所述的方法，其中，所识别的至少一个连接符的几何特性与所连接的图要素的几何特征之间的连接路径相关。
11.根据权利要求10所述的方法，其中，所述几何特征包括所连接的图要素的几何中心。
12.根据权利要求11所述的方法，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
13.根据权利要求12所述的方法，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
14.根据权利要求8至13中任一项所述的方法，其中，所述交互式墨水是数字墨水。
15.一种非暂时性计算机可读介质，其中体现有计算机可读程序代码，所述计算机可读程序代码适合于被执行以实现用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：
在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；
将至少一个图要素识别为连接多个图要素的连接符；
确定所识别的至少一个连接符的几何特性；以及
基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。
16.根据权利要求15所述的非暂时性计算机可读介质，包括：基于所述连接符的特性和所述图要素之间的位置关系来识别所述至少一个连接符。
17.根据权利要求15或16所述的非暂时性计算机可读介质，其中，所识别的至少一个连接符的几何特性包括所连接的图要素的几何特征之间的连接路径。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述几何特征包括所连接的图要素的几何中心。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。
21.根据权利要求15至21中任一项所述的非暂时性计算机可读介质，其中，所述交互式墨水是数字墨水。
CN201680074089.3A 2015-10-19 2016-10-18 用于识别手写图连接符的系统、方法及计算机可读介质 Active CN108475325B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15290269.8 2015-10-19
EP15290269 2015-10-19
US14/955,174 US10417491B2 (en) 2015-10-19 2015-12-01 System and method for recognition of handwritten diagram connectors
US14/955,174 2015-12-01
PCT/EP2016/001722 WO2017067653A1 (en) 2015-10-19 2016-10-18 System and method for recognition of handwritten diagram connectors

Publications (2)

Publication Number Publication Date
CN108475325A true CN108475325A (zh) 2018-08-31
CN108475325B CN108475325B (zh) 2022-04-12

Family

ID=54477975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074089.3A Active CN108475325B (zh) 2015-10-19 2016-10-18 用于识别手写图连接符的系统、方法及计算机可读介质

Country Status (6)

Country Link
US (1) US10417491B2 (zh)
EP (1) EP3365835A1 (zh)
JP (1) JP6820919B2 (zh)
KR (1) KR102428704B1 (zh)
CN (1) CN108475325B (zh)
WO (1) WO2017067653A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726015A (zh) * 2018-12-19 2019-05-07 福建天泉教育科技有限公司 一种基于状态机的多端画板同步方法及终端
CN111382778A (zh) * 2018-12-29 2020-07-07 达索系统公司 形成用于推测实体cad特征的数据集

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034052A1 (ja) * 2016-08-19 2018-02-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20180173688A1 (en) * 2016-12-15 2018-06-21 Myscript System and method for management of handwritten diagram connectors
CA2999099C (en) * 2017-11-07 2023-02-14 Tata Consultancy Services Limited Method and system for extracting information from hand-marked industrial inspection sheets
EP4130966A1 (en) 2019-11-29 2023-02-08 MyScript Gesture stroke recognition in touch-based user interface input
CN113345051B (zh) * 2020-02-18 2024-10-18 北京沃东天骏信息技术有限公司 对图元进行排版的方法、装置、计算设备及介质
CN112598092B (zh) * 2020-12-18 2022-10-18 湖南特能博世科技有限公司 图元识别匹配方法、装置、计算机设备及可读存储介质
WO2022147780A1 (en) * 2021-01-08 2022-07-14 Pricewaterhousecoopers Llp Automated flow chart generation and visualization system
EP4086744B1 (en) 2021-05-04 2024-02-21 MyScript Gesture stroke recognition in touch-based user interface input

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062463A1 (en) * 2004-09-21 2006-03-23 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
WO2009117810A1 (en) * 2008-03-28 2009-10-01 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US7904810B2 (en) * 2004-09-21 2011-03-08 Microsoft Corporation System and method for editing a hand-drawn list in ink input
CN103400109A (zh) * 2013-07-10 2013-11-20 西安交通大学 一种手绘草图离线识别与整形方法
US20140328540A1 (en) * 2013-05-03 2014-11-06 Microsoft Corporation Sketch Segmentation
US20150286886A1 (en) * 2014-04-04 2015-10-08 Vision Objects System and method for superimposed handwriting recognition technology

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749020B2 (ja) 1991-11-14 1998-05-13 日立ソフトウエアエンジニアリング株式会社 ダイアグラム認識システム
JPH0652243A (ja) * 1992-07-30 1994-02-25 Toshiba Corp 図面入力・処理装置
DE69428675T2 (de) 1993-12-30 2002-05-08 Xerox Corp Apparat und Verfahren zur Unterstützung einer impliziten Strukturation von Freiform-Listen, Übersichten, Texten, Tabellen und Diagrammen in einem auf Handzeichen basierenden Eingabesystem und Editiersystem
CA2390506C (en) 2002-06-12 2013-04-02 Smart Technologies Inc. System and method for recognizing connector gestures
US7324691B2 (en) 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US7352902B2 (en) 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7400771B2 (en) 2004-09-21 2008-07-15 Microsoft Corporation System and method for connected container recognition of a hand-drawn chart in ink input
US7394935B2 (en) 2004-09-21 2008-07-01 Microsoft Corporation System and method for editing a hand-drawn chart in ink input
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US20140313216A1 (en) 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062463A1 (en) * 2004-09-21 2006-03-23 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
US7904810B2 (en) * 2004-09-21 2011-03-08 Microsoft Corporation System and method for editing a hand-drawn list in ink input
WO2009117810A1 (en) * 2008-03-28 2009-10-01 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
CN101981583A (zh) * 2008-03-28 2011-02-23 智能技术Ulc公司 用于识别手绘表格的方法和工具
US20140328540A1 (en) * 2013-05-03 2014-11-06 Microsoft Corporation Sketch Segmentation
CN103400109A (zh) * 2013-07-10 2013-11-20 西安交通大学 一种手绘草图离线识别与整形方法
US20150286886A1 (en) * 2014-04-04 2015-10-08 Vision Objects System and method for superimposed handwriting recognition technology

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIEL CHIVERS, PETER RODGERS: "Gesture-Based Input for Drawing Schematics on a Mobile Device", 《2011 15TH INTERNATIONAL CONFERENCE ON INFORMATION VISUALISATION》 *
GEM STAPLETON等: "Combining Sketching and Traditional Diagram Editing Tools", 《ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726015A (zh) * 2018-12-19 2019-05-07 福建天泉教育科技有限公司 一种基于状态机的多端画板同步方法及终端
CN111382778A (zh) * 2018-12-29 2020-07-07 达索系统公司 形成用于推测实体cad特征的数据集

Also Published As

Publication number Publication date
CN108475325B (zh) 2022-04-12
JP2018536928A (ja) 2018-12-13
US20170109579A1 (en) 2017-04-20
US10417491B2 (en) 2019-09-17
EP3365835A1 (en) 2018-08-29
KR20180098533A (ko) 2018-09-04
JP6820919B2 (ja) 2021-01-27
WO2017067653A1 (en) 2017-04-27
KR102428704B1 (ko) 2022-08-02

Similar Documents

Publication Publication Date Title
US11157732B2 (en) System and method of handwriting recognition in diagrams
CN108475325A (zh) 用于识别手写图连接符的系统和方法
US11740783B2 (en) System and method of guiding handwriting diagram input
CN109690462B (zh) 管理手写图连接符的系统和方法
CN108700994A (zh) 用于数字墨水交互性的系统和方法
JP7388645B2 (ja) グラフィックオブジェクトを選択するための方法及び対応するデバイス
CN106663189A (zh) 用于叠加的笔迹的识别技术的系统和方法
CN109564656A (zh) 用于协同墨水管理的系统和方法
CN108369637A (zh) 用于美化数字墨水的系统和方法
WO2018109084A1 (en) System and method for management of handwritten diagram connectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant