CN105264517B - 用于文本表示转换的墨水 - Google Patents

用于文本表示转换的墨水 Download PDF

Info

Publication number
CN105264517B
CN105264517B CN201480029496.3A CN201480029496A CN105264517B CN 105264517 B CN105264517 B CN 105264517B CN 201480029496 A CN201480029496 A CN 201480029496A CN 105264517 B CN105264517 B CN 105264517B
Authority
CN
China
Prior art keywords
ink
text
input
content
ink input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480029496.3A
Other languages
English (en)
Other versions
CN105264517A (zh
Inventor
M·伊莎贝尔
T·戴维斯
M·范德克科霍夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105264517A publication Critical patent/CN105264517A/zh
Application granted granted Critical
Publication of CN105264517B publication Critical patent/CN105264517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

一般提供了用于将手写墨水输入转换为文本注释的技术。用户可以向计算设备上显示的内容提供手写的墨水输入以编辑和标记内容。墨水输入可以采用触摸和电子触笔在计算设备的用户界面上提供以编辑内容。可以处理墨水输入以标识评论的插入、文本的删除,并且标识标记符号和形状的插入。墨水输入可以基于墨水输入的上下文以及语法和校对分析来被转换成文本注释。文本注释可以被显示在注释视图中。墨水输入可以在预定义的时间段之后以及在检测到选择转换按钮以激活墨水输入的转换之际被定期转换。

Description

用于文本表示转换的墨水
背景技术
移动计算已经转变了跨多个市场的媒体消耗。跨产品世代的小型化已使更多功能能被较小设备所实现。用户可以查看诸如智能电话和平板这样的较小计算设备上的文档以及与所述文档交互。一些较小的计算设备启用采用手指和电子笔的触摸交互以便提供在计算设备上查看的内容上的手写输入。用户可以提供内容并且用其自己的手写内容来注释和标记较小计算设备上查看的现有内容,且手写内容以及形状因子可以被显示在计算设备的界面上。手写是一种自然输入方法――它是人们可以无须思考就完成的方法,它可以是优选的,因为它使人们对内容进行思考,而不是对他们用来读取和/或注释内容的软件进行思考。
发明内容
提供该概述以便以简化形式介绍概念的选集,所述概念在以下详细描述中被进一步描述。该概述不意图专门标识所要求保护的主题的关键特征或基本特征,也不意图帮助确定所要求保护的主题的范围。
各实施例针对将手写的墨水输入转换成计算设备上显示的内容上的文本表示。用户可以向计算设备上显示的内容提供手写的墨水输入以编辑和标记内容。墨水输入可以通过计算设备的用户界面上的手势来提供以编辑内容。墨水输入可以包括评论和文本的插入、文本的删除、以及标记符号和形状的插入。墨水输入可以基于内容上墨水输入的上下文以及语法和校对分析来被转换成文本注释。墨水输入也可以被显示在内容的注释视图中。此外,墨水输入可以在预定义的时间段之后以及在检测到选择转换按钮以激活墨水输入的转换之际被定期转换。
从阅读以下详细描述及查看相关附图后,这些及其他特征和优点将显而易见。应当理解,以上一般描述及以下详细描述两者均是说明性的,而 不限制所要求保护的各方面。
附图说明
图1示出根据一些实施例的启用墨水输入的插入以及向文本注释的转换的示例计算设备;
图2示出根据各实施例的标记文档以及标记文档的文本注释的示例视图;
图3示出根据各实施例的用于启用内容插入的示例评论窗格;
图4示出根据各实施例的标记视图和注释视图的示例的并排显示;
图5是其中可实现根据各实施例的系统的联网环境;
图6是其中可实现各实施例的示例计算操作环境的框图;以及
图7示出根据各实施例的用电子阅读器中的注释来转换墨水内容的过程的逻辑流程图。
具体实施方式
如上简述,手写墨水输入可以被应用于计算设备的用户界面上显示的内容,且墨水输入可以被转换为文本注释。墨水输入可以通过触摸、手势、键盘、鼠标、笔、眼睛跟踪或类似输入被提供至计算设备的用户界面以编辑内容。墨水输入可以包括评论和文本的插入、文本的删除、以及标记符号和形状的插入。墨水输入可以基于内容上墨水输入的上下文以及语法和校对分析来被转换成文本注释以进行呈现。
在以下详细描述中,参照形成该详细描述的一部分的附图,附图通过图解方式示出具体的实施例或示例。这些方面可以被组合,可以使用其他方面,并且可以作出结构上的变化,而不背离本公开的范围。因此,以下详细描述并非是限制性意义的,本公开的范围由所附权利要求及其等价物所限定。
尽管各实施例将在结合一应用程序执行的程序模块的一般上下文中描述,其中所述应用程序在计算设备上的操作系统上运行,但是本领域的技术人员将认识到,各方面也可以与其他程序模块组合实现。
一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例 程、程序、组件、数据结构及其他类型的结构。此外,本领域的技术人员将理解,各实施例可以用其他计算机系统配置来实现,包括手持设备、多处理器系统、基于微处理器的或可编程的消费者电子设备、小型计算机、大型计算机及类似的计算设备。各实施例也可以在分布式计算环境中实现,在分布式计算环境中,多个任务由通过通信网络链接的远程处理设备来执行。在分布式计算环境中,程序模块可位于本地和远程的存储器存储设备两者中。
各实施例可以被实现为计算机实现的进程(方法)、计算系统、或者作为制品,诸如计算机程序产品或计算机可读介质。计算机程序产品可以是可由计算机系统读取的计算机存储介质,所述计算机存储介质对包括指令的计算机程序进行编码,所述指令用于使计算机或计算系统执行(多个)示例进程。计算机可读存储介质是计算机可读存储器设备。计算机可读存储介质可以例如经由以下的一者或多者来实现:易失性计算机存储器、非易失性存储器、硬驱、闪驱、软盘或压缩盘及类似的介质。
在该说明书通篇,术语“平台”可以是用于将墨水输入转换成文本注释的软件和硬件组件的组合。平台的示例包括、但不限于:在多个服务器上执行的托管服务、在单个计算设备上执行的应用、及类似的系统。术语“服务器”一般是指一般在联网环境中执行一个或多个软件程序的计算设备。然而,服务器也可以被实现为在一个或多个计算设备上执行的虚拟服务器(软件模块),所述虚拟服务器被视为网络上的服务器。以下提供了关于这些技术和示例操作的更多细节。
图1示出根据一些实施例的启用墨水输入的插入以及向文本表示的转换的示例计算设备。示意图100中所示的组件和环境用于说明目的。各实施例可以在各种本地的、联网的、基于云的以及采用各种计算设备和系统、硬件和软件的类似计算环境中实现。
诸如平板102这样的计算设备可以托管向用户108提供内容106的应用。设备102可允许用户与内容106交互。其他提供内容106并允许与内容交互的计算设备可以包括智能电话112、阅读器设备110以及膝上型电 脑。提供内容106的示例应用可以是字处理应用、电子表格应用、演示应用、web浏览器应用、电子阅读器应用以及类似应用。应用可以是本地安装和执行的应用。应用也可以通过有线或无线网络接收和提供内容106。
内容106可以是任何类型的可消耗数据,包括但不专门是文本、音频、视频、图形及类似物。内容106也可以包括以标准化格式(例如,ePub、HTML、XHTML等)表示的媒体组合。内容106可由托管内容106以供服务和设备所消耗的内容服务器提供。
在计算设备102处执行的应用可以被配置成允许用户108与计算设备102的用户界面交互以提供和编辑内容106。例如,用户可以采用各种输入方法来与内容106交互,各种输入方法包括任选的手势捕捉、陀螺输入设备、鼠标、键盘、眼睛跟踪输入以及类似的基于软件和/或硬件的技术。此外,计算设备可以是启用触摸的设备,所述启用触摸的设备被配置成识别由交互式触笔120、电子笔和手指触摸104所提供的触摸和手势输入,用于在计算设备上与内容交互、编辑内容以及提供内容。
在示例实施例中,用户108可以采用各输入方法在计算设备102上提供手写的输入内容和标记,所述输入方法诸如基于触摸和笔的输入,用于类似于用户108会采用铅笔和纸来标记文档那样标记内容。例如,用户120可以插入和删除内容、添加评论和备注、以及圈出、下划线和划掉内容。采用基于触摸和/或笔的输入的计算设备102上的手写内容输入可以被称为墨水,即数字墨水。在根据各实施例的系统中,手写墨水输入可以采用墨水检测和手写识别而被转换成文本注释。文本注释可以被无缝地集成到文档的注释视图中。文本注释可以包括手写评论以及新插入内容的注释,并且也可以包括对内容的变化,诸如删除格式以及样式变化。
图2示出根据各实施例的标记文本以及标记文本的文本注释的示例视图。示意图200说明了示例平板202和示例平板220,所述示例平板202显示用手写墨水输入注释的内容,所述示例平板220显示将手写墨水输入转换成文档上的文本注释。
在根据各实施例的系统中,诸如平板202这样的计算设备可以向用户 显示内容,诸如字处理文档。用户可以标记和编辑文档。例如,用户可以在文档上添加备注和评论214,对内容进行打圈214、下划线206和划掉208,以及插入新内容204、210。用户对文档的手写标记和编辑可以被称为数字墨水或墨水输入。文档可由诸如文字处理应用这样的应用所提供。应用可以被配置成识别墨水输入并且将墨水输入转换成文本注释。文本注释可以与文档无缝集成以便将用户的标记和编辑结合到文档中。墨水输入到文本注释的转换可由应用促成。替代地,转换可由单独应用促成,所述单独应用被配置成检测计算设备上显示的内容上的墨水输入并将所述墨水输入转换成文本注释。
在示例实施例中,经转换的文本注释可以被锚定至由用户所注释的底层内容的一部分。经转换的文本注释可以与内容的所注释部分相关联以反映用户的编辑。在示例场景中,用户可以提供墨水输入作为被插入在文档的多个文本行之间以及文档的页边空白内的评论214和备注。用户可以通过绘制线条、圆圈、下划线或类似手势来将评论214链接212或以其他方式关联至文本的一部分。当手写评论被转换成文本注释时,文本注释可以被锚定至用户所注释的文本部分。
在另一示例场景中,用户可以在文档的页边空白内插入手写评论214。用户可以在与评论214相关联的内容的一部分上绘制线条和圆圈213。当手写评论214被转换成文本注释时,注释可以被显示在评论框234中。评论框234可以用锚235附接至文本的相关联部分。替代地,应用可以检测到诸如指令217这样的墨水输入以对内容作出变化。指令217可以响应于检测到用户将指令217绑定至212内容的一部分,与内容的所述一部分相关联。通过搜索存储指令及相关联动作的数据存储器,指令217可以与动作匹配。接着,响应于将指令转换为相关联的动作,与指令217相关联的动作可以被应用于内容的所述部分232。
如上所述,手写墨水输入可以包括插入在文档上任何位置的备注和评论214,诸如在多个文本行之间以及在页边空白中。墨水输入也可以包括符号和标记以指示编辑和标记。例如,用户可以划掉208文本以指示文本的 删除,且用户可以插入克拉216或具有附随评论的类似符号以便在期望位置处插入文本。此外,用户可以插入诸如下划线文本206这样的格式化和样式化符号以及插入的标点符号和着重号以指示期望的格式化和样式编辑。应用可以被配置成分析墨水输入以标识手写文本并且基于上下文将手写文本与形状和符号区分开来。该区分可允许应用标识出自打圈的字延伸的行可以意指指向手写评论的箭头。而且,应用可以被配置成分析手写评论的上下文并且基于手写评论的上下文来将手写评论转换为文本注释。例如,应用可以将文档上的手写评论214与要被插入在文档内的内容区分开来,并且也将文档上的手写评论214与要作为用于编辑内容的指令217的评论区分开来。
在进一步的示例实施例中,应用可以被配置为基于墨水输入的上下文来解释用户的意图。应用可以采用语法和证明工具来确定用户的墨水输入是否在内容的上下文中行得通。例如,当检测到内容的删除和/或插入时,应用可以确认变化不会产生语法不正确或无意义的句子。如果检测到潜在问题,则应用可以将墨水输入转换为可解决潜在问题的建议的文本注释,并且可以允许用户接受或拒绝建议的文本注释。
在还有另一示例场景中,如果用户的意图是模糊的,则应用可以基于墨水输入的上下文来建议经转换的文本注释的安置。例如,用户可以将内容204、210插入到平板202上显示的文档上。用户可能不包括所插入的内容204、210的实际意图安置的箭头、线条或其他指示。当所插入的内容204、210被转换为文本注释时,应用可以基于内容的上下文推断和建议安置,并且可以将内容224、220自动插入平板220上显示的文档内的所建议位置。用户可能能够接受、拒绝或改变所建议的安置。此外,在用户对内容一部分的安置和/或编辑的意图模糊或不清晰的场合中,应用可以表示两个或更多个所建议的文本注释并且可允许用户接受建议。
在根据各实施例的系统中,墨水输入到文本注释的转换可以是在计算设备上执行的内容应用的连续活动特征。应用可以被连续配置成检测墨水输入并且将墨水输入转换成文本注释。此外,墨水输入检测可以在检测到 输入设备之际被触发,所述输入设备诸如触笔、电子笔或手指,所述输入设备被配置成向计算设备的用户界面提供墨水输入。而且,用户可以通过选择在用户期望的任何时刻开启应用的墨水检测和转换特征来发起墨水输入转换会话。
在一些实施例中,墨水输入可以在用户已完成编辑整个文档之后被转换为文本注释。可能期望向用户提供定期反馈以便允许用户回顾转换并且纠正错误。在示例实施例中,对文本注释的墨水输入可以被定期转换和限制,以便向用户提供反馈以允许用户回顾经转换的文本注释。例如,墨水输入可以在检测到每一个评论或变化之后被自动转换为文本注释用于向用户提供即时反馈。与手写墨水输入的文本标注有关的即时反馈可以允许用户按需作出校正。
在一些其他实施例中,墨水输入可以在一段预定义时间之后或者在检测到不活动的一段时间之后被自动转换为文本注释。用户可能能够通过选择文档上提供的转换按钮240来主动选择将输入墨水转换为文本注释。转换按钮240可以使用户在用户的墨水输入被转换为文本注释时进行控制。此外,在墨水输入转换为文本注释之后,应用可以保留原始的墨水输入,以使用户可能能在文档的包括手写墨水输入的标记版本以及文档的包括经转换文本注释的最终版本之间来回切换242。
图3示出根据一些实施例的用于启用内容插入的示例评论窗格。如上所述,用户可以在计算设备上查看的文档的多行之间以及文档的页边空白中插入手写评论。
在示例实施例中,如示意图300所示,可以提供评论窗格308以允许用户在文档上插入评论。显示内容的应用可以检测到在用户想要插入评论的文档一部分上选择的用户动作306。响应于选择的检测,评论窗格308会出现。在示例场景中,响应于检测到用户动作306,应用可以显示控制按钮304以允许用户加载评论窗格。在控制按钮304的选择之际,可以显示评论窗格308。评论窗格308可以被显示在文档上的预定义位置(即:页面底部或者文档的页边空白中)处。或者,评论窗格308可以被显示为在内 容一部分上的弹出窗格。用户可被允许定制评论窗格308的位置和出现。当用户完成手写评论到评论窗格308中的插入时,评论窗格308可以被关闭,且如前所述,手写评论可以被转换为文本注释并且被结合到文档中。
图4示出根据各实施例的标记视图和注释视图的示例的并排显示。如前所述,用户可以查看诸如平板402等计算设备上的文档,且用户可以在计算设备的用户界面上用手写墨水输入来注释文档。手写墨水输入可以被转换以提供手写墨水输入的文本注释。
如示意图400所示,用户可以与文档的显示经转换文本注释的注释版本406并排地查看文档的包括手写墨水输入的标记版本404。标记版本404和注释版本406可以在诸如平板402这样的计算设备的用户界面上并排显示。替代地,标记版本404和注释版本406可以在不同设备上被查看。例如,分布式应用可以在平板402显示标记版本404,且应用的实例可以在诸如膝上型电脑、台式机或其他显示器等另一设备上显示注释版本406。当标记版本404和注释版本406被同时查看时,手写墨水输入可以被连续转换为文本注释并且表示在注释版本406上以便向用户提供立即反馈。
在示例实施例中,标记版本404可以显示原始内容和用户所提供的手写墨水输入。注释版本406可以提供跟踪变化视图,在所述跟踪变化视图中,与文本注释相关联的变化可以被显示并且与原始内容区分开来。也可以提供最终视图,其中文本注释可以与原始内容无缝地集成。例如,在跟踪变化视图中,可以采用诸如彩色编码这样的图形方案来显示文本注释。文本注释可以与原始内容以不同颜色显示以区分用户的注释。可以允许用户切换至最终视图,且注释可以与原始文档以相同颜色显示以表示文档的最终版本可能看上去的样子。
在另一示例实施例中,当用户在文档上提供手写墨水输入时,文档可以调整以增加间距420以便为用户提供更多空间以输入手写评论。也可以调整文档的其他布局选项以便为用户提供更多空间以输入评论,诸如增加页边空白以及显示最小文本尺寸。当用户终止提供手写墨水输入时,文档可以调整为默认布局设置。
在还有另一示例实施例中,应用可以存储与一个或多个用户所提供的墨水输入相关联的历史数据。历史数据可以基于上下文属性来分析,所述上下文属性诸如用户凭证、用户优选项、组织规则、地区设置以及类似属性。历史数据可由应用用来预测用户的后续墨水输入。响应于检测到部分墨水输入,应用可以将部分墨水输入与历史数据中的墨水输入匹配。一个或多个匹配的墨水输入建议可以被提供给用户。替代地,应用可以用匹配的墨水输入自动完成所述部分墨水输入。在还有另一替代的实施例中,应用可以基于匹配的墨水输入来转换部分墨水输入并且提供相关联的文本注释。
图1到图4中的示例场景和方案被示出有具体的组件、数据类型和配置。各实施例不限于根据这些示例配置的系统。将手写墨水输入转换成文本注释可以在采用应用和用户界面中的较少或附加组件的配置中实现。而且,图1到4中所示的示例方案和组件以及它们的子组件可以使用此处描述的原理用其他值以类似方式实现。
图5是其中可实现根据各实施例的系统的联网环境。本地和远程的资源可由一个或多个服务器514或者诸如托管服务这样的单个服务器(例如web服务器)516来提供。应用可以在诸如智能电话513、平板设备512或膝上型电脑511(“客户端设备”)等个别的计算设备上执行并且通过网络510与内容资源通信。
如以上讨论的,计算设备上执行的应用可以提供内容并且允许用户在计算设备的界面上提供手写墨水输入以便与内容交互。应用可以转换手写墨水输入以便在文档上提供墨水输入的文本注释。如在先讨论的,客户端设备511-513可以允许对远程服务器(例如,服务器514之一)上执行的应用的访问。服务器可以直接地或者通过数据库服务器518从数据储存器519检索相关数据/或者将相关数据存储至数据储存器519。
网络510可以包括任何拓扑结构的服务器、客户端、因特网服务提供者以及通信介质。根据各实施例的系统可以具有静态或动态的拓扑结构。网络510可以包括诸如企业网络这样的安全网络、诸如无线开放网络这样 的不安全网络、或者因特网。网络510也可以通过诸如公共交换电话网(PSTN)或蜂窝网络这样的其他网络来协调通信。而且,网络510可以包括诸如蓝牙或类似网络等短距无线网络。网络510在此处描述的多个节点之间提供通信。通过示例但非限制,网络510可以包括诸如声音、RF、红外这样的无线介质以及其他无线介质。
可以采用计算设备、应用、数据源及数据分布系统的许多其他配置来将手写墨水输入转换为文本注释。而且,图5中讨论的联网环境仅出于说明目的。各实施例不限于示例的应用、模块或进程。
图6以及相关联的讨论意图提供其中可实现各实施例的合适的计算环境的简要的一般描述。参照图6,图示根据各实施例的用于应用的示例计算操作系统的框图,所述应用诸如计算设备600。在一基本配置中,计算设备600可以包括至少一个处理单元602和系统存储器604。计算设备600也可以包括在执行程序时协作的多个处理单元。取决于计算设备的实际配置和类型,系统存储器604可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或者两者的某一组合。系统存储器604一般包括适用于控制平台的操作的操作系统605,诸如来自华盛顿州雷德蒙市的微软公司的 和WINDOWS 操作系统。系统存储器604也可以包括一个或多个软件应用,诸如程序模块606、墨水转换应用622、墨水处理模块624以及注释模块626。
墨水转换应用622可以检测提供手写墨水输入的动作以便提供和编辑在计算设备的用户界面上查看的内容。手写墨水输入可由触摸和/或基于电子笔或触笔的输入来提供。墨水处理模块624可以检测墨水输入,并且执行手写分析以便将文本与字符和形状区分开来。注释模块626还可以处理手写墨水输入以便基于墨水输入的上下文将墨水输入转换为文本注释。文本注释可由应用622在注释视图中显示在文档上。该基本配置在图6中用虚线608内的那些组件示出。
计算设备600可具有附加的特征或功能。例如,计算设备600也可以包括附加的数据存储设备(可移动和/或不可移动),诸如磁盘、光盘或带。 这种附加存储器在图6中用可移动存储器609和不可移动存储器610示出。计算机可读存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,该信息诸如计算机可读指令、数据结构、程序模块或其他数据。计算机可读存储介质是计算机可读存储器设备。系统存储器604、可移动存储器609和不可移动存储器610全是计算机可读存储介质的示例。计算机可读存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁性存储设备,或可以用来存储所需信息并可以被计算设备600访问的任何其他介质。任何这样的计算机可读存储介质可以是计算设备600的一部分。计算设备600也可具有诸如键盘、鼠标、笔、声音输入设备、触摸输入设备这样的输入设备612以及相当的输入设备。也可以包括输出设备614,诸如显示器、扬声器、打印机以及其他类型的输出设备。这些设备全是本领域公知的并且不需要在此过多讨论。
计算设备600也可以包含通信连接616,所述通信连接616允许设备诸如通过分布式计算环境中的无线网络、卫星链路、蜂窝链路以及相当的机制与其他设备618通信。其他设备618可以包括执行通信应用的)计算机设备、存储服务器以及相当的设备。通信连接616是通信介质的一个示例。通信介质中可以包括诸如载波或其他传输机制之类的已调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据,并且包括任何信息传送介质。术语“已调数据信号”意指具有以对信号中的信息编码的方式被设置或改变的一个或多个特征的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质,以及诸如声学、RF、红外及其他无线介质之类的无线介质。
各示例实施例还包括各方法。这些方法可以以任何数量的方式来实现,包括此文档中描述的结构。一种这样的方式是通过具有此文档中描述的类型的设备的机器操作来实现。
另一任选的方式是使各方法的个别操作中的一个或多个连同执行一些 操作的一个或多个人工操作员被执行。这些人工操作员不需要彼此位在同处,但每个人工操作员仅操作执行程序一部分的一台机器。
图7示出根据各实施例的用电子阅读器中的注释来添加内容的过程的逻辑流程图。在一些示例中,过程700可由内容提供应用来实现。
过程700可开始于操作710,在操作710,应用可以检测到提供墨水输入的动作以便与计算设备上查看的内容交互。墨水输入可以通过手势、触摸、笔、鼠标或类似的能输入的计算设备来检测。手写墨水输入可以包括评论的插入、文本的插入和删除、以及对原始内容的标记。在操作720,可以相邻于内容显示评论窗格以便使用户提供手写墨水评论。在操作730,应用可以处理接收到的墨水输入以便将文本与形状和符号区分开来。也可以区分评论、文本和动作。在操作740,经处理的墨水输入可以被转换为文本注释。文本注释可以包括评论、插入和删除的内容、以及对内容的改动。文本注释可以被锚定至内容的相关联部分。在操作750,经转换的文本注释可以被显示在注释视图中。在注释视图中,经转换的文本注释可以被集成到文档中以结合用户的标记和编辑。
一些实施例可以在包括通信模块、存储器和处理器的计算设备中实现,其中处理器如上所述执行方法或者结合存储器中存储的指令执行类似方法。其他实施例可以被实现为计算机可读存储介质,所述计算机可读存储介质上存储有指令用于执行如上所述的方法或类似方法。
过程700中包括的操作用于说明目的。根据各实施例,将手写墨水输入转换为文本注释可以通过具有较少或附加步骤、以及以使用此处所述原理的不同操作次序的类似过程来实现。
以上说明、示例和数据提供了各实施例的组成的制造和用途的完整描述。尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求和实施例的示例形式公开的。

Claims (10)

1.一种在计算设备上执行的用于将手写墨水输入转换为文本表示的方法,所述方法包括:
检测在计算设备上查看的内容上提供墨水输入的动作;
分析所述墨水输入的上下文;
将所述墨水输入转换为文本注释;
响应于确定所述动作的意图是模糊的,基于所述墨水输入的上下文来建议对所述文本注释的安置;
响应于所建议的对所述文本注释的安置,检测对所述文本注释的接受动作和编辑动作中的一个;以及
在所述计算设备的用户界面上在注释视图中显示所述文本注释。
2.如权利要求1所述的方法,其特征在于,进一步包括:
确定与所述墨水输入相关联的所述内容的部分;以及
将所述文本注释锚定至与所述墨水输入相关联的所述内容的部分。
3.如权利要求2所述的方法,其特征在于,确定与所述墨水输入相关联的所述内容的部分还包括:
检测将所述内容的所述部分与所述墨水输入相关联的指示,其中所述指示包括以下的一者或多者:将所述墨水输入与所述内容的所述部分相连的圆圈、线条和箭头。
4.如权利要求1所述的方法,其特征在于,进一步包括:
在所述计算设备的用户界面上相邻于所述内容而显示评论窗格;以及
检测在所述评论窗格中提供的所述墨水输入。
5.如权利要求1所述的方法,其特征在于,进一步包括:
处理所述墨水输入以从以下中的一个或多个中区分文本、形状和符号中的一者或多者:评论、要插入到所述内容的文本、以及要对所述内容执行另一动作的指令。
6.如权利要求1所述的方法,其特征在于,进一步包括:
提供用于激活所述墨水输入到所述文本注释的转换的按钮;以及
响应于检测到用户选择所述按钮,将所述墨水输入转换为所述文本注释。
7.一种用于将手写墨水输入转换为文本表示的计算设备,所述计算设备包括:
被配置成存储指令的存储器;以及
与所述存储器耦合的处理单元,所述处理单元结合所述存储器中存储的指令来执行应用,其中所述应用被配置为:
检测在所述计算设备上查看的内容上提供墨水输入的动作;
分析所述墨水输入的上下文;
将所述墨水输入转换为文本注释;
响应于确定所述动作的意图是模糊的,基于所述墨水输入的上下文来建议对所述文本注释的安置;
响应于所建议的对所述文本注释的安置,检测对所述文本注释的接受动作和编辑动作中的一个;以及
在所述计算设备的用户界面上在注释视图中显示所述文本注释。
8.如权利要求7所述的计算设备,其特征在于,所述内容的标记版本相邻于所述内容的注释视图被显示在所述计算设备的用户界面上。
9.一种其上存储有指令的计算机可读存储介质,所述指令用于将手写墨水输入转换为文本表示,当所述指令被执行时使得所述计算机:
检测在计算设备上查看的内容上提供墨水输入的动作;
分析所述墨水输入的上下文;
将所述墨水输入转换为文本注释;
确定与所述墨水输入相关联的所述内容的部分;
响应于确定所述动作的意图是模糊的,基于所述墨水输入的上下文来建议对所述文本注释的安置;
响应于所建议的对所述文本注释的安置,检测对所述文本注释的接受动作和编辑动作中的一个;以及
在所述计算设备的用户界面上在注释视图中显示被锚定至与所述墨水输入相关联的所述内容的部分的所述文本注释。
10.如权利要求9所述的计算机可读存储介质,其特征在于,所述指令还包括:
在所述转换之后保持所述墨水输入以允许在所述文本注释和所述墨水输入之间切换。
CN201480029496.3A 2013-05-20 2014-05-19 用于文本表示转换的墨水 Active CN105264517B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/898,273 2013-05-20
US13/898,273 US9116871B2 (en) 2013-05-20 2013-05-20 Ink to text representation conversion
PCT/US2014/038532 WO2014189812A2 (en) 2013-05-20 2014-05-19 Ink to text representation conversion

Publications (2)

Publication Number Publication Date
CN105264517A CN105264517A (zh) 2016-01-20
CN105264517B true CN105264517B (zh) 2017-12-26

Family

ID=50942922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029496.3A Active CN105264517B (zh) 2013-05-20 2014-05-19 用于文本表示转换的墨水

Country Status (12)

Country Link
US (1) US9116871B2 (zh)
EP (1) EP3000056A2 (zh)
JP (1) JP6728036B2 (zh)
KR (1) KR102257248B1 (zh)
CN (1) CN105264517B (zh)
AU (1) AU2014268843B9 (zh)
BR (1) BR112015028413A2 (zh)
CA (1) CA2910338C (zh)
MX (1) MX352444B (zh)
RU (1) RU2683174C2 (zh)
TW (1) TW201447731A (zh)
WO (1) WO2014189812A2 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9116871B2 (en) * 2013-05-20 2015-08-25 Microsoft Technology Licensing, Llc Ink to text representation conversion
KR20150028627A (ko) * 2013-09-06 2015-03-16 삼성전자주식회사 사용자 필기를 텍스트 정보로 변환하는 방법 및 이를 수행하기 위한 전자 기기
US20150370772A1 (en) * 2014-06-20 2015-12-24 Microsoft Corporation Annotation preservation as comments
US9430141B1 (en) * 2014-07-01 2016-08-30 Amazon Technologies, Inc. Adaptive annotations
US20160179364A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Disambiguating ink strokes and gesture inputs
JP2016200860A (ja) * 2015-04-07 2016-12-01 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US10635854B2 (en) 2015-09-23 2020-04-28 International Business Machines Corporation Enhanced annotation tool
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
US11157166B2 (en) * 2015-11-20 2021-10-26 Felt, Inc. Automove smart transcription
US20170220538A1 (en) * 2016-01-29 2017-08-03 Microsoft Technology Licensing, Llc Smart annotation of content on computing devices
CN108700981B (zh) * 2016-02-08 2022-06-28 三菱电机株式会社 输入显示控制装置、输入显示控制方法和输入显示系统
US20170285931A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
JP6818310B2 (ja) * 2016-06-03 2021-01-20 株式会社エクサウィザーズ 情報処理装置、情報処理方法、並びにプログラム
US11409952B2 (en) * 2016-08-16 2022-08-09 Myscript System and method for collaborative ink management
JP6717141B2 (ja) * 2016-09-20 2020-07-01 コニカミノルタ株式会社 文書閲覧装置及びプログラム
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
US10664695B2 (en) * 2016-10-26 2020-05-26 Myscript System and method for managing digital ink typesetting
US10871880B2 (en) * 2016-11-04 2020-12-22 Microsoft Technology Licensing, Llc Action-enabled inking tools
US10216992B2 (en) 2016-11-21 2019-02-26 Microsoft Technology Licensing, Llc Data entry system with drawing recognition
US10929765B2 (en) 2016-12-15 2021-02-23 Nec Corporation Content-level anomaly detection for heterogeneous logs
US10558341B2 (en) 2017-02-20 2020-02-11 Microsoft Technology Licensing, Llc Unified system for bimanual interactions on flexible representations of content
US10684758B2 (en) 2017-02-20 2020-06-16 Microsoft Technology Licensing, Llc Unified system for bimanual interactions
US10204082B2 (en) * 2017-03-31 2019-02-12 Dropbox, Inc. Generating digital document content from a digital image
US20180349691A1 (en) * 2017-05-31 2018-12-06 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of handwriting input
US20180373680A1 (en) * 2017-06-26 2018-12-27 Interactive Media, LLC Document stamping system and method
US11354503B2 (en) * 2017-07-27 2022-06-07 Samsung Electronics Co., Ltd. Method for automatically providing gesture-based auto-complete suggestions and electronic device thereof
CN109597981B (zh) * 2017-09-30 2022-05-17 腾讯科技(深圳)有限公司 一种文本互动信息的展示方法、装置及存储介质
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US10489642B2 (en) * 2017-10-12 2019-11-26 Cisco Technology, Inc. Handwriting auto-complete function
CN108459836B (zh) * 2018-01-19 2019-05-31 广州视源电子科技股份有限公司 批注显示方法、装置、设备及存储介质
US11023661B2 (en) * 2018-05-03 2021-06-01 Microsoft Technology Licensing, Llc Visually enhanced digital ink
US11144192B2 (en) 2018-12-19 2021-10-12 Microsoft Technology Licensing, Llc Customizable user interface for use with digital ink
US10776000B2 (en) * 2018-12-19 2020-09-15 Microsoft Technology Licensing, Llc. System and method of receiving and converting digital ink input
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11720741B2 (en) 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11080466B2 (en) 2019-03-15 2021-08-03 Ricoh Company, Ltd. Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11048408B2 (en) * 2019-05-27 2021-06-29 Ricoh Company, Ltd. Display apparatus, recording medium, and display method
CN111079729B (zh) * 2019-07-29 2023-09-26 广东小天才科技有限公司 一种听写检测方法及电子设备、计算机可读存储介质
TWI740496B (zh) 2020-05-12 2021-09-21 宏碁股份有限公司 調整墨水物件間距的觸控系統及方法以及電腦可讀取媒體
CN114385284A (zh) * 2020-10-22 2022-04-22 华为技术有限公司 批注的显示方法及电子设备
CN112364632B (zh) * 2020-11-27 2024-01-12 北京北大方正电子有限公司 图书校对方法和装置
US20220343069A1 (en) * 2021-04-24 2022-10-27 Jonathan Mark Vyse Method of converting between an n-tuple and a document using a readable text and a text grammar
US11888798B2 (en) * 2021-07-13 2024-01-30 Vmware, Inc. Attachment and embedded object positioning validation
CN114330253B (zh) * 2021-12-30 2022-10-04 广州文石信息科技有限公司 一种文档编辑方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609846A (zh) * 2003-06-13 2005-04-27 微软公司 用于识别,锚定和回流数字墨水注释的数字墨水注释方法和系统
CN1689023A (zh) * 2003-08-21 2005-10-26 微软公司 电子墨水处理
CN102165393A (zh) * 2008-09-24 2011-08-24 微软公司 使用自然输入来编辑2d结构

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004991A1 (en) * 2001-06-29 2003-01-02 Keskar Dhananjay V. Correlating handwritten annotations to a document
US20040146221A1 (en) * 2003-01-23 2004-07-29 Siegel Scott H. Radiography Image Management System
AU2003900865A0 (en) * 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPW010)
US7352902B2 (en) * 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US7574048B2 (en) 2004-09-03 2009-08-11 Microsoft Corporation Freeform digital ink annotation recognition
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US8116569B2 (en) 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
US8438489B2 (en) * 2008-01-24 2013-05-07 Paulo Barthelmess System and method for document markup
US8294959B2 (en) * 2009-01-21 2012-10-23 Xerox Corporation Electronic document update based on handwritten edits
US20110216015A1 (en) * 2010-03-05 2011-09-08 Mckesson Financial Holdings Limited Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
US8094941B1 (en) 2011-06-13 2012-01-10 Google Inc. Character recognition for overlapping textual user input
CN102768616A (zh) * 2012-06-29 2012-11-07 鸿富锦精密工业(深圳)有限公司 电子设备及其备忘添加方法
US20140210734A1 (en) * 2013-01-29 2014-07-31 Smart Technologies Ulc Method for conducting a collaborative event and system employing same
US9116871B2 (en) * 2013-05-20 2015-08-25 Microsoft Technology Licensing, Llc Ink to text representation conversion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609846A (zh) * 2003-06-13 2005-04-27 微软公司 用于识别,锚定和回流数字墨水注释的数字墨水注释方法和系统
CN1689023A (zh) * 2003-08-21 2005-10-26 微软公司 电子墨水处理
CN102165393A (zh) * 2008-09-24 2011-08-24 微软公司 使用自然输入来编辑2d结构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A MARKING BASED INTERFACE FOR COLLABORATIVE WARITING;Gary Hardock et al.;《 Proceedings of Uist》;19931105;图4 *
Enhancing multimodal annotations with pen-based information;Maria G. Pimentel et al.;《Ninth IEEE International Symposium on Multimedia 2007-Workshops》;20071210;第3部分 *

Also Published As

Publication number Publication date
JP2016526216A (ja) 2016-09-01
CA2910338C (en) 2020-11-17
RU2015149736A (ru) 2017-05-23
CN105264517A (zh) 2016-01-20
KR20160010510A (ko) 2016-01-27
CA2910338A1 (en) 2014-11-27
AU2014268843A1 (en) 2015-11-12
WO2014189812A3 (en) 2015-05-07
WO2014189812A2 (en) 2014-11-27
US9116871B2 (en) 2015-08-25
RU2683174C2 (ru) 2019-03-26
AU2014268843B2 (en) 2019-05-02
BR112015028413A2 (pt) 2017-07-25
AU2014268843B9 (en) 2019-05-16
EP3000056A2 (en) 2016-03-30
MX2015016072A (es) 2016-03-21
JP6728036B2 (ja) 2020-07-22
US20140344662A1 (en) 2014-11-20
MX352444B (es) 2017-11-24
KR102257248B1 (ko) 2021-05-26
TW201447731A (zh) 2014-12-16

Similar Documents

Publication Publication Date Title
CN105264517B (zh) 用于文本表示转换的墨水
US7721226B2 (en) Glom widget
US8265382B2 (en) Electronic annotation of documents with preexisting content
EP3155501B1 (en) Accessibility detection of content properties through tactile interactions
US20140304586A1 (en) Electronic device and data processing method
CN104520843A (zh) 在电子阅读器中提供基于笔记的内容注释
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
CN102770839A (zh) 多屏幕捏合装袋手势
CN105359133A (zh) web内容与电子应用文档的交互
CN102147679A (zh) 多屏幕保持并拖动手势
KR20150095664A (ko) 콘텐츠에 주석을 첨부하는 기법
US20120144306A1 (en) Method and system for interacting or collaborating with exploration
TW201426361A (zh) 電子閱讀器之平面書籍至豐富書籍轉換
CN105359131B (zh) 栓系选择句柄
Kumar Human computer interaction
US20150074508A1 (en) Techniques for synchronization of a print menu and document annotation renderings between a computing device and a mobile device logged in to the same account
US20240028350A1 (en) Visually expressive creation and collaboration and asyncronous multimodal communciation for documents
CN106030572A (zh) 与外部内容项的经编码的关联
TWM491194U (zh) 資料校對平台伺服器
Garcia et al. PaperComposer: creating interactive paper interfaces for music composition
Weibel A publishing infrastructure for interactive paper documents: Supporting interactions across the paper-digital divide
Weibel A Publishing Infrastructure for Interactive Paper Documents

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant