CN108140018A - 创作用于基于文本的文档的视觉表示 - Google Patents

Abstract

本文中描述了用于创作针对基于文本的文档的视觉表示的技术。在一些示例中，这些技术利用自然语言处理(NLP)来处理文档内的文本。基于NLP，用户可以与文档交互地工作，以创建代表文档中文本的视觉表示。通过允许用户基于NLP来与文档交互地工作，这些技术可以为用户提供生成文档的特定概念的表示的能力。

Description

创作用于基于文本的文档的视觉表示

背景技术

文本文档通常包括复杂的信息，其对于个人而言很难快速阅读和理解。这些文档可以包括法律文档、财务报告、科学论文、医学期刊文章等。如此，个人通常通过制订简要概述、创建图表、绘制图片等来概括这些文档的核心概念。然而，这些手动过程通常很耗时，并且不能准确地反映文档的核心概念。

发明内容

本文中所讨论的技术和构造便于针对基于文本的文档创作视觉表示。在一些示例中，这些技术可以包括：接收包括文本的文档，以及使用自然语言处理技术来处理文档。用户界面可以提供呈现文档的文档区域以及呈现用于文档的视觉表示的创作区域。可以接收对在用户界面的文档区域中呈现的文本的一部分的选择。基于自然语言处理技术，可以生成针对文本部分的视觉表示。该表示可以被提供用于在用户界面的创作区域中呈现。在一些示例中，可以接收对文本的另一部分的选择。基于自然语言处理技术，可以生成针对文本的其他部分的另一视觉表示。可以提供该另一视觉表示以供在用户界面的创作区域中呈现。在各种示例中，可以创建视觉表示与另一视觉表示之间的关联。

提供本概述是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念选择。本发明内容并非旨在确定所要求保护的主题的关键特征或基本特征，也不旨在用作确定所要求保护的主题的范围的辅助。术语“技术”比如可以是指如由上文和整个文档中所描述的上下文所准许的一个或多个系统、一个或多个方法、计算机可读指令、一个或多个模块、算法、硬件逻辑和/或一个或多个操作。

附图说明

参考附图对具体实施方式进行描述。在这些附图中，附图标记的一个或多个最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记指示相似或相同的项目。

图1是描绘其中可以创作用于基于文本的文档的视觉表示的示例环境的框图。

图2是描绘来自图1的服务提供商的一个或多个计算设备的示例细节的框图。

图3A至图3D图示了用于创作针对文档的视觉表示的示例图形用户界面。

图4图示了提供文本候选列表的示例图形用户界面。

图5示出了呈现表格的视觉表示的示例GUI。

图6图示了基于自然语言处理来创建节点图的示例过程。

图7图示了用于文档的示例节点图。

图8是用于创作用于文档的视觉表示的示例过程的流程图。

图9是用于关联视觉表示的示例过程的流程图。

图10是用于合并视觉表示的示例过程的流程图。

具体实施方式

本公开涉及用于创作针对基于文本的文档的视觉表示的技术。在一些示例中，这些技术利用自然语言处理(NLP)来处理文档内的文本。基于NLP，用户可以与文档交互地工作，以创建表示文档中的文本的视觉表示。通过利用NLP允许用户与文档交互地工作，本文中所描述的技术可以为用户提供快速和/或高效地生成文档概念(例如，核心概念或其他概念)的表示的能力。

在本文中所描述的技术的一些示例中，系统可以为用户设备提供用户界面，其包括用于创建视觉表示的各种工具。用户界面可以包括呈现文档的文档区域(即，第一部分)以及显示用于文档内的文本的视觉表示的创作区域(即，第二部分)。用户可以选择文档区域中的文档内的文本(例如，单词或短语)，并且创建用于所选择的文本的视觉表示以在创作区域中显示。比如，用户可以选择文档区域中的文本并且将文本拖动到创作区域以创建视觉表示。视觉表示可以链接到所选择的文本。可以在文档区域和/或创作区域中可视地指示链接(例如，通过注释文本)。

在一些实例中，用户可以选择文档区域中的文本，并且创建用于文档中的、与选定文本有关的其他文本的视觉表示。举例而言，响应于在文档区域中选择单词或短语，可以呈现与单词或短语有关的文本候选列表(例如，文档中的其他单词或短语)。文本候选列表可以基于使用NLP来处理文档。例如，该列表可以包括文本，其通过从NLP输出的信息(诸如解析树、实体信息(例如，共同参考链)、关系短语信息等)链接到选定文本。从NLP输出的这种信息可以指示文档内的单词和/或短语之间的关系。举例而言，解析树可以描述句子中的单词或短语之间的关系，而实体信息可以指示不同句子的实体之间的关系。在一些实例中，可以处理从NLP输出的信息以形成描述文档内的各种类型的关系的节点图，诸如文档中的实体之间的关系、句子的单词之间的关系、不同句子的单词或短语之间的关系等。节点图可以被用来生成文本候选。无论如何，用户可以从文本候选列表中选择候选，并且可以在用户界面的创作区域中呈现用于候选的对应视觉表示。

在一些示例中，视觉表示可以包括文本框，其包括来自文档的所选择的文本。比如，视觉表示可以包括由用户从第一句子中选择的文本和/或从第二句子中选择的文本(例如，来自陈述“混合动力车辆正被更频繁地使用”的一个段落的文本，以及来自陈述“在2009年混合动力汽车购买量增加了15％”的另一段落的文本)。附加地或备选地，视觉表示可以包括文档中的文本的图形表示。比如，视觉表示可以包括表示文本的不同部分之间的相关性的图(例如，图示了针对标识不同年份的股票价格的文本的、随时间推移的股票价格的图)。进一步地，视觉表示可以包括用于所选择的文本的图像(例如，用于术语“汽车”的汽车的图像)。而且，视觉表示可以包括由用户输入的文本。附加地或备选地，视觉表示可以包括用户已经提供的绘图或草图(例如，通过在画布区域或创作区域中用触笔进行绘制)。在其他示例中，视觉表示可以包括其他类型的内容，诸如视频、音频、网页、文档等。

在一些示例中，用户可以将视觉表示彼此链接。这可以提供文档的其他视觉上下文。比如，用户可以使用指示视觉表示之间的关联的视觉指示符将视觉表示彼此连接。在用户界面的创作区域内使用线条、箭头或其他图形表示可以图形化地图示视觉指示符。创作区域可以允许用户链接任何数目的视觉表示和/或链接任何布置中的视觉表示(例如，创建视觉表示组，创建子元素等)。用户可以标记或注释视觉表示之间的链接以指示文本的各部分之间的关系。

在许多实例中，本文中所描述的技术使得用户能够生成用于基于文本的文档的视觉表示。视觉表示可以表示文档的特定概念、想法等。这可以帮助用户理解文档的内容。在一些实例中，视觉表示对于理解相对复杂和/或技术性的文档(诸如法律文档、财务报告、科学论文、医学期刊文章等)可能是有用的。进一步地，通过使得用户能够交互地生成视觉表示(例如，通过用户界面)，可以生成准确地描绘底层源文本的信息。而且，通过使用NLP，本文中所描述的技术可以智能地标识在整个文档中相关的文本并且创建用于那些关系的视觉表示。在一些实例中，相关文本可以用突出显示、图标、链接、建议框等在视觉上进行注释。

本文中所描述的技术可以在多种上下文中实现。例如，可以使用任何数目的计算设备和/或环境来实现这些技术。作为一个示例，远程资源(例如，服务器)可以向与用户对接的客户端设备提供后端功能。举例而言，客户端设备可以使用浏览器或其他网络应用来对接由远程服务所执行的处理。作为另一示例，这些技术可以通过在客户端设备上运行的应用来实现，诸如便携式文档格式(PDF)阅读器/编辑器、文字处理器应用(例如，等)、电子表格应用(例如，等)、电子邮件应用、或呈现文本的任何其他应用。

说明性环境

图1示出了其中可以创作针对基于文本的文档的视觉表示的示例环境100。在一些示例中，环境100的各种设备和/或部件包括服务提供商102，其可以经由一个或多个网络104与外部设备通信。例如，一个或多个网络104可以包括公共网络(诸如互联网)、私有网络(诸如机构内联网和/或个人内联网)、或私有网络和公共网络的某种组合。一个或多个网络104还可以包括任何类型的有线网络和/或无线网络，其包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)、或其任何组合。一个或多个网络104可以利用通信协议，其包括基于分组的协议和/或基于数据报的协议，诸如互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)或其他类型的协议。而且，一个或多个网络104还可以包括便于网络通信和/或形成用于网络的硬件基础的若干个设备，诸如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等。

在一些示例中，一个或多个网络104可以进一步包括设备，其使得能够连接到无线网络，诸如无线接入点(WAP)。比如，支持通过在各种电磁频率(例如，无线电频率)上发送和接收数据的WAP的连接性，这些WAP包括支持电气和电子工程师协会(IEEE)802.11标准(例如，802.11g、802.11n等)和其他标准的WAP。

在各种示例中，服务提供商102可以包括设备106(1)至106(N)。示例支持其中一个或多个设备106可以包括在集群或其他分组配置中操作以共享资源、平衡负载、提高性能、提供容错(fail-over)支持或冗余或用于其他目的的一个或多个计算设备的场景。一个或多个设备106可以属于多种类别或种类的设备，诸如传统服务器型设备、台式计算机型设备、移动设备、专用型设备、嵌入型设备和/或可穿戴式设备。因此，尽管被图示为服务器计算机，但是一个或多个设备106可以包括各种各样的设备类型，并且不限于特定类型的设备。一个或多个设备106可以表示但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、瘦客户端、终端、个人数据助理(PDA)、工作站、用于包含在计算设备中的集成部件、或任何其他种类的计算设备。

一个或多个设备106可以包括任何类型的计算设备，其具有诸如经由总线112可操作地连接到计算机可读介质110的一个或多个处理单元108，该总线在一些实例中可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地总线、外围总线和/或独立总线。存储在计算机可读介质110上的可执行指令可以包括例如操作系统114、视觉表示工具116以及可由一个或多个处理单元108加载和执行的其他模块、程序或应用。备选地或者另外，本文中所描述的功能可以至少部分地由一个或多个硬件逻辑部件(诸如加速器)执行。例如但不限于，可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、应用特定标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。例如，加速器可以表示混合设备，诸如来自ZYLEX或ALTERA之一的混合设备，其包括嵌入在FPGA架构中的CPU核。

一个或多个设备106还可以包括一个或多个网络接口118，以实现通过一个或多个网络104的一个或多个计算设备106和其他联网设备(诸如一个或多个客户端计算设备120或其他设备)之间的通信。一个或多个这种网络接口118可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备，以通过网络发送和接收通信。为了简单起见，其他部件从一个或多个所图示的设备106中省略。

在为文本创作视觉笔记中所涉及的其他设备可以包括客户端计算设备120(1)至120(M)。一个或多个设备120可以属于多种类别或种类的设备，诸如客户端型设备、台式计算机型设备、移动设备、专用型设备、嵌入型设备和/或可穿戴式设备。因此，尽管被图示为可能比一个或多个设备106具有更少的计算资源的移动计算设备，但是一个或多个设备120可以包括各种各样的设备类型并且不限于任何特定类型的设备。一个或多个设备120可以包括但不限于计算机导航类型客户端计算设备120(1)，诸如包括全球定位系统(GPS)设备和其他基于卫星的导航系统设备的基于卫星的导航系统；电信设备，诸如移动电话120(2)、移动电话平板混合设备120(3)、个人数据助理(PDA)120(4)、平板电脑120(5)、膝上型电脑(诸如120(N))、其他移动计算机、可穿戴式计算机、台式计算机、个人计算机、具有网络功能的电视机、瘦客户端、终端、工作站、用于包含在计算设备中的集成部件、或任何其他种类的计算设备。

一个或多个设备120可以表示任何类型的计算设备，其具有诸如经由总线126可操作地连接到计算机可读介质124的一个或多个处理单元122，该总线在一些实例中可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地总线、外围总线和/或独立总线。一个或多个处理单元122可以包括中央处理单元(CPU)、图形处理单元(GPU)、加速器(例如，现场可编程门阵列(FPGA)型加速器、数字信号处理器(DSP)型加速器、或任何内部或外部加速器)等。

存储在计算机可读介质124上的可执行指令可以包括例如操作系统128，远程视觉表示前端130，以及可由处理单元122加载和执行的其他模块、程序或应用。备选地或另外，本文中所描述的功能可以至少部分地由诸如加速器之类的一个或多个硬件逻辑部件来执行。例如但不限于，可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、应用特定标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。例如，加速器可以表示混合设备，诸如来自ZYLEX或ALTERA之一的混合设备，其包括嵌入FPGA架构中的CPU核。

一个或多个设备120还可以包括一个或多个网络接口132，以实现通过一个或多个网络104的一个或多个设备120与其他联网设备(诸如一个或多个其他客户端计算设备120或一个或多个设备106)之间的网络通信。一个或多个这种网络接口132可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备，以通过网络发送和接收通信。

在一些示例中，视觉表示工具116可以经由一个或多个网络104与远程视觉表示前端130进行通信或链接，以提供用于设备120的功能，促进创作用于文档的视觉表示。例如，视觉表示工具116可以执行处理以提供用户界面134以经由一个或多个设备120输出(例如，将数据发送到远程视觉表示前端130(经由一个或多个网络104)以呈现用户界面134)。远程视觉表示前端130可以经由一个或多个设备120的显示器来显示用户界面134和/或与用户对接(例如，接收用户输入，输出内容等)。如所图示的并且在下文中所详细讨论的，用户界面134可以包括呈现文档的文本的文档区域(左侧)以及呈现用于文档的视觉表示的创作区域(右侧)。在一些示例中，视觉表示工具116可以经由浏览器环境和/或软件应用来实现，其中一个或多个设备120显示用户界面134并且服务提供商102提供后端处理。备选地或附加地，视觉表示工具116可以在一个或多个设备120处实现，诸如在客户端应用(例如，PDF阅读器、文字处理器等)中。这里，可以在一个或多个设备120的计算机可读介质124内提供视觉表示工具116(或视觉表示工具116的任何数目的部件)。如此，在一些实例中，视觉表示工具116的功能可以在本地执行，而不是通过一个或多个网络104执行。

图2是描绘来自图1的服务提供商102的计算设备106的示例细节的框图。一个或多个设备106可以包括一个或多个处理单元108，该处理单元108可以表示例如CPU型处理单元、GPU型处理单元、FPGA型处理单元、DSP型处理单元或在一些实例中可以由CPU驱动的其他硬件逻辑部件。例如但不限于，可以使用的说明性类型的硬件逻辑部件包括专用集成电路(ASIC)、应用特定标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

在所说明的示例中，计算机可读介质110可以存储可以由一个或多个处理单元108执行的指令。计算机可读介质110还可以存储可由CPU型处理器202、GPU 204和/或加速器(诸如FPGA类型加速器206(1)、DSP类型加速器206(2)或任何内部或外部加速器206(P))执行的指令206。在各种示例中，至少一个CPU类型处理器202、GPU 204和/或加速器206被并入一个或多个设备106中，而在一些示例中，如图2所示，CPU类型处理器202、GPU 204和/或加速器206中的一个或多个在设备106的外部。存储在计算机可读介质110上的可执行指令可以包括例如操作系统114、视觉表示工具116、和/或可由一个或多个处理单元108、CPU类型处理器202、GPU 204和/或加速器206加载和执行的其他模块、程序或应用。

在所图示的实施例中，计算机可读介质110还包括数据存储装置208。在一些示例中，数据存储装置208可以包括数据存储器，诸如数据库、数据仓库或其他类型的结构化或非结构化数据存储器。在一些示例中，数据存储装置208可以包括具有一个或多个表格、索引、存储的过程等的关系数据库以实现数据访问。数据存储装置208可以存储用于存储在计算机可读介质110中和/或由一个或多个处理单元108、CPU类型处理器202、GPU 204和/或加速器206执行的过程、应用、部件和/或模块的操作的数据。在一些示例中，数据存储装置208可以存储要由视觉表示工具116处理的文档。文档可以包括任何类型的数据或信息。文档可以包括文本、图像或其他类型的内容。示例文档包括法律文档、财务报告、科学论文、期刊文章(例如，媒体期刊文章)、新闻文章、杂志文章、社交媒体内容、电子邮件、专利、电子书(e-Book)等。附加地或备选地，上文所引用的数据中的一些或全部数据可以存储在单独的存储器上，诸如CPU型处理器202板上的存储器210(1)、GPU 204板上的存储器210(2)、FPGA类型加速器206(1)板上的存储器210(3)、DSP类型加速器206(2)板上的存储器210(4)、和/或另一加速器206(P)板上的存储器210(M)。

一个或多个设备106还可以包括一个或多个输入/输出(I/O)接口212，以允许一个或多个设备106与输入/输出设备通信，诸如包括外围输入设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备等)的输入设备和/或包括外围输出设备(例如，显示器、打印机、音频扬声器、触觉输出等)的输出设备。另外，在一个或多个设备106中，一个或多个网络接口118可以表示例如网络接口控制器(NIC)或其他类型的收发器设备以通过网络发送和接收通信。

在所图示的示例中，计算机可读介质110可以包括视觉表示工具116。视觉表示工具116可以包括一个或多个模块和/或API，其被图示为框214、216、218、220和222，尽管这只是个示例，并且数字可能变得更高或更低。与框214、216、218、220和222相关联的功能可以被组合以由更少数目的模块和/或API来执行，或者其可以被更多数目的模块和/或API拆分并执行。

框214可以使用提供用户界面的逻辑来表示用户界面模块。比如，一个或多个设备106可以执行用户界面模块214以向计算设备(诸如图1中的一个或多个计算设备120中的一个计算设备)提供用户界面(例如，图1的用户界面134)。在一个示例中，提供用户界面可以包括：经由网络向计算设备发送与用户界面相关联的数据。在另一示例中，提供用户界面可以包括：经由计算设备来显示用户界面。用户界面可以包括用于创建用于文档的视觉表示的各种工具。用户界面可以包括呈现文档的第一部分(即，文档区域)以及用于创作视觉表示的第二部分(即，创作区域)。在一个示例中，用户可以通过从文档中选择一部分文本并且将该部分文本拖动到创作区域来创建视觉表示。在另一示例中，用户可以通过仅从文档中选择一部分文本来创建视觉表示。在又一示例中，并且如以下关于文本候选模块220所讨论的，用户可以从文本候选模块220提供的、用于用户已经选择的文本的文本候选列表中选择文本。

框216可以使用采用NLP技术来处理文档的逻辑来表示自然语言处理(NLP)模块。比如，设备200可以执行NLP模块216以将文本解析为令牌(例如，表示单词或短语的每个令牌)和/或使用令牌来生成解析树、实体信息、关系短语信息等。解析树可以包括分层树，其根据语法表示字符串(例如，文本内的句子)的句法结构。在一个示例中，解析树可以指示文本的句子内的一个或多个单词或短语之间的关系。比如，关系可以包括一个或多个单词或短语之间的依赖性。单词或短语与另一单词或短语的依赖性可以在解析树中表示，其中用于该单词或短语的节点连接到另一单词或短语。依赖性可以按类型进行标记。在一些实例中，依赖性可以包括指示由句子中的“复合词”连接在一起的单词或短语的复合依赖性。复合依赖性可以由解析树中的间接链接(例如，经由中间节点连接到另一节点的节点)组成。

可以通过识别文本内的实体(例如，使用命名实体识别(NER))和/或识别文本内的实体的共同参考(co-reference)链来生成实体信息。实体可以包括任何名词，诸如名称、位置、数量、对象、组织、时间、金钱、百分比等。实体信息可以标识实体和/或实体的类型/种类(例如，人、位置、数量、组织、时间等)。进一步地，实体信息可以指示在文本的一部分中标识的实体与在文本的另一部分中标识的实体有关。比如，共同参考链可以指示特定段落的句子引用“美联储”，并且另一段落的句子引用“美联储”。在一些实例中，NLP技术(例如，NER)可以被用来标识文本中明确提及的实体。附加地或备选地，NLP技术(例如，共同参考链识别)可以被用来标识如与特定实体相对应的代词(例如，“它”、“他们”、“他”、“她”等)。

同时，关系短语信息可以指示用于主语、动词、宾语和/或文本中的可能有关的其他元素的关系。在一些实例中，主语、动词和宾语被称为三元组。这样的主语/动词/宾语三元组可以指示句子各部分之间的关系，使得它们与共同参考链结合在一起。这样，主语/动词/宾语关系和共同参考链的组合可以指示文档中的结构。例如，将诸如“美联储”和“减少失业率”之类的重要的、重复出现的名词短语与诸如“预测”之类的动词结合在一起。

框218可以使用生成用于文档的节点图(即，节点链接图)的逻辑来表示节点图模块。比如，一个或多个设备106可以执行节点图模块218，以基于由NLP模块216输出的用于文档的信息来生成用于文档的节点图(例如，语义图)。节点图可以指示文档内的一个或多个单词、短语、句子、段落、页面、段等之间的关系。为了生成节点图，节点图模块218可以组合解析树、实体信息、关系短语信息或由NLP模块216输出的任何其他信息，以形成节点和节点之间的连接。在一些实例中，节点可以表示从NLP模块216标识的令牌。进一步地，在一些实例中，节点可以表示文档的单词、短语、句子、段落、页面、段等。同时，节点之间的连接可以表示节点之间的关系。下文参照图7对示例节点图进行描述。

在一些实例中，节点与特定种类相关联。示例节点种类包括句子种类、实体种类、提及代表性种类、提及种类和/或主语/动词/宾语种类。句子节点可以表示单独的句子。在一些实例中，用于文档的节点图可以包括用于文档中每个句子的句子节点(例如，句子节点可以表示整个句子)。实体节点可以表示文档中提到的实体。在一些实例中，用于文档的节点图可以包括用于文档中提到的每个实体的节点。提及代表性节点可以表示从文档中的句子中最能描述实体的句子。最能描述实体的句子可以包括提及实体的句子中最详细的部分(例如，大多数单词、大多数描述性单词等)、定义等。在一些实例中，用于文档的节点图可以包括用于文档中所提及的实体的单个提及代表性节点。提及节点可以表示提及实体的句子。在一些实例中，用于文档的节点图可以包括用于提及实体的每个句子的节点。主语节点可以表示主语/动词/宾语三重关系的主语部分。类似地，动词节点和宾语节点可以分别表示主语/动词/宾语关系的动词部分和宾语部分。

进一步地，在一些实例中，两个或更多个节点之间的关系(链接)可以与特定种类相关联。链接的示例种类可以包括用于将提及节点与共同参考链的代表性提及节点相连接的种类、用于连接句子节点和提及节点的种类(其中提及发生在该句子中)、以及用于将主语/动词/宾语节点彼此连接的种类(例如，主语与动词、动词与宾语)。附加链接种类可以将主语/动词/宾语三元组的各部分与包含它们的句子节点相连接。另一链接种类可以将句子节点按它们在文档中出现的顺序彼此连接(例如，将与第一句子相关联的第一句子节点连接到与第二句子相关联的第二句子节点，其中第二句子紧接着在第一句的后面)。另外，用于文本的解析树可以提供文本中的个体令牌(例如，单词)之间的依赖性关系(链接)。这可以提供附加链接种类。例如，节点可以基于连词、介词等来进行连接。解析依赖性链接类型(种类)的非限制性示例可以在Marie-Catherine de Marneffe和Christopher D.Manning的“Stanford Typed Dependencies Manual”中找到。

框220可以使用提供关于文档中的文本的文本候选的逻辑来表示文本候选模块。比如，用户选择文档的文本时，一个或多个设备106可以执行文本候选模块220以提供与所选择的文本有关的文本候选列表。在一些实例中，用户可以通过将输入设备(例如，鼠标、笔、手指等)悬停在文本的位置处的显示屏上方来选择文本。在其他实例中，用户可以突出显示或以其他方式选择文本。为了生成文本候选列表，文本候选模块220可以使用由NLP模块216输出的节点图和/或任何信息。例如，文本候选列表可以包括文本，其与用户基于在节点图、解析树、实体信息和/或关系短语信息中所指示的关系而选择的文本有关。比如，在用户选择文档中的单词或短语(其与用于文档的节点图中的特定节点相对应)之后，文本候选模块220可以参考节点图来标识与节点图中的特定节点有关的节点。这里，文本候选模块220可以遍历节点图来标识连接到特定节点的相邻节点。举例而言，如果用户选择术语“混合动力汽车”(其与节点图中的“混合动力汽车”的实体节点相对应)，并且该实体节点链接到最能表示文档内的“混合动力汽车”的提及代表性节点，文档候选模块220可以将提及代表性节点标识为文本候选。这里，与提及代表性节点相关联的句子可以被呈现为供用户选择的文本候选。在一些实例中，可以提供与节点图中的标识的节点相关联的任何数量的文本作为文本候选。举例而言，如果(响应于选择文本)节点在表示主语、动词和宾语的节点图中被识别，则与主语、动词和宾语相关联的整个句子可以被呈现为文本候选。

作为标识文本候选的一个示例过程，文本候选模块220可以在表示由用户选择的文本的初始节点(位于节点图中)开始。这里，文本候选模块220可以检查用于初始节点(其被包括作为节点图的一部分)的解析树，以标识连接到解析树中的该初始节点的节点。解析树可以包括叶节点(没有子节点的端节点)和非叶节点或内部节点(节点具有子节点(例如，连接到较低级节点的节点))。如果初始节点(与所选择的文本相对应)是叶节点，则文本候选模块220可以选择(作为候选)初始节点的父节点(较高节点)和/或初始节点的兄弟节点(经由父节点连接的节点)。备选地，如果初始节点是非叶节点，则文本候选模块220可以选择(作为候选)子节点(从属于初始节点的节点)。在一些实例中，可以省略构建连贯文本摘录(例如，限定词或形容词修饰符)时不重要的兄弟节点以创建更多候选。如果被标识为候选的节点是SVO、共同参考链和/或命名实体的一部分，则与SVO、共同参考链和/或命名实体相关联的全文可以用作候选。在一些实例中，可以针对被标识为候选的每个节点重复上文所指出的示例过程，以便扩展候选列表。比如，文本候选模块220可以找到连接到初始节点的特定节点，然后通过找到以与上文所描述的方式相同的方式连接到特定节点的节点来设法标识用于初始节点的其他候选。在一些实例中，示例过程可以重复，直到整个句子被包括作为候选、满足单词长度阈值等为止。标识候选时，文本候选模块220可以按从最短到最长的顺序、从最长到最短的顺序、或者任何其他顺序来呈现候选。

框222可以使用生成和/或链接视觉表示的逻辑来表示视觉表示模块。比如，在用户从文本候选列表中选择文本的一部分和/或文本之后，一个或多个设备106可以执行视觉表示模块222以基于该选择来生成视觉表示。在示例中，视觉表示可以包括文本框，其包括来自用户选择的文本。在另一示例中，视觉表示可以包括图形对象，其表示来自用户选择的文本。图形对象可以包括使用用户的选择而生成的图表、图和/或表格。在又一示例中，视觉表示可以包括图像，其表示所选择的文本(例如，用于“汽车”的文本的汽车的图像)。尽管本文中所讨论的许多技术描述了生成用于文本内容的视觉表示，在一些实例中，可以生成用于其他类型的内容(诸如图像、嵌入在文档中的音频等)的视觉表示。

作为一个示例，视觉表示模块222可以通过识别可以图形地呈现的值来生成图表、图和/或表格。举例而言，视觉表示模块222可以标识由用户选择的文本内的数值并且标识与数值相对应的数据。然后，视觉表示模块222可以使用数值和对应数据来生成图表、图和/或表格。比如，响应于用户选择陈述“2009年，混合动力汽车销售约20,000台，而2010年销售增加到25,000台”句子，视觉表示模块222可以标识2009年和2010年以及用于那些年的销售数目(分别为20,000台和25,000台)。然后，视觉表示模块222可以生成示出相对于年份的数目或销售额的图表。该图可以从文档链接到文本。在一些实例中，诸如在用户注意到这些值不准确的情况下，用户可以编辑图表、图和/或表格。然后，视觉表示模块222可以调整用于数据的底层关联。比如，如果在上文所提及的示例中，视觉表示模块222将20,000台与2010年错误地相关联，则用户可以编辑图(或信息的底层表格)，使得20,000台与2009年相关联。

在一些实例中，视觉表示模块222可以提供用于创建图表、图和/或表格的推荐。比如，视觉表示模块222可以推荐将与所选择的文本有关的数据被添加到图表、图和/或表格中。视觉表示模块222可以使用由NLP模块216输出的节点图和/或任何信息来标识关系。然后，用户可以要求视觉表示模块222将数据添加到图表、图和/或表格。在回到上文的示例中，在句子陈述“2009年，混合动力汽车销售约为20,000台，而2010年销售增加到25,000台”的情况下，视觉表示模块222可以稍后在文档中标识另一句子，其指示2014年的混合动力汽车的销售数目。其他句子可以作为将附加数据添加到图的推荐而被突出显示或以其他方式呈现给用户。

视觉表示模块222可以呈现用户界面的创作区域内的视觉表示。在一些实例中，视觉表示可以链接在一起。比如，用户可以触摸视觉表示和/或将视觉表示覆盖在另一视觉表示上，并且两个视觉表示可以被链接。在一个示例中，可以在视觉表示之间呈现指示符(例如，线、箭头等)以说明链接。附加地或者备选地，指示符可以包括描述该关联的标签(例如，大于/小于、支持(“for”的标签)、相反(“against”的标签)、因为、鉴于等)，其可以由视觉表示模块222生成和/或由用户提供。进一步地，在一些实例中，可以通过将视觉表示组合成单个视觉表示来关联视觉表示。例如，用户可以将第一图表、图和/或表格与第二图表、图和/或表格组合以形成单个组合图表、图和/或表格。在另一示例中，较大的视觉表示可以用来涵盖被组合的两个较小的视觉表示。举例而言，指示针对公司A被出售的混合动力汽车的数目的第一文本框和指示针对B公司被出售的混合动力汽车的数目的第二文本框可以在表示被出售的混合动力汽车的总数目的较大视觉表示中呈现。

尽管框214至222被讨论为在一个或多个设备106内提供，但是可以在另一设备(诸如图1中的一个或多个设备120)内提供任何数目的框214至222。如此，框214至222可以由一个或多个处理单元122执行，以实现本地处理。

计算机可读介质110和/或124(以及本文中所描述的所有其他计算机可读介质)可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以任何方法或技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的易失性存储器、非易失性存储器和/或其他永久性和/或辅助性计算机存储介质、可移除和不可移除的计算机存储介质。计算机存储介质可以包括作为设备的一部分或位于设备外部的设备和/或硬件部件中所包括的有形和/或物理形式的介质，其包括但不限于随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相变存储器(PRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光卡或其他光学存储介质、磁带盒、磁带、磁盘存储器、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附加存储器、存储区域网络、托管计算机存储器或可以被用来存储和维护信息以供计算设备访问的任何其他存储器、存储设备和/或存储介质。

相比之下，通信介质可以体现计算机可读指令、数据结构、程序模块、或经调制的数据信号、载波、传播信号本身或其他传输机制中的其他数据。如本文中所定义的，计算机存储介质不包括通信介质。

图3A至图3D图示了用于创作文档的视觉表示的示例图形用户界面。

图3A图示了包括文档区域302和创作区域304的示例图形用户界面(GUI)300。在一些示例中，文档区域302可以呈现包含在文档中的信息，诸如文本、图像、数字或其他内容。在一些实例中，文档区域302可以提供用于导航文档的附加工具(例如，滚动条、搜索功能等)。进一步地，文档区域302可以允许使用一个或多个外围输入/输出设备进行交互。文档区域302可以进一步促进与信息的交互，该信息通过允许编辑文本，输入信息(例如，注释文本-突出显示、注释、下划线等)、格式化句子或段落等而被显示。创作区域304可以包括用于添加视觉表示和/或编辑视觉表示的空间(即，画布)。创作区域304可以具有用于添加和/或编辑视觉表示的各种工具。在一些实例中，GUI 300与诸如PDF阅读器/编辑器、文字处理器等之类的基于文本的应用相关联。在其他实例中，GUI 300与其他类型的应用和/或系统相关联。

图3B图示了GUI 300如何允许选择在文档区域302中包含的信息。比如，文档区域302可以促进使用一个或多个输入/输出设备来选择文本的一部分(如第一框306(1)所图示的)。如图3B所示，输入设备的光标已经选择了第一框306(1)的文本。在一些示例中，第一框306可以具有指示所选择的文本的一部分的各种视觉指示符，诸如勾勒框、突出显示框、下划线框、注释文本(例如，突出显示、斜体、下划线、以不同颜色示出等)等。在各种示例中，GUI 300可以允许第一框306(1)的文本从文档区域302移动到创作区域304。例如，如第一复制框306(2)所图示的，用户可以“点击并拖动”第一框306(1)内的文本的副本从文档区域302移动到创作区域304。如图3C所图示的，放下创作区域304中的第一复制框306(2)时，可以创建第一视觉表示308。在各种示例中，选择创作区域304中的视觉表示308时，GUI 300可以呈现用于第一框306(1)的文本的各种视觉指示符，以说明第一框306(1)与第一视觉表示之间的链接或关联。例如，第一框306(1)内的文本可以用突出显示、下划线、斜体、不同颜色等来注释。

图3C图示了具有经链接的视觉表示的GUI 300。类似于第一框306(1)从文档区域302移动到创作区域304以创建第一视觉表示308，GUI 300可以允许第二框310内的文本从文档区域302移动到创作区域304的移动以创建第二视觉表示312。创作区域304可以提供用于与第一视觉表示308和/或第二视觉表示312交互的各种工具。例如，创作区域304可以允许将第一视觉表示308链接到第二视觉表示312，和/或一旦链接，则显示第一视觉指示符308和第二视觉指示符312之间的视觉链接314(例如，指示符)。比如，使用输入设备，通过移动第二视觉表示312的边缘越过第一视觉表示308的边缘(或反之亦然)，在创作区域304中第一视觉表示308可以被链接到第二视觉表示312。在一些示例中，GUI 300可以使得用户能够创建用于视觉链接314的标签316。标签316可以包括自由形式的文本和/或预先定义的类别。这可以允许用户定义第一视觉表示308和第二视觉表示312之间的关系。在一个示例中，用户可以选择视觉链接314(例如，鼠标上的右键点击、鼠标上的左键点击、触摸输入等)，并且菜单可以呈现“添加标签”的选项，该选项当被选择时，允许视觉链接316被标记。

在一些示例中，在创建第一视觉表示308之后，GUI 300可以提供用于创建诸如第二视觉表示312之类的另一视觉表示的建议或提示。例如，基于包含在第一视觉表示308中的文本，GUI 300可以提供用于要被链接到第一视觉表示308的第二视觉表示312或任何数目的附加视觉表示的建议。该建议可以标识文本的各部分以基于包含在第一视觉表示308中的所选择的文本来创建附加视觉表示。该建议可以基于来自对文档执行的NLP技术的输出、用于文档的节点图等。通过提供该建议，GUI 300可以帮助用户关联视觉表示。

附加地或备选地，在一些示例中，用户可以从文本的不同部分创建多个视觉表示，并且GUI 300可以提供关于如何链接多个视觉表示的建议。比如，在创建第一视觉表示308和第二视觉表示312之后，GUI 300可以提供建议，其基于来自NLP技术的用于文档的输出、用于文档的节点图等将第一视觉表示308与第二视觉表示312链接。建议可以基于针对与底层视觉表示有关的文本。如此，可以向用户提供连接视觉表示的建议。

进一步地，尽管第一视觉表示308在图3C中被图示为位于第二视觉表示312下方，第一视觉表示308和/或第二视觉表示312可以以任何方式布置，诸如位于侧面、顶部、后面等。在许多实例中，用户可以操纵创作区域304内的视觉表示以位于特定布置中。

图3D图示了具有组合的视觉表示的GUI 300。具体地，创作区域304可以允许第一视觉表示308和第二视觉表示312被组合成主框318(例如，组合的视觉表示)。例如，用户可以选择第一视觉表示308和第二视觉表示312并且将所选择的视觉表示312移动到主框318上。如从第一视觉表示308的文本到第二视觉表示312的文本的依赖性箭头320所图示的，由于第二视觉表示312依赖于第一视觉表示308，所以这样的动作可以使得第一视觉表示308和第二视觉表示312的信息以特定布置来组织。在其他示例中，视觉表示可以在主框318中被不同地布置(诸如以分层或分级形式或任何其他形式的另一类型)。

尽管图3D图示了将视觉表示组合到主框318中的一个示例，但是在其他示例中，视觉表示可以不同地组合。比如，选择第一视觉表示308和第二视觉表示312时，用户可以右击以请求(或通过其他手段请求)视觉表示被组合。这里，主框318可以根据该请求而被创建。附加地，在一些示例中，可以创建标题，其指示主框318中讨论或呈现的主题。举例而言，NLP技术可以确定用于主框318的适当标题。

虽然在图3A至图3D中使用特定形状图示了示例视觉表示，但是可以呈现任何类型的形状和/或图形表示。进一步地，尽管文档区域302被示出为图示文本内容，但是其他类型的内容(例如，图片、图像、图标、图等)可以被显示在文档区域302内。

图4图示了呈现候选列表(诸如文本候选列表)的示例GUI 400。这里，GUI 400包括文档区域402和创作区域404。文档区域402可以允许选择第一框406的文本。响应于这种选择，GUI 400可以呈现候选菜单408，用于显示与第一框406的文本相关联的候选(“混合动力汽车”)。在一些示例中，文本候选模块220可以基于针对文档的节点图和/或来自使用NLP技术处理文档的任何信息来确定候选菜单408的候选。在所图示的示例中，文本候选菜单408可以呈现候选1至4。具体地，候选1，2和3通过用于句子的解析树和/或指示用于句子的主语、动词和宾语的关系短语信息来与“混合动力汽车”节点链接。另外，候选4经由共同参考链而被链接到“混合动力汽车”节点。这里，候选4来自图4中未图示的不同段落。尽管使用特定候选来说明，但是可以呈现其他类型的候选，诸如整个句子、与“混合动力汽车”节点链接的另一整个句子、或经由节点图或通过使用NLP处理文档输出的信息链接的任何其他文本。无论如何，选择候选菜单408中的候选时，可以在创作区域404中呈现对应的视觉表示。

图5图示了呈现表格的视觉表示的示例GUI 500。GUI 500可以包括文档区域502和创作区域504。在该示例中，用户已经组合了多个视觉表示以形成主框506(例如，视觉表示)，类似于图3D中发生的情况。主框506可以显示菜单508，诸如下拉菜单，以使得用户能够针对主框506内的信息创建图表或图。在该示例中，用户已经选择查看表格，并且主框506被更新以示出表格510。这里，主框506的文本内的数值被标识并且相互相关。这种相关可以基于数据的类型。在这个示例中，“1％”和“3％”被标识为百分比，而“2007”和“2009”被标识为年份。进一步地，由于两个文本片段都包括百分比和年份，所以百分比和年份被相关以创建用于表格510的数据。在一些实例中，文本(例如，值)可以基于用于该文本的底层解析树来相关。例如，由于用于句子的解析树中的具有“1％”节点的节点与“2009”节点相比更接近“2007”节点，“1％”可以与“2007”相关。也就是说，与用于句子的解析树中的“2009”节点相比，“1％”节点是与“2007”节点更近的邻居节点。在一些实例中，相关性之间的歧义可以通过用户交互来解决。例如，如果“2009”节点被标识为针对“1％”节点的第二最佳相关，并且“1％”节点和“2007”节点之间的相关不符合准确度阈值，那么可以在表格510中的“2007”旁边呈现菜单(例如，下拉菜单)以允许用户改变相关性，使得“2009”而非“2007”与“1％”相关联。这可以允许用户帮助解决歧义和/或纠正错误。

在图5中，表格510自动地使用来自用于与年份和百分比(例如，2020年的汽车的预计百分比)有关的附加文本(例如，不同于主框506的附加文本)的数据进行更新。这样的更新可以基于在附加文本中已经标识出类似数据类型的NLP技术。在一些实例中，该附加数据可以在被录入到表格510中之前被呈现给用户。备选地或附加地，这个附加数据可以被不同地指示，以诸如以不同颜色、下划线、斜体、粗体等来说明它源自与主框506的文本不同的文本。尽管在图5中图示了表格，但是可以呈现任何类型的图形表示，诸如饼图、线图、柱状图等。

图6图示了基于NLP来创建节点图的示例过程。在一些示例中，NLP技术可以从文档中标识句子602或信息的任何其他部分。NLP技术可以解析句子602并且标识各种信息和/或关系。比如，NLP技术可以确定用于句子602的关系短语信息，诸如包括主语(“混合动力汽车销售额”)、动词(“已增加约”)和宾语(“一个百分点”)的主语动词宾语(SVO)三元组604。附加地或备选地，NLP技术可以确定描述句子602内的单词或短语之间的关系的解析树(未图示)。比如，解析树可以指示“销售额”和“混合动力”之间的关系以及“销售额”和“汽车”之间的另一关系。进一步地，NLP技术可以确定用于句子602和/或文档的其他部分的实体信息(例如，共同参考链)等。

基于来自NLP技术的信息，可以为文档创建节点图。节点图可以包括用于在文档中被标识的每个令牌(例如，单词或短语)的节点(图6中未图示)。可以基于解析树、实体信息和/或关系短语信息来关联节点。可以添加和/或链接附加节点来对文本的结构进行建模。例如，可以添加节点606作为对短语“混合动力汽车销售额”的代表性提及，其表示文档中对这种短语的最具描述性的句子。节点606可以链接到节点608，其表示提及短语“混合动力汽车销售额”的另一句子。节点606和/或608可以被链接到节点图中的其他节点。进一步地，节点图可以包括表示提及“2007年底”的节点610。节点610可以链接到节点612，其表示节点610的代表性提及。节点612可以链接到其他节点，诸如表示其他提及“2007年底”的节点。节点606和608的链接以及节点610和612的链接可以各自表示共同参考链。如此，文档内的文本(例如，实体、短语等)可以通过节点图来关联，以对文本的结构进行建模。

图7图示了用于文档的示例节点图700。节点图700可以包括节点702。节点702中的每个节点可以与文档中标识的令牌相对应，诸如单词、短语、句子等。节点702中的每个节点用填充的不同类型来图示，以示出来自诸如句子种类、实体种类、提及代表性种类、提及种类、主语/动词/宾语种类等的节点所属的种类704的种类。节点702之间的关系使用链接706图示。这种关系可以来自各种关系种类708。示例关系种类708包括：表示提及种类节点到代表性提及种类节点之间的链接的提及到代表性提及种类、表示句子种类节点和提及种类节点之间的链接的句子到提及种类、表示主语、动词和宾语之间的链接的主语-动词-宾语种类、基于句子顺序的表示句子之间的链接的句子顺序种类、表示解析树的节点之间的链接的解析树种类等。为了便于说明，以类似的方式(即，用实线)示出了链接706(和对应的关系种类708)。

图8至图10是用于采用本文中所描述的技术的说明性过程的流程图。可以在图1的示例环境100中执行个体过程和/或操作中的一个或多个过程和/或操作。例如，可以由服务提供商102和/或一个或多个设备120执行个体过程和/或操作中的一个或多个过程和/或操作。此外，环境100可以被用来执行其他过程。

这些过程被图示为逻辑流程图中的框的集合，其表示可以以硬件、软件或其组合来实现的操作序列。这些框通过数字引用。在软件的上下文中，框表示存储在一个或多个计算机可读介质上的计算机可执行指令，其当由一个或多个处理单元(诸如硬件微处理器)执行时，执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数目的所描述的框可以以任何顺序组合和/或并行地组合以实现过程。进一步地，可以省略任何数目的操作。

图8是用于创作用于文档的视觉表示的示例说明性过程的流程图。

在802处，系统可以标识文档。在一个示例中，系统可以搜索文档数据库以标识文档。在另一示例中，系统可以从用户设备或其他设备(例如，经由网络)来接收文档。在许多实例中，用户可以选择用于处理的文档。

在804处，系统可以使用自然语言处理来处理文档。比如，自然语言处理可以使用自然语言处理生成或确定用于文档的一个或多个解析树。解析树可以指示文档的句子内的一个或多个单词和/或短语之间的关系。附加地或者备选地，自然语言处理可以生成指示文档中指代同一实体的一个或多个单词和/或短语之间的关系的实体信息(例如，共同参考链、来自实体识别的输出等)。进一步地，自然语言处理可以生成指示用于文档中的主语、动词和/或宾语的关系的关系短语信息。

在806处，系统可以生成节点图。比如，该系统可以至少部分基于自然语言处理来生成节点图。为了生成节点图，系统可以使用一个或多个解析树、实体信息、关系短语信息和/或可以由自然语言处理提供的任何其他信息。节点图可以标识一个或多个单词和/或短语(例如，被标识的令牌)之间的关系。

在808处，系统可以提供用户界面。用户界面可以包括显示文档的文本的文档区域以及呈现用于文档的一个或多个视觉表示的创作区域。在一些实例中，系统可以通过向用户设备发送与用户界面相关联的数据来提供用户界面。在其他实例中，系统可以通过经由与系统相关联的显示设备来呈现(例如，显示)用户界面来提供用户界面。尽管在操作806之后被说明，但是操作808可以在操作802之前和/或在任何其他实例中被执行。在一个示例中，用户可以经由用户界面选择文档进行处理，然后过程800可以继续处理所选择的文档。

在810处，系统可以接收对经由文本区域所提供的文本的一部分的用户选择。在一些实例中，系统可以基于用户使用输入设备悬停在文本的该部分上方来接收用户选择。在其他实例中，系统可以基于用户使用输入设备选择文本的该部分来接收用户选择。输入设备可以包括鼠标、笔、手指等。在一些说明中，可以使用专用笔，其包括针对创作视觉表示而定制的特定按钮或其他输入元素(例如，根据选择文本来创建视觉表示的按钮)。

在812处，系统可以至少部分地基于自然语言处理来生成文本候选。比如，系统可以使用节点图和/或由自然语言处理输出的任何信息(例如，解析树、实体信息、关系短语信息等)来标识用于文本的所选择的部分的文本候选。标识文本候选可以包括：标识与文本的所选择的部分具有关系的一个或多个单词或短语。然后，系统可以向用户提供候选文本。在示例中，向用户提供文本候选可以包括：经由用户界面向用户提供候选列表。

在814处，系统可以从文本候选中接收对文本候选的选择，并且在816处，系统可以基于文本候选来生成视觉表示。在一个示例中，视觉表示可以包括表示所选择的文本候选的文本框。在另一示例中，视觉表示可以包括表示所选择的文本候选的图形表示(例如，对象)。比如，图形表示可以包括表示所选择的测试候选的图表、图和/或表格。在一些示例中，生成视觉表示包括：标识表示第一值的第一术语或短语，以及标识表示第二值的第二术语或短语。在一些示例中，第一视觉表示可以相对于第二值表示第一值，其中第一视觉表示包括以下各项中的至少一项：图、图表或表格。在一些示例中，系统可以使得用户能够更新第一值、第二值或者第一值和第二值之间的关联中的至少一个。在各种示例中，第一值和/或第二值可以包括数值。

在818处，系统可以提供视觉表示。在一些示例中，系统可以提供用于在用户界面的创作区域中呈现的视觉表示。

图9是用于关联视觉表示的示例说明性过程的流程图。

在902处，系统可以提供第一视觉表示和第二视觉表示。在一些示例中，第一视觉表示和第二视觉表示可以分别包括文本的第一部分和文本的第二部分的表示。在一些示例中，系统可以在从在与系统相关联的显示器上呈现的文档接收到对文本的第一部分和文本的第二部分的选择时创建第一视觉表示和第二视觉表示。

在904处，系统可以接收用户输入，该用户输入请求关联第一视觉表示与第二视觉表示。在一些示例中，系统可以通过与系统相关联的一个或多个输入设备来接收用户输入。

在906处，系统可以创建第一视觉表示与第二视觉表示之间的关联。在一些示例中，系统可以至少部分地基于在904处接收到的用户输入来创建关联。

在908处，系统可以提供用于第一视觉表示与第二视觉表示之间的关联的视觉指示符。

在910处，系统可以使得用户能够标记第一视觉表示与第二视觉表示之间的关联。例如，该系统可以从用户并且经由输入设备接收一个或多个输入，该输入设备指定文本以标记关联。

在912处，系统可以提供复合表示。在一些示例中，复合表示表示文档的内容。比如，复合表示可以包括第一视觉表示、第二视觉表示和关联。

图10是用于合并视觉表示的示例说明性过程的流程图。

在1002处，系统可以提供第一视觉表示和第二视觉表示。在一些示例中，第一视觉表示和第二视觉表示可以包括位于文档中的文本、图/图表/表格、图像或数字中的一个或多个。

在1004处，系统可以接收用户输入。用户输入可以请求合并第一视觉表示与第二视觉表示。在一些示例中，系统可以通过与系统相关联的一个或多个输入设备来接收用户输入。

在1006处，系统可以将第一视觉表示与第二视觉表示合并以生成组合视觉表示。在第一视觉表示和/或第二视觉表示包括图/图表/表格的一些实例中，合并可以包括：基于第一视觉表示和第二视觉表示的组合信息来更新图/图表/表格。也就是说，可以将单个图/图表/表格与组合数据一起呈现。备选地或附加地，合并可以包括：表示一个视觉表示(或视觉表示的文本)，作为从属于另一视觉表示(或另一视觉表示的文本)。

示例条款

示例A，一种系统，包括：一个或多个处理器；以及存储器，其通信地耦合到一个或多个处理器并且存储计算机可执行指令，这些计算机可执行指令当由一个或多个处理器执行时，使得一个或多个处理器执行以下操作，包括：接收包括文本的文档；使用自然语言处理来处理文档；提供用户界面，该用户界面包括文档区域，以呈现文档的文本，以及创作区域，以呈现用于文档的一个或多个视觉表示的创作区域；接收对被呈现在文档区域中的文本的第一部分的第一选择；至少部分基于自然语言处理来生成用于文本的第一部分的第一视觉表示；以及提供第一视觉表示用于在用户界面的创作区域中呈现。

示例B，示例A的系统，其中操作还包括：接收对被呈现在文档区域中呈现的文本的第二部分的第二选择；至少部分基于自然语言处理来生成用于文本的第二部分的第二视觉表示；提供第二视觉表示用于在用户界面的创作区域中呈现；接收用户输入，其请求将第二视觉表示与第一视觉表示相关联；以及将第一视觉表示与第二视觉表示相关联。

示例C，示例B的系统，其中操作还包括：提供视觉指示符以指示第一视觉表示与第二视觉表示之间的关联。

示例D，示例A至C中的任一示例的系统，其中操作还包括：至少部分基于自然语言处理来生成用于文本的第一部分的文本候选列表；以及从文本候选列表接收对文本候选的选择，其中生成用于文本的第一部分的第一视觉表示包括：生成用于文本候选的视觉表示。

示例E，示例A至D中的任一示例的系统，其中处理文档包括：使用自然语言处理来处理文档，以确定以下至少一项：用于文档中的句子的解析树、指示文档中指代同一实体的两个或更多个单词或短语之间的关系的实体信息、或关系短语信息，其指示用于文档中的主语、动词和宾语的关系。

示例F，示例E的系统，其中操作还包括：基于以下至少一项来生成用于文档的节点图：解析树、实体信息、或关系短语信息，该节点图指示文档的文本的第一部分与文档的文本或其他文本的第二部分之间的关系；以及通过以下方式生成用于文本的第一部分的文本候选列表：确定在节点图中，文本或其他文本的第二部分与文本的第一部分具有关系；以及生成用于文本的第二部分的文本候选；以及从文本候选列表接收对文本候选的选择，并且其中生成用于文本的第一部分的第一视觉表示包括：生成用于文本候选的视觉表示。

示例G，一个或多个存储可执行指令的计算机可读存储介质，这些可执行指令当由一个或多个处理器执行时，使得一个或多个处理器执行以下动作，把控：呈现包括文本的文档；接收对文档的文本的第一部分的第一用户选择；呈现第一视觉表示以表示文本的第一部分，该第一视觉表示至少部分地基于使用自然语言处理来处理文档；接收对文档的文本的第二部分的第二用户选择；呈现第二视觉表示以表示文本的第二部分，该第二视觉表示至少部分地基于使用自然语言处理来处理文档；接收用户输入以将第一视觉表示与第二视觉表示相关联；至少部分基于用户输入，来创建第一视觉表示与第二视觉表示之间的关联；以及提供第一视觉表示、第二视觉表示以及关联作为表示文档的内容的复合表示。

示例H，示例G的一个或多个计算机可读存储介质，其中动作还包括：接收对第一视觉表示的第三用户选择；以及用注释来呈现文本的第一部分以指示文本的第一部分与第一视觉表示相关联。

示例I，示例G或H的一个或多个计算机可读存储介质，其中第一视觉表示呈现文本的第一部分、或表示文本的第一部分的图像中的至少一个。

示例J，示例I的一个或多个计算机可读存储介质，其中动作还包括：标识(i)表示第一值的文本的第一部分内的第一术语或短语以及(ii)表示第二值的第二术语或短语；以及生成第一视觉表示，该第一视觉表示相对于第二值表示第一值，该第一视觉表示包括以下至少一项：图、图表或表格。

示例K，示例J的一个或多个计算机可读存储介质，其中动作还包括：使得用户能够更新以下至少一项：第一值、第二值、或第一值和第二值之间的关联。

示例L，示例G至K中的任一示例的一个或多个计算机可读存储介质，其中第一视觉表示相对于第二值图形地呈现第一值，第一值包括数值；第二视觉表示相对于第四值图形地呈现第三值，第三值具有与第一值相同的类型，并且第四值具有与第二值相同的类型，并且动作还包括：接收用户输入以将第一视觉表示与第二视觉表示合并；以及将第一视觉表示与第二视觉表示合并以生成组合视觉表示，该组合视觉表示在同一图、同一图表或同一表格中的至少一个内，相对于第二值图形地呈现第一值并且相对于第四值图形地呈现第三值。

示例M，示例G至L中的任一示例的一个或多个计算机可读存储介质，其中动作还包括：使得用户能够标记第一视觉表示与第二视觉表示之间的关联；并且其中提供包括：提供标签作为复合表示的一部分。

示例N，一种方法，包括：通过计算设备标识文档；通过计算设备使用自然语言处理来处理文档；通过计算设备提供用户界面，该用户界面包括呈现文档的文本的文档区域、以及呈现用于由用户选择的文本的一部分的视觉表示的创作区域，该视觉表示至少部分地基于自然语言处理；以及通过计算设备提供表示文档的内容的视觉表示。

示例O，示例N的方法，其中处理文档包括：使用自然语言处理来处理文档以确定用于包括文本的部分的句子的解析树，该文本的部分包括句子中的第一单词或短语，该解析树指示句子内的第一单词或短语与句子内的第二单词或短语之间的关系，并且该方法还包括：通过以下方式来生成用于文本的部分的文本候选列表：确定在解析树中，第二单词或短语与解析树中的第一单词或短语具有关系；以及基于确定，生成用于文本候选列表的文本候选，该文本候选包括第二单词或短语；以及从文本候选列表接收对文本候选的用户选择；以及至少部分地基于用户选择来生成用于文本的部分的视觉表示，该视觉表示表示包括第二单词或短语的文本候选。

示例P，示例N或O的方法，其中处理文档包括：处理文档以确定用于文本的部分的实体信息，该实体信息指示文本的部分和文本的另一部分指代同一实体，并且该方法还包括：通过以下方式来生成用于文本的部分的文本候选列表：确定文本的其他部分与实体信息中的文本的部分指代相同的实体；以及至少部分地基于确定，生成用于文本候选列表的文本候选，该文本候选包括文本的其他部分；以及从文本候选列表接收对文本候选的用户选择；以及至少部分地基于用户选择，生成用于文本的部分的视觉表示，该视觉表示表示包括文本的其他部分的文本候选。

示例Q，示例N至P中的任一示例的方法，其中处理文档包括：处理文档以确定关系短语信息，该关系短语信息指示文本的部分包括与以下至少一项的关系：包括文本的部分的句子中的主语、动词或宾语，并且该方法进一步包括：通过以下方式生成用于文本的部分的文本候选列表：确定文本的部分包括与以下至少一项的关系：关系短语信息中的主语、动词或宾语；以及至少部分地基于确定，生成用于文本候选列表的文本候选，该文本候选包括以下至少一项：主语、动词或宾语；以及从文本候选列表接收对文本候选的用户选择；以及至少部分地基于用户选择，生成用于文本的部分的视觉表示，该视觉表示表示文本候选其包括主语、动词或宾语中的至少一个。

示例R，示例N至Q中的任一示例的方法，还包括：生成由用户选择的文本的另一部分的另一视觉表示；提供该另一视觉表示用于在用户界面的创作区域中呈现；接收请求将视觉表示与另一视觉表示相关联的用户输入；以及关联视觉表示与另一视觉表示。

示例S，示例R的方法还包括：接收用户输入以合并视觉表示与另一视觉表示；以及合并视觉表示与另一视觉表示以生成组合视觉表示，该组合视觉表示呈现视觉表示与另一视觉表示之间的关联。

示例T，示例R或S的方法，还包括：使得用户能够标记视觉表示与另一视觉表示之间的关联。

结论

尽管已经用特定于结构特征和/或方法动作的语言描述了技术，但是应该理解，所附权利要求不一定限于所描述的特征或动作。相反，这些特征和行为被描述为这种技术的示例实现方式。

示例过程的操作在个体框中被图示并且参照这些框进行概括。这些过程被图示为框的逻辑流程，其中每个框可以表示可以用硬件、软件或其组合来实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，这些计算机可执行指令当由一个或多个处理器执行时，使得一个或多个处理器能够执行所列举的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数目的所描述的操作可以以任何顺序执行、以任何顺序组合、细分为多个子操作、和/或以并行方式执行，以实现所描述的过程。所描述的过程可以通过与一个或多个设备106，120和/或200(诸如一个或多个内部或外部CPU或GPU)和/或诸如FPGA、DSP或其他类型的加速器之类的一个或多个硬件逻辑块相关联的资源来执行。

上文所描述的所有方法和过程可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并且经由该软件代码模块完全自动化。代码模块可以存储在任何类型的计算机可读存储介质或其他计算机存储设备中。备选地，方法中的一些或全部方法可以体现在专门的计算机硬件中。

除非另有明确说明，否则诸如“能够(can)”、“可以(could)”、“可能(might)”、“能够(can)”之类的条件语言在上下文内被理解为表示某些示例包括，而其他示例不包括，某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示某些特征、元素和/或步骤以任何方式需要用于一个或多个示例，或者一个或多个示例必然包括用于在具有或不具有用户输入或提示的情况下决定在任何特定示例中是否包括或将要执行某些特征、元素和/或步骤的逻辑。除非另有特别说明，诸如短语“X、Y或Z中的至少一个”之类的连接语言应当理解为表示项目、术语等可以是X、Y或Z之一、或者其组合。

本文中所描述的和/或附图中所描绘的流程图中的任何例程描述、元素或框应当被理解为潜在地表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的代码的模块、分段或部分。如本领域技术人员所理解的，备选实现方式包括在本文中所描述的示例的范围内，其中可以删除元素或功能，或者可以依据所牵涉的功能与所示出或讨论的顺序不同的顺序执行，包括基本上同步或以相反的顺序。应当强调，可以对上文所描述的示例做出许多变化和修改，其要素被理解为是在其他可接受的示例中。所有这些修改和变化都旨在被包括在本文中本公开的范围内，并且由以下权利要求保护。

Claims (15)

1.一种系统，包括：

一个或多个处理器；以及

存储器，其通信地耦合到所述一个或多个处理器并且存储计算机可执行指令，所述计算机可执行指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下操作，包括：

接收包括文本的文档；

使用自然语言处理来处理所述文档；

提供用户界面，所述用户界面包括文档区域以及创作区域，所述文档区域呈现所述文档的所述文本，所述创作区域呈现用于所述文档的一个或多个视觉表示；

接收对被呈现在所述文档区域中的所述文本的第一部分的第一选择；

至少部分基于所述自然语言处理来生成用于所述文本的所述第一部分的第一视觉表示；以及

提供所述第一视觉表示用于在所述用户界面的所述创作区域中呈现。

2.根据权利要求1所述的系统，其中所述操作还包括：

接收对被呈现在所述文档区域中的所述文本的第二部分的第二选择；

至少部分基于所述自然语言处理来生成用于所述文本的所述第二部分的第二视觉表示；

提供所述第二视觉表示用于在所述用户界面的所述创作区域中呈现；

接收用户输入，所述用户输入请求将所述第二视觉表示与所述第一视觉表示相关联；以及

将所述第一视觉表示与所述第二视觉表示相关联。

3.根据权利要求1或2所述的系统，其中所述操作还包括：

至少部分基于所述自然语言处理来生成用于所述文本的所述第一部分的文本候选列表；以及

从所述文本候选列表接收对文本候选的选择，

并且其中生成用于所述文本的所述第一部分的所述第一视觉表示包括：生成用于所述文本候选的视觉表示。

4.根据权利要求1至3中的任一项所述的系统，其中所述处理所述文档包括：使用所述自然语言处理来处理所述文档，以确定以下至少一项：用于所述文档中的句子的解析树、指示所述文档中指代同一实体的两个或更多个单词或短语之间的关系的实体信息、或者关系短语信息，所述关系短语信息指示用于所述文档中的主语、动词和宾语的关系。

5.根据权利要求4所述的系统，其中所述操作还包括：

基于以下至少一项来生成用于所述文档的节点图：所述解析树、所述实体信息、或者所述关系短语信息，所述节点图指示所述文档的所述文本的所述第一部分与所述文档的所述文本或其他文本的第二部分之间的关系；以及

通过以下方式生成用于所述文本的所述第一部分的文本候选列表：

确定在所述节点图中，所述文本或所述其他文本的所述第二部分与所述文本的所述第一部分具有所述关系；以及

生成用于所述文本的所述第二部分的文本候选；以及

从所述文本候选列表接收对文本候选的选择，

并且其中生成用于所述文本的所述第一部分的所述第一视觉表示包括：生成用于所述文本候选的视觉表示。

6.一个或多个存储可执行指令的计算机可读存储介质，所述可执行指令当由一个或多个处理器执行时，使得所述一个或多个处理器执行以下动作，包括：

呈现包括文本的文档；

接收对所述文档的所述文本的第一部分的第一用户选择；

呈现第一视觉表示以表示所述文本的所述第一部分，所述第一视觉表示至少部分地基于使用自然语言处理来处理所述文档；

接收对所述文档的所述文本的第二部分的第二用户选择；

呈现第二视觉表示以表示所述文本的所述第二部分，所述第二视觉表示至少部分地基于使用自然语言处理来处理所述文档；

接收用户输入以将所述第一视觉表示与所述第二视觉表示相关联；

至少部分基于所述用户输入，来创建所述第一视觉表示与所述第二视觉表示之间的关联；以及

提供所述第一视觉表示、所述第二视觉表示以及所述关联，作为表示所述文档的内容的复合表示。

7.根据权利要求6所述的一个或多个计算机可读存储介质，其中所述第一视觉表示呈现以下至少一项：所述文本的所述第一部分、或者表示所述文本的所述第一部分的图像，并且其中所述动作还包括：

标识(i)表示第一值的所述文本的所述第一部分内的第一术语或短语以及(ii)表示第二值的第二术语或短语；以及

生成所述第一视觉表示，所述第一视觉表示相对于所述第二值表示所述第一值，所述第一视觉表示包括以下至少一项：图、图表或表格。

8.根据权利要求7所述的一个或多个计算机可读存储介质，其中所述动作还包括：

使得用户能够更新以下至少一项：所述第一值、所述第二值、或者所述第一值和所述第二值之间的关联。

9.根据权利要求6至8中的任一项所述的一个或多个计算机可读存储介质，其中：

所述第一视觉表示相对于第二值图形地呈现第一值，所述第一值包括数值；

所述第二视觉表示相对于第四值图形地呈现第三值，所述第三值具有与所述第一值相同的类型，并且所述第四值具有与所述第二值相同的类型，并且所述动作还包括：

接收用户输入以将所述第一视觉表示与所述第二视觉表示合并；以及

将所述第一视觉表示与所述第二视觉表示合并以生成组合视觉表示，所述组合视觉表示在同一图、同一图表或同一表格中的至少一个内，相对于所述第二值图形地呈现所述第一值并且相对于所述第四值图形地呈现所述第三值。

10.根据权利要求6至9中的任一项所述的一个或多个计算机可读存储介质，其中所述动作还包括：

使得用户能够标记所述第一视觉表示与所述第二视觉表示之间的关联；

并且其中所述提供包括：提供所述标记作为所述复合表示的一部分。

11.一种方法，包括：

通过计算设备标识文档；

通过所述计算设备使用自然语言处理来处理所述文档；

通过所述计算设备提供用户界面，所述用户界面包括文档区域以及创作区域，所述文档区域呈现所述文档的文本，所述创作区域呈现用于由用户选择的所述文本的一部分的视觉表示，所述视觉表示至少部分地基于所述自然语言处理；以及

通过所述计算设备，提供所述视觉表示以表示所述文档的内容。

12.根据权利要求11所述的方法，其中：

所述处理所述文档包括：使用所述自然语言处理来处理所述文档以确定用于包括所述文本的所述部分的句子的解析树，所述文本的所述部分包括所述句子中的第一单词或短语，所述解析树指示所述句子内的所述第一单词或短语与所述句子内的第二单词或短语之间的关系，并且所述方法还包括：

通过以下方式来生成用于所述文本的所述部分的文本候选列表：

确定在所述解析树中，所述第二单词或短语与所述第一单词或短语具有所述关系；以及

至少部分地基于所述确定，生成用于所述文本候选列表的文本候选，所述文本候选包括所述第二单词或短语；以及

从所述文本候选列表接收对所述文本候选的用户选择；以及

至少部分地基于所述用户选择，来生成用于所述文本的所述部分的所述视觉表示，所述视觉表示表示包括所述第二单词或短语的所述文本候选。

13.根据权利要求11或权利要求12所述的方法，其中：

所述处理所述文档包括：处理所述文档以确定用于所述文本的所述部分的实体信息，所述实体信息指示所述文本的所述部分和所述文本的另一部分指代同一实体，并且所述方法还包括：

通过以下方式来生成用于所述文本的所述部分的文本候选列表：

确定所述文本的所述其他部分与所述实体信息中的所述文本的所述部分指代所述同一实体；以及

至少部分地基于所述确定，生成用于所述文本候选列表的文本候选，所述文本候选包括所述文本的所述其他部分；以及

从所述文本候选列表接收对所述文本候选的用户选择；以及

至少部分地基于所述用户选择，生成用于所述文本的所述部分的所述视觉表示，所述视觉表示表示包括所述文本的所述其他部分的所述文本候选。

14.根据权利要求11至13中的任一项所述的方法，其中：

所述处理所述文档包括：处理所述文档以确定关系短语信息，所述关系短语信息指示所述文本的所述部分包括与以下至少一项的关系：包括所述文本的所述部分的句子中的主语、动词或宾语，并且所述方法进一步包括：

通过以下方式生成用于所述文本的所述部分的文本候选列表：

确定所述文本的所述部分包括与以下至少一项的所述关系：所述关系短语信息中的所述主语、所述动词或者所述宾语；以及

至少部分地基于所述确定，生成用于所述文本候选列表的文本候选，所述文本候选包括以下至少一项：所述主语、所述动词或者所述宾语；以及

从所述文本候选列表接收对所述文本候选的用户选择；以及

至少部分地基于所述用户选择，生成用于所述文本的所述部分的所述视觉表示，所述视觉表示表示所述文本候选，其包括所述主语、所述动词或所述宾语中的至少一个。

15.根据权利要求11至14中的任一项所述的方法，还包括：

生成用于由所述用户选择的所述文本的另一部分的另一视觉表示；

提供所述另一视觉表示，用于在所述用户界面的所述创作区域中呈现；

接收用户输入，所述用户输入请求关联所述视觉表示与所述另一视觉表示；以及

关联所述视觉表示与所述另一视觉表示。