CN114341787A - 具有同时强化和消除歧义的全面原位结构化文档注释 - Google Patents

Abstract

本发明公开一种系统，所述系统包含创作辅助系统，所述创作辅助系统用以：i)接收在与用户装置相关联的内容创建用户界面(UI)内选定的节点元素，ii)基于所述选定的节点元素从内容扩充系统接收一个或多个建议注释，iii)在所述内容创建UI内集成UI标记窗格，所述UI标记窗格包含：a)一个或多个注释控件元素，所述注释控件元素以文本方式描绘所述一个或多个建议注释中的每一个，每一个注释控件元素定义：第一部分，所述第一部分被配置为将所述相关联注释输入到注释输入框中，和第二部分，所述第二部分被配置为拒绝所述相关联注释，和b)添加控件元素，所述添加控件元素被配置为接受在所述注释输入框中输入的所有注释，以及iv)将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到数据存储系统。

Description

具有同时强化和消除歧义的全面原位结构化文档注释

相关申请案的交叉参考

本申请案主张2019年5月15日提交申请且标题为“具有同时强化和消除歧义的全面原位结构化文档注释(COMPREHENSIVE IN-SITU STRUCTURED DOCUMENT ANNOTATIONSWITH SIMULTANEOUS REINFORCEMENT AND DISAMBIGUATION)”的美国专利申请案第16/412,837号的优先权，所述美国专利申请案的内容以全文引用的方式并入本文中。

背景技术

现有文档注释程序通常在最终内容和文档制作之后使用且不受原作者控制。然而，此类后期制作注释效率低下并且容易出错，至少因为最了解所创建内容的原作者未被利用。这可导致以与原作者意图相反的方式对内容进行注释和/或补充。此外，至少由于原作者不参与此类后期制作注释，因此现有文档注释程序通常不鼓励作者在内容创建期间提供上下文相关的注释。

因此，持续需要一种系统、平台和/或方法，其中原作者直接参与注释服务并且被激励在内容创建时提供此类别的注释。

发明内容

在一个实施例中，公开一种系统，所述系统包含用以为多个用户创建交互式创作环境的创作辅助系统。所述创作辅助系统可包含处理器和存储器装置，所述存储器装置存储指令，所述指令在由处理器执行时致使处理器：i)接收在内容创建用户界面(UI)内选定的一个或多个节点元素，所述内容创建用户界面与以通信方式耦合到创作辅助系统的用户存取装置相关联，ii)从以通信方式耦合到创作辅助系统的内容扩充系统(CES)接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素，iii)在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中所述UI标记窗格可包含：a)一个或多个注释控件元素，所述注释控件元素以文本方式描绘一个或多个建议注释中的每一个，其中每一个注释控件元素定义：第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中，和第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释，和b)添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释，以及iv)将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到以通信方式耦合到所述创作辅助系统的数据存储系统。

在另一实施例中，公开一种用以为多个用户创建交互式创作环境的系统。所述系统可包含通过网络以通信方式耦合的内容扩充服务器、数据库服务器和创作辅助服务器。所述创作辅助服务器可包含处理器和存储器装置，所述存储器装置存储指令，所述指令在由处理器执行时致使处理器：i)接收在内容创建用户界面(UI)内选定的一个或多个节点元素，所述内容创建用户界面与以通信方式耦合到系统的用户存取装置相关联，ii)从内容扩充服务器接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素，iii)在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中UI标记窗格包含：a)一个或多个注释控件元素，所述注释控件元素以文本方式描绘一个或多个建议注释中的每一个，其中每一个注释控件元素定义：第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中，和第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释，和b)添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释，以及iv)将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到数据库服务器。

在又一实施方案中，公开一种存储指令的非暂时性计算机可读介质。所述指令可在由处理器执行时致使所述处理器：i)接收在与用户存取装置相关联的内容创建用户界面(UI)内选定的一个或多个节点元素，ii)从内容扩充系统(CES)接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素，iii)在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中UI标记窗格包含：a)一个或多个注释控件元素，所述注释控件元素以文本方式描绘一个或多个建议注释中的每一个，其中每一个注释控件元素定义：第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中，和第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释，和b)添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释，以及iv)将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到数据存储系统。

鉴于以下详细描述并结合图示，将更充分地理解由本文中所描述的实施例提供的这些和额外特征。

附图简单说明

图示中所陈述的实施例本质上是说明性和示范性的且不意欲限制由权利要求书所定义的主题。当结合以下图示阅读时可理解说明性实施例的以下详细说明，在图示中相似结构以相似元件符号指示，且其中：

图1A描绘根据本文中所展示以及描述的一个或多个实施例的包含数据存储系统、内容扩充系统、创作辅助系统和多个存取装置的说明性系统；

图1B描绘根据本公开的一个或多个实施例的说明性数据存储系统的框图；

图1C描绘根据本公开的一个或多个实施例的说明性内容扩充系统的框图；

图1D描绘根据本公开的一个或多个实施例的说明性创作辅助系统的框图；

图2描绘根据本公开的一个或多个实施例的集成在多个存取装置的显示屏上生成的内容创建用户界面内的说明性用户界面(UI)标记窗格和说明性文本编辑器工具栏，包含可选的标记控件元素；

图3描绘根据本公开的一个或多个实施例的集成一个或多个存取控件元素以存取/进入UI标记窗格的说明性内容创建用户界面；

图4描绘根据本公开的一个或多个实施例的在用户选定第一可选标记控件元素之后集成在内容创建用户界面内的说明性UI标记窗格；

图5描绘根据本公开的一个或多个实施例的在用户选定“内容标记”或第二可选标记控件元素之后集成在内容创建用户界面内的说明性UI标记窗格；

图6描绘根据本公开的一个或多个实施例的在用户选定文本节点元素之后集成在内容创建用户界面内的说明性UI标记窗格；

图7描绘根据本公开的一个或多个实施例的在用户选定资产节点元素之后集成在内容创建用户界面内的说明性UI标记窗格；

图8描绘根据本公开的一个或多个实施例的用于接受一个或多个章节关键词的说明性UI标记窗格；

图9描绘根据本公开的一个或多个实施例的用于拒绝一个或多个章节关键词的说明性UI标记窗格；

图10描绘根据本公开的一个或多个实施例的用于修改一个或多个章节关键词的排名的说明性UI标记窗格；

图11描绘根据本公开的一个或多个实施例的用于提议注释的说明性UI标记窗格；

图12描绘根据本公开的一个或多个实施例的用于对注释消除歧义的说明性UI标记窗格；

图13描绘根据本公开的一个或多个实施例的用于提供可发现性得分的说明性UI标记窗格；

图14描绘根据本公开的一个或多个实施例的包含下一个工作流阶段控件元素的说明性工具栏；

图15描绘根据本公开的一个或多个实施例的用于引导用户通过节点元素添加注释的说明性UI标记窗格；

图16描绘根据本公开的一个或多个实施例在用户已被引导通过文档的一个或多个节点元素以添加注释之后的说明性UI标记窗格；

图17描绘根据本公开的一个或多个实施例的说明性活动和版本界面；

图18描绘根据本公开的一个或多个实施例的说明性项目仪表板界面；

图19描绘根据本公开的一个或多个实施例的用以提供与注释相关联的额外信息的说明性UI标记窗格；

图20描绘根据本公开的一个或多个实施例的在选定特选辅助数字链接之后呈现的说明性数字产品界面；

图21描绘根据本公开的一个或多个实施例的在选定与章节关键词相关联的特选辅助数字链接之后呈现的说明性数字产品界面；

图22描绘根据本公开的一个或多个实施例的在选定与内容标记相关联的特选辅助数字链接之后呈现的说明性数字产品界面；

图23描绘根据本公开的一个或多个实施例的用以提供额外信息的说明性内容创建用户界面；

图24描绘根据本公开的一个或多个实施例的用以通过补充内容链接提供额外信息的说明性内容创建用户界面；

图25描绘根据本公开的一个或多个实施例的包含UI补充内容窗格的说明性内容创建用户界面；并且

图26描绘根据本公开的一个或多个实施例的包含UI标记窗格和补充内容界面的说明性内容创建用户界面。

具体实施方式

本文中所描述的实施例扩展内容扩充系统的计算能力。通常，内容扩充系统接收内容并且实时、接近实时或以预定刷新率应用多种自然语言处理算法和/或机器学习算法，来为所接收内容提供关联的扩充(例如，注释)。各种内容扩充系统(例如，作为非限制性实例，

内容扩充框架或系统)可从本文中所描述的改进受益。

本文中所描述的实施例在创作工作流中(例如，原位)较早地引入内容扩充，以使得作者和相关联计算机(例如，内容扩充系统/框架)两者可通过特定用户界面协作并从他们的交互学习，如本文中所描述。各种实施例利用如本文中所描述的此类用户界面来为注释和/或内容扩充提出建议和/或推荐，作为流畅在线环境的一部分，以主动辅助作者定义适当的注释和/或内容扩充。例如，建议/推荐的注释可包含通过如本文中所描述的各种界面(例如，UI标记窗格)提供的章节关键词、内容标记和/或组件标记，而建议/推荐的内容扩充可包含通过如本文中所描述的各种界面(例如，特选工具提示界面、补充内容链接、规范工具提示界面、补充内容界面、UI补充内容窗格等)提供的额外和/或补充信息。

通过如本文中所描述的各种用户界面的系统交互可使得作者能够在他们专注于来自他们所创建内容的见解和他们所创建内容中的模式的同时接收机器指导。计算机(例如，内容扩充系统/框架)可持续从通过本文中所描述的各种用户界面接收的输入学习。例如，输入可用作来自作者(例如，领域专家)的反馈回路的一部分，以改进内容扩充系统/框架算法，从而实现所述领域中的注释和/或内容扩充的相对更高质量的建议和/或推荐。

本文中所描述的其它实施例通过各种用户界面提供持续更新的可发现性得分作为作者的激励工具。在一个实例中，对标记、注释和/或元数据的概念不熟悉的作者可利用可发现性得分工具来获得对标记、注释和/或元数据的关键作用的了解。在另一实例中，熟悉标记、注释和/或元数据的作用的资深作者可利用可发现性得分工具主动微调他们的标记、注释和/或元数据，使得目标受众是有针对性的。在任一状况下，作者都能够理解与本文中所描述的各种用户界面交互的价值(例如，引导的、类似向导的体验)以最好地用如本文中所描述的不同和特定注释类型来增强他们所创建的内容。

在详细了解如本文中所描述的各种用户界面及其特定功能之前，本公开的系统可由四个子系统支持以实现具有同步强化和消除歧义的全面原位结构化文档注释，如本文中所描述。第一子系统可支持内容扩充系统计算机和作者计算机之间的双向通信流。第二子系统可支持全面注释系统和结构化创作环境。第三子系统可支持用以定义可发现性得分的引导工具。第四子系统可支持作者激励和对创作环境的增强。此类子系统可相互协同工作，以在创作体验期间提供同时强化和消除歧义的全面原位结构化文档注释。

图1A描绘根据本文中所展示以及所描述的一个或多个实施例的包含数据存储系统102、内容扩充系统104、创作辅助系统106和多个存取装置108a、108b、108n的说明性系统100。参考图1A，数据存储系统102、内容扩充系统104和创作辅助系统106可一致地工作以在多个存取装置108a、108b、108n中的每一个上创建定制的内容创作环境，包含如本文中所描述的多个用户界面。每一个存取装置108a、108b、108n可包含计算装置(例如，个人计算机、手持式装置、蜂窝装置等)。每一个定制的内容创作环境的多个用户界面可用于增强由用户(例如，作者、内容创建者、编者等)在每一个存取装置108a、108b、108n上创建的内容。如本文中所描述，多个用户界面可直接集成在每一个存取装置108a、108b、108n的显示屏109a、109b、109n内，使得不需要用户在不同程序和/或用户界面之间(例如，在内容创建程序/用户界面与单独的内容扩充程序/用户界面等之间)切换。根据各种方面，如本文中所描述，多个用户界面可直接集成在每一个显示屏109a、109b、109n上生成的内容创建程序(例如，文本编辑器程序、文字处理程序等)的用户界面内。限制用户在程序和/或用户界面之间切换可在内容创建阶段期间实现流畅的创作体验。根据各种方面，如本文中所描述，多个用户界面可通过每一个存取装置108a、108b、108n的软件(例如，通过加载项、通过插件、通过API等)直接集成在现有的内容创建程序的用户界面内。根据其它方面，如本文中所描述的多个用户界面可为由每一个存取装置108a、108b、108n下载(例如，从数据存储系统102、内容扩充系统104、创作辅助系统106、独立的应用程序提供商等)的独立程序/用户界面的一部分。

鉴于图1A，数据存储系统102可包含数据库服务器110，所述数据库服务器包含存储可执行软件(例如，数据库管理软件等)的存储器112，所述软件将注释相关信息(包含文档、每一个文档的不同版本、每一个文档和/或每一个文档版本的内容扩充系统注释结果，用户与每一个文档和/或每一个文档版本的内容扩充注释结果的交互等)存储在多个数据存储数据库114a、114b、114n中。根据本文中所描述的方面，数据存储系统102跟踪和/或存储所有创建的内容、所有注释和用户(例如，内容创建者)与内容扩充系统104结果的所有交互。

内容扩充系统104可包含内容扩充服务器116，所述内容扩充服务器包含存储可执行软件的存储器118，所述可执行软件实施使用存储在多个内容扩充数据库120a、120b、120n中的数据训练的多个算法(例如，机器学习算法、自然语言处理算法等)以返回用于内容(例如，选定文本等)的不同类型的注释，如本文中所描述。出于简化的目的，由内容扩充系统104返回的不同类型的注释(例如，如本文中所论述的章节关键词、内容标记、组件标记等)在本文中通常可被称为“注释”。

创作辅助系统106可包含web服务器122，所述web服务器包含存储可执行软件(例如web应用程序)的存储器124，所述可执行软件创建定制的内容创作环境，包含多个用户界面，如本文中所描述。根据各种方面，web应用程序可创建定制的内容创作环境以提供结构化的创作活动和内容扩充任务。各种内容创建平台(例如，作为非限制性实例，

数字出版平台)可包含如本文中所描述的此类软件(例如，web应用程序)及其相关联的用户界面。

数据存储系统102、内容扩充系统104和创作辅助系统106可通过网络126(例如，因特网、内联网、LAN等)以通信方式耦合。类似地，多个存取装置108a、108b、108n可通过网络128(例如，因特网、内联网、LAN等)以通信方式耦合到数据存储系统102、内容扩充系统104和创作辅助系统106。网络126可与网络128相同或不同。根据替代方面(例如，在图1A中以虚线展示为任选的)，数据存储系统102、内容扩充系统104和创作辅助系统106可经组合以形成通过网络128以通信方式耦合到多个存取装置108a、108b、108n的全面系统130。应理解，本文中对系统100的引用可替代地指代全面系统130。

如本文中所概述，本公开的系统100可包含数据存储系统102、内容扩充系统104、创作辅助系统106和多个存取装置108a、108b、108n，所述多个存取装置为用户(例如，作者、内容创建者、编者等)与系统100之间的交互提供全面环境。根据本文中所描述的实施例，数据存储系统102、内容扩充系统104和/或创作辅助系统106可包含一个或多个组件(例如，分别为数据库服务器110、内容扩充服务器116、网络服务器122)，所述一个或多个组件包含用于完成本文中所描述的各种过程的非暂时性计算机可读介质，根据本文中所展示以及所描述的实施例，被体现为硬件、软件和/或固件。根据一些方面，每一个组件可被配置为具有必要硬件、软件和/或固件的通用计算机。根据其它方面，每一个组件可被配置为专门设计用于执行如本文中所描述的功能的专用计算机(例如，特定机器)。此处，通常应理解，每一个组件可为一个计算装置/系统，或多个计算装置/系统。参考图1A，每一个组件(例如，数据库服务器110、内容扩充服务器116、网络服务器122)可包含处理装置、I/O硬件、网络界面硬件、数据存储装置、非暂时性存储器(例如，存储器装置)等。每一个处理装置可被配置为接收以及执行指令(例如，来自数据存储装置、非暂时性存储器等)以执行如本文中所描述的功能(例如，通过多个定制的用户界面)。更具体地，每一个非暂时性存储器(例如，存储器112、存储器118、存储器124等)可在其上包含/存储一个或多个编程指令，所述编程指令在由处理装置执行时致使所述处理装置完成本文中所描述的各种过程。根据一些实施例，存储在非暂时性存储器上的编程指令可体现为多个软件逻辑模块，其中每一个逻辑模块提供用于完成一个或多个任务的编程指令，如本文中所描述。

数据存储系统

图1B描绘根据本公开的一个或多个实施例的说明性数据存储系统102的框图。数据存储系统102是创作内容和相关支持资产(例如，图、表、视频、公式、数据集等)被存储以及版本化(例如，内容/文档版本化数据存储)的地方。当作者(例如，内容创建者)工作于给定文档时，数据存储系统102可以结构化方式跟踪不同内容元素(例如，标头、段落、项目符号、标注和其它资产)之间的关系。根据各种方面，这些不同的内容元素中的每一个都可作为结构化树图中的节点元素被跟踪。根据其它方面，给定文档内的每一个节点元素也可被版本化。当作者对数据存储区进行写入时(例如，通过创作辅助系统106，如本文中所描述)，可根据预定义的时间间隔和/或响应于用户动作来收集包含每一个文档版本144的适当内容并将其发送到内容扩充系统104(例如，通过如本文中所描述的各种UI选定的内容)。作为回报，相关原始扩充结果132的有序列表，包含推荐注释和相关联权重的列表134可被返回(例如，通过创作辅助系统106)给用户并呈现给用户(例如，分别通过存取装置108a、108b、108n的显示器109a、109b、109n)。可在数据存储系统102中结合原始内容来跟踪或收集原始扩充结果132的此列表。进一步鉴于图1B，用户可与这些原始扩充结果132进行的任何或所有交互也可在数据存储系统102中与来自内容扩充系统104的原创原始扩充结果132和相关内容并行地被跟踪或收集。即，如果用户对推荐注释消除歧义，那么可在经消除歧义的注释和权重的列表136中跟踪或收集交互，如果用户拒绝推荐注释，那么可在被用户拒绝的注释和权重的列表138中跟踪或收集交互，如果用户添加或创建新注释，那么可在新定义的注释和权重的列表140中跟踪或收集交互，并且如果用户接受推荐注释，那么可在用户接受的注释和权重的列表142中跟踪或收集交互。

根据本公开的各种方面，对于每一个文档版本，数据存储系统102可收集包含但不限于以下的信息：创作内容和支持资产、每一个内容元素或节点元素(例如，标题、段落、项目符号等)如何彼此相关的结构化图，所有节点元素的按从内容扩充系统104接收的原始扩充结果132的相关性排序的列表，和作者对原始扩充结果132的特选，所述原始扩充结果包含所有节点元素的按用户接受的注释的权重和/或相关性排序的列表142、所有节点元素的按被拒绝的注释的权重和/或相关性排序的列表138，和按新定义的注释(例如，原始扩充结果132的原始列表中不存在的由用户生成的注释)的权重和/或相关性排序的列表140，和所有节点元素的按经消除歧义的注释的权重和/或相关性排序的列表136。根据本公开的各种实施例，所有此信息都可被恢复并馈送到内容扩充系统104(例如CES程序)的后续迭代，同时还被用于扩展从中导出所得注释的规范训练材料(例如，作为训练集，作为验证集，作为测试集等)。

内容扩充系统

图1C描绘根据本公开的一个或多个实施例的说明性内容扩充系统104的框图。根据各种实施例，内容扩充系统104可包含一组算法和/或方法，所述算法和/或方法在被应用于整个文档或文档的一部分(例如，文本子集、节点元素等)时可返回不同类型的注释。根据各种方面，内容扩充系统104可采用一组词并进行不同类型的操作/识别/检测/分类(例如，通过机器学习、自然语言处理等)以提取不同类型的匹配给定字典/分类的注释。内容扩充系统104算法和/或方法的细节超出了本公开的范围。实例算法可在标题为“用于知识发现的方法和系统(Methods and Systems for Knowledge Discovery)”的美国专利申请案第13/320,308号(现在为美国专利申请公开案第2012/0158400号)中找到，其全部公开内容通过引用方式特此并入本文中。在不脱离本公开的精神和范围的情况下，可使用其它实例算法(例如，作为非限制性实例，Elsevier Fingerprint

的算法)。

参考图1C，每一个文档版本144通常由内容扩充系统104接收(参见从图1B指向图1C的指针A)，且通常通过一组算法中的一个或多个进行处理以导出与在所述文档版本或所述文档版本的一部分(例如，节点元素)中找到的术语相关联的推荐注释的列表，所述算法包含但不限于语言检测算法146、标记化算法148、取消断字(dehyphenation)算法150、协调扩展算法152、实体识别算法154、词性标记算法156、名词短语检测算法158、术语查找算法160和术语注释算法162。在块164处，内容扩充系统104可确定推荐注释的列表中的注释是否需要消除歧义。例如，对文档或文档的一部分进行注释时的一个问题是处理由于上下文、位置或并置而可能具有不同的语义的相似术语(例如，在与“房间”有关时的术语“cell”和在与“小生物”有关时的“cell”的比较)。如果需要消除歧义，根据本公开的方面，内容扩充系统104可在框166处构建用于需要消除歧义的注释的候选术语列表。可基于一个或多个先前的用户消除歧义来构建此类候选列表(参见从图1D指向图1C的指针L)。根据各种方面，内容扩充系统104可在框168处从候选列表为需要消除歧义的注释选择或挑选最优候选术语。还可基于一个或多个先前的用户消除歧义来选择或挑选最优候选术语。在框170处，当向找到的术语指派注释时，内容扩充系统104可将构建的候选列表(包含所选择的或所挑选的最优候选术语)与需要消除歧义的注释相关联。

在块172处，内容扩充系统104可向需要消除歧义的注释指派权重，然后将推荐注释(例如，包含需要消除歧义的注释)和相关联权重的列表134发送(参见从图1C指向图1B的指针B)到数据存储系统102以供向用户呈现(例如，通过创作辅助系统106)。更具体地，在选定需要消除歧义的注释时，可通过存取装置108a(图1B)上的用户界面(参见本文中所论述的图12)向用户(例如，作者)呈现与需要消除歧义的注释相关联的候选列表(例如，包含所选择或所挑选的最优候选术语)，并且用户可通过选定最优候选术语来验证最优候选术语，或通过从候选列表选定不同的术语来拒绝最优候选术语。再次参考图1C，如果不需要消除歧义，那么内容扩充系统104可在块170处将不需要向找到的术语指派经消除歧义的注释。根据各种方面，内容扩充系统104可通过在框194处查找概念域词典/分类192中的每一个术语来为找到的术语指派注释。在块172处，内容扩充系统104可向不需要消除歧义的每一个注释指派权重，且然后将推荐注释和相关联权重的列表134发送(参见从图1C指向图1B的指针B)到数据存储系统102以供向用户呈现。更具体地，推荐注释的列表可在存取装置108a(图1B)上通过用户界面(例如，图4的UI标记窗格402、图6的UI标记窗格602等)通过显示器109a向用户(例如，作者)呈现，以供用户接受。根据本公开的方面，在框172处，内容扩充系统104可基于与每一个注释相关联的权重(例如，相关性得分等)对推荐注释的列表进行排序。根据各种方面，在块172处指派的权重基于从中导出注释的规范训练材料(例如，训练集、验证集、测试集等)指示每一个注释的置信水平。

创作辅助系统

图1D描绘根据本公开的一个或多个实施例的说明性创作辅助系统106的框图。根据本公开的各种方面，创作辅助系统106可创建交互式创作环境。根据一些方面，创作辅助系统106可为内容创建平台的一部分(例如，作为非限制性实例，

数字出版平台)，在其上用户(例如，作者，编者，内容管理者等)就原始内容项目进行协作，然后可将所述原始内容项目“产品化”为实体书籍或任何其它类型的利用创意内容的数字产品。根据本文中所描述的方面，由创作辅助系统106创建的交互式创作环境可专注于写作活动和相关类型的内容创建。

虽然交互式创作环境可包含类似于文本编辑器(例如，Microsoft Word、GoogleDocs、Notepad)的特征，但本公开的交互式创作环境通过本文中所描述的工具和定制的用户界面得到提高，其准许结构化的创作活动和内容扩充任务。例如，图1D描绘根据本文中所描述的各种方面的接受注释、拒绝注释和/或对注释消除歧义的说明性用户界面流程。在这方面，参考根据本公开的实施例的图2，可通过集成在交互式创作环境中的定制用户界面(UI)标记窗格202发生创作扩充活动和与内容扩充系统104的连接和/或交互。根据各种方面，用户(例如，作者)可与UI标记窗格202的界面元素交互以接受或拒绝由内容扩充系统104建议的注释(如本文中所描述的图8)、通过相关性来评价、限定和/或排序这些注释(如本文中所描述的图10)、对具有不同语义的注释消除歧义(如本文中所描述的图12)、提议最初未在原始内容扩充系统104结果中发现或存在的新注释(如本文中所描述述的图11)等。

参考图1D，在通过存取装置108a(参见图1B)的用户界面向用户(例如，作者)呈现推荐注释的列表134(参见从图1B中指向图1D的指针H)之后，本公开的创作辅助系统106可在框174处确定用户是否已接受来自推荐注释的列表134的任何注释。如果用户已接受一个或多个注释，那么数据存储系统102可更新用户接受的注释和权重的列表142(参见从图1D指向图1B的指针G)。如果用户尚未接受一个或多个注释，那么创作辅助系统106可在框176处确定用户是否已拒绝来自推荐注释的列表134的任何注释。

如果用户已拒绝一个或多个注释，那么创作辅助系统106可在框178处确定用户是否已对一个或多个被拒绝的注释消除歧义。如果用户尚未对一个或多个被拒绝的注释消除歧义，那么数据存储系统102可更新被用户拒绝的注释和权重的列表138(参见从图1D指向图1B的指针E)。如果用户已对一个或多个被拒绝的注释消除歧义，那么创作辅助系统106可在块180处获得经消除歧义的注释的列表并且在块182处确定用户是否已接受来自经消除歧义的注释的列表的任何经消除歧义的注释。如果用户尚未接受一个或多个经消除歧义的注释，那么数据存储系统102可更新被用户拒绝的注释和权重的列表138(参见从图1D指向图1B的指针D)。如果用户已接受一个或多个经消除歧义的注释，那么创作辅助系统106可在块184处获得/征求一个或多个经消除歧义的注释的得分，并且数据存储系统102可更新经消除歧义的注释和权重的列表136(参见从图1D指向图1B的指针C)。

返回参考图1D的块176，如果用户尚未拒绝来自推荐注释的列表134的任何注释，那么用户可在块186处输入一个或多个新注释。在框188处，创作辅助系统106可确定正输入的一个或多个注释是否在一个或多个相关联分类中。如果正输入的一个或多个注释在一个或多个相关联分类中，那么创作辅助系统106可在框190处通过存取与内容扩充系统104相关联的概念域词典/分类192自动完成或尝试自动完成正输入的一个或多个注释(参见从图1D指向图1C的指针K)，并且可在块196处获得/征求正输入的一个或多个注释的得分并且数据存储系统102可更新新定义的注释和权重的列表140(参见从图1D指向图1B的指针F)。如果正输入的一个或多个注释不在一个或多个相关联分类中，那么创作辅助系统106可在框198处基于文档(例如，文本)自动完成或尝试自动完成正输入的一个或多个注释，并且可在框196处获得/征求正输入的一个或多个注释的得分，并且数据存储系统102可更新新定义的注释和权重的列表140(参见从图1D指向图1B的指针F)根据一些方面，如果正输入的一个或多个注释不在一个或多个相关联分类中，那么创作辅助系统106可在框198处基于从中导出一个或多个相关联分类中的注释的规范训练材料(例如，训练集、验证集、测试集等)自动完成或尝试自动完成正在输入的一个或多个注释。在此类方面中，某些术语可能尚未正式成为一个或多个相关联分类的一部分和/或正被集成到一个或多个相关联分类中的过程中(例如，相对较新的术语、最近引入的术语等)。

图2描绘根据本公开的一个或多个实施例的集成在内容创建UI 200内的说明性UI标记窗格202和说明性文本编辑器工具栏204(包含可选标记控件元素212)，所述内容创建UI生成在多个存取装置(例如，图1A的108a、108b、108n)的显示屏(例如，图1A的109a、109b、109n)上。鉴于图2，内容创建用户界面200可包含具有类似于文本编辑器的特征(例如，粗体、斜体、下划线、上标、下标、减少缩进、增加缩进、撤销键入、重做键入等)的文本编辑器工具栏和文本编辑工作区206。内容创建UI 200与“写入”选项卡201相关联。

图3描绘根据本公开的一个或多个实施例的集成一个或多个标记控件元素以存取/进入UI标记窗格(参见图4，UI标记窗格402)的说明性内容创建UI 300。鉴于图3，第一可选标记控件元素308可显示在第一工具栏310中(例如，在内容创建UI 300的右侧)。第一可选标记控件元素308可(例如，向如图2中所描述的标记控件元素212)提供存取/进入UI标记窗格的替代方式。根据各种实施例，将光标置放在第一可选标记控件元素308上方不仅可提供关于第一可选标记控件元素308的功能见解，而且还可为用户提供激励见解(例如，“标记您的章节以增加其覆盖范围。”)。鉴于图3，第一可选标记控件元素308可进一步包含被配置为向用户指示内容扩充系统104已确定正创建的内容的注释(例如，新注释)的视觉提示(例如，右上角的圆圈等)。在一些方面中，视觉提示可包含指示可用注释(例如，新注释)的当前数目的计数指示符(例如，在圆圈内)。根据各种方面，此类计数指示符可随着内容扩充系统104被更新(例如，通过训练集)和/或随着内容(例如，文档、节点元素等)正在被编辑而更新(例如，实时地、接近实时地、以预定刷新率等)。此类视觉提示可有效地提示或鼓励用户选定第一可选标记控件元素308以添加注释、重新访问注释和/或审阅注释(例如，在内容改变时避免过时的注释)。第一工具栏310可包含其它可选控件元素(例如，包含打印预览、共享、发送到下一工作流阶段(例如，本文中的图14)、注解等的文档工具)。根据各种方面，第一可选标记控件元素308可被配置为在被用户选定之后致使UI标记窗格(例如，UI标记窗格402)在内容创建用户界面(例如，内容创建UI 400)的一部分(例如，在右侧)内生成。

章节关键词

鉴于图4，根据各种方面，可默认选定“章节关键词”选项卡408。“章节关键词”是适用于整个文档并有助于总结其内容的分类注释或术语(例如，章节关键词可替代地被称为“文档关键词”或更一般地被称为“类目”)。章节关键词不需要以文本形式存在于文档(例如，文本正文)中以供内容扩充系统104选定它们以通过UI标记窗格(例如，UI标记窗格402)呈现给用户(例如，作者)。

图4描绘根据本公开的一个或多个实施例的在用户选定第一可选标记控件元素308之后集成在内容创建用户UI400内的说明性UI标记窗格402。鉴于图4，在选定第一可选标记控件元素308(例如，图3)之后，可选定(例如，突出显示，参见图4，通过点图表示)整个文档406(例如，所有文本、所有节点元素等)以向用户视觉地指示已基于整个文档406(例如，所有文本、所有节点元素等)建议每一个建议章节关键词414。根据各种实施例，UI标记窗格402的连接器特征430可将UI标记窗格402连接到选定的整个文档以向用户视觉地指示已基于整个文档406(例如，所有文本、所有节点元素等)建议每一个建议章节关键词414。

根据各种方面，用户可随时通过直接键入到输入框416中来在输入框416中输入章节关键词。在此类方面中，如上文在图1D中所描述，本公开的系统100可通过内容扩充系统104自动完成或尝试自动完成章节关键词，因为它是基于为当前字典/分类(例如，内容扩充系统104、文档本身等)的一部分的术语被键入。

根据其它方面，用户可通过选定(例如，通过光标、触摸屏等)多个药丸形状控件元素418中的一个或多个将章节关键词输入在输入框416中，每一个药丸形状控件元素418与在UI标记窗格402中呈现的建议章节关键词414(例如，由内容扩充系统104建议)(例如，参见图4，“医师”、“患者”、“职业”、“家庭”等，每一个与用户可选的相应药丸形状控件元素418相关联)。应了解，多个药丸形状控件元素418可为药丸形状以外的形状(例如，矩形、多边形等)。在选定一个或多个药丸形状控件元素418之后，与每一个选定药丸形状控件元素418相关联的建议章节关键词414可被输入在输入框416中(例如，图8的输入框816中的章节关键词“医师”)。

参考图4，根据各种方面，每一个药丸形状控件元素418可扩展(例如，在UI标记窗格402中水平地)以适合每一个建议章节关键词414的文本表示。根据各种方面，建议章节关键词可包含短语或一系列词(例如，参见图4，“护理质量”、“研究有效性”、“医学伦理学”等)。此外，每一个药丸形状控件元素418可扩展(例如，在UI标记窗格402中水平地)以包含拒绝章节关键词控件元素420和重新评分章节关键词控件元素422。

根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)拒绝章节关键词控件元素420来拒绝一个或多个特定的建议章节关键词414。根据各种方面，拒绝章节关键词控件元素420可在每一个药丸形状控件元素418中表示为“X”。类似地，UI标记窗格402可进一步包含拒绝所有章节关键词控件元素424。如果在UI标记窗格402中显示的建议章节关键词414不可接受，那么用户可选定(例如，通过光标、触摸屏等)拒绝所有章节关键词控件元素424。在此类方面中，UI标记窗格402可用新的和/或不同组的建议章节关键词414刷新(例如，通过内容扩充系统104)。

如上文所描述，每一个药丸形状控件元素418可包含重新评分章节关键词控件元素422。每一个重新评分章节关键词控件元素422可包含双重功能。

作为第一功能，每一个重新评分章节关键词控件元素422的界面可呈现视觉提示，所述视觉提示表示与在所述药丸形状控件元素418中以文本方式表示的章节关键词(例如，“职业”)相关联的当前相关性得分(例如，置信度)。根据各种方面，每一个视觉提示可包含圆环图426。此类圆环图426使得用户能够在其它建议章节关键词414的上下文中立即评估每一个建议章节关键词414的相关性(例如，由内容扩充系统104计算或确定)，而不必独立咨询内容扩充系统104(例如，不必切换到不同的用户界面)。关于内容扩充系统104用来计算和/或确定相关性(例如，相关性得分)的算法和/或方法的细节超出本公开的范围。在不脱离本公开的精神和范围的情况下，可使用各种评分和/或索引算法(例如，作为非限制性实例，Elsevier Fingerprint

的算法)。根据各种方面，建议章节关键词414可在UI标记窗格402中呈现并且基于每一个当前相关性得分进行排序，如由每一个相应圆环图426所描绘(例如，参见图4，“医师”，然后是“患者”，然后是“职业”，然后是“家庭”，然后是“护理质量”等)。根据各种方面，建议章节关键词414可在UI标记窗格402中呈现，使得建议章节关键词414以类似于书籍的行的方式排序(例如，从UI标记窗格402的左侧到UI标记窗格402的右侧，且然后向下，使得最左侧和最顶部的建议章节关键词414相对于最右侧和最底部的建议章节关键词414与更高当前相关性得分相关联)。根据各种方面，可仅在UI标记窗格402中(例如，基于它们相应相关性得分)呈现以及排序所规定数量的建议章节关键词414(例如，如由内容扩充系统104所建议)。根据一个方面，可仅在UI标记窗格402中(例如，基于它们相应相关性得分)呈现以及排序前十个建议章节关键词414。

作为第二功能，每一个重新评分章节关键词控件元素422的界面可为可选的，以将与在所述药丸形状控件元素418中以文本方式表示的所述章节关键词(例如，职业)相关联的当前相关性评分(例如，如由内容扩充系统104确定)修改为由用户定义的相关性得分。本文中参考图10论述关于将由内容扩充系统确定的相关性得分修改为由用户定义的相关性得分的进一步细节。

再次参考图4，UI标记窗格402可进一步包含查看更多控件元素428以在UI标记窗格402中查看更多建议章节关键词414。根据各种方面，查看更多控件元素428可在UI标记窗格402中用文本“查看更多”和加号“+”来表示。根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)查看更多控件元素428来请求更多建议章节关键词414。根据各种方面，在选定查看更多控件元素428，可仅在UI标记窗格402中(例如，基于它们相应相关性得分)呈现以及排序下一所规定数量的建议章节关键词(例如，如由内容扩充系统104所建议)。根据一个方面，可在UI标记窗格402中(例如，基于它们相应相关性得分)呈现和排序接下来十个建议章节关键词414。

内容标记

“内容标记”是应用于整个文档内的特定节点元素或特定节点元素组而不是整个文档本身的术语。节点元素可包含文档的标头、段落、项目符号列表、图、表、图像、视频等。根据各种方面，包含标头、段落、项目符号列表等的节点元素可被称为文本节点元素。根据其它方面，包含图、表、图像、视频、公式等的节点元素可被称为资产节点元素。内容标记有助于检测与每一个特定节点元素或每一个特定节点元素组中存在的内容相关的关键实体和/或概念(例如，内容标记可替代地被称为“实体标记”或“概念标记”)。与章节关键词不同，内容标记本身或所述内容标记的同义词以文本形式存在于原始文本中。在一方面，内容标记本身或所述内容标记的同义词以文本形式存在于文档中的某处。根据另一方面，内容标记本身或所述内容标记的同义词以文本形式存在于所规定节点元素或所规定节点元素组中的某处。本公开的内容扩充系统104可检测此类内容标记和/或导出检测到的内容标记的同义词以提供建议内容标记，如本文中所描述。

通过内容标记选项卡的内容标记

根据各种实施例，在选定图4的UI标记窗格402内的“内容标记”选项卡410之后，用户可将一个或多个内容标记与节点元素或节点元素组相关联。图5描绘在用户选定“内容标记”选项卡(参见图4，“内容标记”选项卡410)之后集成在内容创建UI 500内的说明性UI标记窗格502。应了解，用户可在需要时选定图5的“章节关键词”选项卡508以导航回到图4的UI标记窗格402。

参考图5，因为文档可具有多个节点元素(例如，标头、段落、项目符号列表、图、表、图像、特定句子等)，所以图5的UI标记窗格502可被配置为识别文档内的所有节点元素并使得用户能够在文档内的所识别节点元素之间导航。根据各种方面，UI标记窗格502可：显示所有标识的节点元素的列表，可显示仅标识为不具有与其相关联的任何内容标记的节点元素的列表，可显示仅标识为具有与其相关联的内容标记的节点元素的列表等。根据各种方面，所述列表可包含每一个经标识节点元素的简短摘录(例如，与标头“历史突出显示”相关联的节点元素532、与以“护理是一门艺术，也是一门科学。作为专业护士，您将学习…”开头的段落相关联的节点元素534，与特定句子“国际护士理事会(ICN 2010)具有另一定义：护理囊括...”相关联的节点元素536，与图“图2：提供护理服务”相关联的节点元素538等)。另外，参考图5，UI标记窗格502可通过内容标记计数指示符(例如，内容标记计数指示符542指示节点元素532包含五(5)个内容标记，内容标记计数指示符544指示节点元素534包含四(4)个内容标记，内容标记计数指示符548指示节点元素538包含三(3)个内容标记等)跟踪为每一个节点元素接受的内容标记的计数。类似地，每一个节点元素(例如，节点元素534)可与内容创建UI 500内的内容标记计数指示符(例如，在节点元素右上角的内容标记计数指示符544')相关联。如果节点元素尚未与内容标记相关联，那么内容标记计数指示符在内容创建UI 500内可能不可见。根据各种方面，在用户从UI标记窗格502列表选定(例如，单击)节点元素(例如，节点元素532、534、536和/或538)之后，内容标记计数指示符(例如，542、544、544'、548)可更新以反映内容标记的当前计数。根据替代方面，内容标记计数指示符(例如，542、544、544'、548)可随着新内容标记的添加(例如，实时地、接近实时地、以预定刷新率等)而更新。

根据各种方面，在用户从所提供列表选定(例如，双击)节点元素(例如，节点元素532、534、536和/或538)或节点元素组之后，UI标记窗格(例如，图6的UI标记窗格602、图7的UI标记窗格702)可在内容创建用户界面(例如，分别为内容创建UI 600、内容创建UI 700)内生成。根据各种方面，如果选定的节点元素或节点元素组是文本节点元素(例如，节点元素534)，那么选定的节点元素或节点元素组可将与选定的节点元素或节点元素组相关联的文本发送到内容扩充系统104，所述内容扩充系统返回用于在图6的UI标记窗格602中呈现的建议内容标记614。根据其它方面，如果选定的节点元素或节点元素组是资产节点元素(例如，节点元素538)，那么选定所述节点元素或节点元素组可向内容扩充系统104发送位于每一个资产节点元素之前和之后的同辈文本节点以及包含在每一个资产节点元素本身内的任何文本(例如，标题、描述文字等)，所述内容扩充系统返回建议内容标记714以在图7的UI标记窗格702中呈现。

根据各种方面，如果用户已将节点元素与一个或多个内容标记相关联(例如，参见图5，内容标记计数指示符548指示节点元素538已与三(3)个内容标记相关联)，那么那些内容标记可自动填充在输入框(例如，UI标记窗格602的输入框616、UI标记窗格702的输入框716)中。例如，图7描绘在用户选定资产节点元素(例如，图5的UI标记窗格502中的节点元素538)之后集成在内容创建UI700内的说明性UI标记窗格702。鉴于与内容创建UI 700内的节点元素538相关联的内容标记计数指示符548'(例如，相对于图5中的内容标记计数指示符548)，已通过UI标记窗格702输入了一(1)个内容标记，而三(3)个其它内容标记被自动填充到UI标记窗格702的输入框716中。

参考图6和7，如上文所描述，用户可分别将建议内容标记614、714输入到输入框616、716中。根据各种方面，用户可点击“添加”控件元素634、734以确认接受输入的内容标记到数据存储系统102。然后，用户可通过选定“返回”控件元素636、736导航回到图5的UI标记窗格502中所标识节点元素的列表。

通过第二可选标记控件元素的内容标记

返回参考图4，根据其它实施例，在选定在图4的文本编辑器工具栏404中显示的第二可选标记控件元素412之后，用户可将一个或多个内容标记与节点元素或节点元素组相关联。根据各种方面，如果用户尚未选定(例如，通过光标、触摸屏等)节点元素或节点元素组，那么图5的UI标记窗格502可被集成于在用户选定第二可选标记控件元素412(例如，图4)之后的内容创建用户界面内。UI标记窗格502可被配置为标识文档内的节点元素并且使得用户能够在文档内的所标识节点元素之间导航，如上文所描述。根据替代方面，内容创建UI 400的第二可选标记控件元素412可无法被用户选择(例如，可为灰显(grayed out))直到用户已在文档中(例如，在内容创建UI 400内)选定(例如，通过光标、触摸屏等)特定节点元素(例如，标头、段落、项目符号列表、图、表、图像、视频、特定句子等)或特定节点元素组。在此类方面中，一旦已选定(例如，突出显示)特定节点元素或特定节点元素组，那么第二可选标记控件元素412可变为可选的。根据各种方面，第二可选标记控件元素412可被配置为在被用户选定之后致使UI标记窗格(例如，图6的UI标记窗格602、图7的UI标记窗格702)在内容创建用户界面(例如，内容创建UT 600、内容创建UI 700)内生成。根据各种方面，如果选定的节点元素或节点元素组是文本节点元素(例如，标头、段落、项目符号列表等)，那么选定的节点元素或节点元素组可将与选定的节点元素或节点元素组相关联的文本发送到内容扩充系统104，所述内容扩充系统返回用于在图6的UI标记窗格602中呈现的建议内容标记614。根据其它方面，如果选定的节点元素或节点元素组是资产节点元素(例如，图、表、图像、视频、公式等)，那么选定所述节点元素或节点元素组可向内容扩充系统104发送位于每一个资产节点元素之前和之后的同辈文本节点以及包含在每一个资产节点元素本身内的任何文本(例如，标题、描述文字等)，所述内容扩充系统返回建议内容标记714以在图7的UI标记窗格702中呈现。

此外，根据各种方面，如果用户已将节点元素与一个或多个内容标记相关联(例如，参见图5，内容标记计数指示符548指示节点元素538已与三(3)个内容标记相关联)，那么那些内容标记可自动填充在输入框(例如，UI标记窗格602的输入框616、UI标记窗格702的输入框716)中。例如，图7描绘在用户选定资产节点元素(例如，图5的UI标记窗格502中的节点元素538)之后集成在内容创建UI 700内的说明性UI标记窗格702。鉴于与内容创建UI700内的节点元素538相关联的内容标记计数指示符548'(例如，相对于图5中的内容标记计数指示符548)，已通过UI标记窗格702输入了一(1)个内容标记，而三(3)个其它内容标记被自动填充到UI标记窗格702的输入框716中。

此外，参考图6和7，用户可如所描述的将建议内容标记614、714输入到输入框616、716中。根据各种方面，用户可点击“添加”控件元素634、734以确认接受输入的内容标记到数据存储系统102。然后，用户可通过选定“返回”控件元素636、736导航回到图5的UI标记窗格502中所标识节点元素的列表。

图6描绘根据本公开的一个或多个实施例的在用户选定“内容标记”选项卡(参见图4，“内容标记”选项卡410)或第二可选标记控件元素(参见图4，第二可选标记控件元素412)并且用户选定特定节点元素或特定节点元素组(例如，通过图4的内容创建UI 400中的光标、触摸屏等，图5的UI标记窗格502等)之后最终集成在内容创建UI 600内的说明性UI标记窗格602。参考图6，特定节点元素(例如，文本节点元素606)已被选定(例如，突出显示，参见图6，通过点图表示)以向用户视觉地指示已基于所述特定节点元素(例如，文本节点元素606)建议每一个建议内容标记614。根据各种实施例，UI标记窗格602的连接器特征630可将UI标记窗格602连接到选定的节点元素(例如，文本节点元素606)或节点元素组以向用户视觉地指示已基于所述节点元素或所述节点元素组建议一个或多个建议内容标记614。类似地，在图7中，特定节点元素(例如，资产节点元素706)已被选定(例如，突出显示，参见图7，通过点图表示)以向用户视觉地指示已基于所述特定节点元素(例如，资产节点元素706)建议每一个建议内容标记714。根据各种实施例，UI标记窗格702的连接器特征730可将UI标记窗格702连接到选定的节点元素(例如，资产节点元素706)或节点元素组以向用户视觉地指示已基于所述节点元素或所述节点元素组建议一个或多个建议内容标记714。

再次参考图6和7，根据各种方面，用户可随时通过直接在输入框616、716中键入来在输入框616、716中输入内容标记。鉴于图7，在用户与输入框716交互时，可出现光标。此处，根据各种方面，通过输入框616、716输入的注释可被默认指定为内容标记。根据替代方面，通过输入框616、716输入的注释可由内容扩充系统104分析并被自动指定为内容标记。在此类方面中，本公开的系统100可通过内容扩充系统104基于是当前字典/分类的一部分的术语在键入内容编辑时自动完成或尝试自动完成所述内容标记。根据一些方面，如果正在键入的内容标记不在当前词典/分类中，那么本公开的系统100可通过内容扩充系统104基于从中导出当前字典/分类中的内容标记的规范训练材料(例如，训练集、验证集、测试集等)在键入内容标记时自动完成或尝试自动完成所述内容标记。在此类方面中，某些术语可能尚未正式成为当前字典/分类的一部分和/或正在被集成到当前字典/分类中的过程中(例如，相对较新的术语、最近引入的术语等)。关于内容标记，本公开的系统100可基于节点元素/节点元素组/文档内的文本或/节点元素/节点元素组/文档内的文本的同义词来自动完成或尝试自动完成。

根据其它方面，用户可通过选定(例如，通过光标、触摸屏等)多个药丸形状控件元素618、718中的一个或多个将内容标记输入在输入框616、716中，每一个药丸形状控件元素618、718与在UI标记窗格602、702中呈现的建议内容标记614、714(例如，由内容扩充系统104建议)相关联(例如，参见图6，“循证实践”、“行为”、“专业”等，每一个与用户可选的相应药丸形状控件元素618相关联，还参见图7，“护理质量”、“行为”、“专业”、“研究有效性”、“医学伦理学”等，每一个与用户可选的相应药丸形状控件元素718相关联)。应了解，多个药丸形状控件元素618、718可为药丸形状以外的形状(例如，矩形、多边形等)。在选定一个或多个药丸形状控件元素618、718之后，与每一个选定药丸形状控件元素618、718相关联的建议内容标记614、714可被输入在输入框616、716中(例如，参见图7，输入框716中的“医师”、“患者”、“职业”和“家庭”)。

参考图6和7，根据各种方面，每一个药丸形状控件元素618、718可扩展(例如，在UI标记窗格602、702中水平地)以适合每一个建议内容标记614、714的文本表示。根据各种方面，建议内容标记可包含短语或一系列词(例如，参见图6，“循证实践”、“研究有效性”、“医学伦理学”等，还参见图7，“护理质量”、“研究有效性”、“医学伦理学”等)。此外，每一个药丸形状控件元素618、718可扩展(例如，在UI标记窗格602、702中水平地)以包含拒绝内容标记控件元素620、720和重新评分内容标记控件元素622、722。

根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)拒绝内容标记控件元素620、720来拒绝一个或多个特定建议内容标记614、714。根据各种方面，拒绝内容标记控件元素620、720可在每一个药丸形状控件元素618、718中表示为“X”。类似地，UI标记窗格602、702可进一步包含拒绝所有内容标记控件元素624、724。如果在UI标记窗格602、702中显示的建议内容标记614、714不可接受，那么用户可选定(例如，通过光标、触摸屏等)拒绝所有内容标记控件元素624、724。在此类方面中，UI标记窗格602、702可用新的和/或不同组的建议内容标记614、714刷新(例如，通过内容扩充系统104)。

如上文所描述，每一个药丸形状控件元素618、718可包含重新评分内容标记控件元素622、722。每一个重新评分内容标记控件元素622、722可包含双重功能，如本文中所描述。

作为第一功能，每一个重新评分内容标记控件元素622、722的界面可呈现视觉提示，所述视觉提示表示与在所述药丸形状控件元素618、718中以文本方式表示的内容标记(例如，“研究有效性”)相关联的当前相关性得分(例如，置信度)。根据各种方面，每一个视觉提示可包含圆环图626、726。此类圆环图626、726使得用户能够在其它建议内容标记614、714的上下文中立即评估每一个建议内容标记614、714的相关性(例如，由内容扩充系统104计算或确定)，而不必独立咨询内容扩充系统104(例如，不必切换到不同的用户界面)。关于内容扩充系统104用来计算和/或确定相关性(例如，相关性得分)的算法和/或方法的细节超出本公开的范围。在不脱离本公开的精神和范围的情况下，可使用各种评分和/或索引算法(例如，作为非限制性实例，Elsevier Fingerprint

的算法)。根据各种方面，建议内容标记614、714可在UI标记窗格602、702中呈现并且基于每一个当前相关性得分进行排序，如每一个相应圆环图626、726所描绘(例如，参见图6，“循证实践”，然后是“行为”，然后是“专业”，然后是“研究有效性”，然后是“医学伦理学”等，还参见图7，“护理质量”、然后是“行为”，然后是“专业”，然后是“研究有效性”，然后是“医学伦理学”等)。

根据各种方面，建议内容标记614、714可在UI标记窗格602、702中呈现，使得建议内容标记614、714以类似于书籍的行的方式排序(例如，从UI标记窗格602、702的左侧到UI标记窗格602、702的右侧，且然后向下，使得最左侧和最顶部的建议内容标记614、714相对于最右侧和最底部的建议内容标记614、714与更高当前相关性得分相关联)。根据各种方面，可仅在UI标记窗格602、702中(例如，基于它们相应相关性得分)呈现以及排序所规定数量的建议内容标记614、714(例如，如由内容扩充系统104所建议)。根据一个方面，可仅在UI标记窗格602、702中(例如，基于它们相应相关性得分)呈现以及排序前十个建议内容标记614、714。

作为第二功能，每一重新评分内容标记控件元素622、722的界面可为可选的，以将与在所述药丸形状控件元素618、718中以文本方式表示的所述内容标记(例如，“研究有效性”)相关联的当前相关性评分(例如，如由内容扩充系统104确定)修改为由用户定义的相关性得分。本文中参考图12论述关于将由内容扩充系统确定的相关性得分修改为由用户定义的相关性得分的进一步细节。

再次参考图6和7，UI标记窗格602、702可进一步包含查看更多控件元素628、728以在UI标记窗格602、702中查看更多建议内容标记614、714。根据各种方面，查看更多控件元素628、728可在UI标记窗格602、702中用文本“查看更多”和加号“+”来表示。根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)查看更多控件元素628、728来请求更多建议内容标记614、714。根据各种方面，在选定查看更多控件元素628、728，可仅在UI标记窗格602、702中(例如，基于它们相应相关性得分)呈现以及排序下一个所规定数量的建议内容标记(例如，如由内容扩充系统104所建议)。根据一个方面，可仅在UI标记窗格602、702中(例如，基于它们相应相关性得分)呈现以及排序接下来十个建议内容标记614、714。

组件标记

根据各种实施例，用户也可将一个或多个组件标记与节点元素或节点元素组相关联。“组件标记”是应用于节点元素或节点元素组的术语或注释，其辅助定义所述节点元素或所述节点元素组的语义结构(例如，组件标记可替代地被称为作为“语义组件标记”)。根据各种方面，组件标记可描述存在于节点元素或节点元素组中的内容的角色。组件标记可或可不会以文本形式存在于原始文本中。在一方面，组件标记可不会以文本形式存在于文档中的任何地方。根据另一方面，组件标记可不会以文本形式存在于特定节点元素或特定节点元素组中。如本文中所描述，本公开的内容扩充系统104可检测此类组件标记以提供建议组件标记。实例组件标记可包含但不限于：“学习目标”、“定义”、“概念定义”、“数据集”、“原理”、“概念模型”、“理论模型”、“计算机模型”、“计算模型”、“数学模型”、“材料”、“性质”、“协议”、“技术”、“方法”、“配方”、“警告”、“风险”、“标准”、“指南”、“监管信息”、“推荐”、“能力测量”等。根据其它方面，内容扩充系统104不仅可检测此类组件标记，而且还可提供更具体的建议组件标记。例如，除了建议“协议”、“技术”和/或“方法”之外，内容扩充系统104还可准确指出实际的“协议名称”、“技术名称”和/或“方法名称”。

通过内容标记选项卡的组件标记

根据各种实施例，在选定图4的UI标记窗格402内的“组件标记”选项卡410之后，用户可将一个或多个内容标记与节点元素或节点元素组相关联。如本文中所论述，图5描绘在用户选定“内容标记”选项卡(参见图4，“内容标记”选项卡410)之后集成在内容创建UI 500内的说明性UI标记窗格502。应了解，用户可在需要时选定图5的“章节关键词”选项卡508以导航回到图4的UI标记窗格402。

如本文中所描述，因为文档可具有多个节点元素(例如，标头、段落、项目符号列表、图、表、图像、特定句子等)，所以图5的UI标记窗格502可被配置为识别文档内的节点元素并使得用户能够在文档内的所识别节点元素之间导航。参考图5，UI标记窗格502可通过组件标记计数指示符550跟踪为每一个节点元素接受的组件标记计数(例如，组件标记计数指示符550指示节点元素534包含一(1)个组件标记)。此类组件标记计数指示符550可在视觉上与UI标记窗格502和内容创建UI 500两者中的内容标记计数指示符(例如，内容标记计数指示符544)区分开。类似地，每一个节点元素(例如，节点元素534)可与内容创建UI 500内的组件标记计数指示符550′(例如，在节点元素右上角的组件标记计数指示符550′)相关联。如果节点元素尚未与组件标记相关联，那么组件标记计数指示符在内容创建UI 500内可能不可见。根据各种方面，在用户从UI标记窗格502列表选定(例如，单击)节点元素(例如，节点元素532、534、536和/或538)之后，组件标记计数指示符(例如，550、550′等)可更新以反映组件标记的当前计数。根据替代方面，组件标记计数指示符(例如，550、550′等)可随着新组件标记的添加(例如，实时、接近实时、以预定刷新率等)而更新。

根据各种方面，在用户从所提供列表选定(例如，双击)节点元素(例如，节点元素532、534、536和/或538)或节点元素组(例如，在用户存取装置108a的键盘上按住“Ctrl”并通过用户存取装置108a的鼠标点击多个节点元素)之后，UI标记窗格(例如，图6的UI标记窗格602、图7的UI标记窗格702)可在内容创建用户界面(例如，分别为内容创建UI 600、内容创建UI 700)内生成。根据各种方面，如果选定的节点元素或节点元素组是文本节点元素(例如，节点元素534)，那么选定所述节点元素或节点元素组可将与选定的节点元素或节点元素组相关联的文本发送到内容扩充系统104，所述内容扩充系统返回用于在图6的UI标记窗格602中呈现的建议组件标记632。根据其它方面，如果选定的节点元素或节点元素组是资产节点元素(例如，节点元素538)，那么选定所述节点元素或节点元素组可向内容扩充系统104发送位于每一个资产节点元素之前和之后的同辈文本节点以及包含在每一个资产节点元素本身内的任何文本(例如，标题、描述文字等)，所述内容扩充系统返回建议组件标记732以在图7的UI标记窗格702中呈现。

根据各种方面，如果用户已将节点元素与一个或多个组件标记相关联(例如，参见图5，组件标记计数指示符550指示节点元素534已与一(1)个组件标记相关联)，那么那些组件标记可以类似于如本文中与内容标记一起描述的方式的方式自动填充在输入框(例如，UI标记窗格602的输入框616、UI标记窗格702的输入框716)中。

参考图6和7，用户可分别将建议组件标记632、732输入到输入框616、716中。例如，图7描绘在用户选定资产节点元素(例如，图5的UI标记窗格502中的节点元素538)之后集成在内容创建UI 700内的说明性UI标记窗格702。鉴于与内容创建UI 700内的节点元素538相关联的组件标记计数指示符552′(例如，相对于没有组件标记计数指示符与图5中的节点元素538相关联)，已通过UI标记窗格702将一(1)个组件标记(例如，“定义”)输入到输入框716中。根据各种方面，用户可点击“添加”控件元素634、734以确认接受输入的组件标记到数据存储系统102。然后，用户可通过选定“返回”控件元素636、736导航回到图5的UI标记窗格502中所标识节点元素的列表。

通过第二可选标记控件元素的组件标记

返回参考图4，根据其它实施例，在选定在图4的文本编辑器工具栏404中显示的第二可选标记控件元素412之后，用户可将一个或多个组件标记与节点元素或节点元素组相关联。如本文中所论述，如果用户尚未选定(例如，通过光标、触摸屏等)节点元素或节点元素组，那么图5的UI标记窗格502可被集成在在用户选定第二可选标记控件元素412(例如，图4)之后的内容创建用户界面内。如所描述，UI标记窗格502可被配置为标识文档内的节点元素并且使得用户能够在文档内的所标识节点元素之间导航。如本文中进一步论述，根据替代方面，内容创建UI 400的第二可选标记控件元素412可无法被用户选择(例如，可为灰显(grayed out))直到用户已在文档中(例如，在内容创建UI 400内)选定(例如，通过光标、触摸屏等)特定节点元素(例如，标头、段落、项目符号列表、图、表、图像、视频、特定句子等)或特定节点元素组。在此类方面中，一旦已选定(例如，突出显示)特定节点元素或特定节点元素组，那么第二可选标记控件元素412可变为可选的。如所描述，根据各种方面，第二可选标记控件元素412可被配置为在被用户选定之后致使UI标记窗格(例如，图6的UI标记窗格602、图7的UI标记窗格702)在内容创建用户界面(例如，内容创建UT 600、内容创建UI 700)内生成。根据各种方面，如果选定的节点元素或节点元素组是文本节点元素(例如，标头、段落、项目符号列表等)，那么选定的节点元素或节点元素组可将与选定的节点元素或节点元素组相关联的文本发送到内容扩充系统104，所述内容扩充系统返回用于在图6的UI标记窗格602中呈现的建议组件标记632。根据其它方面，如果选定的节点元素或节点元素组是资产节点元素(例如，图、表、图像、视频、公式等)，那么选定的节点元素或节点元素组可向内容扩充系统104发送位于每一个资产节点元素之前和之后的同辈文本节点以及包含在每一个资产节点元素本身内的任何文本(例如，标题、描述文字等)，所述内容扩充系统返回建议组件标记732以在图7的UI标记窗格702中呈现。

此外，根据各种方面，如果用户已将节点元素与一个或多个组件标记相关联(例如，参见图5，组件标记计数指示符550指示节点元素534已与一(1)个组件标记相关联)，那么那些组件标记可以类似于如本文中与内容标记一起描述的方式的方式自动填充在输入框(例如，UI标记窗格602的输入框616、UI标记窗格702的输入框716)中。

再次参考图6和7，用户然后可将建议组件标记632、732输入到输入框616、716中，如下文更充分地描述。根据各种方面，用户可点击“添加”控件元素634、734以确认接受输入的组件标记到数据存储系统102。然后，用户可通过选定“返回”控件元素636、736导航回到图5的UI标记窗格502中所标识节点元素的列表。

图6描绘根据本公开的一个或多个实施例的在用户选定“内容标记”选项卡(参见图4，“内容标记”选项卡410)或第二可选标记控件元素(参见图4，第二可选标记控件元素412)并且用户选定特定节点元素或特定节点元素组(例如，通过图4的内容创建UI 400中的光标、触摸屏等，图5的UI标记窗格502等)之后最终集成在内容创建UI 600内的说明性UI标记窗格602。参考图6，特定节点元素(例如，文本节点元素606)已被选定(例如，突出显示，参见图6，通过点图表示)以向用户视觉地指示已基于所述特定节点元素(例如，文本节点元素606)建议每一个建议组件标记632(例如，“定义”、“标准/指南”、“性质”、“方法”、“数学模型”等)。如本文中先前所论述，UI标记窗格602的连接器特征630可将UI标记窗格602连接到选定的节点元素(例如，文本节点元素606)或节点元素组以向用户视觉地指示已基于所述节点元素或所述节点元素组建议一个或多个建议组件标记632。类似地，参考图7，特定节点元素(例如，资产节点元素706)已被选定(例如，突出显示，参见图7，通过点图表示)以向用户视觉地指示已基于所述特定节点元素(例如，资产节点元素706)建议每一个建议组件标记732(例如，“学习目标”、“能力测量”等)。如本文中所论述，UI标记窗格702的连接器特征730可将UI标记窗格702连接到选定的节点元素(例如，资产节点元素706)或节点元素组以向用户视觉地指示已基于所述节点元素或所述节点元素组建议一个或多个建议组件标记734。

再次参考图6和7，根据各种方面，用户可随时通过直接键入到输入框616、716中来在输入框616、716中输入组件标记。鉴于图7，在用户与输入框716交互时，可出现光标。此处，根据各种方面，通过输入框616、716输入的注释可被默认指定为内容标记。在此类方面中，用户可选选定(例如，右键单击)输入的注释以将输入的注释指定为组件标记。根据替代方面，通过输入框616、717输入的注释可由内容扩充系统104分析并被自动指定为组件标记。在此类方面中，本公开的系统100可通过内容扩充系统104基于是定制组件标记列表的一部分的术语在键入组件标记时自动完成或尝试自动完成所述组件标记。根据各种方面，此类定制列表可由一个或多个内容管理器或内容扩充系统104提供。

根据其它方面，用户可通过选定(例如，通过光标、触摸屏等)多个药丸形状控件元素634、734中的一个或多个将组件标记输入在输入框616、716中，每一个药丸形状控件元素634、734与在UI标记窗格602、702中呈现的建议组件标记632、732(例如，由内容扩充系统104建议)相关联(例如，参见图6，与用户可选的相应药丸形状控件元素634相关联的“方法”，还参见图7，与用户可选的相应药丸形状控件元素734相关联的“能力测量”)。应了解，多个药丸形状控件元素634、734可为药丸形状以外的形状(例如，矩形、多边形等)。在选定一个或多个药丸形状控件元素634、734之后，与每一个选定药丸形状控件元素618、718相关联的建议组件标记632、732可被输入在输入框616、716中(例如，参见图7，输入框716中的“定义”)。

参考图6和7，根据各种方面，每一个药丸形状控件元素634、734可扩展(例如，在UI标记窗格602、702中水平地)以适合每一个建议组件标记632、732的文本表示。根据各种方面，建议组件标记可包含短语或一系列词(例如，参见图6，“标准/指南”、“数学模型”等，还参见图7，“学习目标”、“能力测量”等)。在一些方面中，当建议组件标记是更具体的组件标记时，如本文中所描述，药丸形状控件元素634、734可扩展以适合更具体的组件标记(例如，“协议：协议名称”、“技术：技术名称”、“方法：方法名称”或“协议名称：协议”或“技术名称：技术”、“方法名称：方法”等)。在其它方面中，可区分组件标记指示符(例如，与每一个建议组件标记的每一个文本表示相关联的三栏堆栈)。例如，三栏堆栈的第一栏可为“协议”加阴影并与“协议名称”相关联，三栏堆栈的第二栏可为“技术”加阴影并与“技术名称”相关联”，三栏堆栈的第三栏可为“方法”加阴影并与“方法名称”等相关联等。然而，与如关于内容标记所描述不同，与组件标记相关联的每一个药丸形状控件元素634、734可不扩展(例如，在UI标记窗格602、702中水平地)以包含拒绝组件标记控件元素和/或重新评分组件标记控件元素。根据替代方面，与每一个组件标记相关联的每一个药丸形状控件元素634、734可扩展(例如，在UI标记窗格602、702中水平地)以包含以如本文中关于章节关键词及内容标记所描述的方式起作用的拒绝组件标记控件元素和/或重新评分组件标记控件元素。

再次参考图6，UI标记窗格602可进一步包含查看更多控件元素638以在UI标记窗格602中查看更多建议组件标记632。根据各种方面，查看更多控件元素638可在UI标记窗格602中用文本“查看更多”和加号“+”来表示。根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)查看更多控件元素638来请求更多建议组件标记632。根据各种方面，在选定查看更多控件元素638之后，可在UI标记窗格602中呈现下一所规定数量的建议组件标记(例如，如由内容扩充系统104所建议)。根据一个方面，接下来十个建议组件标记632(如果可用)可在UI标记窗格602中呈现。参考图7，如果其它建议组件标记不可用，那么UI标记窗格702可不包含查看更多控件元素。根据各种方面，组件标记可基于如由内容管理器或内容扩充系统104提议的定制组件标记列表来呈现和/或可用。

接受和拒绝注释

根据本公开的各种实施例，如本文中所描述，章节关键词、内容标记和/或组件标记可通过UI标记窗格被正式接受或正式拒绝。

图8描绘根据本公开的各种方面的用于接受一个或多个章节关键词的说明性UI标记窗格802。参考图8，用户可通过选定(例如，通过光标、触摸屏等)多个药丸形状控件元素818中的一个或多个将章节关键词输入在输入框816中，每一个药丸形状控件元素818与建议章节关键词814(例如，由内容扩充系统104建议)相关联且在UI标记窗格802中呈现(例如，参见图8，“患者”、“职业”、“家庭”等，每一个与用户可选的相应药丸形状控件元素818相关联)。在选定一个或多个药丸形状控件元素818之后，与每一个选定药丸形状控件元素818相关联的每一建议章节关键词814可被输入在输入框816中。例如，鉴于图4，图8反映章节关键词“医师”已被输入在输入框816中(例如，在图4中选定与章节关键词“医师”相关联的药丸形状控件元素454之后)。根据各种方面，用户可点击“添加”控件元素834以确认接受输入的章节关键词到数据存储系统102。数据存储系统102可在文档的每一个版本的单独列表中捕获通过“添加”控件元素834正式接受的章节关键词。应了解，可类似地选定和正式接受如本文中所描述的内容标记和/或组件标记。根据各种实施例，此类正式接受的注释(例如，章节关键词、内容标记、组件标记等)可用作正反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述。此外，关于文档的不同版本，本公开的系统100可基于对当前版本与文档和/或节点元素的先前版本的分析来检测(例如，通过内容扩充系统104)新的建议注释(例如，章节关键词、内容标记和/或组件标记不建议用于一个或多个先前版本)。简要地参考图13，新建议的注释1397(例如，“护理质量”和“行为”)可与先前建议注释在视觉上区别(例如，通过交叉影线或颜色描绘)。此外，鉴于图13，根据各种方面，UI标记窗格1302可指示与每一种类型的新建议注释(例如，“2”新建议章节关键词、“333”新建议内容标记等)相关联的总计数1398、1399。

图9描绘根据本公开的各种方面的用于拒绝一个或多个章节关键词的说明性UI标记窗格902。参考图9，根据各种方面，每一个药丸形状控件元素918可扩展(例如，在UI标记窗格902中水平地)以适合每一个建议章节关键词914以及拒绝章节关键词控件元素920的文本表示。根据各种方面，用户可通过选定(例如，通过光标、触摸屏等)其相应拒绝章节关键词控件元素920来拒绝一个或多个特定建议章节关键词914。根据各种方面，可在UI标记窗格902的建议部分956或UI标记窗格902的条目部分958中(例如，在输入框916内)选定拒绝章节关键词控件元素920。参考图9，根据各种方面，每一个拒绝章节关键词控件元素920可被配置为在用户交互时显示拒绝消息960(例如，鼠标悬停在拒绝章节关键词控件元素920上方、悬停在拒绝章节关键词控件元素920上方等)。根据众多方面，拒绝章节关键词控件元素920可在每一药丸形状控件元素918中表示为“X”。此外，UI标记窗格902可进一步包含拒绝所有章节关键词控件元素924。如果在UI标记窗格902中显示的建议章节关键词914不可接受，那么用户可选定(例如，通过光标、触摸屏等)拒绝所有章节关键词控件元素924。在此类方面中，UI标记窗格902可用新的和/或不同组的建议章节关键词914刷新(例如，通过内容扩充系统104)。数据存储系统102可在文档的每一个版本的单独列表中捕获通过每一相应拒绝章节关键词控件元素920正式拒绝的每一章节关键词和/或通过相关联拒绝所有章节关键词控制元素924正式拒绝的每一组所建议章节关键词914。应了解，可类似地正式拒绝如本文中所描述的内容标记和/或组件标记。根据各种实施例，此类正式被拒绝的注释(例如，章节关键词、内容标记、组件标记等)可用作负反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述。

注释排名和修改注释排名

图10描绘根据本公开的各种方面的用于修改一个或多个内容标记的排名的说明性UI标记窗格1002。如本文中所论述，每一个药丸形状控件元素1018可扩展(例如，在UI标记窗格1002中水平地)以适合每一个建议内容标记1014(例如，由于已选定特定段落的内容标记)的文本表示。此外，每一个药丸形状控件元素1018可扩展(例如，在UI标记窗格1002中水平地)以包含重新评分内容标记控件元素1022。

如本文中所描述，每一个重新评分内容标记控件元素1022可包含双重功能。参考图10，作为第一功能，每一个重新评分内容标记控件元素1022的界面可呈现视觉提示，所述视觉提示表示与在所述药丸形状控件元素1018中以文本方式表示的内容标记(例如，“外科医生”)相关联的当前相关性得分(例如，置信度、来自数据存储系统102的权重)。根据各种方面，每一个视觉提示可包含圆环图1026。此类圆环图1026使得用户能够在其它建议内容标记1014的上下文中立即评估每一个建议内容标记1014的相关性(例如，由内容扩充系统104确定)，而不必独立咨询内容扩充系统104(例如，不必切换到不同的用户界面)。更具体地，根据本文中所描述的各种实施例，每一个圆环图1026的环面(例如，同心圆之间的区域)可反映与其对应的内容标记(例如，通过内容扩充系统104计算或确定)相关联的相关性得分(例如，百分比)。例如，如果相关性得分为100％，那么可填充整个环面(例如，着色、交叉阴影线等)，如果相关性得分为75％，那么可填充环面的四分之三(例如，以顺时针方式)，如果相关性得分为50％，那么可填充环面的一半(例如，右半部分)，如果相关性得分为25％，那么可填充环面的四分之一(例如，以顺时针方式)，且如果相关性得分为0％，那么环面可为空白的。应了解，可通过每一个圆环图1026的环面类似地描绘其它介入相关性得分(例如，百分比)。关于内容扩充系统104用来计算和/或确定相关性(例如，相关性得分)的算法和/或方法的细节超出本公开的范围。在不脱离本公开的精神和范围的情况下，可使用各种评分和/或索引算法(例如，作为非限制性实例，Elsevier Fingerprint

的算法)。

如本文中所论述，建议内容标记1014可在UI标记窗格1002中呈现并且基于每一个当前相关性得分进行排序，如每一个相应圆环图1026所描绘(例如，参见图10，“医生”，然后是“医师”，然后是“执业医师”，然后是“外科医生”等)。鉴于图10，与“医生”相关联的圆环图1026的环面反映大的相关性得分，而与“医师”、“执业医师”和“外科医生”相关联的圆环图1026的环面反映低得多的相关性得分.根据各种方面，建议内容标记1014可在UI标记窗格1002中呈现，使得建议内容标记1014以类似于书籍的行的方式排序(例如，从UI标记窗格1002的左侧到UI标记窗格1002的右侧，且然后向下，使得最左侧和最顶部的建议内容标记1014相关于最右侧和最底部的建议内容标记1014与更高当前相关性得分相关联)。根据各种方面，可仅在UI标记窗格1002中(例如，基于它们相应相关性得分)呈现以及排序所规定数量的建议内容标记1014(例如，如由内容扩充系统104所建议)。根据一个方面，可仅在UI标记窗格1002中(例如，基于它们相应相关性得分)呈现以及排序前十个建议内容标记1014。

仍参考图10，作为第二功能，每一重新评分内容标记控件元素1022的界面可为可选的，以将与在所述药丸形状控件元素1018中以文本方式表示的内容标记相关联的当前相关性评分(例如，如由内容扩充系统104确定)修改为由用户定义的相关性得分。根据各种方面，可在UI标记窗格1002的建议部分1056或UI标记窗格1002的输入部分1058中(例如，在输入框1016内)选定每一个重新评分内容标记控件元素1022的界面。鉴于图10，在选定重新评分内容标记控件元素1022(例如，与输入框1016中的“医师”相关联)的界面之后，可向用户呈现修改相关性得分界面1062(例如，弹出界面、单独的窗口等)。用户然后可选择由用户定义的相关性得分以与对应于内容标记控件元素1022的所选定界面的内容标记(例如，“医师”)相关联(例如，在修改之前，圆环图1026描绘相关性得分大于25％但小于50％)。根据各种方面，用户可使用得分界面1064来选定由用户定义的相关性得分。在一方面，评分界面1064可包含利克特量表，其中向用户呈现询问或陈述(例如，“医师”如何适用于本段？”)并且用户可通过规定他们对查询或陈述的同意或不同意程度(例如，通过记数法(numberscale))(例如，与“1”相关联的“从不”到与“5”相关联的“非常同意”)来对查询或陈述做出响应。在此类方面中，利克特量表的每一个水平可与百分比(例如，在0％与100％之间)相关联。根据另一方面，评分界面1064可包含输入框(未展示)，用户可在所述输入框中输入反映他们对所述内容标记(例如，对选定的节点元素)的相关性的认知或解释的百分比(例如，在0％与100％之间)。根据各种方面，修改相关性得分界面1062可进一步包含确认重新评分按钮1066(例如，“OK”)，以正式接受通过评分界面1064输入的由用户定义的相关性得分，以及拒绝重新评分按钮1068(例如，“还原”)拒绝通过评分界面1064输入的由用户定义的相关性得分(例如，还原回到由内容扩充系统确定的相关性得分)。根据此类方面，在选定确认重新评分按钮1066之后，与对应于修改的相关性得分的内容标记相关联的圆环图1026可改变以在视觉上将相关性得分识别为由用户定义的相关性得分。

根据本公开的各种实施例，反映如由内容扩充系统104确定的相关性得分的每一个圆环图1026可用第一默认颜色描绘(例如，蓝色，在图10中被描绘为与输入框1016中的章节关键词“家庭”和“循证实践”相关联的第一交叉影线)。类似地，反映由用户定义的相关性得分的每一个圆环图1026可用第二不同颜色来描绘。例如，参考图10，在已选定与“医师”相关联的重新评分内容标记控件元素1022的界面之后，其对应圆环图1026(例如，在输入框1016中)可用第二不同颜色描绘。根据各种方面，内容标记本身的文本(例如，“医师”)也可用相同的第二不同颜色描绘(例如，在输入框1016中)。可基于用户在评分界面1064中的输入来确定第二不同颜色。例如，参考图10，条目“1”可与深红色相关联(例如，描绘为第二交叉影线，未展示)，条目“2”可与红色相关联(例如，描绘为与内容标记“医师”相关联的第三交叉影线，文本“医师”本身也可用红色描绘)，条目“3”可与黄色相关联(例如，描绘为与内容标记“患者”相关联的第四交叉影线，文本“患者”本身也可用黄色描绘)，条目“4”可与绿色相关联(例如，描绘为与内容标记“职业”相关联的第五交叉影线，文本“职业”本身也可用绿色描绘)，条目“5”可与深绿色相关联(例如，描绘为第六交叉影线，未展示)。因此，参考图10，由于“2”当前在修改相关性得分界面1062的评分界面1064中选定，因此与“医师”相关联的圆环图1026以红色描绘(例如，描绘为第三交叉影线)。在此实例中，文本“医师”本身也用红色描绘。此处，应了解，可类似描绘通过评分界面1064输入的其它由用户定义的相关性得分(例如，百分比)(例如，通过各种第二不同的颜色，每一个颜色均与不同的百分比和/或百分比范围相关联)。

仍参考图10，修改相关性得分界面1062可进一步描绘反映所提议的由用户定义的相关性得分的经修改圆环图1070。与经修改圆环图1070相关联的环面反映与通过修改相关性得分界面1062的评分界面1064的条目“2”相关联的相关性得分(例如，小于25％的相关性得分)而对应于输入框1016中的“医师”的圆环图1026仍反映与由内容扩充系统确定的相关性得分(例如，大于25％且小于50％的相关性得分)相关联的环面。在选定确认重新评分按钮1066之后，对应于输入框1016中的“医师”的圆环图1026可被更新以反映经修改圆环图1070和第二不同颜色(例如，红色，被描绘为第三交叉影线)。此外，鉴于图10，对应于输入框1016中的“患者”的圆环图1026已被更新以反映经修改圆环图和第二不同颜色(例如，黄色，被描绘为第四交叉影线)并且对应于输入框1016中的“职业”的圆环图1026已被更新以反映经修改圆环图和第二不同颜色(例如，绿色，被描绘为第五交叉影线)。如果用户决定拒绝提议的由用户定义的相关性得分，那么用户可选定拒绝重新评分按钮1068。在选定拒绝重新评分按钮1068之后，对应于输入框1016中的“医师”的圆环图1026可还原回到原始圆环图1026和第一默认颜色(例如，蓝色，被描绘为第一交叉影线)。数据存储系统102可在文档的每一个版本的单独列表中捕获通过确认重新评分按钮1066正式接受的每一个由用户定义的相关性得分。应了解，可类似地修改与如本文中所描述的章节关键词和/或组件标记相关联的相关性得分。根据各种实施例，此类经修改由用户定义的相关性得分(例如，章节关键词、内容标记和/或组件标记等)可用作反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述。

提议新的注释

图11描绘根据本公开的各种方面的用于提议注释的说明性UI标记窗格1102。根据本文中所描述的各种实施例，用户可通过在任何时候直接键入到输入框1116中来在输入框1116中输入内容标记。如本文中所描述，本公开的系统100可通过内容扩充系统104在用户键入内容标记时自动完成或尝试自动完成内容标记。参考图11，可向用户呈现自动完成界面1172(例如，弹出界面、单独的窗口等)。根据各种方面，当用户在输入框1116中键入时，输入的字母可被发送到内容扩充系统104(例如，实时、接近实时、以预定刷新率等)并且内容扩充系统104可通过自动完成界面1172(例如，实时、接近实时、以预定刷新率等)以建议术语进行响应。例如，参考图11，在用户键入字母“Anesth(麻醉)”之后，内容扩充系统104可通过由自动完成界面1172建议术语“Anesthetist(麻醉医师)”、“Anesthesia(麻醉)”、“Anesthesiologist(麻醉师)”等来自动完成用户的输入。如在图11中所说明，建议术语可按字母顺序列出并且每一个建议术语可在视觉上指示术语的部分由内容扩充系统104自动完成(例如，“Anesthetist”中经加粗的“etist”、“Anesthesia”中经加粗的“esia”和“Anesthesiologist”中的经加粗的“esiologist”等)。

此外，参考图11，自动完成界面1172可提供与每一个建议术语相关联的计数1174，每一个建议术语反映所述建议术语在选定的节点元素、选的定节点元素组、选定文档等中出现的次数。如所论述，关于内容标记，输入的内容标记(例如，或其同义词)应以文本形式存在于选定的节点元素或选定的节点元素组中。自动完成界面1172的此类特征可使得用户能够高效地输入文本支持的内容标记。根据另一方面，关于章节关键词，输入的章节关键词可或可不以文本形式存在于选定的节点元素中、选定的节点元素组和/或选定文档本身中。自动完成界面1172的此类特征可使得用户能够在输入章节关键词时高效地遵守(例如，内容扩充系统104的、文档本身的、与文档相关联的域的等)当前字典/分类。根据又一方面，关于组件标记，输入的组件标记可或可不以文本形式存在于选定的节点元素、选定的节点元素组和/或选定文档本身中。自动完成界面1172的此类特征可使得用户能够在输入组件标记时高效地遵守(例如，内容扩充系统104的、文档本身的、与文档相关联的域的、由一或多个内容管理器或内容扩充系统104提供的定制组件标记列表等)当前字典/分类。根据各种方面，用户可选定(例如，通过光标、触摸屏等)通过自动完成界面1172建议的术语以完成在输入框1116中键入的术语。

根据各种方面，用户输入和内容扩充系统104之间的此类实时或接近实时的反馈可确保用户生成的注释(例如，章节关键词、内容标记、组件标记)对应于域特定的词典/分类，从而实现更好的质量注释，所述注释匹配或遵守来自相同或相似域的其它文档。

根据各种实施例，用户可不接受和/或可不承认通过自动完成界面1172建议的任何术语。更具体地，用户可继续键入以输入在由(例如，内容扩充系统104的、文档本身的、与文档相关联的域的、由一或多个内容管理者或内容扩充系统104提供的定制组件标记列表的等)当前字典/分类建议和/或识别的那些术语外的术语。根据此类方面，此类输入的术语(例如，章节关键词、内容标记和/或组件标记等)可用作反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述(例如，主动地扩展现有域字典/分类，或建立内容扩充系统104未知域的域字典/分类等)。

消除注释歧义

图12描绘根据本公开的各种方面的用于对注释消除歧义的说明性UI标记窗格1202。根据本文中所描述的各种实施例，用户可随时通过直接键入到输入框1216中来在输入框1216中输入章节关键词。如本文中所描述，在输入框1216中输入的每一个章节关键词可被发送到内容扩充系统104(例如，实时地、接近实时地、以预定的刷新率等)。根据此类方面，内容扩充系统104可检测与输入的章节关键词在文本上相同或在语义上有关(例如，同义词、优选措辞)的多个术语。

如在图12中所说明，如果内容扩充系统104确定输入的章节关键词可受益于消除歧义，那么本公开的系统100可用消除歧义控件元素1274替换对应于输入的章节关键词的药丸形状控件元素1218的重新评分章节关键词控件元素1222(例如，响应于来自内容扩充系统104的对输入的章节关键词消除歧义的请求)。

根据其它方面，本公开的系统100可在输入框1216中输入章节关键词时简单地显示消除歧义控件元素1274。根据各种方面，在用户选定消除歧义控件元素1274之后，可向用户呈现消除歧义界面1276(例如，弹出界面、单独的窗口等)。

参考图12，根据各种方面，消除歧义界面1276可呈现多个提议的术语，所述术语与输入的章节关键词在文本上相同、相似和/或在语义上有关。例如，鉴于图12，响应于输入框1216中输入的章节关键词“护士”，可在消除歧义界面1276中呈现包含“护理(医疗保健专业)”、“职业护士(医疗保健专业人员)”和“保罗·马克西姆·纳斯爵士(科学家)”在内的提议术语。根据各种方面，每一个提议术语可与其对应的圆环图1226相关联地呈现，所述圆环图描绘如由内容扩充系统104确定的相关联的相关性得分。根据各种方面，用户可选定(例如，通过光标、触摸屏等)对输入的章节关键词消除歧义的提议术语。例如，鉴于图12，“护理(医疗保健专业)”的选定向内容扩充系统104阐明用户意图输入的章节关键词“护士”来引用护理的医疗保健专业而不是执业护士的医疗保健专业或科学家保罗·马克西姆·纳斯爵士。此特征可使得本公开的系统100能够准确地捕获用户实现高质量注释的意图。数据存储系统102可捕获每一个提议的术语(例如，通过消除歧义界面1276选定)，其在文档的每一个版本的单独列表中对输入的章节关键词消除歧义。应了解，如本文中所描述，内容标记和/或组件标记可类似地消除歧义。根据各种实施例，此类经消除歧义的注释(例如，章节关键词、内容标记和/或组件标记等)可用作反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述，以产生较不模糊的未来注释(例如，章节关键词、内容标记和/或组件标记)。

仍参考图12，如果内容扩充系统104能够提供与提议术语相关联的额外上下文信息，那么本公开的系统100可向用户呈现消除歧义信息界面1278。根据各种方面，额外上下文信息可包含定义、有关文档和/或图像(例如，存储在内容扩充系统104的知识图和/或分类中)。再次参考图12，消除歧义信息界面1278可在用户交互时呈现(例如，建议术语的鼠标悬停或滚动、建议术语的悬停等)。根据各种方面，如果用户(例如，在与消除歧义界面1276和/或消除歧义信息界面1278交互之后)决定输入的注释(例如，章节关键词、内容标记和/或组件标记)不合适，那么用户可通过拒绝注释控件元素1280拒绝通过输入框1216输入的注释(例如，“护士”)。数据存储系统102可在文档的每一个版本的单独列表中捕获通过拒绝注释控件元素1280拒绝的每一个注释。根据各种实施例，此类被拒绝的注释可用作反馈以重新训练、校准和/或增强内容扩充系统104的注释算法，如本文中所描述。

可发现性得分和计算

图13描绘根据本公开的各种方面的用于提供可发现性得分1382的说明性UI标记窗格1302。更具体地，根据各种实施例，UI标记窗格1302可包含建议部分1356、条目部分1358和可发现性得分部分1386。可发现性得分部分1386可被配置为供用户评估可发现性得分1382，如本文中所描述。尽管在图13中，可发现性得分部分1386被展示为章节关键词UI标记窗格1302的一部分或集成在其中，但可发现性得分部分1386可类似地被展示为内容标记UI标记窗格(例如，图15)的一部分或集成在所述内容标记UI标记窗格内。

根据本公开的各种实施例，本文中所描述的系统100可计算并提供可发现性得分1382，所述可发现性得分不仅反映一般数量的注释而且反映一定数量的质量、作者接受的注释。根据本文中所描述的方面，可发现性得分1382通常可在每一个文档被创建时跟踪其标记覆盖范围(例如，实时、接近实时、以预定刷新率等)。

根据各种方面，可发现性得分1382可评估各种注释类型(例如，章节关键词、内容标记、组件标记等)并将其复合成单值，所述单值不仅可解析为其组成部分(例如，反映其各种注释优势和/或注释弱点)，但也可报告以为负责管理正在创建的文档的用户(例如，编者、内容管理者等)提供通用度量，从而相关彼此和/或文档语料库(例如，域)评估创建的文档。

因此，本文中所描述的可发现性得分1382可向用户(例如，内容创建者、作者等)提供基线以评估对他们所创建的作品(例如，文档、文档的节点元素或节点元素组、合集的章节等)预期的适当水平的注释。此类可发现性得分1382(例如，可通过图13的UI标记窗格1302的可发现性得分部分1386存取)可通过向用户提供基线来评估他们所创建的作品所期望的那些新注释类型的适当水平来在新的和/或未来开发的注释类型(例如，内容标记、组件标记等)方面辅助用户。因此，如本文中所描述的可发现性得分可不仅向用户(例如，作者、内容创建者等)提供关于对他们的期望的此类见解，而且还提供激励提示和/或提醒以确保每一个注释类型在创建内容时完成并验证(例如，在起草文本时，在整合资产时等)。

参考图13，可发现性得分部分1386可说明可发现性得分1382的可发现性得分图形描绘1384。更具体地，可发现性得分图形描绘1384可包含第一注释类型部分1384a(例如，章节关键词部分)、第二注释类型部分1384b(例如，内容标记部分)和第三注释类型部分1384c(例如，组件标记部分)。应了解，如本文中所描述和所描绘，可组合任意数目的注释类型来计算可发现性得分1382。根据各种方面，第一注释类型部分1384a可被说明为第一颜色(例如，紫色，被描绘为第一交叉影线)，第二注释类型部分1384b可被说明为第二颜色(例如，橙色、被描绘为第二交叉影线)，并且第三注释类型部分1384c可被说明为第三颜色(例如，绿色，被描绘为第三交叉影线)。此类颜色可辅助用户高效地可视化哪些注释类型(例如，章节关键词、内容标记和/或组件标记)不足(例如，注释弱点)以及哪些注释类型充足(例如，注释强度)。此外，再次参考可发现性得分图形描绘1384，组合颜色(例如，描绘为第一、第二和第三交叉影线)可辅助用户相对于可能注释(例如，空白或无色部分，描绘为没有交叉影线)高效地可视化组合注释。简要地参考图17，可发现性得分1382可在UI标记窗格1302中的可发现性得分图形描绘1384上展示。

返回参考图13，在选定(例如，通过光标、触摸屏等)或与其交互(例如，鼠标悬停、悬停等)之后，可发现性得分部分1386和/或可发现性得分图形描绘1384，可向用户呈现可发现性得分界面1388(例如，弹出界面、单独窗口等)。根据各种方面，可发现性得分界面1388可在视觉上将可发现性得分1382分成其组成部分。根据各种方面，可发现性得分界面1388可单独说明第一注释类型部分1384a、第二注释类型部分1384b和第三注释类型部分1384c以及它们对应的注释类型文本描述(例如，分别为“章节关键词”、“内容标记”和“组件标记”)。更具体地，可发现性得分界面1388可说明相对于第一注释类型部分1384a、第二注释类型部分1384b和第三注释类型部分1384c的说明的阈值1390。根据替代方面，可发现性得分界面1388可说明第一注释类型部分1384a、第二注释类型部分1384b和第三注释类型部分1384c中的每一个的单独阈值1390。此类阈值可进一步辅助用户更高效地可视化哪些注释类型(例如，章节关键词、内容标记和/或组件标记)不足(例如，注释弱点)以及哪些注释类型充足(例如，注释强度)。作为响应，用户可与如本文中所描述的UI标记窗格交互，以向文档添加额外注释(例如，章节关键词、内容标记和/或组件标记)。根据各种方面，本公开的系统100可在添加每一个新的注释时自动更新可发现性得分1382(例如，实时、接近实时、以预定刷新率等)。

仍参考图13，可发现性得分1382可基于应用于创建的内容(例如，文档、节点元素、节点元素组等)的各种注释类型(例如，章节关键词、内容标记和/或组件标记)。根据本公开的各种实施例，可发现性得分1382可基于三个子度量(例如，章节关键词子度量1392、内容标记子度量1394和组件标记子度量1396)计算。在一个实例中，每一个子度量可用10分制表示，从而更易于用户理解。此外，在此类实例中，每一个子度量可对总体可发现性得分1382的贡献相等(例如，1/3的贡献)。

关于章节关键词，继续所述实例，章节关键词子度量1392可计算用户在创建内容时正式接受(例如，通过本文中所描述的UI标记窗格)的章节关键词的数目。此外，如果任何章节关键词已被正式拒绝(例如，通过本文中所描述的UI标记窗格)，那么可调整章节关键词子度量1392。在此类实例中，可已确定“5”(五)是合适的章节关键词阈值。因此地，为了实现实例中的10分制，每一被接受的章节关键词可计数为“2”(二)。此外，在此类方面中，如果任何章节关键词已被拒绝，那么可将“1”(一)添加到章节关键词子度量1392。在这方面，在图13的实例中，本公开的系统100可确定“3”(三个)章节关键词已被正式接受并且至少“1”(一个)章节关键词已被正式拒绝。因此，在所说明实例中，章节关键词子度量1392可计算为“7”(七)(例如，3个章节关键词X 2，每个＝6，加上1＝7)。因此，可发现性得分界面1388可反映与第一注释类型部分1384a(例如，章节关键词部分)相关联的“7”。

关于内容标记，继续实例，与存在的资产节点的总数目相比，内容标记子度量1394可对在创建内容时由用户横跨所有资产节点(例如，图、表、图像、公式等)正式接受(例如，通过本文中所描述的UI标记窗格)的内容标签的数目进行计数。在此类实例中，可已确定内容包含“8”(八个)数字和“2”(两个)表(例如，“10”(十)个总资产节点)。因此，在所述实例中，无需调整即可实现10分制。在这方面，在图13的实例中，本公开的系统100可确定内容标记已被正式接受用于“2”(两个)数字和“1”(一个)表。因此，在所说明实例中，内容标记子度量1394可计算为“3”(三个)(例如，10个总资产节点中的3个资产节点已接受内容标记)。因此，可发现性得分界面1388可反映与第二注释类型部分1384b(例如，内容标记部分)相关联的“3”。

关于组件标记，继续实例，与一级节点元素(例如，H1段)的总数目和他们相应子节点元素相比，组件标记子度量1396可对在创建内容时用户为一级节点元素(例如，H1段)和他们相应子节点元素正式接受(例如，通过本文中所描述的UI标记窗格)的组件标记的数目进行计数。在此类实例中，可已确定内容包含10(十)个一级节点元素和它们相应子节点元素。因此，在所述实例中，无需调整即可实现10分制。在这方面，在图13的实例中，本公开的系统100可确定组件标记已被正式接受用于仅“2”(两个)一级节点元素中的子节点元素。因此，在所说明实例中，组件标记子度量1396可计算为“2”(二)[例如，总共10个一级节点元素中的2个一级节点元素已接受组件标记]。因此，可发现性得分界面1388可反映与第三注释类型部分1384c(例如，组件标记部分)相关联的“2”。

仍参考图13，继续实例，如本文中所描述，每一个子度量可对总体可发现性得分1382的贡献相等。因此，总体可发现性得分1382可计算为4(例如，(1/3)(7)+(1/3)(3)+(1/3)(2)＝4)。

应了解，上文所描述计算可发现性得分1382的方式是一个实例。在不脱离本公开的精神和范围的情况下，可使用计算可发现性得分1382的其它方式。

根据本公开的各种方面，数据存储系统102可将可发现性得分1382及其组成部分捕获到文档的每一个版本和/或其相关节点元素的单独文件中。如本文中所描述，数据存储系统102还可捕获所有建议的、接受的和被拒绝的注释(例如，以及它们相应相关性得分)。如本文中所论述，可发现性得分1382的组成部分可反映文档内的注释强度和/或注释弱点。因此，本公开的系统100可随时间评估与文档的先前版本相关联的可发现性得分1382以确定注释是否已变得过时(例如，可能可更新)和/或可添加额外注释(例如，新可用的注释与文档相关)。根据各种方面，通过比较文档版本(例如，在用户参与注释与文档的当前状态的情况下)，本公开的系统100可通知用户哪些注释类型(例如，章节关键词、内容标记和/或组件标记)可需要基于文档的当前内容和当前内容扩充系统104结果的额外关注和/或重新认证。

文档工作流管理内方面的集成

创作环境的一个显著方面是横跨定义的工作流(例如，参见图17，定义的工作流1736)跟踪文档以及其各种工作流阶段(例如，初稿、编辑审阅、终稿、复制编辑等)，其中不同的团队成员(例如，作者、编者、内容管理者等)可编辑文档。

图14描绘根据本公开的各种方面的包含下一工作流阶段控件元素1412的说明性第一工具栏1410(例如，在内容创建UI 1400的右侧)。根据各种实施例，下一个工作流阶段控件元素1412可被配置为在用户选定之后将当前文档发送到定义的工作流中的下一个工作流阶段。根据本文中所描述的各种实施例，用户(例如，作者、内容创建者等)可在所述用户已完成当前工作流阶段之后选定下一个工作流阶段控件元素1412。

然而，根据一些实施例，可推迟或拦截将当前文档发送到下一个工作流阶段。可为所有工作流阶段转换或仅选定工作流阶段转换启用此推迟或拦截发送的选项。根据此类方面，在发送被推迟或拦截的情况下，本公开的系统100可基于其相关的可发现性得分评估与当前文档相关联的可发现性得分(例如，图13，可发现性得分1382)并推迟或拦截当前文档的发送。更具体地，在用户选定(例如，通过光标、触摸屏等)下一个工作流阶段控件元素1412，可向用户呈现下一个工作流阶段查询界面1414(例如，弹出界面、单独窗口等)。根据各种方面，下一个工作流阶段查询界面1414不仅可向用户呈现激励见解(例如，“在您发送之前”“用标记扩充内容使其更容易发现。您当前的可发现性得分为5。请添加更多标记以提高您的得分！”)以及用户的功能选项。

在图14的实例中，当前文档具有可发现性得分“5”(五)，低于“7”(七)的良好可发现性得分(例如，图13，阈值1390)。因此，在推迟或拦截当前文档的发送之后，系统可通过下一个工作流阶段查询界面1414呈现功能选项，包含添加标记控件元素1416(例如，“添加标签”)和仍要发送控件元素1418(例如，“仍要发送”)。仍要发送控件元素1418可被配置为在用户选定(例如，通过光标、触摸屏等)之后，超驰控制(override)推迟或拦截以将当前文档发送到定义的工作流(例如，图17，定义的工作流1736)中的下一个工作流阶段。添加标记控件元素1416可被配置为在被用户选定之后致使UI标记窗格1502在图15的内容创建UI 1500内生成，如下文所描述。

添加注释指南界面

图15描绘根据本公开的各种方面的用于引导用户通过文档的一个或多个节点元素来添加注释的说明性UI标记窗格1502。根据各种实施例，如果注释(例如，章节关键词、内容标记和/或组件标记)可用和/或可被建议(例如，通过内容扩充系统104)，那么图15的UI标记窗格1502可被配置为通过此类注释顺序引导用户。尽管在图15中，本文中所描述的特征被展示为内容标记UI标记窗格1502的一部分或集成在其中，但本文中所描述的特征可类似地被展示为章节关键词UI标记窗格(例如，图13)或集成在其内。因此，参考图14的实例，取决于哪个子度量(例如，参见图13、章节关键词子度量1392、内容标记子度量1394和/或组件标记子度量1396)低于良好的可发现性得分“7”(七)，本公开的系统100可将用户引导到适当的UI标记窗格(例如，添加章节关键词、内容标记和/或组件标记)。

参考图15，根据各种实施例，本公开的系统100可计算并呈现当前文档内的节点元素的总数，其中注释(例如，图15中的内容标记和/或组件标记)可用和/或可通过进度指示器1520来建议(例如，对于文档内的213个节点元素，注释是可用的/可建议的)。鉴于图15，用户然后可如本文中所描述将注释(例如，建议和/或新内容标记1514和/或组件标记1532)接受到输入框1516中和/或如本文中所描述拒绝注释(例如，建议内容标记1514和/或组件标记1532)。根据各种方面，UI标记窗格1502可用“下一个”控件元素1522和/或“上一个”控件元素1524代替“添加”控件元素(例如，图6，“添加”控件元素634)以将用户分别前进到下一个或上一个节点元素以添加更多注释。用户可选定“下一个”控件元素1522和/或“上一个”控件元素1524而无需为所述特定节点元素输入任何注释。类似于如本文中所描述，UI标记窗格1502的连接器特征1530可将UI标记窗格1502连接到当前节点元素(例如，节点元素、节点元素组、整个文档)以向用户视觉地指示已基于当前节点元素1506建议每一个建议注释(例如，内容标记1514和/或组件标记1532)。根据各种方面，UI标记窗格1502可进一步包含退出注释指南控件元素1526。根据各种方面，在选定退出注释指南控件元素1526(例如，描绘为“X”)之后，UI标记窗格1502可关闭。根据其它方面，在选定退出注释引导控件元素1526之后，本公开的系统100可启动发送到下一个工作流界面(未展示)以将文档(例如，完成的章节等)发送到下一个或选定工作流阶段和/或特定的个别(例如，编者、内容管理者等)。根据又一些方面，在选定退出注释引导控件元素1526之后，本公开的系统100可重新评估与当前文档相关联的可发现性得分并且再次基于如本文中所论述的可发现性得分推迟或拦截发送(例如，参见图14，可呈现下一个工作流阶段查询界面1414等)。

图16描绘根据本公开的各种方面的用于引导用户通过文档的一个或多个节点元素来添加注释之后的说明性UI标记窗格1602。类似于如本文中所描述，UI标记窗格1602的连接器特征1630可将UI标记窗格1602连接到当前节点元素以向用户视觉地指示已基于当前节点元素1606建议每一个建议注释(例如，内容标记1614和/或组件标记1632)。

参考图16，在考虑当前文档内的节点元素总数中的每一个的可用和/或建议注释之后，“下一个”控件元素(图15，“下一个”控件元素1522)可被替换为或动态地改变为“完成，发送”控件元素1628。根据各种方面，选定“完成，发送”控件元素1628可确认接受输入的注释到数据存储系统102。根据其它方面，在选定“完成，发送”控件元素1628之后，本公开的系统100可启动发送到下一个工作流界面(未展示)以将文档(例如，完成的章节等)发送到下一个或选定工作流阶段和/或特定个体(例如，编者、内容管理者等)。

参考图15和图16，随着UI标记窗格1502、1602顺序引导用户通过节点元素总数中的每一个，本公开的系统100可更新可发现性得分图形描绘1584、1684(例如，实时、接近实时、以预定刷新率等)。如本文中所描述，可发现性得分图形描绘1584、1684可包含第一注释类型部分1584a、1684a(例如，章节关键词部分)、第二注释类型部分1584b、1684b(例如，内容标记部分)和第三注释类型部分1584c、1684c(例如，组件标记部分)。此外，如本文中所描述，第一注释类型部分1584a、1684a可被说明为第一颜色(例如，紫色，被描绘为第一交叉影线)，第二注释类型部分1584b、1684b可被说明为第二颜色(例如，橙色、被描绘为第二交叉影线)，并且第三注释类型部分1584c、1684c可被说明为第三颜色(例如，绿色，被描绘为第三交叉影线)。此类颜色可在添加额外注释时辅助用户高效地可视化哪些注释类型(例如，章节关键词、内容标记和/或组件标记)不足(例如，注释弱点)以及哪些注释类型充足(例如，注释强度)。这可帮助用户可视化每一个额外接受注释如何影响与文档相关联的可发现性得分。此外，再次参考可发现性得分图形描绘1584、1684，组合颜色(例如，描绘为第一、第二和第三交叉影线)可辅助用户相对于可能注释(例如，空白或无色部分，描绘为没有交叉影线)高效地可视化组合注释。

文档级别的可发现性得分报告

图17描绘根据本公开的各种方面的说明性活动和版本界面1700。参考图17，本公开的系统100可在用户选定“活动和版本”选项卡1703(例如，“活动和版本”选项卡203可从图2的内容创建用户界面200选定等)之后呈现活动和版本界面1700。

仍参考图17，本公开的系统100可呈现与存储在数据存储系统102中的当前文档的每一个版本相关联的可发现性得分。例如，文档1702的第一版本(例如，“v.1”)可与“0”(零)的可发现性得分1704相关联，文档1706的第二版本(例如，“v.2”)可与“3”(三)的可发现性得分1708相关联，并且文档1710的第三版本(例如，“当前(v.3)”)可与“5”(五)的可发现性得分1712相关联。

鉴于图17，类似于如本文中所描述，每一个可发现性得分1704、1708、1712可呈现在可发现性得分图形描绘1714、1716、1718上。每一个可发现性得分图形描绘1714、1716、1718可包含第一注释类型部分1720(例如，章节关键词部分)、第二注释类型部分1722(例如，内容标记部分)，和第三注释类型部分1724(例如，组件标记部分)。此外，类似于如本文中所描述，第一注释类型部分1720可被说明为第一颜色(例如，紫色，被描绘为第一交叉影线)，第二注释类型部分1722可被说明为第二颜色(例如，黄色、被描绘为第二交叉影线)，并且第三注释类型部分1724可被说明为第三颜色(例如，蓝色，被描绘为第三交叉影线)。鉴于文档1710的第三版本的可发现性得分图形描绘1718，此类颜色可在添加额外注释时辅助用户高效地可视化哪些注释类型(例如，章节关键词、内容标记和/或组件标记)不足(例如，注释弱点)以及哪些注释类型充足(例如，注释强度)。例如，参考可发现性得分图形描绘1716，显然文档1706的第二版本缺少第二注释类型部分(例如，内容标记)和第三注释类型部分(例如，组件标记)。此外，再次参考可发现性得分图形描绘1718，组合颜色(例如，描绘为第一、第二和第三交叉影线)可辅助用户相对于可能注释(例如，空白或无色部分，描绘为没有交叉影线)高效地可视化组合注释。在图17的实例中，可能的注释，如果被接受，可实现可发现性得分“10”(十)。

此外，鉴于图17，在列中报告可发现性得分图形描绘1714、1716、1718可辅助用户。特定来说，用户(例如，编者、内容管理者等)可高效地比较文档版本以确定何时在整个文档的演变过程中添加注释。根据各种方面，用户(例如，编者、内容管理者)响应于确定另一用户(例如，作者、内容创建者)没有添加任何或重要的注释可提示其它用户参与UI标记窗格，如本文中所描述，以添加注释。根据另一方面，如果自另一用户(例如，作者、内容创建者)与文档交互(例如，在早期版本上工作)以来已过去很长一段时间，那么用户(例如，编者、内容管理者)可提示其它用户验证接受的注释和/或参与UI标记窗格，如本文中所论述，以添加新的和/或评估由内容扩充系统104提供的新建议注释。例如，参考图17，由于用户“Perry,A.”自2016年11月28日起未与文档交互，因此评估活动和版本界面1700的用户(例如，编者“AGP”)可在2017年1月2日或其之后提示用户“Perry,A.”验证接受的注释和/或参与UI标记窗格，如本文中所描述，以添加新注释(例如，“Perry，A”尚未基于可发现性得分图形描绘1716添加内容标记和/或组件标记)和/或评估由内容扩充系统104提供的新建议注释(例如，新章节关键词)。

仍参考图17，包含修改日期1726(例如，“日期”)、用户1728(例如，“更改者”)、字数1730、第一可读性得分1732(例如，“Flesch-Kincaid”)和第二可读性得分1734(例如，“SMOG”)的进一步的细节也可与当前文档的每一个版本相关联。此外，还可将定义的工作流1736连同对应的截止日期一起呈现以帮助用户(例如，编者、内容管理者)满足文档最后期限。

项目级别的可发现性得分报告

图18描绘根据本公开的各种方面的说明性项目仪表板界面1800，可作为内容创建平台(例如，作为非限制性实例，

数字出版平台)的一部分可用。根据各种方面，项目仪表板界面1800可包含在选定之后报告与项目相关联的信息的“完整性”选项卡1850。鉴于图18，所述项目可包含书籍1802(例如，“护理学基础”)，其包含一个或多个单元1804、1806、1808、1810，并且每一个单元包含一个或多个章节1812、1814、1816、1818、1820。

参考图18，本公开的系统100可呈现与存储在数据存储系统102中的每一个单元的每一个章节相关联的可发现性得分。根据各种方面，可发现性得分可与如存储在数据存储系统102中的每一章的最近或最新版本相关联。例如，第一单元1804(“第1单元—护理和医疗保健环境”)的第一章1812(例如，“护理学的今天”)可与“9”(九)的可发现性得分1822相关联，第一单元1804的第二章1814(例如，“医疗保健提供系统”)可与“3”(三)的可发现性得分1824相关联，第一单元1804的第三章1816(例如，“基于社区的护理实践”)可与“7”(七)的可发现性得分1826相关联，第一单元1804的第四章1818(例如，“护理的理论基础...”)可与“5”(五)的可发现性得分1828相关联，且第一单元1804的第五章1820(例如，“循证实践”)可与“0”(零)的可发现性得分1830相关联。

参考图18，类似于图17中所描述，每一个可发现性得分1822、1824、1826、1828、1830可呈现在可发现性得分图形描绘1832、1834、1836、1838、1840上。每一个可发现性得分图形描绘1832、1834、1836、1838、1840可包含第一注释类型部分1842(例如，章节关键词部分)、第二注释类型部分1844(例如，内容标记部分)，和第三注释类型部分1846(例如，组件标记部分)。此外，类似于如本文中所描述，第一注释类型部分1842可被说明为第一颜色(例如，紫色，被描绘为第一交叉影线)，第二注释类型部分1844可被说明为第二颜色(例如，黄色、被描绘为第二交叉影线)，并且第三注释类型部分1846可被说明为第三颜色(例如，蓝色，被描绘为第三交叉影线)。鉴于第一单元1804的第一章节1804的可发现性得分图形描绘1832，此类颜色可在添加额外注释时辅助用户高效地可视化哪些注释类型(例如，章节关键词、内容标记和/或组件标记)不足(例如，注释弱点)以及哪些注释类型充足(例如，注释强度)。例如，参考可发现性得分图形描绘1834，显然第一单元1804的第二章1814缺少第二注释类型部分(例如，内容标记)和第三注释类型部分(例如，组件标记)。作为另一实例，参考可发现性得分图形描绘1840，很明显第一单元1804的第五章1820需要立即关注，因为它缺少任何注释。以此类方式，可发现性得分(例如，1830)和/或可发现性得分图形描绘(例如，1840)可辅助用户(例如，编者、内容管理者等)跟踪项目进展和完整性以及明确指出具体文件的进展情况(例如，第五章1820尚未开始)。此外，再次参考可发现性得分图形描绘1832，组合颜色(例如，描绘为第一、第二和第三交叉影线)可辅助用户相对于可能注释(例如，空白或无色部分，描绘为没有交叉影线)高效地可视化组合注释。在图18的实例中，可能的注释，如果被接受，可实现可发现性得分“10”(十)。

此外，鉴于图18，在列中报告可发现性得分图形描绘1832、1834、1836、1838、1840可辅助用户。特定来说，用户(例如，编者、内容管理者等)可高效地比较文档(例如，章节等)以确定哪些文档需要进一步注释。例如，鉴于可发现性得分图形描绘1834，用户(例如，编者“AGP”)可提示另一用户(例如，“麦克M.(Michaels，M.)”，第一单元1804的第二章1814的贡献者)验证接受的注释(例如，章节关键词)和/或参与UI标记窗格，如本文中所论述，以添加新的和/或评估由内容扩充系统104提供的新建议注释(例如，新的章节关键词、内容标记和/或组件标记)。因此，本公开的项目仪表板界面1800可使得用户(例如，编者、内容管理者等)能够快速扫描项目(例如，书籍)的哪些部分(例如，章节)需要另一用户(例如，作者、内容创建者、贡献者等)的进一步关注和参与。本公开的项目仪表板界面1800可使得用户(例如，编者、内容管理者等)能够确保项目(例如，书籍)中的所有文档(例如，章节)具有足够的级别注释(例如，章节关键词、内容标记和/或组件标记)，所述注释将使其更可重用(例如，用于机器消费)和可发现(例如，通过文档和/或项目可能暴露于的其它数字产品)。

创作环境增强和工具

根据各种实施例，本公开的系统100可进一步利用内容扩充系统104和在创作环境中接受建议注释的过程(例如，通过如本文中所描述的UI标记窗格)的直接集成。例如，本公开的系统100可在内容创建的时刻直接向用户(例如，作者、内容创建者等)提供额外信息。此类额外信息可增强用户对他们当前创建的内容如何连接到其域和/或领域的理解。此类上下文增强可进一步激励用户参与UI标记窗格，如本文中所描述，通过揭示他们接受的注释的直接值以及他们创建的内容如何“适合”更大的内容语料库(例如，研究语料库)。

图19描绘根据本公开的各种方面的用于提供与注释相关联的额外信息的说明性UI标记窗格1902。鉴于图19，如本文中所描述，UI标记窗格1902的条目部分1958和/或建议部分1956中的每一个注释(例如，章节关键词)可在药丸形状控件元素1918内描绘。除了本文中先前所描述的特征(例如，选定进入输入框1916、拒绝章节关键词控件元素1920特征、重新评分章节关键词控件元素1922特征等)，本公开的系统100可通过每一个药丸形状控件元素1918特选额外信息(例如如，由内容扩充系统104确定和/或提供)。例如，根据各种方面，本公开的系统100可利用每一个药丸形状控件元素1918来提供到数字产品和/或平台的链接。更具体地，在用户与药丸形状控件元素1918或其一部分(例如，除拒绝章节关键词控件元素1920部分和/或重新评分章节关键词控件元素1922部分之外的部分)交互(例如，鼠标悬停、悬停等)时，可向用户呈现特选工具提示界面1923(例如，弹出界面、悬停框、单独的窗口等)。根据各个方面，特选工具提示界面1923可显示特选圆环图1925，所述特选圆环图描绘如由内容扩充系统104为药丸形状控件元素1918的对应注释的相关性得分(例如，用其相应相关性得分“100％相关性”以文本方式所述)。如通过特选圆环图1925所描绘的相关性得分可模仿如由UI标记窗格1902中的关联注释的圆环图1926所描绘的相关性得分。另外，特选工具提示界面1923可进一步提供特选辅助数字链接1927。例如，鉴于图19，本公开的系统100可提供“在ScienceDirect^SM上查看'医师'主题页面”作为与建议章节关键词“医师”相关联的特选辅助数字链接1927。根据本文中所描述的各种实施例，在选定特选辅助数字链接1927之后，本公开的系统100可打开单独的窗口、新的浏览器网页、新的浏览器选项卡等以显示对应于特选辅助数字链接1927的数字产品。图20说明根据本公开的各种方面的数字产品界面2000，所述数字产品界面描绘在选定特选辅助数字链接1927之后的数字产品(例如，“医师”ScienceDirect SM主题页面)。

根据本文中所描述的各种实施例，本公开的系统100可提供既是特选的又是与上下文有关的数字产品。例如，本公开的系统100不仅可考虑注释的类型(例如，章节关键词、内容标记、组件标记等)而且还可考虑知识图中的注释术语的性质和/或类别。

下文的表1说明根据本文中所描述的各种方面由本公开的系统100评估以确定与特选辅助数字链接(例如，特选辅助数字连接1927)相关联的数字产品的实例信息。例如，如在知识图中所定义，系统100可评估多个信息源之间的关系路径(例如，作为非限制性实例，

知识图)。鉴于下文表1，每一个知识图可包含链接“主题”(例如，术语)、“图关系”和“目标”(例如，目标页面)的三重存储区或资源描述框架(RDF)存储区。值得注意的是，每一个主题(例如，“H₂O”、“阿司匹林”等)可包含指向不同目标(例如，不同目标页面)的多个关系。

注释类型	主题	知识图	图关系	目标
					章节关键词	“医师”	科学	“作为文档”	主题页面
章节关键词	“H<sub>2</sub>O”	科学	“作为文档”	主题页面
					内容标记	“H<sub>2</sub>O”	科学	“作为公式”	化学页面
章节关键词	“阿司匹林”	健康	“作为文档”	主题页面
					内容标记	“阿司匹林”	健康	“作为剂量”	药品页面

表1

作为第一实例，鉴于上文表1并参考图19，(例如，基于“科学”知识图和主题/术语“医师”作为“章节关键词”)，图19的特选辅助数字链接1927可指向“医师”主题页面(例如，作为非限制性实例，图20的ScienceDirect^SM主题页面)。

作为第二实例，图21根据各种方面说明数字产品界面2100，所述数字产品界面描绘在选定第二特选辅助数字链接(未展示)之后的第二数字产品。类似于图19，在用户与和章节关键词“H₂O”相关联的第二药丸形状控件元素或其一部分(未展示)交互(例如，鼠标悬停、悬停等)之后，可在第二特选工具提示界面(未展示)内呈现第二特选辅助数字链接。在此类实例中，鉴于上文表1，(例如，基于“科学”知识图和主题/术语“H₂O”作为“章节关键词”)，第二特选辅助数字链接可指向“水”主题页面(例如，作为非限制性实例，图21的ScienceDirect^SM主题页面)。鉴于图21，对应于章节关键词(例如，“H₂O”)的术语(例如，“水”)可在对应于第二特选数字链接的数字产品内被视觉区分(例如，突出显示、下划线等)。

作为第三实例，图22根据各种方面说明数字产品界面2200，所述数字产品界面描绘在选定第三特选辅助数字链接(未展示)之后的第三数字产品。此外，类似于图19，在用户与和内容标记“H₂O”相关联的第三药丸形状控件元素或其一部分(未展示)交互(例如，鼠标悬停、悬停等)之后，可在第三特选工具提示界面(未展示)内呈现第三特选辅助数字链接。在此类实例中，鉴于上文表1，(例如，基于“科学”知识图和主题/术语“H₂O”作为“内容标记”)，第三特选辅助数字链接可指向“H₂O”化学页面(例如，作为非限制性实例，图22的

H₂O分子页面)。

因此，鉴于图21查看图22，即使主题/术语本身是相同的(例如，“H₂O”)，最终与特选辅助数字链接(例如，图19的特选辅助数字链接1927)数字产品可不仅随着知识图(例如，作为非限制性实例，

知识图)而且所述术语是章节关键词，内容标记还是组件标记而不同。以类似方式，鉴于上文的表1，(例如，基于“健康”知识图和主题/术语“阿司匹林”作为“章节关键词”)，第四特选辅助数字链接(未展示)可指向“阿司匹林”主题页面(例如，作为非限制性实例，ScienceDirect^SM主题页面或Clinical

页面)。进一步以类似方式，鉴于上文的表1，(例如，基于“健康”知识图和主题/术语“阿司匹林”作为“章节关键词”)，第五特选辅助数字链接(未展示)可指向“阿司匹林”药品页面(例如，作为非限制性实例，描绘最佳剂量的金标准药品数据库页面)。

图23描绘根据本公开的各种方面的用以提供额外信息的说明性内容创建用户界面2300。根据各种实施例，本公开的系统100可在当前文档中检测术语和/或检测为知识图(例如，作为非限制性实例，

知识图)的一部分的当前文档中的术语的同义词。根据各种方面，本公开的系统100可首先检测文档的正文(例如，文本正文)内的此类术语，且然后检测文档所接受的注释内的此类术语。根据替代方面，本公开的系统100可首先在为文档接受的注释内检测到此类术语，然后在文档的正文内检测到此类术语。一旦检测到此类术语，本公开的系统100可向用户(例如，作者、内容创建者等)呈现各种知识图元素。根据各种方面，当在当前文档中检测到的术语唯一地匹配知识图内的术语(例如，作为非限制性实例，

知识图)，但本公开的系统100可附加补充内容链接(图24，补充内容链接2402)到文档正文内的所述术语。根据其它方面，本公开的系统100可将补充内容链接附加到文档的正文内的所述术语的每一个实例。根据又一些方面，本公开的系统100可将补充内容链接附加到文档的正文内的所述术语的一个或多个实例。

根据本公开内容的其它方面，当在当前文档中检测到一个术语，但它并非唯一地匹配知识图内的术语(例如，作为非限制性实例，

知识图)中，本公开的系统100可向用户寻求进一步的特异性。参考图23，例如，本公开的系统100已检测到文档的正文内的术语“糖尿病”，作为知识图中表示的术语。然而，在此类实例中，术语“糖尿病”并不是唯一的，且对于纯粹的匹配来说，在本质上过于笼统或通用。根据各种实施例，在此类情况下，所述术语可在文本正文内在视觉上强调2302(例如，颜色下划线、突出显示、加粗等)。在此类方面中，在用户与强调的术语2302交互(例如，鼠标悬停、悬停等)时，可向用户呈现规范工具提示界面2304(例如，弹出界面、悬停框、单独的窗口等)。根据各种方面，规范工具提示界面2304可在与需要所规定的强调术语2302(例如，“糖尿病”)有关的列表2306中显示多个术语(例如，在知识图内的术语)。继续图23的实例，可在列表2306中显示术语“2型糖尿病”2310、“成人糖尿病”2312和“II型糖尿病”2314。根据各种方面，用户可从列表2306选定(例如，通过光标、触摸屏等)术语(例如，“2型糖尿病”2310)以向系统100指示更多精确的术语(例如，如在知识图中唯一表示)是预期。根据各种方面，在用户从列表2306选定术语(例如，“2型糖尿病”2310)之后，本公开的系统100可用选定术语2310(例如，更窄、更精确的“2型糖尿病”)替换强调的术语2302(例如，更广泛、更通用的“糖尿病”)并将补充内容链接(图24，补充内容链接2402)附加到文档的正文内的选定术语。根据其它方面，本公开的系统100可用选定术语2310替换强调的术语2302并将补充内容链接附加到文档正文内的所述术语的每一个实例。根据又一些方面，本公开的系统100可用选定术语2310替换强调的术语2302并将补充内容链接附加到文档的正文内的所述术语的一个或多个实例。

再次参考图23，根据本文中所描述的各种实施例，规范工具提示界面2304可进一步描绘忽略控件元素2308。根据各种方面，在用户选定忽略控件元素2308之后，本公开的系统100可移除与文档的正文内的术语(例如，糖尿病)的所述实例相关联的视觉强调2302。根据其它方面，在用户选定忽略控件元素2308之后，本公开的系统100可移除与文档的正文内的所述术语(例如，糖尿病)的所有实例相关联的视觉强调2302。根据又一些方面，在用户选定忽略控件元素2308之后，本公开的系统100可移除与文档的正文内的所述术语(例如，糖尿病)的一或多个实例相关联的视觉强调2302。

图24描绘根据本公开的各种方面的用以通过补充内容链接提供额外信息的说明性内容创建用户界面2400。如上文图23的论述中所引用，当在当前文档中检测到的术语唯一地匹配知识图(例如，作为非限制性实例，

知识图)内的术语时，本公开的系统100可将补充内容链接2402附加到如图24中所描绘的文档的正文内的所述术语。替代地，当在当前文档中检测到术语并非唯一地匹配知识图(例如，作为非限制性实例，

知识图)内的术语但用户已通过从知识图内的更精确术语列表选定(例如，通过图23的规范工具提示界面2304)术语来向所述所检测到的术语提供特异性，本公开的系统100可用选定术语替换所检测到术语(例如，由图24中的“2型糖尿病”替换图23中的“糖尿病”)并将补充内容链接2402附加到如图24中所描绘的文档的正文内的所述选定术语。

因此，参考图24，在用户与此类所检测到或所选定术语和/或补充内容链接2402交互(例如，鼠标悬停、悬停等)时，可向用户呈现补充内容界面2404(例如，弹出界面、悬停框、单独的窗口等)。根据各种方面，补充内容界面2404可以预定义布局显示多种类型的信息。补充内容界面2404可进一步是知识图(例如，作为非限制性实例，

知识图)中存在的主术语类别中的每一个上下文有关。参考图24，例如，与“疾病”相关联的补充内容界面2404可包含图形部分2406、关键点部分2408、同义词部分2410和并发症严重性部分2412。在此类实例中，图形部分2406可包含来自图像搜索工具(例如，作为非限制性实例，

图像搜索)的一个或多个可视图形2414(例如，最佳倾斜图形)，对于疾病，关键点部分2408可包含可用于所述疾病的关键医学点和到一个或多个临床概览页面的超链接2416，同义词部分2410可包含用于所述疾病的域识别同义词以及到一个或多个临床概览页面的超链接2418或与每一个同义词相关联的弹出窗口(例如，域识别同义词等)，并且并发症严重性部分2412可包含域识别与疾病相关的并发症以及到一个或多个临床概览页面的超链接2420或与每一个并发症相关联的弹出窗口(例如，域识别的并发症等)。根据各种方面，多个超链接(例如，2416、2418、2420)中的每一个可链接到存储在知识图(例如，作为非限制性实例，

知识图)中的补充内容。

鉴于图24，补充内容界面2404的每一个部分可进一步包含“查看全部”控件元素2422、2426以揭示所述段的所有可用超链接。即，继续图24的实例，同义词部分2410包含指示“17”(十七)个超链接的可用性的计数特征2424。在选定“查看全部”控件元素2422之后，本公开的系统100可在补充内容界面2404中显示所有17(十七)个超链接。类似地，并发症严重性部分2412包含指示“8”(八个)超链接的可用性的计数特征2428。在选定“查看全部”控件元素2426之后，本公开的系统100可在补充内容界面2404中显示所有8(八)个超链接。根据本公开的各种实施例，补充内容界面2404可进一步包含“展开以查看更多”控件元素2430。在选定“展开以查看更多”控件元素2430之后，本公开的系统100可取消补充内容界面2404并显示新的UI补充内容窗格2502，如在图25中所描绘(例如，在文档的文本正文的右侧)。

图25描绘根据本公开的各种方面的包含UI补充内容窗格2502的说明性内容创建UI 2500。UI补充内容窗格2502可显示比图24的补充内容界面2404更多的补充内容，但可保持与上文所描述的补充内容界面2404相同的总体布局。例如，UI补充内容窗格2502可包含“更多图像”控件元素2506以展示疾病的一个或多个图像(例如，在顶部图像下方)以及到疾病的一个或多个图像的超链接2508。此外，例如，UI补充内容窗格2502可包含其它部分，包含药物部分2510(例如，具有指示“15”(十五)个超链接的可用性的计数特征2514)和相关疾病部分2512(例如，具有指示“14”(十四)个超链接的可用性的计数特征2516)。再进一步，例如，UI补充内容窗格2502可包含扩展特征2518和折叠特征2520以呈现与可见或不可见每一个段相关联的超链接。UI补充内容窗格2502可进一步包含“全部展开”控件元素2522和“全部折叠”控件元素2524以呈现可查看或不可查看的所有段的超链接。

根据各种方面，UI补充内容窗格2502可进一步包含滚动条2504以在UI补充内容窗格2502内和/或在文本的正文中上下滚动。此类特征可使得用户能够与在创建时创建的实际文本和/或内容并排地高效探索知识图上下文和内容链接。

图26描绘根据本公开的各种方面的包含UI标记窗格2602和补充内容界面2604的说明性内容创建UI 2600。参考图26，当在文档的正文中选定的节点元素2606并且所述节点元素2606包含所检测到或所选定的唯一术语(例如，“2型糖尿病”)时，如上文在图23中所论述，与所述术语相关联的药丸形状控件元素2618可从UI标记窗格2602的输入部分2658和/或建议部分2656中的其它注释(例如，章节关键词、内容标记和/或组件标记)强调(例如，在图26中描述为交叉影线)。在此类方面中，在用户与所强调的药丸形状控件元素2618或其一部分(例如，除拒绝内容标记控制元素2620部分和/或重新评分章节关键词控件元素2622部分之外的部分)交互(例如，鼠标悬停、悬停等)时，可向用户呈现补充内容界面2604，如在图24中所描述。因此，通过此类界面，当用户正在创建内容时，用户(例如，作者、内容创建者等)可及时地被提供关于所述术语的大量信息(例如，如本文中在图24中所描述)。此外，此类界面可向用户确认此类输入和/或建议注释对应于用户想要的所创建内容。类似于如本文中所描述，根据本公开的各种实施例，补充内容界面2604可进一步包含“展开以查看更多”控件元素2630。在选定“展开以查看更多”控件元素2630之后，本公开的系统100可取消补充内容界面2604并在UI标记窗格2602上方(例如，弹出界面、单独的窗口等)或其适当位置中显示如在图25中所描绘的新的UI补充内容窗格(例如，在文档的文本正文的右侧的UI补充内容窗格2502)。

总体来说，本公开的许多实施例提供具有同时强化和消除歧义的全面原位结构化文档注释作为双向系统(例如，从内容扩充系统104到用户的通信，从用户到内容扩充系统104的通信)，在结构化创作环境中(例如，通过如本文中所描述的各种界面)，其中鼓励用户(例如，作者、内容创建者)实时验证不同类型的注释(例如，章节关键词、内容标记、组件标记等)和/或对其消除歧义，从而提供内容扩充系统104算法和领域专家(例如，作者)之间的直接反馈循环。如本文中所描述，支持此类具有同时强化和消除歧义的全面原位结构化文档注释的众多界面不仅生成高质量注释，而且通过直接吸引在其相应领域中具有高资质的用户(例如，技术作者)生成完整注释。本文中所描述的系统和/或方法提供优于现有模型的相当多的优点，在现有模型中，在内容创建之后添加注释和/或由可能不完全理解高技术领域中的复杂性和/或新发展以及所创建内容的原作者的外部供应商验证注释。

本公开的各种实施例将内容扩充系统104技术直接集成到内容创建(例如，创作)工作流中。一些方面不仅提供这些注释的价值的丰富指示，而且还提供与向作者提议的注释相关的辅助作品(例如，内容、文档、产品等)的链接。在其它方面，提供直接散布在内容正文中的提示，以提醒作者某些丰富内容可用并附接到正在创作的内容上。本文中所描述的用户(例如，作者)体验涉及在内容创建的实际时刻(原位)实时地利用内容产生基于内容扩充系统的注释结果。利用各种瞬时用户界面元素，如本文中所描述，用户(例如，作者)可通过在某些有问题的注释(例如，概念“cell”(房间/小室)与“cell”(小生物))之间的语义差异)上提供有价值的消除歧义线索来引导内容扩充系统104的用户结果。即，内容扩充系统104的结果和相关联的用户交互(例如，通过接受、相关性评分/重新评分、消除歧义交互等验证)被存储在每文档、每节点和/或每版本等级。因此，此类结果和/或交互可用于创建丰富的训练集以改进未来内容扩充系统104的结果。根据其它方面，此类结果和/或交互也可由区间验证工具(例如，作为非限制性实例，

Collabonator)使用。

如本文中所描述，各种方面、组件和系统可用作在线内容创建平台(例如，作为非限制性实例，

数字出版平台)的一部分以支持图书出版工作。各种实施例可进一步引入用于内容创建平台的激励工具，以辅助捕获不同类型(例如，章节关键字、内容标记、组件标记等)的高质量注释，并且通过横跨数字产品(例如，作为非限制性实例，

数字产品和/或平台)提供此类不同注释类型如何驱动内容发现性/再使用来向用户(例如，作者)提供增强。即，如本文中所描述，可发现性得分可反映每文档、每版本的各种注释类型的质量和数量。根据各种方面，此类可发现性得分可在项目仪表板级别进行审阅，并且用作在全局级别评估任何项目(例如，书籍的章节)的扩充的整体健康和完整性的快速方式。以此方式，编者和/或内容管理者可比较共同构成项目(例如，书籍)的不同文档(例如，章节)并与用户(例如，作者、内容创建者)合作以确保有价值的注释已添加到其内容(例如，章节)。

尽管本文中所描述的方法和/或系统与技术主题领域(例如，科学、技术、健康等)中的出版活动有关，但应理解，此类方法和/或系统可类似地用于更一般的主题领域。即，本公开的方法和/或系统提供共用数字-物理出版平台/框架，所述共用数字-物理出版平台/框架适于在添加新注释和/或维护现有注释支持机器消耗和使用时支持任何类型的内容。

现在应理解，本文中所描述的系统和方法不仅适合于在内容创建时主动地促使用户(例如，作者、内容创建者等)直接参与注释服务(例如，通过内容充实系统104提供)以添加注释，而且还主动地激励用户(例如，图13，通过可发现性得分1382、图14，通过下一个工作流阶段查询界面1414、图17，通过活动和版本界面1700等)以添加此类注释。更具体地，本文中所论述的各种UI标记窗格提供大量控件元素和/或界面以与用户流畅地交互。此类交互不仅包含向用户提供信息(例如，上下文、细节)，而且还包含向用户学习(例如，重新训练、校准和/或增强内容扩充系统104注释算法的反馈)。

虽然本文已说明和描述本公开的特定实施例和方面，但在不脱离本公开的精神和范围的情况下可做出各种其它改变和修改。此外，尽管本文中已描述各种方面，但这些方面不需要组合使用。因此，所附权利要求书旨在涵盖在本文中所展示和描述的实施例的范围内的所有此类改变和修改。

Claims (20)

1.一种系统，所述系统包括：

创作辅助系统，所述创作辅助系统用以为多个用户创建交互式创作环境，所述创作辅助系统包含处理器和存储器装置，所述存储器装置存储指令，所述指令在由所述处理器执行时致使所述处理器：

接收在内容创建用户界面(UI)内选定的一个或多个节点元素，所述内容创建用户界面与以通信方式耦合到所述创作辅助系统的用户存取装置相关联；

从以通信方式耦合到所述创作辅助系统的内容扩充系统(CES)接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素；

在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中所述UI标记窗格包括：

一个或多个注释控件元素，所述注释控件元素以文本方式描绘所述一个或多个建议注释中的每一个，其中每一个注释控件元素定义：

第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中；和

第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释；和

添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释；以及

将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到以通信方式耦合到所述创作辅助系统的数据存储系统。

2.根据权利要求1所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

在所述内容创建UI内集成标记控件元素，其中所述标记控件元素被配置为在选定之后将所述UI标记窗格集成在所述内容创建UI内。

3.根据权利要求2所述的系统，其中在所述内容创建UI内选定所述一个或多个节点元素之后，所述标记控件元素变为可选的。

4.根据权利要求1所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

在所述用户存取装置上生成所述内容创建UI。

5.根据权利要求1所述的系统，其中所述UI标记窗格进一步包括：

多个可选的注释选项卡，所述多个可选的注释选项卡包含：

第一注释选项卡，所述第一注释选项卡与第一类别的注释相关联，其中所述第一注释选项卡被配置为在选定之后呈现至少一个注释控件元素，所述至少一个注释控件元素以文本方式描绘与所述第一类别的注释相关联的注释；和

第二注释选项卡，所述第二注释选项卡与第二类别的注释相关联，其中所述第二注释选项卡被配置为在选定之后呈现至少一个注释控件元素，所述至少一个注释控件元素以文本方式描绘与所述第二类别的注释相关联的注释。

6.根据权利要求5所述的系统，其中与所述第一类别的注释相关联的每一个注释包括在所述一个或多个选定的节点元素中不存在的术语，且其中与所述第二类别的注释相关联的每一个注释包括在所述一个或多个选定的节点元素中存在的术语。

7.根据权利要求1所述的系统，其中所述UI标记窗格进一步包括：

连接器特征，所述连接器特征将所述UI标记窗格连接到所述内容创建UI内的所述一个或多个选定的节点元素，来指示已基于所述一个或多个选定的节点元素建议的所述一个或多个建议注释。

8.根据权利要求1所述的系统，其中每一个注释控件元素进一步定义：

第三部分，其中所述第三部分包括重新评分控件元素，所述重新评分控件元素包含界面，所述界面描绘与所述注释控件元素相关联的所述注释的由CES确定的相关性得分，且其中所述重新评分控件元素被配置为在选定之后生成相关性界面来将所述由CES确定的相关性得分修改为由用户定义的相关性得分。

9.根据权利要求1所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

在将文本键入到所述注释输入框中时向所述CES传输所述文本；以及

生成自动完成界面来呈现来自所述CES的一个或多个建议术语，其中在键入所述文本时，每一个建议术语动态地自动完成所述文本，并且其中每一个建议术语是基于所述CES的字典或分类内的术语、所述一个或多个选定的节点元素内的术语、预定域内的术语或预先建立的术语列表内的术语中的至少一个。

10.根据权利要求1所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

从所述CES接收对所述注释输入框中输入的一个或多个注释消除歧义的请求；以及

为与所述请求中的每一个注释相关联的每一个注释控件元素生成第三部分，其中每一个第三部分包括消除歧义控件元素，所述消除歧义控件元素被配置为在选定之后生成消除歧义界面来呈现来自所述CES的一个或多个提议术语，从而消除其对用户预期术语的相关联注释的歧义。

11.根据权利要求1所述的系统，其中所述UI标记窗格进一步包括：

可发现性得分图形描绘，所述可发现性得分图形描绘用以说明与所述内容创建UI中的包含所述一个或多个选定的节点元素的内容相关联的可发现性得分，其中所述可发现性得分图形描绘定义：

一个或多个注释类型部分，所述注释类型部分包含第一注释类型部分、第二注释类型部分或第三注释类型部分中的至少一个，其中每一个注释类型部分在视觉上进行区分来评估所述一个或多个注释类型的注释条目。

12.根据权利要求11所述的系统，其中所述可发现性得分图形描绘被配置为在选定或交互之后，生成可发现性得分界面来单独地说明与第一注释类型阈值得分相关联的所述第一注释类型部分、与第二注释类型阈值得分相关联的所述第二注释类型部分，或与第三注释类型阈值得分相关联的所述第三注释类型部分中的至少一个，从而基于每一个相应的阈值得分来提示所述一个或多个注释类型的注释条目。

13.一种为多个用户创建交互式创作环境的系统，所述系统包括：

内容扩充服务器；

数据库服务器；和

创作辅助服务器，其中所述内容扩充服务器、所述数据库服务器和所述创作辅助服务器通过网络以通信方式耦合，且其中所述创作辅助服务器包括处理器和存储器装置，所述存储器装置存储指令，所述指令在由所述处理器执行时致使所述处理器：

接收在内容创建用户界面(UI)内选定的一个或多个节点元素，所述内容创建用户界面与以通信方式耦合到所述系统的用户存取装置相关联；

从所述内容扩充服务器接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素；

在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中所述UI标记窗格包括：

一个或多个注释控件元素，所述注释控件元素以文本方式描绘所述一个或多个建议注释中的每一个，其中每一个注释控件元素定义：

第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中；和

第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释；和

添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释；以及

将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到所述数据库服务器。

14.根据权利要求13所述的系统，其中每一个注释控件元素进一步定义：

第三部分，其中所述第三部分包括重新评分控件元素，所述重新评分控件元素包含界面，所述界面描绘与所述注释控件元素相关联的所述注释的由内容扩充服务器确定的相关性得分，且其中所述重新评分控件元素被配置为在选定之后生成相关性界面来将所述由内容扩充服务器确定的相关性得分修改为由用户定义的相关性得分。

15.根据权利要求13所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

在将文本键入到所述注释输入框中时向所述内容扩充服务器传输所述文本；以及

生成自动完成界面来呈现从所述内容扩充服务器接收到的一个或多个建议术语，其中在键入所述文本时，每一个建议术语动态地自动完成所述文本，并且其中每一个建议术语是基于所述内容扩充服务器的字典或分类内的术语、所述一个或多个选定的节点元素内的术语、预定域内的术语或预先建立的术语列表内的术语中的至少一个。

16.根据权利要求13所述的系统，其中所述存储器装置进一步存储指令，所述指令在由所述处理器执行时进一步致使所述处理器：

从所述内容扩充服务器接收对所述注释输入框中输入的一个或多个注释消除歧义的请求；以及

为与所述请求中的每一个注释相关联的每一个注释控件元素生成第三部分，其中每一个第三部分包括消除歧义控件元素，所述消除歧义控件元素被配置为在选定之后生成消除歧义界面来呈现从所述内容扩充服务器接收到的一个或多个提议术语，从而消除其对用户预期术语的相关联注释的歧义。

17.根据权利要求13所述的系统，其中所述UI标记窗格进一步包括：

可发现性得分图形描绘，所述可发现性得分图形描绘用以说明与所述内容创建UI中的包含所述一个或多个选定的节点元素的内容相关联的可发现性得分，其中所述可发现性得分图形描绘定义：

一个或多个注释类型部分，所述注释类型部分包含第一注释类型部分、第二注释类型部分或第三注释类型部分中的至少一个，其中每一个注释类型部分在视觉上进行区分来评估所述一个或多个注释类型的注释条目。

18.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时致使所述处理器：

接收在与用户存取装置相关联的内容创建用户界面(UI)内选定的一个或多个节点元素；

从内容扩充系统(CES)接收一个或多个建议注释，其中所述一个或多个建议注释是基于所述一个或多个选定的节点元素；

在所述用户存取装置的所述内容创建用户界面(UI)内集成UI标记窗格，其中所述UI标记窗格包括：

一个或多个注释控件元素，所述注释控件元素以文本方式描绘所述一个或多个建议注释中的每一个，其中每一个注释控件元素定义：

第一部分，所述第一部分被配置为在选定之后将与所述注释控件元素相关联的注释输入到注释输入框中；和

第二部分，所述第二部分被配置为在选定之后拒绝与所述注释控件元素相关联的所述建议注释；和

添加控件元素，所述添加控件元素被配置为在选定之后接受在所述注释输入框中输入的所有注释；以及

将通过所述UI标记窗格接受的每一个注释或通过所述UI标记窗格拒绝的每一个注释中的至少一个传输到数据存储系统。

19.根据权利要求18所述的非暂时性计算机可读介质，其中所述指令在由所述处理器执行时进一步致使所述处理器：

在将文本键入到所述注释输入框中时向所述CES传输所述文本；以及

生成自动完成界面来呈现来自所述CES的一个或多个建议术语，其中在键入所述文本时，每一个建议术语动态地自动完成所述文本，并且其中每一个建议术语是基于所述CES的字典或分类内的术语、所述一个或多个选定的节点元素内的术语、预定域内的术语或预先建立的术语列表内的术语中的至少一个。

20.根据权利要求18所述的非暂时性计算机可读介质，其中所述指令在由所述处理器执行时进一步致使所述处理器：

从所述CES接收对所述注释输入框中输入的一个或多个注释消除歧义的请求；以及

为与所述请求中的每一个注释相关联的每一个注释控件元素生成第三部分，其中每一个第三部分包括消除歧义控件元素，所述消除歧义控件元素被配置为在选定之后生成消除歧义界面来呈现来自所述CES的一个或多个提议术语，从而消除其对用户预期术语的相关联注释的歧义。

Images