CN109165297B - 一种通用实体链接装置及方法 - Google Patents

Abstract

本发明公开了一种通用实体链接装置以及方法，装置包括信息封装模块，用于接收待识别实体，并将待识别实体的上下文信息进行封装形成带有业务场景字段的实体封装，实体链接模组，连接信息封装模块，实体链接模组内设有多个用于链接实体的链接流水线，不同的链接流水线适用于不同的业务场景；流程选择模块，根据实体封装中的业务场景字段选择不同的链接流水线；结果输出模块，连接实体链接模组，用于输出完成实体链接的链接结果。本发明能够同时应用于多种实体链接场景,能够实现实体链接整体流程的抽象化、模块化和流水线式设计，提出的通用结构保证实体链接中模块一次设计多场景使用，提升了实体链接装置的灵活性、可扩展性和可维护性。

Description

一种通用实体链接装置及方法

技术领域

本发明涉及数据库领域，具体为一种通用实体链接装置及方法。

背景技术

随着互联网的迅猛发展，数字资源到处可见，人们在日常生活中接触最多的信息载体就是文字信息，如新闻、博客或者评论等。同时随着生活节奏的加快，用于对高效阅读的需求更加强烈，数字资源内包含有大量具有明确语义信息的文本实体，如何在文本中高效地获取处实体并加以利用是具有现实意义的事情。

其中，实体链接是利用实体流程中最为关键的步骤之一。但是目前采用的实体链接方法都其本身都具有局限性。目前所使用的实体链接方法一般会存在以下几点不足：

一、部分实体链接方法仅仅只能解决短文本中的实体链接，整体流程相对简单，无法应用在相对复杂的场景下。

二、部分实体链接方法用于解决非结构化的文本中的实体链接，但对于检索或者带有用户信息的实体检索场景由于上下文信息缺乏无法处理。

发明内容

本发明的目的是为了提供一种通用实体链接装置及方法，同时应用于多种实体链接场景,能够实现实体链接整体流程的抽象化、模块化和流水线式设计，提出的通用结构保证实体链接中模块一次设计多场景使用，提升了实体链接装置的灵活性、可扩展性和可维护性。

为了实现上述发明目的，本发明采用了以下技术方案：一种通用实体链接装置，包括

-信息封装模块，用于接收待识别实体，并将待识别实体的上下文信息进行封装形成带有业务场景字段的实体封装，

-实体链接模组，连接信息封装模块，实体链接模组内设有多个用于链接实体的链接流水线，不同的链接流水线适用于不同的业务场景；

-流程选择模块，根据实体封装中的业务场景字段选择不同的链接流水线；

-结果输出模块，连接实体链接模组，用于输出完成实体链接的链接结果。

与现有技术相比，采用了上述技术方案的通用实体链接装置，具有如下有益效果：采用本发明的通用实体链接装置，实现实体链接整体流程的抽象化、模块化和流水线设计，使实体链接业务场景与整体链接流程解耦、整体链接流程与具体模块解耦、各模块具体过程与数据解耦、具体模块之间互相解耦；实体链接模组中包含有适用不同业务场景的链接流水线，能够同时应用于多种实体连接场景，保证实体链接中的模块一次设计多场景使用，提升了实体链接装置的灵活性、可扩展性和可维护性。

优选的，所述实体链接模组中包括每条链接流水线中通用的处理模块，其中包括

-文本预处理模块，用于对待识别实体文本进行NLP过程统一化处理；

-共指消解模块，当实体指称列表中存在同一实体对应多个指称时，用于确定实体指称的唯一指称；

-实体排序模块，用于将待识别实体中同一实体指称对应的候选实体按照业务场景进行打分排序；

-连接判断模块，用于判断实体指称是否和排序打分后打分最高的候选实体进行链接；

-实体输出模块，按所在的业务场景输出不同格式的链接结果。

优选的，所述实体链接模组还包括多个用于不同场景的场景链接单元，所述场景链接单元包括多个应用于不同场景的功能模块，所述文本预处理模块、共指消解模块、实体排序模块、场景链接单元、链接判断模块以及实体输出模块依次连接组成一个应用于特定场景的链接流水线。

优选的，所述场景链接单元包括新闻链接单元，用于链接新闻场景中的待识别实体中的实体指称；检索链接单元，用于链接检索场景中的待识别实体中的实体指称；聊天链接单元，用于链接机器人聊天场景中的待识别实体中的实体指称。

优选的，所述功能模块包括白名单模块、黑名单模块、新闻过滤模块、用户交互重排序模块、垂直领域重排序模块、实体检索模块以及实体特征获取模块中的一种或几种的组合；其中，

白名单模块，用于储存进入白名单的实体；

黑名单模块，用于储存进入黑名单的实体；

新闻过滤模块，用于过滤待识别实体中的干扰信息；

用户交互重排序模块，用于根据用户交互上下文和实体近期热度对实体指称相应的候选实体进行重新排序；

垂直领域重排序模块，用于根据垂直领域对实体指称相应的候选实体进行重新排序。

优选的，还包括实体特征获取模块，用于批量读取待识别实体中的特征，所述特征包括实体的infobox信息、摘要或正文的标签词以及实体页面的统计信息。

优选的，实体链接装置中的各个模块的接口为统一设置。

优选的，还包括流水线组装模块，用于根据业务场景将各个模块组装成适用不同业务场景的链接流水线。将实体链接所有处理模块统一接口化设计，流水线组装模块根据不同业务场景需求组装不同的链接流水线，实现实体链接处理各过程与整体流程进行解耦。

为了实现上述发明目的，本发明还采用了以下技术方案：一种通用实体链接方法，包括

S1：将待识别实体的上下文信息进行封装成实体封装；

S2：根据实体封装中的业务场景字段选择不同业务场景对应的链接流水线；

S3：依照选择出的链接流水线对待识别实体进行实体链接处理；

S4：输出实体链接结果。

优选的，步骤S3中所述的依照选择出的链接流水线对待识别实体进行实体链接处理包括：

对待识别实体文本进行NLP过程统一化处理；

当实体指称列表中存在同一实体对应多个指称时，进行共指消解确定实体指称的唯一指称；

根据该链接流水线的业务场景对待识别实体进行处理；

将待识别实体中同一实体指称对应的候选实体按照业务场景进行打分排序；

判断实体指称是否和排序打分后打分最高的候选实体进行链接，如能链接则将该实体指称与候选实体进行连接；

按照该连接流水线的业务场景输出不同格式的链接结果。

附图说明

图1为本发明通用实体链接装置实施例的结构示意图；

图2为本实施例中通用链接流水线的具体结构示意图；

图3为本实施例中场景链接单元的具体结构示意图；

图4为本实施例中通用实体链接装置的整体架构示意图；

图5为本发明通用实体链接方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

对待识别实体进行实体链接的过程大致如下：待识别实体在进行实体链接的过程中，一个待识别实体中往往存在多个实体指称，每个实体指称在进行链接的过程中往往又会对应有多个候选实体，需要对在同一实体指称的多个不同的候选实体进行筛选出最合适的候选实体，通过判断该候选实体能够与相应的实体指称进行链接后，对实体指称进行链接，并进行下一实体指称的链接，直至完成整个待识别实体链接完毕。

如图1至3所示的通用实体链接装置，信息封装模块将待识别实体的上下文信息进行封装形成带有业务场景字段的实体封装。对不同实体链接进行封装的过程能够保证每次执行请求的数据和逻辑与其他请求分离，使系统可以并行化执行。信息封装模块封装完成后，实体封装中含有待识别文章、具体业务场景字段、业务上下文交互信息、业务场景下的实体排序字段、实体链接模型选择、输出方式等实体链接过程中所需上下文信息，其他相应字段仅需按业务场景做不同的数据填充即可。除可包含上述各类与实体链接流程相关数据，信息封装模块在运行中也可包括日志数据、debug数据、监控和异常数据等方便系统整体调试和线上监控。

带有业务场景字段的实体封装通过流程选择模块，流程选择模块通过业务场景字段对待识别实体的业务场景进行识别，并在实体链接模组中根据业务场景选择不同的链接流水线对待识别实体进行实体链接处理，实现实体链接业务场景与实体链接整体流程的解耦。待识别实体经过相应的流水线处理后，得到待识别实体中的每个实体指称的链接结果，并将每个实体指称的链接结果根据业务场景的具体格式输出结果。

如图2为通用链接流水线的模块连接示意图，链接流水线内设有通用模块和根据不同业务场景具有不同功能的功能模块，通用模块和不同的功能模块相互结合配合能够处理不同业务场景的待识别实体。通用模块为文本预处理模块、共指消解模块、实体排序模块、链接判断模块和实体输出模块，且不同的功能模块相互组合形成使用于不同业务场景的场景链接单元。文本预处理模块、共指消解模块、实体排序模块、场景链接单元、链接判断模块以及实体输出模块依次连接组成一个应用于特定场景的链接流水线，此链接流水线的业务场景与内部相应的场景链接单元内的功能模块具体功能有关。

其中，文本预处理模块用于主要对待识别文本进行NLP过程统一化处理，可选的如大小写转换、繁简转换、去除广告及垃圾词、分词等。共指消解模块为当实体指称列表中存在同一实体多个指称时需要确定唯一指称，如待识别文本中同时存在“阿里”,“阿里巴巴”,“阿里巴巴集团”三个实体指称时，可通过规则直接使用“阿里巴巴集团”作为唯一实体指称。实体排序模块为对每个实体指称所检出的候选实体按照模型或规则或业务排序字段进行打分排序，常用的排序打分方法为：根据实体指称上下文信息与实体特征的相似度进行打分或结合实体间相似度进行PageRank计算打分。链接判断模块为对实体排序后每个实体指称所检出的候选实体中打分最高者是否进行链接的判断模块，通常实体库不可能包含所有实体，当待识别文本中的实体指称所指实体不存在于实体库中但实体库存在同名的其他实体时，若不进行实体链接判断则会产生错误链接，通常的处理方法为根据实体特征、实体指称上下文信息建立二分类模型用于是否链接预测。

本实施例在进行实体链接前，需要事先建立实体库。实体库通常从百度百科、维基百科、互动百科、搜狗百科等网站下载或抓取获得，并对实体库中的实体抽取简称、别称、英文名等用于扩展实体名称的词。在建立实体库的过程中，对实体库中的所有实体设计唯一id。本通用实体链接装置还包括实体检索模块，实体库中实体的词条名、简称、别称、英文名称建立统一索引作为实体检索模块运行中的索引，用于后续操作中为实体指称检出候选实体。实体检索模块可采用多种文本检索工具，如开源的全文检索引擎apache lucence、solr等，也可以采用字符串多式模匹配算法进行匹配检索，如Aho-Corasick、Tire算法等，本发明是采用的是Aho-Corasick结合DoubleArrayTire的极速多模式匹配算法。

对实体库中的所有实体，根据infobox信息或摘要正文等信息抽取该实体的特征，该特征包括实体infobox所涉及键值对形式的数据，摘要或正文中抽取的词条标签、锚文本、关键词、实体词等标签词，实体页面的统计信息如页面浏览次数、页面编辑次数、收藏量、分享次数、正文字数、参考资料数、链接到其他实体的个数等，将所有实体特征以实体唯一ID作为主键存储在mysql、mogodb或redis等数据库中。其中，本通用实体链接装置中设有实体特征获取模块，在对待识别实体进行实体链接的过程中实体特征获取模块能够通过上述实体ID进行批量读取实体特征。

场景链接单元中的功能模块能够适用于多种业务场景，如在新闻场景下，场景链接单元为新闻链接单元，新闻场景下需要采用多种规则将待识别实体中的通信机构、报社、编辑或记者等进行过滤。此时，功能模块为新闻过滤模块，用于过滤待识别实体中的干扰信息，即上述通信机构、报社、编辑或记者等。

如在检索场景（如搜索场景或者聊天机器人场景）下，场景链接单元为检索链接单元或聊天链接单元，检索场景下的实体链接需要考虑用户交互上下文和实体进气热度来对候选实体进行重新排序。此时，功能模块为用户交互重排序模块，用于根据用户交互上下文和实体近期热度对实体指称相应的候选实体进行重新排序。

除了上述具体领域内的具体功能模块外，本实施例还包括其他考虑了其他场景的功能模块，如白名单模块和黑名单模块，用于存储进入白名单或黑名单的实体；垂直领域重排序模块，在垂直领域的实体链接时需要考虑对实体打分进行重排序，如财经领域的文本需要对上市公司及其高管等实体提升排序权重，体育领域对体育明星、体育俱乐部提升排序权重。

本实施例通用实体链接装置中的通用模块、功能模块以及其他模块的接口统一设置。接口和数据均统一封装后，当需要对系统增加新的处理模块时，只需要按照接口规范增加新模块并完成逻辑实现，而不需要修改其他模块，使得系统符合开闭原则。同时，各个模块可直接通过接口按列表方式封装成链接流水线，而不需要考虑模块不同实现方法在数据类型或函数定义上的差异，使系统符合依赖倒转和合成复用原则。如图3所示为本实施例中流水线组装模块与链接流水线之间的模块连接示意图，流水线组装模块按照业务场景的顺序对不同模块进行拼接封装，组成不同业务场景的链接流水线，并将所有的链接流水线注册到流水线工厂，即实体链接模组中。实体链接模组能够实现实体链接过程中业务场景与实体链接整体流程的解耦。

通用实体链接装置的整体架构及流程如图4所示，底层实体链接处理的多个模块仅需按接口进行一次设计，然后按照不同业务需求组装在不同的连接流水线内，实现一次设计多场景反复使用，并且将实体链接的具体处理模块与具体实体链接流程相分离，完成业务场景与实体链接流程的解耦，最后信息封装模块中的实体封装进入某个链接流水线内部的每个模块按顺序处理返回结果。

如图5为通用实体链接方法的流程示意图，其中具体方法步骤包括：

S1：将待识别实体的上下文信息进行封装成实体封装；

S2：根据实体封装中的业务场景字段选择不同业务场景对应的链接流水线；

S3：依照选择出的链接流水线对待识别实体进行实体链接处理；

S4：输出实体链接结果。

其中，步骤S3中所述的依照选择出的链接流水线对待识别实体进行实体链接处理包括：对待识别实体文本进行NLP过程统一化处理；当实体指称列表中存在同一实体对应多个指称时，进行共指消解确定实体指称的唯一指称；根据该链接流水线的业务场景对待识别实体进行处理；将待识别实体中同一实体指称对应的候选实体按照业务场景进行打分排序；判断实体指称是否和排序打分后打分最高的候选实体进行链接，如能链接则将该实体指称与候选实体进行连接；按照该连接流水线的业务场景输出不同格式的链接结果。

以上所述是本发明的优选实施方式，对于本领域的普通技术人员来说不脱离本发明原理的前提下，还可以做出若干变型和改进，这些也应视为本发明的保护范围。

Claims (8)

1.一种通用实体链接装置，其特征在于：包括

-信息封装模块，用于接收待识别实体，并将待识别实体的上下文信息进行封装形成带有业务场景字段的实体封装；

-实体链接模组，连接信息封装模块，实体链接模组内设有多个用于链接实体的链接流水线，不同的链接流水线适用于不同的业务场景；

-流程选择模块，连接信息封装模块和实体链接模组，用于根据实体封装中的业务场景字段选择适用不同业务场景的链接流水线；

-结果输出模块，连接实体链接模组，用于输出完成实体链接的链接结果；

所述实体链接模组包括

-文本预处理模块，用于对待识别实体文本进行NLP过程统一化处理；

-共指消解模块，当实体指称列表中存在同一实体对应多个指称时，用于确定实体指称的唯一指称；

-实体排序模块，用于将待识别实体中同一实体指称对应的候选实体按照业务场景进行打分排序；

-链接判断模块，用于判断实体指称是否和排序打分后打分最高的候选实体进行链接；

-实体输出模块，按所在的业务场景输出不同格式的链接结果。

2.根据权利要求1所述的通用实体链接装置，其特征在于：所述实体链接模组还包括多个用于不同场景的场景链接单元，所述场景链接单元包括多个应用于不同场景的功能模块，所述文本预处理模块、共指消解模块、实体排序模块、场景链接单元、链接判断模块以及实体输出模块依次连接组成一个应用于不同场景的链接流水线。

3.根据权利要求2所述的通用实体链接装置，其特征在于：所述场景链接单元包括

新闻链接单元，用于链接新闻场景中的待识别实体中的实体指称；

检索链接单元，用于链接检索场景中的待识别实体中的实体指称；

聊天链接单元，用于链接机器人聊天场景中的待识别实体中的实体指称。

4.根据权利要求3所述的通用实体链接装置，其特征在于：所述功能模块为白名单模块、黑名单模块、新闻过滤模块、用户交互重排序模块、垂直领域重排序模块、实体检索模块以及实体特征获取模块，所述场景链接单元为多个功能模块中的一种或几种的组合；其中，

白名单模块，用于储存进入白名单的实体；

黑名单模块，用于储存进入黑名单的实体；

新闻过滤模块，用于过滤待识别实体中的干扰信息；

用户交互重排序模块，用于根据用户交互上下文和实体近期热度对实体指称相应的候选实体进行重新排序；

垂直领域重排序模块，用于根据垂直领域对实体指称相应的候选实体进行重新排序。

5.根据权利要求1所述的通用实体链接装置，其特征在于：还包括实体特征获取模块，用于批量读取待识别实体中的特征，所述特征包括实体的infobox信息、摘要或正文的标签词以及实体页面的统计信息。

6.根据权利要求1-5中任意一项所述的通用实体链接装置，其特征在于：实体链接装置中的各个模块的接口为统一设置。

7.根据权利要求1所述的通用实体链接装置，其特征在于：还包括流水线组装模块，用于根据业务场景将各个模块组装成适用不同业务场景的链接流水线。

8.一种通用实体链接方法，其特征在于：包括

S1：将待识别实体的上下文信息进行封装成实体封装；

S2：根据实体封装中的业务场景字段选择不同业务场景对应的链接流水线；

S3：依照选择出的链接流水线对待识别实体进行实体链接处理；

S4：输出实体链接结果；

步骤S3中所述的依照选择出的链接流水线对待识别实体进行实体链接处理包括：

对待识别实体文本进行NLP过程统一化处理；

当实体指称列表中存在同一实体对应多个指称时，进行共指消解确定实体指称的唯一指称；

根据选择出的链接流水线的业务场景对待识别实体进行处理；

将待识别实体中同一实体指称对应的候选实体按照业务场景进行打分排序；

判断实体指称是否和排序打分后打分最高的候选实体进行链接，如能链接则将该实体指称与候选实体进行连接；

按照该链接流水线的业务场景输出不同格式的链接结果。

Images