CN108153729B - 一种面向金融领域的知识抽取方法 - Google Patents

Abstract

本发明涉及了一种面向金融领域的知识提取方法。首先将需要提取的金融领域文本内容进行预处理，采用统一的标签式语言描述待提取文本内容，并对文本中的金融实体内容进行识别；然后采用可定制的知识提取模块从语义层面对文本内容进行快速实时的提取，并对提取结果进行可信度评分，同时，引入专家知识模块对识别结果进行修正。最后按照特定存储格式将提取的知识进行存储。本发明面向金融领域，给出了一种高效准确的金融知识提取方法，为金融领域的自动化和智能化提供基础数据支撑。

Description

一种面向金融领域的知识抽取方法

技术领域

本发明涉及金融知识抽取技术领域，主要涉及金融领域指标、关系和事件等知识的自动提取。

背景技术

随着计算能力的增强和互联网的普及，计算机与金融领域的结合也越来越密切，现阶段在自动化交易系统、智能投顾、欺诈识别等场景下已经取得的一定的成果。在金融领域，迅速、全面、准确地获取有价值的行业信息是决定一个企业成败的关键。近些年，随着互联网和金融行业的快速发展，每天都有大量的金融文本产生,面对着海量的公司年报、公告、新闻，其内容分散，数据稀疏，无结构化信息等特点逐渐凸显。如何在数据爆炸的信息中高效找到有价值的知识，将有价值的无结构化信息进行半结构化或结构化是首先需要解决的问题，而信息抽取则是知识发现的核心之一。信息抽取作为文本处理的一项主要技术，目的是将特定的事实信息(Factual Information)从文本数据中抽取出来。将非结构化的信息结构化是信息抽取要解决的主要问题，结构化信息可以使人们能更好地从无限多的文本中排除无用信息从而获得真正所需的信息。为了达到信息抽取的目的，单是对实体进行识别还不足以满足实际应用的需求。从相关文本中获取重要指标，同时判断出存在于这些实体之间的关系和实体相关的事件获取更为关键，这就是信息抽取的重要子任务之一——知识抽取。知识抽取是指从数字资源中识别、发现和提取出概念、类型、事实及其相关关系、约束规则，以及进行问题求解的步骤、规则的过程。金融领域知识抽取较为复杂，行业术语较多，但是相关抽取结果对决策者或投资者的商业计划和决定产生一定影响，因而高效准确的知识抽取将为金融活动中的个人或企业提供极大价值的商业信息，在许多金融场景下都有广阔的应用前景。如：在自动化交易系统中，可以将抽取的知识进行量化，达到收益最大化。在机构信用评级中，可以收集评级影响因素进行自动收集，快速对机构信用进行评级。

目前在金融领域中，文本内容的知识抽取主要依靠人工判断，分析人员一般需要阅读大量的相关文档(如：年报、公告、行业分析报告、新闻等)，然后从中获取关键信息，为决策提供依据。这种手工作业的方式效率较低，且依赖于从业人员的经验，学习门槛较高，不利于企业业务进一步拓展。

通过观察可以发现计算机具有自动处理相关金融文本的潜能，使用计算机实现文本中的知识抽取，第一步就是要理解文本中表达出的信息对应的含义。计算机领域中的自然语言处理技术(NLP)是作为一门融合语言学、计算机科学、数学等学科特点于一体的技术，自然语言处理(NLP)技术的研究任务主要是使计算机可以使用正常生活中人类的语言和人类进行互动，让人机之间的交互像人与人之间交流的那样方便。通过自然语言处理的相关技术可以从文本中取得半结构化的知识描述，然后由半结构化知识而构造的金融领域知识图谱，领域知识图谱在解决金融领域相关问题时具有重要意义。

针对这一问题，本专利主要目标是：面向金融领域，根据特定需求快速对文档进行知识抽取。

发明内容

本发明主要面向金融领域，针对特定文本自动提取文本中相关实体间关系、事件以及指标，为金融领域的相关机构和企业提供决策依据。

步骤如下：

一种面向金融领域的知识抽取方法，其特征在于，包括：

步骤1.根据需求确定数据来源，获得相关的源文件，产生待处理数据集合D＝{d₁，d₂，...，d_n}，其中d_i表示第i个文件；

步骤2.根据统一的标签式语言对不同的源文件内容进行描述，具体是提取文件中的文字、图片和表格数据，然后将其转换为针对金融领域的SMDL语言进行描述，产生格式统一的源文档T＝{t₁，t₂，...，t_n}，其中t_i表示第i个文件；

步骤3.使用金融实体识别模块对待处理数据集T中的金融实体进行识别，并使用特定字符集合对文本中的机构实体进行替换，产生待处理数据集合T′＝{t₁′，t₂′，...，t_n′}，其中t_i′表示第i个文件；

步骤4.根据需求对数据集合T′中的文档进行自动分析，获取文档中包含的金融知识内容集合K＝{k₁，k₂，...，k_m}，其中k_i表示第i条知识；

步骤5.根据知识类型对数据集合K进行划分，并将最后结果存入数据库中。

在上述的一种面向金融领域的知识抽取方法，步骤1中数据来源为：数据仓库获取；或互联网实时获取；或需求方实时提供。

在上述的一种面向金融领域的知识抽取方法，步骤2中SMDL语言是一种描述文件结构的标签式语言，该语言可以对文件结构和文件中的图片表格等多种元素进行半结构化的描述，为后续数据处理提供统一的输入。

在上述的一种面向金融领域的知识抽取方法，所述步骤3包括以下子步骤：

步骤3.1.本说明将金融实体分为定义实体和机构实体，其中定义实体是指金融领域特定词汇；机构实体是指金融领域的机构的全称或简称。通过自有开发的金融实体识别接口对文档内的金融实体进行识别并使用特定字符集R＝{r₁，r₂，...，r_n}替换，其中r_i表示第i个特定字符，金融实体和特定字符集的映射关系表示为f：E→R，其中E表示金融实体集合；

步骤3.2.然后生成待处理数据集T′＝{t₁′，t₂′，...，t_n′}；

在上述的一种面向金融领域的知识抽取方法，所述步骤4包括以下子步骤：

步骤4.1.将待提取的知识分为三大类：金融指标、金融关系、金融事件，其中金融指标指文本内容中的数据，如：营业额，增长率等；金融关系指文本内容中所蕴含的实体关系，如：收购关系、投资关系等；金融事件是指文本内容中所包含的对机构实体产生一定影响的事情。

步骤4.2.针对金融指标，本发明提供了可扩充的指标模式匹配库，可以对大部分金融指标进行自动提取，并给出相应的置信值。

步骤4.3.针对金融关系和金融事件，本发明构建了可扩充的关系事件模式匹配库，当关系事件模式匹配库与相应文本内容匹配时，提取相应的关系或事件并给出置信值；

步骤4.4.对金融文本进行句法分析，利用依存关系在文本中抽取候选知识集；然后利用候选事件集来生成事件模板，这样做一方面通过相关文本来生成标准的知识模板，另一方面通过标准知识模板信息传回知识抽取模块，用于修正候选事件中不正确的和缺失的知识。事件抽取模块指导模板生成，而生成的模板可以修改已经抽取的事件；最后，重复上述过程，直到候选事件数目小于某特定阈值为止。

本发明面向金融领域，给出了一种高效准确的金融知识提取方法，可以快速高效的从金融信息内容中快速获取关注内容，为金融领域的自动化提供基础数据支撑，为金融相关领域提供辅助决策，是金融智能化的基础组成部分。

附图说明

图1是本发明的数据获取流程图。

图2是本发明金融实体识别模块的结构图。

图3是本发明金融知识内容集合获取的流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案进行进一步具体的说明。

面向金融领域的知识抽取方法，包括以下步骤：

步骤1.根据需求确定数据来源，获得相关的源文件(主要格式为：PDF，WORD和HTML等)，产生待处理数据集合D＝{d₁，d₂，...，d_n}，其中d_i表示第i个文件；

实施例根据需求确定的数据来源主要有一下三个渠道：(1)数据仓库获取；(2)互联网实时获取；(3)需求方实时提供。实施例提供的数据仓库是一个海量的文档存储库，需求方可以通过实时文档上传接口上传相关文档，如果相关文档在数据仓库中存在，则会自动提取数据仓库中的文档，否则数据仓库将接收相关文档。实施例同时还提供了互联网实时获取接口，特定条件下当需求方无法提供源文档且数据仓库中不存在源文档时，可以通过数据爬虫从互联网中获取相关文档并将其存到数据仓库中。数据获取流程如图1所示。

步骤2.根据统一的标签式语言对不同的源文件内容进行描述，产生格式统一的源文档T＝{t₁，t₂，...，t_n}，其中t_i表示第i个文件。

实施例方法为：对源文件进行处理，提取文件中的文字、图片和表格等数据，然后将其转换为本发明专门针对金融领域设计的SMDL语言进行描述；

步骤3.使用金融实体识别模块对待处理数据集T中的金融实体进行识别，并使用特定字符集合对文本中的机构实体进行替换，产生待处理数据集合T′＝{t₁′，t₂′，...，t_n′}，其中t_i′表示第i个文件。

实施例的具体方法如下：

步骤3.1.本说明将金融实体分为定义实体和机构实体，其中定义实体是指金融领域特定词汇；机构实体是指金融领域的机构的全称或简称。通过自有开发的金融实体识别接口对文档内的金融实体进行识别并使用特定字符集R＝{r₁，r₂，...，r_n}替换，其中r_i表示第i个特定字符，金融实体和特定字符集的映射关系表示为f：E→R，其中E表示金融实体集合。

步骤3.2.然后生成待处理数据集T′＝{t₁′，t₂′，...，t_n′}。金融实体分析模块结构如图2所示。

步骤4.根据需求对数据集合T‘中的文档进行自动分析，获取文档中包含的金融知识内容集合K＝{k₁，k₂，...，k_m}，其中k_i表示第i条知识。

实施例的具体方法如下：

步骤4.1.本说明将待提取的知识分为三大类：金融指标、金融关系、金融事件，其中金融指标指文本内容中的数据，如：营业额，增长率等；金融关系指文本内容中所蕴含的实体关系，如：收购关系、投资关系等；金融事件是指文本内容中所包含的对机构实体产生一定影响的事情。

步骤4.2.针对金融指标，本发明提供了可扩充的指标模式匹配库，可以对大部分金融指标进行自动提取，并给出相应的置信值。

步骤4.3.针对金融关系和金融事件，本发明构建了可扩充的关系事件模式匹配库，当关系事件模式匹配库与相应文本内容匹配时，提取相应的关系或事件并给出置信值；

步骤4.4.对金融文本进行句法分析，利用依存关系在文本中抽取候选知识集；然后利用候选知识集来生成知识模板，这样做一方面通过相关文本来生成标准的知识模板，另一方面通过标准知识模板信息传回知识抽取模块，用于修正候选知识中不正确的和缺失的知识。知识抽取模块指导模板生成，而生成的模板可以修改已经抽取的知识；最后，重复上述过程，直到候选知识数目小于某特定阈值为止。知识抽取流程如图所示。

步骤5.根据知识类型对数据集合K进行划分，并将最后结果存入数据库中。

实施例的具体方法如下：

关系或者事件的实体可能都不是单一的，结构化的库表结构很难存储提取的关系和事件，因此按照知识类型组织JSON数据格式，以此来存储知识数据，使用时可以依照类型对知识进行解析。

Claims (3)

1.一种面向金融领域的知识抽取方法，其特征在于，包括：

步骤1.根据需求确定数据来源，获得相关的源文档，产生待处理数据集合D＝{d₁,d₂,…,d_n}，其中d_i表示第i个源文档；

步骤2.根据统一的标签式语言对不同的源文档内容进行描述，具体是提取源文档中的文字、图片和表格数据，然后将其转换为针对金融领域的SMDL进行描述，产生格式统一的源文档集T＝{t₁,t₂,…,t_n}，其中t_i表示第i个源文档，SMDL指标准金融描述语言；

步骤3.使用金融实体识别模块对待处理数据集T中的金融实体进行识别，并使用特定字符集合对源文档集中的机构实体进行替换，产生待处理数据集合T‘＝{t₁’,t₂’,…,t_n’}，其中t_i′表示第i个源文档,机构实体是指金融领域的机构的全称或简称；包括以下子步骤：

步骤3.1.将金融实体分为定义实体和机构实体，其中定义实体是指金融领域特定词汇；通过自有开发的金融实体识别接口对源文档内的金融实体进行识别并使用特定字符集R＝{r₁,r₂,…,r_n}替换，其中r_i表示第i个特定字符，金融实体和特定字符集的映射关系表示为f:E→R，其中E表示金融实体集合；

步骤3.2.然后生成待处理数据集T‘＝{t₁’,t₂’,…,t_n’}；

步骤4.根据需求对数据集合T‘中的源文档进行自动分析，获取源文档中包含的金融知识内容集合K＝{k₁,k₂,…,k_m}，其中k_i表示第i条知识；包括以下子步骤：

步骤4.1.将待提取的知识分为三大类：金融指标、金融关系、金融事件，其中金融指标指文本内容中的数据；金融关系指文本内容中所蕴含的实体关系；金融事件是指文本内容中所包含的对机构实体产生影响的事情；

步骤4.2.针对金融指标，基于可扩充的指标模式匹配库，对大部分金融指标进行自动提取，并给出相应的置信值；

步骤4.3.针对金融关系和金融事件，构建可扩充的关系事件模式匹配库，当关系事件模式匹配库与相应文本内容匹配时，提取相应的关系或事件并给出置信值；

步骤4.4.对金融知识内容集合进行句法分析，利用依存关系在文本中抽取候选知识集；然后利用候选事件集来生成事件模板；事件抽取模块指导模板生成，而生成的模板可以修改已经抽取的事件；最后，重复步骤4.1指步骤4.3，直到候选事件数目小于某特定阈值为止；

步骤5.根据知识类型对数据集合K进行划分，并将最后结果存入数据库中。

2.根据权利要求1所述的一种面向金融领域的知识抽取方法，其特征在于，步骤1中数据来源为：数据仓库获取；或互联网实时获取；或需求方实时提供。

3.根据权利要求1所述的一种面向金融领域的知识抽取方法，其特征在于，所述步骤2中SMDL语言能够对源文档结构和源文档中的图片表格多种元素进行半结构化的描述，为后续数据处理提供统一的输入。

Images