CN110427615A - 一种基于注意力机制的金融事件修饰时态的分析方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的金融事件修饰时态的分析方法，属于数据处理技术领域；本分析方法的核心思想为：将输入文本向量化后，应用深度学习神经网络技术，结合注意力机制技术，对输入的文本向量做高维度的特征学习，目标是学习到时态最相关的高维度特征，最后依据学习到的特征做输出判断时态；本发明旨在解决现有技术中更多依赖人为编辑规则的缺陷，从而提高效率，增强可扩展性；应用注意力机制做时态分析可以获得更加丰富的文本特征，提高了输出结果的精度，大大减少了误差并提高了效率。

Description

一种基于注意力机制的金融事件修饰时态的分析方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于注意力机制的金融事件修饰时态的分析方法。

背景技术

最近几年，随着深度学习技术的不断发展，越来越多的研究应用到自然语言处理中。注意力机制是主要研究领域之一，深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。

金融事件修饰时态的分析方法在许多领域都有广泛的应用，尤其是在金融、财务以及法律等领域，其主要目的在于探讨当某一事件发生时(如公司股利宣告或盈余发布等事件)是否会引起股价的异常变动，因而导致异常报酬率，研究结果可以用来了解市场证券价格与特定事件是否具有关联性，主要实施方法是利用统计方法检定异常报酬率状况，即检定期望异常报酬率是否为零，由于经济金融类的特殊属性，文本中词汇的时效性对投资参考价值具有重要意义。

但是由于中文缺乏明显的时态标记，无论是古汉语还是现代汉语。不同于印欧语言，形态变化有那么明显，例如英语动词有现在时、过去时和过去分词等形态。尽管如此，中文还是具有自己的特点，例如时间词(昨天|明天)、动态助词(着|过)、上下文语境等。

但是这些特点很难完全形成规则来识别和判断文本的时态，现在有较多的中文文本处理场景，应用到注意力机制，然而中文时态分析更多是靠人为编辑的规则，无法实现自动化新特征发现，维护这些规则的效率也相对较低，可扩展性差。

发明内容

本发明目的在于提供一种金融事件修饰时态的分析方法，旨在解决现有技术中更多依赖人为编辑规则的缺陷，从而提高效率，增强可扩展性。

为了解决上述技术问题，本发明是通过以下技术方案实现的：一种基于注意力机制的金融事件修饰时态的分析方法，包括以下步骤：

步骤a：整理并输入原始文本，将所述原始文本作分词处理形成词汇；

步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input；

步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；

步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix；

步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；

步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值；

步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；

步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构，直至结果的精度收敛到相对高并且稳定的值时输出最终结果；

相关定义如下：1)分词，是用分词工具软件对一段文本做切分，分成合适的词汇；2)词向量，是一种将词汇输入深度神经网络后，生成的向量；3)词性向量，是在分词的同时，保存该词汇的词性标记，将词性标记输入深度神经网络后，生成的向量；4)位置序号，是分词后得到词汇，该词汇在整个序列的位置序号；5)线性空间映射函数，是一种广义性质上，用于线性矩阵相乘的函数；6)注意力机制模块，是一种广义性质上，向量或矩阵中数据之间信息集中度的计算模块；7)归一化模块，是一种将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量的模块；8)反馈训练模块，是对神经网络参数计算梯度下降的模块；9)文本矩阵，是将文本中词汇向量化后，组成的矩阵，来表示文本信息。

英文说明：Vec_Input，新向量；Text_Matrix，文本矩阵；New_Text_Matrix，新文本矩阵；Mat_Attention，注意力系数矩阵；Mat_Result，结果矩阵。

进一步的，步骤b中各个所述Vec_Input维度相同。

进一步的，在步骤c中Vec_Input向量组合前还需进行如下处理，

步骤c1：制作一批文本词汇作为预训练输入数据，其中词汇至少包括时间词、动态助词、上下文语境，同时包括多种大小的文字和字体；

步骤c2：对所述预训练输入数据进行数据增强处理：包括平移、旋转、扭曲等操作，使得神经网络获得对不同位置、不同角度的文本的特征提取；

步骤c3：使用步骤c2增强处理后的预训练输入数据对随机初始化的神经网络进行训练，使神经网络获得提取金融事件词汇的能力。

进一步的，步骤d中N个所述New_Text_Matrix维度相同。

进一步的，步骤e具体又包括如下子步骤：

步骤e1：在进入注意力机制模块进行训练和测试前，将N个新文本矩阵先存入神经网络嵌入层的嵌入矩阵中；

步骤e2：将所述神经网络嵌入层中存储的新文本矩阵进行预处理，而后输入到注意力机制模块；

步骤e3：由所述注意力机制模块对新文本矩阵进行强化处理后，输出注意力系数矩阵。

进一步的，所述强化处理采用相加融合方式。

与现有技术相比，本发明的有益之处是：

一、本发明应用目前先进的深度学习自然语言处理技术，来发现更高维深层次的特征，运用到金融资讯的事件时态分析中，提高分析的准确率，而且解决了现有技术中更多依赖人为编辑规则的缺陷，从而提高了效率，增强了可扩展性。

二、应用注意力机制做时态分析可以获得更加丰富的文本特征，提高了输出结果的精度，大大减少了误差并提高了效率。

三、由注意力机制模块对新文本矩阵进行强化处理，不断增强所提取词汇的丰富饱和度，使其包含的文本特征更加全面和细致，从而提高了模型对文本特征的识别能力。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明实施例的分析方法流程示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

从图1可以看出，本发明是一种基于注意力机制的金融事件修饰时态的分析方法，流程如下：

步骤a：整理并输入原始文本，将所述原始文本采用分词工具做切分处理，形成词汇；

步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input，其中词性向量是指在分词的同时，保存该词汇的词性标记，将词性标记输入深度神经网络后，生成的向量，位置序号是指分词后得到词汇序列，该词汇在整个序列的位置序号；

步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；

步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix，其中线性空间映射函数是一种广义性质上，用于线性矩阵相乘的函数；

步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；其中注意力机制模块是一种广义性质上，向量或矩阵中数据之间信息集中度的计算模块，应用注意力机制做时态分析可以获得更加丰富的文本特征，提高了输出结果的精度，大大减少了误差并提高了效率；

步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值，其中归一化模块是一种将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量的模块；

步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；

步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构，直至结果的精度收敛到相对高并且稳定的值时输出最终结果；其中，反馈训练模块是对神经网络参数计算梯度下降的模块。

相关定义如下：1)分词，是用分词工具软件对一段文本做切分，分成合适的词汇；2)词向量，是一种将词汇输入深度神经网络后，生成的向量；3)词性向量，是在分词的同时，保存该词汇的词性标记，将词性标记输入深度神经网络后，生成的向量；4)位置序号，是分词后得到词汇，该词汇在整个序列的位置序号；5)线性空间映射函数，是一种广义性质上，用于线性矩阵相乘的函数；6)注意力机制模块，是一种广义性质上，向量或矩阵中数据之间信息集中度的计算模块；7)归一化模块，是一种将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量的模块；8)反馈训练模块，是对神经网络参数计算梯度下降的模块；9)文本矩阵，是将文本中词汇向量化后，组成的矩阵，来表示文本信息。英文说明：Vec_Input，新向量；Text_Matrix，文本矩阵；New_Text_Matrix，新文本矩阵；Mat_Attention，注意力系数矩阵；Mat_Result，结果矩阵。

作为优选，步骤b中各个所述Vec_Input维度相同。

作为优选，在步骤c中Vec_Input向量组合前还需进行如下处理，

步骤c1：制作一批文本词汇作为预训练输入数据，其中词汇至少包括时间词、动态助词、上下文语境，同时包括多种大小的文字和字体；

步骤c2：对所述预训练输入数据进行数据增强处理：包括平移、旋转、扭曲等操作，使得神经网络获得对不同位置、不同角度的文本的特征提取；

步骤c3：使用步骤c2增强处理后的预训练输入数据对随机初始化的神经网络进行训练，使神经网络获得提取金融事件词汇的能力。

作为优选，步骤d中N个所述New_Text_Matrix维度相同。

作为优选，步骤e具体又包括如下子步骤：

步骤e1：在进入注意力机制模块进行训练和测试前，将N个新文本矩阵先存入神经网络嵌入层的嵌入矩阵中；

步骤e2：将所述神经网络嵌入层中存储的新文本矩阵进行预处理，而后输入到注意力机制模块；

步骤e3：由所述注意力机制模块对新文本矩阵进行强化处理后，输出注意力系数矩阵，强化处理可以不断增强所提取词汇的丰富饱和度，使其包含的文本特征更加全面和细致，从而提高了模型对文本特征的识别能力。

作为优选，所述强化处理采用相加融合方式。

示例文本：

“因涉嫌信息披露违法违规，*ST龙力今日收到了证监会的立案调查通知，并公告提示存在将被实施退市风险警示并暂停上市的风险”。

这段文本有两种时态的含义。如果模板规则只维护了“今日”，而没有“将被”，那么通过模板规则只能发现“今日”修饰的金融事件“立案调查”，对应的是现在时态，而无法发现“存在将被实施退市风险警示并暂停上市的风险”所表示的将来时态。

通过注意力机制，模型会识别到金融事件词汇“退市风险”、“暂停上市”等金融事件词汇，在结果矩阵Mat_Result中，会找到相关度高的词汇“将被”，由此可知这些金融事件是将来时态。

具体实际意义，本发明通过应用深度学习自然语言处理技术，从而发现更高维深层次的特征，并应用到金融资讯的事件时态分析中，提高分析的准确率，用于辅助投资分析。

需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于，包括以下步骤：

步骤a：整理并输入原始文本，将所述原始文本作分词处理形成词汇；

步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input；

步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；

步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix；

步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；

步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值；

步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；

步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构。

2.根据权利要求1所述的一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于：步骤b中各个所述Vec_Input维度相同。

3.根据权利要求1所述的一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于：在步骤c中Vec_Input向量组合前还需进行如下处理，

步骤c1：制作一批文本词汇作为预训练输入数据，其中词汇至少包括时间词、动态助词、上下文语境，同时包括多种大小的文字和字体；

步骤c2：对所述预训练输入数据进行数据增强处理；

步骤c3：使用步骤c2增强处理后的预训练输入数据对随机初始化的神经网络进行训练，使神经网络获得提取金融事件词汇的能力。

4.根据权利要求1所述的一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于：步骤d中N个所述New_Text_Matrix维度相同。

5.根据权利要求1所述的一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于：步骤e具体又包括如下子步骤：

步骤e1：在进入注意力机制模块进行训练和测试前，将N个新文本矩阵先存入神经网络嵌入层的嵌入矩阵中；

步骤e2：将所述神经网络嵌入层中存储的新文本矩阵进行预处理，而后输入到注意力机制模块；

步骤e3：由所述注意力机制模块对新文本矩阵进行强化处理后，输出注意力系数矩阵。

6.根据权利要求5所述的一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于：所述强化处理采用相加融合方式。