CN111368551B - 一种确定事件主体的方法和装置 - Google Patents

一种确定事件主体的方法和装置 Download PDF

Info

Publication number
CN111368551B
CN111368551B CN202010092912.1A CN202010092912A CN111368551B CN 111368551 B CN111368551 B CN 111368551B CN 202010092912 A CN202010092912 A CN 202010092912A CN 111368551 B CN111368551 B CN 111368551B
Authority
CN
China
Prior art keywords
event
text
training
training text
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010092912.1A
Other languages
English (en)
Other versions
CN111368551A (zh
Inventor
何从庆
朱翔宇
乐雨泉
刘兴东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202010092912.1A priority Critical patent/CN111368551B/zh
Publication of CN111368551A publication Critical patent/CN111368551A/zh
Application granted granted Critical
Publication of CN111368551B publication Critical patent/CN111368551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)

Abstract

本发明公开了一种确定事件主体的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;确定预测文本的事件类型;根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体。通过本发明实施例能够得到具有更高准确性和可靠性的事件主体。

Description

一种确定事件主体的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种确定事件主体的方法和装置。
背景技术
事件主体可以用于识别风险、辅助决策以及确定事件的发展趋势等。在实际应用场景中,可以根据文本确定事件主体。
现有技术中,采用word2vec对文本进行处理,以确定文本的事件主体。
但是,在实现本发明过程中,发明人发现该方法捕捉文本的语义信息的能力较差,使得到的事件主体的准确性和可靠性较低。
发明内容
有鉴于此,本发明实施例提供一种确定事件主体的方法和装置,能够得到具有更高准确性和可靠性的事件主体。
第一方面,本发明实施例提供了一种确定事件主体的方法,包括:
构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;
确定预测文本的事件类型;
根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体。
可选地,
所述构建训练样本集,包括:
获取所述训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
根据预设的字符规则对所述训练文本、所述训练文本的事件类型和事件主体进行处理,处理后的所述训练文本、所述训练文本的事件类型和事件主体构成所述训练样本。
可选地,
所述训练样本包括:训练文本、所述训练文本的事件类型和事件主体;
所述根据所述训练样本集训练抽取模型,包括:
将所述训练文本、所述训练文本的事件类型和事件主体输入所述抽取模型,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率;
根据所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,调整所述抽取模型的参数。
可选地,
所述将所述训练文本、所述训练文本的事件类型和事件主体输入所述抽取模型,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,包括:
将所述训练文本、所述训练文本的事件类型和事件主体输入所述输入层,得到训练文本编码、所述训练文本的事件类型编码和事件主体编码;
将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,得到若干语义向量;其中,所述若干语义向量包括:与所述训练文本中的字符对应的语义向量和与所述训练文本的事件类型中的字符对应的语义向量;
将所述若干语义向量输入所述序列层,得到若干序列向量;
将所述若干序列向量输入所述输出层,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率。
可选地,
所述将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,得到若干语义向量,包括:
将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,以使所述注意力层根据携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码,确定所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量;根据所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量,确定若干语义向量。
可选地,
在所述将所述若干语义向量输入所述序列层之前,进一步包括:
确定所述语义向量中元素的数量是否小于预设的长度阈值,如果是,填充所述语义向量中的元素,以使所述语义向量中元素的数量等于所述长度阈值。
可选地,
所述根据所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,调整所述抽取模型的参数,包括:
根据预设的损失函数、所述训练文本中的字符作为事件主体的概率、所述训练文本的事件类型中的字符作为事件主体的概率以及所述训练文本的事件主体编码,计算所述训练文本的损失值;
根据所述训练文本的损失值和Adam算法调整所述抽取模型的参数。
可选地,
进一步包括:
构建验证集;
根据所述验证集验证经过Adam算法调整的抽取模型是否满足预设的变更条件,如果是,根据所述训练文本的损失值和SGD(stochasticgradient descent,随机梯度下降算法)调整所述抽取模型的参数。
可选地,
所述根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体,包括:
根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率;
根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定所述预测文本的事件主体。
可选地,
所述根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定所述预测文本的事件主体,包括:
根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定起始字符;
根据在所述预测文本中位于所述起始字符后面的字符作为事件主体的概率,确定终止字符;
其中,所述起始字符和所述终止字符形成的字符序列构成所述事件主体。
可选地,
所述序列层,包括:两层GRU(Gated Recurrent Unit,门控循环单元);
其中,每个所述语义向量对应的序列向量的数量等于时间步数。
可选地,
所述输出层,包括:两个全连接层。
可选地,
所述注意力层,包括:12层Transformer结构。
第二方面,本发明实施例提供了一种确定事件主体的装置,包括:
构建模块,配置为构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
训练模块,配置为根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;
确定模块,配置为确定预测文本的事件类型;根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体。
第三方面,本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例所述的方法。
第四方面,本发明实施例提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:由于抽取模型中的注意力层可以更加全面地捕捉训练样本中的语义信息,而序列层可以准确地捕捉训练样本中的序列信息,因此,基于训练后的抽取模型得到的事件主体具有更高的准确性和可靠性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明的一个实施例提供的一种确定事件主体的方法的流程图;
图2是本发明的一个实施例提供的一种处理训练文本编码和事件类型编码的示意图;
图3是本发明的一个实施例提供的一种确定事件主体的方法的流程图;
图4是本发明的一个实施例提供的一种抽取模型的示意图;
图5是本发明的一个实施例提供的一种确定事件主体的装置的示意图;
图6是本发明实施例可以应用于其中的示例性系统架构图;
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
文本中包括对事件的描述,因此,可以基于文本确定事件类型和事件主体。其中,事件主体可以用于识别风险、辅助决策以及确定事件的发展趋势等。
现有技术中,通常采用word2vec对文本进行处理,以确定文本的事件主体。但是,在实现本发明过程中,发明人发现该方法捕捉文本的语义信息的能力较差,使得到的事件主体的准确性和可靠性较低。
尤其在金融、医疗和司法等领域,可获取的训练样本较少,通过现有技术得到的事件主体的准确性已不能够满足当前业务的需求。
鉴于此,本发明实施例提供了一种确定事件主体的方法和装置,基于注意力层和序列层更加全面地捕捉文本的语义信息和序列信息,即使在金融、医疗和司法等训练样本较少的领域,也能够得到准确性较高的事件主体。
如图1所示,本发明实施例提供了一种确定事件主体的方法,包括:
步骤101:构建训练样本集;其中,训练样本集中包括:多个训练样本;训练样本包括:训练文本、训练文本的事件类型和事件主体。
表1
表1中所示的是三个训练样本,每一个训练样本都包括有训练文本及其事件类型和事件主体,训练文本的事件类型和事件主体可以由用户预先确定。
步骤102:根据训练样本集训练抽取模型;其中,抽取模型包括:输入层、注意力层、序列层和输出层。
注意力层用于学习训练样本的语义信息,例如,语法、句法等,序列层用于学习训练样本的序列信息,例如,词序、语序等。
步骤103:确定预测文本的事件类型。
步骤104:根据预测文本的事件类型和训练后的抽取模型,确定预测文本的事件主体。
在预测文本的事件类型确定的情况下,可以通过该方法获得预测文本的事件主体。针对一个预测文本用户可以给定不同的事件类型,不同的事件类型得到的事件主体可能不同。
在本发明实施例中,由于抽取模型中的注意力层可以更加全面地捕捉训练样本中的语义信息,而序列层可以准确地捕捉训练样本中的序列信息,因此,基于训练后的抽取模型得到的事件主体具有更高的准确性和可靠性。
考虑到训练文本、及其事件类型和事件主体中可能存在字符不规范、字符格式不一致等情况,在本发明的一个实施例中,构建训练样本集,包括:
获取训练文本、训练文本的事件类型和训练文本的事件主体;
根据预设的字符规则对训练文本、训练文本的事件类型和事件主体进行处理,处理后的训练文本、训练文本的事件类型和事件主体构成训练样本。
训练文本、训练文本的事件类型和事件主体由字符或字符序列组成。如表1中的训练样本1,训练文本由字符序列“股”“价”……“报”“案”组成。其事件类型由字符序列“资”“金”“账”“户”“风”“险”组成,包括6个字符。其事件主体由字符序列“C”“酒”,包括2个字符。
通过字符规则可以对文字进行处理,也可以对空格、标点等进行处理。通过字符规则对训练文本、训练文本的事件类型和事件主体进行处理的方法相同,本发明实施例仅以对训练文本的处理为例,对处理过程进行说明。
根据预设的字符规则对训练文本进行处理,包括:
确定训练文本中是否含有预设的不规范字符,如果存在,则删除该不规范字符。
不规范字符可以根据实际应用场景的需求确定,例如,在某一场景下,事件主体由纯文字构成,如果事件主体中包括“~”,则确定“~”为不规范字符。例如,在表1的训练文本1中,空格为不规范字符,通过预处理删除“减持”和“A”之间的空格、“减持”和“瞒天过海”之间的空格、“被盗”与“已”之间的空格。
通过字符规则,还可以去除重复的标点符号等。因此,通过本发明实施例可以得到更加规范的字符或字符序列,进而提高模型训练的效率和预测结果的准确性。
在本发明的一个实施例中,根据训练样本集训练抽取模型,包括:
将训练文本、训练文本的事件类型和事件主体输入抽取模型,得到训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率;
根据训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率,调整抽取模型的参数。
由于抽取模型能够捕捉训练样本中的语义信息和序列信息,因此,通过抽取模型得到的概率更加符合训练样本的实际情况,进而得到更加准确的预测结果,
在本发明实施例中,抽取模型的输入还可以是经过上述处理后的训练文本及其事件类型和事件主体。
在本发明的一个实施例中,
将训练文本、训练文本的事件类型和事件主体输入抽取模型,得到训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率,包括:
将训练文本、训练文本的事件类型和事件主体输入输入层,得到训练文本编码、训练文本的事件类型编码和事件主体编码;
将携带训练文本的事件主体编码的训练文本编码和训练文本的事件类型编码输入注意力层,得到若干语义向量;其中,若干语义向量包括:与训练文本中的字符对应的语义向量和与训练文本的事件类型中的字符对应的语义向量;
将若干语义向量输入序列层,得到若干序列向量;
将若干序列向量输入输出层,得到训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率。
在本发明实施例中,输入层分别对训练文本、训练文本的事件类型和事件主体进行编码,得到训练文本编码、训练文本的事件类型编码和事件主体编码。
以训练文本的事件主体编码为标签,将携带标签的训练文本编码和训练文本的事件类型编码输入注意力层。每一个字符对应一个语义向量。本发明实施例能够全面考虑训练文本及其事件类型中的各个字符作为事件主体的可能性,提高模型训练效果。
在本发明的一个实施例中,注意力层,包括:12层Transformer结构。具体地,注意力层采用BERT(Bidirectional Encoder Representation from Transformers,基于Transformer的双向编码器表征)模型中的注意力层,即12层Transformer结构。
12层Transformer结构能够更加全面地捕捉训练样本的语义信息,提高抽取模型的训练效果,同时保证模型的训练效率。
注意力层还可以采用24层Transformer结构等。
在本发明的一个实施例中,序列层,包括:两层GRU。本发明实施例通过两层GRU捕捉能够训练样本的序列信息,在注意力层的基础上,增强抽取模型的训练效果。GRU的层数还可以采用三层、四层等。
在本发明实施例中,每个语义向量对应的序列向量的数量等于时间步数。
在本发明的一个实施例中,输出层由全连接层构成,例如,两个全连接层、三个全连接层等。
在本发明的一个实施例中,将携带训练文本的事件主体编码的训练文本编码和训练文本的事件类型编码输入注意力层,得到若干语义向量,包括:
将携带训练文本的事件主体编码的训练文本编码和训练文本的事件类型编码输入注意力层,以使注意力层根据携带训练文本的事件主体编码的训练文本编码和训练文本的事件类型编码,确定训练文本中各个字符的字符向量、位置向量和标识向量,以及训练文本的事件类型中各个字符的字符向量、位置向量和标识向量;根据训练文本中各个字符的字符向量、位置向量和标识向量,以及训练文本的事件类型中各个字符的字符向量、位置向量和标识向量,确定若干语义向量。
其中,字符向量用于表征字符,位置向量用于表征字符在训练文本或训练文本的事件类型中的位置,标识向量用于表征字符的来源,来源为训练文本或训练文本的事件类型。本发明实施例可以通过字符向量捕捉训练文本的语义信息,可以通过位置向量和标识向量捕捉训练文本的序列信息。
如图2所示,训练文本编码和事件类型编码输入注意力层后,得到字符向量(字符embeddings)、位置向量(位置embeddings)和标识向量(Segment embeddings)。
在本发明的一个实施例中,在将若干语义向量输入序列层之前,该方法还包括:
确定语义向量中元素的数量是否小于预设的长度阈值,如果是,填充语义向量中的元素,以使语义向量中元素的数量等于长度阈值。
如果语义向量中元素的数量等于长度阈值,则执行将若干语义向量输入序列层。如果语义向量中元素的数量大于长度阈值,则将若干由数量为长度阈值的元素构成的语义向量输入序列层。本发明实施例可以有效缓解训练样本的长度不一所引起的偏差。
在本发明的一个实施例中,根据训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率,调整抽取模型的参数,包括:
根据预设的损失函数、训练文本中的字符作为事件主体的概率、训练文本的事件类型中的字符作为事件主体的概率以及训练文本的事件主体编码,计算训练文本的损失值;
根据训练文本的损失值和Adam算法调整抽取模型的参数。
根据预设的损失函数、训练文本中的字符作为事件主体的概率、训练文本的事件类型中的字符作为事件主体的概率以及训练文本的事件主体编码,计算训练文本中各个字符的损失值和训练文本的事件类型中各个字符的损失值;根据训练文本中各个字符的损失值和训练文本的事件类型中各个字符的损失值,计算训练文本的损失值。训练文本的损失值可以为训练文本中各个字符的损失值和训练文本的事件类型中各个字符的损失值的平均值。
在本发明的一个实施例中,该方法还包括:
构建验证集;
根据验证集验证经过Adam算法调整的抽取模型是否满足预设的变更条件,如果是,根据训练文本的损失值和随机梯度下降算法SGD调整抽取模型的参数。
如果不满足预设的变更条件,则依然根据训练文本的损失值和Adam算法调整抽取模型的参数。本发明实施例能够适时调整训练使用的优化函数,能够提高抽取模型的训练效果。
在本发明的一个实施例中,根据预测文本的事件类型和训练后的抽取模型,确定预测文本的事件主体,包括:
根据预测文本的事件类型和训练后的抽取模型,确定预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率;
根据预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率,确定预测文本的事件主体。
将预测文本和及其事件类型输入经过训练的抽取模型,得到预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率。
在本发明的一个实施例中,根据预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率,确定预测文本的事件主体,包括:
根据预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率,确定起始字符;
根据在预测文本中位于起始字符后面的字符作为事件主体的概率,确定终止字符;
其中,起始字符和终止字符形成的字符序列构成事件主体。
在本发明实施例中,可以将最大概率对应的字符作为起始字符,确定预测文本中位于起始字符之后、最大概率对应的字符为终止字符。
本发明实施例通过概率的大小确定事件主体的起始字符和终止字符,能够得到更加准确的预测结果。
如图3所示,本发明实施例提供了一种确定事件主体的方法,包括以下步骤:
步骤301:获取训练文本、训练文本的事件类型和训练文本的事件主体。
步骤302:根据预设的字符规则对训练文本、训练文本的事件类型和事件主体进行处理。
步骤303:将处理后的训练文本、训练文本的事件类型和事件主体输入输入层,得到训练文本编码、训练文本的事件类型编码和事件主体编码。
如图4所示,抽取模型包括:输入层、注意力层(BERT的12层Transformer结构)、序列层(两层GRU)和输出层(两个全连接层)。
步骤304:将携带训练文本的事件主体编码的训练文本编码和训练文本的事件类型编码输入BERT的12层Transformer结构,得到若干语义向量。
步骤305:当语义向量中元素的数量小于预设的长度阈值时,填充语义向量中的元素。
步骤306:将若干语义向量输入两层GRU,得到若干序列向量。
GRU依照如下公式进行计算:
ft=σ(Wflt+Ufht-1+bf)
it=σ(Wilt+Uiht-1+bi)
ot=σ(Wolt+Uoht-1+bo)
ht=ot⊙tanh(ct)
其中,lt用于表征GRU在时间步t时刻的输入,ft用于表征遗忘门,it用于表征输入门,ot用于表征输出门,⊙用于表征两个向量的乘法,ht用于表征序列向量,Wf、Wi、Wo、Wc为随机初始化矩阵,bf、bi、bo、bc为随机初始化偏置向量。Uf、Ui、Uo、Uc为随机初始化矩阵。
步骤307:将若干序列向量输入两个全连接层,得到训练文本中的字符作为事件主体的概率和训练文本的事件类型中的字符作为事件主体的概率。
步骤308:根据预设的损失函数、训练文本中的字符作为事件主体的概率、训练文本的事件类型中的字符作为事件主体的概率以及训练文本的事件主体编码,计算训练文本的损失值。
步骤309:根据训练文本的损失值和Adam算法调整抽取模型的参数。
步骤310:构建验证集,根据验证集验证经过Adam算法调整的抽取模型。
步骤311:当抽取模型满足预设的变更条件时,根据训练文本的损失值和SGD调整抽取模型的参数。
步骤312:确定预测文本的事件类型。
步骤313:根据预测文本的事件类型和训练后的抽取模型,确定预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率。
步骤314:根据预测文本中的字符作为事件主体的概率和预测文本的事件类型中的字符作为事件主体的概率,确定起始字符。
步骤315:根据在预测文本中位于起始字符后面的字符作为事件主体的概率,确定终止字符;其中,起始字符和终止字符形成的字符序列构成事件主体。
该方法基于注意力层和序列层更加全面地捕捉文本的语义信息和序列信息,尤其适用于训练样本较少的领域,例如,金融、医疗和司法等领域。
针对金融数据样本,本发明实施例提供的抽取模型的F1值可以达到0.905,说明该抽取模型具有较高的预测准确性,其中,F1值=正确率×召回率×2/(正确率+召回率)。
如图5所示,本发明提供了一种确定事件主体的装置,包括:
构建模块501,配置为构建训练样本集;其中,训练样本集中包括:多个训练样本;训练样本中包括:训练文本、训练文本的事件类型和训练文本的事件主体;
训练模块502,配置为根据训练样本集训练抽取模型;其中,抽取模型包括:输入层、注意力层、序列层和输出层;
确定模块503,配置为确定预测文本的事件类型;根据预测文本的事件类型和训练后的抽取模型,确定预测文本的事件主体。
在本发明的一个实施例中,构建模块501,配置为获取所述训练文本、所述训练文本的事件类型和所述训练文本的事件主体;根据预设的字符规则对所述训练文本、所述训练文本的事件类型和事件主体进行处理,处理后的所述训练文本、所述训练文本的事件类型和事件主体构成所述训练样本。
在本发明的一个实施例中,训练模块502,配置为将所述训练文本、所述训练文本的事件类型和事件主体输入所述抽取模型,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率;根据所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,调整所述抽取模型的参数。
在本发明的一个实施例中,训练模块502,配置为将所述训练文本、所述训练文本的事件类型和事件主体输入所述输入层,得到训练文本编码、所述训练文本的事件类型编码和事件主体编码;将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,得到若干语义向量;其中,所述若干语义向量包括:与所述训练文本中的字符对应的语义向量和与所述训练文本的事件类型中的字符对应的语义向量;将所述若干语义向量输入所述序列层,得到若干序列向量;将所述若干序列向量输入所述输出层,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率。
在本发明的一个实施例中,训练模块502,配置为将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,以使所述注意力层根据携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码,确定所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量;根据所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量,确定若干语义向量。
在本发明的一个实施例中,训练模块502,配置为确定所述语义向量中元素的数量是否小于预设的长度阈值,如果是,填充所述语义向量中的元素,以使所述语义向量中元素的数量等于所述长度阈值。
在本发明的一个实施例中,训练模块502,配置为根据预设的损失函数、所述训练文本中的字符作为事件主体的概率、所述训练文本的事件类型中的字符作为事件主体的概率以及所述训练文本的事件主体编码,计算所述训练文本的损失值;根据所述训练文本的损失值和Adam算法调整所述抽取模型的参数。
在本发明的一个实施例中,训练模块502,配置为构建验证集;根据所述验证集验证经过Adam算法调整的抽取模型是否满足预设的变更条件,如果是,根据所述训练文本的损失值和随机梯度下降算法SGD调整所述抽取模型的参数。
在本发明的一个实施例中,确定模块503,配置为根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率;根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定所述预测文本的事件主体。
在本发明的一个实施例中,确定模块503,配置为根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定起始字符;根据在所述预测文本中位于所述起始字符后面的字符作为事件主体的概率,确定终止字符;其中,所述起始字符和所述终止字符形成的字符序列构成所述事件主体。
在本发明的一个实施例中,所述序列层,包括:两层门控循环单元GRU;其中,每个所述语义向量对应的序列向量的数量等于时间步数。
在本发明的一个实施例中,所述输出层,包括:两个全连接层。
在本发明的一个实施例中,所述注意力层,包括:12层Transformer结构。
本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任一实施例所述的方法。
图6示出了可以应用本发明实施例的确定事件主体的方法或确定事件主体的装置的示例性系统架构600。
如图6所示,系统架构600可以包括终端设备601、602、603,网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互,以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器,例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的确定事件主体的方法一般由服务器605执行,相应地,确定事件主体的装置一般设置于服务器605中。
应该理解,图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图7,其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;
确定预测文本的事件类型;
根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体。
在本发明实施例中,抽取模型中的注意力层可以更加全面地捕捉训练样本中的语义信息,而序列层可以准确地捕捉训练样本中的序列信息,因此,基于训练后的抽取模型得到的事件主体具有更高的准确性和可靠性。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (14)

1.一种确定事件主体的方法,其特征在于,包括:
构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;
确定预测文本的事件类型;
根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体;包括:根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率;根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定起始字符;根据在所述预测文本中位于所述起始字符后面的字符作为事件主体的概率,确定终止字符;其中,所述起始字符为最大概率对应的字符,所述终止字符为所述预测文本中位于起始字符之后、最大概率对应的字符;所述起始字符和所述终止字符形成的字符序列构成所述事件主体。
2.如权利要求1所述的方法,其特征在于,
所述构建训练样本集,包括:
获取所述训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
根据预设的字符规则对所述训练文本、所述训练文本的事件类型和事件主体进行处理,处理后的所述训练文本、所述训练文本的事件类型和事件主体构成所述训练样本。
3.如权利要求1所述的方法,其特征在于,
所述根据所述训练样本集训练抽取模型,包括:
将所述训练文本、所述训练文本的事件类型和事件主体输入所述抽取模型,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率;
根据所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,调整所述抽取模型的参数。
4.如权利要求3所述的方法,其特征在于,
所述将所述训练文本、所述训练文本的事件类型和事件主体输入所述抽取模型,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,包括:
将所述训练文本、所述训练文本的事件类型和事件主体输入所述输入层,得到训练文本编码、所述训练文本的事件类型编码和事件主体编码;
将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,得到若干语义向量;其中,所述若干语义向量包括:与所述训练文本中的字符对应的语义向量和与所述训练文本的事件类型中的字符对应的语义向量;
将所述若干语义向量输入所述序列层,得到若干序列向量;
将所述若干序列向量输入所述输出层,得到所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率。
5.如权利要求4所述的方法,其特征在于,
所述将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,得到若干语义向量,包括:
将携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码输入所述注意力层,以使所述注意力层根据携带所述训练文本的事件主体编码的所述训练文本编码和所述训练文本的事件类型编码,确定所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量;根据所述训练文本中各个字符的字符向量、位置向量和标识向量,以及所述训练文本的事件类型中各个字符的字符向量、位置向量和标识向量,确定若干语义向量。
6.如权利要求4所述的方法,其特征在于,
在所述将所述若干语义向量输入所述序列层之前,进一步包括:
确定所述语义向量中元素的数量是否小于预设的长度阈值,如果是,填充所述语义向量中的元素,以使所述语义向量中元素的数量等于所述长度阈值。
7.如权利要求3所述的方法,其特征在于,
所述根据所述训练文本中的字符作为事件主体的概率和所述训练文本的事件类型中的字符作为事件主体的概率,调整所述抽取模型的参数,包括:
根据预设的损失函数、所述训练文本中的字符作为事件主体的概率、所述训练文本的事件类型中的字符作为事件主体的概率以及所述训练文本的事件主体编码,计算所述训练文本的损失值;
根据所述训练文本的损失值和Adam算法调整所述抽取模型的参数。
8.如权利要求7所述的方法,其特征在于,进一步包括:
构建验证集;
根据所述验证集验证经过Adam算法调整的抽取模型是否满足预设的变更条件,如果是,根据所述训练文本的损失值和随机梯度下降算法SGD调整所述抽取模型的参数。
9.如权利要求4所述的方法,其特征在于,
所述序列层,包括:两层门控循环单元GRU;
其中,每个所述语义向量对应的序列向量的数量等于时间步数。
10.如权利要求1所述的方法,其特征在于,
所述输出层,包括:两个全连接层。
11.如权利要求1-10中任一所述的方法,其特征在于,
所述注意力层,包括:12层Transformer结构。
12.一种确定事件主体的装置,其特征在于,包括:
构建模块,配置为构建训练样本集;其中,所述训练样本集中包括:多个训练样本;所述训练样本中包括:训练文本、所述训练文本的事件类型和所述训练文本的事件主体;
训练模块,配置为根据所述训练样本集训练抽取模型;其中,所述抽取模型包括:输入层、注意力层、序列层和输出层;
确定模块,配置为确定预测文本的事件类型;根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本的事件主体,包括:根据所述预测文本的事件类型和训练后的抽取模型,确定所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率;根据所述预测文本中的字符作为事件主体的概率和所述预测文本的事件类型中的字符作为事件主体的概率,确定起始字符;根据在所述预测文本中位于所述起始字符后面的字符作为事件主体的概率,确定终止字符;其中,所述起始字符为最大概率对应的字符,所述终止字符为所述预测文本中位于起始字符之后、最大概率对应的字符;所述起始字符和所述终止字符形成的字符序列构成所述事件主体。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN202010092912.1A 2020-02-14 2020-02-14 一种确定事件主体的方法和装置 Active CN111368551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010092912.1A CN111368551B (zh) 2020-02-14 2020-02-14 一种确定事件主体的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010092912.1A CN111368551B (zh) 2020-02-14 2020-02-14 一种确定事件主体的方法和装置

Publications (2)

Publication Number Publication Date
CN111368551A CN111368551A (zh) 2020-07-03
CN111368551B true CN111368551B (zh) 2023-12-05

Family

ID=71206176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092912.1A Active CN111368551B (zh) 2020-02-14 2020-02-14 一种确定事件主体的方法和装置

Country Status (1)

Country Link
CN (1) CN111368551B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036168B (zh) * 2020-09-02 2023-04-25 深圳前海微众银行股份有限公司 事件主体识别模型优化方法、装置、设备及可读存储介质
WO2022061877A1 (zh) * 2020-09-28 2022-03-31 京东方科技集团股份有限公司 事件抽取和抽取模型训练的方法和装置、设备、介质
CN113591467B (zh) * 2021-08-06 2023-11-03 北京金堤征信服务有限公司 事件主体识别方法及装置、电子设备、介质
CN116501898B (zh) * 2023-06-29 2023-09-01 之江实验室 适用于少样本和有偏数据的金融文本事件抽取方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897989A (zh) * 2018-06-06 2018-11-27 大连理工大学 一种基于候选事件元素注意力机制的生物事件抽取方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110134757A (zh) * 2019-04-19 2019-08-16 杭州电子科技大学 一种基于多头注意力机制的事件论元角色抽取方法
CN110609896A (zh) * 2019-07-19 2019-12-24 中国人民解放军国防科技大学 基于二次解码的军事想定文本事件信息抽取方法及装置
CN110674303A (zh) * 2019-09-30 2020-01-10 北京明略软件系统有限公司 事件语句处理方法、装置、计算机设备和可读存储介质
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897989A (zh) * 2018-06-06 2018-11-27 大连理工大学 一种基于候选事件元素注意力机制的生物事件抽取方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110134757A (zh) * 2019-04-19 2019-08-16 杭州电子科技大学 一种基于多头注意力机制的事件论元角色抽取方法
CN110609896A (zh) * 2019-07-19 2019-12-24 中国人民解放军国防科技大学 基于二次解码的军事想定文本事件信息抽取方法及装置
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN110674303A (zh) * 2019-09-30 2020-01-10 北京明略软件系统有限公司 事件语句处理方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN111368551A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368551B (zh) 一种确定事件主体的方法和装置
US11062089B2 (en) Method and apparatus for generating information
CN111522958A (zh) 文本分类方法和装置
CN111061881A (zh) 文本分类方法、设备及存储介质
CN113141360B (zh) 网络恶意攻击的检测方法和装置
CN114724168A (zh) 深度学习模型的训练方法、文本识别方法、装置和设备
WO2022156434A1 (zh) 用于生成文本的方法和装置
CN113407851A (zh) 基于双塔模型的确定推荐信息的方法、装置、设备和介质
CN113947095A (zh) 多语种文本翻译方法、装置、计算机设备及存储介质
CN116932919A (zh) 信息推送方法、装置、电子设备和计算机可读介质
CN114358023A (zh) 智能问答召回方法、装置、计算机设备及存储介质
CN110852057A (zh) 一种计算文本相似度的方法和装置
CN113408507A (zh) 基于履历文件的命名实体识别方法、装置和电子设备
CN115952854B (zh) 文本脱敏模型的训练方法、文本脱敏方法及应用
CN113111167A (zh) 基于深度学习模型的接处警文本车辆型号提取方法和装置
CN114970470B (zh) 文案信息处理方法、装置、电子设备和计算机可读介质
CN115129845A (zh) 文本信息处理方法、装置和电子设备
CN114429629A (zh) 图像处理方法、装置、可读存储介质及电子设备
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
CN113111169A (zh) 基于深度学习模型的接处警文本地址信息提取方法和装置
CN112464654A (zh) 关键词生成方法、装置、电子设备和计算机可读介质
CN115204150B (zh) 信息校验方法、装置、电子设备和计算机可读介质
CN116911304B (zh) 一种文本推荐方法及装置
CN113656573B (zh) 文本信息生成方法、装置、终端设备
CN113515931B (zh) 文本纠错方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: Jingdong Digital Technology Holding Co.,Ltd.

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant