CN113282710B - 文本关系抽取模型的训练方法、装置以及计算机设备 - Google Patents

文本关系抽取模型的训练方法、装置以及计算机设备 Download PDF

Info

Publication number
CN113282710B
CN113282710B CN202110610936.6A CN202110610936A CN113282710B CN 113282710 B CN113282710 B CN 113282710B CN 202110610936 A CN202110610936 A CN 202110610936A CN 113282710 B CN113282710 B CN 113282710B
Authority
CN
China
Prior art keywords
training
thread
grammar
emotion
output result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110610936.6A
Other languages
English (en)
Other versions
CN113282710A (zh
Inventor
孙思
曹锋铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110610936.6A priority Critical patent/CN113282710B/zh
Publication of CN113282710A publication Critical patent/CN113282710A/zh
Application granted granted Critical
Publication of CN113282710B publication Critical patent/CN113282710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种文本关系抽取模型的训练方法、装置以及计算机设备，其中，方法包括：通过获取训练文本和对应的词汇关系表格，并将词汇关系表格作为最终的输出标准，再将训练文本进行向量化，得到各个词对应的词向量，基于迭代交叉训练的方式训练语法线程和情感线程，使两个线程不断的迭代耦合，从而减小了两个线程的冲突，使两个线程更加的平衡，最后再通过损失值判断是否进行收敛，从而完成了对文本关系抽取模型的训练。

Description

文本关系抽取模型的训练方法、装置以及计算机设备
技术领域
本发明涉及文本处理领域，特别涉及一种文本关系抽取模型的训练方法、装置以及计算机设备。
背景技术
信息抽取是从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。文本关系抽取是信息抽取最重要的一环。现有的文本关系抽取方案有两种，一种是将语法关系和情感关系标注作为两个单独的任务，但是这种方式难以解决语法和情感相对应的问题。另一种是在一个模型中同时进行语法关系和情感关系的训练，但是目前这两个任务在同一个模型中进行表征容易发生冲突，影响最终的模型效果。
发明内容
本发明的主要目的为提供一种文本关系抽取模型的训练方法、装置以及计算机设备，旨在解决同时进行语法关系和情感关系的训练容易发生冲突的问题。
本发明提供了一种文本关系抽取模型的训练方法，包括：
获取训练文本以及所述训练文本对应的词汇关系表格；
按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果，其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为所述倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型。
本发明还提供了一种文本关系抽取模型的训练装置，包括：
获取模块，用于获取训练文本以及所述训练文本对应的词汇关系表格；
向量化模块，用于按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
训练模块，用于将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果；其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为所述倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
调整模块，根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明的有益效果：通过获取训练文本和对应的词汇关系表格，并将词汇关系表格作为最终的输出标准，再将训练文本进行向量化，得到各个词对应的词向量，基于迭代交叉训练的方式训练语法线程和情感线程，使两个线程不断的迭代耦合，从而减小了两个线程的冲突，使两个线程更加的平衡，最后再通过损失值判断是否进行收敛，从而完成了对文本关系抽取模型的训练。
附图说明
图1是本发明一实施例的一种文本关系抽取模型的训练方法的流程示意图；
图2是本发明一实施例的一种文本关系抽取模型的训练方法的语法线程和情感线程的迭代交叉训练的流程示意图；
图3是本发明一实施例的一种文本关系抽取模型的训练方法的结构示意框图；
图4为本申请一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种文本关系抽取模型的训练方法，包括：
S1：获取训练文本以及所述训练文本对应的词汇关系表格；
S2：按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
S3：将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果，其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为所述倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
S4：根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型。
如上述步骤S1所述，获取训练文本以及所述训练文本对应的词汇关系表格。其中，获取的训练文本可以从数据库中进行获取，其对应的词汇关系表格可以通过人为制作得到，即可以人为的将训练文本以及训练文本对应的词汇关系表格事先存储于数据库中，后续只需从对应的数据库中获取即可，词汇关系表格记载了任意两个词汇之间的关系，该关系包括语法关系以及情感关系。
如上述步骤S2所述，按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量。其中，可以将各个词输入至预设的向量机中得到，预设的向量机可以是SVM向量机，但是为了得到各个词之间的文本关系，尽可能保留词与词之间的关系，可以通过多种编码方式对词进行编码，然后再将各个编码方式的编码拼接起来，得到对应的向量，具体地编码方式后续有详细说明，此处不再赘述。
如上述步骤S3所述，将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果。其中迭代交叉训练为所述语法线程和所述情感线程的训练层一一交替训练，并将上一层训练层和上两层训练层的输出作为当前训练层的输入进行迭代训练，所述语法线程和所述情感线程的第一训练层为直接输入所述训练文本进行计算。迭代交叉训练可以综合考虑到两个线程(关系线程和情感线程)的收敛，防止其中一个线程收敛后，另外一个线程离收敛还差很远，使得两个线程不能同步进行完成，导致后续完成的误差较大，另外，两个线程都采用了对方上一层训练层的输出当作输入，可以综合考虑到情感线程和语法线程的关系，使训练后的表格中的文本关系和情感的耦合性强，更能体现出文本中各个词之间的文本关系。具体地，请参照图2，若A为语法线程，B为情感线程为则第一层训练层为语法线程的训练层，第二层训练层为情感线程的训练层，一一交替，当然，在另一个实施例中，第一层训练层也可以是情感线程的训练层，则第二层训练层为语法线程的训练层，一一交替训练。另外语法线程和情感线程的训练层的个数相同，因此其使用的词数是相同的，都是基于训练文本所得到的词向量。因此，若第一层训练层为情感线程的训练层，则最后一层训练层为语法线程的训练层，倒数第二层为情感线程的训练层。进一步地，从图2中，可以看出，第一层训练层的输出要作为第二层训练层和第三层训练层的输入进行迭代计算，而第二训练层的输出要作为第三层训练层和第四层训练层的输入进行计算，倒数第二层训练层(图中的第五训练层)的输出需要作为倒数第一层(图中的第六训练层)训练层的输入作为倒数第一层的输入，从而完成交叉迭代训练，而倒数第一层训练层和倒数第二层训练层的输出结果则分别为语法输出结果，以及情感输出结果，其中，若第一层训练层为语法输出结果，则倒数第一层训练层则为情感线程的训练层，即倒数第一层得到的为情感输出结果。
如上述步骤S4所述，根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果计算第一任务完成后的，所述语法线程的第一损失值，和所述情感线程第二损失值；所述第一任务为一次所述迭代交叉训练的任务；判断所述第一任务的第一损失值和第二损失值是否均小于预设损失值；若否，则根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数；根据所述第一参数和第二参数开启第二任务，并计算所述第二任务对应的第一损失值和第二损失值；所述第二任务为又一次所述迭代交叉训练的任务；判断所述第二任务的第一损失值和第二损失值是否均小于所述预设损失值；若是，则得到所述文本关系抽取模型。
即根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果计算第一任务完成后的，所述语法线程的第一损失值，和所述情感线程第二损失值；所述第一任务为一次所述迭代交叉训练的任务。即先计算词汇关系表格中第一任务的语法线程的第一损失值和情感线程的第二损失值，计算的方式可以是通过任意的损失函数进行计算，例如平方损失函数、绝对值损失函数、对数损失函数、指数损失函数。本申请优选使用交叉熵损失函数进行计算，其中，交叉熵损失函数具体为：L＝∑-logPθ(Y＝y)，L为损失值，Y为语法线程或情感线程所得到的值，y为词汇关系表格中对应的预存值，Pθ(Y＝y)＝softmax(Linear(Y，y))。
判断所述第一任务的第一损失值和第二损失值是否均小于预设损失值。当第一损失值和第二损失值中任意一个小于预设损失值时，则说明两个线程至少有一个线程尚未收敛完毕，若将此时训练得到的模型作为后续的文本关系抽取模型，则会有相当大的误差，甚至无法提取文本间的文本关系，因此，须对第一损失值和第二损失值进行数值上的判定。若不是均小于预设损失值，则可以开启第二任务，计算第二任务的第一损失值和第二损失值，其中，第二任务为基于第一任务中情感线程和语法线程至少有一个未收敛的情况下所进行的任务，若进行了第二任务后的第一损失值和第二损失值，仍存在有一个小于预设损失值时，则还可以进行附加任务，直至第一损失值和第二损失值均小于预设损失值，即两个线程均达到收敛，其中，可以根据第一任务的第一损失值和第二损失值，调整所述语法线程的第一参数，以及所述情感线程的第二参数；应当理解的是，若第一损失值较大，则对应的语法线程的参数调整幅度应当大一些，若第二损失值较大，则对应的情感线程的参数调整幅度应当大一些。
在一个实施例中，所述按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量的步骤S2中，第一词汇的向量化的步骤，包括：
S201：基于lstm的char编码、lstm的word编码以及bert的char编码分别对所述第一词汇进行编码，对应得到第一编码、第二编码和第三编码；其中，所述第一词汇为所述训练文本中的任意一个词汇；
S202：将所述第一编码、所述第二编码和所述第三编码按照顺序拼接，得到所述第一词汇对应的词向量。
如上述步骤S201-S202所述，实现了对词汇的词向量构建。即通过lstm的char编码、lstm的word编码以及bert的char编码，分别得到对应的编码数据，即一个词汇对应三个编码，然后进行拼接，得到对应的第一词汇对应的词向量，应当理解的是，本实施例是以第一词汇为例进行说明，第一词汇可以是训练文本任意的一个词汇，将训练文本中的每个词汇一一按照上述向量构建步骤进行构建，即可得到训练文本中各个词对应的词向量。另外形成的词向量包含了三种编码的信息，即保留了词汇在训练文本中的各种信息，不同的编码的侧重点不同，而采用上述的拼接，可以保留不同编码的数据，从而使最终形成的词向量具有三种编码的信息，可以最大程度保留词汇具有的信息。
在一个实施例中，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤S3中，在所述情感线程的训练中非第一层和第二层的训练步骤包括：
S301：获取上一层训练层中所述语法线程的第一输出结果，以及获取上两层的第二输出结果；
S302：根据公式Sl＝LayerNorm(Sl-1+TableGuideAttn(Sl-1))进行迭代交叉训练，其中，Sl-1表示所述第二输出结果，TableGuideAttn表示所述第一输出结果，Sl表示当前训练层的输出结果，LayerNorm表示进行归一化处理。
如上述步骤S301-S302所述，实现了对情感线程的交叉训练，当然，若当前为情感线程的第一训练层，则可以直接将训练文本输入进去，非第一层和第二层的训练步骤可以综合考虑上两步的第一输出结果和第二输出结果，即上一层的情感线程计算结果和语法线程最近的计算结果，根据公式Sl＝LayerNorm(Sl-1+TableGuideAttn(Sl-1))进行训练，其中LayerNorm是一个归一化处理公式，其具有使同层输入拥有相同的均值和方差，不同输入拥有不同的均值和方差的优点，从而使当前训练层可以对之前计算的结果进行迭代，使计算结果更加准确，更加贴近实际值。
在一个实施例中，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤S3中，在所述语法线程的训练中非第一层和第二层的训练步骤包括：
S311：获取上一步训练层中所述情感线程的第三输出结果，以及获取上两步的第四输出结果；
S312：根据公式Tm,i,j＝GRU(Xm,i,j,Tm-1,i,j,Tm,i-1,j,Tm,i,j-1)进行迭代交叉训练，其中Xm,i,j＝ReLU(Linear([Sm-1,i；Sm-1,j]))，其中，Tm,i,j表示第m层对第i个字和第j个字的交互。
如上述步骤S311-S312所述，实现了对语法线程的交叉训练，当然，若当前为语法线程的第一训练层，则可以直接将训练文本输入进去，非第一层和第二层的训练步骤可以综合考虑上两步的第三输出结果和第四输出结果，即上一层的情感线程计算结果和语法线程最近的计算结果，根据公式Tm,i,j＝GRU(Xm,i,j,Tm-1,i,j,Tm,i-1,j,Tm,i,j-1)进行训练，使当前训练层可以对之前计算的结果进行迭代，使计算结果更加准确，更加贴近实际值。
在一个实施例中，所述得到所述文本关系抽取模型的步骤S4之前，还包括：
S321：计算最后一次迭代任务的第一损失值与前一次迭代任务的第一损失值的第一损失差值；
S322：判断所述第一损失差值是否小于预设差值；
S323：若小于所述预设差值，则判定满足执行所述得到所述文本关系抽取模型的步骤的条件。
如上述步骤S321-S323所述，实现了对模型是否收敛的进一步判断。即先计算最后一次迭代任务的第一损失值和前一次迭代任务的第一损失值之间的第一损失差值，若其小于预设差值，则说明该模型的训练时循序渐进的，各个参数都是在慢慢向标准值靠拢，而若最后一次迭代任务的第一损失值和前一次迭代任务的第一损失值之间的第一损失差值较大，则表明当前的训练的模型完成的参数，具有相当大的偶然性，即可能是因为某种误差，在有限的训练数据文本下，导致第一损失值可能达到小于预设值，此时不能认为该模型已经达到收敛条件，还需要构建附加任务继续进行判断，以保证模型收敛的合理性。
在一个实施例中，所述判断所述第一损失差值是否小于预设差值的步骤S322之后，还包括：
S3231：若大于或等于所述预设差值，则根据所述第二任务的第一损失值和第二损失值调整所述语法线程的第一参数，以及所述情感线程的第二参数；
S3232：基于调整后的第一参数和第二参数开启附加任务；
S3233：计算所述附加任务的第一损失值与所述第二任务的第一损失值的第二损失差值；
S3234：判断所述第二损失差值是否小于预设差值；
S3235：若小于所述预设差值，则判定满足执行所述得到所述文本关系抽取模型的步骤的条件。
如上述步骤S3231-S3235所述，实现了对最后一次迭代任务所计算得到的模型检测，即若大于或等于预设差值，此时无法判断该得到的值是巧合还是已经达到了收敛条件了，故而需要对参数再次进行调整，然后再基于调整后的第一参数和第二参数开启附加任务计算附加任务的第一损失值与所述最后一次迭代任务的第一损失值的第二损失差值，此时在检测第二损失差值是否小于预设差值，若小于该预设差值，则可以判定其满足执行文本关系抽取模型训练完成的步骤的条件，即再调整了参数过后，其第一损失值变化不大，则可以判定其已经达到了收敛条件了，而非是巧合所得，故而可以判定满足执行所述得到所述文本关系抽取模型的步骤的条件。
在一个实施例中，所述根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数的步骤S4，包括：
S401：获取所述语法线程和所述情感线程的当前参数值；
S402：根据所述当前参数值、以及所述损失值，计算所述语法线程和所述情感线程的整体损失值和损失比值；
S403：将所述整体损失值和所述损失比值输入至预设的参数调整公式中，得到所述语法线程和情感线程中的参数。
如上述步骤S401所述，获取所述语法线程和所述情感线程的当前参数值，该参数值可以直接从模型中实时提取出来。
如上述步骤S402所述，根据所述当前参数值、以及所述损失值，计算所述语法线程和所述情感线程的整体损失值和损失比值。具体地，可以根据公式Li(t)＝Li(t)/Li(0)计算损失比值，在本实施例中，由于还是第一次迭代，故Li(t)＝1，Li(t)为当前整体损失值，Li(0)为第一次的损失值(为第一损失值或第二损失值)。根据公式ri(t)＝Li(t)/Etask[Li(t)]计算语法线程和情感线程的平均损失比值，根据公式
Figure GDA0003925378420000111
计算目标损失值，其中，
Figure GDA0003925378420000112
表示第i个线程(语法线程或情感线程)第t次迭代时最近一层的梯度加权，
Figure GDA0003925378420000113
是两个任务的平均梯度，即语法线程和所述情感线程的当前参数的平均值。根据公式计算
Figure GDA0003925378420000114
和L＝w1L1+w2L2，得到对应的第一参数w1和第二参数w2。
参照图3，本发明还提供了一种文本关系抽取模型的训练装置，包括：
获取模块10，用于获取训练文本以及所述训练文本对应的词汇关系表格；
向量化模块20，用于按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
训练模块30，用于将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果；其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为所述倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
调整模块40，根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型。
本发明的有益效果：通过获取训练文本和对应的词汇关系表格，并将词汇关系表格作为最终的输出标准，再将训练文本进行向量化，得到各个词对应的词向量，基于迭代交叉训练的方式训练语法线程和情感线程，使两个线程不断的迭代耦合，从而减小了两个线程的冲突，使两个线程更加的平衡，最后再通过损失值判断是否进行收敛，从而完成了对文本关系抽取模型的训练。
参照图4，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种训练文本等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的文本关系抽取模型的训练方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一实施例所述的文本关系抽取模型的训练方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种文本关系抽取模型的训练方法，其特征在于，包括：
获取训练文本以及所述训练文本对应的词汇关系表格；
按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果；其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型，包括：根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果计算第一任务完成后的，所述语法线程的第一损失值，和所述情感线程第二损失值；所述第一任务为一次所述迭代交叉训练的任务；判断所述第一任务的第一损失值和所述第二损失值是否均小于预设损失值；若否，则根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数；根据第一参数和第二参数开启第二任务，所述第一参数为执行所述第一任务后所述语法线程的参数，所述第二参数为执行所述第一任务后所述情感线程的参数，并计算所述第二任务对应的第一损失值和第二损失值；所述第二任务为又一次所述迭代交叉训练的任务；判断所述第二任务的第一损失值和第二损失值是否均小于所述预设损失值；若是，则得到所述文本关系抽取模型。
2.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量的步骤中，第一词汇的向量化的步骤包括：
基于lstm的char编码、lstm的word编码以及bert的char编码分别对所述第一词汇进行编码，对应得到第一编码、第二编码和第三编码；其中，所述第一词汇为所述训练文本中的任意一个词汇；
将所述第一编码、所述第二编码和所述第三编码按照顺序拼接，得到所述第一词汇对应的词向量。
3.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤中，在所述情感线程的训练中非第一层和第二层的训练步骤包括：
获取上一层训练层中所述语法线程的第一输出结果，以及获取上两层的第二输出结果；
根据公式Sl＝LayerNorm(Sl-1+TableGuideAttn(Sl-1))进行迭代交叉训练，其中，Sl-1表示所述第二输出结果，TableGuideAttn表示所述第一输出结果，Sl表示当前训练层的输出结果，LayerNorm表示进行归一化处理。
4.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤中，在所述语法线程的训练中非第一层和第二层的训练步骤包括：
获取上一步训练层中所述情感线程的第三输出结果，以及获取上两步的第四输出结果；
根据公式Tm,i,j＝GRU(Xm,i,j,Tm-1,i,j,Tm,i-1,j,Tm,i,j-1)进行迭代交叉训练，其中Xm,i,j＝ReLU(Linear([Sm-1,i；Sm-1,j]))，其中，Tm,i,j表示第m层对第i个字和第j个字的交互。
5.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述得到所述文本关系抽取模型的步骤之前，还包括：
计算最后一次迭代任务的第一损失值与前一次迭代任务的第一损失值的第一损失差值；
判断所述第一损失差值是否小于预设差值；
若小于所述预设差值，则判定满足执行所述得到所述文本关系抽取模型的步骤的条件。
6.如权利要求5所述的文本关系抽取模型的训练方法，其特征在于，所述判断所述第一损失差值是否小于预设差值的步骤之后，还包括：
若大于或等于所述预设差值，则根据所述最后一次迭代任务的第一损失值调整所述语法线程的第一参数，以及所述情感线程的第二参数；
基于调整后的第一参数和第二参数开启附加任务；
计算所述附加任务的第一损失值与所述最后一次迭代任务的第一损失值的第二损失差值；
判断所述第二损失差值是否小于预设差值；
若小于所述预设差值，则判定满足执行所述得到所述文本关系抽取模型的步骤的条件。
7.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数的步骤，包括：
获取所述语法线程和所述情感线程的当前参数值；
根据所述当前参数值、以及所述损失值，计算所述语法线程和所述情感线程的整体损失值和损失比值；
将所述整体损失值和所述损失比值输入至预设的参数调整公式中，得到所述语法线程和情感线程中的参数。
8.一种文本关系抽取模型的训练装置，其特征在于，包括：
获取模块，用于获取训练文本以及所述训练文本对应的词汇关系表格；
向量化模块，用于按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；
训练模块，用于将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果；其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；
调整模块，根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型，包括：根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果计算第一任务完成后的，所述语法线程的第一损失值，和所述情感线程第二损失值；所述第一任务为一次所述迭代交叉训练的任务；判断所述第一任务的第一损失值和所述第二损失值是否均小于预设损失值；若否，则根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数；根据第一参数和第二参数开启第二任务，所述第一参数为执行所述第一任务后所述语法线程的参数，所述第二参数为执行所述第一任务后所述情感线程的参数，并计算所述第二任务对应的第一损失值和第二损失值；所述第二任务为又一次所述迭代交叉训练的任务；判断所述第二任务的第一损失值和第二损失值是否均小于所述预设损失值；若是，则得到所述文本关系抽取模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110610936.6A 2021-06-01 2021-06-01 文本关系抽取模型的训练方法、装置以及计算机设备 Active CN113282710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610936.6A CN113282710B (zh) 2021-06-01 2021-06-01 文本关系抽取模型的训练方法、装置以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610936.6A CN113282710B (zh) 2021-06-01 2021-06-01 文本关系抽取模型的训练方法、装置以及计算机设备

Publications (2)

Publication Number Publication Date
CN113282710A CN113282710A (zh) 2021-08-20
CN113282710B true CN113282710B (zh) 2023-02-03

Family

ID=77282972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610936.6A Active CN113282710B (zh) 2021-06-01 2021-06-01 文本关系抽取模型的训练方法、装置以及计算机设备

Country Status (1)

Country Link
CN (1) CN113282710B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628431C1 (ru) * 2016-04-12 2017-08-16 Общество с ограниченной ответственностью "Аби Продакшн" Подбор параметров текстового классификатора на основе семантических признаков
US20200125639A1 (en) * 2018-10-22 2020-04-23 Ca, Inc. Generating training data from a machine learning model to identify offensive language
CN109960726B (zh) * 2019-02-13 2024-01-23 平安科技（深圳）有限公司 文本分类模型构建方法、装置、终端及存储介质
US11132507B2 (en) * 2019-04-02 2021-09-28 International Business Machines Corporation Cross-subject model-generated training data for relation extraction modeling
CN110929030B (zh) * 2019-11-07 2022-05-03 电子科技大学 一种文本摘要和情感分类联合训练方法

Also Published As

Publication number Publication date
CN113282710A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN111897673B (zh) 运维故障根因识别方法、装置、计算机设备和存储介质
CN112612894A (zh) 意图识别模型的训练方法、装置、计算机设备和存储介质
CN112016279A (zh) 电子病历结构化方法、装置、计算机设备和存储介质
CN112464117A (zh) 请求处理方法、装置、计算机设备和存储介质
CN112329865A (zh) 基于自编码器的数据异常识别方法、装置和计算机设备
CN111901554B (zh) 基于语义聚类的通话通道构建方法、装置和计算机设备
CN115186062A (zh) 多模态预测方法、装置、设备及存储介质
CN113282710B (zh) 文本关系抽取模型的训练方法、装置以及计算机设备
CN113177109A (zh) 文本的弱标注方法、装置、设备以及存储介质
CN112637282B (zh) 信息推送方法、装置、计算机设备和存储介质
CN113986581A (zh) 数据聚合处理方法、装置、计算机设备和存储介质
CN113204619A (zh) 基于自然语言处理的语句补全方法、装置、设备及介质
CN112328285A (zh) 系统新功能生产更新方法、装置、设备及介质
CN112685012A (zh) 基于区块链的微服务架构实现方法、装置、设备及介质
CN112395857A (zh) 基于对话系统的语音文本处理方法、装置、设备及介质
CN113064997B (zh) 基于bert模型的意图分析方法、装置、设备及介质
CN114416875A (zh) 基于区块链的任务处理方法、装置、设备以及存储介质
CN113312481A (zh) 基于区块链的文本分类方法、装置、设备以及存储介质
CN112966787B (zh) 相似患者的识别方法、装置、计算机设备和存储介质
CN111883112B (zh) 基于多模式标识的语义识别方法、装置和计算机设备
CN113177396B (zh) 报表生成方法、装置、计算机设备和存储介质
CN113919953A (zh) 跨链生成智能合约的实现方法、装置、设备以及存储介质
CN113420307B (zh) 密文数据的评估方法、装置、计算机设备和存储介质
CN114547053A (zh) 基于系统的数据处理方法、装置、计算机设备和存储介质
CN113657549A (zh) 医疗数据审核方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant