CN113255371A - 一种半监督的中英文隐式篇章关系识别方法与系统 - Google Patents

一种半监督的中英文隐式篇章关系识别方法与系统 Download PDF

Info

Publication number
CN113255371A
CN113255371A CN202110796271.2A CN202110796271A CN113255371A CN 113255371 A CN113255371 A CN 113255371A CN 202110796271 A CN202110796271 A CN 202110796271A CN 113255371 A CN113255371 A CN 113255371A
Authority
CN
China
Prior art keywords
discourse relation
english
chinese
implicit
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110796271.2A
Other languages
English (en)
Other versions
CN113255371B (zh
Inventor
邬昌兴
胡明昆
俞亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202110796271.2A priority Critical patent/CN113255371B/zh
Publication of CN113255371A publication Critical patent/CN113255371A/zh
Application granted granted Critical
Publication of CN113255371B publication Critical patent/CN113255371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种半监督的中英文隐式篇章关系识别方法与系统，该方法包括如下步骤：步骤一、数据集准备；步骤二、模型构建：在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；步骤三、无监督的模型训练；步骤四、有监督的模型训练；步骤五、预测结果输出。本发明提出的半监督的中英文隐式篇章关系识别方法，基于两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集联合训练中文和英文隐式篇章关系识别模型，可充分有效地利用两种语言中未标注的和标注的数据集，以同时提高中英文隐式篇章关系识别的性能。

Description

一种半监督的中英文隐式篇章关系识别方法与系统
技术领域
本发明涉及计算机语言处理技术领域，特别涉及一种半监督的中英文隐式篇章关系识别方法与系统。
背景技术
隐式篇章关系识别旨在自动推断缺少篇章连接词的两个论元(句子或子句)之间的语义关系，例如，转折和因果。在不同的语言中，通常都有少量人工标注的篇章关系数据集，例如，中文CDTB数据集和英文PDTB数据集。由于人工标注篇章关系数据集非常困难，导致不管是CDTB数据集还是PDTB数据集的规模都比较小。其中，CDTB数据集中标注的隐式篇章关系实例有5500个左右，而目前规模最大的PDTB数据集中也仅包含16000个左右的实例。这些人工标注的语料虽然数量不多，但质量非常高。因此，如何充分有效地利用不同语言中标注的篇章关系数据集是一个非常值得研究的问题，能有效地缓解训练数据短缺的问题，从而提升隐式篇章关系识别模型的性能。
中文和英文中都具有少量标注的篇章关系数据集，虽然他们各自定义的篇章关系类别有一定的差异，不存在一一对应关系，但两种不同语言的数据集显然是可以相互增强的。如图1所示，对于本发明提出的中文和英文隐式篇章关系实例示意图，其中，中文篇章实例中的“转折关系”和英文篇章实例中的“Contrast”关系是相互对应的。因此，隐式篇章关系识别模型应该具备从这些不同语言中具有相同语义关系的实例中学习知识的能力。
然而，现有技术中，缺少同时利用中英两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集进行隐式篇章关系识别的方法，在一定程度上限制了中英文隐式篇章关系的识别性能的提高。
发明内容
鉴于上述状况，有必要解决现有技术中，缺少同时利用中英两种语言中人工标注的篇章关系数据集进行隐式篇章关系识别的方法，在一定程度上限制了中英文隐式篇章关系的识别性能的提高的问题。
本发明实施例提出一种半监督的中英文隐式篇章关系识别方法，其中，所述方法包括如下步骤：
步骤一、数据集准备：
给定人工标注的中文篇章关系数据集
Figure 384824DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 268467DEST_PATH_IMAGE002
，以及未标注的中文篇章关系数据集
Figure 351960DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 321053DEST_PATH_IMAGE004
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 903520DEST_PATH_IMAGE005
的译文数据集
Figure 641669DEST_PATH_IMAGE006
，
Figure 161643DEST_PATH_IMAGE002
的译文数据集
Figure 618033DEST_PATH_IMAGE007
，
Figure 248865DEST_PATH_IMAGE008
的译文数据集
Figure 107100DEST_PATH_IMAGE009
以及
Figure 797975DEST_PATH_IMAGE010
的译文数据集
Figure 476081DEST_PATH_IMAGE011
；
步骤二、模型构建：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；
步骤三、无监督的模型训练：
基于未标注的中文篇章关系数据集
Figure 409140DEST_PATH_IMAGE003
、未标注的英文篇章关系数据集
Figure 121881DEST_PATH_IMAGE004
、
Figure 983658DEST_PATH_IMAGE003
的译文数据集
Figure 414639DEST_PATH_IMAGE009
以及
Figure 387274DEST_PATH_IMAGE004
的译文数据集
Figure 954522DEST_PATH_IMAGE012
，随机初始化中文隐式篇章关系识别模型的参数
Figure 987200DEST_PATH_IMAGE013
以及英文隐式篇章关系识别模型的参数
Figure 639898DEST_PATH_IMAGE014
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 917689DEST_PATH_IMAGE013
以及参数
Figure 605022DEST_PATH_IMAGE015
的值；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；
步骤四、有监督的模型训练：
基于人工标注的中文篇章关系数据集
Figure 74181DEST_PATH_IMAGE001
、人工标注的英文篇章关系数据集
Figure 948596DEST_PATH_IMAGE016
、
Figure 263034DEST_PATH_IMAGE005
的译文数据集
Figure 804874DEST_PATH_IMAGE017
以及
Figure 444934DEST_PATH_IMAGE016
的译文数据集
Figure 806645DEST_PATH_IMAGE018
，以无监督训练后得到的参数
Figure 423309DEST_PATH_IMAGE013
以及参数
Figure 85234DEST_PATH_IMAGE015
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练，直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练；
步骤五、预测结果输出：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
本发明提出一种半监督的中英文隐式篇章关系识别方法，具有如下优点：（1）基于大量未标注的中英文篇章关系数据集学习跨语言的元篇章关系知识，可解决跨语言数据集共享的问题。该过程还可看作是模型预训练的过程，有利于缓解标注数据集不足的问题；（2）采用的中英两种语言中未标注的和人工标注的数据集都需要翻译成相应的译文数据集(即中文数据集需翻译成英文，英文数据集需翻译成中文)，由于译文数据集也参与上述两个训练过程，因此可认为是某种意义上的数据增强；（3）基于两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集联合训练中文和英文隐式篇章关系识别模型，可充分有效地利用两种语言中标注的数据集，同时提高中英文隐式篇章关系识别的性能。
所述半监督的中英文隐式篇章关系识别方法，其中，所述基于注意力机制的隐式篇章关系识别模型包括编码层、基于注意力机制的特征层以及分类层；
其中，所述编码层用于学习论元中的词在上下文中的表示，具体表示为：
Figure 896195DEST_PATH_IMAGE019
其中，
Figure 745203DEST_PATH_IMAGE020
分别为论元1中第
Figure 667022DEST_PATH_IMAGE021
个词的词向量及其在上下文中的表示，
Figure 183454DEST_PATH_IMAGE022
分别为论元2中第
Figure 899737DEST_PATH_IMAGE023
个词的词向量及其在上下文中的表示，
Figure 970462DEST_PATH_IMAGE024
与
Figure 197437DEST_PATH_IMAGE025
分别是论元1与论元2中词的个数，BiLSTM1和BiLSTM2均为双向长短时记忆网络。
所述半监督的中英文隐式篇章关系识别方法，其中，所述基于注意力机制的特征层用于建模论元1与论元2之间的交互，具体表示为：
Figure 568376DEST_PATH_IMAGE026
其中，
Figure 455560DEST_PATH_IMAGE027
和
Figure 544739DEST_PATH_IMAGE028
分别为基于最大池化操作得到的论元1与论元2的语义表示；
Figure 542782DEST_PATH_IMAGE029
表示最大池化操作，
Figure 768227DEST_PATH_IMAGE030
为基于论元2的语义表示
Figure 91892DEST_PATH_IMAGE031
计算的论元1中的词的权重，
Figure 402788DEST_PATH_IMAGE032
为基于论元1的语义表示
Figure 703057DEST_PATH_IMAGE033
计算的论元2中的词的权重，
Figure 48587DEST_PATH_IMAGE034
为向量的转置，
Figure 277574DEST_PATH_IMAGE035
为归一化操作；
Figure 75766DEST_PATH_IMAGE036
和
Figure 681191DEST_PATH_IMAGE037
分别为语义交互后得到的论元1和论元2的语义表示，
Figure 881228DEST_PATH_IMAGE038
为拼接
Figure 281117DEST_PATH_IMAGE036
和
Figure 566604DEST_PATH_IMAGE037
得到特征层的输出；
所述分类层用于输出模型预测的结果，具体表示为：
Figure 477185DEST_PATH_IMAGE039
其中，
Figure 531729DEST_PATH_IMAGE040
是隐式篇章关系预测结果，
Figure 102518DEST_PATH_IMAGE041
表示多层感知机，由多个全连接的非线性神经网络层和一个
Figure 875302DEST_PATH_IMAGE042
层组成。
所述半监督的中英文隐式篇章关系识别方法，其中，对所述中文隐式篇章关系识别模型进行无监督训练的步骤中，对应的基于知识迁移的代价函数表示为：
Figure 556951DEST_PATH_IMAGE043
其中，
Figure 466001DEST_PATH_IMAGE044
为中文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 738850DEST_PATH_IMAGE013
为中文隐式篇章关系识别模型的参数，
Figure 467772DEST_PATH_IMAGE045
为未标注的中文隐式篇章关系实例
Figure 717225DEST_PATH_IMAGE046
的元篇章关系预测结果，
Figure 480782DEST_PATH_IMAGE047
为
Figure 658954DEST_PATH_IMAGE048
的英文译文实例
Figure 406330DEST_PATH_IMAGE049
的元篇章关系预测结果，
Figure 695360DEST_PATH_IMAGE050
表示两个概率分布之间的KL (Kullback-Leibler)距离，
Figure 313423DEST_PATH_IMAGE051
，
Figure 928075DEST_PATH_IMAGE052
。
所述半监督的中英文隐式篇章关系识别方法，其中，对所述英文隐式篇章关系识别模型进行无监督训练的步骤中，对应的基于知识迁移的代价函数表示为：
Figure 897168DEST_PATH_IMAGE053
其中，
Figure 315573DEST_PATH_IMAGE054
为英文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 53721DEST_PATH_IMAGE015
为英文隐式篇章关系识别模型的参数，
Figure 573696DEST_PATH_IMAGE055
为未标注的英文隐式篇章实例
Figure 30085DEST_PATH_IMAGE056
的元篇章关系预测结果，
Figure 395338DEST_PATH_IMAGE055
为
Figure 253573DEST_PATH_IMAGE056
的中文译文实例
Figure 678869DEST_PATH_IMAGE057
的元篇章关系预测结果，
Figure 622554DEST_PATH_IMAGE058
，
Figure 555613DEST_PATH_IMAGE059
。
所述半监督的中英文隐式篇章关系识别方法，其中，对所述中文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的中文模型的步骤中，对应的第一总体代价函数表示为：
Figure 268354DEST_PATH_IMAGE060
其中，
Figure 130131DEST_PATH_IMAGE061
为对应于基于知识迁移的代价函数的第一权重系数；
Figure 295533DEST_PATH_IMAGE062
其中，
Figure 268168DEST_PATH_IMAGE063
表示在人工标注的中文篇章关系数据集
Figure 100995DEST_PATH_IMAGE064
上定义的交叉熵分类代价函数，
Figure 133673DEST_PATH_IMAGE065
是中文隐式篇章关系识别模型的参数，
Figure 786371DEST_PATH_IMAGE066
是中文实例
Figure 64162DEST_PATH_IMAGE067
的隐式篇章关系预测结果，
Figure 751495DEST_PATH_IMAGE068
是
Figure 955075DEST_PATH_IMAGE069
的真实类别基于One-hot编码的表示，
Figure 95069DEST_PATH_IMAGE070
表示预测结果对于真实类别的期望值；
Figure 409507DEST_PATH_IMAGE071
其中，
Figure 951347DEST_PATH_IMAGE072
为基于中文篇章关系数据集
Figure 325827DEST_PATH_IMAGE073
及其译文数据集
Figure 953118DEST_PATH_IMAGE074
所定义的基于知识迁移的代价函数，
Figure 569782DEST_PATH_IMAGE075
是中文隐式篇章关系实例
Figure 966128DEST_PATH_IMAGE076
的元篇章关系预测结果，
Figure 511510DEST_PATH_IMAGE077
是
Figure 626096DEST_PATH_IMAGE069
的英文译文实例
Figure 547916DEST_PATH_IMAGE078
的元篇章关系预测结果，
Figure 798769DEST_PATH_IMAGE079
，
Figure 515052DEST_PATH_IMAGE080
。
所述半监督的中英文隐式篇章关系识别方法，其中，对所述英文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的英文模型的步骤中，对应的第二总体代价函数表示为：
Figure 116935DEST_PATH_IMAGE081
其中，
Figure 78331DEST_PATH_IMAGE082
为对应于基于知识迁移的代价函数的第二权重系数；
Figure 449269DEST_PATH_IMAGE083
其中，
Figure 336454DEST_PATH_IMAGE063
表示在人工标注的英文篇章关系数据集
Figure 425633DEST_PATH_IMAGE084
上定义的交叉熵分类代价函数，
Figure 423676DEST_PATH_IMAGE014
是英文隐式篇章关系识别模型的参数，
Figure 649121DEST_PATH_IMAGE085
是英文隐式篇章关系实例
Figure 972786DEST_PATH_IMAGE086
的隐式篇章关系预测结果，
Figure 283681DEST_PATH_IMAGE087
是
Figure 583950DEST_PATH_IMAGE088
的真实类别基于One-hot编码的表示，
Figure 929481DEST_PATH_IMAGE089
表示预测结果对于真实标记的期望值；
Figure 17523DEST_PATH_IMAGE090
其中，
Figure 956660DEST_PATH_IMAGE091
为基于英文篇章关系数据集
Figure 421139DEST_PATH_IMAGE092
及其译文数据集
Figure 496543DEST_PATH_IMAGE093
所定义的基于知识迁移的代价函数，
Figure 21065DEST_PATH_IMAGE094
是英文隐式篇章关系实例
Figure 181919DEST_PATH_IMAGE095
的元篇章关系预测结果，
Figure 450089DEST_PATH_IMAGE096
是
Figure 881464DEST_PATH_IMAGE095
的中文译文实例
Figure 842467DEST_PATH_IMAGE097
的元篇章关系预测结果，
Figure 490617DEST_PATH_IMAGE098
，
Figure 296899DEST_PATH_IMAGE099
。
本发明还提出一种半监督的中英文隐式篇章关系识别系统，其中，所述系统包括依次连接的数据集预处理模块、模型构建模块、第一训练模块、第二训练模块以及结果输出模块：
所述数据集预处理模块用于：
给定人工标注的中文篇章关系数据集
Figure 346894DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 213219DEST_PATH_IMAGE002
，以及未标注的中文篇章关系数据集
Figure 348666DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 958638DEST_PATH_IMAGE004
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 361676DEST_PATH_IMAGE001
的译文数据集
Figure 664481DEST_PATH_IMAGE006
，
Figure 756065DEST_PATH_IMAGE002
的译文数据集
Figure 169729DEST_PATH_IMAGE018
，
Figure 928737DEST_PATH_IMAGE008
的译文数据集
Figure 402444DEST_PATH_IMAGE009
以及
Figure 246903DEST_PATH_IMAGE004
的译文数据集
Figure 198679DEST_PATH_IMAGE012
；
所述模型构建模块用于：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；
所述第一训练模块用于：
基于未标注的中文篇章关系数据集
Figure 567519DEST_PATH_IMAGE003
、未标注的英文篇章关系数据集
Figure 212127DEST_PATH_IMAGE004
、
Figure 543882DEST_PATH_IMAGE003
的译文数据集
Figure 299349DEST_PATH_IMAGE100
以及
Figure 767370DEST_PATH_IMAGE004
的译文数据集
Figure 582880DEST_PATH_IMAGE011
，随机初始化中文隐式篇章关系识别模型的参数
Figure 401931DEST_PATH_IMAGE101
以及英文隐式篇章关系识别模型的参数
Figure 961088DEST_PATH_IMAGE102
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 47731DEST_PATH_IMAGE101
以及参数
Figure 768562DEST_PATH_IMAGE102
的值；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；
所述第二训练模块用于：
基于人工标注的中文篇章关系数据集
Figure 74910DEST_PATH_IMAGE005
、人工标注的英文篇章关系数据集
Figure 172179DEST_PATH_IMAGE103
、
Figure 880372DEST_PATH_IMAGE001
的译文数据集
Figure 772104DEST_PATH_IMAGE006
以及
Figure 565748DEST_PATH_IMAGE002
的译文数据集
Figure 466708DEST_PATH_IMAGE007
，以无监督训练后得到的参数
Figure 622883DEST_PATH_IMAGE101
以及参数
Figure 593506DEST_PATH_IMAGE102
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练；
所述结果输出模块用于：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明的中文和英文隐式篇章关系实例示意图；
图2为本发明提出的半监督的中英文隐式篇章关系识别方法的原理图；
图3为本发明提出的半监督的中英文隐式篇章关系识别方法的流程图；
图4为本发明中基于注意力机制隐式篇章关系识别模型的结构示意图；
图5为本发明提出的半监督的中英文隐式篇章关系识别系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
为了解决这一技术问题，请参阅图1至图4，其中，图1为本发明的中文和英文隐式篇章关系实例示意图，图2为本发明提出的半监督的中英文隐式篇章关系识别方法的原理图，图4为本发明中基于注意力机制隐式篇章关系识别模型的结构示意图，本发明提出一种半监督的中英文隐式篇章关系识别方法，其中，所述方法包括如下步骤：
S101，数据集准备：
给定人工标注的中文篇章关系数据集
Figure 467921DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 47938DEST_PATH_IMAGE002
，以及未标注的中文篇章关系数据集
Figure 589778DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 964259DEST_PATH_IMAGE104
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 591549DEST_PATH_IMAGE005
的译文数据集
Figure 709678DEST_PATH_IMAGE006
，
Figure 106024DEST_PATH_IMAGE103
的译文数据集
Figure 149941DEST_PATH_IMAGE007
，
Figure 264528DEST_PATH_IMAGE003
的译文数据集
Figure 920768DEST_PATH_IMAGE100
以及
Figure 437200DEST_PATH_IMAGE010
的译文数据集
Figure 153484DEST_PATH_IMAGE011
。
S102，模型构建：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型。
如图2所示，基于注意力机制的隐式篇章关系识别模型包括编码层（包括编码层1以及编码层2）、基于注意力机制的特征层以及分类层。
其中，编码层用于学习论元中的词在上下文中的表示，采用双向长短时记忆网络(BiLSTM)，具体表示为：
Figure 755366DEST_PATH_IMAGE019
其中，
Figure 215297DEST_PATH_IMAGE020
分别为论元1中第
Figure 320657DEST_PATH_IMAGE021
个词的词向量及其在上下文中的表示，
Figure 974885DEST_PATH_IMAGE022
分别为论元2中第
Figure 532906DEST_PATH_IMAGE023
个词的词向量及其上下文中的表示，
Figure 796528DEST_PATH_IMAGE024
与
Figure 21973DEST_PATH_IMAGE025
分别是论元1与论元2中词的个数，BiLSTM 1和BiLSTM 2均为双向长短时记忆网络，用于论元1和论元2的编码层。
基于注意力机制的特征层用于建模论元1与论元2之间的交互，即学习篇章语义关系的特征表示，具体表示为：
Figure 80059DEST_PATH_IMAGE026
其中，
Figure 656534DEST_PATH_IMAGE027
和
Figure 458267DEST_PATH_IMAGE028
分别为基于最大池化操作得到的论元1与论元2的语义表示；
Figure 538219DEST_PATH_IMAGE029
表示最大池化操作，
Figure 531320DEST_PATH_IMAGE030
为基于论元2的语义表示
Figure 329512DEST_PATH_IMAGE031
计算的论元1中的词的权重，
Figure 934937DEST_PATH_IMAGE105
为基于论元1的语义表示
Figure 869395DEST_PATH_IMAGE033
计算的论元2中的词的权重，
Figure 534863DEST_PATH_IMAGE034
为向量的转置，
Figure 820350DEST_PATH_IMAGE035
为归一化操作；
Figure 963887DEST_PATH_IMAGE036
和
Figure 18431DEST_PATH_IMAGE037
分别为语义交互后得到的论元1和论元2的语义表示，
Figure 713854DEST_PATH_IMAGE106
为拼接
Figure 863469DEST_PATH_IMAGE036
和
Figure 810697DEST_PATH_IMAGE037
得到特征层的输出。
分类层（MLP层）由多个全连接的非线性神经网络层和一个
Figure 985326DEST_PATH_IMAGE035
层组成，用于输出模型预测的结果，具体表示为：
Figure 586072DEST_PATH_IMAGE039
其中，
Figure 721518DEST_PATH_IMAGE040
是隐式篇章关系预测结果，
Figure 472436DEST_PATH_IMAGE041
表示多层感知机。
在本发明中，构建中文隐式篇章关系识别模型，仅需简单扩展上述隐式篇章关系识别模型。具体地，在基于注意力机制的特征层上叠加两个分类层（MLP层）：
Figure 235993DEST_PATH_IMAGE107
用于输出中文隐式篇章关系预测结果，
Figure 273219DEST_PATH_IMAGE108
用于输出元篇章关系预测结果。
同理，构建英文隐式篇章关系识别模型，同样仅需简单扩展上述隐式篇章关系识别模型。具体地，在基于注意力机制的特征层上叠加两个分类层（MLP层）：
Figure 394497DEST_PATH_IMAGE109
用于输出英文隐式篇章关系预测结果，
Figure 808160DEST_PATH_IMAGE110
用于输出元篇章关系预测结果。
S103，无监督的模型训练：
基于未标注的中文篇章关系数据集
Figure 832748DEST_PATH_IMAGE111
、未标注的英文篇章关系数据集
Figure 40876DEST_PATH_IMAGE004
、
Figure 885335DEST_PATH_IMAGE003
的译文数据集
Figure 837110DEST_PATH_IMAGE009
以及
Figure 716205DEST_PATH_IMAGE010
的译文数据集
Figure 95233DEST_PATH_IMAGE112
，随机初始化中文隐式篇章关系识别模型的参数
Figure 940172DEST_PATH_IMAGE101
以及英文隐式篇章关系识别模型的参数
Figure 695639DEST_PATH_IMAGE102
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 429239DEST_PATH_IMAGE101
以及参数
Figure 244749DEST_PATH_IMAGE102
的值。
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移。
对所述中文隐式篇章关系识别模型进行无监督训练的过程中，对
Figure 594959DEST_PATH_IMAGE113
中的任一中文隐式篇章实例与其对应的
Figure 203051DEST_PATH_IMAGE114
中的英文译文实例，分别基于中文和英文隐式篇章关系识别模型预测其元篇章关系，以尽可能使二者的预测结果是一致的，对应的基于知识迁移的代价函数表示为：
Figure 915792DEST_PATH_IMAGE043
其中，
Figure 777569DEST_PATH_IMAGE044
为中文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 606286DEST_PATH_IMAGE013
为中文隐式篇章关系识别模型的参数，
Figure 703555DEST_PATH_IMAGE045
为未标注的中文隐式篇章关系实例
Figure 146168DEST_PATH_IMAGE046
的元篇章关系预测结果（中文隐式篇章关系识别模型的输出），
Figure 303480DEST_PATH_IMAGE047
为
Figure 598589DEST_PATH_IMAGE046
的英文译文实例
Figure 968390DEST_PATH_IMAGE049
的元篇章关系预测结果，
Figure 531090DEST_PATH_IMAGE050
表示两个概率分布之间的KL (Kullback-Leibler)距离，
Figure 859303DEST_PATH_IMAGE051
，
Figure 267806DEST_PATH_IMAGE052
。
类似地，在英文隐式篇章关系识别模型进行无监督训练的过程中，对
Figure 972457DEST_PATH_IMAGE115
中的任一英文隐式篇章关系实例与其对应的
Figure 404311DEST_PATH_IMAGE116
中的中文译文实例，分别基于英文和中文隐式篇章关系识别模型预测其元篇章关系，以尽可能使二者的预测结果是一致的，对应的基于知识迁移的代价函数表示为：
Figure 903426DEST_PATH_IMAGE053
其中，
Figure 406082DEST_PATH_IMAGE054
为英文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 524211DEST_PATH_IMAGE015
为英文隐式篇章关系识别模型的参数，
Figure 186137DEST_PATH_IMAGE055
为未标注的英文隐式篇章实例
Figure 590573DEST_PATH_IMAGE056
的元篇章关系预测结果（英文隐式篇章关系识别模型的输出），
Figure 344640DEST_PATH_IMAGE117
为
Figure 881DEST_PATH_IMAGE118
的中文译文实例
Figure 517313DEST_PATH_IMAGE057
的元篇章关系预测结果（中文隐式篇章关系识别模型的输出），
Figure 233596DEST_PATH_IMAGE058
，
Figure 835479DEST_PATH_IMAGE059
。
总体而言，无监督训练使两个不同语言的模型学到的知识趋于一致，这些知识可认为是跨语言的篇章关系知识，在本发明中具体体现为中英文中通用的元篇章关系类别。
S104，有监督的模型训练：
基于人工标注的中文篇章关系数据集
Figure 295410DEST_PATH_IMAGE005
、人工标注的英文篇章关系数据集
Figure 666348DEST_PATH_IMAGE016
、
Figure 54998DEST_PATH_IMAGE001
的译文数据集
Figure 878597DEST_PATH_IMAGE006
以及
Figure 142220DEST_PATH_IMAGE002
的译文数据集
Figure 367665DEST_PATH_IMAGE007
，以无监督训练后得到的参数
Figure 425750DEST_PATH_IMAGE101
以及参数
Figure 2225DEST_PATH_IMAGE102
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练，直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型。
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练。
在有监督的训练阶段，基于少量人工标注的两种语言的篇章关系训练集，联合训练中文和英文隐式篇章关系识别模型，通过知识的双向迁移，以达到共同提高的目的。
在中文隐式篇章关系识别模型的有监督训练过程中，一方面在人工标注的中文篇章数据集
Figure 803959DEST_PATH_IMAGE001
上最小化交叉熵分类代价函数，代价函数定义如下所示：
Figure 883911DEST_PATH_IMAGE062
其中，
Figure 237532DEST_PATH_IMAGE063
表示在人工标注的中文篇章关系数据集
Figure 675204DEST_PATH_IMAGE064
上定义的交叉熵分类代价函数，
Figure 874104DEST_PATH_IMAGE065
是中文隐式篇章关系识别模型的参数，
Figure 215087DEST_PATH_IMAGE066
是中文实例
Figure 739609DEST_PATH_IMAGE119
的隐式篇章关系预测结果，
Figure 634884DEST_PATH_IMAGE068
是
Figure 168633DEST_PATH_IMAGE119
的真实类别基于One-hot编码的表示，
Figure 98543DEST_PATH_IMAGE070
表示预测结果对于真实类别的期望值。
另一方面，为了学习英文隐式篇章关系识别模型中的知识，基于中文篇章数据集
Figure 793967DEST_PATH_IMAGE001
及其译文数据集
Figure 943582DEST_PATH_IMAGE006
定义基于知识迁移的代价函数，如下所示：
Figure 15443DEST_PATH_IMAGE071
其中，
Figure 799859DEST_PATH_IMAGE072
为基于中文篇章关系数据集
Figure 931763DEST_PATH_IMAGE001
及其译文数据集
Figure 801630DEST_PATH_IMAGE006
所定义的基于知识迁移的代价函数，
Figure 411603DEST_PATH_IMAGE075
是中文隐式篇章关系实例
Figure 581685DEST_PATH_IMAGE120
的元篇章关系预测结果，
Figure 618911DEST_PATH_IMAGE077
是
Figure 474609DEST_PATH_IMAGE076
的英文译文实例
Figure 888273DEST_PATH_IMAGE121
的元篇章关系预测结果，
Figure 647281DEST_PATH_IMAGE122
，
Figure 855409DEST_PATH_IMAGE080
。
在进行训练时，通过最小化基于知识迁移的代价函数，可以迫使中文和英文模型的元篇章关系预测结果趋于一致，从而达到知识迁移的目的。也即，中文隐式篇章关系识别模型吸收了来自英文隐式篇章关系识别模型中的知识。
最后，有监督训练中文隐式篇章关系识别模型的总体代价函数定义为上述交叉熵分类代价函数和基于知识迁移的代价函数的线性求和，如下所示：
Figure 699868DEST_PATH_IMAGE060
其中，
Figure 917223DEST_PATH_IMAGE061
为对应于基于知识迁移的代价函数的第一权重系数。
在英文隐式篇章关系识别模型有监督的训练过程中，一方面在数据集
Figure 530738DEST_PATH_IMAGE002
上最小化交叉熵分类代价函数，代价函数定义如下所示：
Figure 175346DEST_PATH_IMAGE083
其中，
Figure 996847DEST_PATH_IMAGE123
表示在人工标注的英文篇章关系数据集
Figure 752314DEST_PATH_IMAGE002
上定义的交叉熵分类代价函数，
Figure 485914DEST_PATH_IMAGE014
是英文隐式篇章关系识别模型的参数，
Figure 301424DEST_PATH_IMAGE085
是英文隐式篇章关系实例
Figure 854896DEST_PATH_IMAGE086
的隐式篇章关系预测结果，
Figure 148474DEST_PATH_IMAGE087
是
Figure 861215DEST_PATH_IMAGE086
的真实类别基于One-hot编码的表示，
Figure 722992DEST_PATH_IMAGE089
表示预测结果对于真实标记的期望值。
另一方面，为了学习中文隐式篇章关系识别模型中的知识，定义基于知识迁移的代价函数，如下所示：
Figure 153973DEST_PATH_IMAGE090
其中，
Figure 625144DEST_PATH_IMAGE094
是英文隐式篇章关系实例
Figure 926812DEST_PATH_IMAGE086
的元篇章关系预测结果，
Figure 959490DEST_PATH_IMAGE096
是
Figure 612188DEST_PATH_IMAGE124
的中文译文实例
Figure 388514DEST_PATH_IMAGE097
的元篇章关系预测结果，
Figure 75848DEST_PATH_IMAGE125
，
Figure 279427DEST_PATH_IMAGE099
。
通过最小化上述基于知识迁移的代价函数，可以迫使英文和中文模型的元篇章关系预测结果趋于相同，从而达到知识迁移的目的。也即，英文隐式篇章关系识别模型吸收了来自中文隐式篇章关系识别模型中的知识。
最后，有监督训练英文隐式篇章关系模型的总体代价函数定义为上述交叉熵分类代价函数和基于知识迁移的代价函数的线性求和，如下所示：
Figure 419421DEST_PATH_IMAGE081
其中，
Figure 235324DEST_PATH_IMAGE082
为对应于基于知识迁移的代价函数的第二权重系数。
如下所述，算法1描述了半监督的中英文隐式篇章关系识别方法的训练过程。整个训练过程是一个两阶段的训练过程：第一阶段，基于未标注的中英文隐式篇章关系数据无监督训练两个模型的过程（步骤2~9）；第二阶段，基于标注的中英文隐式篇章关系数据有监督训练两个模型的过程（步骤10~17）。为了简洁，算法1中省略了基于验证数据集判断模型是否收敛的过程。最终训练得到的中文模型和英文模型即为需要的隐式篇章关系识别模型。
算法1：训练算法
输入：标注数据集
Figure 777164DEST_PATH_IMAGE126
及对应的译文数据集
Figure 151644DEST_PATH_IMAGE127
，无标注数据集
Figure 778935DEST_PATH_IMAGE128
及对应的译文数据集
Figure 897063DEST_PATH_IMAGE129
，最大训练轮数
Figure 558989DEST_PATH_IMAGE130
输出：训练好的中文模型与英文模型
1.构造中文模型和英文模型，并分别随机初始化对应模型参数
Figure 104371DEST_PATH_IMAGE131
2.重复以下步骤：
/* 无监督训练中文隐式篇章关系识别模型 */
3.取一批无标注的中文实例
Figure 953378DEST_PATH_IMAGE132
，并取其对应的译文实例
Figure 734252DEST_PATH_IMAGE133
4.计算元篇章关系预测结果
Figure 624586DEST_PATH_IMAGE134
和
Figure 465503DEST_PATH_IMAGE135
5.最小化中文模型无监督代价函数
Figure 677172DEST_PATH_IMAGE136
，更新参数
Figure 261738DEST_PATH_IMAGE137
/* 无监督训练英文隐式篇章关系识别模型 */
6.取一批无标注的英文实例
Figure 508042DEST_PATH_IMAGE138
，并取其对应的译文实例
Figure 519861DEST_PATH_IMAGE139
7.计算元篇章关系预测结果
Figure 484406DEST_PATH_IMAGE140
和
Figure 607082DEST_PATH_IMAGE141
8.最小化英文模型无监督代价函数
Figure 474938DEST_PATH_IMAGE142
，更新参数
Figure 657657DEST_PATH_IMAGE143
9.直到：达到最大训练轮数
Figure 843919DEST_PATH_IMAGE144
10.重复以下步骤：
/* 有监督训练中文隐式篇章关系识别模型 */
11.取一批中文实例
Figure 770287DEST_PATH_IMAGE145
，并取其对应的一批译文实例
Figure 725604DEST_PATH_IMAGE146
12.计算中文篇章关系预测结果
Figure 79225DEST_PATH_IMAGE147
，并计算元篇章关系预测结果
Figure 18363DEST_PATH_IMAGE148
和
Figure 482842DEST_PATH_IMAGE149
13.最小化中文模型有监督代价函数
Figure 56781DEST_PATH_IMAGE150
，更新参数
Figure 581303DEST_PATH_IMAGE151
/* 有监督训练英文隐式篇章关系识别模型 */
14.取一批英文实例
Figure 742157DEST_PATH_IMAGE152
，并取其对应的一批译文实例
Figure 275906DEST_PATH_IMAGE153
15. 计算英文篇章关系预测结果
Figure 205816DEST_PATH_IMAGE154
，并计算元篇章关系预测结果
Figure 901240DEST_PATH_IMAGE155
和
Figure 549390DEST_PATH_IMAGE156
16. 最小化中文模型有监督代价函数
Figure 621251DEST_PATH_IMAGE157
，更新参数
Figure 907132DEST_PATH_IMAGE158
17.直到：模型收敛或达到最大训练轮数
Figure 39036DEST_PATH_IMAGE159
。
一方面，在中文隐式篇章关系识别模型的训练过程中，给定中文篇章关系数据集
Figure 908903DEST_PATH_IMAGE001
中标注的中文隐式篇章关系实例
Figure 784456DEST_PATH_IMAGE160
，经过基于注意力机制的特征层后得到的特征表示为
Figure 423378DEST_PATH_IMAGE161
，分别计算中文隐式篇章关系预测结果
Figure 726184DEST_PATH_IMAGE162
和中文元篇章关系预测结果
Figure 83347DEST_PATH_IMAGE163
，具体如下：
Figure 497011DEST_PATH_IMAGE164
类似地，对于给定
Figure 754554DEST_PATH_IMAGE016
的译文数据集
Figure 962682DEST_PATH_IMAGE165
中经翻译得到的中文隐式篇章关系实例
Figure 931775DEST_PATH_IMAGE097
，可计算其对应的元篇章关系预测结果为
Figure 24496DEST_PATH_IMAGE166
。对于给定未标注的中文篇章关系数据集
Figure 762645DEST_PATH_IMAGE167
中的中文隐式篇章关系实例
Figure 282619DEST_PATH_IMAGE168
，可计算其对应的元篇章关系预测结果为
Figure 739008DEST_PATH_IMAGE045
；对于给定
Figure 369841DEST_PATH_IMAGE167
的译文数据集
Figure 228075DEST_PATH_IMAGE169
中经翻译得到的中文隐式篇章关系实例
Figure 166555DEST_PATH_IMAGE170
，可计算其对应的元篇章关系预测结果为
Figure 110240DEST_PATH_IMAGE171
。
从中文隐式篇章关系识别的角度看，数据集
Figure 544764DEST_PATH_IMAGE003
和
Figure 257505DEST_PATH_IMAGE169
都是未标注的数据集，模型训练的过程中只需要计算其中实例对应的元篇章关系预测结果即可。
另一方面，在英文隐式篇章关系识别模型的训练过程中，给定英文篇章关系数据集
Figure 119282DEST_PATH_IMAGE002
中标注的英文隐式篇章关系实例
Figure 19105DEST_PATH_IMAGE086
，经过基于注意力机制的特征层后得到的特征表示为
Figure 257319DEST_PATH_IMAGE172
，分别计算英文隐式篇章关系预测结果
Figure 824567DEST_PATH_IMAGE154
和英文元篇章关系预测结果
Figure 355780DEST_PATH_IMAGE173
，具体如下：
Figure 8478DEST_PATH_IMAGE174
类似地，对于给定
Figure 784804DEST_PATH_IMAGE175
的译文数据集
Figure 472137DEST_PATH_IMAGE176
中经翻译得到的英文隐式篇章关系实例
Figure 675717DEST_PATH_IMAGE177
，可计算其对应的元篇章关系预测结果为
Figure 815711DEST_PATH_IMAGE178
。
对于给定未标注的英文篇章数据集
Figure 130149DEST_PATH_IMAGE179
中的英文隐式篇章关系实例
Figure 671989DEST_PATH_IMAGE180
，可计算其对应的元篇章关系预测结果为
Figure 547934DEST_PATH_IMAGE181
；对于给定未标注的中文隐式篇章关系数据集
Figure 175225DEST_PATH_IMAGE003
的译文数据集
Figure 293353DEST_PATH_IMAGE182
中经翻译得到的英文隐式篇章关系实例
Figure 689700DEST_PATH_IMAGE049
，可计算其对应的元篇章关系预测结果为
Figure 235082DEST_PATH_IMAGE183
。
从英文隐式篇章关系识别的角度看，数据集
Figure 349668DEST_PATH_IMAGE010
和
Figure 271488DEST_PATH_IMAGE100
都是未标注的数据集，模型训练的过程中只需要计算其中实例对应的元篇章关系预测结果即可。
S105，预测结果输出：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
在本步骤中，在模型训练好之后，即用于预测实际中的篇章关系实例的类别。即根据训练好的中文隐式篇章关系识别模型输出中文隐式篇章关系预测结果
Figure 522340DEST_PATH_IMAGE162
，根据训练好的英文隐式篇章关系识别模型输出英文隐式篇章关系预测结果
Figure 737159DEST_PATH_IMAGE154
。
需要说明的，上述的中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型虽然均有两个输出，但元篇章关系预测结果输出只用于训练模型。当模型训练好之后，便只输出中文篇章关系类别或英文篇章关系类别了。
本发明提出一种半监督的中英文隐式篇章关系识别方法，具有如下优点：（1）基于大量未标注的中英文篇章关系数据集学习跨语言的元篇章关系知识，可解决跨语言数据集共享的问题。该过程还可看作是模型预训练的过程，有利于缓解标注数据集不足的问题；（2）采用的中英两种语言中未标注的和人工标注的数据集都需要翻译成相应的译文数据集(即中文数据集需翻译成英文，英文数据集需翻译成中文)，由于译文数据集也参与上述两个训练过程，因此可认为是某种意义上的数据增强；（3）基于两种语言中大量未标注的篇章关系数据集和少量人工标注的篇章关系数据集联合训练中文和英文隐式篇章关系识别模型，可充分有效地利用两种语言中标注的数据集，同时提高中英文隐式篇章关系识别的性能。
请参阅图5，本发明还提出一种半监督的中英文隐式篇章关系识别系统，其中，所述系统包括依次连接的数据集预处理模11、模型构建模块12、第一训练模块13、第二训练模块14以及结果输出模块15：
所述数据集预处理模块11用于：
给定人工标注的中文篇章关系数据集
Figure 745566DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 330131DEST_PATH_IMAGE002
，以及未标注的中文篇章关系数据集
Figure 576436DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 588254DEST_PATH_IMAGE010
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 552799DEST_PATH_IMAGE001
的译文数据集
Figure 675476DEST_PATH_IMAGE006
，
Figure 277752DEST_PATH_IMAGE002
的译文数据集
Figure 726051DEST_PATH_IMAGE007
，
Figure 912313DEST_PATH_IMAGE003
的译文数据集
Figure 838681DEST_PATH_IMAGE100
以及
Figure 918632DEST_PATH_IMAGE104
的译文数据集
Figure 147619DEST_PATH_IMAGE011
；
所述模型构建模块12用于：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；
所述第一训练模块13用于：
基于未标注的中文篇章关系数据集
Figure 945811DEST_PATH_IMAGE003
、未标注的英文篇章关系数据集
Figure 551236DEST_PATH_IMAGE104
、
Figure 751273DEST_PATH_IMAGE003
的译文数据集
Figure 649696DEST_PATH_IMAGE100
以及
Figure 669605DEST_PATH_IMAGE010
的译文数据集
Figure 813142DEST_PATH_IMAGE011
，随机初始化中文隐式篇章关系识别模型的参数
Figure 133264DEST_PATH_IMAGE101
以及英文隐式篇章关系识别模型的参数
Figure 704054DEST_PATH_IMAGE102
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 476838DEST_PATH_IMAGE101
以及参数
Figure 158486DEST_PATH_IMAGE102
的值；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；
所述第二训练模块14用于：
基于人工标注的中文篇章关系数据集
Figure 333116DEST_PATH_IMAGE001
、人工标注的英文篇章关系数据集
Figure 576272DEST_PATH_IMAGE002
、
Figure 836352DEST_PATH_IMAGE001
的译文数据集
Figure 321691DEST_PATH_IMAGE006
以及
Figure 350827DEST_PATH_IMAGE103
的译文数据集
Figure 528998DEST_PATH_IMAGE007
，以无监督训练后得到的参数
Figure 10795DEST_PATH_IMAGE101
以及参数
Figure 299825DEST_PATH_IMAGE102
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练
所述结果输出模块15用于：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种半监督的中英文隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：
步骤一、数据集准备：
给定人工标注的中文篇章关系数据集
Figure 462155DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 222038DEST_PATH_IMAGE002
以及未标注的中文篇章关系数据集
Figure 470617DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 662564DEST_PATH_IMAGE004
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 821144DEST_PATH_IMAGE005
的译文数据集
Figure 112448DEST_PATH_IMAGE006
，
Figure 972956DEST_PATH_IMAGE007
的译文数据集
Figure 640698DEST_PATH_IMAGE008
，
Figure 155249DEST_PATH_IMAGE003
的译文数据集
Figure 617455DEST_PATH_IMAGE009
以及
Figure 965259DEST_PATH_IMAGE010
的译文数据集
Figure 171113DEST_PATH_IMAGE011
；
步骤二、模型构建：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；
步骤三、无监督的模型训练：
基于未标注的中文篇章关系数据集
Figure 38706DEST_PATH_IMAGE003
、未标注的英文篇章关系数据集
Figure 937392DEST_PATH_IMAGE004
、
Figure 772492DEST_PATH_IMAGE012
的译文数据集
Figure 516458DEST_PATH_IMAGE013
以及
Figure 2671DEST_PATH_IMAGE014
的译文数据集
Figure 806679DEST_PATH_IMAGE015
，随机初始化中文隐式篇章关系识别模型的参数
Figure 129076DEST_PATH_IMAGE016
以及英文隐式篇章关系识别模型的参数
Figure 676732DEST_PATH_IMAGE017
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 518918DEST_PATH_IMAGE018
以及参数
Figure 759406DEST_PATH_IMAGE019
的值；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；
步骤四、有监督的模型训练：
基于人工标注的中文篇章关系数据集
Figure 303520DEST_PATH_IMAGE001
、人工标注的英文篇章关系数据集
Figure 654867DEST_PATH_IMAGE002
、
Figure 853023DEST_PATH_IMAGE001
的译文数据集
Figure 264413DEST_PATH_IMAGE006
以及
Figure 295823DEST_PATH_IMAGE002
的译文数据集
Figure 185282DEST_PATH_IMAGE008
，以无监督训练后得到的参数
Figure 923430DEST_PATH_IMAGE018
以及参数
Figure 584350DEST_PATH_IMAGE020
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练，直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练；
步骤五、预测结果输出：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
2.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法，其特征在于，所述基于注意力机制的隐式篇章关系识别模型包括编码层、基于注意力机制的特征层以及分类层；
其中，所述编码层用于学习论元中的词在上下文中的表示，具体表示为：
Figure 103056DEST_PATH_IMAGE021
其中，
Figure 796206DEST_PATH_IMAGE022
分别为论元1中第
Figure 700445DEST_PATH_IMAGE023
个词的词向量及其在上下文中的表示，
Figure 453638DEST_PATH_IMAGE024
分别为论元2中第
Figure 459640DEST_PATH_IMAGE025
个词的词向量及其在上下文中的表示，
Figure 956480DEST_PATH_IMAGE026
与
Figure 482271DEST_PATH_IMAGE027
分别是论元1与论元2中词的个数，BiLSTM 1和BiLSTM 2均为双向长短时记忆网络。
3.根据权利要求2所述的半监督的中英文隐式篇章关系识别方法，其特征在于，所述基于注意力机制的特征层用于建模论元1与论元2之间的交互，具体表示为：
Figure 140785DEST_PATH_IMAGE028
其中，
Figure 899663DEST_PATH_IMAGE029
和
Figure 934615DEST_PATH_IMAGE030
分别为基于最大池化操作得到的论元1与论元2的语义表示；
Figure 296937DEST_PATH_IMAGE031
表示最大池化操作，
Figure 923090DEST_PATH_IMAGE032
为基于论元2的语义表示
Figure 903684DEST_PATH_IMAGE033
计算的论元1中的词的权重，
Figure 820956DEST_PATH_IMAGE034
为基于论元1的语义表示
Figure 180393DEST_PATH_IMAGE035
计算的论元2中的词的权重，
Figure 836502DEST_PATH_IMAGE036
为向量的转置，
Figure 914180DEST_PATH_IMAGE037
为归一化操作；
Figure 930415DEST_PATH_IMAGE038
和
Figure 144359DEST_PATH_IMAGE039
分别为语义交互后得到的论元1和论元2的语义表示，
Figure 971369DEST_PATH_IMAGE040
为拼接
Figure 536343DEST_PATH_IMAGE038
和
Figure 592155DEST_PATH_IMAGE039
得到特征层的输出；
所述分类层用于输出模型预测的结果，具体表示为：
Figure 660605DEST_PATH_IMAGE041
其中，
Figure 392938DEST_PATH_IMAGE042
是隐式篇章关系预测结果，
Figure 445207DEST_PATH_IMAGE043
表示多层感知机，由多个全连接的非线性神经网络层和一个
Figure 806175DEST_PATH_IMAGE044
层组成。
4.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法，其特征在于，对所述中文隐式篇章关系识别模型进行无监督训练的步骤中，对应的基于知识迁移的代价函数表示为：
Figure 260290DEST_PATH_IMAGE045
其中，
Figure 897945DEST_PATH_IMAGE046
为中文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 703090DEST_PATH_IMAGE018
为中文隐式篇章关系识别模型的参数，
Figure 100704DEST_PATH_IMAGE047
为未标注的中文隐式篇章关系实例
Figure 409326DEST_PATH_IMAGE048
的元篇章关系预测结果，
Figure 483461DEST_PATH_IMAGE049
为
Figure 821907DEST_PATH_IMAGE050
的英文译文实例
Figure 413425DEST_PATH_IMAGE051
的元篇章关系预测结果，
Figure 701187DEST_PATH_IMAGE052
表示两个概率分布之间的KL距离，
Figure 821590DEST_PATH_IMAGE053
，
Figure 211114DEST_PATH_IMAGE054
。
5.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法，其特征在于，对所述英文隐式篇章关系识别模型进行无监督训练的步骤中，对应的基于知识迁移的代价函数表示为：
Figure 75165DEST_PATH_IMAGE055
其中，
Figure 217433DEST_PATH_IMAGE046
为英文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数，
Figure 774317DEST_PATH_IMAGE017
为英文隐式篇章关系识别模型的参数，
Figure 887023DEST_PATH_IMAGE056
为未标注的英文隐式篇章关系实例
Figure 554764DEST_PATH_IMAGE057
的元篇章关系预测结果，
Figure 551539DEST_PATH_IMAGE058
为
Figure 279324DEST_PATH_IMAGE057
的中文译文实例
Figure 377861DEST_PATH_IMAGE059
的元篇章关系预测结果，
Figure 380452DEST_PATH_IMAGE060
，
Figure 808897DEST_PATH_IMAGE061
。
6.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法，其特征在于，对所述中文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的中文模型的步骤中，对应的第一总体代价函数表示为：
Figure 973162DEST_PATH_IMAGE062
其中，
Figure 496678DEST_PATH_IMAGE063
为对应于基于知识迁移的代价函数的第一权重系数；
Figure 365277DEST_PATH_IMAGE064
其中，
Figure 651159DEST_PATH_IMAGE065
表示在人工标注的中文篇章关系数据集
Figure 455166DEST_PATH_IMAGE001
上定义的交叉熵分类代价函数，
Figure 528296DEST_PATH_IMAGE018
是中文隐式篇章关系识别模型的参数，
Figure 341531DEST_PATH_IMAGE066
是中文实例
Figure 432984DEST_PATH_IMAGE067
的隐式篇章关系预测结果，
Figure 407893DEST_PATH_IMAGE068
是
Figure 466854DEST_PATH_IMAGE067
的真实类别基于One-hot编码的表示，
Figure 146097DEST_PATH_IMAGE069
表示预测结果对于真实类别的期望值；
Figure 967422DEST_PATH_IMAGE070
其中，
Figure 254178DEST_PATH_IMAGE071
为基于中文篇章关系数据集
Figure 160954DEST_PATH_IMAGE001
及其译文数据集
Figure 175047DEST_PATH_IMAGE006
所定义的基于知识迁移的代价函数，
Figure 116458DEST_PATH_IMAGE072
是中文隐式篇章关系实例
Figure 798282DEST_PATH_IMAGE067
的元篇章关系预测结果，
Figure 192354DEST_PATH_IMAGE073
是
Figure 10138DEST_PATH_IMAGE067
的英文译文实例
Figure 602793DEST_PATH_IMAGE074
的元篇章关系预测结果，
Figure 434614DEST_PATH_IMAGE075
，
Figure 112720DEST_PATH_IMAGE076
。
7.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法，其特征在于，对所述英文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的英文模型的步骤中，对应的第二总体代价函数表示为：
Figure 343981DEST_PATH_IMAGE077
其中，
Figure 119039DEST_PATH_IMAGE078
为对应于基于知识迁移的代价函数的第二权重系数；
Figure 43133DEST_PATH_IMAGE079
其中，
Figure 785698DEST_PATH_IMAGE080
表示在人工标注的英文篇章关系数据集
Figure 820651DEST_PATH_IMAGE081
上定义的交叉熵分类代价函数，
Figure 450215DEST_PATH_IMAGE082
是英文隐式篇章关系识别模型的参数，
Figure 545210DEST_PATH_IMAGE083
是英文隐式篇章关系实例
Figure 276537DEST_PATH_IMAGE084
的隐式篇章关系预测结果，
Figure 849601DEST_PATH_IMAGE085
是
Figure 599251DEST_PATH_IMAGE086
的真实类别基于One-hot编码的表示，
Figure 865147DEST_PATH_IMAGE087
表示预测结果对于真实标记的期望值；
Figure 319655DEST_PATH_IMAGE088
其中，
Figure 961989DEST_PATH_IMAGE089
为基于英文篇章关系数据集
Figure 566146DEST_PATH_IMAGE090
及其译文数据集
Figure 2944DEST_PATH_IMAGE091
所定义的基于知识迁移的代价函数，
Figure 443283DEST_PATH_IMAGE092
是英文隐式篇章关系实例
Figure 358150DEST_PATH_IMAGE093
的元篇章关系预测结果，
Figure 82392DEST_PATH_IMAGE094
是
Figure 690091DEST_PATH_IMAGE093
的中文译文实例
Figure 116262DEST_PATH_IMAGE095
的元篇章关系预测结果，
Figure 834819DEST_PATH_IMAGE096
，
Figure 413568DEST_PATH_IMAGE097
。
8.一种半监督的中英文隐式篇章关系识别系统，其特征在于，所述系统包括依次连接的数据集预处理模块、模型构建模块、第一训练模块、第二训练模块以及结果输出模块：
所述数据集预处理模块用于：
给定人工标注的中文篇章关系数据集
Figure 192168DEST_PATH_IMAGE001
和英文篇章关系数据集
Figure 607100DEST_PATH_IMAGE002
，以及未标注的中文篇章关系数据集
Figure 129349DEST_PATH_IMAGE003
和英文篇章关系数据集
Figure 562604DEST_PATH_IMAGE004
，基于中英互译机器翻译系统进行翻译以分别得到
Figure 512105DEST_PATH_IMAGE001
的译文数据集
Figure 650219DEST_PATH_IMAGE006
，
Figure 976158DEST_PATH_IMAGE002
的译文数据集
Figure 263920DEST_PATH_IMAGE008
，
Figure 118744DEST_PATH_IMAGE003
的译文数据集
Figure 773847DEST_PATH_IMAGE009
以及
Figure 372319DEST_PATH_IMAGE004
的译文数据集
Figure 780166DEST_PATH_IMAGE015
；
所述模型构建模块用于：
在基于注意力机制的隐式篇章关系识别模型的基础上，分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型；
所述第一训练模块用于：
基于未标注的中文篇章关系数据集
Figure 71470DEST_PATH_IMAGE012
、未标注的英文篇章关系数据集
Figure 446826DEST_PATH_IMAGE010
、
Figure 583409DEST_PATH_IMAGE012
的译文数据集
Figure 845763DEST_PATH_IMAGE009
以及
Figure 573547DEST_PATH_IMAGE004
的译文数据集
Figure 406505DEST_PATH_IMAGE015
，随机初始化中文隐式篇章关系识别模型的参数
Figure 877938DEST_PATH_IMAGE098
以及英文隐式篇章关系识别模型的参数
Figure 994799DEST_PATH_IMAGE099
，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数
Figure 627905DEST_PATH_IMAGE098
以及参数
Figure 715203DEST_PATH_IMAGE099
的值；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数，以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移；
所述第二训练模块用于：
基于人工标注的中文篇章关系数据集
Figure 724748DEST_PATH_IMAGE001
、人工标注的英文篇章关系数据集
Figure 696115DEST_PATH_IMAGE007
、
Figure 765702DEST_PATH_IMAGE001
的译文数据集
Figure 573252DEST_PATH_IMAGE006
以及
Figure 386487DEST_PATH_IMAGE007
的译文数据集
Figure 477940DEST_PATH_IMAGE008
，以无监督训练后得到的参数
Figure 452849DEST_PATH_IMAGE100
以及参数
Figure 511810DEST_PATH_IMAGE082
的值作为初始值，对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型；
其中，在训练过程中，基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数，并结合各自定义的交叉熵分类代价函数，以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数，分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练；
所述结果输出模块用于：
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果，基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
CN202110796271.2A 2021-07-14 2021-07-14 一种半监督的中英文隐式篇章关系识别方法与系统 Active CN113255371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796271.2A CN113255371B (zh) 2021-07-14 2021-07-14 一种半监督的中英文隐式篇章关系识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796271.2A CN113255371B (zh) 2021-07-14 2021-07-14 一种半监督的中英文隐式篇章关系识别方法与系统

Publications (2)

Publication Number Publication Date
CN113255371A true CN113255371A (zh) 2021-08-13
CN113255371B CN113255371B (zh) 2021-09-24

Family

ID=77191262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796271.2A Active CN113255371B (zh) 2021-07-14 2021-07-14 一种半监督的中英文隐式篇章关系识别方法与系统

Country Status (1)

Country Link
CN (1) CN113255371B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160717A (ja) * 1993-12-13 1995-06-23 Matsushita Electric Ind Co Ltd 隣接発話間関係認識装置
CN103605781A (zh) * 2013-11-29 2014-02-26 苏州大学 一种隐式篇章关系类型推理方法及系统
CN108171198A (zh) * 2018-01-11 2018-06-15 合肥工业大学 基于非对称多层lstm的连续手语视频自动翻译方法
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法
CN109598000A (zh) * 2018-12-28 2019-04-09 百度在线网络技术（北京）有限公司 语义关系识别方法、装置、计算机设备和存储介质
CN110888980A (zh) * 2019-10-10 2020-03-17 天津大学 基于知识增强的注意力神经网络的隐式篇章关系识别方法
CN111428525A (zh) * 2020-06-15 2020-07-17 华东交通大学 隐式篇章关系识别方法、系统及可读存储介质
CN112183102A (zh) * 2020-10-15 2021-01-05 上海明略人工智能(集团)有限公司 基于注意力机制与图注意力网络的命名实体识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160717A (ja) * 1993-12-13 1995-06-23 Matsushita Electric Ind Co Ltd 隣接発話間関係認識装置
CN103605781A (zh) * 2013-11-29 2014-02-26 苏州大学 一种隐式篇章关系类型推理方法及系统
CN108171198A (zh) * 2018-01-11 2018-06-15 合肥工业大学 基于非对称多层lstm的连续手语视频自动翻译方法
CN109460466A (zh) * 2018-09-20 2019-03-12 电子科技大学 一种基于多任务双向长短时记忆网络的隐式句间关系分析方法
CN109598000A (zh) * 2018-12-28 2019-04-09 百度在线网络技术（北京）有限公司 语义关系识别方法、装置、计算机设备和存储介质
CN110888980A (zh) * 2019-10-10 2020-03-17 天津大学 基于知识增强的注意力神经网络的隐式篇章关系识别方法
CN111428525A (zh) * 2020-06-15 2020-07-17 华东交通大学 隐式篇章关系识别方法、系统及可读存储介质
CN112183102A (zh) * 2020-10-15 2021-01-05 上海明略人工智能(集团)有限公司 基于注意力机制与图注意力网络的命名实体识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAORAN LI 等: "Implicit Discourse Relation Recognition for English and Chinese with Multiview Modeling and Effective Representation Learning", 《ACM TRANSACTIONS ON ASIAN AND LOW-RESOURCE LANGUAGE INFORMATION PROCESSING》 *
RUAN HUIBIN等: "基于堆叠式注意力机制的隐式篇章关系识别", 《JOURNAL OF SHANXI UNIVERSITY(NATURAL SCIENCE EDITION)》 *

Also Published As

Publication number Publication date
CN113255371B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110413785B (zh) 一种基于bert和特征融合的文本自动分类方法
CN111611377B (zh) 基于知识蒸馏的多层神经网络语言模型训练方法与装置
CN108733792B (zh) 一种实体关系抽取方法
Xiang et al. A convolutional neural network-based linguistic steganalysis for synonym substitution steganography
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN112395876B (zh) 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN111767718B (zh) 一种基于弱化语法错误特征表示的中文语法错误更正方法
CN111274375B (zh) 一种基于双向gru网络的多轮对话方法及系统
CN112380835B (zh) 融合实体和句子推理信息的问题答案提取方法及电子装置
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN112001166A (zh) 面向政务咨询服务的智能问答句子对语义匹配方法和装置
CN112232053A (zh) 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质
CN110866113A (zh) 基于稀疏自注意力机制微调伯特模型的文本分类方法
CN110633473B (zh) 基于条件随机场的隐式篇章关系识别方法与系统
CN114881042A (zh) 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN114528835A (zh) 基于区间判别的半监督专业术语抽取方法、介质及设备
CN113255366A (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN112528168B (zh) 基于可形变自注意力机制的社交网络文本情感分析方法
CN114579741A (zh) 融合句法信息的gcn-rn方面级情感分析方法和系统
CN113204640A (zh) 一种基于注意力机制的文本分类方法
CN117271748A (zh) 一种基于语言图模型的法案智能分析方法及系统
CN113255371B (zh) 一种半监督的中英文隐式篇章关系识别方法与系统
CN115422362B (zh) 一种基于人工智能的文本匹配方法
CN115659981A (zh) 一种基于神经网络模型的命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant