CN112632963A - 基于政府工作报告的中文隐喻信息知识库构建方法、装置 - Google Patents

基于政府工作报告的中文隐喻信息知识库构建方法、装置 Download PDF

Info

Publication number
CN112632963A
CN112632963A CN202011501395.5A CN202011501395A CN112632963A CN 112632963 A CN112632963 A CN 112632963A CN 202011501395 A CN202011501395 A CN 202011501395A CN 112632963 A CN112632963 A CN 112632963A
Authority
CN
China
Prior art keywords
metaphor
chinese
text
word
political
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011501395.5A
Other languages
English (en)
Inventor
黄孝喜
郭樊容
谌志群
王荣波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Dadao Career Education Information Consulting Co ltd
Hangzhou Dianzi University
Original Assignee
Shaoxing Dadao Career Education Information Consulting Co ltd
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoxing Dadao Career Education Information Consulting Co ltd, Hangzhou Dianzi University filed Critical Shaoxing Dadao Career Education Information Consulting Co ltd
Priority to CN202011501395.5A priority Critical patent/CN112632963A/zh
Publication of CN112632963A publication Critical patent/CN112632963A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于政府工作报告的中文隐喻信息知识库构建方法，属于自然语言处理技术领域。本发明能够提高利用深度学习模型进行中文隐喻识别分类，其能够提取对应人工标签下每个训练文本中话语的隐喻特征，并对多个隐喻特征进行拼接，将拼接后的隐喻特征输入到分类器中，得到词表中的词语是否属于隐喻的分类结果。同时本发明能根据识别结果进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本，从而实现中文隐喻知识库的自动构建。本发明针对政府工作报告的隐喻特点，通过预先对文本数据进行合并和人工标签分类，能够大大降低模型噪声，提高政府工作报告中中文隐喻识别准确度以及识别效率。

Description

基于政府工作报告的中文隐喻信息知识库构建方法、装置
技术领域
本发明属于自然语言处理技术领域，具体涉及一种一种基于政府工作报告的中文隐喻信息知识库构建方法。
背景技术
隐喻表达在日常语言中很常见，引起了许多语言学家和心理语言学家的关注。在计算上，隐喻识别是一项检测文本中隐喻的任务。短语级隐喻识别等传统方法会检测带有单词对的隐喻，其中要识别其隐喻性的目标词事先给出。但是，这些目标词不会在现实世界的文本数据中突出显示。
从更广泛的理论角度来看，我们得出这样一个论点：人类的行为和推理在某种程度上是由隐喻所介导的，人们所使用的隐喻可能反映了他们的世界观。在这种情况下，用于隐喻识别的算法可能是更好地理解隐喻及其代表的世界观的第一步。
在有监督的学习中，训练需要大量带有标签的语句。因此，在使用深度学习相关的方法对中文隐喻进行相关研究时，建立中文隐喻知识库是第一步，也是非常重要的一步。
政府工作报告是一种经常带有隐喻表达的中文文本，如何从政府工作报告中获取中文隐喻并建立中文隐喻知识库，是本发明需要解决的技术问题。
发明内容
发明目的：本发明旨在提供一种基于政府工作报告的中文隐喻信息知识库构建方法，能够提高利用深度学习模型进行中文隐喻识别分类的准确度以及识别效率。
为实现上述目的，本发明提出以下技术方案：
一种基于政府工作报告的中文隐喻信息知识库构建方法，其包括如下步骤：
S1、获取不同类型的中文政治文本，对中文政治文本进行统计分析；所述统计分析方式为：
获取每个中文政治文本的关键词集合k，计算每个中文政治文本中的高频词集合f；再对每个中文政治文本进行非文本特征去除后，针对所有中文政治文本进行两两比较，计算两个文本之间关键词集合k与高频词集合f的加权重叠率，将加权重叠率超过阈值的两个文本进行合并；最后对合并后的每个中文政治文本添加表示文本类型的人工标签，将添加标签后的每个中文政治文本作为原政治文本样本；
S2、对每个原政治文本样本进行预处理操作，通过分词、去除字符和过滤停用词后，构建成词表，得到训练文本；
S3、分别针对每一类人工标签的原政治文本样本，构建并训练中文隐喻信息识别神经网络模型，并利用训练后的中文隐喻信息识别神经网络模型提取对应人工标签下每个训练文本中话语的隐喻特征，并对多个隐喻特征进行拼接，将拼接后的隐喻特征输入到分类器中，得到词表中的词语是否属于隐喻的分类结果；
S4、把每一个训练文本中分类结果是隐喻的词语进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本；
S5、将获得的隐喻知识文本按照人工标签类别逐类归入中文政治隐喻知识库。
作为优选，所述步骤S1中，原政治文本样本中的人工标签有10个，包括文化，发展，创新，精神，文明，道德，经济，文化，改革，生态。
作为优选，所述步骤S1中，加权重叠率的计算公式为：
Figure BDA0002843704050000021
其中w1和w2为权重参数，k1和k2分别为两个中文政治文本的关键词集合，f1和f2分别为两个中文政治文本的高频词集合，∩表示求交集，∪表示求并集，count(·)表示计算集合中词语个数。
作为优选，所述权重参数w1和w2分别为0.7和0.3。
作为优选，所述加权重叠率的阈值设置为0.6。
作为优选，所述步骤S3中，中文隐喻信息识别神经网络模型包括词嵌入层、文本向量融合层和分类层，其中：
所述词嵌入层中，将输入的训练文本中的词分别映射为词向量wi和字向量ei，并连接为词向量{wi,ei}；
所述文本向量融合层中，将词向量{wi,ei}输入BiLSTM层，得到基于上下文的文本融合向量ci，并将ci与wi进行连接操作，得到比较向量{ci,wi}；
所述分类层中，将比较向量{ci,wi}输入softmax分类器，得到每个词是否是隐喻表达的概率。
作为优选，所述词嵌入层中，分别将词语通过word2vec和bert模型得到词向量和字向量。
作为优选，所述步骤S4的具体实现步骤为：
S41：按照S3中得到的分类结果，将类别为隐喻的隐喻词进行隐喻信息分类，分类类别包括动词型隐喻，名词型隐喻和形容词隐喻；
S42：对每一隐喻信息类别，分别确定其源域和目标域，其中：
若为动词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，动词，名词>的三元组，并通过名词的词典义和动词的常用搭配找到源域和目标域；
若为名词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，名词>的二元组，通过名词的属性及其意义，得到源域和目标域；
若为形容词隐喻，则通过依存分析找出隐喻词所在句子中<形容词，名词>的二元组，通过语料库找出与当前名词搭配中常用的形容词，并对常用的形容词进行归纳，从而得到源域和目标域。
作为优选，所述的中文政治文本为政府工作报告。
另一方面，本发明提供了一种基于政府工作报告的中文隐喻信息知识库构建装置，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前述任一项方案所述的基于政府工作报告的中文隐喻信息知识库构建方法。
本发明相对于现有技术而言，具有以下有益效果：
本发明提供了一种基于政府工作报告的中文隐喻信息知识库构建方法，它能够提高利用深度学习模型进行中文隐喻识别分类，并根据识别结果进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本，从而实现中文隐喻知识库的自动构建。本发明针对政府工作报告的隐喻特点，通过预先对文本数据进行合并和人工标签分类，能够大大降低模型噪声，提高政府工作报告中中文隐喻识别准确度以及识别效率。
附图说明
图1为本发明整体构建流程图示。
图2为本发明中的模型框架示意图。
图3为本发明中例句依存分析示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的一个较佳实施例中，提供了一种基于政府工作报告的中文隐喻信息知识库构建方法，其包括如下步骤：
S1、获取不同类型的中文政治文本，对中文政治文本进行统计分析；所述统计分析方式为：
1)以各级政府部门的政府工作报告作为中文政治文本，获取每个中文政治文本的关键词集合k，计算每个中文政治文本中的高频词集合f。
2)再对每个中文政治文本进行非文本特征去除后，针对所有中文政治文本进行两两比较，计算两个文本之间关键词集合k与高频词集合f的加权重叠率，将加权重叠率超过阈值的两个文本进行合并。
加权重叠率的计算公式如下：
Figure BDA0002843704050000041
其中w1和w2为权重参数，k1和k2分别为两个中文政治文本的关键词集合，f1和f2分别为两个中文政治文本的高频词集合，∩表示求交集，∪表示求并集，count(·)表示计算集合中词语个数。
3)经过2)合并处理后，对剩余的每个中文政治文本添加表示文本类型的人工标签，将添加标签后的每个中文政治文本作为原政治文本样本。
原政治文本样本中的人工标签可以根据根据实际情况调整，以该报告所针对的主旨进行确定。例如人工标签可以设置为包括文化，发展，创新，精神，文明，道德，经济，文化，改革，生态这十个标签。这些不同主旨的报告中，其隐喻也存在明显不同，需要分别进行处理。
S2、对每个原政治文本样本进行预处理操作，通过文档合并、分词、去除字符和过滤停用词后，构建成词表，以该词表作为该原政治文本样本的训练文本。
S3、由于不同类型的中文政治文本中涉及的隐喻形式存在区别，因此为了避免产生噪声，本发明中分别针对每一类人工标签的原政治文本样本，选取部分数据作为训练集，用于构建并训练适用于此类文本的中文隐喻信息识别神经网络模型。各中文隐喻信息识别神经网络模型的模型结构均相同，仅训练后的模型参数不同。
本实施例中，所采用的中文隐喻信息识别神经网络模型包括词嵌入层、文本向量融合层和分类层，其中：
词嵌入层中，将输入的训练文本中的词分别映射为词向量wi和字向量ei，并连接为词向量{wi,ei}；
文本向量融合层中，将词向量{wi,ei}输入BiLSTM层，得到基于上下文的文本融合向量ci，并将ci与wi进行连接操作，得到比较向量{ci,wi}；
分类层中，将比较向量{ci,wi}输入softmax分类器，得到每个词是否是隐喻表达的概率。根据概率分布，即可选择概率最大的一个类型作为最终的判断结果。
然后，对于每一类人工标签的所有原政治文本样本，利用训练后的中文隐喻信息识别神经网络模型提取对应人工标签下每个训练文本中话语的隐喻特征，并对多个隐喻特征进行拼接，将拼接后的隐喻特征输入到分类器中，得到词表中的词语是否属于隐喻的分类结果。
需注意的是，在前述将训练文本输入中文隐喻信息识别神经网络模型时，应当将每一类人工标签的所有原政治文本样本(包含训练集)输入由同一类类人工标签的训练集训练得到的模型中，输出分类结果。
S4、把每一个训练文本中分类结果是隐喻的词语进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本。隐喻知识文本中包含了例句、隐喻类型、隐喻词、源域和目标域等信息。
其中，此处的词性分类和源域和目标域确定的具体实现步骤为：
S41：按照S3中得到的分类结果，将类别为隐喻的隐喻词进行隐喻信息分类，分类类别包括动词型隐喻，名词型隐喻和形容词隐喻；
S42：对每一隐喻信息类别，分别确定其源域和目标域，其中：
若为动词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，动词，名词>的三元组，并通过名词的词典义和动词的常用搭配找到源域和目标域；
若为名词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，名词>的二元组，通过名词的属性及其意义，得到源域和目标域；
若为形容词隐喻，则通过依存分析找出隐喻词所在句子中<形容词，名词>的二元组，通过语料库找出与当前名词搭配中常用的形容词，并对常用的形容词进行归纳，从而得到源域和目标域。
S5、将获得的隐喻知识文本按照人工标签类别逐类归入中文政治隐喻知识库。每一个人工标签类别下，均可包含众多隐喻知识文本信息。
下面将上述S1～S5的方法应用于一个具体的实施例中，以展示其具体实现过程和效果，其具体步骤框架与前述一致。
实施例
本实施例中，基于政府工作报告的中文隐喻信息知识库构建方法，其步骤为：
1.从网页获取不同类型的政府工作报告作为中文政治文本，对政治文本进行统计分析：
(1)通过jieba提取文本中的关键词，形成每个中文政治文本中的关键词集合k。例如《凝聚奋进新时代的精神力量——党的十九大以来精神文明建设成就综述》中的关键词集合为['文明','十九','精神文明','建设','道德','时代','创建','社会','模范','志愿者','实践','理想信念','不断','育新','中央文明办','全国','党课','疫情','以来','文化','志愿','精神','社会主义','价值观','新风','校园','践行','防控','诚信','解放村','周年','力量','厉行节约','服务','生活','弘扬','开展','培育','筑牢','11','先进事迹','榜样','家庭','教育','缺失','工作','治理','提升','思想道德']
(2)通过jieba对文本进行分词，统计词语频率，得到文本中的高频率词语，形成每个中文政治文本中的高频词集合f。例如《在浦东开发开放30周年庆祝大会上的讲话》中的高频词集合为['浦东','开放','发展','30','人民','治理','改革开放','城市','创新','建设','改革','开发','社会主义','现代化','更好','国际','高水平','构建','经济','上海','统筹','国家','中国','重大','国内','更加','大变局','制度','2019','体系','世界','推进','水平','全面','提升','聚焦','实','领域','大海','我们','格局','征程','群众','我国','全球','试验区','中心','打造','十九']。
(3)对每个中文政治文本去除图片等非文本特征。
(4)文档合并：针对所有中文政治文本进行两两比较，计算两个文本之间关键词集合k与高频词集合f的加权重叠率：
Figure BDA0002843704050000071
其中w1和w2为权重参数，且w1取0.7，w2取0.3，k1和k2分别为两个中文政治文本的关键词集合，f1和f2分别为两个中文政治文本的高频词集合，∩表示求交集，∪表示求并集，count(·)表示计算集合中词语个数。
设定一个阈值，将加权重叠率超过阈值的任意两个文本进行合并，本实施例中对p>0.6的两个文本进行合并。由此，众多类似的文本被合并，减少了后续需处理的类别维度，也使得合并后的文本更具代表性。
(5)当完成前一步的合并处理后，为每个中文政治文本添加表示文本类型的人工标签，将添加标签后的文本作为原政治文本样本；
其中本实施例中采用的人工标签为关键词中出现次数最多的20个关键词通过合并得到的10个关键词标签，具体为{文化，发展，创新，精神，文明，道德，经济，文化，改革，生态}。
2.对每个原政治文本样本进行进行预处理操作，得到训练文本。在本实施例中，预处理操作的具体过程为：先对文本进行分词，通过正则表达式去除非中文字符，再通过停用词表过滤停用词，由此将文本构建成词表，该词表即可作为后续模型的训练文本。
S3、分别针对每一类人工标签的原政治文本样本，构建并训练中文隐喻信息识别神经网络模型，并利用训练后的中文隐喻信息识别神经网络模型提取对应人工标签下每个训练文本中话语的隐喻特征，并对多个隐喻特征进行拼接，将拼接后的隐喻特征输入到分类器中，得到词表中的词语是否属于隐喻的分类结果；
3.分别针对每一类人工标签的原政治文本样本，构建并训练一个中文隐喻信息识别神经网络模型。
本实施例中，不同人工标签对应的中文隐喻信息识别神经网络模型结构相同，如图2所示，可分为：
(1)词嵌入层，把输入数据通过word2vec和Bert两种预训练模型，分别得到词向量wi和字向量ei，并通过concatenate连接操作，得到组合词向量{wi，ei}；
(2)文本向量融合层，将词嵌入层，得到的组合词向量{wi，ei}输入BiLSTM层，得到基于上下文的文本融合向量ci，并将ci与wi进行concatenate连接操作，得到比较向量{ci,wi}；
(3)分类层，将文本向量融合层得到的比较向量{ci,wi}输入softmax分类器，得到每个词是否是隐喻表达的概率。根据概率分布，即可选择概率最大的一个类型作为最终的判断结果。
4.把分类结果是隐喻的词语按词性进行分类：
(1)把每一个训练文本中分类结果是隐喻的词语进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本。其中，此处的词性分类和源域和目标域确定的具体实现步骤为：
(2)按照前一步得到的分类结果，将类别为隐喻的隐喻词进行隐喻信息分类，分类类别包括动词型隐喻，名词型隐喻和形容词隐喻；
对每一隐喻信息类别，分别确定其源域和目标域，其中：
a)若为动词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，动词，名词>的三元组，并通过名词的词典义和动词的常用搭配找到源域和目标域；
例如，“我们应该坚持开放精神，发挥各自比较优势，加强相互经济合作，培育全球大市场，完善全球价值链，做开放型世界经济的建设者。”，通过依存分析结果，得到<“合作”，“培育”，“市场”>的三元组，所以此句子的源域为”培育”，映射到的目标域为“合作”。
b)若为名词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，名词>的二元组，通过名词的属性及其意义，得到源域和目标域；
例如，“放眼未来，精神文明建设必将结出累累硕果”，其中“硕果”为隐喻表达，根据依存分析如图3，得到<“精神文明”，“硕果”>，所以此句子的源域为”硕果”，映射到的目标域为“精神文明”。
c)若为形容词隐喻，则通过依存分析找出隐喻词所在句子中<形容词，名词>的二元组，通过语料库找出与当前名词搭配中常用的形容词，并对常用的形容词进行归纳形成一个概括词作为目标域，从而得到源域和目标域。
例如，”文明已逐渐浸润为浦东最温暖的底色”,其中”温暖”为隐喻表达，根据修饰关系，得到<”温暖”，“底色”>，所以此句子的的源域为“温暖”，通过语料库计算与“底色”相关的形容词的互信息，得到“鲜艳”，“明亮”等词，将这些形容词进行归纳，所以映射到的目标域为概括词“美好”。
由此，前述的每个隐喻词，均可以构建成一条隐喻知识文本，隐喻知识文本中可以含有例句、隐喻类型、隐喻词、源域和目标域等信息。
5.中文政治隐喻知识库构建：
将前述步骤中获得的隐喻知识文本归入中文政治隐喻知识库。需要注意的是，由于前述步骤的处理都是按照人工标签类别进行的，因此亦可按照人工标签类别逐类进行归类，每一个人工标签类别下，均可包含众多隐喻知识文本信息。为了进一步对每一个人工标签类别下的隐喻进行子类别划分，可以将步骤1至4获得的隐喻知识文本，对源域通过k-means聚类，继续划分为几个子类别。结果部分如下：
源域 相关隐喻词语
战争 征程、胜利、挑战、战略、攻击等
水 大海、波动、交汇、渠道、涌现等
再根据聚类结果构建知识库，其中一人工标签类别下一子类别的结果如下：
Figure BDA0002843704050000091
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，包括如下步骤：
S1、获取不同类型的中文政治文本，对中文政治文本进行统计分析；所述统计分析方式为：
获取每个中文政治文本的关键词集合k，计算每个中文政治文本中的高频词集合f；再对每个中文政治文本进行非文本特征去除后，针对所有中文政治文本进行两两比较，计算两个文本之间关键词集合k与高频词集合f的加权重叠率，将加权重叠率超过阈值的两个文本进行合并；最后对合并后的每个中文政治文本添加表示文本类型的人工标签，将添加标签后的每个中文政治文本作为原政治文本样本；
S2、对每个原政治文本样本进行预处理操作，通过分词、去除字符和过滤停用词后，构建成词表，得到训练文本；
S3、分别针对每一类人工标签的原政治文本样本，构建并训练中文隐喻信息识别神经网络模型，并利用训练后的中文隐喻信息识别神经网络模型提取对应人工标签下每个训练文本中话语的隐喻特征，并对多个隐喻特征进行拼接，将拼接后的隐喻特征输入到分类器中，得到词表中的词语是否属于隐喻的分类结果；
S4、把每一个训练文本中分类结果是隐喻的词语进行词性分类，并按照分类结果分别确定其源域和目标域，形成隐喻知识文本；
S5、将获得的隐喻知识文本按照人工标签类别逐类归入中文政治隐喻知识库。
2.根据权利要求1所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述步骤S1中，原政治文本样本中的人工标签有10个，包括文化，发展，创新，精神，文明，道德，经济，文化，改革，生态。
3.根据权利要求1所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述步骤S1中，加权重叠率的计算公式为：
Figure FDA0002843704040000011
其中w1和w2为权重参数，k1和k2分别为两个中文政治文本的关键词集合，f1和f2分别为两个中文政治文本的高频词集合，∩表示求交集，∪表示求并集，count(·)表示计算集合中词语个数。
4.根据权利要求3所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述权重参数w1和w2分别为0.7和0.3。
5.根据权利要求3所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述加权重叠率的阈值设置为0.6。
6.根据权利要求1所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述步骤S3中，中文隐喻信息识别神经网络模型包括词嵌入层、文本向量融合层和分类层，其中：
所述词嵌入层中，将输入的训练文本中的词分别映射为词向量wi和字向量ei，并连接为词向量{wi,ei}；
所述文本向量融合层中，将词向量{wi,ei}输入BiLSTM层，得到基于上下文的文本融合向量ci，并将ci与wi进行连接操作，得到比较向量{ci,wi}；
所述分类层中，将比较向量{ci,wi}输入softmax分类器，得到每个词是否是隐喻表达的概率。
7.根据权利要求6所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述词嵌入层中，分别将词语通过word2vec和bert模型得到词向量和字向量。
8.根据权利要求1所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述步骤S4的具体实现步骤为：
S41：按照S3中得到的分类结果，将类别为隐喻的隐喻词进行隐喻信息分类，分类类别包括动词型隐喻，名词型隐喻和形容词隐喻；
S42：对每一隐喻信息类别，分别确定其源域和目标域，其中：
若为动词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，动词，名词>的三元组，并通过名词的词典义和动词的常用搭配找到源域和目标域；
若为名词型隐喻，则通过依存分析找出隐喻词所在句子中<名词，名词>的二元组，通过名词的属性及其意义，得到源域和目标域；
若为形容词隐喻，则通过依存分析找出隐喻词所在句子中<形容词，名词>的二元组，通过语料库找出与当前名词搭配中常用的形容词，并对常用的形容词进行归纳，从而得到源域和目标域。
9.根据权利要求1所述的用于一种基于政府工作报告的中文隐喻信息知识库构建方法，其特征在于，所述的中文政治文本为政府工作报告。
10.一种基于政府工作报告的中文隐喻信息知识库构建装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～8任一项所述的基于政府工作报告的中文隐喻信息知识库构建方法。
CN202011501395.5A 2020-12-17 2020-12-17 基于政府工作报告的中文隐喻信息知识库构建方法、装置 Pending CN112632963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011501395.5A CN112632963A (zh) 2020-12-17 2020-12-17 基于政府工作报告的中文隐喻信息知识库构建方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011501395.5A CN112632963A (zh) 2020-12-17 2020-12-17 基于政府工作报告的中文隐喻信息知识库构建方法、装置

Publications (1)

Publication Number Publication Date
CN112632963A true CN112632963A (zh) 2021-04-09

Family

ID=75316754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011501395.5A Pending CN112632963A (zh) 2020-12-17 2020-12-17 基于政府工作报告的中文隐喻信息知识库构建方法、装置

Country Status (1)

Country Link
CN (1) CN112632963A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111664A (zh) * 2021-04-30 2021-07-13 网易（杭州）网络有限公司 文本的生成方法、装置、存储介质及计算机设备
CN113312486A (zh) * 2021-07-27 2021-08-27 中国电子科技集团公司第十五研究所 一种信号画像构建方法装置、电子设备、存储介质
CN116226332A (zh) * 2023-02-24 2023-06-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111664A (zh) * 2021-04-30 2021-07-13 网易（杭州）网络有限公司 文本的生成方法、装置、存储介质及计算机设备
CN113312486A (zh) * 2021-07-27 2021-08-27 中国电子科技集团公司第十五研究所 一种信号画像构建方法装置、电子设备、存储介质
CN113312486B (zh) * 2021-07-27 2021-11-16 中国电子科技集团公司第十五研究所 一种信号画像构建方法装置、电子设备、存储介质
CN116226332A (zh) * 2023-02-24 2023-06-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统
CN116226332B (zh) * 2023-02-24 2024-02-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统

Similar Documents

Publication Publication Date Title
CN110427623B (zh) 半结构化文档知识抽取方法、装置、电子设备及存储介质
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
Razavi et al. Offensive language detection using multi-level classification
CN111460820B (zh) 一种基于预训练模型bert的网络空间安全领域命名实体识别方法和装置
CN109753660B (zh) 一种基于lstm的中标网页命名实体抽取方法
CN112632963A (zh) 基于政府工作报告的中文隐喻信息知识库构建方法、装置
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN108563638B (zh) 一种基于主题识别和集成学习的微博情感分析方法
CN109933664A (zh) 一种基于情感词嵌入的细粒度情绪分析改进方法
CN107092596A (zh) 基于attention CNNs和CCR的文本情感分析方法
CN107193796B (zh) 一种舆情事件检测方法及装置
CN111462752B (zh) 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
Mohanty et al. Resumate: A prototype to enhance recruitment process with NLP based resume parsing
Alotaibi et al. Optical character recognition for quranic image similarity matching
CN108121702A (zh) 数学主观题评阅方法及系统
CN108509409A (zh) 一种自动生成语义相近句子样本的方法
CN109492105B (zh) 一种基于多特征集成学习的文本情感分类方法
CN113806563A (zh) 面向多源异构建筑人文史料的建筑师知识图谱构建方法
CN112069312B (zh) 一种基于实体识别的文本分类方法及电子装置
CN108052504A (zh) 数学主观题解答结果的结构分析方法及系统
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN114970523B (zh) 一种基于文本语义增强的主题提示式关键词提取方法
CN114817454A (zh) 一种结合信息量和BERT-BiLSTM-CRF的NLP知识图谱构建方法
CN115952794A (zh) 融合双语敏感词典和异构图的汉泰跨语言敏感信息识别方法
CN115935998A (zh) 多特征金融领域命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination