CN117436459B - 一种动词加动词的语义关系识别方法和装置 - Google Patents

一种动词加动词的语义关系识别方法和装置 Download PDF

Info

Publication number
CN117436459B
CN117436459B CN202311757515.1A CN202311757515A CN117436459B CN 117436459 B CN117436459 B CN 117436459B CN 202311757515 A CN202311757515 A CN 202311757515A CN 117436459 B CN117436459 B CN 117436459B
Authority
CN
China
Prior art keywords
word
semantic
labels
semantic role
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311757515.1A
Other languages
English (en)
Other versions
CN117436459A (zh
Inventor
汪顺利
李胜男
陈智超
栾英伟
邢宏文
汪敏
刘奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangfei Intelligent Technology Co ltd
Original Assignee
Shangfei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangfei Intelligent Technology Co ltd filed Critical Shangfei Intelligent Technology Co ltd
Priority to CN202311757515.1A priority Critical patent/CN117436459B/zh
Publication of CN117436459A publication Critical patent/CN117436459A/zh
Application granted granted Critical
Publication of CN117436459B publication Critical patent/CN117436459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种动词加动词的语义关系识别方法和装置,用于神经网络技术领域,其中所述方法包括:识别语句的每个字的向量表示和语义角色标签;将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,能够识别出多种动词与动词之间的关系、它们在结构关系中担任的具体角色以及各动词对应的施事主语,从而提升对中文语句的语义关系识别效果。

Description

一种动词加动词的语义关系识别方法和装置
技术领域
本发明涉及神经网络技术领域,尤其涉及一种动词加动词的语义关系识别方法和装置。
背景技术
语义分析用于理解文本的含义,是自然语言处理领域中的热点问题,为机器翻译、人机对话、阅读理解等应用提供了基础,是企业数字化转型的重要手段之一。随着加快推进制造业数字化转型的步伐,生产车间操作自动化、 流程智能化日益重要。自然语言通过计算机的处理成为机器语言,机器便可以按照人的意图进行作业,从而实现机器智能化、减少人力 、提高生产效率。
动词V是句子中的核心,是理解句子的关键,能够在语义上描述对象的动作行为、变化发展、心理活动等。“V+V”是现代汉语中的常见结构,能够形成兼语、连动、动宾、状中等多种完全不同的句法结构。汉语言文化博大精深,动词V在不同的位置,发挥不同的作用,表达不同的含义,仅凭词性难以识别句法结构的不同,给句法解析造成很大的困扰。正确识别中文“V+V”结构的句法类型和语义角色,对于中文句法解析和语义解析都有着非常重要的作用,为机器理解语义知识提供底层支持。
目前语义解析在英文语句上得到较好的应用,但是由于中文与英文的语法结构差异较大,适用于英文的语义解析模型并不一定适用于中文,并且没有考虑中文的语言特点,所以对于中文语句中 “V+V ”结构的语义关系识别效果较差。
发明内容
本发明提供一种动词加动词的语义关系识别方法和装置,用以解决现有技术中语义关系识别效果较差的缺陷。
本发明提供一种动词加动词的语义关系识别方法,用于语义关系识别模型,所述语义关系识别模型包括:编码器和解码器,所述编码器包括预训练的语言模型和语义角色标注模型;其中,所述语言模型通过包含上下文语义的样本语句训练得到;所述方法包括:
将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;
将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;
将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;
将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
根据本发明提供的一种语义关系识别方法,所述预测标签为复合标签,其中,所述复合标签包括词性标签和位置标签;所述词性标签用于指示当前字的词性,所述位置标签用于指示当前字在组成词语中的位置为起始字、中间字或结尾字。
根据本发明提供的一种语义关系识别方法,在得到所述每个字对应的预测标签之后,所述方法还包括:
确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词;
根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系。
根据本发明提供的一种语义关系识别方法,所述语言模型包括编码层和防过拟合层;
将待识别语句输入至语言模型,得到所述待识别语句的每个字的向量表示,包括:
将待识别语句输入至编码层,得到所述待识别语句的每个字的初始编码向量;
将所述初始编码向量输入至防过拟合层,得到所述待识别语句的每个字的向量表示。
根据本发明提供的一种语义关系识别方法,将待识别语句输入至语义角色标注模型,得到所述待识别语句的每个字的语义角色标签,包括:
将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签;
将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果,其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
根据本发明提供的一种语义关系识别方法,将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示,包括:将所述每个字的语义角色标签输入至所述语言模型进行编码,得到所述每个字的语义角色标签对应的向量表示。
本发明还提供一种动词加动词的语义关系识别装置,包括:
用于语义关系识别模型,所述语义关系识别模型包括:编码器和解码器,所述编码器包括预训练的语言模型和语义角色标注模型;其中,所述语言模型通过包含上下文语义的样本语句训练得到;
所述装置包括:
编码模块,用于将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;
标签处理模块,用于将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;
拼接模块,用于将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;
解码模块,用于将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
根据本发明提供的一种语义关系识别装置,所述编码模块包括语义角色标注单元,用于:
将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签;
将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果,其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述动词加动词的语义关系识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述动词加动词的语义关系识别方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述动词加动词的语义关系识别方法的步骤。
本发明提供的动词加动词的语义关系识别方法和装置,通过将待识别语句分别输入至语言模型和语义角色标注模型,得到待识别语句的每个字的向量表示和语义角色标签;将每个字的语义角色标签进行编码,得到每个字的语义角色标签对应的向量表示;将每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到每个字的拼接向量,从而实现将每个字的结构化语义信息添加到文本信息中,以增强语义知识,提升后续识别语句时对于动词以及施事主语的识别性能,然后将待识别语句的每个字的拼接向量输入至解码器进行解码,得到待识别语句的每个字对应的预测标签,能够识别出多种动词与 动词之间的关系、它们在结构关系中担任的具体角色以及各动词对应的施事主语,从而提升对中文语句的语义关系识别效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的语义关系识别模型的框架示意图之一;
图2是本发明提供的动词加动词的语义关系识别方法的流程示意图之二;
图3是本发明提供的动词加动词的语义关系识别方法的流程示意图之一;
图4是本发明提供的动词加动词的语义关系识别方法的流程示意图之二;
图5是本发明提供的动词加动词的语义关系识别方法的流程示意图之三;
图6是本发明提供的动词加动词的语义关系识别方法的流程示意图之四;
图7是本发明提供的动词加动词的语义关系识别方法的流程示意图之五;
图8是本发明提供的语义关系识别模型的框架示意图之二;
图9是本发明提供的多维度语义角色标注的示意图;
图10是本发明提供的压缩后的多维度语义角色标注的示意图;
图11是本发明提供的动词加动词的语义关系识别装置的结构示意图;
图12是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图10描述本发明实施例的动词加动词的语义关系识别方法。
本发明实施例公开了一种动词加动词的语义关系识别方法,用于语义关系识别模型,参见图1,语义关系识别模型包括:编码器和解码器,所述编码器包括预训练的语言模型和语义角色标注模型。
其中,所述语言模型通过包含上下文语义的样本语句训练得到。语言模型的作用是得到每个字对应的向量表示。
对于语义角色标注模型,则是通过预先设置的V+V语料库进行训练得到。
需要说明的是,本实施例中,主要针对的是动词加动词结构的语句,即V+V结构。V+V结构中最多的是连动结构,其次是兼语结构,除此之外,还包含少数的兼语和连动的嵌套结构。兼语结构完整的语法格式可以表示为:“NP1+V1+NP2+V2”,其中 V1 和 V2 的关系是递进式的,NP2 表示兼语,V1一般是具有“使令”含义的动词,V1 和 V2 共享 NP2,NP2 分别做 V1 的受事宾语、V2 的施事主语。连动结构的完整语法格式可以表示为:“V1+NP1+V2+NP2”,其中 V1 和 V2 之间在语义上具有方式、顺承、目的、因果等关系。
本实施例中构建的 V+V 语料库主要对兼语结构中的V1、V2 及兼语的中心词 JY、连动结构中的连动词的施事主语 n、连动词 v、以及两种结构的嵌套形式进行标注。
参见图2,图2中示出了6个语料库标注的示例图。
对于句子中既含有兼语结构又含有连动结构但不存在嵌套现象的情况,即例1中的情况。其中,B表示词语的开始,I表示词语的内部,O表示非实体,E表示实体尾部,S表示该词本身就是一个实体。
例 2为前兼语后连动情况,即宾语后谓语为连动结构。如例2中,“坐”和“看”既属于连动词又是兼语的 V2 部分,这种情况的嵌套是连动结构包含在兼语结构中,因此需要将连动结构全部标注为嵌套形式,即在原有的兼语标注后面使用符号“|”连接连动结构的相关标签。
如例3所示,这种情况是兼语与连动产生交集,对于动词“让”既是前面连动结构中的最后一个连动词 v,又是后面兼语结构中的兼语动词V1,而其他成分都只有一种“身份”,因此只需将该动词标注为嵌套形式,使用符号“|”将它的两种“身份”进行拼接。
例4为前连动中兼语后连动情况,即主语、宾语后谓语都为连动结构。这种情况属于例 2和例 3的结合,这里不再赘述。
例5为前兼语中兼语后连动情况,即兼语嵌套,第一个兼语“父母”的V2充当第二个兼语“同学”的V1。对于该情况,将出现在第一个兼语结构中的V2忽略,将其标注为第二个兼语结构的V1。
例6为前兼语中连动后兼语情况,即中间的连动词分别充当前一个兼语的V2 和后一个兼语的V1。如例 6 中的“去”和“请”,对于这种情况,本文使用符号“|”将前一个连动词和前一个兼语的 V2 进行拼接,将后一个连动词与后一个兼语的 V1 进行拼接。
参见图3,所述方法包括:
301、将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签。
本实施例中,语言模型可以选择RoBERTa模型,RoBERTa 是一个基于 Transformer的预训练语言模型,RoBERTa 的字节对编码是字符级和词级表示的混合,可以处理自然语言语料库中大量常见词汇,更有助于提升中文自 然语言处理下游任务的效果。此外,RoBERTa 采用动态掩码(Dynamic Masking)技术,即决定掩码位置和方式是在模型的训练阶段进行的,因此能够保证同一文本在不同轮数下产生不同的掩码模式,提高了文本数据的复用率。
虽然 RoBERTa 模型生成的语义表示适用于中文的序列标注识别任务,但是语言模型只利用简单的上下文相关特性,如字符或单词嵌入,很少考虑包含结构化的语义信息,这些信息可以为语言表示提供丰富的语义。为了提高自然语言理解,本发明实施例使用语义角色标注模型来引入显式上下文语义。语义角色标注是以句子为单位,能够标注句子中某些短语为给定谓词的论元(语义角色),如施事者、受事者、时间和地点等。在数据预处理过程中,本发明使用语言技术平台(Language Technology Platform,LTP)的语义角色标注模型,将每个语句标注成多维度语义序列。采用 LTP 规定的语义角色标签注释输入序列的每个标记。
待识别语句包括字序列W={w1, w2, …, wn },语言模型需要预测出对应每个字的向量表示,并最终形成向量集X={x1, x2, …, xn },语义角色标注模型需要得出待识别语句的每个字的语义角色标签Q={q1, q2, …, qn }。
302、将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示。
本实施例中,可以将每个字的语义角色标签输入至上述训练好的语言模型进行编码,得到每个字的语义角色标签对应的向量表示。
具体地,将每个字的语义角色标签Q={q1, q2, …, qn }进行编码,得到每个字的语义角色标签对应的向量表示X’={x’1, x’2, …, x’n }。
通过步骤302,可以将语义角色标签进行向量化转换,得到与每个字的向量表示同一维度的语义角色标签向量表示,从而可以在后续步骤中将语义角色标签的向量表示与每个字的向量表示进行拼接。
303、将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量。
具体地,可将每个字的向量集X={x1, x2, …, xn }和语义角色标签对应的向量表示X’={x’1, x’2, …, x’n }进行拼接,得到每个字的拼接向量,形成待识别语句对应的拼接向量[X0,X1,…,Xn]=[ x1, x’1, x2, x’2,…, xn, x’n]。
304、将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
本实施例中,解码器可以为条件随机场(Conditional Random Field,CRF)模型来预测每个输入序列标签的最大概率序列。条件随机场从本质上说是学习一个标签之间的概率转移矩阵,因此可以针对给定的预测标签序列进行标签关系的约束,从而确保最终得出的待识别语句的每个字对应的预测标签的合理性。
其中,预测标签为复合标签,复合标签包括词性标签和位置标签;所述词性标签用于指示当前字的词性,所述位置标签用于指示当前字在组成词语中的位置为起始字、中间字或结尾字。例如“她求父母买苹果”,其中,“求”的预测标签标注为B-V1。B为位置标签,用于指示当前字在组成词语中的位置为起始字;V1为词性标签,用于指示当前字的词性为动词。
本发明实施例提供的动词加动词的语义关系识别方法,通过将待识别语句分别输入至语言模型和语义角色标注模型,得到待识别语句的每个字的向量表示和语义角色标签;将每个字的语义角色标签进行编码,得到每个字的语义角色标签对应的向量表示;将每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到每个字的拼接向量,从而实现将每个字的结构化语义信息添加到文本信息中,以增强语义知识,提升后续识别语句时对于动词以及施事主语的识别性能,然后将待识别语句的每个字的拼接向量输入至解码器进行解码,得到待识别语句的每个字对应的预测标签,能够识别出多种动词与 动词之间的关系、它们在结构关系中担任的具体角色以及各动词对应的施事主语,从而提升对中文语句的语义关系识别效果。
具体地,语言模型包括编码层和防过拟合层;
参见图4,步骤301中将待识别语句输入至语言模型,得到所述待识别语句的每个字的向量表示,包括:
401、将待识别语句输入至编码层,得到所述待识别语句的每个字的初始编码向量。
402、将所述初始编码向量输入至防过拟合层,得到所述待识别语句的每个字的向量表示。
在模型中,对于输入句子 S = {w1, w2, …, wn} ,其中wi表示第i 个字, 首先使用 RoBERTa模型的编码层获取每一个字的编码,然后使用一个丢失率 0.5 的dropout层来避免过拟合。最终得到句子向量的初始表示,具体公式如(1)和(2):
[w0, w1, …, wn] = RoBERTa([CLS], w1, w2, …, wn) (1)
[x0, x1, …, xn] = dropout([w0, w1, …, wn]) (2)
具体地,参见图5,步骤301中将待识别语句输入至语义角色标注模型,得到所述待识别语句的每个字的语义角色标签,包括:
501、将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签。
502、将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果。
其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或非实体标签。
通过将非谓词标签和非论元标签替换为非实体标签,从而只保留谓词标签和论元标签,有助于在后续步骤中对动词+动词结构的语义关系识别,避免对动词+东西结构识别无作用的词语干扰到最终识别效果。
例如对于文本语句“妈妈让我快点写作业”,从句子中的谓词来看,有两种语义结构,第一种是“妈妈”为论元 ARG0 ,“让”是谓词 Verb,其余分别作 ARG1 和 ARG2,第二种是“我”为论元 ARG0 ,“写”是谓词 Verb,使用 ARGM 标注修饰性词语“快点”。为了揭示多维语义,将语义角色标签分组,将多维语义角色结果进行合并,得到一维语义角色结果,只保留“论元 (ARG0) ”、“谓词(Verb) ”标签,其余标注全部设置为非实体标签“O”,从而得到一维语义角色结果。
进一步地,在得到所述每个字对应的预测标签之后,参见图6,所述方法还包括:
601、确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词。
例如,对于文本语句“妈妈让我快点写作业”,词性标签依次为B-n、I-n、B-V1、B-JY、O、O、B-V2、I-V2。对于“妈妈”对应的词性标签,均为非动词,则替换为非动词标签O,得到最终的复合标签为O、O、B-V1、B-JY、O、O、B-V2、I-V2。
602、根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系。
例如,对于仅有一个动词的待识别语句,就可以根据步骤601-602过滤掉。
通过步骤601-602,可以实现对模型输出的预测标签进行过滤,通过过滤规则,去除可以通过规则判断的错误类型以提高性能,确保“V+V ”结构识别的有效性和完整性。
为了便于理解本发明实施例的技术方案,本发明实施例以一个具体示例进行示意性说明。以输入的待识别语句为“老师让我认真听课”为例,参见图7和图8,本实施例的动词加动词的语义关系识别方法包括:
701、将待识别语句输入至编码层,得到所述待识别语句的每个字的初始编码向量;将所述初始编码向量输入至防过拟合层,得到所述待识别语句的每个字的向量表示。
本实施例以待识别语句为“老师让我认真听课”为例进行说明。输入句子S = {w1,w2, …, w7},得到所述待识别语句的向量表示X=[x0, x1, …, x7]。
702、将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签。
参见图9,图9所示为待识别语句对应的多维语义角色结果。
703、将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果。
其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
具体来说,对于输入句子 S = { w1, w2, …, w7} ,使用 LTP 语义角色标注器获取每个字对应的压缩后的语义角色标签w’1,参见公式(3)。
[w’1, w’2, …, w’7]=LTP(w1, w2, …, w7) (3)
参见图10,图10为将多维语义角色结果合并后得到的一维语义角色结果示意图。
对于文本句子“老师让我认真听课”,从句子中的谓词来看,有两种语义结构,第一种是“老师”为论元 ARG0 ,“让 ”是谓词 Verb,其余分别作 ARG1 和 ARG2,第二种是“我 ”为论元 ARG0 ,“听讲 ”是谓词 Verb,使用 ARGM 标注修饰性词语“认真 ”。为了揭示多维语义,将语义角色标签分组,然后进行 压缩操作,如图10 所示,将多维语义角色标注压缩为一维,只保留“论元 (ARG0) ”、“谓词(Verb) ”,其余标注全部设置为“O”。
704、将所述每个字的语义角色标签输入至语言模型进行编码,得到所述每个字的语义角色标签对应的向量表示。
在得到每个字对应的语义角色标签w’1后,使用 RoBERTa模型获取每个标签的向量表示,参见公式(4)。
[x’1, x’2, …, x’7]=Linear(Roberta[w’1, w’2, …, w’7]) (4)
705、将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量。
将X=[x0, x1, …, x7]和[x’1, x’2, …, x’7] 进行拼接,得到所述每个字的拼接向量[X0,X1,…,Xn]=[ x1, x’1, x2, x’2,…, x7, x’7]。
706、将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
本实施例中,解码器可以为CFR模型。由图8中可见,每个字对应的预测标签包括B-n、I-n、B-V1、B-JY、O、O、B-V2、I-V2。
707、确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词。
例如,对于文本语句“老师让我认真听课”,词性标签依次为B-n、I-n、B-V1、B-JY、O、O、B-V2、I-V2。对于“老师”对应的词性标签,均为非动词,则替换为非动词标签O,得到最终的复合标签为O、O、B-V1、B-JY、O、O、B-V2、I-V2。
708、根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系。
通过上述步骤的符合标签,得到动词“让我”和“听课”的语义关系。
本发明实施例具有以下优点和效果:
1)针对“V+V ”结构的特殊性,将语义角色信息中的“谓词-论元”这样的结构化语义信息添加到预训练语言模型的文本表示上,以此来增强语义知识,可以提升“V+V ”结构中的动词以及施事主语的识别性能。
2)本实施例中在模型输出后,还进一步进行过滤操作,该过滤操作基于规则的方法分别针对连动结构和兼语结构而设计,可以确保“V+V”结构识别的完整性。
3)本发明实施例可以自动识别中文“V+V ”序列关系,能够识别出多种动词与动词之间的关系、它们在结构关系中担任的具体角色以及各动词对应的施事主语。
下面对本发明提供的动词加动词的语义关系识别装置进行描述,下文描述的动词加动词的语义关系识别装置与上文描述的动词加动词的语义关系识别方法可相互对应参照。
参见图11,本发明实施例的动词加动词的语义关系识别装置包括:
编码模块1101,用于将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;
标签处理模块1102,用于将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;
拼接模块1103,用于将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;
解码模块1104,用于将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
可选地,所述装置还包括替换模块,用于:
在得到所述每个字对应的预测标签之后,确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词;
根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系。
可选地,所述编码模块包括编码单元,用于:
将待识别语句输入至编码层,得到所述待识别语句的每个字的初始编码向量;
将所述初始编码向量输入至防过拟合层,得到所述待识别语句的每个字的向量表示。
可选地,所述编码模块包括语义角色标注单元,用于:
将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签;
将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果,其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
可选地,标签处理模块1102,具体用于:将所述每个字的语义角色标签输入至所述语言模型进行编码,得到所述每个字的语义角色标签对应的向量表示。
本发明实施例提供的动词加动词的语义关系识别装置,通过将待识别语句分别输入至语言模型和语义角色标注模型,得到待识别语句的每个字的向量表示和语义角色标签;将每个字的语义角色标签进行编码,得到每个字的语义角色标签对应的向量表示;将每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到每个字的拼接向量,从而实现将每个字的结构化语义信息添加到文本信息中,以增强语义知识,提升后续识别语句时对于动词以及施事主语的识别性能,然后将待识别语句的每个字的拼接向量输入至解码器进行解码,得到待识别语句的每个字对应的预测标签,能够识别出多种动词与动词之间的关系、它们在结构关系中担任的具体角色以及各动词对应的施事主语,从而提升对中文语句的语义关系识别效果。
图12示例了一种电子设备的实体结构示意图,如图12所示,该电子设备可以包括:处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240,其中,处理器1210,通信接口1220,存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令,以执行动词加动词的语义关系识别方法,该方法包括:将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
此外,上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的动词加动词的语义关系识别方法,该方法包括:将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的动词加动词的语义关系识别方法,该方法包括:将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种动词加动词的语义关系识别方法,其特征在于,用于语义关系识别模型,所述语义关系识别模型包括:编码器和解码器,所述编码器包括预训练的语言模型和语义角色标注模型;其中,所述语言模型通过包含上下文语义的样本语句训练得到;
所述方法包括:
将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;
将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;
将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;
将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系;
所述预测标签为复合标签,其中,所述复合标签包括词性标签和位置标签;所述词性标签用于指示当前字的词性,所述位置标签用于指示当前字在组成词语中的位置为起始字、中间字或结尾字;
在得到所述每个字对应的预测标签之后,所述方法还包括:
确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词;
根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系;
将待识别语句输入至语义角色标注模型,得到所述待识别语句的每个字的语义角色标签,包括:
将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签;
将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果,其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
2.根据权利要求1所述的语义关系识别方法,其特征在于,所述语言模型包括编码层和防过拟合层;
将待识别语句输入至语言模型,得到所述待识别语句的每个字的向量表示,包括:
将待识别语句输入至编码层,得到所述待识别语句的每个字的初始编码向量;
将所述初始编码向量输入至防过拟合层,得到所述待识别语句的每个字的向量表示。
3.根据权利要求1所述的语义关系识别方法,其特征在于,
将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示,包括:
将所述每个字的语义角色标签输入至所述语言模型进行编码,得到所述每个字的语义角色标签对应的向量表示。
4.一种动词加动词的语义关系识别装置,其特征在于,用于语义关系识别模型,所述语义关系识别模型包括:编码器和解码器,所述编码器包括预训练的语言模型和语义角色标注模型;其中,所述语言模型通过包含上下文语义的样本语句训练得到;
所述装置包括:
编码模块,用于将待识别语句分别输入至语言模型和语义角色标注模型,得到所述待识别语句的每个字的向量表示和语义角色标签;
标签处理模块,用于将所述每个字的语义角色标签进行编码,得到所述每个字的语义角色标签对应的向量表示;
拼接模块,用于将所述每个字的向量表示和每个字的语义角色标签对应的向量表示进行拼接,得到所述每个字的拼接向量;
解码模块,用于将所述待识别语句的每个字的拼接向量输入至解码器进行解码,得到所述待识别语句的每个字对应的预测标签,其中,所述预测标签用于识别所述待识别语句的动词加动词的语义关系;
所述预测标签为复合标签,其中,所述复合标签包括词性标签和位置标签;所述词性标签用于指示当前字的词性,所述位置标签用于指示当前字在组成词语中的位置为起始字、中间字或结尾字;
所述装置还包括替换模块,用于:在得到所述每个字对应的预测标签之后,确定所述词性标签为非动词的字为目标字,将所述目标字对应的复合标签替换为非动词标签,其中,所述非动词标签用于指示所述目标字为非动词;根据每个待识别语句的替换后的复合标签,识别所述待识别语句的动词加动词的语义关系;
所述编码模块包括语义角色标注单元,用于:
将所述待识别语句分别输入至语义角色标注模型,得到所述待识别语句的多维语义角色结果,其中,每一维语义角色结果包括每个字的语义角色标签,所述语义角色标签至少包括谓词标签和论元标签;
将多维语义角色结果合并,将非谓词标签和非论元标签替换为非实体标签,得到一维语义角色结果,其中,所述一维语义角色结果包括每个字对应的合并后的谓词标签、合并后的论元标签或所述非实体标签。
5.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述动词加动词的语义关系识别方法的步骤。
6.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述动词加动词的语义关系识别方法的步骤。
CN202311757515.1A 2023-12-20 2023-12-20 一种动词加动词的语义关系识别方法和装置 Active CN117436459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311757515.1A CN117436459B (zh) 2023-12-20 2023-12-20 一种动词加动词的语义关系识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311757515.1A CN117436459B (zh) 2023-12-20 2023-12-20 一种动词加动词的语义关系识别方法和装置

Publications (2)

Publication Number Publication Date
CN117436459A CN117436459A (zh) 2024-01-23
CN117436459B true CN117436459B (zh) 2024-05-31

Family

ID=89553909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311757515.1A Active CN117436459B (zh) 2023-12-20 2023-12-20 一种动词加动词的语义关系识别方法和装置

Country Status (1)

Country Link
CN (1) CN117436459B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262406B1 (en) * 2014-05-07 2016-02-16 Google Inc. Semantic frame identification with distributed word representations
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
CN112036189A (zh) * 2020-08-10 2020-12-04 中国人民大学 一种金文语义识别方法和系统
WO2021212681A1 (zh) * 2020-04-23 2021-10-28 平安国际智慧城市科技股份有限公司 语义角色标注方法、装置、计算机设备及存储介质
CN113887241A (zh) * 2021-10-18 2022-01-04 浙江香侬慧语科技有限责任公司 基于机器阅读理解的语义角色标注方法、装置及介质
CN115860003A (zh) * 2022-12-28 2023-03-28 苏州思萃人工智能研究所有限公司 一种语义角色分析方法、装置、电子设备及存储介质
CN116306663A (zh) * 2022-12-27 2023-06-23 华润数字科技有限公司 语义角色标注方法、装置、设备以及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180633B2 (en) * 2007-03-08 2012-05-15 Nec Laboratories America, Inc. Fast semantic extraction using a neural network architecture
US8527262B2 (en) * 2007-06-22 2013-09-03 International Business Machines Corporation Systems and methods for automatic semantic role labeling of high morphological text for natural language processing applications
GB2531720A (en) * 2014-10-27 2016-05-04 Ibm Automatic question generation from natural text

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262406B1 (en) * 2014-05-07 2016-02-16 Google Inc. Semantic frame identification with distributed word representations
CN110309511A (zh) * 2019-07-04 2019-10-08 哈尔滨工业大学 基于共享表示的多任务语言分析系统及方法
WO2021212681A1 (zh) * 2020-04-23 2021-10-28 平安国际智慧城市科技股份有限公司 语义角色标注方法、装置、计算机设备及存储介质
CN112036189A (zh) * 2020-08-10 2020-12-04 中国人民大学 一种金文语义识别方法和系统
CN113887241A (zh) * 2021-10-18 2022-01-04 浙江香侬慧语科技有限责任公司 基于机器阅读理解的语义角色标注方法、装置及介质
CN116306663A (zh) * 2022-12-27 2023-06-23 华润数字科技有限公司 语义角色标注方法、装置、设备以及介质
CN115860003A (zh) * 2022-12-28 2023-03-28 苏州思萃人工智能研究所有限公司 一种语义角色分析方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种轻量级的汉语语义角色标注规范;刘亚慧;杨浩苹;李正华;张民;;中文信息学报;20200415(第04期);全文 *
语义角色标注研究综述;李业刚;孙福振;李鉴柏;吕新宇;;山东理工大学学报(自然科学版);20111125(第06期);全文 *

Also Published As

Publication number Publication date
CN117436459A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Zhang et al. SG-Net: Syntax guided transformer for language representation
WO2020050893A1 (en) Natural language question answering
CN113822026B (zh) 一种多标签实体标注方法
WO2021143206A1 (zh) 单语句自然语言处理方法、装置、计算机设备及可读存储介质
CN118093621B (zh) 结构化查询语言生成方法、装置、电子设备及存储介质
CN113326367B (zh) 基于端到端文本生成的任务型对话方法和系统
CN112364132A (zh) 基于依存句法的相似度计算模型和系统及搭建系统的方法
CN116681061A (zh) 一种基于多任务学习和注意力机制的英文语法纠正技术
CN113743095B (zh) 基于词格和相对位置嵌入的中文问题生成统一预训练方法
CN111831792B (zh) 一种电力知识库构建方法及系统
CN117332073A (zh) 基于特征融合的工业领域事件联合抽取方法、装置和设备
CN117436459B (zh) 一种动词加动词的语义关系识别方法和装置
CN112257432A (zh) 一种自适应意图识别方法、装置及电子设备
CN116521857A (zh) 基于图形增强的问题驱动抽象式多文本答案摘要方法与装置
CN114625830B (zh) 一种中文对话语义角色标注方法及系统
CN115688792A (zh) 基于文档的问题生成方法、装置及服务器
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法
CN113010676B (zh) 一种文本知识提取方法、装置及自然语言推断系统
CN114637852A (zh) 医学文本的实体关系抽取方法、装置、设备及存储介质
CN114611510A (zh) 基于生成模型辅助机器阅读理解的实现方法及装置
CN114610743A (zh) 结构化查询语言语句处理方法和系统、设备和介质
CN113886521A (zh) 一种基于相似词汇表的文本关系自动标注方法
Lv et al. StyleBERT: Chinese pretraining by font style information
Ma Research on Computer Intelligent Proofreading System for English Translation Based on Deep Learning
CN117933254B (zh) 基于多特征融合与渐进对比的中文实体关系抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant