CN114861673A - 一种语义分析方法、装置及设备 - Google Patents

一种语义分析方法、装置及设备 Download PDF

Info

Publication number
CN114861673A
CN114861673A CN202210521771.XA CN202210521771A CN114861673A CN 114861673 A CN114861673 A CN 114861673A CN 202210521771 A CN202210521771 A CN 202210521771A CN 114861673 A CN114861673 A CN 114861673A
Authority
CN
China
Prior art keywords
vector
sentence
paraphrase
statement
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210521771.XA
Other languages
English (en)
Inventor
姚雷
杜新凯
吕超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunshine Insurance Group Co Ltd
Original Assignee
Sunshine Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunshine Insurance Group Co Ltd filed Critical Sunshine Insurance Group Co Ltd
Priority to CN202210521771.XA priority Critical patent/CN114861673A/zh
Publication of CN114861673A publication Critical patent/CN114861673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种语义分析方法、装置及设备，其中，该方法包括：获取目标字典；针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码；针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量；基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。本申请目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题，达到准确进行语义分析的效果。

Description

一种语义分析方法、装置及设备
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种语义分析方法、装置及设备。
背景技术
目前，随着人工智能技术特别是自然语言处理技术的迅猛发展，自然语言处理技术有了更多的落地应用场景。文本语义相似度是NLP算法中比较核心的内容，它通过比较句子间的潜在语义表达进行建模，可以实现较好的效果，且应用广泛，如信息检索、文本分类、问答系统、情感分析、机器翻译等。
现有的语义文本相似度采用BERT-flow或BERT-whitening的结构，这两种结构的训练文本均使用训练集对BERT结构进行训练，训练效果和语义分析的精确度不足。
发明内容
有鉴于此，本申请的目的在于提供一种语义分析方法、装置及设备，能够通过使用目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题，达到准确进行语义分析的效果。
第一方面，本申请实施例提供了一种语义分析方法，所述方法包括：获取目标字典，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句；针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码；针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量；基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
可选地，每个释义语句包括用于解释对应词语的含义的多个释义词，其中，通过以下方式确定每个释义语句对应的语句向量：针对每个释义词，从该释义语句对应的语句编码中提取与该释义词对应的词向量；根据每个释义词对应的词向量，确定该释义语句的语句向量。
可选地，通过以下方式确定每个释义语句对应的语句向量：从该释义语句对应的语句编码中提取预设标志符所指示的编码部分，确定为该释义语句对应的语句向量。
可选地，通过以下方式获得所述目标字典向量模型：针对每个语句向量，对该语句向量进行扩维处理，得到语句放大向量；针对每个词语，根据该词语对应的语句放大向量，计算该词语的预测概率值；根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值；根据所述损失函数值，对所述初始语言模型进行训练，直至所述初始语言模型的损失函数值收敛至最小值；将损失函数值收敛至最小值时的初始语言模型，确定为训练完成的目标字典向量模型。
可选地，根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值的步骤包括：构建目标损失函数；基于所构建的目标损失函数，计算各词语与对应的预测概率值的交叉熵损失值；将计算得到的交叉熵损失值，确定为所述初始语言模型的损失函数值。
可选地，获取第一文本句子和第二文本句子；将第一文本句子和第二文本句子分别输入所述目标字典向量模型，以获得第一文本句子对应的第一句向量以及第二文本句子对应的第二句向量；将第一句向量和第二句向量分别输入目标向量变换模型，以获得第一句向量对应的第一变换向量以及第二句向量对应的第二变换向量；根据所述第一变换向量和第二变换向量，计算所述第一文本句子和所述第二文本句子的相似度值。
可选地，预先创建多个向量变换模型，每个向量变换模型所针对的处理领域是不同的，其中，通过以下方式选取目标向量变换模型：确定所述第一文本句子和所述第二文本句子的所属领域；根据所属领域，从所述多个向量变换模型中选取与所属领域对应的向量变换模型，确定为目标向量变换模型。
可选地，通过以下方式确定与每个领域的目标向量变换模型：获取该领域的多个训练句；针对每个训练句，将该训练句输入所述目标字典向量模型，以获得该训练句对应的训练句向量；确定多个训练句向量对应的协方差矩阵；对所述协方差矩阵进行分解，获得该领域下的第一向量变换系数和第二向量变换系数；基于所获得的第一向量变换系数和第二向量变换系数，构建所述目标向量变换模型。
第二方面，本申请实施例还提供了一种语义分析装置，所述装置包括：
目标字典获取模块，用于获取目标字典，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句；
语句编码获得模块，用于针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码；
语句向量确定模块，用于针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量；
语言模型训练模块，用于基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的语义分析方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的语义分析方法的步骤。
本申请实施例提供的语义分析方法、装置及设备，能够通过使用目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题，达到准确进行语义分析的效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种语义分析方法的流程图；
图2为本申请实施例所提供的另一种语义分析方法的流程图；
图3为本申请实施例所提供的一种语义分析装置的结构示意图；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于人工智能领域。
经研究发现，随着人工智能技术特别是自然语言处理技术的迅猛发展，自然语言处理技术有了更多的落地应用场景。文本语义相似度是NLP算法中比较核心的内容，它通过比较句子间的潜在语义表达进行建模，可以实现较好的效果，且应用广泛，如信息检索、文本分类、问答系统、情感分析、机器翻译等。
现有的语义文本相似度采用BERT-flow或BERT-whitening的结构，这两种结构的训练文本均使用训练集对BERT结构进行训练，训练的效果和语义分析的精确度不足。
并且，whitening模型无法对不同领域的语句，保证语义分析的精准度。
基于此，本申请实施例提供了一种语义分析方法、装置及设备，以达到准确进行语义分析的效果。
请参阅图1，图1为本申请实施例所提供的一种语义分析方法的流程图。所如图1中所示，本申请实施例提供的语义分析方法，包括：
S101、获取目标字典。
其中，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句。
示例性的，词语为“成语”，与“成语”对应的释义语句为“习用的言简意赅的固定短语或短句，汉语成语大多由四个字组成”。
S102、针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码。
其中，初始语言模型可以为中文bert模型。
S103、针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量。
其中，每个释义语句包括用于解释对应词语的含义的多个释义词。
示例性的，释义语句为“习用的言简意赅的固定短语或短句。汉语成语大多由四个字组成”时，释义词包括“固定短语”“短句”“汉语”等。
其中，可以通过以下方式确定每个释义语句对应的语句向量：针对每个释义词，从该释义语句对应的语句编码中提取与该释义词对应的词向量；根据每个释义词对应的词向量，确定该释义语句的语句向量。
具体的，可以计算每个释义语句中的每个释义词的词向量的均值或最大值作为该释义语句的语句向量。
可选地，通过以下方式确定每个释义语句对应的语句向量：从该释义语句对应的语句编码中提取预设标志符所指示的编码部分，确定为该释义语句对应的语句向量。
需要说明的是，预设标志符可以为语句编码的cls(classification)部分，具体的，语句编码的cls(classification)部分用于bert模型在文本前插入一个cls符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。
这样，就可以通过语句编码的cls部分、每个释义词的词向量的均值或最大值得到释义语句的句向量。
S104、基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
具体的，可以通过以下方式获得所述目标字典向量模型：针对每个语句向量，对该语句向量进行扩维处理，得到语句放大向量；针对每个词语，根据该词语对应的语句放大向量，计算该词语的预测概率值；根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值；根据所述损失函数值，对所述初始语言模型进行训练，直至所述初始语言模型的损失函数值收敛至最小值；将损失函数值收敛至最小值时的初始语言模型，确定为训练完成的目标字典向量模型。
具体的，根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值的步骤包括：构建目标损失函数；基于所构建的目标损失函数，计算各词语与对应的预测概率值的交叉熵损失值；将计算得到的交叉熵损失值，确定为所述初始语言模型的损失函数值。
本申请实施例提供的语义分析方法，能够通过使用目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题，达到准确进行语义分析的效果。
请参阅图2，图2为本申请另一实施例提供的语义分析方法的流程图。如图2中所示，本申请实施例提供的语义分析方法，包括：
S201、获取第一文本句子和第二文本句子。
具体的，第一文本句子和第二文本句子可以均为从外部获取到的，也可以为一个是从外部输入的一个是语句库中储存的，例如，当本申请的分析方法应用于问答场景时，即判断一个问题与一个答案是否匹配，第一文本句子可以是外部输入的语句，第二文本句子可以为本库中存储的多个问答的问题中的一个。当当本申请的分析方法应用于语句匹配场景时，第一文本句子和第二文本句子均为从外部获取到的语句。
S202、将第一文本句子和第二文本句子分别输入所述目标字典向量模型，以获得第一文本句子对应的第一句向量以及第二文本句子对应的第二句向量。
S203、将第一句向量和第二句向量分别输入目标向量变换模型，以获得第一句向量对应的第一变换向量以及第二句向量对应的第二变换向量。
可选地，所述方法还包括：预先创建多个向量变换模型，每个向量变换模型所针对的处理领域是不同的。
其中，通过以下方式选取目标向量变换模型：确定所述第一文本句子和所述第二文本句子的所属领域；根据所属领域，从所述多个向量变换模型中选取与所属领域对应的向量变换模型，确定为目标向量变换模型。
示例性的，当目标向量变换模型应用于保险领域时，选取采用保险领域的训练语句确定的目标向量变换模型对第一句向量和第二句向量进行变换。
具体的，通过以下方式确定与每个领域的目标向量变换模型：获取该领域的多个训练句；针对每个训练句，将该训练句输入所述目标字典向量模型，以获得该训练句对应的训练句向量；确定多个训练句向量对应的协方差矩阵；对所述协方差矩阵进行分解，获得该领域下的第一向量变换系数和第二向量变换系数；基于所获得的第一向量变换系数和第二向量变换系数，构建所述目标向量变换模型。
示例性的，可以采用奇异值分解(SVD，Singular Value Decomposition)算法对所述协方差矩阵进行分解，计算第一向量变换系数和第二向量变换系数，其中，第一向量变换系数可以为kernel，第二向量变换系数可以为bias。
例如，可以计算多个训练句的句向量的训练句向量集合为V＝[v1,v2,...vn]。
其中，每个vi为一条句子的句向量。
可以通过以下公式计算多个训练句向量的协方差矩阵：
A＝UΣVT
其中，A为协方差矩阵，矩阵U和矩阵V是正交矩阵，Σ表示一个包含有奇异值的对角阵。
可以通过以下公式计算第一向量变换系数kernel：
kernel＝U.dot(Σ1/2)
其中，矩阵U和上述矩阵V是正交矩阵，dot为(dot product；scalar product)，即点积运算，Σ表示一个包含有奇异值的对角阵。
可以通过以下公式计算第二向量变换系数bias：
Figure BDA0003641737840000091
其中，每个vi为一条句子的句向量。
这样，通过将第一向量变换系数和第二向量变换系数构建的目标向量变换模型，可以基于句向量的所属领域对句向量进行针对其所属领域的变换，以最大限度的放大句向量的特征，使语义分析更加准确。
S204、根据所述第一变换向量和第二变换向量，计算所述第一文本句子和所述第二文本句子的相似度值。
具体的，可以根据第一变换向量和第二变换向量，计算两个向量之间的余弦相似度值，将两者的余弦相似度值作为第一文本句子和第二文本句子的相似度值。
本申请实施例提供的语义分析方法，能够通过使用目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题并且，通过对文本句子的所属领域的匹配进一步提升了语义分析的精度，达到了准确进行语义分析的效果。
基于同一发明构思，本申请实施例中还提供了与语义分析方法对应的语义分析装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述语义分析方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图3，图3为本申请实施例所提供的一种语义分析装置的结构示意图。如图3中所示，所述语义分析装置300包括：
目标字典获取模块301，用于获取目标字典，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句。
语句编码获得模块302，用于针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码。
语句向量确定模块303，用于针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量。
语言模型训练模块304，用于基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
可选地，每个释义语句包括用于解释对应词语的含义的多个释义词，其中，语句向量确定模块303，还用于针对每个释义词，从该释义语句对应的语句编码中提取与该释义词对应的词向量；根据每个释义词对应的词向量，确定该释义语句的语句向量。
可选地，语句向量确定模块303，还用于从该释义语句对应的语句编码中提取预设标志符所指示的编码部分，确定为该释义语句对应的语句向量。
可选地，语言模型训练模块304，还用于针对每个语句向量，对该语句向量进行扩维处理，得到语句放大向量；针对每个词语，根据该词语对应的语句放大向量，计算该词语的预测概率值；根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值；根据所述损失函数值，对所述初始语言模型进行训练，直至所述初始语言模型的损失函数值收敛至最小值；将损失函数值收敛至最小值时的初始语言模型，确定为训练完成的目标字典向量模型。
可选地，语言模型训练模块304，还用于构建目标损失函数；基于所构建的目标损失函数，计算各词语与对应的预测概率值的交叉熵损失值；将计算得到的交叉熵损失值，确定为所述初始语言模型的损失函数值。
可选地，所述语义分析装置300还包括：文本句子获取模块，用于获取第一文本句子和第二文本句子。
句向量获得模块，用于将第一文本句子和第二文本句子分别输入所述目标字典向量模型，以获得第一文本句子对应的第一句向量以及第二文本句子对应的第二句向量。
变换向量获得模块，用于将第一句向量和第二句向量分别输入目标向量变换模型，以获得第一句向量对应的第一变换向量以及第二句向量对应的第二变换向量。
相似度值计算模块，用于根据所述第一变换向量和第二变换向量，计算所述第一文本句子和所述第二文本句子的相似度值。
可选地，所述语义分析装置300还包括：处理领域创建模块，用于预先创建多个向量变换模型，每个向量变换模型所针对的处理领域是不同的。
可选地，所述语义分析装置300还包括：目标向量变换模型选取模块，用于确定所述第一文本句子和所述第二文本句子的所属领域；根据所属领域，从所述多个向量变换模型中选取与所属领域对应的向量变换模型，确定为目标向量变换模型。
可选地，所述语义分析装置300还包括：目标向量变换模型构建模块，用于获取该领域的多个训练句；针对每个训练句，将该训练句输入所述目标字典向量模型，以获得该训练句对应的训练句向量；确定多个训练句向量对应的协方差矩阵；对所述协方差矩阵进行分解，获得该领域下的第一向量变换系数和第二向量变换系数；基于所获得的第一向量变换系数和第二向量变换系数，构建所述目标向量变换模型。
本申请实施例提供的语义分析装置，能够通过使用目标字典中的词语和释义语句对语言模型进行训练，解决现有技术中存在的对语言模型训练的效果和语义分析的精确度不足的问题，达到准确进行语义分析的效果。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1以及图2所示方法实施例中的语义分析方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的语义分析方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种语义分析方法，其特征在于，所述方法包括：
获取目标字典，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句；
针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码；
针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量；
基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
2.根据权利要求1所述的方法，其特征在于，每个释义语句包括用于解释对应词语的含义的多个释义词，
其中，通过以下方式确定每个释义语句对应的语句向量：
针对每个释义词，从该释义语句对应的语句编码中提取与该释义词对应的词向量；
根据每个释义词对应的词向量，确定该释义语句的语句向量。
3.根据权利要求1所述的方法，其特征在于，通过以下方式确定每个释义语句对应的语句向量：
从该释义语句对应的语句编码中提取预设标志符所指示的编码部分，确定为该释义语句对应的语句向量。
4.根据权利要求1所述的方法，其特征在于，通过以下方式获得所述目标字典向量模型：
针对每个语句向量，对该语句向量进行扩维处理，得到语句放大向量；
针对每个词语，根据该词语对应的语句放大向量，计算该词语的预测概率值；
根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值；
根据所述损失函数值，对所述初始语言模型进行训练，直至所述初始语言模型的损失函数值收敛至最小值；
将损失函数值收敛至最小值时的初始语言模型，确定为训练完成的目标字典向量模型。
5.根据权利要求4所述的方法，其特征在于，根据每个词语对应的预测概率值，计算所述初始语言模型的损失函数值的步骤包括：
构建目标损失函数；
基于所构建的目标损失函数，计算各词语与对应的预测概率值的交叉熵损失值；
将计算得到的交叉熵损失值，确定为所述初始语言模型的损失函数值。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一文本句子和第二文本句子；
将第一文本句子和第二文本句子分别输入所述目标字典向量模型，以获得第一文本句子对应的第一句向量以及第二文本句子对应的第二句向量；
将第一句向量和第二句向量分别输入目标向量变换模型，以获得第一句向量对应的第一变换向量以及第二句向量对应的第二变换向量；
根据所述第一变换向量和第二变换向量，计算所述第一文本句子和所述第二文本句子的相似度值。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：预先创建多个向量变换模型，每个向量变换模型所针对的处理领域是不同的，
其中，通过以下方式选取目标向量变换模型：
确定所述第一文本句子和所述第二文本句子的所属领域；
根据所属领域，从所述多个向量变换模型中选取与所属领域对应的向量变换模型，确定为目标向量变换模型。
8.根据权利要求7所述的方法，其特征在于，通过以下方式确定与每个领域的目标向量变换模型：
获取该领域的多个训练句；
针对每个训练句，将该训练句输入所述目标字典向量模型，以获得该训练句对应的训练句向量；
确定多个训练句向量对应的协方差矩阵；
对所述协方差矩阵进行分解，获得该领域下的第一向量变换系数和第二向量变换系数；
基于所获得的第一向量变换系数和第二向量变换系数，构建所述目标向量变换模型。
9.一种语义分析装置，其特征在于，包括：
目标字典获取模块，用于获取目标字典，所述目标字典包括多个词语和用于对各词语的含义进行解释的释义语句；
语句编码获得模块，用于针对每个释义语句，将该释义语句输入到初始语言模型，获得对应的语句编码；
语句向量确定模块，用于针对每个释义语句，根据该释义语句对应的语句编码，确定该释义语句对应的语句向量；
语言模型训练模块，用于基于多个词语以及各词语对应的释义语句的语句向量，对所述初始语言模型进行训练，获得目标字典向量模型，其中，所述目标字典向量模型用于针对输入的文本语句输出对应的句向量，以进行语义分析。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至8任一所述方法的步骤。
CN202210521771.XA 2022-05-13 2022-05-13 一种语义分析方法、装置及设备 Pending CN114861673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210521771.XA CN114861673A (zh) 2022-05-13 2022-05-13 一种语义分析方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210521771.XA CN114861673A (zh) 2022-05-13 2022-05-13 一种语义分析方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114861673A true CN114861673A (zh) 2022-08-05

Family

ID=82637612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210521771.XA Pending CN114861673A (zh) 2022-05-13 2022-05-13 一种语义分析方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114861673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422932A (zh) * 2022-11-01 2022-12-02 摩尔线程智能科技(北京)有限责任公司 一种词向量训练方法及装置、电子设备和存储介质
CN116631550A (zh) * 2023-07-26 2023-08-22 深圳爱递医药科技有限公司 一种临床试验的数据管理及逻辑核查方法及其医疗系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422932A (zh) * 2022-11-01 2022-12-02 摩尔线程智能科技(北京)有限责任公司 一种词向量训练方法及装置、电子设备和存储介质
CN116631550A (zh) * 2023-07-26 2023-08-22 深圳爱递医药科技有限公司 一种临床试验的数据管理及逻辑核查方法及其医疗系统
CN116631550B (zh) * 2023-07-26 2023-11-28 深圳爱递医药科技有限公司 一种临床试验的数据管理及逻辑核查方法及其医疗系统

Similar Documents

Publication Publication Date Title
Oakes Statistics for corpus linguistics
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
US11232263B2 (en) Generating summary content using supervised sentential extractive summarization
CN114861673A (zh) 一种语义分析方法、装置及设备
CN111859940B (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN110678868B (zh) 翻译支持系统、装置和方法以及计算机可读介质
US20220139386A1 (en) System and method for chinese punctuation restoration using sub-character information
CN112347267B (zh) 一种文本处理方法、装置、计算机设备及存储介质
CN109753661A (zh) 一种机器阅读理解方法、装置、设备及存储介质
CN113268576B (zh) 一种基于深度学习的部门语义信息抽取的方法及装置
Xia Codeswitching language identification using subword information enriched word vectors
CN110941961A (zh) 一种信息聚类方法、装置、电子设备及存储介质
CN110633456B (zh) 语种识别方法、装置、服务器及存储介质
CN114936274A (zh) 模型训练方法、对话生成方法和装置、设备及存储介质
CN115130038A (zh) 网页分类方法及装置
CN113743090A (zh) 一种关键词提取方法及装置
CN114417824B (zh) 基于依存句法预训练模型的篇章级关系抽取方法及系统
CN111401070A (zh) 词义相似度确定方法及装置、电子设备及存储介质
CN114742045A (zh) 一种语义文本相似度的计算方法、装置及存储介质
KR102354898B1 (ko) 한국어 기반 신경망 언어 모델을 위한 어휘 목록 생성 방법 및 장치
CN110866395B (zh) 基于译员编辑行为的词向量生成方法及装置
Mathew et al. Paraphrase identification of Malayalam sentences-an experience
CN113822053A (zh) 一种语法错误检测方法、装置、电子设备及存储介质
CN113312462B (zh) 一种语义相似度计算方法、装置、电子设备及存储介质
CN112287669B (zh) 文本处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination