CN112966523A - 基于语义关系约束的词向量修正方法及计算系统 - Google Patents

基于语义关系约束的词向量修正方法及计算系统 Download PDF

Info

Publication number
CN112966523A
CN112966523A CN202110273206.1A CN202110273206A CN112966523A CN 112966523 A CN112966523 A CN 112966523A CN 202110273206 A CN202110273206 A CN 202110273206A CN 112966523 A CN112966523 A CN 112966523A
Authority
CN
China
Prior art keywords
word
semantic
constraint
similarity
vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110273206.1A
Other languages
English (en)
Inventor
杨东强
阴艳芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202110273206.1A priority Critical patent/CN112966523A/zh
Publication of CN112966523A publication Critical patent/CN112966523A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于语义关系约束的词向量修正方法及计算系统，该方法包括以下步骤：从WordNet、Roget语义词典中抽取具有对称关系的同义词、反义词约束集，以及具有非对称关系的直接上位/下位词约束集作为外部知识源更新词嵌入向量；随机输入两个要计算相似性的词汇，即可计算出该对词汇的相似度。该词汇语义相似性计算系统包括输入单元、初始化单元、计算单元和输出单元。本发明基于外部知识源提供的词汇语义关系约束来更新已有的神经网络词嵌入向量，进而用于词汇语义相似性计算。更新速度、词嵌入向量语义更新效果都明显好于现有技术，在计算词汇语义相似性中准确率也更高。

Description

基于语义关系约束的词向量修正方法及计算系统
技术领域
本发明涉及一种采用语义词典中语义关系约束集对神经网络词嵌入向量进行修正的方法和计算词汇相似性的系统，尤其是利用语义层次结构中具有非对称关系的直接上位/下位词来约束词嵌入向量之间的语义距离，属于自然语言处理语义计算领域。
背景技术
分布式语义表示(Distributional Representations)是自然语言处理的重要研究内容之一。分布式表示是基于Harris的分布式假设，即如果两个词的上下文相似，那么这两个词也是相似的。上下文的类型可以为相邻词，所在句子或所在的文档等。这样我们就可以通过词与其上下文的共现矩阵来进行词的表示，即把共现矩阵的每一行看作对应词的向量表示。神经网络词嵌入的主要用途有三种：(1)在嵌入空间中找到最近邻；(2)作为有监督的机器学习模型的输入；(3)挖掘变量间的关系。利用神经网络嵌入，我们能将Wikipedia中的37000多本书转换为至多包含50个数值的向量。神经网络嵌入还克服了独热编码的局限性。
通过学习上下文中单词共现关系得到的神经网络词嵌入模型在相同上下文中出现的词通常具有相同的含义。神经网络词嵌入模型的表达能力还需要进一步提高。
词语向量表达(word vector representation)是机器翻译、文本分类、情感分析等自然语言处理(natural language processing NLP)下游应用中的重要基础。作为词语的向量化形式，词语向量表达通过计算后能够捕捉语言的特性，因此其被用于解决各种NLP的任务。近年来，以分布假说---词的语义由其上下文决定作为理论基础，由神经网络模型训练语言模型时生成的词分布表示，又叫词嵌入(word embedding)或词向量，在许多NLP任务上，取得超越传统的词袋(CBOW)特征表达方法的效果。这一提升归功于神经网络语言模型可以使用组合方式，以线性复杂度对复杂的n元上下文进行建模，解决了传统CBOW特征表达方法高维稀疏的问题。然而这种统一式的神经网络词嵌入模型不能有效区分词汇语义的相似度和相关度，在需要利用语义相似性区分单词含义或理解上，上下文不等同于真正的语义，词分布表示也存在局限性。
中国专利文献CN106610940A公开的一种新的本体概念词汇语义相似度求解方法，包括：初始化统计方法模块；将待比较词输入初始化统计方法模块中；将待比较词映射到本体概念模块中；分别选取待比较词对应深度最大的本体概念；计算待比较词对应深度最大的两本体概念间的相似度；待比较词之间的词形相似度；经过上述步骤，计算两待比较词最近共同祖先的深度对两待比较词相似度的影响，构造影响因子函数；综合上述步骤，计算两待比较词的相似度。
中国专利文献CN106610948A公开的一种改进的词汇语义相似度求解算法,本发明涉及语义网络技术领域,具体涉及一种改进的词汇语义相似度求解算法包括如下步骤：初始化统计方法模块，这里可以是《词语字典》、《词林》、知网、《百度百科》等等语料库；将待比较词输入初始化统计方法模块中；在统计模块中找到待比较词相邻上下文中权重最大的上下文词；根据待比较词分别对应的权重最大上下文词之间的相似度，提取相似度最大关键字；分别计算相似度最大关键字与待比较词的相关度；再利用求得的相关度，得出待比较词的相似度sim值。
中国专利文献CN102567306A公开的一种不同语言间词汇相似度的获取方法及系统，包括：获得源语言中第一词汇的上下文词汇及所述上下文词汇与所述第一词汇的源语言依存关系，获得目标语言中第二词汇的上下文词汇及所述上下文词汇与所述第二词汇的目标语言依存关系；获得所述第一词汇的上下文词汇与所述第二词汇的上下文词汇之间的上下文相似度，获得所述源语言依存关系与所述目标语言依存关系的依存相似度；根据所述上下文相似度及所述依存相似度获得所述第一词汇与所述第二词汇的相似度。
上述词汇语义相似度求解方法利用了基于语料库统计的方式计算词汇相似度，考虑到待比较词在本体概念模型中对应深度、最大的本体概念间的距离、深度与密度等因素。但该类汇语义相似度求解方法仍未与外部知识源信息融合。
近年来,研究者们采用各种词汇分类体系提供的词汇语义约束(如词语间的同义关系或者反义关系)对海量语料训练得到的词向量进行修正，改善了词向量的语义表达能力。词向量的修正主要分为两种方法:一种方法是直接在训练词向量的过程中加入词汇语义约束，另一类方法则是对训练好的词向量根据词汇语义约束进行后处理。相比于前者，后者适用于任何模型训练得到的词向量的修正，并且效率较高，被称为轻量级后修正方法。
这种通过在神经网络词嵌入模型中直接注入语义关系的方法来提升单词的分布式语义表达能力，其语义约束关系主要来自外部知识库如WordNet、PPDB等。该后处理方法无需在大规模语料库上重新训练语言模型，仅通过监督式学习对词嵌入向量进行语义约束。相较于前期融入知识源的传统模型训练方法，通过注入同义词关系、反义词关系、蕴含关系等，后处理方法灵活性和普适性更高，不再需要大规模计算资源重新训练语言模型，极大地提高了训练效率和应用领域。
词向量修正方法使用的蕴含关系涉及到跨多层次的语义关系传递的问题，由于语义关系传递自身存在似然性，随着语义传递路径长度的增长，语义传递的有效性逐渐降低，概念相似性也更模糊。同时，随着概念间的语义域重叠度降低，不同领域的概念密切程度也会逐渐稀疏。例如，WordNet中除了对称性的同义词和反义词关系之外，还有非对称性的上/下位关系(IS-A)以及部分-整体关系(PART-OF)等。在IS-A和PART-OF的语义网络层次体系中，随着网络路径距离的增加，概念间的语义域重叠度也会相应降低。如果语义概念间的层次跨度增大，蕴含关系两端概念的语义域相容性也会变低，概念间的相似度也随之降低，若将其作为语义约束注入神经网络词嵌入模型则会影响分布式语义表达能力。
因此有必要提出直接上位/下位词修正神经网络词嵌入向量的方法，结合语义词典中提供的同义词、反义词以及本方法收集的直接上位/下位词汇语义约束集，更新现有的任意神经网络词嵌入向量。进而达到提高词汇语义相似性准确率的目的。
发明内容
本发明针对现有技术存在的不足，提出一种基于语义关系约束的词向量修正方法及计算系统，在神经网络词嵌入向量空间中注入外部知识源中的词汇语义关系，使词向量语义表征能力更强，词汇相似性计算的准确率更高，同时提供一种实现该方法的计算系统。
本发明的基于语义关系约束的词向量修正方法，包括以下步骤：
从WordNet、Roget语义词典中名词、动词、形容词和副词在语义词典中均各自被组织成一个具有对称关系的同义词的网络和反义词网络，从中抽取对称关系的同义词约束集S、反义词约束集A，每个同义词集合和反义词集都代表一个基本的语义概念。
从语义词典中提取非对称关系的直接上位/下位词约束集DH，由于语义关系传递自身存在似然性，随着语义传递路径长度的增长，语义传递的有效性逐渐降低，概念相似性也更模糊。在WordNet IS-A和PART-OF的语义网络层次(Hierarchy)体系中，随着语义网络路径距离的增加，概念间的语义域重叠度也会相应降低，不同领域的概念密切程度也会逐渐稀疏。因此，当两个词汇为相邻的直接上位/下位关系时，两者之间的相似性更高。
构建词嵌入向量更新模型和损失函数，使用直接上位词约束集建立新型语义约束条件并构建修正模型，提升了神经网络词嵌入向量的语义表达能力。假设取GloVe CommonCrawl-300D词嵌入向量进行修正，首先获取词嵌入向量词典V，注入的外部语言约束集包括同义词约束集S，反义词约束集A以及直接上位/下位词约束集DH。模型优化过程中分别对同义词约束集、反义词约束集、直接上位/下位词约束集进行小批量训练，依次表示为BS、BA和BDH，批处理大小分别为k1、k2和k3。令具有同义词关系的词对之间的距离更近，具有反义词关系的词对之间的距离更远，而直接上位/下位词关系的单词对之间的距离更加接近，拉近及推远的范围由定义的损失函数来控制。
执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；同义词拉近采用铰链函数判断同义词集向量之间彼此拉近的界值，反义词推远函数与此同理；为保留初始向量空间中的高质量的语义信息，每个小批量处理中的词向量，当该信息与上述注入的语言约束一致时，使用L2正则化方法来进行处理；直接上位/下位关系作为非对称语言约束，在修正分布式词向量过程中的顺序是至关重要的。将直接上位/下位关系优化方式与前述函数相同，采用欧几里德范数作为非对称距离函数来重新缩放词向量，以反映上位/下位词汇之间的关系。采用以上定义的损失函数执行词嵌入向量。
根据更新后词嵌入向量对输入词汇初始化，所要计算的相似性词汇的形式可以是任意的，如在词汇语义相似性计算系统的窗口中键入目标词汇，或将目标词汇统一整理成表格形式输入系统中进行计算；输入后的词汇在更新后的词向量检索对应向量值并进行初始化。
所述根据相似性定理计算词汇相似性并输出结果，词汇语义相似性计算方法主要包含：
(1)余弦距离(Cosine Distance)
(2)欧式距离(Euclidean Distance)
(3)曼哈顿距离(Manhattan Distance)
(4)明可夫斯基距离(Minkowski Distance)
根据上述任意语义相似性度量方法均可计算输出词汇相似值。
基于语义关系约束的词向量修正方法及计算系统，其特征在于，包括：
输入单元：一对需计算相似度的目标词汇；
初始化单元：根据语义关系约束修正后的词向量对输入词汇初始化；
计算单元：选取合适的相似性度量方法计算词汇相似度；
输出单元：输出两个目标词汇最终相似性结果。
本发明提出了一种利用语义关系约束的词向量修正方法，基于修正后的神经网络词嵌入向量进行计算，精确定义了修正损失函数，使两个待计算的词汇的形似性判断更接近人类真实判断。本发明提出的利用语义关系约束的词向量修正方法，分析了原有利用蕴含关系修正词嵌入向量方式存在的弊端，从语义词典中抽取直接上位/下位词集进行优化。进一步将原本高度相似的词汇向量在对应向量空间中的距离拉近，克服了因语义传递路径过长而带来的噪声影响。使得词嵌入修正计算速度快，修正效率高，有效提高词汇语义相似性的判断的准确率。相较于现有技术，本发明方法在词汇语义相似性判断上更有效。
附图说明
图1是本发明根据修正后词嵌入向量计算单词相似性的系统的单元流程图；
图2是本发明的基于语义关系约束的词向量修正方法的技术架构；
图3是本发明利用语义关系约束修正神经网络词嵌入向量示意图；
图4是本发明改进后的方法相应单词在向量空间中的对比图。
具体实施方式
首先说明语义关系约束集、神经网络词嵌入向量、语义传递的概念。
语义关系约束集：语义词典中的名词、动词、形容词和副词被组织成一个具有对称关系的同义词的网络，网络中的词汇两两构成同义词集(反义词集、蕴含关系词集同理)。
神经网络词嵌入：神经网络词向量表示技术通过神经网络技术对上下文，以及上下文与目标词之间的关系进行建模，将离散的数据表示为连续的低维向量。
语义传递：设存在概念c1,c2,…cn,cn+1，概念间存在语义关系r1(c1,c2),r2(c2,c3),…，rn(cn,cn+1)，当n≤2时，称为单级语义传递；当n>2时，称为多级语义传递。
如图1，本发明的基于语义关系约束的词向量修正方法包括以下步骤：
从WordNet、Roget语义词典中抽取对称关系的同义词、反义词约束集；
提取非对称关系的直接上位/下位词约束集；
构建词嵌入向量更新模型和损失函数；
执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；
根据更新后词嵌入向量对输入词汇初始化；
根据相似性定理计算词汇相似性并输出结果。
如图2，本发明利用语义关系约束修正神经网络词嵌入向量的过程如下：令V为词嵌入向量的词典，注入的外部语言约束集包括同义词约束集S，反义词约束集A以及直接上位词约束集DH。优化过程中分别对同义词BS和反义词BA进行小批量操作，批处理大小分别为k1和k2。
令约束集中的词对为(xl,xr)，其对应词向量为(Xl,Xr),则
Figure BDA0002975506480000031
为同义词批处理表示(BA同理)。
为迫使同义词对之间的距离更近，反义词对之间的距离更远。首先定义同义词小批处理BS对应负样例
Figure BDA0002975506480000041
为，其中
Figure BDA0002975506480000042
为当前批次中除
Figure BDA0002975506480000043
以外的向量，并且分别使
Figure BDA0002975506480000044
与
Figure BDA0002975506480000045
和
Figure BDA0002975506480000046
与
Figure BDA0002975506480000047
余弦距离最近(BA同理)。
同义词拉近函数：
Figure BDA0002975506480000048
其中τ(x)＝max(0，x)是铰链损失函数，δsyn决定同义词集向量之间彼此拉近的相似性界值。
反义词推远函数：
Figure BDA0002975506480000049
向量空间信息保留函数：为保留初始向量空间中的高质量的语义信息，V(B)每个小批量处理中的词向量，当该信息与上述注入的语言约束一致时，使用L2正则化方法来进行处理。
Figure BDA00029755064800000410
其中，λreg为L2正则化常数，
Figure BDA00029755064800000411
表示对应单词的原始分布式向量。
直接上位/下位词拉近函数：直接上位/下位关系作为非对称语言约束，在修正分布式词向量过程中的顺序是至关重要的。本文将直接上位/下位关系表示为BDH，批次大小为k3，优化方式与前述函数相同。但在强调相似性的过程中也要反映上位/下位概念的层次结构。本文采用欧几里德范数作为非对称距离函数来重新缩放词向量，以反映上位/下位词汇之间的关系。
Figure BDA00029755064800000412
语义修正模型训练过程中完整的代价函数是以上四个函数之和：
C＝S(BS,TS)+A(BA,TA)+DH(BDH)+R(BS,BA,BDH)
NNWEs的修正过程中，我们将具有对称关系的同义词和具有非对称性的直接上位/下位关系的空间距离拉近，并将反义词距离推远，以提高分布式语义表示能力。
如图3，本发明根据修正后词嵌入向量计算单词相似性的系统的内部实施步骤如下：
算法：Similarity-Calculation给定修正后的神经网络词嵌入向量及其对应词典V，计算词汇相似性。
输入：待计算相似度的词汇(W1,W2)
输出：词汇(W1,W2)之间的相似值
方法：(1)for(W1,W2)in V
(2)locw1←find W1 in V
(3)locw2←find W2 in V
(4)end for
(5)初始化W1对应locw1词向量E1
(6)初始化W2对应locw2词向量E2
(7)计算词向量E1、E2之间的余弦距离
(8)返回余弦值，即词汇间的相似度
注：所要计算的相似性词汇的形式可以是任意的，如在词汇语义相似性计算系统的窗口中键入目标词汇，或将目标词汇统一整理成表格形式输入系统中进行计算；且相似度计算方式可以根据需要自由选择，词汇语义相似性计算方法主要包含：余弦距离、欧式距离、曼哈顿距离、明可夫斯基距离。根据上述任意语义相似性度量方法均可计算输出词汇相似值。
本发明提出了一种利用语义关系约束的词向量修正方法，基于修正后的神经网络词嵌入向量进行计算，针对现有利用蕴含关系修正词嵌入向量方式存在的不足和限制，将语义词典IS-A语义层次结构中具有对称关系的同义词、反义词注入词嵌入向量空间中，同时充分挖掘语义层次结构中具有非对称关系的直接上位/下位词约束集，将其作为外部知识源注入向量空间中，有效解决了因语义传递路径过长而导致的下位词对上位词语义继承性不强和语义域的重叠度低的问题，克服了因语义传递路径过长而带来的干扰。使得修正词嵌入向量语义表征能力更强，修正效率高，有效提高词汇语义相似性的判断的准确率。

Claims (9)

1.一种基于语义关系约束的词向量修正方法及计算系统，其特征在于，包括以下步骤：
WordNet、Roget语义词典中抽取对称关系的同义词、反义词约束集；
提取非对称关系的直接上位/下位词约束集；
构建词嵌入向量更新模型和损失函数；
执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；
根据更新后词嵌入向量对输入词汇初始化；
根据相似性定理计算词汇相似性并输出结果。
2.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的WordNet、Roget语义词典中抽取对称关系的同义词、反义词约束集，名词、动词、形容词和副词在语义词典中均各自被组织成一个具有对称关系的同义词的网络和反义词网络，每个同义词集合和反义词集都代表一个基本的语义概念。
3.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的提取非对称关系的直接上位/下位词约束集，由于语义关系传递自身存在似然性，随着语义传递路径长度的增长，语义传递的有效性逐渐降低，概念相似性也更模糊。在WordNet IS-A和PART-OF的语义网络层次(Hierarchy)体系中，随着网络路径距离的增加，概念间的语义域重叠度也会相应降低，不同领域的概念密切程度也会逐渐稀疏。因此，当两个词汇为相邻的直接上位/下位关系时，两者之间的相似性更高。
4.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的构建词嵌入向量更新模型和损失函数，使用直接上位词约束集建立新型语义约束条件并构建修正模型，提升了神经网络词嵌入向量的语义表达能力。假设取GloVeCommon Crawl-300D词嵌入向量进行修正，首先获取词嵌入向量词典，注入的外部语言约束集包括同义词约束集，反义词约束集以及直接上位/下位词约束集。模型优化过程中分别对同义词约束集、反义词约束集、直接上位/下位词约束集进行小批量训练，令具有同义词关系的词对之间的距离更近，具有反义词关系的词对之间的距离更远，而直接上位/下位词关系的单词对之间的距离更加接近，拉近及推远的范围由定义的损失函数来控制。
5.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；同义词拉近采用铰链函数判断同义词集向量之间彼此拉近的界值，反义词推远函数与此同理；为保留初始向量空间中的高质量的语义信息，每个小批量处理中的词向量，当该信息与上述注入的语言约束一致时，使用L2正则化方法来进行处理；直接上位/下位关系作为非对称语言约束，在修正分布式词向量过程中的顺序是至关重要的。将直接上位/下位关系优化方式与前述函数相同，采用欧几里德范数作为非对称距离函数来重新缩放词向量，以反映上位/下位词汇之间的关系。采用以上定义的损失函数执行词嵌入向量。
6.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的根据更新后词嵌入向量对输入词汇初始化，所要计算的相似性词汇的形式可以是任意的，如在词汇语义相似性计算系统的窗口中键入目标词汇，或将目标词汇统一整理成表格形式输入系统中进行计算；输入后的词汇在更新后的词向量检索对应向量值并进行初始化。
7.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述根据相似性定理计算词汇相似性并输出结果，词汇语义相似性计算方法主要包含：
(1)余弦距离(Cosine Distance)
(2)欧式距离(Euclidean Distance)
(3)曼哈顿距离(Manhattan Distance)
(4)明可夫斯基距离(Minkowski Distance)
根据上述任意语义相似性度量方法均可计算输出词汇相似值。
8.基于语义关系约束的词向量修正方法及计算系统，其特征在于，包括：
输入单元：一对需计算相似度的目标词汇；
初始化单元：根据语义关系约束修正后的词向量对输入词汇初始化；
计算单元：选取合适的相似性度量方法计算词汇相似度；
输出单元：输出两个目标词汇最终相似性结果。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的流程。
CN202110273206.1A 2021-03-15 2021-03-15 基于语义关系约束的词向量修正方法及计算系统 Withdrawn CN112966523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273206.1A CN112966523A (zh) 2021-03-15 2021-03-15 基于语义关系约束的词向量修正方法及计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273206.1A CN112966523A (zh) 2021-03-15 2021-03-15 基于语义关系约束的词向量修正方法及计算系统

Publications (1)

Publication Number Publication Date
CN112966523A true CN112966523A (zh) 2021-06-15

Family

ID=76278915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273206.1A Withdrawn CN112966523A (zh) 2021-03-15 2021-03-15 基于语义关系约束的词向量修正方法及计算系统

Country Status (1)

Country Link
CN (1) CN112966523A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232064A (zh) * 2020-09-03 2021-01-15 沈阳化工大学 一种基于英语语义相似度优化提高数据检索效率的方法
CN113780008A (zh) * 2021-11-15 2021-12-10 腾讯科技（深圳）有限公司 描述文本中目标词的确定方法、装置、设备以及存储介质
CN114970532A (zh) * 2022-05-18 2022-08-30 重庆邮电大学 一种基于嵌入分布改进的中文命名实体识别方法
CN115495314A (zh) * 2022-09-30 2022-12-20 中国电信股份有限公司 日志模板的识别方法、装置、电子设备和可读介质
CN115828930A (zh) * 2023-01-06 2023-03-21 山东建筑大学 一种动态融合语义关系的分布式词向量空间修正方法
CN117236317A (zh) * 2023-07-31 2023-12-15 山东科技大学 一种基于词汇语义增强的句子相似度计算方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232064A (zh) * 2020-09-03 2021-01-15 沈阳化工大学 一种基于英语语义相似度优化提高数据检索效率的方法
CN112232064B (zh) * 2020-09-03 2023-12-29 沈阳化工大学 一种基于英语语义相似度优化提高数据检索效率的方法
CN113780008A (zh) * 2021-11-15 2021-12-10 腾讯科技（深圳）有限公司 描述文本中目标词的确定方法、装置、设备以及存储介质
CN113780008B (zh) * 2021-11-15 2022-03-04 腾讯科技（深圳）有限公司 描述文本中目标词的确定方法、装置、设备以及存储介质
CN114970532A (zh) * 2022-05-18 2022-08-30 重庆邮电大学 一种基于嵌入分布改进的中文命名实体识别方法
CN115495314A (zh) * 2022-09-30 2022-12-20 中国电信股份有限公司 日志模板的识别方法、装置、电子设备和可读介质
CN115828930A (zh) * 2023-01-06 2023-03-21 山东建筑大学 一种动态融合语义关系的分布式词向量空间修正方法
CN117236317A (zh) * 2023-07-31 2023-12-15 山东科技大学 一种基于词汇语义增强的句子相似度计算方法

Similar Documents

Publication Publication Date Title
CN112966523A (zh) 基于语义关系约束的词向量修正方法及计算系统
Du et al. Text classification research with attention-based recurrent neural networks
CN111386524B (zh) 促进特定于域和客户端的应用程序接口推荐
CN111344695B (zh) 促进特定于域和客户端的应用程序接口推荐
Lu et al. Utilizing textual information in knowledge graph embedding: A survey of methods and applications
CN111222318B (zh) 基于双通道双向lstm-crf网络的触发词识别方法
Piao et al. Sparse structure learning via graph neural networks for inductive document classification
Kwon et al. Word sense disambiguation based on context selection using knowledge-based word similarity
CN112417170B (zh) 面向不完备知识图谱的关系链接方法
CN108920545B (zh) 基于扩展的情感词典和卡方模型的中文情感特征选择方法
Gu et al. Enhancing text classification by graph neural networks with multi-granular topic-aware graph
Fu et al. Improving distributed word representation and topic model by word-topic mixture model
CN112199503A (zh) 一种基于特征增强的非平衡Bi-LSTM的中文文本分类方法
Han et al. DTaxa: An actor–critic for automatic taxonomy induction
Deng et al. Text classification with attention gated graph neural network
Yang et al. Generation-based parallel particle swarm optimization for adversarial text attacks
Che et al. Fast and effective biomedical named entity recognition using temporal convolutional network with conditional random field
Meng et al. Multi-layer convolutional neural network model based on prior knowledge of knowledge graph for text classification
Han et al. Unsupervised Word Sense Disambiguation based on Word Embedding and Collocation.
Wu et al. BCRL: long text friendly knowledge graph representation learning
Fan et al. Multi-label Chinese question classification based on word2vec
Wu et al. A Text Emotion Analysis Method Using the Dual‐Channel Convolution Neural Network in Social Networks
Kim Research on Text Classification Based on Deep Neural Network
Biswas et al. A Comparative Study on Improving Word Embeddings Beyond Word2Vec and GloVe
Nguyen et al. Text summarization on large-scale Vietnamese datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210615