CN108920467B - 多义词词义学习方法及装置、搜索结果显示方法 - Google Patents

多义词词义学习方法及装置、搜索结果显示方法 Download PDF

Info

Publication number
CN108920467B
CN108920467B CN201810864072.9A CN201810864072A CN108920467B CN 108920467 B CN108920467 B CN 108920467B CN 201810864072 A CN201810864072 A CN 201810864072A CN 108920467 B CN108920467 B CN 108920467B
Authority
CN
China
Prior art keywords
word
target
words
learned
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864072.9A
Other languages
English (en)
Other versions
CN108920467A (zh
Inventor
陈红生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810864072.9A priority Critical patent/CN108920467B/zh
Publication of CN108920467A publication Critical patent/CN108920467A/zh
Priority to PCT/CN2019/098463 priority patent/WO2020024951A1/zh
Priority to US17/265,151 priority patent/US20210342658A1/en
Application granted granted Critical
Publication of CN108920467B publication Critical patent/CN108920467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

多义词词义学习方法及装置、搜索结果显示方法。本公开提供了一种基于胶囊网络模型的多义词词义学习方法及装置，属于计算机技术领域。该方法包括：从待学习文本集中提取多个目标词以及各目标词的一个或多个相邻词组合；根据待学习文本集的词库对各目标词以及各相邻词组合分别进行编码；以各目标词的编码为输入向量，以各目标词对应的各相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；将各目标词输入到胶囊网络模型中，并将得到的多个中间向量确定为目标词的特征向量；将相近的特征向量进行聚类，生成每个类别的代表词，并根据各目标词的特征向量所属的一个或多个类别的代表词，确定各目标词的一个或多个词义。本公开可以实现多义词的词义学习，提高文本识别的准确率。

Description

多义词词义学习方法及装置、搜索结果显示方法
技术领域
本公开涉及计算机技术领域，尤其涉及一种基于胶囊网络模型的多义词词义识别方法及装置、基于词义识别的搜索结果显示方法、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展，人工智能受到越来越多的重视，其中，自然语言处理作为人工智能的一个重要分支，在搜索、智能客服、机器翻译、文字校对、自动摘要等方面得到了广泛的应用。
在自然语言处理中，经常需要对多义词进行词义识别。现有的文本识别方法在多义词识别方面具有较大的局限性，例如Word2vec工具基于特定的语料对词义进行学习，对于每个词只能学习到一个对应的词向量，因此无法区分多义词的多个词义，导致多义词的理解偏差，进而影响很多业务的准确率。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种基于胶囊网络模型的多义词词义识别方法及装置、基于词义识别的搜索结果显示方法、电子设备、计算机可读存储介质，进而至少在一定程度上克服现有的文本识别方法无法准确识别多义词词义的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种基于胶囊网络模型的多义词词义学习方法，包括：从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合；根据所述待学习文本集的词库对各所述目标词以及各所述相邻词组合分别进行编码；以各所述目标词的编码为输入向量，以各所述目标词对应的各所述相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；将各所述目标词输入到所述胶囊网络模型中，并将得到的多个中间向量确定为所述目标词的特征向量；将相近的特征向量进行聚类，生成每个类别的代表词，并根据各所述目标词的特征向量所属的一个或多个类别的代表词，确定各所述目标词的一个或多个词义。
在本公开的一种示例性实施例中，所述中间向量为第一中间向量，所述胶囊网络模型至少包括：输入层，用于输入P维的所述输入向量；中间层，用于将所述输入向量转换为M个N维的所述第一中间向量；路由层，用于将所述中间向量转换为P维的第二中间向量；输出层，用于将所述第二中间向量转换为P维的所述输出向量；其中，P为所述待学习文本集的词库的词数，M为预设最大词义数，N为预设特征数。
在本公开的一种示例性实施例中，所述从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合包括：对全部待学习文本进行分词，将得到的所有词确定为目标词；对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的相邻词；统计每个所述目标词的相邻词之间的互信息，将互信息大于第二阈值的相邻词进行聚类，以得到一个或多个所述相邻词组合。
在本公开的一种示例性实施例中，所述对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的相邻词包括：对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的准相邻词；统计每个所述准相邻词与所述目标词之间的互信息，将与所述目标词之间的互信息大于第三阈值的准相邻词确定为所述目标词的相邻词。
在本公开的一种示例性实施例中，所述方法还包括：利用所述待学习文本集的全部所述目标词构建所述待学习文本集的词库。
在本公开的一种示例性实施例中，所述将相近的特征向量进行聚类包括：统计每两个所述特征向量之间的余弦相似度，将所述余弦相似度大于相似阈值的特征向量聚类为一个类别。
根据本公开的一个方面，提供一种基于词义识别的搜索结果显示方法，包括：获取搜索指令的关键词；根据所述关键词生成待学习文本集，通过上述任意一项所述的多义词词义学习方法对所述待学习文本集及所述关键词进行词义学习，得到所述关键词的多个词义；统计所述待学习文本集中所述关键词的每个词义的出现次数；根据所述关键词的各所述词义获取搜索结果，并按照所述每个词义的出现次数对各所述词义对应的搜索结果进行排列并显示。
根据本公开的一个方面，提供一种基于胶囊网络模型的多义词词义学习装置，包括：提取模块，用于从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合；编码模块，用于根据所述待学习文本集的词库对各所述目标词以及各所述相邻词组合分别进行编码；训练模块，用于以各所述目标词的编码为输入向量，以各所述目标词对应的各所述相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；处理模块，用于将各所述目标词输入到所述胶囊网络模型中，并将得到的多个中间向量确定为所述目标词的特征向量；聚类模块，用于将相近的特征向量进行聚类，生成每个类别的代表词，并根据各所述目标词的特征向量所属的一个或多个类别的代表词，确定各所述目标词的一个或多个词义。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开的示例性实施例具有以下有益效果：
基于待学习文本集中的目标词与相邻词组合的编码，对胶囊网络模型进行训练，再利用训练后的模型对目标词进行处理，得到特征向量，最后对特征向量进行聚类，并根据目标词所属的类别的代表词确定目标词的一个或多个词义。一方面，本示例性实施例提出了一种有效的多义词词义学习方法，可以针对无标记的待学习文本集，对其中每个词实现多词义识别，具有较强的通用性，且实现该方法所需的人力成本较低。另一方面，基于学习到的目标词词义，在应用中可以生成包含目标词的文本语义识别的多种结果，能够区分出不同语境中目标词的不同词义，提高文本识别的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出相关技术中一种词义学习模型的示意图；
图2示意性示出本示例性实施例中一种多义词词义学习方法的流程图；
图3示意性示出本示例性实施例中一种用于多义词词义学习的胶囊网络模型示意图；
图4示意性示出本示例性实施例中一种胶囊网络模型应用于场景的示意图；
图5示意性示出本示例性实施例中一种多义词词义学习方法的子流程图；
图6示意性示出本示例性实施例中一种搜索结果显示方法应用于一场景的示意图；
图7示意性示出本示例性实施例中一种搜索结果显示方法应用于另一场景的示意图；
图8示意性示出本示例性实施例中一种多义词词义学习装置的结构框图；
图9示意性示出本示例性实施例中一种用于实现上述方法的电子设备；
图10示意性示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
相关技术的一种方案中，是通过给定输入词、预测上下文的相邻词，并训练得到中间词向量的方式实现词义学习。参考图1所示，在美食搜索与点评的场景中，通过对语料统计，得到与“绿茶”相邻出现较多的词为“餐厅”、“柠檬”、“竹叶青”等，构建Skip-gram模型(一种用于词义学习的神经网络模型)，以“绿茶”为输入，训练中间的权重参数，使输出为“餐厅”、“柠檬”、“竹叶青”等相邻词，得到的中间向量即为“绿茶”的词向量。然而，“餐厅”、“柠檬”、“竹叶青”等相邻词对应于“绿茶”的不同词义，例如“绿茶”一词可以指一种茶类，其相邻词可以是“竹叶青”、“茶叶”等，“绿茶”也可以指一个餐厅名，其相邻词可以是“餐厅”、“江浙菜”等，“绿茶”还可以指一类饮品，其相邻词可以是“柠檬”、“饮品”等，通过图1中的模型处理，无论相邻词对应于哪种词义，最终得到“绿茶”的词向量为同一个，可见，该方案无法适用于一词多义的场景中，将导致多义词的词义理解偏差。
鉴于上述问题，本公开的示例性实施例提供了一种基于胶囊网络模型的多义词词义学习方法。参考图2所示，该方法可以包括以下步骤S21～S25：
步骤S21，从待学习文本集中提取多个目标词以及各目标词的一个或多个相邻词组合。
其中，待学习文本集可视为一个语料集，包括大量的待学习文本。目标词可以是其中的待学习词。本实施例中的多义词含义相较于汉语词典中的多义词更为丰富，词义结合应用场景的语料特点，词义区分的结果通常更为精细，以美食搜索与点评的场景为例，“绿茶”一词可以指一种茶类、一个餐厅名或一类饮品，而在汉语词典中只有一种茶类的词义。可见，在特定的语料中，人们平常所知的词义并不充分，因此所有词都可以进行词义学习，则待学习文本集中的所有词都可以是目标词。相邻词组合是指在待学习文本集中，与某个目标词经常成组出现的两个或两个以上的词形成的组合，即为该目标词的一个相邻词组合；在待学习文本集中，目标词通常可能与不止一个相邻词组合搭配使用，本实施例中，可以提取每个目标词的所有相邻词组合，每个相邻词组合至少包含两个词，对于词数的上限则不做特别限定。
步骤S22，根据待学习文本集的词库对各目标词以及各相邻词组合分别进行编码。
其中，待学习文本集的词库可以包括待学习文本集中的所有词，也可以包括每个词的编号、与其他词的关联信息等。基于包括词编号的词库，可以通过类似one-hot编码的方式对目标词及相邻词组合进行编码，例如词库的词数为10000，则目标词可以编码为10000维度的向量，其中目标词对应的维度值为1，其余维度值为0，相邻词组合也可以编码为10000维度的向量，其中各相邻词对应的维度值为1，其余维度值为0。基于包括词关联信息的词库，也可以通过Word2vec词向量编码的方式对目标词及相邻词组合进行编码，目标词对应于一个词向量，相邻词组合对应于多个词向量组成的矩阵。本实施例对于编码的具体方式不做特别限定。
步骤S23，以各目标词的编码为输入向量，以各目标词对应的各相邻词组合的编码为输出向量，训练并得到一胶囊网络模型。
胶囊网络模型是一种改进的神经网络模型，其中每个神经元可以代表一个多维度的向量。胶囊网络模型与一般的神经网络模型的参数类型较为相似，不同的是胶囊网络模型包含一个特殊的中间层，称为路由层，在向路由层转化的过程中，除了设定各神经元的权重系数外，还可以设定各神经元的耦合系数。在路由层的前一层，各神经元可以表示根据不同的词义特征提取，所得到的目标词的特征向量，目标词的一个相邻词组合通常对应于目标词的一种词义。因此，在路由层的处理中，代表不同词义的各个神经元与输出的相邻词组合之间的耦合程度不同，耦合系数即体现了这种耦合程度关系。
通过训练，可以优化调整胶囊网络模型的权重系数与耦合系数，得到训练完成的胶囊网络模型。
步骤S24，将各目标词输入到胶囊网络模型中，并将得到的多个中间向量确定为目标词的特征向量。
其中，多个中间向量是指在特定的一中间层内，多个神经元所对应的向量，而不是多个中间层的向量。该中间层即上述路由层的前一层，而对于该中间层具体属于胶囊网络模型的第几层，本实施例不做特别限定。
步骤S25，将相近的特征向量进行聚类，生成每个类别的代表词，并根据各目标词的特征向量所属的一个或多个类别的代表词，确定各目标词的一个或多个词义。
聚类可以使相近的特征向量形成一个类别，可以通过K-Means等具体方式实现。在聚类完成后，可以在每个类别中提取平均特征向量或众数特征向量等，将其对应的目标词作为该类别的代表词，也可以通过预设的类别词库进行匹配以确定每个类别的代表词等。代表词可以表示所属类别的词义，因此一个目标词的特征向量如果属于多个类别，则该目标词具有这些类别的代表词所表示的词义，由此为目标词学习到了多个词义。需要说明的是，目标词的多个特征向量中，可能存在两个或多个特征向量属于同一类别，因此目标词所覆盖的类别数与特征向量的数量并不一定相同，甚至目标词的全部特征向量可能都属于同一类别，则可以确定目标词仅有一个词义。
基于上述说明，本示例性实施例基于待学习文本集中的目标词与相邻词组合的编码，对胶囊网络模型进行训练，再利用训练后的模型对目标词进行处理，得到特征向量，最后对特征向量进行聚类，并根据目标词所属的类别的代表词确定目标词的一个或多个词义。一方面，本示例性实施例提出了一种有效的多义词词义学习方法，可以针对无标记的待学习文本集，对其中每个词实现多词义识别，具有较强的通用性，且实现该方法所需的人力成本较低。另一方面，基于学习到的目标词词义，在应用中可以生成包含目标词的文本语义识别的多种结果，能够区分出不同语境中目标词的不同词义，提高文本识别的准确度。
在一示例性实施例中，步骤S24中的中间向量为第一中间向量，胶囊网络模型至少可以包括以下各层：
输入层，用于输入P维的输入向量；
中间层，用于将输入向量转换为M个N维的第一中间向量；
路由层，用于将中间向量转换为P维的第二中间向量；
输出层，用于将第二中间向量转换为P维的输出向量；
其中，P为待学习文本集的词库的词数，表示该词库共有P个词；M为预设最大词义数，表示全部目标词中，词义最多的目标词所具有的词义数不超过M；N为预设特征数，表示每个目标词可以通过N个特征进行标识。
图3示出了该胶囊网络模型的一种示例，目标词输入到胶囊网络模型中，通过第一权重系数的特征提取，生成多个第一中间向量，图3中示出预设最大词义数M为5，当然本实施例不限定于此；第一中间向量通过第二权重系数以及耦合系数的路由计算，得到第二中间向量；第一中间向量与第二中间向量都是向量形式的神经元胶囊；最后由第二中间向量进行归一化处理，得到输出向量，即相邻词组合的编码。
图4示出了将图3的胶囊网络模型应用于美食搜索与点评的场景的示意图，通过胶囊网络模型对“绿茶”进行识别，以预测“绿茶”的相邻词组合。通过调整耦合系数，可以得到“绿茶”的多种相邻词组合。例如在一种耦合系数中，模型输出的相邻词组合可以是“餐厅”、“江浙菜”，在另一种耦合系数中，模型输出的相邻词组合可以是“柠檬”、“饮品”等。
基于上述胶囊网络模型，将各目标词输入到胶囊网络模型中，可以将得到的M个N维的第一中间向量确定为目标词的特征向量。例如，在图3所示的胶囊网络模型训练完成后，再次将目标词输入，得到的5个第一中间向量可以是目标词的5个特征向量。进一步的，可以从训练完成的胶囊网络模型中提取出输入层与中间层，则在获取特征向量的步骤，仅通过这两层对输入的目标词进行处理，可以降低运算量。
在一示例性实施例中，参考图5所示，从待学习文本集中提取多个目标词以及各目标词的一个或多个相邻词组合可以通过以下步骤S51～S53实现：
步骤S51，对全部待学习文本进行分词，将得到的所有词确定为目标词。
步骤S52，对于每个目标词，将待学习文本中与目标词的间距小于第一阈值的其他目标词确定为该目标词的相邻词。
步骤S53，统计每个目标词的相邻词之间的互信息，将互信息大于第二阈值的相邻词进行聚类，以得到一个或多个相邻词组合。
其中，第一阈值可视为相邻词的取词窗口大小，例如第一阈值为5时，可以以5个词大小的取词窗口，在待学习文本中目标词的左右两侧滑动取词，获得相邻词。第二阈值是判断目标词的各相邻词是否属于同一类别的临界值，当两个或多个相邻词之间的互信息都大于第二阈值时，说明这些相邻词之间具有较强的关联性，可以归为一个相邻词组合。需要说明的是，可以设定相邻词组合内的每个相邻词与本组合内的任一其他相邻词之间的互信息大于第二阈值即可，也可以设定每个相邻词需要与本组合内的所有其他相邻词之间的互信息都大于第二阈值，还可以设定为其他聚类的条件。
在其他实施例中，目标词的相邻词也可以通过其他聚类的方式组成相邻词组合，本示例实施方式不限定于此。
进一步的，步骤S52可以通过以下步骤实现：
对于每个目标词，将待学习文本中与目标词的间距小于第一阈值的其他目标词确定为目标词的准相邻词。
统计每个准相邻词与目标词之间的互信息，将与目标词之间的互信息大于第三阈值的准相邻词确定为目标词的相邻词。
即在统计相邻词时，除了需要满足与目标词在待学习文本中相邻外，还可以与目标词具备较强的关联性，体现为与目标词的互信息需要大于第三阈值。第三阈值可以根据实际情况进行设定，例如当待学习文本集较大，目标词的准相邻词数量较多时，可以将第三阈值设定为较大的值，反之可以将第三阈值设定为较小的值，本实施例对此不做特别限定。通过上述步骤，对目标词的相邻词进行了精简，可以进一步降低学习过程的运算量。
在一示例性实施例中，可以利用待学习文本集的全部目标词构建待学习文本集的词库。对于待学习文本集分词得到的所有词，可以进行适当的筛选，以去除无实际意义的结构词或语气词，例如“的”、“吧”、“请”等，剩下的为目标词，形成待学习文本集的词库。可以为其中的每个词分配唯一编号，也可以统计各个词之间的关联信息，作为一个或多个维度信息进行记录等，本实施例对于词库所包含的信息类型不做限定。
在一示例性实施例中，将相近的特征向量进行聚类可以通过以下步骤实现：统计每两个特征向量之间的余弦相似度，将余弦相似度大于相似阈值的特征向量聚类为一个类别。其中，相似阈值是指判断两个特征向量是否可以聚类的临界值，例如当两个特征向量之间的余弦相似度大于相似阈值时，说明这两个特征向量较为相近，可以划分到同一类别中。通过计算余弦相似度进行聚类判断，可以在特征向量的高维空间内识别两个特征向量的重合度，判断结果的准确性较高，最后实现的聚类具有较高的质量。
本公开的示例性实施例还提供了一种基于词义识别的搜索结果显示方法，包括以下步骤：
获取搜索指令的关键词。
根据关键词生成待学习文本集，通过上述任一示例性实施例的多义词词义学习方法对待学习文本集及关键词进行词义学习，得到关键词的多个词义。
统计待学习文本集中关键词的每个词义的出现次数。
根据关键词的各词义获取搜索结果，并按照每个词义的出现次数对各词义对应的搜索结果进行排列并显示。
其中，根据关键词生成的待学习文本集可以是关键词所属业务板块的语料集，例如在搜索美食与餐厅时，待学习文本集可以是美食与餐厅板块的历史搜索文本、评论文本等。图6示出了将本实施例的方法应用于搜索美食与餐厅的场景的结果示意图，如图6所示，用户搜索“绿茶”时，根据对待学习文本集的学习，得到“绿茶”的三个词义，分别为商家店名、产品名、品类名，并且根据统计结果，商家店名这一词义的出现次数最多，产品名次之，品类名最少，因此在显示“绿茶”的搜索结果时，可以将“绿茶”识别为商家店名所对应的搜索结果呈现在最上方。
在一示例性实施例中，可以根据用户意图或搜索关键词的上下文信息对各词义对应的搜索结果进行排列。参考图7所示，当用户搜索“海洋馆”时，根据当前应用场景下，可以学习“海洋馆”有多个词义，可以是景点，也可以地址等。当用户搜索“海洋馆”的上下文有“门票”，“时间”等词时，可知用户意图为搜索景点，可以显示“海洋馆”作为景点的搜索结果；当用户输入“海洋馆”的上下文有“附近”，“酒店”等词时，可知用户意图为搜索地址，可以显示“海洋馆”作为地址的搜索结果。从而根据不同的用户意图来显示搜索结果，可以满足用户多样化的搜索需求。
本公开的示例性实施例还提供了一种基于胶囊网络模型的多义词词义学习装置，参考图8所示，该装置80可以包括：提取模块81，用于从待学习文本集中提取多个目标词以及各目标词的一个或多个相邻词组合；编码模块82，用于根据待学习文本集的词库对各目标词以及各相邻词组合分别进行编码；训练模块83，用于以各目标词的编码为输入向量，以各目标词对应的各相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；处理模块84，用于将各目标词输入到胶囊网络模型中，并将得到的多个中间向量确定为目标词的特征向量；聚类模块85，用于将相近的特征向量进行聚类，生成每个类别的代表词，并根据各目标词的特征向量所属的一个或多个类别的代表词，确定各目标词的一个或多个词义。
在一示例性实施例中，中间向量为第一中间向量，胶囊网络模型至少包括：输入层，用于输入P维的输入向量；中间层，用于将输入向量转换为M个N维的第一中间向量；路由层，用于将中间向量转换为P维的第二中间向量；输出层，用于将第二中间向量转换为P维的输出向量；其中，P为待学习文本集的词库的词数，M为预设最大词义数，N为预设特征数。
在一示例性实施例中，提取模块可以包括：分词单元，用于对全部待学习文本进行分词，将得到的所有词确定为目标词；相邻确定单元，用于针对每个目标词，将待学习文本中与目标词的间距小于第一阈值的其他目标词确定为该目标词的相邻词；组合单元，用于统计每个目标词的相邻词之间的互信息，将互信息大于第二阈值的相邻词进行聚类，以得到一个或多个相邻词组合。
在一示例性实施例中，相邻确定单元还可以用于针对每个目标词，将待学习文本中与该目标词的间距小于第一阈值的其他目标词确定为该目标词的准相邻词，并统计每个准相邻词与该目标词之间的互信息，将与该目标词之间的互信息大于第三阈值的准相邻词确定为该目标词的相邻词。
在一示例性实施例中，多义词词义学习装置还可以包括：词库构建模块，用于利用待学习文本集的全部目标词构建待学习文本集的词库。
在一示例性实施例中，聚类模块还可以用于统计每两个特征向量之间的余弦相似度，将余弦相似度大于相似阈值的特征向量聚类为一个类别。
上述各模块/单元的具体细节在方法部分的实施例中已经详细说明，因此不再赘述。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种示例性实施例的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
其中，存储单元存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元910可以执行图2所示的步骤S21～S25，也可以执行图5所示的步骤S51～S53等。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图10所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种基于胶囊网络模型的多义词词义学习方法，其特征在于，包括：
从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合；
根据所述待学习文本集的词库对各所述目标词以及各所述相邻词组合分别进行编码；
以各所述目标词的编码为输入向量，以各所述目标词对应的各所述相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；
将各所述目标词输入到所述胶囊网络模型中，并将从所述胶囊网络模型的中间层得到的多个第一中间向量确定为所述目标词的特征向量；
将相近的特征向量进行聚类，生成每个类别的代表词，并根据各所述目标词的特征向量所属的一个或多个类别的代表词，确定各所述目标词的一个或多个词义；
所述胶囊网络模型至少包括：
输入层，用于输入P维的所述输入向量；
所述中间层，用于将所述输入向量转换为M个N维的所述第一中间向量；
路由层，用于将所述第一中间向量转换为P维的第二中间向量；
输出层，用于将所述第二中间向量转换为P维的所述输出向量；
其中，P为所述待学习文本集的词库的词数，M为预设最大词义数，N为预设特征数。
2.根据权利要求1所述的方法，其特征在于，所述从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合包括：
对全部待学习文本进行分词，将得到的所有词确定为目标词；
对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的相邻词；
统计每个所述目标词的相邻词之间的互信息，将互信息大于第二阈值的相邻词进行聚类，以得到一个或多个所述相邻词组合。
3.根据权利要求2所述的方法，其特征在于，所述对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的相邻词包括：
对于每个所述目标词，将所述待学习文本中与所述目标词的间距小于第一阈值的其他目标词确定为所述目标词的准相邻词；
统计每个所述准相邻词与所述目标词之间的互信息，将与所述目标词之间的互信息大于第三阈值的准相邻词确定为所述目标词的相邻词。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用所述待学习文本集的全部所述目标词构建所述待学习文本集的词库。
5.根据权利要求1所述的方法，其特征在于，所述将相近的特征向量进行聚类包括：
统计每两个所述特征向量之间的余弦相似度，将所述余弦相似度大于相似阈值的特征向量聚类为一个类别。
6.一种基于词义识别的搜索结果显示方法，其特征在于，包括：
获取搜索指令的关键词；
根据所述关键词生成待学习文本集，通过权利要求1-5任一项所述的多义词词义学习方法对所述待学习文本集及所述关键词进行词义学习，得到所述关键词的多个词义；
统计所述待学习文本集中所述关键词的每个词义的出现次数；
根据所述关键词的各所述词义获取搜索结果，并按照所述每个词义的出现次数对各所述词义对应的搜索结果进行排列并显示。
7.一种基于胶囊网络模型的多义词词义学习装置，其特征在于，包括：
提取模块，用于从待学习文本集中提取多个目标词以及各所述目标词的一个或多个相邻词组合；
编码模块，用于根据所述待学习文本集的词库对各所述目标词以及各所述相邻词组合分别进行编码；
训练模块，用于以各所述目标词的编码为输入向量，以各所述目标词对应的各所述相邻词组合的编码为输出向量，训练并得到一胶囊网络模型；
处理模块，用于将各所述目标词输入到所述胶囊网络模型中，并将从所述胶囊网络模型的中间层得到的多个第一中间向量确定为所述目标词的特征向量；
聚类模块，用于将相近的特征向量进行聚类，生成每个类别的代表词，并根据各所述目标词的特征向量所属的一个或多个类别的代表词，确定各所述目标词的一个或多个词义；
所述胶囊网络模型至少包括：
输入层，用于输入P维的所述输入向量；
中间层，用于将所述输入向量转换为M个N维的所述第一中间向量；
路由层，用于将所述第一中间向量转换为P维的第二中间向量；
输出层，用于将所述第二中间向量转换为P维的所述输出向量；
其中，P为所述待学习文本集的词库的词数，M为预设最大词义数，N为预设特征数。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN201810864072.9A 2018-08-01 2018-08-01 多义词词义学习方法及装置、搜索结果显示方法 Active CN108920467B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810864072.9A CN108920467B (zh) 2018-08-01 2018-08-01 多义词词义学习方法及装置、搜索结果显示方法
PCT/CN2019/098463 WO2020024951A1 (zh) 2018-08-01 2019-07-30 多义词词义学习以及搜索结果显示
US17/265,151 US20210342658A1 (en) 2018-08-01 2019-07-30 Polysemant meaning learning and search result display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864072.9A CN108920467B (zh) 2018-08-01 2018-08-01 多义词词义学习方法及装置、搜索结果显示方法

Publications (2)

Publication Number Publication Date
CN108920467A CN108920467A (zh) 2018-11-30
CN108920467B true CN108920467B (zh) 2021-04-27

Family

ID=64394181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864072.9A Active CN108920467B (zh) 2018-08-01 2018-08-01 多义词词义学习方法及装置、搜索结果显示方法

Country Status (3)

Country Link
US (1) US20210342658A1 (zh)
CN (1) CN108920467B (zh)
WO (1) WO2020024951A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920467B (zh) * 2018-08-01 2021-04-27 北京三快在线科技有限公司 多义词词义学习方法及装置、搜索结果显示方法
CN109635196A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种基于多义词的智能搜索方法及家教设备
CN110569498B (zh) * 2018-12-26 2022-12-09 东软集团股份有限公司 一种复合词识别方法及相关装置
CN109766553A (zh) * 2019-01-09 2019-05-17 北京邮电大学 一种基于多正则化结合的胶囊模型的中文分词方法
CN109977194B (zh) * 2019-03-20 2021-08-10 华南理工大学 基于无监督学习的文本相似度计算方法、系统、设备及介质
CN111859974A (zh) * 2019-04-22 2020-10-30 广东小天才科技有限公司 一种结合知识图谱的语义消歧方法和装置、智能学习设备
CN110046671A (zh) * 2019-04-24 2019-07-23 吉林大学 一种基于胶囊网络的文本分类方法
CN110688454A (zh) * 2019-09-09 2020-01-14 深圳壹账通智能科技有限公司 咨询对话处理的方法、装置、设备及存储介质
CN110991196B (zh) 2019-12-18 2021-10-26 北京百度网讯科技有限公司 多义词的翻译方法、装置、电子设备及介质
CN111666409B (zh) * 2020-05-28 2022-02-08 武汉大学 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法
CN111737401B (zh) * 2020-06-22 2023-03-24 北方工业大学 一种基于Seq2set2seq框架的关键词组预测方法
CN111767729B (zh) * 2020-06-30 2024-01-09 北京百度网讯科技有限公司 文本分类方法、装置、设备以及存储介质
CN111814469B (zh) * 2020-07-13 2023-07-18 北京邮电大学 一种基于树型胶囊网络的关系抽取方法及装置
CN112115347B (zh) * 2020-07-17 2023-12-12 腾讯科技（深圳）有限公司 搜索结果的获取方法和装置及存储介质
CN112560853B (zh) * 2020-12-14 2024-06-11 中科云谷科技有限公司 图像处理的方法、装置及存储介质
CN114302227B (zh) * 2021-12-28 2024-04-26 北京国瑞数智技术有限公司 基于容器采集的网络视频采集与解析的方法和系统
CN114912466A (zh) * 2022-04-01 2022-08-16 杭州网易云音乐科技有限公司 基于词频的日志处理方法、介质、装置和计算设备
CN114757239B (zh) * 2022-06-15 2022-08-30 浙江大学 基于数据增强和胶囊神经网络的风机故障可迁移诊断方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405725A (zh) * 2006-03-10 2009-04-08 独立行政法人情报通信研究机构 多义词的信息检索装置以及程序
CN101882158A (zh) * 2010-06-22 2010-11-10 河南约克信息技术有限公司 基于上下文的译文自动调序方法
CN104516903A (zh) * 2013-09-29 2015-04-15 北大方正集团有限公司 关键词扩展方法及系统、及分类语料标注方法及系统
CN104572633A (zh) * 2014-12-25 2015-04-29 语联网（武汉）信息技术有限公司 一种确定多义词词义的方法
CN108153730A (zh) * 2017-12-25 2018-06-12 北京奇艺世纪科技有限公司 一种多义词词向量训练方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336315B2 (en) * 2010-01-19 2016-05-10 Ebay Inc. Personalized recommendation of a volatile item
CN108153726A (zh) * 2016-12-05 2018-06-12 北京国双科技有限公司 文本处理方法和装置
CN106909537B (zh) * 2017-02-07 2020-04-07 中山大学 一种基于主题模型和向量空间的一词多义分析方法
CN107102989B (zh) * 2017-05-24 2020-09-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN107861939B (zh) * 2017-09-30 2021-05-14 昆明理工大学 一种融合词向量和主题模型的领域实体消歧方法
CN108280061B (zh) * 2018-01-17 2021-10-26 北京百度网讯科技有限公司 基于歧义实体词的文本处理方法和装置
CN108920467B (zh) * 2018-08-01 2021-04-27 北京三快在线科技有限公司 多义词词义学习方法及装置、搜索结果显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405725A (zh) * 2006-03-10 2009-04-08 独立行政法人情报通信研究机构 多义词的信息检索装置以及程序
CN101882158A (zh) * 2010-06-22 2010-11-10 河南约克信息技术有限公司 基于上下文的译文自动调序方法
CN104516903A (zh) * 2013-09-29 2015-04-15 北大方正集团有限公司 关键词扩展方法及系统、及分类语料标注方法及系统
CN104572633A (zh) * 2014-12-25 2015-04-29 语联网（武汉）信息技术有限公司 一种确定多义词词义的方法
CN108153730A (zh) * 2017-12-25 2018-06-12 北京奇艺世纪科技有限公司 一种多义词词向量训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Investigating Capsule Networks with Dynamic Routing for Text Classification;Wei Zhao et al.;《arXiv:1804.00538v3》;20180620;第1-12页 *

Also Published As

Publication number Publication date
WO2020024951A1 (zh) 2020-02-06
US20210342658A1 (en) 2021-11-04
CN108920467A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108920467B (zh) 多义词词义学习方法及装置、搜索结果显示方法
CN109145294B (zh) 文本实体识别方法及装置、电子设备、存储介质
US11334635B2 (en) Domain specific natural language understanding of customer intent in self-help
CN109918673B (zh) 语义仲裁方法、装置、电子设备和计算机可读存储介质
Jung Semantic vector learning for natural language understanding
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN114580382A (zh) 文本纠错方法以及装置
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN110377744B (zh) 一种舆情分类的方法、装置、存储介质及电子设备
CN110414004A (zh) 一种核心信息提取的方法和系统
CN113553412A (zh) 问答处理方法、装置、电子设备和存储介质
CN108205524B (zh) 文本数据处理方法和装置
CN113220999B (zh) 用户特征的生成方法、装置、电子设备和存储介质
CN112188312A (zh) 用于确定新闻的视频素材的方法和装置
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN111782793A (zh) 智能客服处理方法和系统及设备
CN114997169A (zh) 一种实体词识别方法、装置、电子设备及可读存储介质
CN111783424A (zh) 一种文本分句方法和装置
CN115952800A (zh) 命名实体识别方法、装置、计算机设备及可读存储介质
CN115098673A (zh) 基于变体注意力及层次结构的业务文书信息抽取方法
CN114356924A (zh) 用于从结构化文档提取数据的方法和设备
CN114330366A (zh) 事件抽取方法及相关装置、电子设备和存储介质
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN111159370A (zh) 一种短会话新问题生成方法、存储介质和人机交互装置
CN113505293B (zh) 信息推送方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant