CN112905742B - 基于语义模型神经网络识别新词汇的方法、装置 - Google Patents

基于语义模型神经网络识别新词汇的方法、装置 Download PDF

Info

Publication number
CN112905742B
CN112905742B CN202110192199.2A CN202110192199A CN112905742B CN 112905742 B CN112905742 B CN 112905742B CN 202110192199 A CN202110192199 A CN 202110192199A CN 112905742 B CN112905742 B CN 112905742B
Authority
CN
China
Prior art keywords
word vector
new
index
model
synonym
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110192199.2A
Other languages
English (en)
Other versions
CN112905742A (zh
Inventor
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Original Assignee
XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD filed Critical XIAMEN G-BITS NETWORK TECHNOLOGY CO LTD
Priority to CN202110192199.2A priority Critical patent/CN112905742B/zh
Publication of CN112905742A publication Critical patent/CN112905742A/zh
Application granted granted Critical
Publication of CN112905742B publication Critical patent/CN112905742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于语义模型神经网络识别新词汇的方法、装置、系统、存储介质，其保留语义模型的在线判断状态，不中断其现有任务，同时，实时更新并训练出词向量模型，更新词向量字典，然后从词向量字典中探寻与新词汇最为接近的同义词，映射成同义词的索引，再将转化后的言论输入给语义模型进行判断。因为索引的是同义词，所以新词汇的词向量在空间维度上与旧词汇是最为接近的，语义模型训练过旧词汇的处理，也就能够识别新词汇映射为旧词汇后构成的新语句，从而进行正确的判断了。本发明在无需重新训练线上正在运行的神经网络的前提下，可以对从未接触过的新语句作出正确的语义判断。

Description

基于语义模型神经网络识别新词汇的方法、装置
技术领域
本发明涉及计算机语言处理领域，具体涉及一种基于语义模型神经网络识别新词汇的方法、装置、系统、存储介质。
背景技术
自然语言处理中，最细粒度的是词语，词语组成言论，言论再组成段落、篇章、文档。词的词性，是人类的抽象总结，所以需要把他们转换成数值形式，——嵌入到一个数学空间里，用多个维度的数值来代表这个词，即：词向量。
在计算机处理自然语言时，需要对自然语言词汇创建字典索引和词向量（可以认为一种表示词性的维度）。然后将词向量模型作为语义模型神经网络的嵌入层，用于支撑语义模型神经网络对由词汇构成的言论进行语义的理解。
自然语言处理的神经网络共有两个，分别为词向量模型以及语义模型。如图1所示，前者对词汇在多维度上的词性进行判断，后者对词汇放在不同句型位置下构成的语句进行解析，了解其真正表达的语义。
但是，当神经网络需要处理全新的词汇时，由于神经网络从未训练过这个新词汇，所以语义模型的嵌入层根本无法对这个词汇进行数字化的转化和表达，所以必须重新训练词向量模型和整个神经网络，极为耗时耗力。
由于模型在实际运行的过程中，需要根据新的语料实时进行修正。但是，目前市面上的所有自然语言处理都不支持神经网络的实时更新，因为词向量模型是作为嵌入层嵌入到神经网络中的，而嵌入层不可被修改。
如图2所示，如果言论中包含新词汇时，神经网络在第一个词向量模型就无法转化新词汇，当这个词汇传递了关键的、不能被忽略的表达时，语义模型缺失针对这个词汇的新索引，从而导致无法正确判断整句话的语义。
例如，玩家以前发涉及“私服”这个词的言论，会被神经网络识别并处理。但是随着玩家发现神经网络的处理规律，会将这个词变化为“伺服”。由于神经网络从未训练过“伺服”这个词，所以在分词后的字典里根本不存在这个词，也不存在这个词对应的词向量的，从而导致神经网络无法对这个新词做出正确的判断。
有鉴于此，本申请人针对上述存在的问题进行深入构思，遂产生本案。
发明内容
本发明的目的在于提供一种基于语义模型神经网络识别新词汇的方法、装置、系统、存储介质，其能够在不重新训练词向量模型的前提下，能实时识别出包含从未训练过的新词汇的整句话的正确语义。
为实现上述目的，本发明采用的技术方案是：
一种基于语义模型神经网络识别新词汇的方法，所述神经网络包括词向量模型和语义模型；
输入言论；
若词向量模型无法识别出新词汇的词向量，词向量模型进行增量更新，生成新的词向量字典；根据新的词向量字典获取新词汇的词向量，并在新的词向量字典中找到最接近的同义词，并转化成同义词的索引；
若词向量模型能够识别出新词汇的词向量，但无法转化索引，则根据新词汇的词向量在词向量字典中找到最接近的同义词，并转化同义词的索引；
将转化为索引的言论输入语义模型进行语义判断。
一种基于语义模型神经网络识别新词汇的装置，其包括词向量模型和语义模型；
所述词向量模型包括增量更新模块、词向量获取模块、索引转化模块；
所述增量更新模块，用于在无法识别新词汇的词向量且无法转化为索引时在线训练词向量模型，并更新词向量字典；
所述词向量获取模块，用于根据言论中包含的词汇从词向量字典中获取相应的词向量；
所述索引转化模块，用于将待识别言论中的词汇转化为索引；对于言论中的新词汇，所述索引转化模块根据新词汇的词向量在词向量字典中找到最接近的同义词，转化为同义词索引；
所述语义模型，用于对转化为索引的言论进行语义判断。
一种基于语义模型神经网络识别新词汇的系统，所述系统包括处理器和存储器；
所述存储器用于存储一个或多个软件程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行如上所述的方法。
一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的方法。
一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的方法。
采用上述方案后，本发明保留语义模型的在线判断状态，不中断其现有任务，同时，实时更新并训练词向量模型，更新词向量字典，然后从词向量字典中探寻与新词汇最为接近的同义词，映射成同义词的索引，再将转化后的言论输入给语义模型进行判断。因为索引的是同义词，所以新词汇的词向量在空间维度上与旧词汇是最为接近的，语义模型训练过旧词汇的处理，也就能够识别新词汇映射为旧词汇后构成的新语句，从而进行正确的判断了。本发明在无需重新训练线上正在运行的神经网络的前提下，可以对从未接触过的新语句作出正确的语义判断。保持神经网络的在线状态而不用暂停并耗费大量时间重启训练，言论判断的处理和新词汇的更新可以在同一时间内完成。
附图说明
图1为现有的神经网络正常进行语义判别的流程图；
图2为现有的神经网络无法识别含新词汇的示意图；
图3为本发明的方法流程图；
图4为本发明的原理框图。
具体实施方式
如图3所示，本发明揭示了一种基于语义模型神经网络识别新词汇的方法，其中，神经网络包括词向量模型和语义模型；该方法具体如下：
输入含有新词汇的言论；
若词向量模型无法识别出新词汇的词向量，词向量模型进行增量更新，生成新的词向量字典；根据新的词向量字典获取新词汇的词向量，并在新的词向量字典中找到最接近的同义词，并转化成同义词的索引；
若词向量模型能够识别出新词汇的词向量，但无法转化索引，则根据新词汇的词向量在词向量字典中找到最接近的同义词，并转化同义词的索引；
将转化为索引的言论输入语义模型进行语义判断。
本发明在无需重新训练线上正在运行的神经网络的前提下，可以对从未接触过的新语句作出正确的语义判断。保持神经网络的在线状态而不用暂停并耗费大量时间重启训练，言论判断的处理和新词汇的更新可以在同一时间内完成。
如图4所示，基于同一发明构思，本发明还揭示了一种基于语义模型神经网络识别新词汇的装置，其包括词向量模型和语义模型。
其中，词向量模型包括增量更新模块、词向量获取模块、索引转化模块；增量更新模块，用于在无法识别新词汇的词向量且无法转化为索引时在线训练词向量模型，并更新词向量字典；词向量获取模块，用于根据言论中包含的词汇从词向量字典中获取相应的词向量；索引转化模块，用于将待识别言论中的词汇转化为索引；对于言论中的新词汇，所述索引转化模块根据新词汇的词向量在词向量字典中找到最接近的同义词，转化为同义词索引。
语义模型，则用于对转化为索引的言论进行语义判断。
本装置可以正常识别包含旧词汇的言论，也可识别包含新词汇的言论，无需重新训练线上正在运行的神经网络的前提下，可以对从未接触过的新语句作出正确的语义判断。保持神经网络的在线状态而不用暂停并耗费大量时间重启训练，言论判断的处理和新词汇的更新可以在同一时间内完成。
基于同一发明构思，本发明还揭示了一种基于语义模型神经网络识别新词汇的系统，所述系统包括处理器和存储器；
所述存储器用于存储一个或多个软件程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行如上所述的方法。
本发明还揭示了一种计算机可读存储介质，其特征在于：所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的方法。
本发明还揭示了一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的方法。
综上，本发明的关键在于，本发明保留语义模型的在线判断状态，不中断其现有任务，同时，实时更新并训练词向量模型，更新词向量字典，然后从词向量字典中探寻与新词汇最为接近的同义词，映射成同义词的索引，再将转化后的言论输入给语义模型进行判断。因为索引的是同义词，所以新词汇的词向量在空间维度上与旧词汇是最为接近的，语义模型训练过旧词汇的处理，也就能够识别新词汇映射为旧词汇后构成的新语句，从而进行正确的判断了。本发明在无需重新训练线上正在运行的神经网络的前提下，可以对从未接触过的新语句作出正确的语义判断。保持神经网络的在线状态而不用暂停并耗费大量时间重启训练，言论判断的处理和新词汇的更新可以在同一时间内完成。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于语义模型神经网络识别新词汇的方法，其特征在于：所述神经网络包括词向量模型和语义模型，所述神经网络保留语义模型的在线判断状态，不中断现有任务；
输入含有新词汇的言论；
若词向量模型无法识别出新词汇的词向量，词向量模型进行增量更新，生成新的词向量字典；根据新的词向量字典获取新词汇的词向量，并在新的词向量字典中找到最接近的同义词，并转化成同义词的索引；
若词向量模型能够识别出新词汇的词向量，但无法转化索引，则根据新词汇的词向量在词向量字典中找到最接近的同义词，并转化同义词的索引；
将转化为索引的言论输入语义模型，进行正确的语义判断。
2.一种基于语义模型神经网络识别新词汇的装置，其特征在于：包括词向量模型和语义模型，所述神经网络保留语义模型的在线判断状态，不中断现有任务；
所述词向量模型包括增量更新模块、词向量获取模块、索引转化模块；
所述增量更新模块，用于在无法识别新词汇的词向量且无法转化为索引时在线训练词向量模型，并更新词向量字典；
所述词向量获取模块，用于根据言论中包含的词汇从词向量字典中获取相应的词向量；
所述索引转化模块，用于将待识别言论中的词汇转化为索引；若词向量模型无法识别出新词汇的词向量，索引转化模块根据新的词向量字典获取新词汇的词向量，并在新的词向量字典中找到最接近的同义词，并转化成同义词的索引；若词向量模型能够识别出新词汇的词向量，但无法转化索引，索引转化模块则根据新词汇的词向量在词向量字典中找到最接近的同义词，并转化同义词的索引；
所述语义模型，用于对转化为索引的言论作出正确的语义判断。
3.一种基于语义模型神经网络识别新词汇的系统，其特征在于：所述系统包括处理器和存储器；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1所述的方法。
CN202110192199.2A 2021-02-20 2021-02-20 基于语义模型神经网络识别新词汇的方法、装置 Active CN112905742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110192199.2A CN112905742B (zh) 2021-02-20 2021-02-20 基于语义模型神经网络识别新词汇的方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110192199.2A CN112905742B (zh) 2021-02-20 2021-02-20 基于语义模型神经网络识别新词汇的方法、装置

Publications (2)

Publication Number Publication Date
CN112905742A CN112905742A (zh) 2021-06-04
CN112905742B true CN112905742B (zh) 2022-07-29

Family

ID=76124064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110192199.2A Active CN112905742B (zh) 2021-02-20 2021-02-20 基于语义模型神经网络识别新词汇的方法、装置

Country Status (1)

Country Link
CN (1) CN112905742B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203511A (zh) * 2017-05-27 2017-09-26 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN108399230A (zh) * 2018-02-13 2018-08-14 上海大学 一种基于卷积神经网络的中文财经新闻文本分类方法
WO2018218706A1 (zh) * 2017-05-27 2018-12-06 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN110442874A (zh) * 2019-08-09 2019-11-12 南京邮电大学 一种基于词向量的中文词义预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203511A (zh) * 2017-05-27 2017-09-26 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
WO2018218706A1 (zh) * 2017-05-27 2018-12-06 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN108399230A (zh) * 2018-02-13 2018-08-14 上海大学 一种基于卷积神经网络的中文财经新闻文本分类方法
CN110442874A (zh) * 2019-08-09 2019-11-12 南京邮电大学 一种基于词向量的中文词义预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于潜在语义索引的SVM文本分类模型";郭武斌等;《情报学报》;20091222;第28卷(第6期);第827-833页 *

Also Published As

Publication number Publication date
CN112905742A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108304372B (zh) 实体提取方法和装置、计算机设备和存储介质
CN107291783B (zh) 一种语义匹配方法及智能设备
CN111209401A (zh) 网络舆情文本信息情感极性分类处理系统及方法
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN107330011A (zh) 多策略融合的命名实体的识别方法及装置
CN111339750B (zh) 去除停用语并预测句子边界的口语文本处理方法
CN112541356B (zh) 一种生物医学命名实体识别的方法和系统
CN110197279B (zh) 变换模型训练方法、装置、设备和存储介质
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN111563144A (zh) 基于语句前后关系预测的用户意图识别方法及装置
CA3180493A1 (en) Training method and device of intention recognition model and intention recognition method and device
CN110781687B (zh) 相同意图语句的获取方法及装置
CN110459208A (zh) 一种基于知识迁移的序列到序列语音识别模型训练方法
CN115577086A (zh) 基于层级交叉注意力机制的桥梁检测知识图谱问答方法
CN110134950A (zh) 一种字词结合的文本自动校对方法
CN113934909A (zh) 基于预训练语言结合深度学习模型的金融事件抽取方法
CN111180025A (zh) 表示病历文本向量的方法、装置及问诊系统
CN113254613A (zh) 对话问答方法、装置、设备及存储介质
CN113326367A (zh) 基于端到端文本生成的任务型对话方法和系统
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN116561274A (zh) 一种基于数字人技术与自然语言大模型的知识问答方法
CN112183060B (zh) 多轮对话系统的指代消解方法
CN112905742B (zh) 基于语义模型神经网络识别新词汇的方法、装置
CN117454898A (zh) 一种根据输入文本实现法人实体标准化输出的方法及装置
CN112270192B (zh) 一种基于词性和停用词过滤的语义识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant