CN110162596B - 自然语言处理的训练方法、装置、自动问答方法和装置 - Google Patents

自然语言处理的训练方法、装置、自动问答方法和装置 Download PDF

Info

Publication number
CN110162596B
CN110162596B CN201910258595.3A CN201910258595A CN110162596B CN 110162596 B CN110162596 B CN 110162596B CN 201910258595 A CN201910258595 A CN 201910258595A CN 110162596 B CN110162596 B CN 110162596B
Authority
CN
China
Prior art keywords
representation
training
corpus
positive
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910258595.3A
Other languages
English (en)
Other versions
CN110162596A (zh
Inventor
罗定嘉
翟铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910258595.3A priority Critical patent/CN110162596B/zh
Publication of CN110162596A publication Critical patent/CN110162596A/zh
Application granted granted Critical
Publication of CN110162596B publication Critical patent/CN110162596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。所述训练方法包括：获取用于训练的语料库；初始化语料库的表示集，表示集的每一组成元素表示语料库中一个词；以表示集作为参数构造目标函数；以及执行训练，调整表示集，获得训练后的表示集，训练后的表示集使得目标函数满足预定训练结束条件；其中，目标函数包括正负样本相对差异表示部分，用于使得训练后语料库中的正样本和负样本满足预定收敛条件。根据本公开实施例训练方法，通过在训练方法中，针对特定的应用场景构造目标函数，实现对于词表示的进一步优化。

Description

自然语言处理的训练方法、装置、自动问答方法和装置
技术领域
本公开涉及自然语言处理领域，更具体地，本公开涉及一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。
背景技术
自然语言处理(NLP)是人工智能技术重要的应用领域之一。在自然语言处理过程中，首先需要把自然语言这种符号信息转化为计算机能识别形式的数字信息。这样就把自然语言理解的问题要转化为机器学习的问题。这种符号信息转化为计算机能识别形式的过程被称为自然语言的表示过程。
当前，存在诸如Word2vec、Fast-text等多种不同的语言表示方法，通常都是根据不同的应用意图构造目标函数来解决各自应用场景的问题。例如，基于自然语言处理的问答系统和检索系统这两个不同应用场景的区别在于问答系统需要兼顾语义的相似性，而检索系统更多是考虑词出现的共现词的权重。因此，希望能够提供适应于自然语言处理的特定应用场景的训练方法，通过该训练方法获得适用于该特定应用场景的自然语言表示。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。
根据本公开的一个方面，提供了一种用于自然语言处理的训练方法，包括：获取用于训练的语料库；初始化所述语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；以所述表示集作为参数构造目标函数；以及执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。
此外，根据本公开一个方面的训练方法，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。
此外，根据本公开一个方面的训练方法，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。
此外，根据本公开一个方面的训练方法，其中，所述语料库中si和
Figure GDA0004272432050000021
为正样本对，si和/>
Figure GDA0004272432050000022
为负样本对，所述si、/>
Figure GDA0004272432050000023
和/>
Figure GDA0004272432050000024
经由所述嵌入表示矩阵W的嵌入表示分别为ri、/>
Figure GDA0004272432050000025
和/>
Figure GDA0004272432050000026
所述正样本对si和/>
Figure GDA0004272432050000027
的相似度表示为
Figure GDA0004272432050000028
所述负样本对si和
Figure GDA0004272432050000029
的相似度表示为
Figure GDA00042724320500000210
所述正负样本相对差异表示部分表示为
Figure GDA00042724320500000211
其中，si、
Figure GDA00042724320500000212
和/>
Figure GDA00042724320500000213
分别代表所述语料库中的一条语料，ri、/>
Figure GDA00042724320500000214
和/>
Figure GDA00042724320500000215
分别代表si、/>
Figure GDA00042724320500000216
和/>
Figure GDA00042724320500000217
的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。
此外，根据本公开一个方面的训练方法，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：
Figure GDA00042724320500000218
所述目标函数L表示为：
L(W)＝l(W)+λl0(W)
其中，所述调整所述表示集表示为求解：
W*＝argminW(l(W)+λl0(W))
其中，exp代表以e为底的指数函数，Sk表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l0(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l0(W)取最小值的W。
根据本公开的另一个方面，提供了一种基于自然语言处理的自动问答方法，包括：执行训练，获取语料库的表示集；接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及基于所述问题语句的表示，检索以获取所述问题语句的答案语句，其中，所述执行训练，获取语料库的表示集包括：执行如上所述的用于自然语言处理的训练方法。
根据本公开的另一个方面，提供了一种用于自然语言处理的训练装置，包括：初始化单元，用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；目标函数构造单元，用于以所述表示集作为参数构造目标函数；以及训练单元，用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。
此外，根据本公开另一个方面的训练装置，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。
此外，根据本公开另一个方面的训练装置，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。
此外，根据本公开另一个方面的训练装置，其中，所述语料库中si和
Figure GDA0004272432050000031
为正样本对，si和/>
Figure GDA0004272432050000032
为负样本对，所述si、/>
Figure GDA0004272432050000033
和/>
Figure GDA0004272432050000034
经由所述表示矩阵w的表示分别为ri、/>
Figure GDA0004272432050000035
和/>
Figure GDA0004272432050000036
所述正样本对si和
Figure GDA0004272432050000037
的相似度表示为
所述负样本对si和
Figure GDA0004272432050000039
的相似度表示为
Figure GDA00042724320500000310
所述正负样本相对差异表示部分表示为
Figure GDA00042724320500000311
其中，si、
Figure GDA00042724320500000312
和/>
Figure GDA00042724320500000313
分别代表所述语料库中的一条语料，ri、/>
Figure GDA00042724320500000314
和/>
Figure GDA00042724320500000315
分别代表si、/>
Figure GDA00042724320500000316
和/>
Figure GDA00042724320500000317
的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。
此外，根据本公开另一个方面的训练装置，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：
Figure GDA0004272432050000041
所述目标函数L表示为：
L(W)＝l(W)+λl0(W)
其中，所述调整所述表示集表示为求解：
W*＝argminW(l(W)+λl0(W))
其中，exp代表以e为底的指数函数，Sk表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l0(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l0(W)取最小值的W。
根据本公开的又一个方面，提供了一种基于自然语言处理的自动问答装置，包括：训练单元，用于执行训练，获取语料库的表示集；问题接收单元，用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及回答单元，用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句，其中，所述训练单元执行如上所述的用于自然语言处理的训练方法。
根据本公开的又一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如上所述的训练方法，或者如上所述自动问答方法。
根据本公开的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如上所述的训练方法，或者如上所述自动问答方法。
如以下将详细描述的，根据本公开实施例用于自然语言处理的词向量化表示的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质，通过在训练方法中，针对特定的应用场景构造目标函数，获得适用于该特定应用场景的自然语言表示，实现对于自然语言表示的进一步优化。在特定的应用场景中，同义句的提取任务是自然语言处理的关键环节。通过在训练方法中，设计包括正负样本相对差异表示部分的目标函数，训练后所述语料库中的正样本和负样本满足预定收敛条件，该预定收敛条件使得正负样本的表示充分体现同义句和非同义句之间的差别。进一步地，通过在训练方法中，设计包括正负样本绝对值表示部分的目标函数，使得训练后所述语料库中的正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低，从而进一步使得正负样本的表示充分体现同义句和非同义句之间的差别。如此，在用训练好的词向量化表示执行自然语言处理中同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句从而在基于自然语言处理的特定应用中实现更高的应答准确率。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是概述根据本公开实施例的用于自然语言处理的训练方法的应用场景的示意图；
图2是图示根据本公开实施例的自然语言处理中问题同义句返回示例的示意图；
图3是图示根据本公开实施例的用于自然语言处理的训练方法的流程图；
图4A和4B是图示根据本公开实施例的用于自然语言处理的训练方法的效果示意图；
图5是图示根据本公开实施例的基于自然语言处理的自动问答方法的流程图；
图6是图示根据本公开实施例的用于自然语言处理的训练装置的功能框图；
图7是图示根据本公开实施例的基于自然语言处理的自动问答装置的功能框图；
图8是图示根据本公开实施例的电子设备的硬件框图；以及
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
首先，参照图1和图2描述根据本公开实施例的用于自然语言处理训练方法的应用场景。
图1是概述根据本公开实施例的训练方法的应用场景的示意图。如图1所示，根据本公开实施例的训练方法可以应用于自然语言处理系统10。自然语言处理系统10配置有自动问答装置100。自动问答装置100经由通信网络103与用户101a-101c各自的用户设备102a-102c执行数据通信。
自动问答装置100包括但不限于配置有大数据处理能力和大容量数据存储能力的服务器装置，诸如搜索引擎服务器、内容提供服务器等。用户设备102a-102c包括但不限于笔记本计算机、台式计算机、智能电话、平板电脑等具有数据处理能力的移动终端或者固定终端。通信网络103包括但不限于遵循诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)和/或文件传输协议(FTP)配置的互联网、IPTV网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)和/或城域网(MAN)等。
在本公开的一个实施例中，自动问答装置100例如为搜索引擎服务器。自动问答装置100接收由用户设备102a-102c通过通信网络103提出的问题，自动问答装置100基于对于问题与自身来源文档的理解，自动向用户101a-101c提供答案。
具体地，如上所述的自然语言处理系统10例如可以是智能客服系统。智能客服系统需要融合自然语言理解的语义检索技术、多渠道知识服务技术以及大规模知识库建构技术，让用户以最自然的方式表达自己的信息或知识需求，并能够向用户反馈其最想要的精准信息。因此，智能客服系统的首要任务就是对用户的查询问题进行自然语言分析，确定查询问题的含义以及其他等价的查询问法，此后再通过对于知识库的检索向用户反馈对于查询问题的精确应答。
此外，如上所述的自然语言处理系统10例如还可以是智能聊天机器人系统。智能聊天机器人系统在于用户进行实时互动聊天的过程中，首要任务也是对用户的聊天内容进行自然语言分析，确定聊天内容的含义以及其他等价的内容，此后再通过对于知识库的检索向用户反馈对于聊天内容的适当回应。
也就是说，在自然语言处理系统10的处理过程中，能够识别特定领域的各种不同问法，即确定问题的同义问题和同义内容，就能获得更加智能和精准的回复。
图2是图示根据本公开实施例的自然语言处理中问题同义句返回示例的示意图。
如图2所示，从用户接收的问题是“企业网上银行支持Windows10吗”。通过根据本公开实施例的词向量化表示将问题向量化之后，通过同义词之间的对应关系，能够确定语料库中“Windows10”与“操作系统”，“企业网上银行”和“企业网银”具有同义词映射关系，从而进一步在语料库中确定与问题具有高大相似度分值“0.94972277”的同义问题“企业网银支持的操作系统”。通过基于问题以及精确返回的同义问题去检索答案，提升了自然语言处理的准确率。
以上，描述了根据本公开实施例的词向量化表示的训练方法的应用场景，以下将参照图3到图6详细描述根据本公开实施例的训练方法和装置以及利用该训练方法的自动问答方法和装置。
图3是图示根据本公开实施例的用于自然语言处理的训练方法的流程图。需要理解的是，根据本公开实施例的用于自然语言处理的训练方法例如可以由服务器终端、移动终端的通用处理单元或专用处理单元执行。
如图3所示，根据本公开实施例的用于自然语言处理的训练方法包括以下步骤。
在步骤S301中，获取用于训练的语料库。在本公开的实施例中，用于训练的语料库中的同义句标注为正样本对，非同义句则表述为负样本对。
在步骤S302中，初始化所述语料库的表示集。在本公开的实施例中，所述表示集的每一组成元素表示所述语料库中一个词。
具体地，在本公开的实施例中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。例如，语料库中所有词语可以构成字典：D＝{w1：1，w2：2，...，wu：u}，即w1到wu是词典中的u个词。进一步地，引入表示矩阵W，其每一列表示词典中一个词的表示。对于任意的字符w，可以根据其在表示矩阵W上的位置进行稀疏表示为独热(one-hot)形式。由字典中n个词组成的句子表示为：
Figure GDA0004272432050000081
令
Figure GDA0004272432050000082
其中/>
Figure GDA0004272432050000083
该独热编码过程可以通过矩阵乘积来表示：
Figure GDA0004272432050000084
进一步地，对句子中所有词的表示平均，即可得到句子的表示：
Figure GDA0004272432050000085
其中em＝[1，1，...，1]T。
在获得两个句子si和sj的表示之后，两个句子之间的匹配相似度表示为：
Figure GDA0004272432050000086
其中，si和sj分别代表所述语料库中的一条语料，ri和rj代表si和sj的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度。该余弦相似度
Figure GDA0004272432050000087
的取值范围为-1到1，其中当/>
Figure GDA0004272432050000088
为-1时表示两个向量完全不同，没有相似性；而当/>
Figure GDA0004272432050000089
为1时表示两个向量完全相同。
在步骤S303中，以所述表示矩阵作为参数构造目标函数。
在本公开的实施例中，目标函数是用于训练词表示的损失函数。具体地，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本在表示空间中满足预定收敛条件。更具体地，该预定收敛条件为寻求使得所述语料库中的正样本和负样本在表示空间中的距离增大。也就是说，通过多次迭代训练，每次训练后正样本和负样本在表示空间中的距离都比前次的距离增大，直到该距离不再增大，或者该距离增大值小于预定阈值的时候表示满足预定收敛条件。所述目标函数还包括正负样本绝对值表示部分，用于使得训练后所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。在训练过程中，所述目标函数可以是正负样本相对差异表示部分和正负样本绝对值表示部分的任一，或者是正负样本相对差异表示部分和正负样本绝对值表示部分两者。
更具体地，例如所述语料库中si和
Figure GDA0004272432050000091
为正样本对，si和/>
Figure GDA0004272432050000092
为负样本对，所述si、/>
Figure GDA0004272432050000093
和
Figure GDA0004272432050000094
经由所述嵌入表示矩阵W的嵌入表示分别为ri、/>
Figure GDA0004272432050000095
和/>
Figure GDA0004272432050000096
所述正样本对si和
Figure GDA0004272432050000097
的相似度表示为
Figure GDA0004272432050000098
所述负样本对si和
Figure GDA0004272432050000099
的相似度表示为
Figure GDA00042724320500000910
所述正负样本相对差异表示部分表示为
Figure GDA00042724320500000911
其中，si、
Figure GDA00042724320500000912
和/>
Figure GDA00042724320500000913
分别代表所述语料库中的一条语料，ri、/>
Figure GDA00042724320500000914
和/>
Figure GDA00042724320500000915
分别代表Si、/>
Figure GDA00042724320500000916
和/>
Figure GDA00042724320500000917
的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。
如由表达式(6)所示，希望正负样本在表示空间中相似度的差
Figure GDA00042724320500000918
Figure GDA00042724320500000919
要大于惩罚系数μ。当/>
Figure GDA00042724320500000920
大于μ时，/>
Figure GDA00042724320500000921
Figure GDA00042724320500000922
为小于0的一个负值，则/>
Figure GDA00042724320500000923
此时取值为零，l(W)满足训练结束条件。
也就是说，当满足表达式(6)所示的目标函数时，即训练后所述语料库中的正样本和负样本在表示空间满足预定收敛条件，充分体现同义句和非同义句之间的差别。在用训练好的词表示执行同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句。
进一步地，为了提升词表示模型的精度，希望所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。为此，设计目标函数包括正负样本绝对值表示部分。
Figure GDA00042724320500000924
其中，exp代表以e为底的指数函数，Sk表示对所述语料库中整体样本进行随机抽样得到的样本集合。
如由表达式(7)所示，为了使得目标函数的正负样本绝对值表示部分l0(W)满足取值最小的预定收敛条件，需要sigmoid函数(即，
Figure GDA00042724320500000925
)足够大。由于sigmoid函数的单调性，其随着/>
Figure GDA0004272432050000101
的增大而增大，而/>
Figure GDA0004272432050000102
则随着其变量
Figure GDA0004272432050000103
的增大而增大。因此，在其约束下，为了使得l0(W)满足收敛条件，会使得正样本对的相似度/>
Figure GDA0004272432050000104
尽可能大。又由于/>
Figure GDA0004272432050000105
本身有界，其取值为-1到1之间，所以会使得正样本对之间的相似度量级一致，做到分值对齐的效果。
此外，l0(W)的取值范围表示为：
|Sk|(log(e+1)-1)≤l0(W)≤|Sk|log(e+1) 表达式(8)
其中，|Sk|表示集合Sk中样本的个数。
在步骤S304中，执行训练，调整所述嵌入表示矩阵，获得训练后的所述嵌入表示矩阵，所述训练后的所述嵌入表示矩阵使得所述目标函数满足预定训练结束条件。
如上构造目标函数包括正负样本相对差异表示部分l(W)和正负样本绝对值表示部分l0(W)之后，所述目标函数L可以表示为：
L(W)＝l(W)+λl0(W) 表达式(9)
其中，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l0(W)之间的权重，其取值在0到1之间。
在本公开的实施例中，训练表示矩阵W满足：
W*＝argminW(l(W)+λl0(W)) 表达式(10)
其中，W*代表使得l(W)+λl0(W)取最小值的表示矩阵，argminW代表求解使得l(W)+λl0(W)取最小值的该表示矩阵W*。如上所述，根据本公开实施例的用于自然语言处理的训练方法，通过在训练方法中采用包括正负样本相对差异表示部分和正负样本绝对值表示部分两者或者任一的目标函数，使得利用该训练方法训练所得的用于自然语言处理的词表示能够更加精确地在语料库中确定同义句，从而在基于自然语言处理的应用中实现更高的应答准确率。
图4A和4B是图示根据本公开实施例的用于自然语言处理的训练方法的效果示意图。图4A示出了采用目标函数l(W)训练后获得的模型效果，图4A示出了采用目标函数l(W)+l0(W)训练后获得的模型效果。
在图4A和4B中，横坐标表示训练步数，纵坐标表示TOP1、TOP3、TOP5的预测准确率，其中Top1准确率是指通过模型计算备选集中所有样本所得的最高得分的样本为真正的预设答案所占的比例，Top3准确率是指通过模型计算备选集中所有样本所得前三样本中包含真正预设答案所占的比例，而Top5准确率是指通过模型计算备选集中所有样本所得前五样本中包含真正预设答案所占的比例。例如，Top1准确率可以表示为：
Figure GDA0004272432050000111
这里I表示指示函数，如果里面逻辑是真，这时返回1，否则返回0。
Figure GDA0004272432050000112
表示对于当前的样本qs，在备选集As中选择任意的样本q，其满足
Figure GDA0004272432050000113
分值最大的样本的序号，如果该序号恰好为s*，这时候取1表示预测准确，否则该函数取0。
如图4A和4B所示，通过将训练的目标函数设置为目标函数的和l(W)+l0(W)，训练所得的表示模型在测试数据集上有了明显的提升。TOP1准确率从之前的65％提升到75％，TOP3准确率从之前的88％提升到90％。TOP5准确率从93％提升到95％。
图5是图示根据本公开实施例的基于自然语言处理的自动问答方法的流程图。需要理解的是，根据本公开实施例的基于自然语言处理的自动问答方法例如可以由服务器终端、移动终端的通用处理单元或专用处理单元执行。
如图5所示，根据本公开实施例的基于自然语言处理的自动问答方法包括以下步骤。
在步骤S501中，执行训练，获取语料库的表示集。在根据本公开实施例的基于自然语言处理的自动问答方法中，采用如上参照图3描述的根据本公开实施例的用于自然语言处理的训练方法执行步骤S501。
在步骤S502中，接收问题语句，并且根据所述表示集，获取所述问题语句的表示。
在步骤S503中，基于所述问题语句的表示，检索以获取所述问题语句的答案语句。由于根据本公开实施例的用于自然语言处理的词表示能够识别特定领域的各种不同问法，即确定问题语句的同义语句，从而在步骤S503中能够获得更加智能和精准的答案语句。
图6是图示根据本公开实施例的用于自然语言处理的训练装置的功能框图。如图6所示，根据本公开实施例的用于自然语言处理的训练装置60包括初始化单元601、目标函数构造单元602和训练单元603。上述各模块可以分别执行如上参照图3描述的用于自然语言处理的训练方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。
初始化单元601用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词。更具体地，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。
目标函数构造单元602用于以所述表示集作为的参数构造目标函数。所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。具体地，预定收敛条件可以是寻求使得所述语料库中的正样本和负样本在表示空间中的距离增大。也就是说，通过多次迭代训练，每次训练后正样本和负样本在表示空间中的距离都比前次的距离增大，直到该距离不再增大，或者该距离增大值小于预定阈值的时候表示满足预定收敛条件。所述目标函数还包括正负样本绝对值表示部分，用于使得训练后所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。
训练单元603用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件。具体地，预定训练结束条件可以是所述目标函数最小化。训练单元603使用的所述目标函数可以是正负样本相对差异表示部分和正负样本绝对值表示部分的任一，或者是正负样本相对差异表示部分和正负样本绝对值表示部分两者。正负样本相对差异表示部分和正负样本绝对值表示部分具体可以分别为如上参照图3描述的表达式(6)和表达式(7)所示。
图7是图示根据本公开实施例的基于自然语言处理的自动问答装置的功能框图。如图7所示，根据本公开实施例的基于自然语言处理的自动问答装置70包括训练单元701、问题接收单元702和回答单元703。上述各模块可以分别执行如上参照图5描述的基于自然语言处理的自动问答方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。
训练单元701用于执行训练，获取语料库的表示集。在本公开的实施例中，自动问答装置70的训练单元701执行如上参照图3描述的用于自然语言处理的训练方法的各个步骤。
问题接收单元702用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示。
回答单元703用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句。
图8是图示根据本公开实施例的电子设备800的硬件框图。根据本公开实施例的电子设备800至少包括处理器；以及存储器，用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时，所述处理器执行如上所述的用于自然语言处理的词向量化表示的训练方法，或者如上所述的自动问答方法。
图8所示的电子设备800具体地包括：中央处理单元(CPU)801、图形处理单元(GPU)802和主存储器803。这些单元通过总线804互相连接。中央处理单元(CPU)801和/或图形处理单元(GPU)802可以用作上述处理器，主存储器803可以用作上述存储计算机程序指令的存储器。此外，电子设备800还可以包括通信单元805、存储单元806、输出单元807、输入单元808和外部设备809，这些单元也连接到总线804。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有计算机程序指令901。当所述计算机程序指令901由处理器运行时，执行如上所述的用于自然语言处理的训练方法，或者如上所述的自动问答方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
以上，参照附图描述了根据本公开实施例用于自然语言处理的词向量化表示的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质，通过在训练方法中，针对特定的应用场景构造目标函数，实现对于词向量化表示的进一步优化。在特定的应用场景中，同义句的提取任务是自然语言处理的关键环节。通过在训练方法中，设计包括正负样本相对差异表示部分的目标函数，训练后所述语料库中的正样本和负样本满足预定收敛条件，该预定收敛条件使得正负样本的表示充分体现同义句和非同义句之间的差别。进一步地，通过在训练方法中，设计包括正负样本绝对值表示部分的目标函数，使得训练后所述语料库中的正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低，从而进一步使得正负样本的表示充分体现同义句和非同义句之间的差别。如此，在用训练好的词向量化表示执行自然语言处理中同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句从而在基于自然语言处理的特定应用中实现更高的应答准确率。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于自然语言处理的训练方法，包括：
获取用于训练的语料库；
初始化所述语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；
以所述表示集作为参数构造目标函数；以及
执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；
其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件，
其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化，
其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：
Figure FDA0004272432040000011
所述目标函数L表示为：
L(W)＝l(W)+λl0(W)
其中，所述表示集为表示矩阵W，所述训练使所述表示矩阵W满足：
W*＝argminW(l(W)+λl0(W))
其中，exp代表以e为底的指数函数，Sk表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l0(W)之间的权重，其取值在0到1之间，W*代表使得l(W)+λl0(W)取最小值的表示矩阵，argminW代表求解使得l(W)+λl0(W)取最小值的该表示矩阵W*。
2.如权利要求1所述的训练方法，其中，一个所述组成元素为所述表示矩阵的一列。
3.如权利要求1所述的训练方法，其中，所述语料库中si和
Figure FDA0004272432040000021
为正样本对，si和/>
Figure FDA0004272432040000022
为负样本对，所述si、/>
Figure FDA0004272432040000023
和/>
Figure FDA0004272432040000024
经由所述表示矩阵W的表示分别为ri、/>
Figure FDA0004272432040000025
和/>
Figure FDA0004272432040000026
所述正样本对si和
Figure FDA0004272432040000027
的相似度表示为
Figure FDA0004272432040000028
所述负样本对si和
Figure FDA0004272432040000029
的相似度表示为
Figure FDA00042724320400000210
所述正负样本相对差异表示部分表示为
Figure FDA00042724320400000211
其中，si、
Figure FDA00042724320400000212
和/>
Figure FDA00042724320400000213
分别代表所述语料库中的一条语料，ri、/>
Figure FDA00042724320400000214
和/>
Figure FDA00042724320400000215
分别代表si、/>
Figure FDA00042724320400000216
和/>
Figure FDA00042724320400000217
的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。
4.一种基于自然语言处理的自动问答方法，包括：
根据如权利要求1所述的训练方法执行训练，以获取语料库的表示集；
接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及
基于所述问题语句的表示，检索以获取所述问题语句的答案语句。
5.一种用于自然语言处理的训练装置，包括：
初始化单元，用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；
目标函数构造单元，用于以所述表示集作为参数构造目标函数；以及
训练单元，用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；
其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件，
其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化，
其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：
Figure FDA0004272432040000031
所述目标函数L表示为：
L(W)＝l(W)+λl0(W)
其中，所述表示集为表示矩阵W，所述训练使所述表示矩阵W满足：
W*＝argminW(l(W)+λl0(W))
其中，exp代表以e为底的指数函数，Sk表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l0(W)之间的权重，其取值在0到1之间，W*代表使得l(W)+λl0(W)取最小值的表示矩阵，argminW代表求解使得l(W)+λl0(W)取最小值的该表示矩阵W*。
6.如权利要求5所述的训练装置，其中，一个所述组成元素为所述表示矩阵的一列。
7.如权利要求5所述的训练装置，其中，所述语料库中si和
Figure FDA0004272432040000032
为正样本对，si和/>
Figure FDA0004272432040000033
为负样本对，所述si、/>
Figure FDA0004272432040000034
和/>
Figure FDA0004272432040000035
经由所述表示矩阵W的表示分别为ri、/>
Figure FDA0004272432040000036
和/>
Figure FDA0004272432040000037
所述正样本对si和
Figure FDA0004272432040000038
的相似度表示为
Figure FDA0004272432040000039
所述负样本对si和
Figure FDA00042724320400000310
的相似度表示为
Figure FDA00042724320400000311
所述正负样本相对差异表示部分表示为
Figure FDA00042724320400000312
其中，si、
Figure FDA0004272432040000041
和/>
Figure FDA0004272432040000042
分别代表所述语料库中的一条语料，ri、/>
Figure FDA0004272432040000043
和/>
Figure FDA0004272432040000044
分别代表si、/>
Figure FDA0004272432040000045
和/>
Figure FDA0004272432040000046
的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。
8.一种基于自然语言处理的自动问答装置，包括：
训练单元，用于根据如权利要求1所述的训练方法执行训练，以获取语料库的表示集；
问题接收单元，用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及
回答单元，用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句。
9.一种电子设备，包括：
处理器；以及
存储器，用于存储计算机程序指令；
其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如权利要求1到3的任一项所述的训练方法，或者如权利要求4所述的自动问答方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如权利要求1到3的任一项所述的训练方法，或者如权利要求4所述的自动问答方法。
CN201910258595.3A 2019-04-01 2019-04-01 自然语言处理的训练方法、装置、自动问答方法和装置 Active CN110162596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910258595.3A CN110162596B (zh) 2019-04-01 2019-04-01 自然语言处理的训练方法、装置、自动问答方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910258595.3A CN110162596B (zh) 2019-04-01 2019-04-01 自然语言处理的训练方法、装置、自动问答方法和装置

Publications (2)

Publication Number Publication Date
CN110162596A CN110162596A (zh) 2019-08-23
CN110162596B true CN110162596B (zh) 2023-07-14

Family

ID=67638960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910258595.3A Active CN110162596B (zh) 2019-04-01 2019-04-01 自然语言处理的训练方法、装置、自动问答方法和装置

Country Status (1)

Country Link
CN (1) CN110162596B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825843A (zh) * 2019-10-15 2020-02-21 深圳市奥拓电子股份有限公司 适于金融领域的训练方法、问答方法、装置及存储介质
CN110765758B (zh) * 2019-11-04 2023-08-04 北京小米智能科技有限公司 一种同义句生成模型的生成方法、装置及介质
CN111538822B (zh) * 2020-04-24 2023-05-09 支付宝(杭州)信息技术有限公司 一种智能客户服务机器人训练数据的生成方法和系统
CN112527989A (zh) * 2020-12-15 2021-03-19 深圳市优必选科技股份有限公司 一种训练方法、训练装置及智能设备
CN114020887B (zh) * 2021-10-29 2023-11-07 北京有竹居网络技术有限公司 用于确定响应语句的方法、设备、装置和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技（深圳）有限公司 一种人脸识别模型的调整方法、装置和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
US10467268B2 (en) * 2015-06-02 2019-11-05 International Business Machines Corporation Utilizing word embeddings for term matching in question answering systems
US20170286397A1 (en) * 2016-03-30 2017-10-05 International Business Machines Corporation Predictive Embeddings
US10642875B2 (en) * 2017-04-28 2020-05-05 International Business Machines Corporation Accurate relationship extraction with word embeddings using minimal training data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN108805048A (zh) * 2018-05-25 2018-11-13 腾讯科技（深圳）有限公司 一种人脸识别模型的调整方法、装置和存储介质

Also Published As

Publication number Publication date
CN110162596A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110162596B (zh) 自然语言处理的训练方法、装置、自动问答方法和装置
CN108052588B (zh) 一种基于卷积神经网络的文档自动问答系统的构建方法
US20200301954A1 (en) Reply information obtaining method and apparatus
KR102565274B1 (ko) 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
CN107480143B (zh) 基于上下文相关性的对话话题分割方法和系统
CN108875074B (zh) 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN110083693B (zh) 机器人对话回复方法及装置
CN111259127B (zh) 一种基于迁移学习句向量的长文本答案选择方法
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
KR20180078318A (ko) 선행사의 결정방법 및 장치
US20130018650A1 (en) Selection of Language Model Training Data
CN110765253B (zh) 客服场景下用户问句的回复方法、装置及设备
CN106294505B (zh) 一种反馈答案的方法和装置
CN110895559A (zh) 模型训练、文本处理方法、装置以及设备
US20220058349A1 (en) Data processing method, device, and storage medium
CN112434533B (zh) 实体消歧方法、装置、电子设备及计算机可读存储介质
CN110727769A (zh) 语料库生成方法及装置、人机交互处理方法及装置
CN112581327A (zh) 基于知识图谱的法律推荐方法、装置和电子设备
CN110895656A (zh) 一种文本相似度计算方法、装置、电子设备及存储介质
CN111859950A (zh) 一种自动化生成讲稿的方法
US11270085B2 (en) Generating method, generating device, and recording medium
CN110826341A (zh) 一种基于seq2seq模型的语义相似度计算方法
CN116150306A (zh) 问答机器人的训练方法、问答方法及装置
CN113868377A (zh) 相似度联合模型训练、语义匹配方法及装置
CN114692610A (zh) 关键词确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant