CN112633007B - 一种语义理解模型构建方法及装置、语义理解方法及装置 - Google Patents

一种语义理解模型构建方法及装置、语义理解方法及装置 Download PDF

Info

Publication number
CN112633007B
CN112633007B CN202011519649.6A CN202011519649A CN112633007B CN 112633007 B CN112633007 B CN 112633007B CN 202011519649 A CN202011519649 A CN 202011519649A CN 112633007 B CN112633007 B CN 112633007B
Authority
CN
China
Prior art keywords
training sample
layer
multilingual
language
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011519649.6A
Other languages
English (en)
Other versions
CN112633007A (zh
Inventor
王涛
刘权
陈志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
iFlytek Co Ltd
Original Assignee
University of Science and Technology of China USTC
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, iFlytek Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202011519649.6A priority Critical patent/CN112633007B/zh
Publication of CN112633007A publication Critical patent/CN112633007A/zh
Application granted granted Critical
Publication of CN112633007B publication Critical patent/CN112633007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种语义理解模型构建方法及装置、语义理解方法及装置，该语义理解模型构建方法包括：在获取到多语语料之后，先根据该多语语料生成训练样本、该训练样本的实际语种和该训练样本的实际语义信息，并将该训练样本输入多语种理解模型，得到该多语种理解模型输出的该训练样本的预测语种和该训练样本的预测语义信息；再根据该训练样本的预测语种、实际语种、预测语义信息及其实际语义信息，更新该多语种理解模型，并继续执行上述将该训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据该多语种理解模型构建语义理解模型，以使该语义理解模型能够对该至少两个语种下的语句进行语义理解。

Description

一种语义理解模型构建方法及装置、语义理解方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种语义理解模型构建方法及装置、语义理解方法及装置。
背景技术
随着自然语言处理(Natural Language Processing，NLP)技术的发展，语义理解技术成为人机交互过程中的重要技术。
目前，因用户群体的地域分布较广，使得不同用户可能会使用不同语种参与人机交互过程，从而使得该人机交互过程需要针对多个语种的用户语句进行语义理解，如此使得如何实现对多个语种的用户语句进行语义理解成为一个亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提供一种语义理解模型构建方法及装置、语义理解方法及装置，能够实现对至少两个语种的用户语句进行准确地语义理解。
本申请实施例提供了一种语义理解模型构建方法，所述方法包括：
获取多语语料；其中，所述多语语料包括至少两个语种语料；
根据多语语料，生成训练样本、所述训练样本的实际语种和所述训练样本的实际语义信息；
将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息；
根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，并继续执行所述将所述训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据所述多语种理解模型构建语义理解模型。
在一种可能的实施方式中，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息，包括：
将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量；
将所述训练样本的语句向量输入所述语句编码层，得到所述语句编码层输出的所述训练样本的语句编码；
将所述训练样本的语句编码中第一编码输入所述语种识别层，得到所述语种识别层输出的所述训练样本的预测语种；
将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息。
在一种可能的实施方式中，当所述数据输入层包括向量化层、句法分析层、结构识别层和数据融合层时，所述将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量，包括：
将所述训练样本输入所述向量化层，得到所述向量化层输出的所述训练样本的词向量；
将所述训练样本输入所述句法分析层，得到所述句法分析层输出的所述训练样本的结构特征；
将所述训练样本的结构特征输入所述结构识别层，得到所述结构识别层输出的所述训练样本的结构识别结果；
将所述训练样本的词向量和所述训练样本的结构识别结果输入所述数据融合层，得到所述数据融合层输出的所述训练样本的语句向量。
在一种可能的实施方式中，所述训练样本的结构识别结果的确定过程为：
将所述训练样本的结构特征与至少一个候选表述结构的结构特征进行匹配，得到所述训练样本的结构匹配结果；
根据所述训练样本的结构匹配结果，确定所述训练样本的结构识别结果。
在一种可能的实施方式中，当所述预测语义信息包括预测意图和预测槽位，且所述语义理解层包括意图识别层和槽位提取层时，所述将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息，包括：
将所述训练样本的语句编码中第二编码输入所述意图识别层，得到所述意图识别层输出的所述训练样本的预测意图；
将所述训练样本的语句编码输入所述槽位提取层，得到所述槽位提取层输出的所述训练样本的预测槽位。
在一种可能的实施方式中，当所述实际语义信息包括实际意图和实际槽位，且所述预测语义信息包括预测意图和预测槽位时，所述根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，包括：
根据所述训练样本的预测语种和所述训练样本的实际语种，确定语种识别损失；
根据所述训练样本的预测意图和所述训练样本的实际意图，确定意图识别损失；
根据所述训练样本的预测槽位和所述训练样本的实际槽位，确定槽位提取损失；
根据所述语种识别损失、所述意图识别损失和所述槽位提取损失，更新所述多语种理解模型。
在一种可能的实施方式中，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述根据所述多语种理解模型，构建语义理解模型，包括：
将所述多语种理解模型中的语种识别层删除，得到语义理解模型。
本申请实施例还提供了一种语义理解方法，所述方法包括：
获取待理解语句；
将所述待理解语句输入预先构建的语义理解模型，得到所述语义理解模型输出的所述待理解语句的预测语义信息；其中，所述语义理解模型是利用本申请实施例提供的语义理解模型构建方法的任一实施方式进行构建的。
本申请实施例还提供了一种语义理解模型构建装置，所述装置包括：
第一获取单元，用于获取多语语料；其中，所述多语语料包括至少两个语种语料；
样本生成单元，用于根据多语语料，生成训练样本、所述训练样本的实际语种和所述训练样本的实际语义信息；
第一预测单元，用于将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息；
模型更新单元，用于根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，并返回所述第一预测单元执行所述将所述训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据所述多语种理解模型构建语义理解模型。
本申请实施例还提供了一种语义理解装置，所述装置包括：
第二获取单元，用于获取待理解语句；
第二预测单元，用于将所述待理解语句输入预先构建的语义理解模型，得到所述语义理解模型输出的所述待理解语句的预测语义信息；其中，所述语义理解模型是利用本申请实施例提供的语义理解模型构建方法的任一实施方式进行构建的。
基于上述技术方案，本申请具有以下有益效果：
本申请提供的语义理解模型构建方法中，在获取到多语语料之后，先根据该多语语料生成训练样本、该训练样本的实际语种和该训练样本的实际语义信息，并将该训练样本输入多语种理解模型，得到该多语种理解模型输出的该训练样本的预测语种和该训练样本的预测语义信息；再根据该训练样本的预测语种、实际语种、预测语义信息及其实际语义信息，更新该多语种理解模型，并继续执行上述将该训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据该多语种理解模型构建语义理解模型。
其中，因多语语料包括至少两个语种语料(如，普通话语料、粤语语料、四川话语料等)，使得基于该多语语料生成的训练样本包括该至少两个语种下的训练样本，从而使得基于该训练样本及其标签信息(如，实际语种和实际语义信息)训练得到的多语种理解模型能够准确地对该至少两个语种下的语句进行语义理解，进而使得基于训练好的多语种理解模型构建的语义理解模型也能够准确地对该至少两个语种下的语句进行语义理解，如此使得后续能够使用该语义理解模型实现对至少两个语种的用户语句进行准确地语义理解。
另外，因多语种理解模型是根据训练样本的预测语种及其实际语种进行更新的，使得更新后的多语种理解模型能够更好地学习到不同语种之间的差异性，从而使得更新后的多语种理解模型能够更好地区分出不同语种下的训练样本，从而使得更新后的多语种理解模型能够更准确地对不同语种语句进行语义理解。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用于终端设备的语义理解模型构建方法的应用场景示意图；
图2为本申请实施例提供的应用于服务器的语义理解模型构建方法的应用场景示意图；
图3为本申请实施例提供的一种语义理解模型构建方法的流程图；
图4为本申请实施例提供的一种多语种理解模型的结构示意图；
图5为本申请实施例提供的另一种多语种理解模型的结构示意图；
图6为本申请实施例提供的一种多语种理解模型的工作原理示意图；
图7为本申请实施例提供的一种语义理解方法的流程图；
图8为本申请实施例提供的一种语义理解模型构建装置的结构示意图；
图9为本申请实施例提供的一种语义理解装置的结构示意图。
具体实施方式
发明人在对多语种语义理解的研究中发现，在相关技术中，对于N个语种来说，可以针对第i个语种训练一个专用于该第i个语种的语义理解模型，以使该专用于该第i个语种的语义理解模型能够对属于该第i个语种的用户语句进行语义理解；其中，i为正整数，i≤N，N为正整数。然而，因利用相关技术生成的N个语种的专用语义理解模型是完全无关联的，使得该N个语种的专用语义理解模型的训练过程以及存储空间均是完全独立的，如此导致N个语种的专用语义理解模型需要消耗大量的资源(如，模型存储空间、模型训练时占用的计算资源等等)。
为了解决背景技术部分的技术问题以及上述相关技术的缺陷，本申请实施例提供了一种语义理解模型构建方法，该方法包括：获取多语语料，且该多语语料包括至少两个语种语料；根据多语语料，生成训练样本、该训练样本的实际语种和该训练样本的实际语义信息；将该训练样本输入多语种理解模型，得到该多语种理解模型输出的该训练样本的预测语种和该训练样本的预测语义信息；根据该训练样本的预测语种、该训练样本的实际语种、该训练样本的预测语义信息和该训练样本的实际语义信息，更新该多语种理解模型，并继续执行上述将该训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据该多语种理解模型构建语义理解模型。
可见，因多语语料包括至少两个语种语料(如，普通话语料、粤语语料、四川话语料等)，使得基于该多语语料生成的训练样本包括该至少两个语种下的训练样本，从而使得基于该训练样本及其标签信息(如，实际语种和实际语义信息)训练得到的多语种理解模型能够准确地对该至少两个语种下的语句进行语义理解，进而使得基于训练好的多语种理解模型构建的语义理解模型也能够准确地对该至少两个语种下的语句进行语义理解，如此使得后续能够使用该语义理解模型实现对至少两个语种的用户语句进行准确地语义理解。
另外，因多语种理解模型是根据训练样本的预测语种及其实际语种进行更新的，使得更新后的多语种理解模型能够更好地学习到不同语种之间的差异性，从而使得更新后的多语种理解模型能够更好地区分出不同语种下的训练样本，从而使得更新后的多语种理解模型能够更准确地对不同语种语句进行语义理解。又因多语种理解模型的训练过程只需针对一个模型进行更新训练即可，如此能够有效地节省模型训练时所占用的计算资源；还因多语种理解模型能够将多个语种的语义理解集成到一个模型中，使得该多语种理解模型存储时只需占用一个模型的存储空间，如此能够有效地节省模型存储空间。
此外，本申请实施例不限定语义理解模型构建方法的执行主体，例如，本申请实施例提供的语义理解模型构建方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为智能手机、计算机、个人数字助理(Personal Digital Assitant，PDA)或平板电脑等。服务器可以为独立服务器、集群服务器或云服务器。
为了便于理解本申请实施例提供的技术方案，下面分别结合图1和图2对本申请实施例提供的语义理解模型构建方法的应用场景进行示例性介绍。其中，图1为本申请实施例提供的应用于终端设备的语义理解模型构建方法的应用场景示意图；图2为本申请实施例提供的应用于服务器的语义理解模型构建方法的应用场景示意图。
在图1所示的应用场景中，当用户101在终端设备102上触发用于对至少两个语种进行语义理解的语义理解模型构建请求时，终端设备102接收该语义理解模型构建请求，并通过执行本申请实施例提供的语义理解模型构建方法的任一可能的实施方式构建得到语义理解模型，以使该语义理解模型能够针对该至少两个语种下的用户语句进行语义理解。
在图2所示的应用场景中，当用户201在终端设备202上触发用于对至少两个语种进行语义理解的语义理解模型构建请求时，终端设备202接收该语义理解模型构建请求，并将该语义理解模型构建请求转发给服务器203，以使服务器203通过执行本申请实施例提供的语义理解模型构建方法的任一可能的实施方式构建得到语义理解模型，以使该语义理解模型能够针对该至少两个语种下的用户语句进行语义理解。需要说明的是，在服务器203构建得到语义理解模型之后，可以将该语义理解模型发送给终端设备202进行显示或使用，也可以将该语义理解模型保存至服务器存储空间中，以便后续其他设备能够使用已存储的语义理解模型。
需要说明的是，本申请实施例不限定语义理解模型构建请求的触发方式，可以采用现有的或未来出现的任一种能够触发语义理解模型构建请求的方式进行实施。
还需要说明的是，本申请实施例提供的语义理解模型构建方法不仅能够应用于图1或图2所示的应用场景中，还可以应用于其他需要进行语义理解模型构建的应用场景中，本申请实施例对此不做具体限定。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
方法实施例一
参见图3，该图为本申请实施例提供的一种语义理解模型构建方法的流程图。
本申请实施例提供的语义理解模型构建方法，包括S301-S306：
S301：获取多语语料。
其中，多语语料包括至少两个语种语料；而且本申请实施例不限定多语语料，例如，多语语料可以包括第1个语种语料、第2个语种语料，……，第N个语种语料。其中，第i个语种语料包括至少一个属于第i个语种的文本内容；i为正整数，i≤N。
另外，本申请实施例不限定第i个语种，第i个语种可以是任一种语言(如，普通话、中国地方方言、英语、日语等)。
此外，本申请实施例也不限定第i个语种语料的获取方式，例如，可以根据电子设备存储的第i个语种下的历史对话语句，确定第i个语种语料。又如，若第i个语种为使用范围较小(或者使用人数较少)的语言(如，北方、吴、湘、赣、客、闽、粤等中国地方方言)，则还可以先利用预设翻译方式将该第i个语种对应的辅助语种下的对话语句翻译成第i个语种下的对话语句，并根据翻译得到的第i个语种下的对话语句，确定第i个语种语料，如此能够解决第i个语种语料收集困难的问题。
其中，第i个语种对应的辅助语种是一种使用范围较广的语言，而且该第i个语种对应的辅助语种可以用于辅助生成第i个语种语料。另外，第i个语种对应的辅助语种可以预先设定，例如，中国地方方言对应的辅助语种可以预先设定为普通话。
需要说明的是，本申请实施例不限定预设翻译方式，可以采用现有的或未来出现的任一种能够将第i个语种对应的辅助语种语句翻译成第i个语种语句的翻译方式进行实施。
在一些情况下，多语语料可以根据语义理解模型的应用场景进行确定。例如，当语义理解模型的应用场景包括普通话语义理解和粤语语义理解时，该多语语料可以包括普通话语料和粤语语料。
基于上述S301的相关内容可知，为了能够更好地构建用于进行多语种语义理解的语义理解模型，可以先根据该语义理解模型的应用场景，确定该语义理解模型对应的所有语种(如，语义理解模型对应N个语种)；再根据该语义理解模型对应的所有语种获取多语语料，以使该多语语料能够包括该语义理解模型对应的所有语种语料(如，多语语料包括N个语种语料)，以便后续能够基于该多语语料，生成在语义理解模型的构建过程中所需使用的训练样本及其标签信息。
S302：根据多语语料，生成训练样本、该训练样本的实际语种和该训练样本的实际语义信息。
训练样本是指训练多语种理解模型时所需使用的语句；而且该训练样本可以充当多语种理解模型的模型输入数据参与到该多语种理解模型的训练过程中。另外，本申请实施例不限定训练样本的生成方式，例如，若多语语料包括M个语句，则可以直接将第m个语句确定为第m个训练样本；其中，m为正整数，m≤M，M为正整数。
实际语种是指训练样本实际所属的语言种类。另外，本申请实施例不限定实际语种的生成方式，例如，当多语语料包括M个语句，且第m个训练样本为第m个语句时，根据第m个语句所属的语言种类(例如，普通话、粤语等)，确定第m个训练样本的实际语种；其中，m为正整数，m≤M，M为正整数。
语义信息用于表征一个语句的语义。另外，本申请实施例不限定语义信息，在一种可能的实施方式下，语义信息可以包括意图和槽位。例如，对于语句“从北京打车去天津”来说，该语句的意图为“打车”，且该语句的槽位包括出发地槽位“北京”和目的地槽位“天津”。
实际语义信息用于表征训练样本的实际语义；而且实际语义信息可以包括实际意图和实际槽位。其中，实际意图用于表征训练样本的实际目的，实际槽位用于约束实际意图。
另外，本申请实施例不限定实际语义信息的生成方式，例如，当多语语料包括M个语句，且第m个训练样本为第m个语句时，将第m个语句的意图确定为第m个训练样本的实际意图，并将第m个语句的槽位确定为第m个训练样本的实际槽位；其中，m为正整数，m≤M，M为正整数。
需要说明的是，本申请实施例不限定第m个语句的意图和第m个语句的槽位的获取方式，例如，第m个语句的意图和第m个语句的槽位均可以预先由领域专家进行人工标注。又如，可以利用现有的或者未来出现的任一种意图识别方法确定出第m个语句的意图，并利用现有的或者未来出现的任一种槽位标注方法确定出第m个语句的槽位。
基于上述S302的相关内容可知，在获取到多语语料之后，可以利用该多语语料，确定训练样本、该训练样本的实际语种和该训练样本的实际语义信息；而且该确定过程具体可以为：当多语语料包括M个语句，且实际语义信息包括实际意图和实际槽位时，将第m个语句确定为第m个训练样本，将第m个语句所属的语言种类确定为第m个训练样本的实际语种，将第m个语句的意图确定为第m个训练样本的实际意图，并将第m个语句的槽位确定为第m个训练样本的实际槽位；其中，m为正整数，m≤M，M为正整数。
S303：将训练样本输入多语种理解模型，得到该多语种理解模型输出的该训练样本的预测语种和该训练样本的预测语义信息。
其中，多语种理解模型用于针对上述至少两个语种下的语句进行语义理解。
另外，本申请实施例不限定多语种理解模型的结构，例如，在一种可能的实施方式下，如图4所示，该多语种理解模型可以包括数据输入层、语句编码层、语种识别层和语义理解层。为了便于理解，下面分别介绍数据输入层、语句编码层、语种识别层和语义理解层的相关内容。
对于数据输入层来说，数据输入层用于对模型输入数据进行向量化处理，得到该模型输入数据的语句向量。其中，模型输入数据是指输入多语种理解模型的数据。模型输入数据的语句向量用于表征该模型输入数据的语句内容。
可见，数据输入层的输入数据为多语种理解模型的模型输入数据，而且该数据输入层的输出数据为该模型输入数据的语句向量。需要说明的是，本申请实施例不限定数据输入层，该数据输入层可以采用任一种能够实现语句向量化处理的方法进行实施。
实际上，每个语种具有独特的表述结构，例如，粤语(例如，你食先)通常采用副词倒置结构进行表述。可见，不同语种之间的表述结构不同，故为了提高数据输入层输出的语句向量的准确性，该数据输入层可以参考模型输入数据的表述结构，生成该模型输入数据的语句向量。基于此，本申请实施例提供了数据输入层的一种可能的实施方式，在该实施方式中，该数据输入层可以包括向量化层、句法分析层、结构识别层和数据融合层(如图5所示)。
其中，向量化层用于对模型输入数据进行词向量化处理，得到该模型输入数据的词向量。可见，向量化层的输入数据为模型输入数据，且该向量化层的输出数据为该模型输入数据的词向量。需要说明的是，本申请实施例不限定向量化层，可以采用现有的或未来出现的任一种词向量生成方法(例如，word2vec等算法)进行实施。
句法分析层用于对模型输入数据进行句法分析，得到该模型输入数据的结构特征。其中，模型输入数据的结构特征用于表征该模型输入数据的表述结构。可见，句法分析层的输入数据为多语种理解模型的模型输入数据，而且该句法分析层的输出数据为模型输入数据的结构特征。需要说明的是，本申请实施例不限定句法分析层，可以采用现有的或未来出现的任一种句法分析方法进行实施。
结构识别层用于根据模型输入数据的结构特征进行结构识别，得到该模型输入数据的结构识别结果。其中，模型输入数据的结构识别结果用于表示该模型输入数据的表述结构。可见，结构识别层的输入数据为模型输入数据的结构特征(也就是，句法分析层的输出数据)，而且该结构识别层的输出数据为模型输入数据的结构识别结果。
另外，本申请实施例不限定结构识别层，例如，在一种可能的实施方式下，该结构识别层的工作原理可以包括步骤11-步骤12：
步骤11：将模型输入数据的结构特征与至少一个候选表述结构的结构特征进行匹配，得到该模型输入数据的结构匹配结果。
其中，候选表述结构是指预先根据上文至少两个语种设定的表述结构。另外，本申请实施例不限定候选表述结构的获取方式，例如，可以由领域专家依据上文至少两个语种的表述结构进行制定。又如，可以采用现有的或未来出现的任一种表述结构提取方法从至少两个语种语料中进行提取。
候选表述结构的结构特征用于表征该候选表述结构；而且本申请实施例不限定候选表述结构的结构特征的获取方式。例如，可以由领域专家依据该候选表述结构制定该候选表述结构的结构特征。又如，可以现有的或未来出现的任一种表述结构特征提取方法从候选表述结构中提取出该候选表述结构的结构特征。
模型输入数据的结构匹配结果用于表示该模型输入数据的结构特征与各个候选表述结构之间是否匹配成功。另外，本申请实施例不限定模型输入数据的结构匹配结果的表示方式，例如，模型输入数据的结构匹配结果可以利用K位字符集(R1，R2，……，RK)表示；其中，Rz可以为0或1，而且若Rz为1则表示该模型输入数据的结构匹配结果与第z个候选表述结构之间匹配成功，若Rz为0则表示该模型输入数据的结构匹配结果与第z个候选表述结构之间匹配失败；z为正整数，z≤K，K为正整数，K为候选表述结构的总数。
需要说明的是，模型输入数据的结构匹配结果与第z个候选表述结构之间匹配成功是指模型输入数据的结构匹配结果与第z个候选表述结构之间的相似度达到预设相似阈值。其中，预设相似阈值可以预先设定。
基于上述步骤11的相关内容可知，若结构识别层中存在K个候选表述结构的结构特征，则在该结构识别层获取到模型输入数据的结构特征之后，该结构识别层先将该模型输入数据的结构特征与第1个候选表述结构的结构特征进行匹配得到第1个匹配结果R1；将该模型输入数据的结构特征与第2个候选表述结构的结构特征进行匹配得到第2个匹配结果R2；……(依次类推)；将该模型输入数据的结构特征与第K个候选表述结构的结构特征进行匹配得到第K个匹配结果RK；再根据第1个匹配结果R1至第K个匹配结果RK，确定模型输入数据的结构匹配结果，以使该模型输入数据的结构匹配结果能够准确地表示出该模型输入数据的结构特征与各个候选表述结构之间是否匹配成功。
步骤12：根据该模型输入数据的结构匹配结果，确定该模型输入数据的结构识别结果。
本申请实施例不限定模型输入数据的结构识别结果的表示方式，例如，模型输入数据的结构识别结果可以采用一位字符进行表示(例如，利用候选表述结构的标识进行表示)。又如，模型输入数据的结构识别结果可以采用K位字符集(t1，t2，……，tK)表示；其中，tk可以为0或1，而且若tk为1则表示该模型输入数据具有第K种表述结构，若tk为0则表示该模型输入数据不具有第K种表述结构；k为正整数，k≤K，K为正整数，K为候选表述结构的总数。
可见，在获取到模型输入数据的结构匹配结果之后，可以根据该模型输入数据的结构匹配结果，确定该模型输入数据的结构识别结果。例如，可以直接将模型输入数据的结构匹配结果确定为该模型输入数据的结构识别结果(例如，将(R1，R2，……，RK)确定为(t1，t2，……，tK))。又如，可以先根据模型输入数据的结构匹配结果确定匹配成功的候选表述结构，再将该匹配成功的候选表述结构的标识，确定为该模型输入数据的结构识别结果。
数据融合层用于将模型输入数据的词向量和该模型输入数据的结构识别结果进行数据融合，得到该模型输入数据的语句向量。可见，数据融合层的输入数据为模型输入数据的词向量和模型输入数据的结构识别结果(也就是，向量化层的输出数据和结构识别层的输出数据)，而且该数据融合层的输出数据为模型输入数据的语句向量。
另外，本申请实施例不限定数据融合层，例如，在一种可能的实施方式下，该数据融合层可以按照预设拼接方式将模型输入数据的词向量和该模型输入数据的结构识别结果进行拼接，得到该模型输入数据的语句向量。
其中，预设拼接方式可以预先设定，而且本申请实施例不限定预设拼接方式。为了便于理解，下面结合两个示例进行说明。
示例1，当模型输入数据的词向量为n×d维矩阵，模型输入数据的结构识别结果为K×1维矩阵，且预设矩阵为1×d维矩阵时，可以先将模型输入数据的结构识别结果与该预设矩阵相乘，得到该模型输入数据的结构转换矩阵，以使该模型输入数据的结构转换矩阵为K×d维；再将模型输入数据的词向量和模型输入数据的结构转换矩阵进行列拼接，得到该模型输入数据的语句向量，以使该模型输入数据的语句向量为(K+n)×d维矩阵。
示例2，当模型输入数据的词向量为n×d维矩阵，且模型输入数据的结构识别结果为一位字符时，可以将模型输入数据的结构识别结果添加至模型输入数据的词向量中的每一行的预设位置上，得到该模型输入数据的语句向量，以使该模型输入数据的语句向量为n×(d+1)维矩阵。
基于上述数据输入层的相关内容可知，在将模型输入数据输入至多语种理解模型之后，该多语种理解模型中的数据输入层可以根据该模型输入数据，确定该模型输入数据的语句向量，以使该模型输入数据的语句向量能够更准确地描述出该模型输入数据携带的语句内容。
对于语句编码层来说，语句编码层用于根据模型输入数据的语句向量进行编码，得到该模型输入数据的语句编码。可见，语句编码层的输入数据为模型输入数据的语句向量(也就是，数据输入层的输出数据)，而且语句编码层的输出数据为该模型输入数据的语句编码。需要说明的是，本申请实施例不限定语句编码层，可以采用现有的或未来出现的任一种编码方法进行实施，例如，语句编码层可以采用双向长短记忆网络(Bi-directionalLong Short-Term Memory，LSTM)进行实施，也可以采用BERT(Bidirectional EncoderRepresentations from Transformers)模型进行实施。
对于语种识别层来说，语种识别层用于根据模型输入数据的语句编码中第一编码进行语种分类，得到该模型输入数据的预测语种。可见，语种识别层的输入数据为模型输入数据的语句编码中第一编码(也就是，语句编码层的输出数据中全部或部分数据)，而且该语种识别层的输出数据为该模型输入数据的预测语种。
其中，第一编码是指预先设定的语句编码中位于第一预设位置上的编码；而且该第一预设位置可以预先设定。另外，本申请实施例不限定第一预设位置，例如，第一预设位置可以包括至少一个编码位置(例如，第一预设位置可以为第一个编码位置)。
需要说明的是，本申请实施例不限定语种识别层，可以采用现有的或未来出现的语种预测方法进行实施。例如，语种识别层可以是一个线性分类器，且该线性分类器可以采用公式(1)进行语种分类。
式中，为模型输入数据的预测语种；Wlanguage为语种识别层的系数；hlanguage为输入数据的语句编码H中第一编码；blanguage为语种识别层的常数；softmax()为语种识别层的线性分类函数。
另外，H为输入数据的语句编码，H＝[h1，h2，…，hv]；其中，h1表示输入数据的语句编码中第1位编码；h2表示输入数据的语句编码中第2位编码；……；hv表示输入数据的语句编码中第v位编码；v为正整数，v≥n(例如，v＝n+K或者v＝n)，n为正整数，n表示模型输入数据中的分词个数。
需要说明的是，本申请实施例不限定hlanguage，该hlanguage可以包括输入数据的语句编码中至少一位编码。例如，如图6所示，hlanguage＝h1。另外，Wlanguage和blanguage均是语种识别层的层参数，而且Wlanguage和blanguage均可以在多语种理解模型的更新过程中进行更新。
对于语义理解层来说，语义理解层用于根据模型输入数据的语句编码，确定该模型输入数据的预测语义信息。可见，语义理解层的输入数据为模型输入数据的语句编码(也就是，语句编码层的输出数据)，而且该语义理解层的输出数据为该模型输入数据的预测语义信息。
另外，本申请实施例不限定语义理解层，该语义理解层可以采用现有的或未来出现的任一种语义理解模型进行实施。例如，在一种可能的实施方式中，语义理解层可以包括意图识别层和槽位提取层(如图5所示)。
其中，意图识别层用于根据模型输入数据的语句编码中第二编码进行意图识别，得到该模型输入数据的预测意图。可见，意图识别层的输入数据为模型输入数据的语句编码中第二编码(也就是，语句编码层的输出数据中全部或部分数据)，而且该意图识别层的输出数据为该模型输入数据的预测意图。
其中，第二编码是指预先设定的语句编码中位于第二预设位置上的编码；而且该第二预设位置可以预先设定。另外，本申请实施例不限定第二预设位置，例如，第二预设位置可以包括至少一个编码位置(例如，第二预设位置可以为第一个编码位置)。
需要说明的是，本申请实施例不限定意图识别层，可以采用现有的或未来出现的任一种意图识别方法进行实施。例如，意图识别层可以是一个线性分类器，且该线性分类器可以采用公式(2)进行意图分类。
/>
式中，表示模型输入数据的预测意图；Wintent为意图识别层的系数；hintent为输入数据的语句编码H中第二编码；bintent为意图识别层的常数；softmax()为意图识别层的线性分类函数。
需要说明的是，本申请实施例不限定hintent，该hintent可以包括输入数据的语句编码中至少一位编码。例如，如图6所示，hintent＝h1。另外，Wintent和bintent均是意图识别层的层参数，而且Wintent和bintent均可以在多语种理解模型的更新过程中进行更新。
槽位提取层用于根据模型输入数据的语句编码进行槽位提取，得到该模型输入数据的预测槽位。可见，槽位提取层的输入数据为模型输入数据的语句编码(也就是，语句编码层的输出数据)，而且该槽位提取层的输出数据为该模型输入数据的预测槽位。
需要说明的是，本申请实施例不限定槽位提取层，可以采用现有的或未来出现的任一种能够实现槽位提取的方法进行实施。例如，如公式(3)所示，槽位提取层可以采用条件随机场(conditional random field，crf)算法进行槽位提取。
式中，表示模型输入数据的预测槽位；H为输入数据的语句编码，H＝[h1，h2，…，hv]；其中，h1表示输入数据的语句编码中第1位编码；h2表示输入数据的语句编码中第2位编码；……；hv表示输入数据的语句编码中第v位编码；v为正整数，v≥n(例如，v＝n+K或者v＝n)，n为正整数，n表示模型输入数据中的分词个数；CRF()为槽位提取层的条件随机场函数。
基于上述多语种理解模型的相关内容可知，当将模型输入数据输入到多语种理解模型之后，该多语种理解模型可以根据该模型输入数据进行预测(如，使用图6所示的预测过程进行预测)，得到该模型输入数据的预测语种和预测语义信息。
实际上，在多语种理解模型的训练过程中，通常可以将训练样本作为模型输入数据输入到多语种理解模型。基于此可知，当多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，S303具体可以包括S3031-S3034：
S3031：将训练样本输入数据输入层，得到该数据输入层输出的该训练样本的语句向量。
其中，训练样本的语句向量用于表征该训练样本携带的语句内容。
另外，S3031可以采用上文利用数据输入层获取模型输入数据的语句向量的任一实施方式进行实施，只需将上文利用数据输入层获取模型输入数据的语句向量的任一实施方式中的“模型输入数据”替换为“训练样本”即可。为了便于理解，下面结合示例进行说明，
作为示例，当数据输入层包括向量化层、句法分析层、结构识别层和数据融合层时，S3031具体可以包括S30311-S30314：
S30311：将训练样本输入向量化层，得到该向量化层输出的训练样本的词向量。
其中，训练样本的词向量用于表征该训练样本中的字词。
需要说明的是，S30311可以采用上文利用向量化层获取模型输入数据的词向量的任一实施方式进行实施，只需将上文利用向量化层获取模型输入数据的词向量的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
S30312：将训练样本输入句法分析层，得到该句法分析层输出的训练样本的结构特征。
其中，训练样本的结构特征用于表征该训练样本的表述结构。
需要说明的是，S30312可以采用上文利用句法分析层获取模型输入数据的结构特征的任一实施方式进行实施，只需将上文利用句法分析层获取模型输入数据的结构特征的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
S30313：将训练样本的结构特征输入结构识别层，得到该结构识别层输出的训练样本的结构识别结果。
其中，训练样本的结构识别结果用于表示该训练样本的表述结构。
需要说明的是，训练样本的结构识别结果的获取过程可以采用上文利用结构识别层获取模型输入数据的结构识别结果的任一实施方式进行实施，只需将上文利用结构识别层获取模型输入数据的结构识别结果的任一实施方式中的“模型输入数据”替换为“训练样本”即可。为了便于理解，下面结合示例进行说明。
作为示例，训练样本的结构识别结果的获取过程具体可以为：先将训练样本的结构特征与至少一个候选表述结构的结构特征进行匹配，得到该训练样本的结构匹配结果；再根据该训练样本的结构匹配结果，确定该训练样本的结构识别结果。其中，训练样本的结构匹配结果用于表示训练样本的结构特征与各个候选表述结构之间是否匹配成功。
S30314：将训练样本的词向量和训练样本的结构识别结果输入数据融合层，得到该数据融合层输出的训练样本的语句向量。
需要说明的是，S30314可以采用上文利用数据融合层获取模型输入数据的语句向量的任一实施方式进行实施，只需将上文利用数据融合层获取模型输入数据的语句向量的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
基于上述S30311至S30314的相关内容可知，在将训练样本输入到数据输入层之后，该数据输入层可以参考该训练样本的词向量和该训练样本的结构特征，生成训练样本的语句向量，以使该训练样本的语句向量不仅能够表示该训练样本携带的字词信息，还能够表示出该训练样本携带的表述结构信息，如此能够提高训练样本的语句向量的准确性，从而有利于提高多语种理解模型的预测性能。
S3032：将训练样本的语句向量输入语句编码层，得到该语句编码层输出的该训练样本的语句编码。
需要说明的是，S3032可以采用上文利用语句编码层获取模型输入数据的语句编码的任一实施方式进行实施，只需将上文利用语句编码层获取模型输入数据的语句编码的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
S3033：将训练样本的语句编码中第一编码输入语种识别层，得到该语种识别层输出的该训练样本的预测语种。
其中，训练样本的预测语种是指由多语种理解模型针对训练样本进行语种识别得到的语种。
需要说明的是，第一编码的相关内容请参见上文“第一编码”的相关内容。
还需要说明的是，S3033可以采用上文利用语种识别层获取模型输入数据的预测语种的任一实施方式进行实施，只需将上文利用语种识别层获取模型输入数据的预测语种的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
S3034：将训练样本的语句编码输入语义理解层，得到该语义理解层输出的该训练样本的预测语义信息。
其中，训练样本的预测语义信息是由多语种理解模型针对训练样本进行语义理解得到的。另外，本申请实施例不限定训练样本的预测语义信息，例如，训练样本的预测语义信息可以包括该训练样本的预测意图和该训练样本的预测槽位。
需要说明的是，S3034可以采用上文利用语义理解层获取模型输入数据的预测语义信息的任一实施方式进行实施，只需将上文利用语义理解层获取模型输入数据的预测语义信息的任一实施方式中的“模型输入数据”替换为“训练样本”即可。为了便于理解，下面结合示例进行说明。
作为示例，当训练样本的预测语义信息包括该训练样本的预测意图和该训练样本的预测槽位，且语义理解层包括意图识别层和槽位提取层时，S3034具体可以包括S30341-S30342：
S30341：将训练样本的语句编码中第二编码输入意图识别层，得到该意图识别层输出的训练样本的预测意图。
其中，训练样本的预测意图是由多语种理解模型针对训练样本进行意图识别得到的。
需要说明的是，第二编码的相关内容请参见上文“第二编码”的相关内容。
还需要说明的是，S30341可以采用上文利用意图识别层获取模型输入数据的预测意图的任一实施方式进行实施，只需将上文利用意图识别层获取模型输入数据的预测意图的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
S30342：将训练样本的语句编码输入槽位提取层，得到该槽位提取层输出的训练样本的预测槽位。
其中，训练样本的预测槽位是由多语种理解模型针对训练样本进行槽位提取得到的。
需要说明的是，S30342可以采用上文利用槽位提取层获取模型输入数据的预测槽位的任一实施方式进行实施，只需将上文利用槽位提取层获取模型输入数据的预测槽位的任一实施方式中的“模型输入数据”替换为“训练样本”即可。
基于上述S30341至S30342的相关内容可知，若语义信息包括意图和槽位，则在将训练样本的语句编码输入到语义理解层之后，该语义理解层可以根据该训练样本的语句编码分别进行意图识别和槽位提取，得到该训练样本的预测意图以及预测槽位，以使该训练样本的预测意图以及预测槽位能够准确地描述出该训练样本所表征的语义。
基于上述S303的相关内容可知，在获取到训练样本之后，可以将该训练样本输入多语种理解模型，以使该多语种理解模型能够针对该训练样本分别进行语种识别和语义理解，得到该训练样本的预测结果(如，预测语种和预测语义信息)，以便后续能够利用该训练样本的预测结果和该训练样本的标签信息(如，实际语种和实际语义信息)指导该多语种理解模型的更新过程。
需要说明的是，多语种理解模型可以通过多任务学习的方式进行训练，而且本申请实施例不限定多语种理解模型的学习任务，例如，该多语种理解模型的学习任务可以包括语种识别任务、意图识别任务和槽位提取任务。
S304：判断是否达到预设停止条件，若是，则执行S306；若否，则执行S305。
其中，预设停止条件可以预先设定；而且本申请实施例不限定预设停止条件。例如，预设停止条件可以为多语种理解模型的预测损失低于第一阈值，也可以为多语种理解模型的预测损失的变化率低于第二阈值(也就是，多语种理解模型的预测结果达到收敛)，还可以为多语种理解模型的更新次数达到第三阈值。
另外，本申请实施例不限定多语种理解模型的预测损失的确定过程，可以采用现有的或未来出现的任一种模型损失函数进行计算。例如，在一种可能的实施方式下，多语种理解模型的预测损失的确定过程具体可以包括步骤21-步骤24：
步骤21：根据训练样本的预测语种和该训练样本的实际语种，确定语种识别损失。
其中，语种识别损失用于表征多语种理解模型的语种识别性能；而且本申请实施例不限定语种识别损失的确定过程，可以采用现有的或未来出现的任一种能够根据训练样本的预测语种以及实际语种确定出语种识别损失的损失函数进行实施。
步骤22：根据训练样本的预测意图和该训练样本的实际意图，确定意图识别损失。
其中，意图识别损失用于表征多语种理解模型的意图识别性能；而且本申请实施例不限定意图识别损失的确定过程，可以采用现有的或未来出现的任一种能够根据训练样本的预测意图以及实际意图确定出意图识别损失的损失函数进行实施。
步骤23：根据训练样本的预测槽位和该训练样本的实际槽位，确定槽位提取损失。
其中，槽位提取损失用于表征多语种理解模型的槽位提取性能；而且本申请实施例不限定槽位提取损失的确定过程，可以采用现有的或未来出现的任一种能够根据训练样本的预测槽位以及实际槽位确定出槽位提取损失的损失函数进行实施。
步骤24：根据语种识别损失、意图识别损失和槽位提取损失，确定多语种理解模型的预测损失。
本申请实施例中，在获取到语种识别损失、意图识别损失和槽位提取损失之后，可以将语种识别损失、意图识别损失和槽位提取损失进行加权求和，得到该多语种理解模型的预测损失，以使该多语种理解模型的预测损失能够准确地表示出多语种理解模型的语种识别性能、意图识别性能和槽位提取性能。
基于上述S304的相关内容可知，若确定当前轮的多语种理解模型已达到预设停止条件，则可以确定当前轮的多语种理解模型具有较好的预测性能(例如，语种识别性能、意图识别性能和槽位提取性能)，故可以结束多语种理解模型的训练过程，并使用或者保存当前轮的多语种理解模型；若确定当前轮的多语种理解模型仍未达到预设停止条件，则可以确定当前轮的多语种理解模型具有较差的预测性能，故可以根据训练样本的标签信息和该训练样本的预测结果之间的差距，对多语种理解模型进行更新，以使更新后的多语种理解模型具有更好的预测性能。
S305：根据训练样本的预测语种、训练样本的实际语种、训练样本的预测语义信息和训练样本的实际语义信息，更新多语种理解模型，并返回执行S303。
需要说明的是，本申请实施例不限定多语种理解模型的更新过程，可以采用现有的未来出现的任一种模型更新方式进行实施。
在一些情况下，因多语种理解模型是按照多任务学习方式进行训练，故可以依据该多语种理解模型针对各个任务的预测损失进行更新。基于此，本申请实施例还提供了S305的一种可能的实施方式，在该实施方式中，当训练样本的实际语义信息包括该训练样本的实际意图和该训练样本的实际槽位，且训练样本的预测语义信息包括该训练样本的预测意图和该训练样本的预测槽位时，S305具体可以包括S3051-S3054：
S3051：根据训练样本的预测语种和该训练样本的实际语种，确定语种识别损失。
S3052：根据训练样本的预测意图和该训练样本的实际意图，确定意图识别损失。
S3053：根据训练样本的预测槽位和该训练样本的实际槽位，确定槽位提取损失。
需要说明的是，S3051至S3053的相关内容与上文步骤21至步骤23的相关内容相同，请参见上文步骤21至步骤23的相关内容。
S3054：根据语种识别损失、意图识别损失和槽位提取损失，更新多语种理解模型。
需要说明的是，本申请实施例不限定S3054的实施方式，可以采用现有的或未来出现的任一种基于多项任务预测损失进行模型更新的方法进行实施。例如，S3054具体可以为：先根据语种识别损失、意图识别损失和槽位提取损失，确定多语种理解模型的预测损失；再根据该多语种理解模型的预测损失，更新该多语种理解模型。
基于上述S3051至S3054的相关内容可知，在获取到多语种理解模型的各项任务预测结果(例如，语种预测结果、意图预测结果、槽位预测结果)之后，可以根据各项任务预测结果和各项任务标签信息(例如，语种标签、意图标签、槽位标签)，确定该多语种理解模型针对各项任务的预测性能，并基于该多语种理解模型针对各项任务的预测性能对该多语种理解模型进行更新，以使更新后的多语种理解模型能够更好地完成各项任务的预测过程。
基于上述S305的相关内容可知，在获取到训练样本的预测语种、该训练样本的实际语种、该训练样本的预测语义信息和该训练样本的实际语义信息之后，可以利用训练样本的预测语种与该训练样本的实际语种之间的差距、以及该训练样本的预测语义信息与该训练样本的实际语义信息之间的差距，更新多语种理解模型，以使更新后的多语种理解模型能够具有更好的预测性能。
S306：根据多语种理解模型构建语义理解模型。
本申请实施例中，在确定当前轮的多语种理解模型已达到预设停止条件时，可以确定当前轮的多语种理解模型具有较高的预测性能，故可以根据当前轮的多语种理解模型构建语义理解模型，以使该语义理解模型也具有较高的预测性能。
需要说明的是，本申请实施例不限定语义理解模型的构建过程，例如，可以直接将多语种理解模型确定为语义理解模型。另外，因语义理解模型主要用于对不同语种下的用户语句进行语义理解，无需进行语种识别，故可以将多语种理解模型中的语种识别层删除，得到语义理解模型。
基于上述S301至S306的相关内容可知，在本申请提供的语义理解模型构建方法中，在获取到多语语料之后，先根据该多语语料生成训练样本、该训练样本的实际语种和该训练样本的实际语义信息，并将该训练样本输入多语种理解模型，得到该多语种理解模型输出的该训练样本的预测语种和该训练样本的预测语义信息；再根据该训练样本的预测语种、实际语种、预测语义信息及其实际语义信息，更新该多语种理解模型，并继续执行上述将该训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据该多语种理解模型构建语义理解模型。
其中，因多语语料包括至少两个语种语料(如，普通话语料、粤语语料、四川话语料等)，使得基于该多语语料生成的训练样本包括该至少两个语种下的训练样本，从而使得基于该训练样本及其标签信息(如，实际语种和实际语义信息)训练得到的多语种理解模型能够准确地对该至少两个语种下的语句进行语义理解，进而使得基于训练好的多语种理解模型构建的语义理解模型也能够准确地对该至少两个语种下的语句进行语义理解，如此使得后续能够使用该语义理解模型实现对至少两个语种的用户语句进行准确地语义理解。
另外，因多语种理解模型是根据训练样本的预测语种及其实际语种进行更新的，使得更新后的多语种理解模型能够更好地学习到不同语种之间的差异性，从而使得更新后的多语种理解模型能够更好地区分出不同语种下的训练样本，从而使得更新后的多语种理解模型能够更准确地对不同语种语句进行语义理解。又因多语种理解模型的训练过程只需针对一个模型进行更新训练即可，如此能够有效地节省模型训练时所占用的计算资源；还因多语种理解模型能够将多个语种的语义理解集成到一个模型中，使得该多语种理解模型存储时只需占用一个模型的存储空间，如此能够有效地节省模型存储空间。
基于上述方法实施例提供的语义理解模型的相关内容，本申请实施例还提供了一种语义理解方法，下面结合方法实施例二进行说明。
方法实施例二
参见图7，该图为本申请实施例提供的一种语义理解方法的流程图。
本申请实施例提供的语义理解方法，包括S701-S702：
S701：获取待理解语句。
其中，待理解语句是指需要进行语义理解的语句；而且该待理解语句属于上文至少两个语种中的任一语种。例如，若语义理解模型用于对普通话进行语义理解和粤语进行语义理解，则该待理解语句属于普通话，也可以属于粤语。
另外，本申请实施例不限定待理解语句的获取方式，例如，待理解语句可以是由用户通过预设文本输入方式(例如，文本框)输入的文本内容。又如，待理解语句可以是将用户输入的语音内容进行语音识别得到的文本内容。
S702：将待理解语句输入预先构建的语义理解模型，得到该语义理解模型输出的待理解语句的预测语义信息。
其中，待理解语句的预测语义信息是由语义理解模型针对待理解语句进行语义理解得到的。另外，本申请实施例不限定待理解语句的预测语义信息，例如，待理解语句的预测语义信息可以包括该待理解语句的预测意图和该待理解语句的预测槽位。
需要说明的是，语义理解模型可以利用本申请实施例提供的语义理解模型构建方法的任一实施方式进行构建的。
基于上述S701至S702的相关内容可知，在本申请实施例中，在获取到待理解语句之后，可以直接将该待理解语句输入预先构建的语义理解模型，以使该语义理解模型对该待理解语句进行语义理解，得到并输出待理解语句的预测语义信息。其中，因语义理解模型具有较高的语义预测性能，使得利用该语义理解模型得到的待理解语句的预测语义信息更准确，如此有利于提高语义理解准确性。
基于上述方法实施例提供的语义理解模型构建方法，本申请实施例还提供了一种语义理解模型构建装置，下面结合附图进行解释和说明。
装置实施例一
装置实施例对语义理解模型构建装置进行介绍，相关内容请参见上述方法实施例。
参见图8，该图为本申请实施例提供的一种语义理解模型构建装置的结构示意图。
本申请实施例提供的语义理解模型构建装置800，包括：
第一获取单元801，用于获取多语语料；其中，所述多语语料包括至少两个语种语料；
样本生成单元802，用于根据多语语料，生成训练样本、所述训练样本的实际语种和所述训练样本的实际语义信息；
第一预测单元803，用于将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息；
模型更新单元804，用于根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，并返回所述第一预测单元803执行所述将所述训练样本输入多语种理解模型，直至在达到预设停止条件时，根据所述多语种理解模型构建语义理解模型。
在一种可能的实施方式中，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述第一预测单元803，包括：
第一确定子单元，用于将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量；
第二确定子单元，用于将所述训练样本的语句向量输入所述语句编码层，得到所述语句编码层输出的所述训练样本的语句编码；
第三确定子单元，用于将所述训练样本的语句编码中第一编码输入所述语种识别层，得到所述语种识别层输出的所述训练样本的预测语种；
第四确定子单元，用于将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息。
在一种可能的实施方式中，当所述数据输入层包括向量化层、句法分析层、结构识别层和数据融合层时，所述第一确定子单元，具体用于：将所述训练样本输入所述向量化层，得到所述向量化层输出的所述训练样本的词向量；将所述训练样本输入所述句法分析层，得到所述句法分析层输出的所述训练样本的结构特征；将所述训练样本的结构特征输入所述结构识别层，得到所述结构识别层输出的所述训练样本的结构识别结果；将所述训练样本的词向量和所述训练样本的结构识别结果输入所述数据融合层，得到所述数据融合层输出的所述训练样本的语句向量。
在一种可能的实施方式中，所述训练样本的结构识别结果的确定过程为：将所述训练样本的结构特征与至少一个候选表述结构的结构特征进行匹配，得到所述训练样本的结构匹配结果；根据所述训练样本的结构匹配结果，确定所述训练样本的结构识别结果。
在一种可能的实施方式中，当所述预测语义信息包括预测意图和预测槽位，且所述语义理解层包括意图识别层和槽位提取层时，所述第四确定子单元，具体用于：将所述训练样本的语句编码中第二编码输入所述意图识别层，得到所述意图识别层输出的所述训练样本的预测意图；将所述训练样本的语句编码输入所述槽位提取层，得到所述槽位提取层输出的所述训练样本的预测槽位。
在一种可能的实施方式中，当所述实际语义信息包括实际意图和实际槽位，且所述预测语义信息包括预测意图和预测槽位时，所述模型更新单元804，包括：
模型更新子单元，用于根据所述训练样本的预测语种和所述训练样本的实际语种，确定语种识别损失；根据所述训练样本的预测意图和所述训练样本的实际意图，确定意图识别损失；根据所述训练样本的预测槽位和所述训练样本的实际槽位，确定槽位提取损失；根据所述语种识别损失、所述意图识别损失和所述槽位提取损失，更新所述多语种理解模型。
在一种可能的实施方式中，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述模型更新单元804，包括：
模型构建子单元，用于将所述多语种理解模型中的语种识别层删除，得到语义理解模型。
基于上述方法实施例提供的语义理解方法，本申请实施例还提供了一种语义理解装置，下面结合附图进行解释和说明。
装置实施例二
装置实施例对语义理解装置进行介绍，相关内容请参见上述方法实施例。
参见图9，该图为本申请实施例提供的一种语义理解装置的结构示意图。
本申请实施例提供的语义理解装置900，包括：
第二获取单元901，用于获取待理解语句；
第二预测单元902，用于将所述待理解语句输入预先构建的语义理解模型，得到所述语义理解模型输出的所述待理解语句的预测语义信息；其中，所述语义理解模型是利用本申请实施例提供的语义理解模型构建方法的任一实施方式进行构建的。
进一步地，本申请实施例还提供了一种语义理解模型构建设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述语义理解模型构建方法的任一种实现方法。
进一步地，本申请实施例还提供了一种语义理解设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述语义理解方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述语义理解模型构建方法的任一种实现方法，或者执行上述语义理解方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述语义理解模型构建方法的任一种实现方法，或者执行上述语义理解方法的任一种实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种语义理解模型构建方法，其特征在于，所述方法包括：
获取多语语料；其中，所述多语语料包括至少两个语种语料；
根据多语语料，生成训练样本、所述训练样本的实际语种和所述训练样本的实际语义信息；
将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息；
根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，并继续执行所述将所述训练样本输入多语种理解模型的步骤，直至在达到预设停止条件时，根据所述多语种理解模型构建语义理解模型；
其中，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息，包括：
将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量；
将所述训练样本的语句向量输入所述语句编码层，得到所述语句编码层输出的所述训练样本的语句编码；
将所述训练样本的语句编码中第一编码输入所述语种识别层，得到所述语种识别层输出的所述训练样本的预测语种；
将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息；
所述根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，包括：
利用所述训练样本的预测语种与所述训练样本的实际语种之间的差距、以及所述训练样本的预测语义信息与所述训练样本的实际语义信息之间的差距，更新所述多语种理解模型。
2.根据权利要求1所述的方法，其特征在于，当所述数据输入层包括向量化层、句法分析层、结构识别层和数据融合层时，所述将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量，包括：
将所述训练样本输入所述向量化层，得到所述向量化层输出的所述训练样本的词向量；
将所述训练样本输入所述句法分析层，得到所述句法分析层输出的所述训练样本的结构特征；
将所述训练样本的结构特征输入所述结构识别层，得到所述结构识别层输出的所述训练样本的结构识别结果；
将所述训练样本的词向量和所述训练样本的结构识别结果输入所述数据融合层，得到所述数据融合层输出的所述训练样本的语句向量。
3.根据权利要求2所述的方法，其特征在于，所述训练样本的结构识别结果的确定过程为：
将所述训练样本的结构特征与至少一个候选表述结构的结构特征进行匹配，得到所述训练样本的结构匹配结果；
根据所述训练样本的结构匹配结果，确定所述训练样本的结构识别结果。
4.根据权利要求1所述的方法，其特征在于，当所述预测语义信息包括预测意图和预测槽位，且所述语义理解层包括意图识别层和槽位提取层时，所述将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息，包括：
将所述训练样本的语句编码中第二编码输入所述意图识别层，得到所述意图识别层输出的所述训练样本的预测意图；
将所述训练样本的语句编码输入所述槽位提取层，得到所述槽位提取层输出的所述训练样本的预测槽位。
5.根据权利要求1所述的方法，其特征在于，当所述实际语义信息包括实际意图和实际槽位，且所述预测语义信息包括预测意图和预测槽位时，所述根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，包括：
根据所述训练样本的预测语种和所述训练样本的实际语种，确定语种识别损失；
根据所述训练样本的预测意图和所述训练样本的实际意图，确定意图识别损失；
根据所述训练样本的预测槽位和所述训练样本的实际槽位，确定槽位提取损失；
根据所述语种识别损失、所述意图识别损失和所述槽位提取损失，更新所述多语种理解模型。
6.根据权利要求1所述的方法，其特征在于，当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述根据所述多语种理解模型，构建语义理解模型，包括：
将所述多语种理解模型中的语种识别层删除，得到语义理解模型。
7.一种语义理解方法，其特征在于，所述方法包括：
获取待理解语句；
将所述待理解语句输入预先构建的语义理解模型，得到所述语义理解模型输出的所述待理解语句的预测语义信息；其中，所述语义理解模型是利用权利要求1-6任一项所述的语义理解模型构建方法进行构建的。
8.一种语义理解模型构建装置，其特征在于，所述装置包括：
第一获取单元，用于获取多语语料；其中，所述多语语料包括至少两个语种语料；
样本生成单元，用于根据多语语料，生成训练样本、所述训练样本的实际语种和所述训练样本的实际语义信息；
第一预测单元，用于将所述训练样本输入多语种理解模型，得到所述多语种理解模型输出的所述训练样本的预测语种和所述训练样本的预测语义信息；
模型更新单元，用于根据所述训练样本的预测语种、所述训练样本的实际语种、所述训练样本的预测语义信息和所述训练样本的实际语义信息，更新所述多语种理解模型，并返回所述第一预测单元执行所述将所述训练样本输入多语种理解模型，直至在达到预设停止条件时，根据所述多语种理解模型构建语义理解模型；
当所述多语种理解模型包括数据输入层、语句编码层、语种识别层和语义理解层时，所述第一预测单元，包括：
第一确定子单元，用于将所述训练样本输入所述数据输入层，得到所述数据输入层输出的所述训练样本的语句向量；
第二确定子单元，用于将所述训练样本的语句向量输入所述语句编码层，得到所述语句编码层输出的所述训练样本的语句编码；
第三确定子单元，用于将所述训练样本的语句编码中第一编码输入所述语种识别层，得到所述语种识别层输出的所述训练样本的预测语种；
第四确定子单元，用于将所述训练样本的语句编码输入所述语义理解层，得到所述语义理解层输出的所述训练样本的预测语义信息；
所述模型更新单元，用于利用所述训练样本的预测语种与所述训练样本的实际语种之间的差距、以及所述训练样本的预测语义信息与所述训练样本的实际语义信息之间的差距，更新所述多语种理解模型。
9.一种语义理解装置，其特征在于，所述装置包括：
第二获取单元，用于获取待理解语句；
第二预测单元，用于将所述待理解语句输入预先构建的语义理解模型，得到所述语义理解模型输出的所述待理解语句的预测语义信息；其中，所述语义理解模型是利用权利要求1-6任一项所述的语义理解模型构建方法进行构建的。
CN202011519649.6A 2020-12-21 2020-12-21 一种语义理解模型构建方法及装置、语义理解方法及装置 Active CN112633007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519649.6A CN112633007B (zh) 2020-12-21 2020-12-21 一种语义理解模型构建方法及装置、语义理解方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519649.6A CN112633007B (zh) 2020-12-21 2020-12-21 一种语义理解模型构建方法及装置、语义理解方法及装置

Publications (2)

Publication Number Publication Date
CN112633007A CN112633007A (zh) 2021-04-09
CN112633007B true CN112633007B (zh) 2024-04-30

Family

ID=75320699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519649.6A Active CN112633007B (zh) 2020-12-21 2020-12-21 一种语义理解模型构建方法及装置、语义理解方法及装置

Country Status (1)

Country Link
CN (1) CN112633007B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705240B (zh) * 2021-08-03 2024-04-19 科大讯飞(北京)有限公司 基于多语种分支模型的文本处理方法及相关装置
CN115455981B (zh) * 2022-11-11 2024-03-19 合肥智能语音创新发展有限公司 一种多语种语句的语义理解方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276075A (zh) * 2019-06-21 2019-09-24 腾讯科技（深圳）有限公司 模型训练方法、命名实体识别方法、装置、设备及介质
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
WO2020124674A1 (zh) * 2018-12-21 2020-06-25 语联网（武汉）信息技术有限公司 向量化译员的翻译个性特征的方法及装置
CN111666416A (zh) * 2019-03-08 2020-09-15 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
WO2020238061A1 (zh) * 2019-05-28 2020-12-03 平安科技（深圳）有限公司 自然语言分类方法、装置、计算机设备以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130128716A (ko) * 2012-05-17 2013-11-27 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
US20150095017A1 (en) * 2013-09-27 2015-04-02 Google Inc. System and method for learning word embeddings using neural language models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
WO2020124674A1 (zh) * 2018-12-21 2020-06-25 语联网（武汉）信息技术有限公司 向量化译员的翻译个性特征的方法及装置
CN111666416A (zh) * 2019-03-08 2020-09-15 百度在线网络技术（北京）有限公司 用于生成语义匹配模型的方法和装置
WO2020238061A1 (zh) * 2019-05-28 2020-12-03 平安科技（深圳）有限公司 自然语言分类方法、装置、计算机设备以及存储介质
CN110276075A (zh) * 2019-06-21 2019-09-24 腾讯科技（深圳）有限公司 模型训练方法、命名实体识别方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Web网页语料构建动态语言模型;李雪涛;文茂平;杨鉴;;信息技术(08);全文 *
基于领域知识的增强约束词向量;王恒升;刘通;任晋;;中文信息学报(04);全文 *

Also Published As

Publication number Publication date
CN112633007A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN109145294B (zh) 文本实体识别方法及装置、电子设备、存储介质
CN109284399B (zh) 相似度预测模型训练方法、设备及计算机可读存储介质
CN110634487B (zh) 一种双语种混合语音识别方法、装置、设备及存储介质
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN112101041B (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN111341293B (zh) 一种文本语音的前端转换方法、装置、设备和存储介质
EP4113357A1 (en) Method and apparatus for recognizing entity, electronic device and storage medium
CN111414745A (zh) 文本标点确定方法与装置、存储介质、电子设备
CN112633007B (zh) 一种语义理解模型构建方法及装置、语义理解方法及装置
CN113268576B (zh) 一种基于深度学习的部门语义信息抽取的方法及装置
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
Hori et al. Statistical dialog management applied to WFST-based dialog systems
CN112528654A (zh) 自然语言处理方法、装置及电子设备
CN112084769A (zh) 依存句法模型优化方法、装置、设备及可读存储介质
CN115497477A (zh) 语音交互方法、语音交互装置、电子设备、存储介质
CN116050425A (zh) 建立预训练语言模型的方法、文本预测方法及装置
CN113268588A (zh) 文本摘要提取方法、装置、设备、存储介质及程序产品
CN113918710A (zh) 文本数据处理方法、装置、电子设备和可读存储介质
CN113609873A (zh) 翻译模型训练方法、装置及介质
CN115115432B (zh) 基于人工智能的产品信息推荐方法及装置
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质
CN116483314A (zh) 一种自动化智能活动图生成方法
CN116069916A (zh) 旅游景点问答系统
CN115620726A (zh) 语音文本生成方法、语音文本生成模型的训练方法、装置
CN113761875B (zh) 事件抽取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230517

Address after: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96

Applicant after: University of Science and Technology of China

Applicant after: IFLYTEK Co.,Ltd.

Address before: NO.666, Wangjiang West Road, hi tech Zone, Hefei City, Anhui Province

Applicant before: IFLYTEK Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant