CN116227629A - 一种信息解析方法、模型训练方法、装置及电子设备 - Google Patents

一种信息解析方法、模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN116227629A
CN116227629A CN202310517507.3A CN202310517507A CN116227629A CN 116227629 A CN116227629 A CN 116227629A CN 202310517507 A CN202310517507 A CN 202310517507A CN 116227629 A CN116227629 A CN 116227629A
Authority
CN
China
Prior art keywords
slot
information
text information
matrix
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310517507.3A
Other languages
English (en)
Other versions
CN116227629B (zh
Inventor
詹长静
张云柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310517507.3A priority Critical patent/CN116227629B/zh
Publication of CN116227629A publication Critical patent/CN116227629A/zh
Application granted granted Critical
Publication of CN116227629B publication Critical patent/CN116227629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种信息解析方法、模型训练方法、装置及电子设备，属于短信解析领域，信息解析模型包括编码器、意图解码器和多个槽位解码器；方法包括：获取文本信息；利用编码器对文本信息进行编码处理，得到编码向量集合；利用意图解码器对编码向量集合进行处理，得到文本信息对应的意图类别；基于意图类别，在多个槽位解码器中确定意图类别对应的目标槽位解码器；利用目标槽位解码器对编码向量集合进行处理，得到文本信息对应的槽位信息。这样，基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器，然后，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。

Description

一种信息解析方法、模型训练方法、装置及电子设备
技术领域
本申请属于短信解析领域，尤其涉及一种信息解析方法、模型训练方法、装置及电子设备。
背景技术
随着电子设备技术的不断发展，电子设备的功能越来越全面。例如，电子设备可以为用户提供航班出行、火车出行、还款助手等多个服务垂域的卡片推送服务，以便于用户快速便捷地了解出行和生活等方面的信息。卡片推送服务是指电子设备在接收到短信、通知等信息后，可以生成该信息对应的事项卡片，并将该事项卡片显示在电子设备的主界面上。这极大地避免了用户遗忘重要事项，提升了用户的使用体验。
目前，主要通过训练后的信息解析模型对接收到的短信进行解析，进而生成该短信对应的事项卡片。但是，随着服务垂域的不断增加，信息解析模型的大小也随之增加，进而导致推理时延和峰值内存增大。
发明内容
本申请提供一种信息解析方法、模型训练方法、装置及电子设备，能够解决推理时延和峰值内存增大的问题。
第一方面，本申请提供一种信息解析模型的训练方法，所述信息解析模型包括编码器、意图解码器、多个槽位解码器，所述训练方法包括：获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
这样，本申请提供的信息解析模型的训练方法，通过共享一个编码器，但不共用一个槽位解码器的方式进行训练学习，即本申请实施例对于不同的服务垂域训练不同的槽位解码器。这样，不同服务垂域的槽位解码器之间可以实现解耦，无需互相依赖。从而使得在推理阶段可以先判断短信文本的意图类别，然后基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器。这样，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。
一种可实现方式中，所述利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，包括：在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
这样，由于输入的文本信息不是信息解析模型能够处理的向量信息。因此，获取训练数据后，将训练数据中文本信息输入到编码器进行编码处理，使之转换为信息解析模型能够处理的编码向量。
一种可实现方式中，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，包括：基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；在所述多个槽位解码器均为未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入每个所述槽位解码器，得到第一预测槽位矩阵；其中，所述第一预测槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息。
一种可实现方式中，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，还包括：在所述多个槽位解码器包括已训练槽位解码器和未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入所述未训练槽位解码器，得到第二预测槽位矩阵；基于所述第二预测槽位矩阵，得到所述文本信息的预测槽位信息。
这样，在新增服务垂域的场景中，不需要对整个信息解析模型重新训练，只需训练新增服务垂域对应的槽位解码器即可，这样可以降低训练成本，减少对其他服务垂域对应的槽位解码器的依赖，实现快速插拔。
一种可实现方式中，所述第一预测槽位矩阵通过如下公式得到：R =（Hs）U（He）+ W(Hs ⊕ He) +B；其中，所述R表示第一预测槽位矩阵，所述U、所述W和所述B为超参数。
这样，槽位解码器可以采用双仿射分类器，并基于上述公式得到第一预测槽位矩阵。
一种可实现方式中，所述基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息，包括：分别将所述第一预测槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的预测槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选预测槽位组合方式；将所述预测槽位组合方式以及与所述预测槽位组合方式对应的预测槽位类别，确定为所述文本信息的预测槽位信息。
这样，由于第一预测槽位矩阵包括所有可能的槽位组合方式，因此，可以对第一预测槽位矩阵进一步处理，以得到文本信息的预测槽位信息。例如，可以通过最大值函数计算得到预测槽位类别。再例如，可以通过预设筛选规则，从所有的槽位组合方式中筛选出合理的槽位组合方式。
一种可实现方式中，所述基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He，包括：利用第一全连接网络对所述N个文本编码向量进行处理，得到所述槽位起始矩阵Hs；利用第二全连接网络对所述N个文本编码向量进行处理，得到所述槽位结束矩阵He。
一种可实现方式中，所述利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别，包括：利用所述意图解码器对所述起始编码向量进行处理，得到所述文本信息的预测意图类别。
这样，由于起始编码向量e0包括整条文本信息的上下文信息，因此，可以将起始编码向量e0作为意图解码器的输入，然后，利用意图解码器对起始编码向量e0进行处理，得到所述文本信息的预测意图类别。
一种可实现方式中，所述文本信息的预测意图类别通过如下公式得到：yintent =Argmax(Softmax(Kx+a))；其中，所述yintent为所述预测意图类别，所述x为所述起始编码向量，所述K和所述a为超参数。
一种可实现方式中，所述基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型，包括：根据所述预测意图类别和所述样本意图类别，确定第一损失值；根据所述预测槽位信息和所述样本槽位信息，确定第二损失值；根据所述第一损失值和所述第二损失值迭代更新所述信息解析模型，得到所述训练后的信息解析模型。
这样，以样本意图类别和样本槽位信息作为其预测输出的目标，进行多次迭代，不断更新其内部的模型参数，使模型损失不断收敛，得到训练后的信息解析模型。
一种可实现方式中，所述文本信息包括短信类信息、非短信类通知信息中至少一种。
第二方面，本本申请提供一种信息解析方法，应用于电子设备，所述电子设备包括信息解析模型，所述信息解析模型包括编码器、意图解码器和多个槽位解码器；所述方法包括：获取文本信息；利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息对应的意图类别；基于意图类别，在所述多个槽位解码器中确定所述意图类别对应的目标槽位解码器；利用所述目标槽位解码器对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，所述槽位信息包括槽位字符以及与所述槽位字符对应的槽位类别。
这样，由于信息解析模型针对不同的服务垂域，训练了不同的槽位解码器。这样，在推理阶段，即使用信息解析模型对信息文本解析阶段，可以先判断短信文本的意图类别，然后基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器。这样，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。
一种可实现方式中，基于意图类别，在所述多个槽位解码器中确定所述意图类别对应的目标槽位解码器，包括：确定所述意图类别对应的目标服务垂域；确定所述目标服务垂域对应的槽位解码器；其中，所述多个槽位解码器分别对应不同的服务垂域；将所述目标服务垂域对应的槽位解码器确定为所述意图类别对应的目标槽位解码器。
本申请中信息解析模型包括多个槽位解码器，这多个槽位解码器分别对应不同的服务垂域，而同一个服务垂域可以对应多个意图类别。因此，可以基于意图类别所对应的目标服务垂域，确定目标槽位解码器。
一种可实现方式中，所述利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，包括：在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
一种可实现方式中，利用所述目标槽位解码器对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，包括：基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；将所述槽位起始矩阵Hs和所述槽位结束矩阵He输入所述目标槽位解码器，得到槽位矩阵；其中，所述槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；基于所述槽位矩阵，得到所述文本信息的槽位信息。
一种可实现方式中，所述基于所述槽位矩阵，得到所述文本信息的槽位信息，包括：分别将所述槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的目标槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选目标槽位组合方式；将所述目标槽位组合方式以及与所述目标槽位组合方式对应的目标槽位类别，确定为所述文本信息的槽位信息。
第三方面，本申请提供一种信息解析模型的训练装置，所述装置包括：
训练样本数据获取模块，用于获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；
编码器，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
意图解码器，用于对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；
多个槽位解码器，用于对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；
训练模块，用于基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
第四方面，本申请提供一种信息解析装置，所述装置包括：
文本信息获取模块，用于获取文本信息；
编码器，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
意图解码器，用于对所述编码向量集合进行处理，得到所述文本信息对应的意图类别；
目标槽位解码器确定模块，用于基于意图类别，在多个槽位解码器中确定所述意图类别对应的目标槽位解码器；
目标槽位解码器，用于对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，所述槽位信息包括槽位字符以及与所述槽位字符对应的槽位类别。
第五方面，本申请提供一种电子设备，包括：存储器、处理器和触控屏；其中：所述触控屏用于显示内容；所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；所述处理器用于调用所述程序指令，使得所述电子设备执行如第一方面和第二方面任一项所述的方法。
第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得计算机执行如第一方面和第二方面中任一项所述的方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一组示例性用户界面；
图2为本申请实施例提供的一种基于事项卡片模板填充槽位字符的示例图；
图3为本申请实施例提供的一种短信解析模型的结构示例图；
图4为本申请实施例提供的又一种短信解析模型的结构示例图；
图5为本申请实施例提供的又一种信息解析模型的结构示例图；
图6为本申请实施例提供的一种信息解析模型的训练方法的流程图；
图7为本申请实施例提供的又一种信息解析模型的训练方法的流程图；
图8为本申请实施例提供的第一预测槽位矩阵的示例图；
图9为本申请实施例提供的电子设备100的硬件结构框图；
图10是本申请实施例的电子设备100的软件结构框图；
图11为本申请实施例提供的一种信息解析方法的流程图；
图12为本申请实施例提供的一种信息解析模型的训练装置的结构框图；
图13为本申请实施例提供的一种信息解析装置的结构框图；
图14是本申请实施例提供的一种芯片的结构框图。
具体实施方式
下面将结合附图，对本申请的实施例进行说明。
随着电子设备技术的不断发展，电子设备的功能越来越全面。例如，电子设备可以为用户提供航班出行、火车出行、还款助手等多个服务垂域的卡片推送服务，以便于用户快速便捷地了解出行和生活等方面的信息。卡片推送服务是指电子设备在接收到短信、通知等信息后，可以生成该信息对应的事项卡片，并将该事项卡片显示在电子设备的主界面上。
为便于说明，以下实施例均以短信信息进行示例性说明。
图1中（a）为本申请实施例提供的一种电子设备100接收到短信信息的用户界面示例图。如图1中（a）所示，电子设备100的短信界面10包括短信文本框101，在短息文本框101中包括电子设备100接收的短信文本。示例性的，短信文本为：[××旅游]尊敬的旅客，您预订的北京首都T3飞16:20-深圳宝安T3降19:50降×航AB0000航班，刘先生0000000000000000已出票，乘机当天请带好证件提前1小时至机场办理登机手续，××旅游，快乐每一程！”。
图1中（b）为基于图1中（a）生成事项卡片的用户界面示例图。如图1中（b）所示，在接收到短信后，电子设备100可以对该条短信进行识别和解析，生成对应的事项卡片111，显示在如图1中（b）所示的电子设备100的用户界面11上。这样，电子设备100可以将非结构化的短信文本解析为结构化的数据，并以事项卡片的形式推送给用户，用户可以快速便捷地了解到航班出行信息。
其中，电子设备100对短信文本进行解析的过程主要包括两个步骤：第一是要确定短信的意图类别，以便匹配该短信对应的事项卡片模板；第二是要在短信中提取与选取的事项卡片模板中各槽位对应的槽位字符，将提取出的槽位字符填充到选择的事项卡片中的对应槽位中去，从而生成该短信的事项卡片。
示例性的，在上述图1的实施例中，电子设备通过对短信文本的分析，判断出短信的意图类别为“机票预订成功”。然后，在电子设备预存的事项卡片的模板库中找到与该意图类别对应的事项卡片模板。再根据这个事项卡片模板中的槽位信息确定待提取的槽位字符。如图2中（a）所示，事项卡片模板的槽位信息包括六个槽位，分别为槽位1111、槽位1112、槽位1113、槽位1114、槽位1115和槽位1116。其中，不同的槽位对应不同槽位类别，例如，槽位1111对应的槽位类别为起飞机场，槽位1112对应的槽位类别为出发时间，槽位1113对应的槽位类别为降落机场，槽位1114对应的槽位类别为降落时间，槽位1115对应的槽位类别为航空公司，槽位1116对应的槽位类别为航班号。最后，如图2中（b）所示，电子设备在短信文本中提取与上述六个槽位一一对应的槽位字符，并将其填充在事项卡片对应的槽位中，从而生成短信的事项卡片。
由此可见，对短信文本进行解析的任务主要包括意图识别和槽位识别两个子任务。为提高短信文本解析任务的准确性，一般基于训练后的信息解析模型，解析文本信息。因此，信息解析模型的训练方法尤为重要。
目前，信息解析模型的训练方法，可以采用以下两种实现方式。
第一种可实现方式为流水线（pipeline）方案。该实现方式中，训练意图识别和槽位识别为两个独立的模型，然后，通过pipeline的方式，将意图识别模型和槽位识别模型结合起来。示例性的，如图3所示，训练两个独立的意图识别模型和槽位识别模型。这种训练方式，忽略了意图识别和槽位识别这两个子任务之间的交互和知识共享，并且如果意图识别有误，槽位识别也会出错，从而产生级联误差。
为解决上述pipeline方案中的技术问题，本申请实施例提供第二种可实现方式。
第二种可实现方式为联合学习方案。该实现方式中，采用多任务学习方式，将意图识别和槽位识别这两个子任务进行联合学习，这样仅需训练一个模型。示例性的，如图4所示，信息解析模型包括编码器、意图解码器和槽位解码器。其中，意图解码器和槽位解码器共享编码器，并基于编码器联合学习。这样，可以通过信息解析模型的意图解码器和槽位解码器并行输出短信文本的意图类别以及槽位信息。由此可见，在图4中，允许意图识别和槽位识别这两个子任务之间进行交互和知识共享，并且，可以通过信息解析模型的意图解码器和槽位解码器并行输入短信文本的意图类别以及槽位信息，避免产生级联误差，从而能够解决pipeline方案中的技术问题。
但是，随着服务垂域的增加，对应的意图类别和槽位类别的数量也随之增加，这样便会导致信息解析模型增大，进而导致推理时延和峰值内存的增大。
为了解决上述随着服务垂域的增加，导致推理时延和峰值内存增大的技术问题，本申请实施例提供一种信息解析模型的训练方法。该方法共享编码器，并针对不同的服务垂域，训练不同的槽位解码器。这样，在推理阶段可以先判断短信文本的意图类别，然后基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器。这样，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。
本申请实施例提供的信息解析模型的训练方法可以通过在硬件计算环境中部署软件形式的神经网络模型和计算机程序代码的方式实现，可用的硬件计算环境例如：个人计算机、服务器、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的消费电子设备、云服务器、服务器实例、超级计算机等。
下面结合附图对本申请实施例提供的一种信息解析模型的训练方法的流程进行介绍。
图5为本申请实施例提供的一种信息解析模型的结构示例图。图6为本申请实施例提供的一种信息解析模型的训练方法的流程图。如图5所示，该信息解析模型包括编码器、意图解码器和多个槽位解码器。其中，多个槽位解码器分别对应不同的服务垂域。例如，信息解析模型包括三个槽位解码器，其中，第一个槽位解码器对应的服务垂域为航班出行，第二个槽位解码器对应的服务垂域为火车出行，第三个槽位解码器对应的服务垂域为还款助手。为了便于理解和方便叙述，本申请实施例以输入该信息解析模型中的短信文本为“[××旅游]尊敬的旅客，您预订的北京首都T3飞16:20-深圳宝安T3降19:50降×航AB0000航班，刘先生0000000000000000已出票，乘机当天请带好证件提前1小时至机场办理登机手续，××旅游，快乐每一程！”为例，进行说明。应当理解的是，图5和图6中的实施例仅是示例性地说明，不应对本申请实施例的保护范围构成限制。
如图6所示，本申请实施例提供的信息解析模型的训练方法，包括以下步骤：
步骤201，获取训练样本数据。
训练样本数据可以包括各服务垂域的文本信息（如，短信文本）。例如，待训练的槽位解码器分别对应航班出行、火车出行和还款助手三个服务垂域。这样，训练样本数据至少包括航班出行、火车出行和还款助手这三个服务垂域的文本信息。
训练样本数据还包括与每条文本信息对应意图类别和槽位信息。其中，槽位信息可以包括槽位字符以及与槽位字符对应的槽位类别。
示例性的，训练样本数据中短信文本“[××旅游]尊敬的旅客，您预订的北京首都T3飞16:20-深圳宝安T3降19:50降×航AB0000航班，刘先生0000000000000000已出票，乘机当天请带好证件提前1小时至机场办理登机手续，××旅游，快乐每一程！”对应的意图类别为航班预定成功，该条短信文本对应的槽位信息包括：槽位字符“北京首都T3”、“北京首都T3”对应的槽位类别为出发机场，槽位字符“16:20”、“16:20”对应的槽位类别为出发时间，槽位字符“深圳宝安T3”、“深圳宝安T3”对应的槽位类别为降落机场，槽位字符“19:50”、“19:50”对应的槽位类别为降落时间，槽位字符“×航”、“×航”对应的槽位类别为航空公司，槽位字符“AB0000”、“AB0000”对应的槽位类别为航班号。
又一示例性的，槽位信息中槽位字符也可以通过起始字符和结束字符表示。例如，槽位信息包括：槽位字符“北，3”，对应的槽位类别为出发机场。这样，槽位字符“北，3”表示起始字符为“北”，结束字符为“3”，对应的完整字符即“北京首都T3”。
需要说明的是，本申请实施例对文本信息的种类不进行限定。例如文本信息可以是短信类信息，也可以是非短信类通知信息。
步骤202，利用编码器对文本信息进行编码处理，得到编码向量集合。
由于输入的文本信息不是信息解析模型能够处理的向量信息。因此，获取训练数据后，将训练数据中文本信息输入到编码器进行编码处理，使之转换为信息解析模型能够处理的编码向量。
在一些实施例中，在对文本信息进行编码处理之前，可以先按字符级对文本信息进行切分，得到N个字符。然后，将每个字符作为编码器的输入。其中，文本信息的字符可以为文字字符，也可以为字母字符，还可以为符号字符，本申请实施例对字符的类型不做限制。例如，在本申请实施例中，“北京首都、深圳宝安”等字符为文字字符，“A、B”等字符为字母字符，“3、1、6”等字符为数字字符，“[、]、！”等字符为符号字符。在本申请实施例中，切分后得到113个字符。
在一些实施例中，按字符级对文本信息进行切分后，还可以在切分后的文本信息的起始位置添加起始标记符[CLS]，以及在切分后的文本信息的结束位置添加分割标记符[SEP]。这样，添加得到起始标记符[CLS]和分割标记符[SEP]后，得到N+2个字符。
其中，起始标记符[CLS]可以用于表示该条文本信息的起始位置，分割标记符[SEP]可以用于分割该条文本信息与相邻的下一条本文信息。
对应的，可以将得到的N+2个字符作为编码器的输入。编码器对输入的N+2个字符进行编码处理后，得到编码向量集合（e0，e1，……，en，en+1）。其中，编码向量集合中每个编码向量与N+2个字符一一对应。例如，编码向量集合包括起始编码向量e0、N个文本编码向量e1，……，en和分割编码向量en+1。起始编码向量e0表示起始标记符[CLS]对应的编码向量，文本编码向量e1，……，en 表示与N个文本信息中各字符一一对应的编码向量，分割编码向量en+1表示分割标记符对应的编码向量。
需要说明的是，起始编码向量e0包括整条文本信息的上下文信息，可以理解为整条文本信息向量表示。
其中，编码器可以采用基于双向表示编码算法(bidirectional encoderrepresentation from transformers，BERT)、比BERT 体积更小速度更快的TinyBERT、稳健优化的BERT（robustly optimized BERT approach，RoBERTa）、轻量级BERT（a lite BERT，ALBERT）等预训练模型。
步骤203，利用意图解码器对编码向量集合进行处理，得到文本信息的预测意图类别。
本申请实施例提供的信息解析模型的解码器包括意图解码器和多个服务垂域对应的多个槽位解码器。其中，意图解码器和多个服务垂域对应的多个槽位解码器共享编码器。具体的，意图解码器可以基于编码器的输出，预测文本信息对应的意图类别；多个服务垂域对应的槽位解码器可以基于编码器的输出，预测文本信息对应的槽位信息。
在一些实施例中，利用意图解码器对编码向量集合进行处理，得到文本信息的预测意图类别，可以采用以下方式实现：由于起始编码向量e0包括整条文本信息的上下文信息，因此，可以将起始编码向量e0作为意图解码器的输入，然后，利用意图解码器对起始编码向量e0进行处理，得到所述文本信息的预测意图类别。
示例性的，意图解码器可以利用公式（1），计算得到文本信息对应的预测意图类别yintent，公式（1）如下所示：
yintent =Argmax(Softmax(Kx+a)) （1）
其中，x为意图解码器的输入，即起始编码向量e0。K是大小为M1×Q1的参数矩阵，a是长度为Q1的参数向量。K和a是意图解码器生成的超参数。其中，M1可以是768，也可以是312，还可以为其他数值。具体的，M1根据所采用的预训练模型的不同而不同。Q1为全部意图类型的数量。
在一些实施例中，利用意图解码器对编码向量集合进行处理，得到文本信息的预测意图类别，还可以采用以下方式实现：先将编码向量集合中所有编码向量进行相加处理，得到相加后的向量。然后，将相加后的向量作为意图解码器的输入，利用意图解码器对相加后的向量进行处理，得到所述文本信息的预测意图类别。
示例性的，意图解码器依然可以利用公式（1），计算得到文本信息对应的预测意图类别yintent。不同的是，在该实现方式中，x为相加后的向量。由于相加后的向量相比于各编码向量的维度不变，因此，K是大小M1×Q1的参数矩阵，a是大小为Q1的参数向量。K和a是意图解码器生成的超参数。其中， M1可以是768，也可以是312，还可以为其他数值。具体的，M1根据所采用的预训练模型的不同而不同。Q1为全部意图类型的数量。
这样，以相加后的向量作为意图解码器的输入，以预测意图类别yintent作为输出，训练意图解码器，可以学习到更丰富的向量信息，从而使训练的意图解码器更加准确。
在一些实施例中，利用意图解码器对编码向量集合进行处理，得到文本信息的预测意图类别，还可以采用以下方式实现：先将编码向量集合中所有编码向量进行拼接处理，得到拼接向量。然后，将拼接向量作为意图解码器的输入，利用意图解码器对拼接向量进行处理，得到所述文本信息的预测意图类别。
示例性的，意图解码器依然可以利用公式（1），计算得到文本信息对应的预测意图类别yintent。不同的是，在该实现方式中，x为拼接向量。由于拼接向量相比于各编码向量的维度发生变化，因此，K是大小为M2×Q1的参数矩阵，a是长度为Q1的参数向量。K和a是意图解码器生成的超参数。其中， Q1为全部意图类型的数量。M2可以为（N+2）×M1。其中，N+2表示所有用于拼接的编码向量的数量，M1可以是768，也可以是312，还可以为其他数值。具体的，M1根据所采用的预训练模型的不同而不同。
这样，以拼接向量作为意图解码器的输入，以预测意图类别yintent作为输出，训练意图解码器，可以学习到更丰富的向量信息，从而使训练的意图解码器更加准确。
步骤204，利用多个槽位解码器对编码向量集合进行处理，得到文本信息的预测槽位信息。
本申请实施例中，多个槽位解码器分别对应不同服务垂域，以用于预测不同服务垂域的信息文本对应的槽位信息。其中，槽位信息包括槽位字符以及与槽位字符对应的槽位类别。
本申请实施例中，多个槽位解码器与意图解码共享编码器。因此，多个槽位解码器也可以基于编码器的输出，预测文本信息对应的槽位信息。
图7为本申请实施例提供的一种得到文本信息的预测槽位信息的流程图。如图7所示，利用多个槽位解码器对编码向量集合进行处理，得到文本信息的预测槽位信息，具体可以采用以下步骤实现：
步骤2041，基于N个文本编码向量，即编码向量e1，……，en，生成槽位起始矩阵Hs和槽位结束矩阵He。
其中，槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量。
需要说明的是，由于文本信息中的各字符，能够作为槽位字符，而添加的起始标记符和分割标记符并不能为槽位字符。因此，在生成槽位起始矩阵Hs和槽位结束矩阵He时，可以采用与文本信息各字符一一对应的文本编码向量e1，……，en，而不需要起始编码向量e0和分割编码向量en+1。
示例性的，文本信息中每个字符都有可能作为槽位的起始字符；文本信息中每个字符也都有可能作为槽位的结束字符。这样，槽位起始矩阵Hs包括文本信息中每个字符对应的文本编码向量，槽位结束矩阵He包括文本信息中每个字符对应的文本编码向量。
在一些实施例中，生成槽位起始矩阵Hs和槽位结束矩阵He，可以采用以下方式实现：将N个文本编码向量e1，……，en分别输入第一全连接网络和第二全连接网络。然后，利用第一全连接网络对N个文本编码向量e1，……，en进行处理，得到槽位起始矩阵Hs；利用第二全连接网络对N个文本编码向量e1，……，en进行处理，得到槽位结束矩阵He。
示例性的，第一全连接网络可以利用公式（2）计算得到槽位起始矩阵Hs，公式（2）如下所示：
Hs= L1Z +C1 （2）
其中，Z表示输入的N个文本编码向量e1，……，en，Z可以是大小为M3×h的矩阵，L1可以是大小为312×75的参数矩阵，C1可以是大小为1×75的参数矩阵。L1和C1是第一全连接网络生成的超参数。其中，M3为输入的文本编码向量的长度，h可以是312。这样，计算得到大小为M3×75的槽位起始矩阵Hs。
第二全连接网络可以利用公式（3）计算得到槽位结束矩阵He，公式（3）如下所示：
He= L2Z+ C2 （3）
其中，Z表示输入的N个文本编码向量e1，……，en，Z可以是大小为M3×h的矩阵，L2可以是大小为312×75的参数矩阵，C2可以是大小为1×75的参数矩阵。L2和C2是第二全连接网络生成的超参数。其中，M3为输入的文本编码向量的长度，h可以是312。这样，计算得到大小为M3×75的槽位结束矩阵He。
需要说明的是，上述实施例仅以利用第一全连接网络和第二全连接网络，得到槽位起始矩阵Hs和槽位结束矩阵He进行示例性说明，并不表示对得到槽位起始矩阵Hs和槽位结束矩阵He方法的限定。例如，也可以利用长短期记忆网络（long short term memory，LSTM）、基于注意力机制的Tansformer网络等，得到槽位起始矩阵Hs和槽位结束矩阵He方法。
本申请实施例在训练阶段，多个槽位解码器可以包括两种情况。情况一，多个槽位解码器均为未训练槽位解码器；情况二，多个槽位解码器包括已训练槽位解码器和未训练槽位解码器。对于情况一可以执行以下步骤2042和步骤2043，对于情况二可以执行以下步骤2044和步骤2045。
步骤2042，在多个槽位解码器均为未训练槽位解码器的情况下，将槽位起始矩阵Hs和所述槽位结束矩阵He分别输入每个槽位解码器，得到第一预测槽位矩阵。
在一些实施例中，多个槽位解码器可能均为未训练槽位解码器，这种情况下，可以将槽位起始矩阵Hs和槽位结束矩阵He分别输入每个槽位解码器进行训练。
将槽位起始矩阵Hs和槽位结束矩阵He分别输入每个未训练槽位解码器后，在各未训练槽位解码器首先可以得到第一预测槽位矩阵。第一预测槽位矩阵是一种三维矩阵，第一预测槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量。
示例性的，如图8所示，假设基于输入槽位起始矩阵Hs和槽位结束矩阵He，得到的第一预测槽位矩阵包括十种槽位的组合方式，分别为槽位组合方式1至槽位组合方式10，每种组合方式由槽位起始字符ystart和槽位结束字符yend表示。例如，槽位组合方式1通过槽位起始字符ystart1和槽位结束字符yend1表示，槽位组合方式2通过槽位起始字符ystart2和槽位结束字符yend2表示，槽位组合方式10通过槽位起始字符ystart10和槽位结束字符yend10表示。如图8所示，得到的第一预测槽位矩阵包括还包括每种组合方式对应的各槽位类别的概率值。假设当前输入的训练槽位解码器设置的槽位类型的总数量为五种，则第一预测槽位矩阵包括每种组合方式对应的五种槽位类别的概率值。例如，槽位组合方式1对应的槽位类型A的的概率值为0.2，槽位组合方式1对应的槽位类型B的的概率值为0.1，槽位组合方式1对应的槽位类型C的的概率值为0.5，槽位组合方式1对应的槽位类型D的的概率值为0.1，槽位组合方式1对应的槽位类型E的的概率值为0.1。
需要说明的是，将槽位起始矩阵Hs和槽位结束矩阵He分别输入每个未训练槽位解码器后，每个未训练槽位解码器都可以得到一个如图8所示的第一预测槽位矩阵。也就是说，每个未训练槽位解码器对输入的槽位起始矩阵Hs和槽位结束矩阵He的处理方法的原理相同，不同之处在于，各未训练槽位解码器的槽位类型以及槽位类型的总数量可能不同，对应训练的超参数不同。
下面以一个未训练槽位解码器，基于输入的槽位起始矩阵Hs和槽位结束矩阵He，得到第一预测槽位信息的过程进行示例性说明。
示例性的，槽位解码器可以采用双仿射分类器。这样，将槽位起始矩阵Hs和槽位结束矩阵He输入槽位解码器后，槽位解码器可以利用公式（4），计算得到第一预测槽位矩阵R，公式（4）如下所示：
R =（Hs）U（He）+ W(Hs
Figure SMS_1
He) +B （4）
其中，R表示第一预测槽位矩阵，U、W和B为超参数。
示例性的，U可以是大小为Q2×75×75的三维矩阵，W可以是大小为Q2×75的参数矩阵，B可以是大小为1×Q2的参数矩阵，其中，Q2表示当前槽位解码器的槽位类型的总数量。
应理解，不同服务垂域对应的槽位解码器的槽位类型以及Q2可能不同。这样，将槽位起始矩阵Hs和槽位结束矩阵He输入不同槽位解码器进行处理，得到第一预测槽位信息的过程中所使用的槽位类型以及Q2的值不同。
步骤2043，基于第一预测槽位矩阵，得到文本信息的预测槽位信息。
由于第一预测槽位矩阵包括所有可能的槽位组合方式，因此，可以对第一预测槽位矩阵进一步处理，以得到文本信息的预测槽位信息。
在一些实施例中，基于第一预测槽位矩阵，得到文本信息的预测槽位信息，可以采用以下方式实现：先分别将第一预测槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的预测槽位类别。然后，基于预设筛选规则，从所有槽位组合方式中筛选预测槽位组合方式。最后，将预测槽位组合方式以及与预测槽位组合方式对应的预测槽位类别，确定为文本信息的预测槽位信息。
示例性的，以图8示出的第一预测槽位矩阵为例，槽位组合方式1对应的五种槽位类别中槽位类型C对应的概率值最大，因此，将槽位类型C确定为槽位组合方式1的预测槽位类别。类似的，将槽位类型A确定为槽位组合方式2的预测槽位类别，将槽位类型B确定为槽位组合方式10的预测槽位类别。
本申请实施例对确定槽位组合方式的预测槽位类别的具体实现方式不进行限定。例如，可以通过最大值函数计算得到预测槽位类别。
示例性的，槽位解码器可以利用公式（5），计算得到预测槽位类别，公式（5）如下所示：
Y =Argmax(Softmax(R，dim=-1)，dim=-1) （5）
其中，Y表征每种槽位组合方式对应的预测槽位类别，R表示第一预测槽位矩阵，dim=-1表示在最后一个维度做归一化概率。Y可以是大小为M3×M3×1的三维矩阵。其中，M3表示输入槽位解码器的编码向量的长度。
进一步的，由于第一预测槽位矩阵可能包括一些不合理的槽位组合方式，因此，可以通过预设筛选规则，从所有的槽位组合方式中筛选出合理的槽位组合方式。本申请实施例对预设筛选规则不进行限定。示例性的，预设筛选规则可以包括剔除槽位起始编码向量的编号大于槽位结束编码向量的编号的槽位组合方式。例如，槽位组合方式3的槽位起始编码向量为e18，槽位组合方式3的槽位结束编码向量为e17，这样，槽位组合方式3对应抽取出的槽位字符为“京北”，这种不是顺序抽取的字符是不合理的，因此，可以将这种情况对应的槽位组合方式剔除。又一示例性的，预设筛选规则可以包括剔除预测槽位类别为“其他”的槽位组合方式。例如，槽位组合方式3对应的预测槽位类别不属于槽位类型A、槽位类型B、槽位类型C、槽位类型D和槽位类型E中任一种，这种情况下，电子设备会将槽位组合方式3对应的预测槽位类别识别为“其他”。因此，可以将预测槽位类别为“其他”的槽位组合方式剔除。预设筛选规则还可以是其他用于剔除不合理槽位组合方式的规则，此处不进行一一列举。
这样，可以将筛选后得到的预测槽位组合方式以及与预测槽位组合方式对应的预测槽位类别，确定为文本信息的预测槽位信息。
示例性的，槽位解码器输出的预测槽位信息可以包括（ystart1，yend1，yslot1）……（ystart5，yend5，yslot5），其中，ystart1……ystart5表征预测槽位起始字符，yend1……yend5表征预测槽位结束字符，yslot1……yslot5表征预测槽位类别。
应理解，每个未训练槽位解码器均可以输出各自对应的预测槽位信息。
步骤2044，在多个槽位解码器包括已训练槽位解码器和未训练槽位解码器的情况下，将槽位起始矩阵Hs和槽位结束矩阵He分别输入未训练槽位解码器，得到第二预测槽位矩阵。
在一些实施例中，多个槽位解码器可能既包括未训练槽位解码器，也包括已训练槽位解码器。这种情况下，不需要对已训练槽位解码器重新训练，这样仅需将槽位起始矩阵Hs和槽位结束矩阵He分别输入未训练槽位解码器进行训练即可。
例如，在第一阶段，利用本申请实施例提供的信息解析模型训练方法，得到的训练后的信息解析模型包括五个服务垂域对应的五个槽位解码器。在第二阶段，在原有的服务垂域的基础上想要新增服务垂域。这种情况下，可以基于之前训练后的信息解析模型，单独训练新增服务垂域对应的槽位解码器。这样，本申请实施例提供的信息解析模型训练方法，在新增服务垂域的场景中，不需要对整个信息解析模型重新训练，只需训练新增服务垂域对应的槽位解码器即可，这样可以降低训练成本，减少对其他服务垂域对应的槽位解码器的依赖，实现快速插拔。
需要说明的是，在单独训练新增服务垂域对应的槽位解码器的场景中，训练所使用的训练样本数据至少要包括新增服务垂域对应的训练样本数据。
其中，将槽位起始矩阵Hs和槽位结束矩阵He分别输入未训练槽位解码器，得到第二预测槽位矩阵的方法可以参照上述关于得到第一预测槽位矩阵的方法的描述，此处不再赘述。
步骤2045，基于第二预测槽位矩阵，得到文本信息的预测槽位信息。
基于第二预测槽位矩阵，得到文本信息的预测槽位信息的方法可以参照步骤2043的介绍，此处不再赘述。
步骤205，基于预测意图类别、预测槽位信息以及样本意图类别和样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
信息解析模型训练可以是以样本意图类别和样本槽位信息作为其预测输出的目标，进行多次迭代，不断更新其内部的模型参数，使模型损失不断收敛的过程。
在一些实施例中，可以根据预测意图类别和样本意图类别，确定第一损失值；根据预测槽位信息和样本槽位信息，确定第二损失值；然后，根据第一损失值和第二损失值迭代更新信息解析模型，得到训练后的信息解析模型。例如，第一损失值小于第一预设阈值且第二损失值小于第二预设阈值时，结束训练，得到训练后的信息解析模型。
需要说明的是，在未训练槽位解码器为一个的情况下，可以基于该未训练槽位解码器输出的预测槽位信息和样本槽位信息，确定第二损失值。在未训练槽位解码器为多个的情况下，每个未训练槽位解码器均对应的输出预测槽位信息，这种情况下，可以针对各未训练槽位解码器计算一个子损失值，然后，将所有子损失值的和作为第二损失值。例如，未训练槽位解码器为三个，对应的，三个未训练槽位解码器分别输出预测槽位信息a1、预测槽位信息a2和预测槽位信息a3。这样，基于预测槽位信息a1和样本槽位信息，得到第一子损失值；基于预测槽位信息a2和样本槽位信息，得到第二子损失值；基于预测槽位信息a3和样本槽位信息，得到第三子损失值。最后，以第一子损失值、第二子损失值和第三子损失值的和作为第二损失值。
在一些实施例中，还可以当信息解析模型的训练迭代达到预设次数时，结束训练，得到训练后的信息解析模型。
综上，本申请实施例提供的信息解析模型的训练方法，通过共享一个编码器，但不共用一个槽位解码器的方式进行训练学习，即本申请实施例对于不同的服务垂域训练不同的槽位解码器。这样，不同服务垂域的槽位解码器之间可以实现解耦，无需互相依赖，有效降低不同服务垂域间槽位的误填充。另外，对于新增服务垂域的应用场景，不需要对整个信息解析模型重新训练，只需训练新增服务垂域对应的槽位解码器即可，这样可以降低训练成本，减少对其他服务垂域对应的槽位解码器的依赖，实现快速插拔。
下面对本申请实施例提供的一种信息解析方法进行示例性说明。
本申请实施例提供的信息解析方法，利用上述实施例训练后的信息解析模型对电子设备接收到的信息进行解析（即推理阶段），以将非结构化的文本信息解析为结构化的数据，进一步生成对应的事项卡片。
本申请实施例提供的信息解析方法，可以应用于电子设备100。本申请实施例中，电子设备100可以是终端设备、车载设备、移动设备、用户终端、移动终端、无线通信设备、便携式终端、用户代理、用户装置、服务设备或用户设备（user equipment，UE）等。例如，终端设备可以是移动电话、无绳电话、智能手表、可穿戴设备、平板设备、具备无线通信功能的手持设备、计算设备、车载通信模块或连接到无线调制解调器的其它处理设备等。
下面以电子设备100是手机为例，对电子设备100的硬件结构进行介绍。
图9为本申请实施例提供的电子设备100的硬件结构框图。如图9所示，电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线（universalserial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。
其中，上述传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L、骨传导传感器180M等传感器。例如，本申请实施例中，可以通过陀螺仪传感器180B和加速度传感器180E采集的传感器数据，识别用户是否执行抬腕操作。如果识别到用户执行抬腕操作，则可以点亮屏幕。再例如，本申请实施例中，还可以利用接近光传感器180G，检测用户是否将电子设备向用户嘴边靠近。
可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。在一些实施例中，处理器110可以包括一个或多个接口。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块360，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。该显示屏194包括显示面板。例如，显示屏194可以是触摸屏。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。例如，在本申请实施例中，处理器110可以通过执行存储在内部存储器121中的指令，内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。
电子设备100可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。例如，可以通过麦克风370C采集用户的语音信息，通过扬声器370A播放针对用户的语音信息的反馈结果。
触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
本申请实施例中，电子设备100可以通过触摸传感器检测到用户在触摸屏输入的触摸操作，并采集该触摸操作在触摸屏上的触控位置，以及触控时间等中的一项或多项。在一些实施例中，电子设备100可以通过触摸传感器180K和压力传感器180A结合起来，确定触摸操作在触摸屏的触控位置。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。例如，可以通过长按电源键唤醒语音交互功能。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。
陀螺仪传感器180B可以是三轴陀螺仪，用于追踪电子设备100在6个方向的状态变化。加速度传感器180E用于检测电子设备100的运动速度、方向以及位移。
以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图10是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图10所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图10所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
图11为本申请实施例提供的一种信息解析方法的流程图。如图11所示，该信息解析方法包括以下步骤：
步骤301，获取文本信息。
示例性的，用户预订机票后，相关服务器可以向用户的电子设备100发送短信，以提示用户预订机票成功。对应的，电子设备100接收到该条短信后，可以获取该条短信对应的文本信息。
需要说明的是，本申请实施例仅以文本信息为短信类信息进行示例性说明，并不表示对本文信息的限定。示例性的，文本信息也可以是非短信类通知中的文本信息。例如，文本信息可以为一些应用APP发送的通知信息。
步骤302，利用编码器对文本信息进行编码处理，得到编码向量集合。
其中，编码向量集合包括与文本信息中各字符一一对应的编码向量。
需要说明的是，推理阶段利用编码器对文本信息进行编码处理，得到编码向量集合的方法与训练阶段类似，具体可以参照步骤202的描述，此处不再赘述。
步骤303，利用意图解码器对编码向量集合进行处理，得到文本信息对应的意图类别。
需要说明的是，步骤303中意图解码器是指训练后的意图解码器。得到文本信息对应的意图类别的方法与训练阶段得到文本信息的预测意图类别的方法类似，具体可以参照步骤203的描述，此处不再赘述。
例如，可以将文本信息对应起始编码向量e0作为意图解码器的输入，然后经过意图解码器处理后，输出意图类别。
又例如，也可以将所有编码向量进行相加后的向量作为意图解码器的输入，然后经过意图解码器处理后，输出意图类别。
再例如，还可以将所有编码向量进行拼接后的拼接向量作为意图解码器的输入，然后经过意图解码器处理后，输出意图类别。
示例性的，假设文本信息为“[××旅游]尊敬的旅客，您预订的北京首都T3飞16:20-深圳宝安T3降19:50降×航AB0000航班，刘先生0000000000000000已出票，乘机当天请带好证件提前1小时至机场办理登机手续，××旅游，快乐每一程！”。对应该条文本信息，输出的意图类别为航班预定成功。
步骤304，基于意图类别，在多个槽位解码器中确定意图类别对应的目标槽位解码器。
首先需要说明的是，本申请实施例中信息解析模型包括多个槽位解码器，这多个槽位解码器分别对应不同的服务垂域，而同一个服务垂域可以对应多个意图类别。
示例性的，本申请实施例中信息解析模型包括分别与航班出行、火车出行、支付等不同服务垂域对应的多个槽位解码器。其中，服务垂域 “航班出行”可以包括航班预定成功、航班改签成功、航班退订成功等多个意图类别。
由于本申请实施例中不同服务垂域的槽位解码器是独立的，因此，在推理阶段可以单独调用与意图类别对应的一个槽位解码器，对文本信息进行处理，得到文本信息对应的槽位信息。
示例性的，可以先确定意图类别对应的目标服务垂域；然后，确定目标服务垂域对应的槽位解码器；最后，将目标服务垂域对应的槽位解码器确定为意图类别对应的目标槽位解码器。
步骤305，利用目标槽位解码器对文本信息进行处理，得到文本信息对应的槽位信息，槽位信息包括槽位字符以及与槽位字符对应的槽位类别。
应理解，相比于所有服务垂域都采用一个槽位解码器解析槽位信息的方案，本申请实施例提供的一个服务垂域对应一个槽位解码器的方法中，每个服务垂域对应的槽位解码器的大小都是比较小的。因此，在利用目标槽位解码器对文本信息进行处理，得到文本信息对应的槽位信息时，相当于使用一个较小的槽位解码器预测槽位信息，这样可以降低电子设备的推理时延和峰值内存。
在一些实施例中，利用目标槽位解码器对文本信息进行处理，得到文本信息对应的槽位信息，可以采用以下方式实现：先基于N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；然后，将槽位起始矩阵Hs和槽位结束矩阵He输入目标槽位解码器，得到槽位矩阵；最后，基于槽位矩阵，得到文本信息的槽位信息。
其中，基于N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He，可以参照步骤2041的描述。将槽位起始矩阵Hs和槽位结束矩阵He输入目标槽位解码器，得到槽位矩阵，可以参照步骤2042中关于得到第一预测槽位矩阵的方法的描述。基于槽位矩阵，得到文本信息的槽位信息，可以参照步骤2043的描述，此处不再赘述。
例如，基于槽位矩阵，得到文本信息的槽位信息，可以采用以下方式实现：分别将所述槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的目标槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选目标槽位组合方式；将所述目标槽位组合方式以及与所述目标槽位组合方式对应的目标槽位类别，确定为所述文本信息的槽位信息。
示例性的，步骤305得到的槽位信息包括槽位字符“北京首都T3”、“北京首都T3”对应的槽位类别为出发机场，槽位字符“16:20”、“16:20”对应的槽位类别为出发时间，槽位字符“深圳宝安T3”、“深圳宝安T3”对应的槽位类别为降落机场，槽位字符“19:50”、“19:50”对应的槽位类别为降落时间，槽位字符“×航”、“×航”对应的槽位类别为航空公司，槽位字符“AB0000”、“AB0000”对应的槽位类别为航班号。
这样，可以基于意图类别和上述槽位信息，生成对应的事项卡片。具体的，可以基于意图类别在电子设备预存的事项卡片的模板库中找到与该意图类别对应的事项卡片模板，事项卡片模板上包括待填充的槽位。这样，将步骤305得到的槽位信息中各槽位字符一一对应填充在事项卡片对应的槽位中，从而生成该短信对应的事项卡片，并显示在电子设备的触控屏上。
综上，本申请实施例提供的信息解析方法，由于所使用的信息解析模型针对不同的服务垂域，训练了不同的槽位解码器。这样，在推理阶段，即使用信息解析模型对信息文本解析阶段，可以先判断短信文本的意图类别，然后基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器。这样，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。
需要说明的是，训练后的信息解析模型中各槽位解码器可以拆解使用。这样，对于不同的电子设备，可以根据不同的需求，采用不同的信息解析模型部署方式。示例性的，训练后的信息解析模型包括五个槽位解码器。由于电子设备100A可以提供三个服务垂域的卡片推送服务，因此，在电子设备100A部署的信息解析模型可以包括这三个服务垂域对应的槽位解码器。又一示例性的，由于电子设备100B可以提供两个服务垂域的卡片推送服务，因此，在电子设备100B部署的信息解析模型可以包括这两个服务垂域对应的槽位解码器。
本文中描述的各个方法实施例可以为独立的方案，也可以根据内在逻辑进行组合，这些方案都落入本申请的保护范围中。
可以理解的是，上述各个方法实施例中，由电子设备实现的方法和操作，也可以由可用于电子设备的部件（例如芯片、模块或者电路）实现。
上述实施例对本申请提供的信息解析模型的训练方法以及信息解析方法进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行每一个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应每一个功能划分每一个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
以上，结合图1至图11详细说明了本申请实施例提供的信息解析模型的训练方法以及信息解析方法。以下，结合图12和图14详细说明本申请实施例提供的装置。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见上文方法实施例，为了简洁，这里不再赘述。
参见图12，图12为本申请实施例提供的一种信息解析模型的训练装置的结构框图。该装置可以为电子设备的一部分，应用于电子设备中。也可以为电子设备，本申请对此不进行限制。如图12所示，该装置400可以包括：训练样本数据获取模块401、编码器402、意图解码器403、多个槽位解码器404和训练模块405。该装置400可以执行上述图1至图8所示任意一个方法实施例中电子设备执行的操作。
例如，在本申请一种可选的实施例中，训练样本数据获取模块401，用于获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；编码器402，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；意图解码器403，用于对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；多个槽位解码器404，用于对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；训练模块405，用于基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
一种可能的实现方式中，所述编码器402用于在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
一种可能的实现方式中，所述多个槽位解码器404，用于基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；在所述多个槽位解码器均为未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入每个所述槽位解码器，得到第一预测槽位矩阵；其中，所述第一预测槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息。
一种可能的实现方式中，所述多个槽位解码器404，还用于在所述多个槽位解码器包括已训练槽位解码器和未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入所述未训练槽位解码器，得到第二预测槽位矩阵；基于所述第二预测槽位矩阵，得到所述文本信息的预测槽位信息。
一种可能的实现方式中，所述第一预测槽位矩阵通过如下公式得到：R =（Hs）U （He）+ W(Hs
Figure SMS_2
He) +B；其中，所述R表示第一预测槽位矩阵，所述U、所述W和所述B为超参 数。
一种可能的实现方式中，所述多个槽位解码器404，还用于分别将所述第一预测槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的预测槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选预测槽位组合方式；将所述预测槽位组合方式以及与所述预测槽位组合方式对应的预测槽位类别，确定为所述文本信息的预测槽位信息。
一种可能的实现方式中，所述多个槽位解码器404，还用于利用第一全连接网络对所述N个文本编码向量进行处理，得到所述槽位起始矩阵Hs；利用第二全连接网络对所述N个文本编码向量进行处理，得到所述槽位结束矩阵He。
一种可能的实现方式中，意图解码器403用于利用所述意图解码器对所述起始编码向量进行处理，得到所述文本信息的预测意图类别。
一种可能的实现方式中，所述文本信息的预测意图类别通过如下公式得到：yintent=Argmax(Softmax(Kx+a))；其中，所述yintent为所述预测意图类别，所述x为所述起始编码向量，所述K和所述a为超参数。
一种可能的实现方式中，训练模块405用于根据所述预测意图类别和所述样本意图类别，确定第一损失值；根据所述预测槽位信息和所述样本槽位信息，确定第二损失值；根据所述第一损失值和所述第二损失值迭代更新所述信息解析模型，得到所述训练后的信息解析模型。
一种可能的实现方式中，所述文本信息包括短信类信息、非短信类通知信息中至少一种。
也就是说，该装置400可以实现对应于图1至图11所示任意一个训练方法实施例中电子设备所执行的步骤或者流程，该装置400可以包括用于执行图1至图11所示任意一个训练方法实施例中电子设备执行的方法的模块。应理解，各模块执行上述相应步骤的具体过程在训练方法实施例中已经详细说明，为了简洁，在此不再赘述。
参见图13，图13为本申请实施例提供的一种信息解析装置的结构框图。该装置可以为电子设备的一部分，应用于电子设备中。也可以为电子设备，本申请对此不进行限制。如图13所示，该装置500可以包括：文本信息获取模块501、编码器502、意图解码器503、目标槽位解码器确定模块504、目标槽位解码器505。该装置500可以执行上述图11所示任意一个方法实施例中电子设备执行的操作。
例如，在本申请一种可选的实施例中，文本信息获取模块501，用于获取文本信息；编码器502，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；意图解码器503，用于对所述编码向量集合进行处理，得到所述文本信息对应的意图类别；目标槽位解码器确定模块504，用于基于意图类别，在多个槽位解码器中确定所述意图类别对应的目标槽位解码器；目标槽位解码器505，用于对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，所述槽位信息包括槽位字符以及与所述槽位字符对应的槽位类别。
一种可能的实现方式中，目标槽位解码器确定模块504用于确定所述意图类别对应的目标服务垂域；确定所述目标服务垂域对应的槽位解码器；其中，所述多个槽位解码器分别对应不同的服务垂域；将所述目标服务垂域对应的槽位解码器确定为所述意图类别对应的目标槽位解码器。
一种可能的实现方式中，编码器502，用于在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
一种可能的实现方式中，目标槽位解码器505用于基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；将所述槽位起始矩阵Hs和所述槽位结束矩阵He输入所述目标槽位解码器，得到槽位矩阵；其中，所述槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；基于所述槽位矩阵，得到所述文本信息的槽位信息。
一种可能的实现方式中，目标槽位解码器505还用于分别将所述槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的目标槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选目标槽位组合方式；将所述目标槽位组合方式以及与所述目标槽位组合方式对应的目标槽位类别，确定为所述文本信息的槽位信息。
一种可能的实现方式中，目标槽位解码器505还用于利用第一全连接网络对所述N个文本编码向量进行处理，得到所述槽位起始矩阵Hs；利用第二全连接网络对所述N个文本编码向量进行处理，得到所述槽位结束矩阵He。
一种可能的实现方式中，意图解码器503用于对所述起始编码向量进行处理，得到所述文本信息的预测意图类别。
本申请实施例还提供了一种处理装置，该处理装置包括至少一个处理器和通信接口。所述通信接口用于为所述至少一个处理器提供信息输入和/或输出，所述至少一个处理器用于执行上述方法实施例中的方法。
应理解，上述处理装置可以是一个芯片。例如，参见图14，图14为本申请实施例提供的一种芯片的结构框图。图14所示的芯片可以为通用处理器，也可以为专用处理器。该芯片600可以包括至少一个处理器601。其中，所述至少一个处理器601可以用于支持图12或图13所示的装置执行图1至图11中任意一个实施例所示的技术方案。
可选的，该芯片600还可以包括收发器602，收发器602用于接受处理器601的控制，用于支持图12或图13所示的装置执行图1至图11中任意一个实施例所示的技术方案。可选的，图14所示的芯片600还可以包括存储介质603。具体的，所述收发器602可以替换为通信接口，所述通信接口为所述至少一个处理器601提供信息输入和/或输出。
需要说明的是，图14所示的芯片600可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列（field programmable gate array，FPGA）、可编程逻辑器件（programmable logic device，PLD）、专用集成芯片（application specific integratedcircuit，ASIC）、系统芯片（system on chip，SoC）、中央处理器（central processor unit，CPU）、网络处理器（network processor，NP）、数字信号处理电路（digital signalprocessor，DSP）、微控制器（micro controller unit，MCU），控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamic RAM，DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rateSDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（directrambus RAM，DR RAM）。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本申请实施例提供的方法，本申请实施例还提供一种计算机程序产品，该计算机程序产品包括：计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行图1至图11所示实施例中任意一个实施例的方法。
根据本申请实施例提供的方法，本申请实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行图1至图11所示实施例中任意一个实施例的方法。
根据本申请实施例提供的方法，本申请实施例还提供了一种电子设备。该电子设备包括：储器、处理器和触控屏；其中：所述触控屏用于显示内容；所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；所述处理器用于调用所述程序指令，使得所述电子设备执行本申请实施例提供的训练方法或信息解析方法。该电子设备包括但不限于手机、平板电脑、个人电脑、工作站设备、大屏设备（例如：智慧屏、智能电视等）、掌上游戏机、家用游戏机、虚拟现实设备、增强现实设备、混合现实设备、车载智能终端等。该电子设备可以包括本申请上述实施例提供的信息解析模型的训练装置或信息解析装置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置模块和电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例提供的信息解析模型训练装置、系统、处理装置、芯片、计算机存储介质、计算机程序产品、电子设备，以及信息解析装置、系统、处理装置、芯片、计算机存储介质、计算机程序产品、电子设备均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。
应理解，在本申请的各个实施例中，各步骤的执行顺序应以其功能和内在逻辑确定，各步骤序号的大小并不意味着执行顺序的先后，不对实施例的实施过程构成限定。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于拍照时长的确定装置、系统、芯片、计算机存储介质、计算机程序产品、电子设备的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (20)

1.一种信息解析模型的训练方法，其特征在于，所述信息解析模型包括编码器、意图解码器、多个槽位解码器，所述训练方法包括：
获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；
利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；
利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；
基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
2.根据权利要求1所述的训练方法，其特征在于，所述利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，包括：
在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；
对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
3.根据权利要求2所述的训练方法，其特征在于，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，包括：
基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；
在所述多个槽位解码器均为未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入每个所述槽位解码器，得到第一预测槽位矩阵；其中，所述第一预测槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；
基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息。
4.根据权利要求3所述的训练方法，其特征在于，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，还包括：
在所述多个槽位解码器包括已训练槽位解码器和未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入所述未训练槽位解码器，得到第二预测槽位矩阵；
基于所述第二预测槽位矩阵，得到所述文本信息的预测槽位信息。
5.根据权利要求3所述的训练方法，其特征在于，所述第一预测槽位矩阵通过如下公式得到：
R =（Hs）U（He）+ W(Hs ⊕ He) +B；
其中，所述R表示第一预测槽位矩阵，所述U、所述W和所述B为超参数。
6.根据权利要求3所述的训练方法，其特征在于，所述基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息，包括：
分别将所述第一预测槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的预测槽位类别；
基于预设筛选规则，从所有所述槽位组合方式中筛选预测槽位组合方式；
将所述预测槽位组合方式以及与所述预测槽位组合方式对应的预测槽位类别，确定为所述文本信息的预测槽位信息。
7.根据权利要求3所述的训练方法，其特征在于，所述基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He，包括：
利用第一全连接网络对所述N个文本编码向量进行处理，得到所述槽位起始矩阵Hs；
利用第二全连接网络对所述N个文本编码向量进行处理，得到所述槽位结束矩阵He。
8.根据权利要求2所述的训练方法，其特征在于，所述利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别，包括：
利用所述意图解码器对所述起始编码向量进行处理，得到所述文本信息的预测意图类别。
9.根据权利要求8所述的训练方法，其特征在于，所述文本信息的预测意图类别通过如下公式得到：
yintent =Argmax(Softmax(Kx+a))；
其中，所述yintent为所述预测意图类别，所述x为所述起始编码向量，所述K和所述a为超参数。
10.根据权利要求1所述的训练方法，其特征在于，所述基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型，包括：
根据所述预测意图类别和所述样本意图类别，确定第一损失值；
根据所述预测槽位信息和所述样本槽位信息，确定第二损失值；
根据所述第一损失值和所述第二损失值迭代更新所述信息解析模型，得到所述训练后的信息解析模型。
11.根据权利要求1所述的训练方法，其特征在于，所述文本信息包括短信类信息、非短信类通知信息中至少一种。
12.一种信息解析方法，其特征在于，应用于电子设备，所述电子设备包括信息解析模型，所述信息解析模型包括编码器、意图解码器和多个槽位解码器；所述方法包括：
获取文本信息；
利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息对应的意图类别；
基于意图类别，在所述多个槽位解码器中确定所述意图类别对应的目标槽位解码器；
利用所述目标槽位解码器对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，所述槽位信息包括槽位字符以及与所述槽位字符对应的槽位类别。
13.根据权利要求12所述的方法，其特征在于，基于意图类别，在所述多个槽位解码器中确定所述意图类别对应的目标槽位解码器，包括：
确定所述意图类别对应的目标服务垂域；
确定所述目标服务垂域对应的槽位解码器；其中，所述多个槽位解码器分别对应不同的服务垂域；
将所述目标服务垂域对应的槽位解码器确定为所述意图类别对应的目标槽位解码器。
14.根据权利要求12所述的方法，其特征在于，所述利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，包括：
在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；
对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。
15.根据权利要求14所述的方法，其特征在于，利用所述目标槽位解码器对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，包括：
基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；
将所述槽位起始矩阵Hs和所述槽位结束矩阵He输入所述目标槽位解码器，得到槽位矩阵；其中，所述槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；
基于所述槽位矩阵，得到所述文本信息的槽位信息。
16.根据权利要求15所述的方法，其特征在于，所述基于所述槽位矩阵，得到所述文本信息的槽位信息，包括：
分别将所述槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的目标槽位类别；
基于预设筛选规则，从所有所述槽位组合方式中筛选目标槽位组合方式；
将所述目标槽位组合方式以及与所述目标槽位组合方式对应的目标槽位类别，确定为所述文本信息的槽位信息。
17.一种信息解析模型的训练装置，其特征在于，所述装置包括：
训练样本数据获取模块，用于获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；
编码器，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
意图解码器，用于对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；
多个槽位解码器，用于对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；
训练模块，用于基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。
18.一种信息解析装置，其特征在于，所述装置包括：
文本信息获取模块，用于获取文本信息；
编码器，用于对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；
意图解码器，用于对所述编码向量集合进行处理，得到所述文本信息对应的意图类别；
目标槽位解码器确定模块，用于基于意图类别，在多个槽位解码器中确定所述意图类别对应的目标槽位解码器；
目标槽位解码器，用于对所述编码向量集合进行处理，得到所述文本信息对应的槽位信息，所述槽位信息包括槽位字符以及与所述槽位字符对应的槽位类别。
19.一种电子设备，其特征在于，包括：存储器、处理器和触控屏；其中：
所述触控屏用于显示内容；
所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器用于调用所述程序指令，使得所述电子设备执行如权利要求1-16任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得计算机执行如权利要求1-16中任一项所述的方法。
CN202310517507.3A 2023-05-10 2023-05-10 一种信息解析方法、模型训练方法、装置及电子设备 Active CN116227629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310517507.3A CN116227629B (zh) 2023-05-10 2023-05-10 一种信息解析方法、模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310517507.3A CN116227629B (zh) 2023-05-10 2023-05-10 一种信息解析方法、模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116227629A true CN116227629A (zh) 2023-06-06
CN116227629B CN116227629B (zh) 2023-10-20

Family

ID=86582922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310517507.3A Active CN116227629B (zh) 2023-05-10 2023-05-10 一种信息解析方法、模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116227629B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991431A (zh) * 2023-08-04 2023-11-03 沐曦集成电路(杭州)有限公司 基于gpu的编解码模型静态部署方法、电子设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150207903A1 (en) * 2014-01-22 2015-07-23 Alcatel Lucent Usa, Inc. Devices and methods for network-coded and caching-aided content distribution
US20190371307A1 (en) * 2018-05-31 2019-12-05 Robert Bosch Gmbh Slot Filling in Spoken Language Understanding with Joint Pointer and Attention
US20200042547A1 (en) * 2018-08-06 2020-02-06 Koninklijke Philips N.V. Unsupervised text simplification using autoencoders with a constrained decoder
US20210089588A1 (en) * 2019-09-24 2021-03-25 Salesforce.Com, Inc. System and Method for Automatic Task-Oriented Dialog System
CN113486669A (zh) * 2021-07-06 2021-10-08 上海市东方医院（同济大学附属东方医院） 应急救援输入语音的语义识别方法
CN113868394A (zh) * 2021-10-09 2021-12-31 维沃移动通信有限公司 操作执行方法、装置、电子设备和存储介质
WO2022057712A1 (zh) * 2020-09-15 2022-03-24 华为技术有限公司 电子设备及其语义解析方法、介质和人机对话系统
CN114691839A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 一种意图槽位识别方法
CN114860908A (zh) * 2022-05-07 2022-08-05 南京航空航天大学 一种融合槽位关联和语义关联的任务型对话状态跟踪方法
CN115600644A (zh) * 2022-10-17 2023-01-13 深圳壹账通智能科技有限公司（Cn） 多任务处理方法、装置、电子设备及存储介质
CN115688743A (zh) * 2023-01-03 2023-02-03 荣耀终端有限公司 一种短信解析的方法及相关电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150207903A1 (en) * 2014-01-22 2015-07-23 Alcatel Lucent Usa, Inc. Devices and methods for network-coded and caching-aided content distribution
US20190371307A1 (en) * 2018-05-31 2019-12-05 Robert Bosch Gmbh Slot Filling in Spoken Language Understanding with Joint Pointer and Attention
CN110555097A (zh) * 2018-05-31 2019-12-10 罗伯特·博世有限公司 在口语语言理解中利用联合的指针和注意力的槽位填充
US20200042547A1 (en) * 2018-08-06 2020-02-06 Koninklijke Philips N.V. Unsupervised text simplification using autoencoders with a constrained decoder
US20210089588A1 (en) * 2019-09-24 2021-03-25 Salesforce.Com, Inc. System and Method for Automatic Task-Oriented Dialog System
WO2022057712A1 (zh) * 2020-09-15 2022-03-24 华为技术有限公司 电子设备及其语义解析方法、介质和人机对话系统
CN114691839A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 一种意图槽位识别方法
CN113486669A (zh) * 2021-07-06 2021-10-08 上海市东方医院（同济大学附属东方医院） 应急救援输入语音的语义识别方法
CN113868394A (zh) * 2021-10-09 2021-12-31 维沃移动通信有限公司 操作执行方法、装置、电子设备和存储介质
CN114860908A (zh) * 2022-05-07 2022-08-05 南京航空航天大学 一种融合槽位关联和语义关联的任务型对话状态跟踪方法
CN115600644A (zh) * 2022-10-17 2023-01-13 深圳壹账通智能科技有限公司（Cn） 多任务处理方法、装置、电子设备及存储介质
CN115688743A (zh) * 2023-01-03 2023-02-03 荣耀终端有限公司 一种短信解析的方法及相关电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991431A (zh) * 2023-08-04 2023-11-03 沐曦集成电路(杭州)有限公司 基于gpu的编解码模型静态部署方法、电子设备和介质
CN116991431B (zh) * 2023-08-04 2024-03-01 沐曦集成电路(杭州)有限公司 基于gpu的编解码模型静态部署方法、电子设备和介质

Also Published As

Publication number Publication date
CN116227629B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US11748054B2 (en) Screen projection method and terminal device
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN109844761A (zh) 面部的神经网络建模
CN109597993A (zh) 语句分析处理方法、装置、设备以及计算机可读存储介质
CN110162604B (zh) 语句生成方法、装置、设备及存储介质
CN111985240A (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
CN116227629B (zh) 一种信息解析方法、模型训练方法、装置及电子设备
CN111209377A (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN114281956A (zh) 文本处理方法、装置、计算机设备及存储介质
CN115698983A (zh) 客户端应用内容分类和发现
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN114333774A (zh) 语音识别方法、装置、计算机设备及存储介质
CN113935332A (zh) 图书分级方法及图书分级设备
CN112036492B (zh) 样本集处理方法、装置、设备及存储介质
CN113806469B (zh) 语句意图识别方法及终端设备
CN115688743B (zh) 一种短信解析的方法及相关电子设备
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
CN117216710A (zh) 多模态自动标注方法、标注模型的训练方法及相关设备
CN112632962B (zh) 人机交互系统中实现自然语言理解方法和装置
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN114465975A (zh) 一种内容推送方法、装置、存储介质和芯片系统
CN114694636A (zh) 语音识别方法及装置
CN113032560A (zh) 语句分类模型训练方法、语句处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant