CN114090740B - 意图识别方法、装置、可读介质及电子设备 - Google Patents

意图识别方法、装置、可读介质及电子设备 Download PDF

Info

Publication number
CN114090740B
CN114090740B CN202111402778.1A CN202111402778A CN114090740B CN 114090740 B CN114090740 B CN 114090740B CN 202111402778 A CN202111402778 A CN 202111402778A CN 114090740 B CN114090740 B CN 114090740B
Authority
CN
China
Prior art keywords
target
node
bit
quantization
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111402778.1A
Other languages
English (en)
Other versions
CN114090740A (zh
Inventor
李晓阳
禹梓林
张向阳
田晓刚
马泽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202111402778.1A priority Critical patent/CN114090740B/zh
Publication of CN114090740A publication Critical patent/CN114090740A/zh
Priority to PCT/CN2022/132141 priority patent/WO2023088280A1/zh
Application granted granted Critical
Publication of CN114090740B publication Critical patent/CN114090740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及一种意图识别方法、装置、可读介质及电子设备，该方法通过预设意图识别量化模型对目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据该浮点型注意力权重确定该目标文本对应的目标意图，该第一比特位小于该第二比特位，能够通过将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率。

Description

意图识别方法、装置、可读介质及电子设备
技术领域
本公开涉及人工智能领域，具体地，涉及一种意图识别方法、装置、可读介质及电子设备。
背景技术
基于神经网络的意图识别模型中的参数大多通过32位浮点数表示，通常可以通过用低比特的数据类型来表示原有的32位浮点数的方法(即进行模型量化)来达到减小模型体积，加速模型推理的目的。
目前的意图识别模型，由于其模型计算量过大，因此即使进行了模型量化，也依然存在模型运算耗时长，模型识别效率有待提高的问题。
发明内容
提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开提供了一种意图识别方法、装置、可读介质及电子设备。
第一方面，本公开提供一种意图识别方法，所述方法包括：
获取待识别的目标文本；
将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位。
第二方面，本公开提供一种意图识别装置，所述装置包括：
获取模块，被配置为获取待识别的目标文本；
识别模块，被配置为将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现以上第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现以上第一方面所述方法的步骤。
上述技术方案，通过所述预设意图识别量化模型对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位，能够通过将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是本公开一示例性实施例示出的一种多头注意力结构的示意图；
图2是本公开另一示例性实施例示出的一种多头注意力结构的示意图；
图3是本公开一示例性实施例示出的一种意图识别方法的流程图；
图4是本公开又一示例性实施例出的一种多头注意力层的结构示意图；
图5是本公开一示例性实施例示出的一种预设意图识别量化模型的训练流程图；
图6是本公开又一示例性实施例示出的一种多头注意力结构的示意图；
图7是本公开一示例性实施例示出的一种意图识别装置的框图；
图8是本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在详细介绍本公开的具体实施方式之前，首先对本公开的应用场景进行以下说明，本公开可以应用于意图识别的场景中，例如在对话交互场景中，对用户输入的对话文本进行意图识别的过程，该对话文本可以是对用户输入的语音信息进行语音识别后得到的文本信息，也可以是用户输入的文本信息；再例如，在机器翻译的场景中，对用户输入第一语言类型的第一文本进行翻译，以输出得到该第一文本对应的第二语言类型的翻译文本，该翻译文本即为该第一文本的意图。
目前的意图识别通常是基于transformer或者Bert模型训练的意图识别模型进行，transformer/Bert模型会包括多头自注意力(Multi-Head Attention)结构、前馈(feedforward)结构，以及残差结构(add&norm)，其中Multi-Head Attention结构如图1(图1是本公开一示例性实施例示出的一种多头注意力结构的示意图)所示，在该多头自注意力结构中，以Q，K和V为输入，其中Q为给定任务对应的查询Query向量，K为给定任务对应的key向量(即键向量)，V为给定任务对应的Value向量(即值向量)，Multi-Head Attention机制实质上就是一个寻址过程，通过给定任务相关的查询向量Q，通过计算与键向量K的注意力分布并附加在Value向量V上，从而计算注意力值(Attention Value)。相关技术中，为了减小模型体积，通常会按照以下图2所示的流程对意图识别模型中的参数进行量化操作，如图2所示(图2是本公开另一示例性实施例示出的一种多头注意力结构的示意图)，会在该BatchedMatmul节点之前，对Q矩阵和K矩阵通过Quantize节点进行量化处理，并对BatchedMatmul节点输出的int32(32位的定点型数据)的数据进行DeQuantize(反量化)处理，以得到FP32((32位的浮点型数据)的数据，然后通过softmax节点计算注意力权重，从而得到非全量化的意图识别模型，也就是说，softmax节点接收的数据的数据类型为FP32，在该softmax节点进行数据处理的过程中，对应的数据类型始终是FP32，并且，Softmax节点的计算耗时达到了自注意力层的计算总时长的30％以上，因此，很明显，这样非全局的量化模型不利于的缩短模型运算耗时，也不利于意图识别模型的识别效率的有效提升。
为了解决以上技术问题，本公开提供了一种意图识别方法、装置、可读介质及电子设备，该方法通过所述预设意图识别量化模型对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据该浮点型注意力权重确定该目标文本对应的目标意图，该第一比特位小于该第二比特位，能够通过将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率。
下面结合具体实施例对本公开的实施方式进行详细阐述。
图3是本公开一示例性实施例示出的一种意图识别方法的流程图；如图3所示，该方法可以包括以下步骤：
步骤301，获取待识别的目标文本。
其中，该目标文本可以是人机对话系统中，用户输入的字符序列，也可以是人机对话系统对用户输入的语音信息进行语音识别之后得到的语音文本。
步骤302，将该目标文本作为预设意图识别量化模型的输入，以输出得到该目标文本的目标意图；其中，该预设意图识别量化模型用于对该目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据该浮点型注意力权重确定该目标文本对应的目标意图，该第一比特位小于该第二比特位。
示例地，该第一比特位可以是8比特，也可以是16比特，在该第一比特位为8位时，该目标向量的数据类型为int8，在该第一比特位为16位时，该目标向量的数据类型为int16，第二比特位可以是32比特，该目标映射关系可以是存储地址与该存储地址内存储的数据之间的对应关系，也可以是列表编号与该编号的列表内的存储数据之间的对应关系，在该第一比特为8比特时，该列表编号可以是0至255之间的整数，在编号为0的列表内存储
Figure BDA0003364753250000061
在编号为2的列表内存储/>
Figure BDA0003364753250000062
在该编号为255的列表内存储/>
Figure BDA0003364753250000063
其中，ρ和S3可以是预设的模型参数。若当前字符对应的定点型目标向量为/>
Figure BDA0003364753250000064
则得到的该浮点型注意力权重可以是/>
Figure BDA0003364753250000065
以上技术方案，能够通过将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率。
可选地，该预设意图识别量化模型包括至少一个多头注意力层，该多头注意力层中包括量化节点，和与该量化节点的输出端耦合的查表节点；
该量化节点用于对该目标文本中字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，并将该定点型目标向量输入该查表节点；
该查表节点用于根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
示例地，若该定点型目标向量为多维(例如32维，64维，128维，等)时，该查表节点通过查找目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重时，为了提高数据读取效率，可以采用向量化加速的方式每次查找到多个数据，例如，在支持AVX512指令集的X86平台上，可以通过_mm512_permutexvar_ps指令一次查找到该定点型目标向量中16个元素对应的输出值，从而若该定点型目标向量为64维，则只需要查询4次即可查找到该定点型目标向量对应的输出值。
需要说明的是，在实验过程中，在该定点型目标向量的数据类型为int8时，该定点型目标向量中每个元素对应的取值范围均为-127至127，由于定点型目标向量
Figure BDA0003364753250000071
对应的第二比特位的浮点型注意力权重可以通过以下公式计算得到：
Figure BDA0003364753250000072
其中，xi为定点型目标向量
Figure BDA0003364753250000073
中的元素，在注意力权重计算过程中，需要针对该定点型目标向量/>
Figure BDA0003364753250000074
中的每个元素计算/>
Figure BDA0003364753250000075
由于通常定点型目标向量/>
Figure BDA0003364753250000076
的维数较多，因此整个计算过程会耗费较长的时间，对以上浮点型注意力权重的计算公式对应的量化公式为：
Figure BDA0003364753250000081
其中，xmax＝max{xi}，即xmax为定点型目标向量
Figure BDA0003364753250000082
中的最大元素，可以在xmax-xi的取值范围内预先计算每个取值对应的/>
Figure BDA0003364753250000083
并建立xmax-xi的每个取值与
Figure BDA0003364753250000084
的对应关系，以得到该目标映射关系，在在该定点型目标向量的数据类型为int8时，该定点型目标向量中每个元素对应的取值范围均为-127至127，该xmax-xi的取值范围为0至254，因此，可以在xmax-xi为0时，根据该目标映射关系查找到/>
Figure BDA0003364753250000085
在xmax-xi为2时，根据该目标映射关系查找到/>
Figure BDA0003364753250000086
同理，在xmax-xi为8时，根据该目标映射关系查找到
Figure BDA0003364753250000087
在xmax-xi为254时，根据该目标映射关系查找到/>
Figure BDA0003364753250000088
其中，S3可以是预设的量化尺度，在针对每个目标文本对应的具体的xmax-xi数值，可以从该对应关系中查找对应的
Figure BDA0003364753250000089
这样能够将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够在保证模型识别精度的情况下，有效减少模型运算量，提升模型识别效率。
并且，
Figure BDA00033647532500000810
在K为0至255之间的整数时，只有0至15对应的/>
Figure BDA00033647532500000811
大于预设阈值10-6，在16至255之间的数值对应的/>
Figure BDA00033647532500000812
均为小于10-6，且彼此之间的差值很小，因此可以将该16至255之间的/>
Figure BDA00033647532500000813
近似为该/>
Figure BDA00033647532500000814
这样不仅不会影响模型的精度，也有利于提升模型进行数据处理的速度。也就是说，可以将0至255之间的数值对应的/>
Figure BDA00033647532500000815
中小于该10-6的元素值设置为/>
Figure BDA00033647532500000816
例如，可以用一个寄存器存储该前16个数值，并将后240个数值的存储地址(或者编号)均设置为第16个数值对应的存储地址(或者编号)，第16个数值的编号为十进制的15，该编号15对应存储单元存储的数值为/>
Figure BDA00033647532500000817
将后240个数值的存储地址(或者编号)均设置为15，从而在查询xmax-xi大于15的数值对应的/>
Figure BDA0003364753250000092
时，可以将15对应的数值/>
Figure BDA0003364753250000093
作为输出结果，也可以根据模型精度需要改变该预设阈值的大小，例如可以将256个数值中除0至31以外的剩余224个数值对应的存储地址(或者编号)设置为31，将剩余224个数值对应的/>
Figure BDA0003364753250000094
用编号为0031(十进制)的数据/>
Figure BDA0003364753250000095
代替，并且在根据编号进行数据查找时，由于0至15对应的二进制数据为0000 0000至0000 1111，16至31对应的二进制数据为00010000至00011111，因此可以将编号的第四位为0000至1111的编号作为查找编号，这样不仅能够在保证模型识别精度的情况下，有效缩小模型体积，也能够有效节约查表用时，从而能够有效提升模型识别效率。
可选地，图4是本公开又一示例性实施例出的一种多头注意力层的结构示意图；该多头注意力层的结构可以如图4所示，该多头注意力层还包括：Matmul节点，和与该Matmul节点的输出端耦合的第一反量化节点，该第一反量化节点的输出端与量化节点的输入端耦合；
该Matmul节点用于获取待识别的目标文本序列对应的查询矩阵和键矩阵，该查询矩阵由该目标文本中每个字符对应的查询向量组成，该键矩阵由该目标文本中每个字符对应的键向量组成；
该Matmul节点还用于获取该查询矩阵和键矩阵的目标乘积，以得到由该目标文本中每个字符对应的查询向量与键向量的点积形成的指定矩阵，该指定矩阵为第三比特位的定点型数据，该第三比特位大于该第一比特位；
该第一反量化节点用于对该指定矩阵进行反量化操作以得到该第二比特位的浮点型乘积矩阵；
该量化节点用于对该浮点型乘积矩阵进行量化操作，以得到该第一比特位的目标矩阵，该目标矩阵包括每个字符对应的该定点型目标向量；
该查表节点用于获取该目标矩阵中每个字符对应的该定点型目标向量的最大数值，并获取该定点型目标向量的每个数值与该最大数值的目标差值，针对每个数值与该最大数值的目标差值，根据该目标差值从目标映射关系中查询该数值对应的第一中间值，以得到该定点型目标向量对应的中间值向量，其中，该目标映射关系包括该第一比特位的定点数据类型对应的预设差值范围内不同的差值与第一中间值的对应关系，该第一中间值为第二比特位的浮点型数据，根据该中间值向量确定每个字符对应的该第二比特位的浮点型注意力权重。
示例地，在该第一比特位为8时，该第一比特位的定点数据类型为int8，该(定点数据类型)int8对应的取值范围为-127至127，对应的预设差值取值范围为0至254，其中，该第一中间值可以根据第一预设函数关系式
Figure BDA0003364753250000101
计算得到，K为目标差值，/>
Figure BDA0003364753250000102
为K对应的第一中间值，公式中S3为该量化节点输出的量化尺度，在该定点型目标向量为/>
Figure BDA0003364753250000103
c，d，e均属于-127至127之间的数据，该/>
Figure BDA0003364753250000104
中每个数值对应的目标差值为xmax-c,xmax-d,xmax-e，则数值c对应的第一中间值为/>
Figure BDA0003364753250000105
数值d对应的第一中间值为/>
Figure BDA0003364753250000106
数值e对应的第一中间值为/>
Figure BDA0003364753250000107
从而的带该中间值向量/>
Figure BDA0003364753250000108
进一步地，该查表节点在根据该中间值向量确定每个字符对应的该第二比特位的浮点型注意力权重时，可以包括以下S1至S3所示的步骤：
S1，获取该量化节点输出的量化尺度。
S2，根据该定点型目标向量中的每个数值对应的该目标差值和该量化尺度计算第二中间值，该第二中间值与该第一中间值的数据类型相同。
本步骤中，可以通过第二预设函数关系式计算该第二中间值，该第二预设函数关系式可以是
Figure BDA0003364753250000109
其中M为定点型目标向量的维数，xmax为该定点型目标向量中的最大值，xj为该定点型目标向量中的第j个数据。
S3，根据该中间值向量与该第二中间值确定该浮点型注意力权重。
本步骤中，可以获取该中间值向量中每个数值与该第二中间值的比值，从而得到该浮点型注意力权重。
示例地，在该目标文本对应的定点型目标向量为
Figure BDA0003364753250000111
c，d，e均属于-127至127之间的数据，c，d，e中d最大，该/>
Figure BDA0003364753250000112
中每个数值对应的目标差值为d-c,d-d,d-e，则数值c对应的第一中间值为/>
Figure BDA0003364753250000113
数值d对应的第一中间值为/>
Figure BDA0003364753250000114
数值e对应的第一中间值为/>
Figure BDA0003364753250000115
从而的带该中间值向量/>
Figure BDA0003364753250000116
此时，该第二中间值为/>
Figure BDA0003364753250000117
从而得到该浮点型注意力权重(λ1,λ2，λ3)，λ1为/>
Figure BDA0003364753250000118
λ2为/>
Figure BDA0003364753250000119
λ3为/>
Figure BDA00033647532500001110
以上技术方案，通过查表节点将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率，并且能够保证该预设意图识别量化模型识别意图的精确度，避免全量化的意图识别模型中，准确性较差的问题。
可选地，该预设意图识别量化模型通过以下图5所示方式预先得到，图5是本公开一示例性实施例示出的一种预设意图识别量化模型的训练流程图，如图5所示：
步骤501，获取多个文本样本数据。
其中，该文本序列样本数据包括意图标注数据。
示例地，文本“我要订机票”对应的意图标注数据可以是“订机票”，文本“播放经典英文歌曲”与文本“Play classic English songs”对应的意图标注数据都可以是“播放英文歌曲”。
步骤502，通过该多个文本样本数据对预设初始模型进行训练，以得到第一待定模型。
其中，该预设初始模型中包括至少一个多头注意力层，该多头注意力层包括Matmul节点和Softmax节点，该预设初始模型中的注意力层可以是如图1所示的多头注意力结构。
需要说明的是，一个预设初始模型中可以包括多个多头注意力层，例如，一个transformer或者Bert模型中可以包括多个由多头注意力层组成的编码器和解码器。
步骤503，在该Matmul节点之后添加第一反量化节点，在该第一反量化节点与Softmax节点之间添加量化节点，和与该量化节点的输出端耦合的第二反量化节点，以得到第二待定模型。
其中，该第一反量化节点用于对Matmul节点输出的第三比特位的定点型数据进行反量化操作，以得到该第二比特位的浮点型数据，该量化节点用于对该第一反量化节点输出的该第二比特位的浮点型数据进行量化操作，以得到相应的第一比特位的定点型数据，该第二反量化节点用于对该量化节点输出的第一比特位的定点型数据进行反量化操作，以得到该第一比特位的定点型数据对应的第二比特位的浮点型数据。
步骤504，通过该多个文本样本数据对该第二待定模型进行训练，以得到第三待定模型。
步骤505，从该第三待定模型中获取该量化节点输出的量化尺度。
需要说明的是，该量化尺度在第三待定模型训练完成时，该第三待定模型中的量化节点可以输出该量化尺度。
步骤506，根据该量化尺度生成查表节点。
本步骤中，一种可能的实施方式为：根据该量化尺度计算第一比特位的定点数据类型对应取值范围内每个目标数值对应的第一中间值，该第一中间值为第二比特位的浮点型数据；根据每个目标数值与第一中间值的对应关系生成目标映射关系；建立包括该目标映射关系的该查表节点。
示例地，在该第一比特位的定点数据类型为int8时，该第一比特位的定点数据类型对应的取值范围为-127至127，在该取值范围内，该xmax-xi(即目标数值)的取值范围为0至254，该目标数值xmax-xi对应的第一中间值为
Figure BDA0003364753250000131
其中，xi为定点型目标向量/>
Figure BDA0003364753250000132
中的元素，xmax为定点型目标向量/>
Figure BDA0003364753250000133
中的最大元素，S3可以是预设的量化尺度。可以在xmax-xi的取值范围内(0至254)预先计算每个取值对应的/>
Figure BDA0003364753250000134
即预先计算出在xmax-xi为0时，第一中间值/>
Figure BDA0003364753250000135
在xmax-xi为2时，第一中间值/>
Figure BDA0003364753250000136
在xmax-xi为8时，第一中间值
Figure BDA0003364753250000137
在xmax-xi为254时，第一中间值/>
Figure BDA0003364753250000138
进一步地，在建立包括该目标映射关系的该查表节点是，还可以预先存储用于计算第二中间值的第二预设函数表达式，该第二预设函数表达式可以是
Figure BDA0003364753250000139
其中M表征给定样本对应的定点型目标向量的维数，xmax为给定样本对应的该定点型目标向量中的最大值，xj为定样本对应的该定点型目标向量中的第j个数据，从而生成包括该目标映射关系和第二预设函数表达式的查表节点。
步骤507，通过该查表节点替代该第三待定模型中的该第二反量化节点和该Softmax节点，以得到该预设意图识别量化模型。
其中，该第三待定模型的结构可以如图6所示，图6是本公开又一示例性实施例示出的一种多头注意力结构的示意图，通过用该查表节点(Lookup table)替代图6中的第二反量化节点和该Softmax节点，以得到的如图4所示的多头注意力结构，从而得到包括该图4所示多头注意力结构的预设意图识别量化模型。
以上技术方案，通过该查表节点替代该第三待定模型中的该第二反量化节点和该Softmax节点，以得到该预设意图识别量化模型，能够得到意图识别准确性高，模型运算速度快，模型识别效率高，模型体积较小的预设意图识别量化模型。
图7是本公开一示例性实施例示出的一种意图识别装置的框图，如图7所示，该装置可以包括：
获取模块701，被配置为获取待识别的目标文本；
识别模块702，被配置为将该目标文本作为预设意图识别量化模型的输入，以输出得到该目标文本的目标意图；
其中，该预设意图识别量化模型用于对该目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据该浮点型注意力权重确定该目标文本对应的目标意图，该第一比特位小于该第二比特位。
以上技术方案，能够通过将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率。
可选地，该预设意图识别量化模型包括至少一个多头注意力层，该多头注意力层中包括量化节点，和与该量化节点的输出端耦合的查表节点；
该量化节点用于对该目标文本中字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，并将该定点型目标向量输入该查表节点；
该查表节点用于根据该定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
可选地，该多头注意力层还包括：Matmul节点，和与该Matmul节点的输出端耦合的第一反量化节点，该第一反量化节点的输出端与量化节点的输入端耦合；
该Matmul节点用于获取待识别的目标文本序列对应的查询矩阵和键矩阵，该查询矩阵由该目标文本中每个字符对应的查询向量组成，该键矩阵由该目标文本中每个字符对应的键向量组成；
该Matmul节点还用于获取该查询矩阵和键矩阵的目标乘积，以得到由该目标文本中每个字符对应的查询向量与键向量的点积形成的指定矩阵，该指定矩阵为第三比特位的定点型数据，该第三比特位大于该第一比特位；
该第一反量化节点用于对该指定矩阵进行反量化操作以得到该第二比特位的浮点型乘积矩阵；
该量化节点用于对该浮点型乘积矩阵进行量化操作，以得到该第一比特位的目标矩阵，该目标矩阵包括每个字符对应的该定点型目标向量；
该查表节点用于获取该目标矩阵中每个字符对应的该定点型目标向量的最大数值，并获取该定点型目标向量的每个数值与该最大数值的目标差值，针对每个数值与该最大数值的目标差值，根据该目标差值从目标映射关系中查询该数值对应的第一中间值，以得到该定点型目标向量对应的中间值向量，其中，该目标映射关系包括该第一比特位的定点数据类型对应的预设差值范围内不同的差值与第一中间值的对应关系，该第一中间值为第二比特位的浮点型数据，根据该中间值向量确定每个字符对应的该第二比特位的浮点型注意力权重。
可选地，该查表节点用于：
获取该量化节点输出的量化尺度；
根据该定点型目标向量中的每个数值对应的该目标差值和该量化尺度计算第二中间值，该第二中间值与该第一中间值的数据类型相同；
根据该中间值向量与该第二中间值确定该浮点型注意力权重。
以上技术方案，通过查表节点将确定每个字符对应的第二比特位的浮点型注意力权重过程中复杂的计算过程调整为从该目标映射关系中查找对应关系，以确定该浮点型注意力权重的过程，从而能够有效减少模型运算量，提升模型识别效率，并且能够保证该预设意图识别量化模型识别意图的精确度，避免全量化的意图识别模型中，准确性较差的问题。
可选地，还包括模型训练模块，被配置为：
获取多个文本样本数据，该文本序列样本数据包括意图标注数据；
通过该多个文本样本数据对预设初始模型进行训练，以得到第一待定模型，该预设初始模型中包括至少一个多头注意力层，该多头注意力层包括Matmul节点和Softmax节点；
在该Matmul节点之后添加第一反量化节点，在该第一反量化节点与Softmax节点之间添加量化节点，和与该量化节点的输出端耦合的第二反量化节点，以得到第二待定模型，该第一反量化节点用于对Matmul节点输出的第三比特位的定点型数据进行反量化操作，以得到该第二比特位的浮点型数据，该量化节点用于对该第一反量化节点输出的该第二比特位的浮点型数据进行量化操作，以得到相应的第一比特位的定点型数据，该第二反量化节点用于对该量化节点输出的第一比特位的定点型数据进行反量化操作，以得到该第一比特位的定点型数据对应的第二比特位的浮点型数据；
通过该多个文本样本数据对该第二待定模型进行训练，以得到第三待定模型；
从该第三待定模型中获取该量化节点输出的量化尺度；
根据该量化尺度生成查表节点；
通过该查表节点替代该第三待定模型中的该第二反量化节点和该Softmax节点，以得到该预设意图识别量化模型。
可选地，该模型训练模块，被配置为：
根据该量化尺度计算第一比特位的定点数据类型对应取值范围内每个目标数值对应的第一中间值，该第一中间值为第二比特位的浮点型数据；
根据每个目标数值与第一中间值的对应关系生成目标映射关系；
建立包括该目标映射关系的该查表节点。
以上技术方案，通过该查表节点替代该第三待定模型中的该第二反量化节点和该Softmax节点，以得到该预设意图识别量化模型，能够得到意图识别准确性高，模型运算速度快，模型识别效率高，模型体积较小的预设意图识别量化模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
下面参考图8，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
获取待识别的目标文本；
将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取待识别的目标文本”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种意图识别方法，其所述方法包括：
获取待识别的目标文本；
将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述预设意图识别量化模型包括至少一个多头注意力层，所述多头注意力层中包括量化节点，和与所述量化节点的输出端耦合的查表节点；
所述量化节点用于对所述目标文本中字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，并将所述定点型目标向量输入所述查表节点；
所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述多头注意力层还包括：Matmul节点，和与所述Matmul节点的输出端耦合的第一反量化节点，所述第一反量化节点的输出端与量化节点的输入端耦合；
所述Matmul节点用于获取待识别的目标文本序列对应的查询矩阵和键矩阵，所述查询矩阵由所述目标文本中每个字符对应的查询向量组成，所述键矩阵由所述目标文本中每个字符对应的键向量组成；
所述Matmul节点还用于获取所述查询矩阵和键矩阵的目标乘积，以得到由所述目标文本中每个字符对应的查询向量与键向量的点积形成的指定矩阵，所述指定矩阵为第三比特位的定点型数据，所述第三比特位大于所述第一比特位；
所述第一反量化节点用于对所述指定矩阵进行反量化操作以得到所述第二比特位的浮点型乘积矩阵；
所述量化节点用于对所述浮点型乘积矩阵进行量化操作，以得到所述第一比特位的目标矩阵，所述目标矩阵包括每个字符对应的所述定点型目标向量。
根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，包括：
所述查表节点获取所述目标矩阵中每个字符对应的所述定点型目标向量的最大数值，并获取所述定点型目标向量的每个数值与所述最大数值的目标差值，针对每个数值与所述最大数值的目标差值，根据该目标差值从目标映射关系中查询该数值对应的第一中间值，以得到所述定点型目标向量对应的中间值向量，其中，所述目标映射关系包括所述第一比特位的定点数据类型对应的预设差值范围内不同的差值与第一中间值的对应关系，所述第一中间值为第二比特位的浮点型数据，根据所述中间值向量确定每个字符对应的所述第二比特位的浮点型注意力权重。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述根据所述中间值向量确定每个字符对应的所述第二比特位的浮点型注意力权重，包括：
获取所述量化节点输出的量化尺度；
根据所述定点型目标向量中的每个数值对应的所述目标差值和所述量化尺度计算第二中间值，所述第二中间值与所述第一中间值的数据类型相同；
根据所述中间值向量与所述第二中间值确定所述浮点型注意力权重。
根据本公开的一个或多个实施例，示例6提供了示例1-5任一项的方法，所述预设意图识别量化模型通过以下方式预先得到：
获取多个文本样本数据，所述文本序列样本数据包括意图标注数据；
通过所述多个文本样本数据对预设初始模型进行训练，以得到第一待定模型，所述预设初始模型中包括至少一个多头注意力层，所述多头注意力层包括Matmul节点和Softmax节点；
在所述Matmul节点之后添加第一反量化节点，在所述第一反量化节点与Softmax节点之间添加量化节点，和与所述量化节点的输出端耦合的第二反量化节点，以得到第二待定模型，所述第一反量化节点用于对Matmul节点输出的第三比特位的定点型数据进行反量化操作，以得到所述第二比特位的浮点型数据，所述量化节点用于对所述第一反量化节点输出的所述第二比特位的浮点型数据进行量化操作，以得到相应的第一比特位的定点型数据，所述第二反量化节点用于对所述量化节点输出的第一比特位的定点型数据进行反量化操作，以得到所述第一比特位的定点型数据对应的第二比特位的浮点型数据；
通过所述多个文本样本数据对所述第二待定模型进行训练，以得到第三待定模型；
从所述第三待定模型中获取所述量化节点输出的量化尺度；
根据所述量化尺度生成查表节点；
通过所述查表节点替代所述第三待定模型中的所述第二反量化节点和所述Softmax节点，以得到所述预设意图识别量化模型。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述根据所述量化尺度生成查表节点，包括：
根据所述量化尺度计算第一比特位的定点数据类型对应取值范围内每个目标数值对应的第一中间值，所述第一中间值为第二比特位的浮点型数据；
根据每个目标数值与第一中间值的对应关系生成目标映射关系；
建立包括所述目标映射关系的所述查表节点。
根据本公开的一个或多个实施例，示例8提供了一种意图识别装置，所述装置包括：
获取模块，被配置为获取待识别的目标文本；
识别模块，被配置为将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位。
根据本公开的一个或多个实施例，示例9提供了示例8的装置，所述预设意图识别量化模型包括至少一个多头注意力层，所述多头注意力层中包括量化节点，和与所述量化节点的输出端耦合的查表节点；
所述量化节点用于对所述目标文本中字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，并将所述定点型目标向量输入所述查表节点；
所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
根据本公开的一个或多个实施例，示例10提供了示例9的装置，所述多头注意力层还包括：Matmul节点，和与所述Matmul节点的输出端耦合的第一反量化节点，所述第一反量化节点的输出端与量化节点的输入端耦合；
所述Matmul节点用于获取待识别的目标文本序列对应的查询矩阵和键矩阵，所述查询矩阵由所述目标文本中每个字符对应的查询向量组成，所述键矩阵由所述目标文本中每个字符对应的键向量组成；
所述Matmul节点还用于获取所述查询矩阵和键矩阵的目标乘积，以得到由所述目标文本中每个字符对应的查询向量与键向量的点积形成的指定矩阵，所述指定矩阵为第三比特位的定点型数据，所述第三比特位大于所述第一比特位；
所述第一反量化节点用于对所述指定矩阵进行反量化操作以得到所述第二比特位的浮点型乘积矩阵；
所述量化节点用于对所述浮点型乘积矩阵进行量化操作，以得到所述第一比特位的目标矩阵，所述目标矩阵包括每个字符对应的所述定点型目标向量。
根据本公开的一个或多个实施例，示例11提供了示例10的装置，所述查表节点用于获取所述目标矩阵中每个字符对应的所述定点型目标向量的最大数值，并获取所述定点型目标向量的每个数值与所述最大数值的目标差值，针对每个数值与所述最大数值的目标差值，根据该目标差值从目标映射关系中查询该数值对应的第一中间值，以得到所述定点型目标向量对应的中间值向量，其中，所述目标映射关系包括所述第一比特位的定点数据类型对应的预设差值范围内不同的差值与第一中间值的对应关系，所述第一中间值为第二比特位的浮点型数据，根据所述中间值向量确定每个字符对应的所述第二比特位的浮点型注意力权重。
根据本公开的一个或多个实施例，示例12提供了示例11的装置，所述查表节点用于：
获取所述量化节点输出的量化尺度；
根据所述定点型目标向量中的每个数值对应的所述目标差值和所述量化尺度计算第二中间值，所述第二中间值与所述第一中间值的数据类型相同；
根据所述中间值向量与所述第二中间值确定所述浮点型注意力权重。
根据本公开的一个或多个实施例，示例13提供了示例8-12任一项所述的装置，还包括模型训练模块，被配置为：
获取多个文本样本数据，所述文本序列样本数据包括意图标注数据；
通过所述多个文本样本数据对预设初始模型进行训练，以得到第一待定模型，所述预设初始模型中包括至少一个多头注意力层，所述多头注意力层包括Matmul节点和Softmax节点；
在所述Matmul节点之后添加第一反量化节点，在所述第一反量化节点与Softmax节点之间添加量化节点，和与所述量化节点的输出端耦合的第二反量化节点，以得到第二待定模型，所述第一反量化节点用于对Matmul节点输出的第三比特位的定点型数据进行反量化操作，以得到所述第二比特位的浮点型数据，所述量化节点用于对所述第一反量化节点输出的所述第二比特位的浮点型数据进行量化操作，以得到相应的第一比特位的定点型数据，所述第二反量化节点用于对所述量化节点输出的第一比特位的定点型数据进行反量化操作，以得到所述第一比特位的定点型数据对应的第二比特位的浮点型数据；
通过所述多个文本样本数据对所述第二待定模型进行训练，以得到第三待定模型；
从所述第三待定模型中获取所述量化节点输出的量化尺度；
根据所述量化尺度生成查表节点；
通过所述查表节点替代所述第三待定模型中的所述第二反量化节点和所述Softmax节点，以得到所述预设意图识别量化模型。
根据本公开的一个或多个实施例，示例14提供了示例13的装置，所述模型训练模块，被配置为：
根据所述量化尺度计算第一比特位的定点数据类型对应取值范围内每个目标数值对应的第一中间值，所述第一中间值为第二比特位的浮点型数据；
根据每个目标数值与第一中间值的对应关系生成目标映射关系；
建立包括所述目标映射关系的所述查表节点。
根据本公开的一个或多个实施例，示例15提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-7中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例16提供了一种电子设备，其特征在于，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现示例1-7中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种意图识别方法，其特征在于，所述方法包括：
获取待识别的目标文本；
将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位；
所述预设意图识别量化模型包括至少一个多头注意力层，所述多头注意力层中包括查表节点；所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
2.根据权利要求1所述的方法，其特征在于，所述多头注意力层中包括量化节点，所述查表节点与所述量化节点的输出端耦合；
所述量化节点用于对所述目标文本中字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，并将所述定点型目标向量输入所述查表节点。
3.根据权利要求2所述的方法，其特征在于，所述多头注意力层还包括：Matmul节点，和与所述Matmul节点的输出端耦合的第一反量化节点，所述第一反量化节点的输出端与量化节点的输入端耦合；
所述Matmul节点用于获取待识别的目标文本序列对应的查询矩阵和键矩阵，所述查询矩阵由所述目标文本中每个字符对应的查询向量组成，所述键矩阵由所述目标文本中每个字符对应的键向量组成；
所述Matmul节点还用于获取所述查询矩阵和键矩阵的目标乘积，以得到由所述目标文本中每个字符对应的查询向量与键向量的点积形成的指定矩阵，所述指定矩阵为第三比特位的定点型数据，所述第三比特位大于所述第一比特位；
所述第一反量化节点用于对所述指定矩阵进行反量化操作以得到所述第二比特位的浮点型乘积矩阵；
所述量化节点用于对所述浮点型乘积矩阵进行量化操作，以得到所述第一比特位的目标矩阵，所述目标矩阵包括每个字符对应的所述定点型目标向量。
4.根据权利要求3所述的方法，其特征在于，所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，包括：
所述查表节点获取所述目标矩阵中每个字符对应的所述定点型目标向量的最大数值，并获取所述定点型目标向量的每个数值与所述最大数值的目标差值，针对每个数值与所述最大数值的目标差值，根据该目标差值从目标映射关系中查询该数值对应的第一中间值，以得到所述定点型目标向量对应的中间值向量，其中，所述目标映射关系包括所述第一比特位的定点数据类型对应的预设差值范围内不同的差值与第一中间值的对应关系，所述第一中间值为第二比特位的浮点型数据，根据所述中间值向量确定每个字符对应的所述第二比特位的浮点型注意力权重。
5.根据权利要求4所述的方法，其特征在于，所述根据所述中间值向量确定每个字符对应的所述第二比特位的浮点型注意力权重，包括：
获取所述量化节点输出的量化尺度；
根据所述定点型目标向量中的每个数值对应的所述目标差值和所述量化尺度计算第二中间值，所述第二中间值与所述第一中间值的数据类型相同；
根据所述中间值向量与所述第二中间值确定所述浮点型注意力权重。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述预设意图识别量化模型通过以下方式预先得到：
获取多个文本样本数据，所述文本样本数据包括意图标注数据；
通过所述多个文本样本数据对预设初始模型进行训练，以得到第一待定模型，所述预设初始模型中包括至少一个多头注意力层，所述多头注意力层包括Matmul节点和Softmax节点；
在所述Matmul节点之后添加第一反量化节点，在所述第一反量化节点与Softmax节点之间添加量化节点，和与所述量化节点的输出端耦合的第二反量化节点，以得到第二待定模型，所述第一反量化节点用于对Matmul节点输出的第三比特位的定点型数据进行反量化操作，以得到所述第二比特位的浮点型数据，所述量化节点用于对所述第一反量化节点输出的所述第二比特位的浮点型数据进行量化操作，以得到相应的第一比特位的定点型数据，所述第二反量化节点用于对所述量化节点输出的第一比特位的定点型数据进行反量化操作，以得到所述第一比特位的定点型数据对应的第二比特位的浮点型数据；
通过所述多个文本样本数据对所述第二待定模型进行训练，以得到第三待定模型；
从所述第三待定模型中获取所述量化节点输出的量化尺度；
根据所述量化尺度生成查表节点；
通过所述查表节点替代所述第三待定模型中的所述第二反量化节点和所述Softmax节点，以得到所述预设意图识别量化模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述量化尺度生成查表节点，包括：
根据所述量化尺度计算第一比特位的定点数据类型对应取值范围内每个目标数值对应的第一中间值，所述第一中间值为第二比特位的浮点型数据；
根据每个目标数值与第一中间值的对应关系生成目标映射关系；
建立包括所述目标映射关系的所述查表节点。
8.一种意图识别装置，其特征在于，所述装置包括：
获取模块，被配置为获取待识别的目标文本；
识别模块，被配置为将所述目标文本作为预设意图识别量化模型的输入，以输出得到所述目标文本的目标意图；
其中，所述预设意图识别量化模型用于对所述目标文本中每个字符对应的查询向量与键向量的点积进行量化操作，以得到第一比特位的定点型目标向量，根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重，根据所述浮点型注意力权重确定所述目标文本对应的目标意图，所述第一比特位小于所述第二比特位；
所述预设意图识别量化模型包括至少一个多头注意力层，所述多头注意力层中包括查表节点；所述查表节点用于根据所述定点型目标向量通过目标映射关系确定每个字符对应的第二比特位的浮点型注意力权重。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202111402778.1A 2021-11-19 2021-11-19 意图识别方法、装置、可读介质及电子设备 Active CN114090740B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111402778.1A CN114090740B (zh) 2021-11-19 2021-11-19 意图识别方法、装置、可读介质及电子设备
PCT/CN2022/132141 WO2023088280A1 (zh) 2021-11-19 2022-11-16 意图识别方法、装置、可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111402778.1A CN114090740B (zh) 2021-11-19 2021-11-19 意图识别方法、装置、可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN114090740A CN114090740A (zh) 2022-02-25
CN114090740B true CN114090740B (zh) 2023-07-07

Family

ID=80303964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111402778.1A Active CN114090740B (zh) 2021-11-19 2021-11-19 意图识别方法、装置、可读介质及电子设备

Country Status (2)

Country Link
CN (1) CN114090740B (zh)
WO (1) WO2023088280A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090740B (zh) * 2021-11-19 2023-07-07 北京有竹居网络技术有限公司 意图识别方法、装置、可读介质及电子设备
CN114648101B (zh) * 2022-05-13 2022-08-12 杭州研极微电子有限公司 基于transformer结构的softmax函数量化实现方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159346A (zh) * 2019-12-27 2020-05-15 深圳物控智联科技有限公司 基于意图识别的智能答疑方法、服务器及存储介质
WO2020140612A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 基于卷积神经网络的意图识别方法、装置、设备及介质
CN112313642A (zh) * 2018-04-20 2021-02-02 脸谱公司 助理系统进行的用于代理匹配的意图识别

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563208B (zh) * 2019-01-29 2023-06-30 株式会社理光 一种意图识别的方法、装置及计算机可读存储介质
CN112287672A (zh) * 2019-11-28 2021-01-29 北京京东尚科信息技术有限公司 文本意图识别方法及装置、电子设备、存储介质
CN112417855A (zh) * 2020-11-20 2021-02-26 平安科技（深圳）有限公司 文本意图识别方法、装置以及相关设备
CN113255354B (zh) * 2021-06-03 2021-12-07 北京达佳互联信息技术有限公司 搜索意图识别方法、装置、服务器及存储介质
CN114090740B (zh) * 2021-11-19 2023-07-07 北京有竹居网络技术有限公司 意图识别方法、装置、可读介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313642A (zh) * 2018-04-20 2021-02-02 脸谱公司 助理系统进行的用于代理匹配的意图识别
WO2020140612A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 基于卷积神经网络的意图识别方法、装置、设备及介质
CN111159346A (zh) * 2019-12-27 2020-05-15 深圳物控智联科技有限公司 基于意图识别的智能答疑方法、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟奎 ; 刘梦赤 ; 胡婕 ; .基于字符级循环网络的查询意图识别模型.计算机工程.2017,(03),全文. *

Also Published As

Publication number Publication date
CN114090740A (zh) 2022-02-25
WO2023088280A1 (zh) 2023-05-25

Similar Documents

Publication Publication Date Title
CN110298413B (zh) 图像特征提取方法、装置、存储介质及电子设备
CN114090740B (zh) 意图识别方法、装置、可读介质及电子设备
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN113470619B (zh) 语音识别方法、装置、介质及设备
CN113436620B (zh) 语音识别模型的训练方法、语音识别方法、装置、介质及设备
CN111883117B (zh) 语音唤醒方法及装置
CN112364860A (zh) 字符识别模型的训练方法、装置和电子设备
CN113449070A (zh) 多模态数据检索方法、装置、介质及电子设备
WO2023273596A1 (zh) 确定文本相关性的方法、装置、可读介质及电子设备
CN110198473B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN115270717A (zh) 一种立场检测方法、装置、设备及介质
CN113591490B (zh) 信息处理方法、装置和电子设备
CN114067327A (zh) 文本识别方法、装置、可读介质及电子设备
WO2023138361A1 (zh) 图像处理方法、装置、可读存储介质及电子设备
CN111949837A (zh) 信息处理方法、装置、电子设备以及存储介质
CN111653261A (zh) 语音合成方法、装置、可读存储介质及电子设备
CN111090993A (zh) 属性对齐模型训练方法及装置
CN113986958B (zh) 文本信息的转换方法、装置、可读介质和电子设备
CN111782895B (zh) 检索处理方法、装置、可读介质及电子设备
CN116821327A (zh) 文本数据处理方法、装置、设备、可读存储介质及产品
CN111581455B (zh) 文本生成模型的生成方法、装置和电子设备
CN113947060A (zh) 文本转换方法、装置、介质及电子设备
CN111382233A (zh) 一种相似文本检测方法、装置、电子设备及存储介质
CN111626044A (zh) 文本生成方法、装置、电子设备及计算机可读存储介质
CN111737572A (zh) 搜索语句生成方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant