CN113469237B - 用户意图识别方法、装置、电子设备及存储介质 - Google Patents

用户意图识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113469237B
CN113469237B CN202110720754.4A CN202110720754A CN113469237B CN 113469237 B CN113469237 B CN 113469237B CN 202110720754 A CN202110720754 A CN 202110720754A CN 113469237 B CN113469237 B CN 113469237B
Authority
CN
China
Prior art keywords
recognition
value
network
training sample
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110720754.4A
Other languages
English (en)
Other versions
CN113469237A (zh
Inventor
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110720754.4A priority Critical patent/CN113469237B/zh
Publication of CN113469237A publication Critical patent/CN113469237A/zh
Application granted granted Critical
Publication of CN113469237B publication Critical patent/CN113469237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及预测模型领域，揭露一种用户意图识别方法，包括：利用语言识别网络对第一训练样本集语义识别得到第一预测输出值，利用所述语言识别网络根据预设化简方法改编得到的改进识别网络对第一训练样本集语义识别得到第二预测输出值；根据第一预测输出值及第二预测输出值得到第一损失值；利用改进识别网络对第二训练样本集语义识别得到第三预测输出值，根据第三预测输出值与第二训练样本集的标注值得到第二损失值；根据第一损失值及第二损失值构建组合损失函数；利用第二训练样本集及组合损失函数对改进识别网络进行迭代训练。本发明还揭露用户意图识别装置、设备及介质。本发明可以减小用户意图识别的时间的同时，增加用户意图识别的准确性。

Description

用户意图识别方法、装置、电子设备及存储介质
技术领域
本发明涉及预测模型领域，尤其涉及一种用户意图识别方法、装置、电子设备及计算机可读存储介质。
背景技术
随着自然语言处理技术(Natural Language Processing，NLP)的快速发展，各行各业逐渐采用包含语言识别网络的智能机器人与客户进行对话，例如，销售行业一般采用智能机器人进行电话销售。
电话销售要求所述语言识别网络要在极短的时间内明白用户意图，目前行业内为了使得智能机器人能够更好的理解不同语音的含义，需要不断训练语言识别网络，使得所述语言识别网络的复杂程度逐渐增加。采用这种方法，虽然语言识别网络的识别能力得到有效增强，但是网络的复杂度带来的运算负担也逐渐加重，导致模型训练的运算处理时间的增大，极大限制了语言识别网络在短时间内的用户意图识别能力。
发明内容
本发明提供一种用户意图识别方法，其主要目的在于减小用户意图识别的时间的同时，增加用户意图识别的准确性。
为实现上述目的，本发明提供的一种用户意图识别方法，包括：
获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集；
根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值；
利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数；
利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
可选的，所述利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，包括：
利用所述语言识别网络的输入层中的特征提取网络对所述第一训练样本集进行特征提取，得到特征向量；
对所述特征向量进行降维处理，得到连续的特征向量；
利用所述语言识别网络的处理层中的特征识别网络对所述特征向量进行语义识别，得到多种语义识别结果，及每种语义识别结果的得分；
根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到所述多种语义识别结果的第一预测输出值。
可选的，归一化操作，包括：
利用下述归一化函数将各个所述得分进行归一化操作，得到第一预测输出值：
其中，所述T为温度系数，所述为在温度系数为T的情况下，所述第一预测输出值中第i种语义识别结果的概率输出值，所述zi为所述第i种语义识别结果的得分，所述∑jexp(zj)为所有语义识别结果的得分的总和。
可选的，所述利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值，包括：
利用下述第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值：
其中，所述L第一为所述第一损失值，所述T为温度系数的数值，所述为在温度系数为T的情况下，第i种语义识别结果的第二预测输出值，所述/>为在温度系数为T的情况下，第i种语义识别结果的第一预测输出值。
可选的，所述获取用户输入的语言文字，包括：
获取用户的电话音频数据，对所述电话音频数据进行去噪处理，得到去噪数据；
利用预构建的语音识别服务将所述去噪数据进行语音转文字操作，得到所述电话音频数据对应的语言文字。
可选的，所述根据所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型，包括：
步骤I、利用所述改进识别模型对所述第二训练样本集进行语义识别，得到预测结果；
步骤II、利用所述组合损失函数计算所述预测结果与所述第二训练样本集对应的标注值之间的组合损失值；
步骤III、当所述组合损失值的求导值大于预设的标准阈值时，更新所述改进识别网络中的参数，并返回上述步骤I的操作；
步骤IV、当所述组合损失值的求导值小于或等于所述标准阈值，得到所述改进识别模型。
可选的，所述利用所述改进识别模型处理所述语言文字，得到用户的意图之后，所述方法还包括：
根据预设的业务要求构建场景对话表；
根据所述用户的意图对所述场景对话表进行查询，得到场景对话，并利用所述场景对话与所述用户进行对话。
为了解决上述问题，本发明还提供一种用户意图识别装置，所述装置包括：
网络样本获取模块，用于获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集；
第一损失函数值获取模块，用于根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值，及利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
第二损失函数值获取模块，用于利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
模型构建模块，用于根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数，及利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
用户意图识别模块，用于获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的用户意图识别方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的用户意图识别方法。
本发明实施例利用语言识别网络及所述语音识别网络简化改编得到的改进识别网络对同一无标注的第一训练样本集进行语义识别，得到所述语言识别网络及所述语音识别网络之间的第一损失值；进一步利用所述改进识别网络对有标注的第二训练样本集进行语义识别，得到第三预测输出值，计算所述改进识别网络的语义识别结果与真实结果之间的第二损失值，进一步根据所述第一损失值及第二损失值构建组合损失函数，通过所述组合损失函数对改进识别网络进行训练，得到训练完成的改进识别模型，使得所述改进识别模型的语义识别结果更精确。此外，所述改进识别网络由语言识别网络化简得到，更能快速、高效地对用户输入的语言文字进行识别，快速准确地得到用户的意图。因此，本发明实施例所述的用户意图识别方法、装置、电子设备及存储介质能够在减小用户意图识别的时间的同时，增加用户意图识别的准确性。
附图说明
图1为本发明一实施例提供的用户意图识别方法的流程示意图；
图2为本发明第一实施例中图1提供的用户意图识别方法其中一个步骤的详细流程示意图；
图3为本发明一实施例提供的用户意图识别装置的模块示意图；
图4为本发明一实施例提供的实现用户意图识别方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种用户意图识别方法。所述用户意图识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述用户意图识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的用户意图识别方法的流程示意图。在本发明实施例中，所述用户意图识别方法包括：
S1、获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集。
本发明实施例中，所述语言识别网络为一种可用于自然语言识别的神经网络，为语言识别模型如BERT(Bidirectional Encoder Representation from Transformers)、GPT、GPT2.0等模型中的重要组成部分，可为所述语言识别模型提供运算参数。
其中，本发明实施例中的所述语言识别网络为已训练完成的，而所述改进识别网络是所述语言识别网络经过量化、剪枝等操作得到的一种网络深度更小、总体参数更轻量级的简化网络。其中，所述语言识别网络与所述改进识别网络结构组成相似，都具有输入层、处理层及输出层。
进一步的，所述训练样本集为可用于待文本识别的文字字段，本发明实施例根据文字字段是否存在人为添加的标注，将训练样本集分为无标注的所述第一训练样本集与有标注的所述第二训练样本集。
本发明实施例中，所述语言识别网络每处理一次识别任务，产生的识别结果都会存储在所述语言识别网络中作为识别下一次文本的知识，随着任务量的增多，所述语言识别网络的复杂程度已经足够庞大，存储了的海量知识，所述语音识别网络能够准确识别各个文本的意图，但由于较多的计算参数、较大的计算量，使得所述语言识别网络无法在短时间内得到预测结果。
为适应电话销售等需要快速反应的场景的需求，本发明实施例预先将所述语言识别网络简化改编为所述改进识别网络，所述改进识别网络虽能快速得到预测结果，但所述改进识别网络由于网络简化、知识不足，达到的效果远不如所述语言识别网络，所以仍需要通过下述过程进行效果提升。
S2、根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值。
所述温度系数为一种控制所述预测输出值中的数据分布情况的参数，例如，所述温度系数至于【0，1】之间，温度系数越大，所述第一预测输出值中各个类别概率间的差距越小，温度系数越小，所述第一预测输出值中各个类别概率间的差距越大。
详细的，如图2所示，本发明实施例中，所述利用所述语言识别网络对所述第一训练样本进行语义识别计算，得到第一预测输出值，包括：
S21、利用所述语言识别网络的输入层中的特征提取网络对所述第一训练样本集进行特征提取，得到特征向量；
S22、对所述特征向量进行降维处理，得到连续的特征向量；
S23、利用所述语言识别网络的处理层中的特征识别网络对所述特征向量进行语义识别，得到各类别的得分；
S24、根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到第一预测输出值。
本发明实施例中，所述特征提取网络为一种卷积神经网络，可以将所述第一训练样本集中的各个数据进行卷积提取，得到所述第一训练样本集中各个字词对应的特征向量。而所述特征向量为离散性的，本发明实施例通过预构建的向量映射(Embedding)方法对所述离散的特征向量进行维度下降处理，得到预设维度，如二维，的特征向量。通过二维数值可以表述各个特征向量，大大增加所述特征向量的连续性，有利于增加后续特征识别过程的效率。其中，所述Embedding为一种将离散变量转变为连续向量的方式，此处不加以赘述。
进一步的，所述特征识别网络为一种神经网络，其中包括大量互相连通的神经元，每个神经元中存在一个特征向量。所述特征识别网络通过神经元将各个特征向量进行排列组合，将最近似的特征向量组合到一起，得到各个大特征，并判断所述大特征与各个语义识别结果的符合程度，得到所述得分。将所述得分导入所述所述语言识别网络的输出层的分类函数softmax中，可以将所述得分转化为百分比形式的所述第一预测输出值。其中，所述softmax为一种归一化函数。
其中，所述第一预测输出值的表达式如下：
其中，所述qi为所述第一预测输出值中第i种语义识别结果的概率输出值，所述zi为所述第i种语义识别结果的得分，所述∑j exp(zj)为全部语义识别结果(共j个)的得分的总和。
本发明实施例中，所述第一预测输出值的分布熵较小，只有一两个语义识别结果存在较大概率，而很多语义识别结果的概率值均为较小值，甚至0％，而通过所述温度系数可以将各个语义识别结果的概率值间的差距减小。
进一步的，本发明实施例中，所述根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到第一预测输出值，包括：
利用下述归一化函数将各个所述得分进行归一化操作，得到第一预测输出值：
其中，所述T为温度系数的数值，所述为在温度系数为T的情况下，所述第一预测输出值中第i种语义识别结果的概率输出值。
本发明实施例通过上述得分除以温度系数T的方法，可以得到各个语义识别结果的输出概率值间差距较小的所述第一预测输出值。其中，本发明实施例将特征向量真实的标注类别定义为正标签，特征向量无关的标注类别定义为负标签，通过温度系数T修改的第一预测输出值更加注重负标签的比重，可以为后续改进识别网络的训练提供更多的负标签相关的知识。
与上述语义识别计算过程同理，本发明实施例利用所述语言识别网络中使用的温度系数T，对所述改进识别网络进行语义识别，得到各个语义识别结果的输出概率值间差距较小的第二预测输出值。其中，所述第二预测输出值的表达式如下：
其中，所述T为温度系数的数值，所述为在温度系数为T的情况下，所述第二预测输出值中的第i种语义识别结果的概率输出值，所述vi为改进识别网络得到的所述第i种语义识别结果对应的得分。
S3、利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值。
其中，所述交叉熵计算是一种估量模型的预测结果与真实标注之间的不一致程度的非负实值函数。
本发明实施例中，所述改进识别网络由所述语言识别网络改进而成，产生的结果应该相近，但由于所述改进识别网络更为简化，导致所述改进识别网络存储的知识更少，无法得到较为精准的计算结果。为增加所述改进识别网络输出结果的准确性，本发明实施例利用下述第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值：
其中，所述L第一为所述第一损失函数值。
S4、利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值。
本发明实施例，在所述温度系数T设置为1的情况下，对含有标注的所述第二训练样本集进行语义识别计算，得到各语义识别结果的输出概率值间差距较大的第三预测输出值，其中所述第三预测输出值的表达式如下：
其中，所述为温度系数为1时，所述第三预测输出值中第i种语义识别结果的概率输出值。
进一步的，将所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算：
其中，所述L第二为所述第二损失值，所述ci所述标注值中第i语义识别结果的概率，ci∈{0，1}，当第i种语义识别结果为正标签时，ci取1，当第i种语义识别结果为负标签时，ci取0。
本发明实施例通过所述改进识别网络对含有标注的所述第二训练样本集进行语义识别计算，其中，各个标注中正标签类型对应的概率为1，负标签类型对应的概率为0，通过第二损失函数值对所述改进识别网络的识别过程进行监督，极大的增强所述改进识别网络中关于正标签的知识。
S5、根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数。
本发明实施例通过所述第一损失值，使得所述改进识别网络的识别结果可以逐渐接近所述语言识别网络的识别结果，实现将所述语言识别网络的复杂网络中存储的知识传授给所述改进识别网络。再通过所述第二损失值可以将所述改进识别网络的知识与真实的标注值进行对比，使得所述改进识别网络的识别结果可以逐渐接近真实。
本发明实施例根据所述第一损失值及所述第二损失值，通过预设的排列组合试验，计算所述第一损失函数及所述第二损失函数的权重系数，确保所述L第一与所述L第二至于同一数量级，保证所述第一损失函数与所述第二损失函数能够发挥同一数量级别的效果。
本发明实施例，通过权重计算，实现将所述第一损失函数及所述第二损失函数进行组合，得到组合损失函数：
L组合＝αL第一+βL第二
其中，所述L组合为组合损失函数，所述α与β为两个权重系数。
本发明实施例还可根据具体情况对所述权重系数进行重新选择，得到效果最好的的组合损失函数。
S6、利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型。
本发明实施例将所述组合损失函数加载至所述改进识别网络的输出层之前，用于对所述改进识别网络的预测结果进行监督，使得所述改进识别网络的预测结果逐渐接近真实的所述标注值与所述第一预测输出值。
详细的，本发明实施例中，所述利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型，包括：
步骤I、利用所述改进识别模型对所述第二训练样本集进行语义识别，得到预测结果；
步骤II、利用所述组合损失函数计算所述预测结果与所述第二训练样本集对应的标注值之间的组合损失值；
步骤III、当所述组合损失值的求导值大于预设的标准阈值时，更新所述改进识别网络中的参数，并返回上述步骤I的操作；
步骤IV、当所述组合损失值的求导值小于或等于所述标准阈值，得到所述改进识别模型。
本发明实施例利用所述组合损失函数与所述改进识别网络构建一个待训练改进识别模型，并利用所述第二训练样本集对所述待训练改进识别模型进行训练，生成所述预测结果集。
进一步的，将所述标注值中的各个标注作为标注点进行二维平面映射，得到一个标注统计图，本发明实施例利用所述预测结果集中的各个预测结果在所述标注统计图中构建一条曲线，计算所述曲线与所述标注统计图中各个标注点的方差，得到所述组合损失值。本发明实施例通过所述组合损失值自动更新所述曲线的曲率及偏差等曲线参数，使得所述曲线能够经过尽可能多的标注点。
其中，本发明一个实施例中，对所述曲线进行求导计算，得到求导值，当所述求导值小于预设的标准阈值，如0.15，则判定所述曲线逐渐平缓，表明所述组合损失值达到收敛。
当所述组合损失值未达到收敛时，更新所述曲线参数之后，再从所述第二训练样本集中提取下一个训练样本进行训练，得到新的预测结果，根据所述训练样本对应的标注点、所述新的预测结果，进一步更新所述预测结果统计图、损失值、曲线参数，使得所述损失值越来越小、所述曲线越来越接近各个标注点，直至所述组合损失值达到收敛。当所述组合损失值不在降低，达到收敛时，所述曲线基本能经过各个标注点，所述待训练改进识别模型的训练过程完成，得到所述改进识别模型。
S7、获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
详细的，本发明实施例中，所述获取用户输入的语言文字，包括：
获取用户的电话音频数据，对所述电话音频数据进行去噪处理，得到去噪数据；
利用预构建的语音识别服务将所述去噪数据进行语音转文字操作，得到所述电话音频数据对应的语言文字。
本发明实施例将所述改进识别模型载入预构建的电话销售机器人后，进行电话推销，能获取用户的电话音频数据通过预构建的滤波器对所述电话音频数据进行去噪，得到去噪数据，再通过电话销售机器人中的语音识别服务，将所述去噪数据转化为语言文字。其中，所述去噪过程能够减小所述电话音频数据中的噪声干扰，增加语音转文字过程的准确率。此外，本发明实施例通过所述改进识别模型处理所述语言文字，能够快速高效的识别所述语言文字中表达的用户意图。
进一步的，本发明实施例中，所述利用所述改进识别模型处理所述语言文字，得到用户的意图之后，所述方法还包括：
根据预设的业务要求构建场景对话表；
根据所述用户的意图对所述场景对话表进行查询，得到场景对话，并利用所述场景对话对所述用户进行对话。
本发明另一实施例可以通过构建一个场景对话表，用于对用户的反馈。每当所述改进识别模型获得一个用户意图时，可以通过一个规则引擎判定所述用户意图所述场景，在根据所述场景查询所述场景对话表，得到场景对话来与用户进行智能对话。
本发明实施例利用语言识别网络及所述语音识别网络简化改编得到的改进识别网络对同一无标注的第一训练样本集进行语义识别，得到所述语言识别网络及所述语音识别网络之间的第一损失值；进一步利用所述改进识别网络对有标注的第二训练样本集进行语义识别，得到第三预测输出值，计算所述改进识别网络的语义识别结果与真实结果之间的第二损失值，进一步根据所述第一损失值及第二损失值构建组合损失函数，通过所述组合损失函数对改进识别网络进行训练，得到训练完成的改进识别模型，使得所述改进识别模型的语义识别结果更精确。此外，所述改进识别网络由语言识别网络化简得到，更能快速、高效地对用户输入的语言文字进行识别，快速准确地得到用户的意图。因此，本发明实施例能够在减小用户意图识别的时间的同时，增加用户意图识别的准确性。
如图3所示，是本发明用户意图识别装置的功能模块图。
本发明所述用户意图识别装置100可以安装于电子设备中。根据实现的功能，所述用户意图识别装置可以包括网络样本获取模块101、第一损失函数值获取模块102、第二损失函数值获取模块103、模型构建模块104以及用户意图识别模块105。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述网络样本获取模块101，用于获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注的第二训练样本集。
本发明实施例中，所述语言识别网络为一种可用于自然语言识别的神经网络，为语言识别模型如BERT(Bidirectional Encoder Representation from Transformers)、GPT、GPT2.0等模型中的重要组成部分，可为所述语言识别模型提供运算参数。
其中，本发明实施例中的所述语言识别网络为已训练完成的，而所述改进识别网络是所述语言识别网络经过量化、剪枝等操作得到的一种网络深度更小、总体参数更轻量级的简化网络。其中，所述语言识别网络与所述改进识别网络结构组成相似，都具有输入层、处理层及输出层。
进一步的，所述训练样本集为可用于文本识别的文字字段，本发明实施例根据文字字段是否存在人为添加的标注，将训练样本集分为无标注的所述第一训练样本集与有标注的所述第二训练样本集。
本发明实施例中，所述语言识别网络每处理一次识别任务，产生的识别结果都会存储在所述语言识别网络中作为识别下一次文本的知识，随着任务量的增多，所述语言识别网络的复杂程度已经足够庞大，通过已存储的海量知识，所述语音识别网络能够准确识别各个文本的意图，但由于较多的计算参数、较大的计算量，使得所述语言识别网络无法在短时间内得到预测结果。
为适应电话销售等需要快速反应的场景的需求，本发明实施例预先将所述语言识别网络简化改编为所述改进识别网络，所述改进识别网络虽能快速得到预测结果，但所述改进识别网络由于网络简化、知识不足，达到的效果远不如所述语言识别网络，所以仍需要通过下述过程进行效果提升。
所述第一损失函数值获取模块102，用于根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值，及利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值。
所述温度系数为一种控制所述预测输出值中的数据分布情况的参数，例如，所述温度系数至于【0，1】之间，温度系数越大，所述第一预测输出值中各个类别概率间的差距越小，温度系数越小，所述第一预测输出值中各个类别概率间的差距越大。
详细的，本发明实施例中，所述第一损失函数值获取模块102在利用所述语言识别网络对所述第一训练样本进行语义识别计算，得到第一预测输出值时，具体用于：
利用所述语言识别网络的输入层中的特征提取网络对所述第一训练样本集进行特征提取，得到特征向量；
对所述特征向量进行降维处理，得到连续的特征向量；
利用所述语言识别网络的处理层中的特征识别网络对所述特征向量进行语义识别，得到各类别的得分；
根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到第一预测输出值。
本发明实施例中，所述特征提取网络为一种卷积神经网络，可以将所述第一训练样本集中的各个数据进行卷积提取，得到所述第一训练样本集中各个字词对应的特征向量。而所述特征向量为离散性的，本发明实施例通过预构建的向量映射(Embedding)方法对所述离散的特征向量进行维度下降处理，得到预设维度，如二维，的特征向量。通过二维数值可以表述各个特征向量，大大增加特征向量的连续性，有利于增加后续特征识别过程的效率。其中，所述Embedding为一种将离散变量转变为连续向量的方式，此处不加以赘述。
进一步的，所述特征识别网络为一种神经网络，其中包括大量互相连通的神经元，每个神经元中存在一个特征向量。所述特征识别网络通过神经元将各个特征向量进行排列组合，将最近似的特征向量组合到一起，得到各个大特征，并判断所述大特征与各个语义识别结果的符合程度，得到所述得分。将所述得分导入所述所述语言识别网络的输出层的分类函数softmax中，可以将所述得分转化为百分比形式的所述第一预测输出值。其中，所述softmax为一种归一化函数。
其中，所述第一预测输出值的表达式如下：
/>
其中，所述qi为所述第一预测输出值中第i种语义识别结果的概率输出值，所述zi为所述第i种语义识别结果的得分，所述∑j exp(zj)为全部语义识别结果(共j个)的得分的总和。
本发明实施例中，所述第一预测输出值的分布熵较小，只有一两个语义识别结果存在较大概率，而很多语义识别结果的概率值均为较小值，甚至0％，而通过所述温度系数可以将各个语义识别结果的概率值间的差距减小。
进一步的，本发明实施例中，所述根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到第一预测输出值，包括：
利用下述归一化函数将各个所述得分进行归一化操作，得到第一预测输出值：
其中，所述T为温度系数的数值，所述为在温度系数为T的情况下，所述第一预测输出值中第i种语义识别结果的概率输出值。
本发明实施例通过上述得分除以温度系数T的方法，可以得到各个语义识别结果的输出概率值间差距较小的所述第一预测输出值。其中，本发明实施例将特征向量真实的标注类别定义为正标签，特征向量无关的标注类别定义为负标签，通过温度系数T修改的第一预测输出值更加注重负标签的比重，可以为后续改进识别网络的训练提供更多的负标签相关的知识。
与上述语义识别计算过程同理，本发明实施例利用所述语言识别网络中使用的温度系数T，对所述改进识别网络进行语义识别，得到各个语义识别结果的输出概率值间差距较小的第二预测输出值。其中，所述第二预测输出值的表达式如下：
其中，所述T为温度系数的数值，所述为在温度系数为T的情况下，所述第二预测输出值中的第i种语义识别结果的概率输出值，所述vi为改进识别网络得到的所述第i种语义识别结果对应的得分。
其中，所述交叉熵计算是一种估量模型的预测结果与真实标注之间的不一致程度的非负实值函数。
本发明实施例中，所述改进识别网络由所述语言识别网络改进而成，预测结果应该相近，但由于所述改进识别网络更为简化，导致所述改进识别网络存储的知识更少，无法得到较为精准的计算结果。为增加所述改进识别网络运算结果的准确性，本发明实施例利用下述第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值：
其中，所述L第一为所述第一损失函数值。
所述第二损失函数值获取模块103，用于利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值。
本发明实施例，在所述温度系数T设置为1的情况下，对含有标注的所述第二训练样本集进行语义识别计算，得到各语义识别结果的输出概率值间差距较大的第三预测输出值，其中所述第三预测输出值的表达式如下：
其中，所述为温度系数为1时，所述第三预测输出值中第i种语义识别结果的概率输出值。
进一步的，将所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算：
其中，所述L第二为所述第二损失值，所述ci所述标注值中第i语义识别结果的概率，ci∈{0，1}，当第i种语义识别结果为正标签时，ci取1，当第i种语义识别结果为负标签时，ci取0。
本发明实施例通过所述改进识别网络对含有标注的所述第二训练样本集进行语义识别，其中，各个标注中正标签类型对应的概率为1，负标签类型对应的概率为0，通过第二损失函数值对所述改进识别网络的识别过程进行监督，极大的增强所述改进识别网络中关于正标签的知识。
所述模型构建模块104，用于根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数，及根据所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型。
本发明实施例通过所述第一损失值，使得所述改进识别网络的识别结果可以逐渐接近所述语言识别网络的识别结果，实现将所述语言识别网络的复杂网络中存储的知识传授给所述改进识别网络。再通过所述第二损失值可以将所述改进识别网络的知识与真实的标注值进行对比，使得所述改进识别网络的识别结果可以逐渐接近真实。
本发明实施例根据所述第一损失值及所述第二损失值，通过预设的排列组合试验，计算所述第一损失函数及所述第二损失函数的权重系数，确保所述L第一与所述L第二至于同一数量级，保证所述第一损失函数与所述第二损失函数能够发挥同一数量级别的效果。
本发明实施例，通过权重计算，实现将所述第一损失函数及所述第二损失函数进行组合，得到组合损失函数：
L组合＝αL第一+βL第二
其中，所述L组合为组合损失函数，所述α与β为两个权重系数。
本发明实施例还可根据具体情况对所述权重系数进行重新选择，得到效果最好的的组合损失函数。
本发明实施例将所述组合损失函数加载至所述改进识别网络的输出层之前，用于对所述改进识别网络的预测结果进行监督，使得所述改进识别网络的预测结果逐渐接近真实的所述标注值与所述第一预测输出值。
详细的，本发明实施例中，所述模型构建模块104在利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型时，具体用于：
功能I、利用所述改进识别模型对所述第二训练样本集进行语义识别，得到预测结果；
功能II、利用所述组合损失函数计算所述预测结果与所述第二训练样本集对应的标注值之间的组合损失值；
功能III、当所述组合损失值的求导值大于预设的标准阈值时，更新所述改进识别网络中的参数，并返回上述功能I的操作；
功能IV、当所述组合损失值的求导值小于或等于所述标准阈值，得到所述改进识别模型。
本发明实施例利用所述组合损失函数与所述改进识别网络构建一个待训练改进识别模型，并利用所述第二训练样本集对所述待训练改进识别模型进行训练，生成所述预测结果集。
进一步的，将所述标注值中的各个标注作为标注点进行二维平面映射，得到一个标注统计图，本发明实施例利用所述预测结果集中的各个预测结果在所述标注统计图中构建一条曲线，计算所述曲线与所述标注统计图中各个标注点的方差，得到所述组合损失值。本发明实施例通过所述组合损失值自动更新所述曲线的曲率及偏差等曲线参数，使得所述曲线能够经过尽可能多的标注点。
其中，本发明一个实施例中，对所述曲线进行求导计算，得到求导值，当所述求导值小于所述标准阈值，如0.15，则判定所述曲线逐渐平缓，表明所述组合损失值达到收敛。
当所述组合损失值未达到收敛时，更新所述曲线参数之后，再从所述第二训练样本集中提取下一个训练样本进行训练，得到新的预测结果，根据所述训练样本对应的标注点、所述新的预测结果，进一步更新所述预测结果统计图、损失值、曲线参数，使得所述损失值越来越小、所述曲线越来越接近各个标注点，直至所述组合损失值达到收敛。当所述组合损失值不在降低，达到收敛时，所述曲线基本能经过各个标注点，所述待训练改进识别模型的训练过程完成，得到所述改进识别模型。
所述用户意图识别模块105，用于获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
详细的，本发明实施例中，所述用户意图识别模块105在获取用户输入的语言文字时，具体用于：
获取用户的电话音频数据，对所述电话音频数据进行去噪处理，得到去噪数据；
利用预构建的语音识别服务将所述去噪数据进行语音转文字操作，得到所述电话音频数据对应的语言文字。
本发明实施例将所述改进识别模型载入预构建的电话销售机器人后，进行电话推销，能获取用户的电话音频数据通过预构建的滤波器对所述电话音频数据进行去噪，得到去噪数据，再通过电话销售机器人中的语音识别服务，将所述去噪数据转化为语言文字。其中，所述去噪过程能够减小所述电话音频数据中的噪声干扰，增加语音转文字过程的准确率。此外，本发明实施例通过所述改进识别模型处理所述语言文字，能够快速高效的识别所述语言文字中表达的用户意图。
进一步的，本发明实施例中，所述用户意图识别模块105利用所述改进识别模型处理所述语言文字，得到用户的意图之后，还用于：
根据预设的业务要求构建场景对话表；
根据所述用户的意图对所述场景对话表进行查询，得到场景对话，并利用所述场景对话对所述用户进行智能对话。
本发明另一实施例可以通过构建一个场景对话表，用于对用户的反馈。每当所述改进识别模型获得一个用户意图时，可以通过一个规则引擎判定所述用户意图所述场景，在根据所述场景查询所述场景对话表，得到场景对话来与用户进行智能对话。
本发明实施例利用语言识别网络及改进识别网络对同一无标注的第一训练样本集进行语义识别，分别得到第一预测输出值及第二预测输出值，通过计算第一预测输出值与第二预测输出值之间的交叉熵，得到第一损失值。其中，所述第一损失值可以判断语言识别网络与所述改进识别网络的预测结果间的差距。利用改进识别网络对有标注的第二训练样本集进行语义识别，得到第三预测输出值，计算第三预测输出值与所述标注之间的交叉熵，得到第二损失值。其中，所述第二损失值可以判断改进识别网络的预测结果与真实结果之间的差距。本发明实施例根据第一损失值及第二损失值分析第一损失函数与第二损失函数的权重系数，得到一个组合损失函数，通过组合损失函数对改进识别网络进行训练，使得改进识别网络的识别结果既贴近所述语言识别网络的识别结果，又贴近真实的所述标注，最终得到训练完成的改进识别模型。其中，所述改进识别网络由语言识别网络化简得到，所以改进识别网络比语言识别网络更加快速、高效地对用户输入的语言文字进行识别，快速准确地得到用户的意图。因此，本发明实施例的主要目的在于减小用户意图识别的时间的同时，增加用户意图识别的准确性。
如图4所示，是本发明实现用户意图识别方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如用户意图识别程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行用户意图识别程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如用户意图识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的用户意图识别程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：
获取预构建的语言识别网络，及所述语言识别网络简化改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集；
根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值；
利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数；
利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取预构建的语言识别网络，及所述语言识别网络简化改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集；
根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值；
利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数；
利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种用户意图识别方法，其特征在于，所述方法包括：
获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注值的第二训练样本集；
根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值；
利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数；
利用所述第二训练样本集及所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
2.如权利要求1所述的用户意图识别方法，其特征在于，所述利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，包括：
利用所述语言识别网络的输入层中的特征提取网络对所述第一训练样本集进行特征提取，得到特征向量；
对所述特征向量进行降维处理，得到连续的特征向量；
利用所述语言识别网络的处理层中的特征识别网络对所述特征向量进行语义识别，得到多种语义识别结果，及每种语义识别结果的得分；
根据所述温度系数，利用所述语言识别网络的输出层的归一化函数将各个所述得分进行归一化操作，得到所述多种语义识别结果的第一预测输出值。
3.如权利要求1所述的用户意图识别方法，其特征在于，所述获取用户输入的语言文字，包括：
获取用户的电话音频数据，对所述电话音频数据进行去噪处理，得到去噪数据；
利用预构建的语音识别服务将所述去噪数据进行语音转文字操作，得到所述电话音频数据对应的语言文字。
4.如权利要求1所述的用户意图识别方法，其特征在于，所述根据所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型，包括：
步骤I、利用所述改进识别模型对所述第二训练样本集进行语义识别，得到预测结果；
步骤II、利用所述组合损失函数计算所述预测结果与所述第二训练样本集对应的标注值之间的组合损失值；
步骤III、当所述组合损失值的求导值大于预设的标准阈值时，更新所述改进识别网络中的参数，并返回上述步骤I的操作；
步骤IV、当所述组合损失值的求导值小于或等于所述标准阈值，得到所述改进识别模型。
5.如权利要求1所述的用户意图识别方法，其特征在于，所述利用所述改进识别模型处理所述语言文字，得到用户的意图之后，所述方法还包括：
根据预设的业务要求构建场景对话表；
根据所述用户的意图对所述场景对话表进行查询，得到场景对话，并利用所述场景对话与所述用户进行对话。
6.一种用户意图识别装置，其特征在于，所述装置包括：
网络样本获取模块，用于获取预构建的语言识别网络，及所述语言识别网络根据预设化简方法改编得到的改进识别网络，并获取预构建的不携带标注的第一训练样本集及携带标注的第二训练样本集；
第一损失函数值获取模块，用于根据预设的温度系数，利用所述语言识别网络对所述第一训练样本集进行语义识别，得到第一预测输出值，及利用所述改进识别网络对所述第一训练样本集进行语义识别，得到第二预测输出值，及利用第一损失函数对所述第一预测输出值及所述第二预测输出值进行交叉熵计算，得到第一损失值；
第二损失函数值获取模块，用于利用所述改进识别网络对所述第二训练样本集进行语义识别计算，得到第三预测输出值，并利用第二损失函数对所述第三预测输出值与所述第二训练样本集对应的标注值进行交叉熵计算，得到第二损失值；
模型构建模块，用于根据所述第一损失值以及所述第二损失值，计算所述第一损失函数及所述第二损失函数的权重系数，并利用所述权重系数、所述第一损失函数及所述第二损失函数，构建组合损失函数，及根据所述组合损失函数对所述改进识别网络进行迭代训练，得到改进识别模型；
用户意图识别模块，用于获取用户输入的语言文字，并利用所述改进识别模型处理所述语言文字，得到用户的意图。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任意一项所述的用户意图识别方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的用户意图识别方法。
CN202110720754.4A 2021-06-28 2021-06-28 用户意图识别方法、装置、电子设备及存储介质 Active CN113469237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720754.4A CN113469237B (zh) 2021-06-28 2021-06-28 用户意图识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720754.4A CN113469237B (zh) 2021-06-28 2021-06-28 用户意图识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113469237A CN113469237A (zh) 2021-10-01
CN113469237B true CN113469237B (zh) 2023-09-15

Family

ID=77873574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720754.4A Active CN113469237B (zh) 2021-06-28 2021-06-28 用户意图识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113469237B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114678029B (zh) * 2022-05-27 2022-09-02 深圳市人马互动科技有限公司 语音处理方法、系统、计算机可读存储介质及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237869A1 (zh) * 2019-05-31 2020-12-03 平安科技（深圳）有限公司 一种问题意图识别方法、装置、计算机设备及存储介质
CN112765332A (zh) * 2021-01-05 2021-05-07 西交思创智能科技研究院(西安)有限公司 一种智能对话意图识别方法、系统、存储介质及应用
CN112766319A (zh) * 2020-12-31 2021-05-07 平安科技（深圳）有限公司 对话意图识别模型训练方法、装置、计算机设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237869A1 (zh) * 2019-05-31 2020-12-03 平安科技（深圳）有限公司 一种问题意图识别方法、装置、计算机设备及存储介质
CN112766319A (zh) * 2020-12-31 2021-05-07 平安科技（深圳）有限公司 对话意图识别模型训练方法、装置、计算机设备及介质
CN112765332A (zh) * 2021-01-05 2021-05-07 西交思创智能科技研究院(西安)有限公司 一种智能对话意图识别方法、系统、存储介质及应用

Also Published As

Publication number Publication date
CN113469237A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN109992664B (zh) 争议焦点的标注分类方法、装置、计算机设备和存储介质
CN112183101A (zh) 文本意图识别方法、装置、电子设备及存储介质
CN114780727A (zh) 基于强化学习的文本分类方法、装置、计算机设备及介质
CN111970400B (zh) 骚扰电话识别方法及装置
CN113704410B (zh) 情绪波动检测方法、装置、电子设备及存储介质
CN114647741A (zh) 工艺自动决策和推理方法、装置、计算机设备及存储介质
CN113807103B (zh) 基于人工智能的招聘方法、装置、设备及存储介质
CN114077841A (zh) 基于人工智能的语义提取方法、装置、电子设备及介质
CN113469237B (zh) 用户意图识别方法、装置、电子设备及存储介质
CN113344125B (zh) 长文本匹配识别方法、装置、电子设备及存储介质
CN113658002B (zh) 基于决策树的交易结果生成方法、装置、电子设备及介质
CN113220828B (zh) 意图识别模型处理方法、装置、计算机设备及存储介质
CN111652282B (zh) 基于大数据的用户偏好分析方法、装置及电子设备
CN112989829A (zh) 一种命名实体识别方法、装置、设备及存储介质
CN116701574A (zh) 文本语义相似度计算方法、装置、设备及存储介质
CN114548114B (zh) 文本情绪识别方法、装置、设备及存储介质
CN116468025A (zh) 电子病历结构化方法、装置、电子设备及存储介质
CN116341646A (zh) Bert模型的预训练方法、装置、电子设备及存储介质
CN112363465B (zh) 一种专家规则集训练方法、训练器和工业设备预警系统
CN113515591A (zh) 文本不良信息识别方法、装置、电子设备及存储介质
CN114462411B (zh) 命名实体识别方法、装置、设备及存储介质
CN114880449B (zh) 智能问答的答复生成方法、装置、电子设备及存储介质
CN111178630A (zh) 一种负荷预测方法及装置
CN117974025A (zh) 一种合同风险审批方法、装置、电子设备及存储介质
CN116644761A (zh) 后类别归一化的问诊意图识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant