CN114218392A - 面向期货问答的用户意图识别方法和系统 - Google Patents

Abstract

本申请涉及一种面向期货问答的用户意图识别方法和系统，其中，该方法包括：通过获取用户问句，采用预设实体识别模型对用户问句进行分词和实体识别，根据实体识别的结果，通过粗分类语言模型对用户问句进行预测，确定用户问句的用户意图类别，对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出用户问句的用户意图。通过本申请，解决了用户问句理解精度较低和维度少的问题，实现了通过有层次地细分问句的意图类型，采用适合的语言预测模型进行分别预测，提高了期货领域中问句意图识别的维度和精确度。

Description

面向期货问答的用户意图识别方法和系统

技术领域

本申请涉及自动问答技术领域，特别是涉及一种面向期货问答的用户意图识别方法和系统。

背景技术

在面向期货领域的问答系统中，用户问题一般会都会涉及到开户、软件使用、保证金、品种交易规则等各类客服类问题，也会涉及到期货行情交易、现货库存、仓单等行情交易类结构化数据查询，还会涉及到期货品种新闻资讯、产业政策、投资研报等舆情资讯类查询搜索，或者APP页面打开、页面跳转等指令类问题，或者寻求一些产品走势分析、买卖操作建议、风险提醒等投资建议类问题。在面对这些复杂而多样的用户问句时，如何对用户问句进行全面、精准、有效地识别，真正理解用户意图，是期货领域中实现高效精确的自动问答的关键点之一。

现有的面向期货领域的问答系统，一方面存在对用户问句理解分类维度不够全面的问题，大多系统方法只能够识别处理客服类问句；另一方面还存在语义理解的解精度不够高、通用性较差的问题。

目前针对相关技术中用户问句理解精度较低和维度少的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种面向期货问答的用户意图识别方法和系统，以至少解决相关技术中用户问句理解精度较低和维度少的问题。

第一方面，本申请实施例提供了一种面向期货问答的用户意图识别方法，所述方法包括：

获取用户问句，通过预设实体识别模型对所述用户问句进行分词和实体识别；

根据所述实体识别的结果，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别；

对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出所述用户问句的用户意图。

在其中一些实施例中，对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测包括：

若所述用户意图类别为客服类意图类别，则根据标准客服问句，通过最近邻相似计算逐级细分识别；

若所述用户意图类别为行情类意图类别，则依次识别所述用户问句的数据查询范围、查询库表和查询字段；

若所述用户意图类别为资讯类意图类别，则抽取识别所述用户问句的意图主体标签，以及分类识别所述用户问句的情感极性标签；

若所述用户意图类别为指令类意图类别，则依次识别所述用户问句的意图类型和意图槽位；

若所述用户意图类别为投顾类意图类别，则采用预训练语言模型对所述用户问句进行进一步微调细分识别。

在其中一些实施例中，通过预设实体识别模型对所述用户问句进行分词和实体识别包括：

构建期货用户意图类别体系，根据各用户意图类别归类确定期货行业的语义词典；

通过词嵌入模型计算所述用户问句中每个字的词向量，将所述词向量分别输入预训练深度模型与CFR序列标注模型中，基于BI序列标签体系标注出所述用户问句中的实体；

再构建所述语义词典的Trie树对所述实体进行最大前缀匹配识别，采用正则表达式对时间数字进行识别；

最后采用开源分词工具对所述用户问句进行分词识别，完成对所述用户问句的分词和实体识别。

在其中一些实施例中，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别包括：

通过基于Tansformer注意力机制的Bert预训练语言模型，结合所述用户问句的N条上下文问句，确定所述用户问句的用户意图类别。

在其中一些实施例中，则根据标准客服问句，通过最近邻相似计算逐级细分识别包括：

向量化标准客服问句，按照所述标准客服问句的层级，建立每个层级的层级细分意图的向量化表示，

通过Consine相似度算法计算所述用户问句与若干一级细分意图的相似度，识别出所述用户问句的最佳一级细分意图，再在所述最佳一级细分意图的层级细分意图中逐级细分识别。

在其中一些实施例中，则依次识别所述用户问句的数据查询范围、查询库表和查询字段包括：

通过TextCNN分类模型识别出所述用户问句的数据查询范围；

再通过Biaffine双仿射模型将所述用户问句中的实体与所述数据查询范围内的数据库表字段进行语义对齐，利用tanh函数得到关联匹配度并识别出具体的查询库表；

在所述查询库表中，通过TextCNN分类模型识别出所述用户问句的查询字段。

在其中一些实施例中，则抽取识别所述用户问句的意图主体标签，以及分类识别所述用户问句的情感极性标签包括：

通过CRF序列标注模型与语义词典，抽取识别出所述用户问句的意图主体，再采用正则表达式识别出所述用户问句的资讯时间；

再通过Bert预训练语言模型识别出所述用户问句的情感极性标签和意图事件标签。

在其中一些实施例中，则依次识别所述用户问句的意图类型和意图槽位包括：

通过CharCNN模型识别出所述用户问句的意图类型，根据所述意图类型，从所述用户问句的分词和实体识别的结果中确定潜在实体；

通过预设匹配规则从所述潜在实体中匹配出意图槽位；

对于未能匹配出意图槽位的，通过基于注意力机制的RNN模型识别出意图槽位。

在其中一些实施例中，则采用预训练语言模型对所述用户问句进行进一步微调细分识别包括：

通过Bert Fine-Tuning模型和Softmax分类器对所述用户问句进行进一步微调细分识别。

第二方面，本申请实施例提供了一种面向期货问答的用户意图识别系统，所述系统包括命名实体识别模块、第一意图识别模块和第二意图识别模块；

所述命名实体识别模块获取用户问句，通过预设实体识别模型对所述用户问句进行分词和实体识别；

所述第一意图识别模块根据所述实体识别的结果，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别；

所述第二意图识别模块对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出所述用户问句的用户意图。

相比于相关技术，本申请实施例提供的一种面向期货问答的用户意图识别方法和系统，通过获取用户问句，采用预设实体识别模型对用户问句进行分词和实体识别；根据实体识别的结果，通过粗分类语言模型对用户问句进行预测，确定用户问句的用户意图类别；对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出用户问句的用户意图。解决了用户问句理解精度较低和维度少的问题，实现了通过有层次地细分问句的意图类型，采用适合的语言预测模型进行分别预测，提高了期货领域中问句意图识别的维度和精确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的面向期货问答的用户意图识别方法的步骤流程图；

图2是对用户问句进行分词和实体识别的步骤流程图；

图3是用户问句中分词与实体识别的示意图；

图4是词语句序和位置的分层次编码方式的示意图；

图5是CharCNN文本分类模型的结构示意图；

图6是基于Attention的RNN模型的结构示意图；

图7是根据本申请实施例的面向期货问答的用户意图识别系统的结构框图；

图8是根据本申请实施例的电子设备的内部结构示意图。

附图说明：71、命名实体识别模块；72、第一意图识别模块；73、第二意图识别模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供了一种面向期货问答的用户意图识别方法，图1是根据本申请实施例的面向期货问答的用户意图识别方法的步骤流程图，如图1所示，该方法包括以下步骤：

步骤S102，获取用户问句，通过预设实体识别模型对用户问句进行分词和实体识别。

具体地，图2是对用户问句进行分词和实体识别的步骤流程图，如图2所示，期货领域的问答系统主要对涉及1、开户、保证金和软件使用等人工客服问题；2、期货现货行情交易等结构化数据；3、新闻资讯等非结构化数据；4、APP页面打开跳转等指令类问题；5、产品走势分析、风险提醒等投顾类问题。

因此，步骤S202，构建期货用户意图类别体系。

具体地，该体系中包含用户问句的五种用户意图类别，分别为客服类意图类别、行情类意图类别、资讯类意图类别、指令类意图类别和投顾类意图类别，五种意图类别的层级归类整理具体如下：

1. 客服类意图类别层级归类整理。

期货业务中，有大量的基础知识性及客服性常见问答知识，涵盖了期货业务开户咨询、交易软件、期货品种交易规则、银期绑定、账户密码等各细分类别问题，并且每个小类别中又包含了各个更为精细地的层级细分，例如：期货品种交易规范，又包含了品种交易规则、品种交割规则、保证金制度等。在整理用户意图需要按照多级分类来进行，一般地可以将用户意图按照4或5个层级进行类别细分梳理，具体示例如表1所示：

2. 行情类意图类别层级归类整理。

在期货领域中，行情交易类数据基本上分为现货、期货、外盘等大类，在这些大类数据方面又涉及到品种价格、涨跌幅、涨跌值等各类数据。由于行情交易类意图，既涉及到行情库表数据，也涉及到最大、最小、平均、排序、数量等SQL查询语义意图，分别对应于SQL计算关键字MAX、MIN、AVG、ORDER BY、COUNT等，因此在对行情类用户意图进行归类梳理时，需要将两者结合考虑进行意图梳理。具体示例如表2所示：

3. 资讯类意图类别层级归类整理。

在期货问答系统中还存在大量对期货品种、概念板块、行业政策等各种资讯研报进行查询的问句，具体包括新闻资讯主体、资讯事件查询、利好利空舆情评论和影响面研报分析等。由于新闻资讯类，主要是对期货主体、事件标签、利好利空评论、研报分析等维度标签来归类刻画用户查询意图，新闻资讯类意图主要是标签维度体系，具体示例如表3所示：

4. 指令类意图类别层级归类整理。

在期货领域问答中，用户经常询问到对APP页面进行打开或跳转的情况，这类指令类问句是需根据APP自身页面功能而细化确定，期货APP一般都具有查看期货品种行情、分时图、K线图和委托下单等功能。因此，这里以这类通用APP页面功能进行示例说明指令类意图，具体示例如表4所示：

5. 投顾类意图类别层级归类整理。

在期货问答系统中，除了上述客服类、行情类、资讯类、指令类等客观数据查询或指令执行意图，期货用户一般还对期货行情等进行投资或操作买卖分析等投顾类询问，主要对期货品种或行业板块在中长期、买卖时间点、风险提醒等方面的投顾意图，跟上述资讯类意图类别的整理类似，在此便不再赘述。

步骤S204，根据期货用户意图类别体系中的各用户意图类别，归类确定期货行业的语义词典。

具体地，对各意图类别中的语料文本进行分析，归类确定出期货行业的语义词典（期货行业术语词汇）。在金融领域较为常见的实体类别有：人物（Person）、时间（Time）、数值(Num)、地点（Local）、机构(Org)、期货市场(Future)、交易所（Market）、价格（Price）、交易标的（Goods）和金融指标（Index）等，而非实体的词语类别有名词(norm)、动词(verb)、形容词(adj)和副词(adv)等基本词类。

步骤S206，通过词嵌入模型计算用户问句中每个字的词向量，将词向量分别输入预训练深度模型与CFR序列标注模型中，基于BI序列标签体系标注出用户问句中的实体。

具体地，图3是用户问句中分词与实体识别的示意图，如图3所示，以“澳洲铁矿石暴跌5％”这一句子为例，将文本输入按照字进行，每个文字的词向量采用Word2Vec等词嵌入模型（Word Embedding）进行预训练，拼接融合字的拼音、字体笔画结构等信息获得各个字最终的词向量（Word Embedding向量化表示）。将词向量分别输入BiLSTM预训练深度模型与CFR序列标注模型中，基于BI序列标签体系标注出用户问句中的实体，如“澳洲”表示为：澳/B-Local 洲/I-Local；“铁矿石”表示为：铁/B- Future 矿/I- Future 石/I- Future，其中，词语序列标签分类如B-Local、I-Local等采用One-Hot编码表示。且CRF层面采用Viterbi算法进行解码。

进一步地，由于模型分词存在训练不充分或过拟合等问题，用户问句中的一些词语不能有效识别，因此在分词识别阶段，可以采用结合人工词典的方式完善分词。具体示例如表5所示：

步骤S208，再构建语义词典的Trie树对实体进行最大前缀匹配识别，采用正则表达式对时间数字进行识别，完成对用户问句的实体识别。

具体地，基于步骤S204归类确认的语义词典和步骤S205标注好的实体，构建语义词典的Trie树对实体进行最大前缀匹配识别，采用正则表达式对时间数字进行识别。

步骤S210，最后采用开源分词工具对用户问句进行分词识别，完成对用户问句的分词和实体识别。

具体地，对于用户问句中非实体部分，采用Jieba、LTP等开源分词工具进行分词识别，完成对用户问句的分词和实体识别。

步骤S104，根据实体识别的结果，通过粗分类语言模型对用户问句进行预测，确定用户问句的用户意图类别。

具体地，根据实体识别的结果，通过基于Tansformer注意力机制的Bert预训练语言模型，结合用户问句的N条上下文问句，确定用户问句的用户意图类别。

获取当前用户问句在一定上下文时间窗口的N条（一般取3）上文问句，对问句执行 步骤S102中的分词与实体识别，后对问句中识别到的每个词语采用Word2Vec等词嵌入模型 （Word Embedding）训练得到词向量，最终得到当前用户问句和上下文问句词向量，同时加 上每一个词语的句序和位置向量（当前用户问句句序为1，前1条问句句序为2，依次类推）， 从而将词序列位置等信息编码到语义表示中。图4是词语句序和位置的分层次编码方式的 示意图，如图4所示，当前用户问句和N条上文问句共N+1条问句，最终分词后组装成一个语 义向量，语义向量中词语的位置编码信息通过公式

确定， 其中，

为句序i中第j个词语term(i,j)的位置编码信息，Ui表示句序i的句序编码 向量（已经训练好的Bert绝对位置编码向量），Uj表示当前词语位置为j的位置编码向量（已 经训练好的Bert绝对位置编码向量），

为预设参数，n表示每单个句子最大含有词语数量 （一般为512或1024）。由于上下文问句数量一般在5句以内，远远小于每个问句最大词语数 量，因此上述层次位置表示能够有效处理各种上下文长度的情况。

将上述编码后的最终的问句词向量输入到Bert预训练语言模型的多层Transformer 网络中，每一层 Transformer 网络主要由 Multi-head self-attention 层（多头自注意力机制）和前馈网络层两个子层构成。Multi-head self-attention 会并行地执行多个不同参数的 self-attention，并将各个self-attention 的结果拼接作为后续网络的输入，然后网络会将其输入到前馈网络层以计算非线性层次的特征。

最后得到当前用户问句的对应编码表示，加一个线性层和 softmax 计算得到用户意图大类标签的分布及概率，确定用户问句的用户意图类别。此外，预测损失可以反向传播调整 BERT网络。

步骤S106，对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出用户问句的用户意图。

具体地，用户意图类别包括但不限于客服类意图类别、行情类意图类别、资讯类意图类别、指令类意图类别和投顾类意图类别。

若用户意图类别为客服类意图类别，则根据标准客服问句，通过最近邻相似计算逐级细分识别；若用户意图类别为行情类意图类别，则依次识别用户问句的数据查询范围、查询库表和查询字段；若用户意图类别为资讯类意图类别，则抽取识别用户问句的意图主体标签，以及分类识别用户问句的情感极性标签；若用户意图类别为指令类意图类别，则依次识别用户问句的意图类型和意图槽位；若用户意图类别为投顾类意图类别，则采用预训练语言模型对用户问句进行进一步微调细分识别。

通过本申请实施例中的步骤S102至步骤S106，解决了用户问句理解精度较低和维度少的问题，实现了通过有层次地细分问句的意图类型，采用适合的语言预测模型进行分别预测，提高了期货领域中问句意图识别的维度和精确度。

在其中一些实施例中，步骤S106，根据标准客服问句，通过最近邻相似计算逐级细分识别包括：

向量化标准客服问句，按照标准客服问句的层级，建立每个层级的层级细分意图的向量化表示，

通过Consine相似度算法计算用户问句与若干一级细分意图的相似度，识别出用户问句的最佳一级细分意图，再在最佳一级细分意图的层级细分意图中逐级细分识别。

具体的，客户类意图类别是按照期货业务范围进行逐级细分的，采用最近邻相似计算方式进行逐级分类识别

将标准客服问句中的每一个层级视为一个聚类，该聚类集合为该细分层级下面全部标准问题。将每个聚类集合的全部标准问句进行分词与实体识别，然后采用word2Vec进行向量化表示，再将聚类中心向量设置为基于该聚类集合的标准问句的向量交叠加权平均，每个向量的权重可以采用统一平均赋值，也可以根据每个标准问句的相似句数量或标准问句的先验权重。即对标准客服类问句按照层级建立起了每个层级的层级细分意图的向量化表示。

在逐级细分识别中，首先识别用户问句的一级细分意图，具体是将若干一级细分意图的聚类中心向量与用户问句向量分别采用Consine相似度算法进行相似计算，排序后得到相似度TOP1、TOP2、…、TOPn。如果TOP1相似度大于一定阈值，并且TOP1与TOP2细分意图相似度差值大于一定阈值，那么则认为TOP1是最佳一级细分意图；否则是存在意图歧义或意图不清。对于二级、三级细分意图，也采用同样的方式进行识别处理。从而得到客服类最终细分意图。

在其中一些实施例中，步骤S106，依次识别用户问句的数据查询范围、查询库表和查询字段包括：

通过TextCNN分类模型识别出用户问句的数据查询范围；

再通过Biaffine双仿射模型将用户问句中的实体与数据查询范围内的数据库表字段进行语义对齐，利用tanh函数得到关联匹配度并识别出具体的查询库表；

在查询库表中，通过TextCNN分类模型识别出用户问句的查询字段。

具体地，首先，确定数据查询范围。期货业务行情数据主要有现货数据、期货、外盘等几大类，采用TextCNN分类模型来识别用户问句的数据查询范围。跟前文大类意图识别类似。具体采用word2vec训练工具训练词向量将用户问句转化为向量表示；然后进行补0操作，变成等长向量化表示；再构建TextCNN模型并迭代训练，用验证集进行准确率测试以得到最佳模型。TextCNN将用户问句中词语长度为n，每个词语向量为k维的输入向量，经过卷积层转化为多个长度1024特征向量，在经过池化层和全连接后进行softmax确定最佳的数据查询范围。

其次，确定查询库表。采用Word2Vec分别将数据查询范围内的数据库名称、库表字段转化为向量，然后将向量进行拼接组装成库表语义向量矩阵，最终将数据库表转化成了N*K矩阵向量；再采用Word2Vec将用户问句转化为向量表示；通过Biaffine双仿射模型，将问句中的实体与库表字段进行语义对齐，对齐语义特征信息进行表征，将对齐信息通过线性映射转化为1维变量，利用双曲正切tanh函数确定问句与数据库表的关联匹配度，进而获得数据查询范围内每个库表与当前问句的匹配程度，根据最低相似阈值和间隔梯度阈值（如第2和第3的阈值差不能大于t，否则就不取第3相似的，即使第3的相似阈值满足最低值条件），划分确定出相关TOP-K（K个具体的查询库表）。其中，K一般取值1~3，除个别复杂的多库表关联查询问句，否则涉及的查询库表数量不会超过3个。

再次，确定查询字段。根据上述确认得到的库表字段（含SQL关键字衍生字段），主要是将潜在数据库表字段（中文字段名、同义词、字段描述等）进行向量化表示，然后将字段向量分别与用户问句中的词语组块进行交叠向量特征对齐计算，即每个库表字段向量分别与用户问句中的一定窗口（一般为3个词语）的词语块向量进行交叠特征计算，再采用TextCNN分类模型判别两者是否具有包含重叠关系，如果数据库字段与问句的某个词块存在包含关系，则认为其是用户问句的查询字段。

在其中一些实施例中，步骤S106，抽取识别用户问句的意图主体标签，以及分类识别用户问句的情感极性标签包括：

通过CRF序列标注模型与语义词典，抽取识别出用户问句的意图主体，再采用正则表达式识别出用户问句的资讯时间；

再通过Bert预训练语言模型识别出用户问句的情感极性标签和意图事件标签。

具体地，资讯类意图类型的识别主要是进行维度标签组合，需要依次识别出意图主体、意图事件标签、资讯时间、情感极性等关键字及标签以进行查询。

意图主体的识别主要对期货品种、板块进行抽取识别，基于分词和实体识别结果进行特定词性或实体类别判断。通过CRF序列标注模型与语义词典，抽取识别出用户问句的意图主体；资讯时间的识别主要将表示年月日周季时分秒等不同时间单位的有限说法进行统一，根据时间正则表达式进行识别，最终转化为数值化统一时间。

除了意图主体、资讯时间等直接从问句文本中抽取的标签外，还需要识别用户问句所查询的意图事件标签、情感极性标签等，而这类标签一般不直接存在于用户问句的文本中，要采用分类的方式进行识别，具体通过Bert预训练语言模型进行识别。

此外，还可以用TF-IDF模型对用户问句中的全部词语进行关键词权重打分，然后采用Hownet、同义词林等开放同义词典资源进行问句扩展，并用这些词语对资讯标题、内容文本进行检索，从而兜底召回用户相关资讯研报文章。

在其中一些实施例中，步骤S106，依次识别用户问句的意图类型和意图槽位包括：

通过CharCNN模型识别出用户问句的意图类型，根据意图类型，从用户问句的分词和实体识别的结果中确定潜在实体；

通过预设匹配规则从潜在实体中匹配出意图槽位；

对于未能匹配出意图槽位的，通过基于注意力机制的RNN模型识别出意图槽位。

具体地，在期货领域中，由于APP功能非常繁多，用户使用记忆复杂，指令类主要是为了便于快速通过语音文本进行直接页面打开跳转，例如：“打开铜K线页面”、“以市价挂单买入5手铜”等。指令类意图类别的识别包括意图类别的识别和意图槽位的识别。指令意图类别是采用分类方式，进行层级细分识别，例如先识别出“下单 ”还是“页面跳转”等意图，然后再具体识别指令类相关槽位分支意图，例如对于“下单”来说是“买卖数量”、“买卖标的”等。

通过CharCNN文本分类模型来识别意图类型，其能够提取出较高层级的抽象概念。具体通过Word2Vec将用户问句转化为向量表示，并用全零向量表示不存在字符，然后按照问句词语顺序反向处理词语编码，即反向读取文本，这样做的好处是最新读入的字符总是在输出开始的地方。图5是CharCNN文本分类模型的结构示意图，如图5所示，模型卷积都由6个卷积层和3个全连接层共9层神经网络组成，在三个全连接层之间加入两个dropout层以实现模型正则化，从而完成用户问句到意图类型的识别。

在识别完意图类型之后，就需要进行意图槽位的抽取识别。具体根据意图类型从分词和实体识别结果中确定潜在实体，例如“买卖标的”槽位需定位寻找期货品种或具体合约代码；再根据优先匹配规则进行槽位匹配抽取，例如“单位价格”和“总金额”都是需要价格型数值作为槽位的，但是“以xx元买...”一般说的“单位价格”，而“买入xx元的...”一般说的是“总金额”；

对于未能通过优先匹配规则匹配出意图槽位的，继续采用基于Attention的RNN模型来抽取识别，该模型能结合前面的意图类型的语义信息进行槽位填充，图6是基于Attention的RNN模型的结构示意图，如图6所示，该模型通过引入槽门控机制（slot-gated）来建模插槽和意图向量之间的显式关系，它利用意图（intent）上下文向量来建模槽位-意图（slot-intent）关系，以提高插槽填充性能，

在其中一些实施例中，步骤S106，采用预训练语言模型对用户问句进行进一步微调细分识别包括：

通过Bert Fine-Tuning模型和Softmax分类器对用户问句进行进一步微调细分识别。

具体地，除了数据查询或指令执行问句等客观类别的问句之外，还存在寻求主观投资建议等投顾问句，例如：买卖操作建议、后期走势分析等。这些问题的答案更多是一种主观投资建议，并非完全基于客观数据事实，与前面客观类数据问答有着显著性差异，对它们的回答一般需要进行法律免责或转由专门的客户经理进行对接支持。

因此，将投顾类意图类别划分为：买卖操作建议类、走势分析类、风险提示、投资计划调整类等几个细分类别，由于投顾类类别有限，目前采用转客服经理的方式进行处理。在识别层面，采用Bert Fine-Tuning模式进行细分意图识别，即在Bert预训练语言模型的基础上添加简单的Softmax分类器对下游任务进行微调识别。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供了一种面向期货问答的用户意图识别系统，图7是根据本申请实施例的面向期货问答的用户意图识别系统的结构框图，如图7所示，该系统包括命名实体识别模块71、第一意图识别模块72和第二意图识别模块73；

命名实体识别模块71获取用户问句，通过预设实体识别模型对用户问句进行分词和实体识别；

第一意图识别模块72根据实体识别的结果，通过粗分类语言模型对用户问句进行预测，确定用户问句的用户意图类别；

第二意图识别模块73对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出用户问句的用户意图。

通过本申请实施例中的命名实体识别模块71、第一意图识别模块72和第二意图识别模块73，解决了用户问句理解精度较低和维度少的问题，实现了通过有层次地细分问句的意图类型，采用适合的语言预测模型进行分别预测，提高了期货领域中问句意图识别的维度和精确度。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的面向期货问答的用户意图识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种面向期货问答的用户意图识别方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向期货问答的用户意图识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图8是根据本申请实施例的电子设备的内部结构示意图，如图8所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种面向期货问答的用户意图识别方法，数据库用于存储数据。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向期货问答的用户意图识别方法，其特征在于，所述方法包括：

获取用户问句，通过预设实体识别模型对所述用户问句进行分词和实体识别；

根据所述实体识别的结果，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别；

对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出所述用户问句的用户意图。

2.根据权利要求1所述的方法，其特征在于，对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测包括：

若所述用户意图类别为客服类意图类别，则根据标准客服问句，通过最近邻相似计算逐级细分识别；

若所述用户意图类别为行情类意图类别，则依次识别所述用户问句的数据查询范围、查询库表和查询字段；

若所述用户意图类别为资讯类意图类别，则抽取识别所述用户问句的意图主体标签，以及分类识别所述用户问句的情感极性标签；

若所述用户意图类别为指令类意图类别，则依次识别所述用户问句的意图类型和意图槽位；

若所述用户意图类别为投顾类意图类别，则采用预训练语言模型对所述用户问句进行进一步微调细分识别。

3.根据权利要求1所述的方法，其特征在于，通过预设实体识别模型对所述用户问句进行分词和实体识别包括：

构建期货用户意图类别体系，根据各用户意图类别归类确定期货行业的语义词典；

通过词嵌入模型计算所述用户问句中每个字的词向量，将所述词向量分别输入预训练深度模型与CFR序列标注模型中，基于BI序列标签体系标注出所述用户问句中的实体；

再构建所述语义词典的Trie树对所述实体进行最大前缀匹配识别，采用正则表达式对时间数字进行识别；

最后采用开源分词工具对所述用户问句进行分词识别，完成对所述用户问句的分词和实体识别。

4.根据权利要求1所述的方法，其特征在于，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别包括：

通过基于Tansformer注意力机制的Bert预训练语言模型，结合所述用户问句的N条上下文问句，确定所述用户问句的用户意图类别。

5.根据权利要求2所述的方法，其特征在于，则根据标准客服问句，通过最近邻相似计算逐级细分识别包括：

向量化标准客服问句，按照所述标准客服问句的层级，建立每个层级的层级细分意图的向量化表示，

通过Consine相似度算法计算所述用户问句与若干一级细分意图的相似度，识别出所述用户问句的最佳一级细分意图，再在所述最佳一级细分意图的层级细分意图中逐级细分识别。

6.根据权利要求2所述的方法，其特征在于，则依次识别所述用户问句的数据查询范围、查询库表和查询字段包括：

通过TextCNN分类模型识别出所述用户问句的数据查询范围；

再通过Biaffine双仿射模型将所述用户问句中的实体与所述数据查询范围内的数据库表字段进行语义对齐，利用tanh函数得到关联匹配度并识别出具体的查询库表；

在所述查询库表中，通过TextCNN分类模型识别出所述用户问句的查询字段。

7.根据权利要求2所述的方法，其特征在于，则抽取识别所述用户问句的意图主体标签，以及分类识别所述用户问句的情感极性标签包括：

通过CRF序列标注模型与语义词典，抽取识别出所述用户问句的意图主体，再采用正则表达式识别出所述用户问句的资讯时间；

再通过Bert预训练语言模型识别出所述用户问句的情感极性标签和意图事件标签。

8.根据权利要求2所述的方法，其特征在于，则依次识别所述用户问句的意图类型和意图槽位包括：

通过CharCNN模型识别出所述用户问句的意图类型，根据所述意图类型，从所述用户问句的分词和实体识别的结果中确定潜在实体；

通过预设匹配规则从所述潜在实体中匹配出意图槽位；

对于未能匹配出意图槽位的，通过基于注意力机制的RNN模型识别出意图槽位。

9.根据权利要求2所述的方法，其特征在于，则采用预训练语言模型对所述用户问句进行进一步微调细分识别包括：

通过Bert Fine-Tuning模型和Softmax分类器对所述用户问句进行进一步微调细分识别。

10.一种面向期货问答的用户意图识别系统，其特征在于，所述系统包括命名实体识别模块、第一意图识别模块和第二意图识别模块；

所述命名实体识别模块获取用户问句，通过预设实体识别模型对所述用户问句进行分词和实体识别；

所述第一意图识别模块根据所述实体识别的结果，通过粗分类语言模型对所述用户问句进行预测，确定所述用户问句的用户意图类别；

所述第二意图识别模块对于不同的用户意图类别，分别采取对应的细分类语言模型进行预测，进而得出所述用户问句的用户意图。

Images