CN110362668A - 针对用户问句的分类方法和装置 - Google Patents
针对用户问句的分类方法和装置 Download PDFInfo
- Publication number
- CN110362668A CN110362668A CN201910641064.2A CN201910641064A CN110362668A CN 110362668 A CN110362668 A CN 110362668A CN 201910641064 A CN201910641064 A CN 201910641064A CN 110362668 A CN110362668 A CN 110362668A
- Authority
- CN
- China
- Prior art keywords
- user
- feature
- question sentence
- vector
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 153
- 239000000284 extract Substances 0.000 claims abstract description 48
- 230000003542 behavioural effect Effects 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims description 44
- 238000003780 insertion Methods 0.000 claims description 24
- 230000037431 insertion Effects 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000007787 long-term memory Effects 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种针对用户问句的分类方法和装置，方法包括：将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别，从而能够保证针对用户问句的分类的效果。
Description
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及针对用户问句的分类方法和装置。
背景技术
在机器人客服回答用户问题时，常常会涉及到针对用户问句的分类。例如，确定用户问句对应的标准问句，以便由机器人客服提供该标准问句对应的答案。其中，标准问句也称为标准问题，是根据业务整理的一些用户可能问的问题。每个问题有一个问题标识。
随着人工智能技术的发展，现有技术中，常采用神经网络模型来实现对用户问句的分类，神经网络模型泛化能力强，但常常不能保证效果。
因此，希望能有改进的方案，能够保证针对用户问句的分类的效果。
发明内容
本说明书一个或多个实施例描述了一种针对用户问句的分类方法和装置，能够保证针对用户问句的分类的效果。
第一方面，提供了一种针对用户问句的分类方法，方法包括：
将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；
将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；
将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；
至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。
在一种可能的实施方式中，所述方法还包括：
将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第三特征向量；
所述至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别，包括：
根据所述第一特征向量、所述第二特征向量、所述第三特征向量和所述规则匹配向量，确定所述用户问句的类别。
在一种可能的实施方式中，所述将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量，包括：
将所述用户问句与预先设定的第一类业务规则对应的多个规则标签相匹配，得到与所述用户问句匹配的第一规则标签；
将所述行为特征与预先设定的第二类业务规则中包含的预设特征值相匹配，得到与所述行为特征相匹配的第一预设特征值；
根据所述第一规则标签对应的嵌入向量、所述第一预设特征值对应的嵌入向量，确定所述规则匹配向量。
进一步地，所述根据所述第一规则标签对应的嵌入向量、所述第一预设特征值对应的嵌入向量，确定所述规则匹配向量，包括：
将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量相加，得到总向量；
将所述总向量除以向量个数，得到所述规则匹配向量。
在一种可能的实施方式中，所述至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别，包括：
至少将所述第一特征向量、所述第二特征向量和所述规则匹配向量进行拼接，得到综合特征向量；
根据所述综合特征向量，得到用户问句属于各个类别的各个置信度；
根据所述用户问句和所述行为特征所匹配上的预设业务规则，更新所述各个置信度；
根据更新后的各个类别的各个置信度，确定所述用户问句的类别。
进一步地，所述更新所述各个置信度，包括：
根据所述用户问句和所述行为特征所匹配上的预设业务规则，将该预设业务规则对应类别的置信度增加预设值。
在一种可能的实施方式中，所述第一特征提取模型包括长短期记忆网络(longshort term memory，LSTM)、深度神经网络(deep neural network，DNN)和卷积神经网络(convolutional neural networks，CNN)；
其中，所述LSTM用于对所述用户问句进行特征提取，得到第一特征子向量；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量；所述第一特征子向量、所述第二特征子向量和所述第三特征子向量拼接后得到所述第一特征向量。
在一种可能的实施方式中，所述第二特征提取模型包括深度神经网络DNN。
进一步地，所述第三特征提取模型包括长短期记忆网络LSTM。
在一种可能的实施方式中，所述用户问句的类别包括：
所述用户问句对应的标准问句。
在一种可能的实施方式中，所述用户问句的类别包括：
所述用户问句对应的人工客服技能组。
第二方面，提供了一种针对用户问句的分类装置，装置包括：
第一特征提取单元，用于将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；
第二特征提取单元，用于将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；
规则匹配单元，用于将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；
分类单元，用于至少根据所述第一特征提取单元输出的第一特征向量、所述第二特征提取单元输出的第二特征向量和所述规则匹配单元确定的规则匹配向量，确定所述用户问句的类别。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，首先将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；然后将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；接着将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；最后至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。由上可见，本说明书实施例，将业务规则与神经网络模型相融合，结合了二者的优势，从而能够保证针对用户问句的分类的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的针对用户问句的处理方法流程图；
图3示出根据一个实施例的针对用户问句的分类方法流程图；
图4示出根据一个实施例的第一特征提取模型的结构示意图；
图5示出根据一个实施例的用户问句与业务规则的匹配示意图；
图6示出根据一个实施例的行为特征与业务规则的匹配示意图；
图7示出根据一个实施例的混合输入模型的结构示意图；
图8示出根据一个实施例的针对用户问句的分类装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及针对用户问句的分类，也就是说，确定用户问句归属的类别，上述类别可以但不限于包括用户问句对应的标准问句，或者，用户问句对应的人工客服技能组。参照图1，第一阶段，进行的是用户跟机器对话，也就是说，由机器人客服回答用户问题。第二阶段，进行的是用户跟小二对话，可以理解的是，小二即人工客服，也就是说，由人工客服回答用户问题。在第一阶段，机器无法回答用户问题时，会进入第二阶段，由人工客服回答用户问题。
图2示出根据一个实施例的针对用户问句的处理方法流程图，该方法涵盖了图1所示的第一阶段和第二阶段的处理过程。在第一阶段，引导用户说出需求，机器跟用户对话，详细分析用户需求，进行问题识别，也就是识别用户问句对应的标准问句。当问题识别不成功时，进入第二阶段，智能派单，小二跟用户对话并且标注用户问题，其中，智能派单即确定用户问句对应的人工客服技能组，标注用户问题即标注用户问句对应的标准问句。
在一个示例中，机器在接收到用户问句后，针对用户问句，确定该用户问句对应的标准问句，并将确定的标准问句展示给用户，由用户确认该标准问句是否满足其述求，如果用户确认该标准问句不满足其述求，则由用户补充部分描述，机器会针对该用户问句，再次确定该用户问句对应的标准问句。当确定标准问句的次数达到预定次数，并且仍然不满足用户述求时，确定用户问句对应的人工客服技能组，由人工客服跟用户对话并且标注用户问句对应的标准问句。
上述图1所示的场景中涉及两次分类过程，包括：确定用户问句对应的标准问句和确定用户问句对应的人工客服技能组。需要说明的是，该场景仅为示例，并不用于对本说明书实施例的实施场景的限定，本说明书实施例提供的针对用户问句的分类方法可以但不限于上述两种分类。
图3示出根据一个实施例的针对用户问句的分类方法流程图，该方法可以基于图1所示的应用场景。如图3所示，该实施例中针对用户问句的分类方法包括以下步骤：步骤31，将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；步骤32，将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；步骤33，将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；步骤34，至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。下面描述以上各个步骤的具体执行方式。
首先在步骤31，将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量。可以理解的是，用户问句属于文本类型，因此第一特征提取模型可以采用各种文本输入模型。
在一个示例中，所述第一特征提取模型包括长短期记忆网络(long short termmemory，LSTM)、深度神经网络(deep neural network，DNN)和卷积神经网络(convolutional neural networks，CNN)；
其中，所述LSTM用于对所述用户问句进行特征提取，得到第一特征子向量；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量；所述第一特征子向量、所述第二特征子向量和所述第三特征子向量拼接后得到所述第一特征向量。
图4示出根据一个实施例的第一特征提取模型的结构示意图。参照图4，所述第一特征提取模型包括LSTM、DNN和CNN；其中，所述LSTM用于对用户问句进行特征提取，得到第一特征子向量41；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量42；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量43；所述第一特征子向量41、所述第二特征子向量42和所述第三特征子向量43拼接后得到第一特征向量44。
通常地，可以直接根据第一特征向量44，确定用户问句的类别，但是这样进行分类的效果不佳。本说明书实施例，不仅针对用户问句提取了第一特征向量44，后续还提取了其他的特征，使得能够保证针对用户问句的分类的效果。
然后在步骤32，将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量。可以理解的是，上述预设历史行为的行为特征可以包括任何对分类结果有影响的特征，例如，24小时最近一次求助在线人工类目，24小时最近一次求助热线人工类目，10分钟内场景编码(code)等。
在一个示例中，所述第二特征提取模型包括深度神经网络DNN。
接着在步骤33，将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量。可以理解的是，业务规则可以通过正则表达式(regular expression，RE)来表达，以便用户问句和行为特征与业务规则的匹配。
在一个示例中，将所述用户问句与预先设定的第一类业务规则对应的多个规则标签相匹配，得到与所述用户问句匹配的第一规则标签；将所述行为特征与预先设定的第二类业务规则中包含的预设特征值相匹配，得到与所述行为特征相匹配的第一预设特征值；根据所述第一规则标签对应的嵌入向量、所述第一预设特征值对应的嵌入向量，确定所述规则匹配向量。
进一步地，将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量相加，得到总向量；将所述总向量除以向量个数，得到所述规则匹配向量。
此外，也可以采取将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量直接拼接的方式得到规则匹配向量。
图5示出根据一个实施例的用户问句与业务规则的匹配示意图。参照图5，用户问句匹配上了三个RE标签，分别为借呗、被盗和保险。以RE1为例，用户问句匹配上了RE1：/？[借呗]？/就能判断用户的查询应该是属于借呗类，可以分配给借呗线的人工客服技能组。后续可以根据规则匹配结果调整用户问句对应各类别的各置信度。
图6示出根据一个实施例的行为特征与业务规则的匹配示意图。参照图6，行为特征匹配上了三条规则包含的预设特征值，分别为特征2的特征值“24小时最近一次求助在线人工类目＝花呗”、特征4的特征值“24小时最近一次求助热线人工类目＝花呗”和特征5的特征值“10分钟内场景编码＝保险线”。以特征2为例，行为特征匹配上了特征2，就能判断用户的查询应该是属于安全线，可以分配给安全线的人工客服技能组。后续可以根据规则匹配结果调整用户问句对应各类别的各置信度。
最后在步骤34，至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。可以理解的是，可以对所述第一特征向量、所述第二特征向量和所述规则匹配向量进行连接(concat)后，再确定所述用户问句的类别。其中，连接(concat)也可以称为拼接。
在一个示例中，至少将所述第一特征向量、所述第二特征向量和所述规则匹配向量进行拼接，得到综合特征向量；根据所述综合特征向量，得到用户问句属于各个类别的各个置信度；根据所述用户问句和所述行为特征所匹配上的预设业务规则，更新所述各个置信度；根据更新后的各个类别的各个置信度，确定所述用户问句的类别。
进一步地，根据所述用户问句和所述行为特征所匹配上的预设业务规则，将该预设业务规则对应类别的置信度增加预设值。其中，上述预设值也可以称为预定义的权重。
在一个示例中，所述用户问句的类别包括：
所述用户问句对应的标准问句。
在另一个示例中，所述用户问句的类别包括：
所述用户问句对应的人工客服技能组。
在一个示例中，将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第三特征向量；步骤34具体为根据所述第一特征向量、所述第二特征向量、所述第三特征向量和所述规则匹配向量，确定所述用户问句的类别。
进一步地，所述第三特征提取模型包括长短期记忆网络LSTM。
图7示出根据一个实施例的混合输入模型的结构示意图。参照图7，该混合输入模型包括第一特征提取模型71、第二特征提取模型72和第三特征提取模型73。其中，第一特征提取模型71用于输入用户问句，即用于接收短文本输入(short text input)；第二特征提取模型72用于输入行为特征，即用于接收因子输入(factor input)；第三特征提取模型73用于输入行为轨迹，即用于接收行为输入(behavior input)。规则匹配向量并到各模型输出的特征向量之后，再加上注意力(attention)层之后，最后经过分类器(例如softmax)做分类。
通过本说明书实施例提供的方法，首先将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；然后将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；接着将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；最后至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。由上可见，本说明书实施例，将业务规则与神经网络模型相融合，结合了二者的优势，从而能够保证针对用户问句的分类的效果。
根据另一方面的实施例，还提供一种针对用户问句的分类装置，该装置用于执行本说明书实施例提供的针对用户问句的分类方法。图8示出根据一个实施例的针对用户问句的分类装置的示意性框图。如图8所示，该装置800包括：
第一特征提取单元81，用于将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；
第二特征提取单元82，用于将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；
规则匹配单元83，用于将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；
分类单元84，用于至少根据所述第一特征提取单元81输出的第一特征向量、所述第二特征提取单元82输出的第二特征向量和所述规则匹配单元83确定的规则匹配向量，确定所述用户问句的类别。
可选地，作为一个实施例，所述装置还包括：
第三特征提取单元，用于将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第三特征向量；
所述分类单元84，具体用于根据所述第一特征提取单元81输出的第一特征向量、所述第二特征提取单元82输出的第二特征向量、所述第三特征提取单元输出的第三特征向量和所述规则匹配单元83确定的规则匹配向量，确定所述用户问句的类别。
可选地，作为一个实施例，所述规则匹配单元83，包括：
第一匹配子单元，用于将所述用户问句与预先设定的第一类业务规则对应的多个规则标签相匹配，得到与所述用户问句匹配的第一规则标签；
第二匹配子单元，用于将所述行为特征与预先设定的第二类业务规则中包含的预设特征值相匹配，得到与所述行为特征相匹配的第一预设特征值；
向量确定子单元，用于根据所述第一匹配子单元得到的第一规则标签对应的嵌入向量、所述第二匹配子单元得到的第一预设特征值对应的嵌入向量，确定所述规则匹配向量。
进一步地，所述向量确定子单元，具体用于：
将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量相加，得到总向量；
将所述总向量除以向量个数，得到所述规则匹配向量。
可选地，作为一个实施例，所述分类单元84，包括：
拼接子单元，用于至少将所述第一特征提取单元81输出的第一特征向量、所述第二特征提取单元82输出的第二特征向量和所述规则匹配单元83确定的规则匹配向量进行拼接，得到综合特征向量；
置信度确定子单元，用于根据所述拼接子单元得到的综合特征向量，得到用户问句属于各个类别的各个置信度；
置信度更新子单元，用于根据所述用户问句和所述行为特征所匹配上的预设业务规则，更新所述置信度确定子单元得到的各个置信度；
类别确定子单元，用于根据所述置信度更新子单元更新后的各个类别的各个置信度，确定所述用户问句的类别。
进一步地，所述置信度更新子单元，具体用于根据所述用户问句和所述行为特征所匹配上的预设业务规则，将该预设业务规则对应类别的置信度增加预设值。
可选地，作为一个实施例，所述第一特征提取模型包括长短期记忆网络LSTM、深度神经网络DNN和卷积神经网络CNN；
其中，所述LSTM用于对所述用户问句进行特征提取，得到第一特征子向量；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量；所述第一特征子向量、所述第二特征子向量和所述第三特征子向量拼接后得到所述第一特征向量。
可选地，作为一个实施例，所述第二特征提取模型包括深度神经网络DNN。
进一步地，所述第三特征提取模型包括长短期记忆网络LSTM。
可选地，作为一个实施例，所述用户问句的类别包括：
所述用户问句对应的标准问句。
可选地，作为一个实施例，所述用户问句的类别包括：
所述用户问句对应的人工客服技能组。
通过本说明书实施例提供的装置，首先第一特征提取单元81将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；然后第二特征提取单元82将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；接着规则匹配单元83将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；最后分类单元84至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。由上可见，本说明书实施例，将业务规则与神经网络模型相融合，结合了二者的优势，从而能够保证针对用户问句的分类的效果。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (24)
1.一种针对用户问句的分类方法，所述方法包括：
将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；
将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；
将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；
至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别。
2.如权利要求1所述的方法，其中，所述方法还包括：
将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第三特征向量；
所述至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别，包括：
根据所述第一特征向量、所述第二特征向量、所述第三特征向量和所述规则匹配向量，确定所述用户问句的类别。
3.如权利要求1所述的方法，其中，所述将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量，包括：
将所述用户问句与预先设定的第一类业务规则对应的多个规则标签相匹配，得到与所述用户问句匹配的第一规则标签；
将所述行为特征与预先设定的第二类业务规则中包含的预设特征值相匹配，得到与所述行为特征相匹配的第一预设特征值；
根据所述第一规则标签对应的嵌入向量、所述第一预设特征值对应的嵌入向量，确定所述规则匹配向量。
4.如权利要求3所述的方法，其中，所述根据所述第一规则标签对应的嵌入向量、所述第一预设特征值对应的嵌入向量，确定所述规则匹配向量，包括：
将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量相加，得到总向量；
将所述总向量除以向量个数，得到所述规则匹配向量。
5.如权利要求1所述的方法，其中，所述至少根据所述第一特征向量、所述第二特征向量和所述规则匹配向量，确定所述用户问句的类别，包括：
至少将所述第一特征向量、所述第二特征向量和所述规则匹配向量进行拼接，得到综合特征向量；
根据所述综合特征向量，得到用户问句属于各个类别的各个置信度；
根据所述用户问句和所述行为特征所匹配上的预设业务规则，更新所述各个置信度；
根据更新后的各个类别的各个置信度，确定所述用户问句的类别。
6.如权利要求5所述的方法，其中，所述更新所述各个置信度，包括：
根据所述用户问句和所述行为特征所匹配上的预设业务规则，将该预设业务规则对应类别的置信度增加预设值。
7.如权利要求1所述的方法，其中，所述第一特征提取模型包括长短期记忆网络LSTM、深度神经网络DNN和卷积神经网络CNN；
其中，所述LSTM用于对所述用户问句进行特征提取，得到第一特征子向量；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量；所述第一特征子向量、所述第二特征子向量和所述第三特征子向量拼接后得到所述第一特征向量。
8.如权利要求1所述的方法，其中，所述第二特征提取模型包括深度神经网络DNN。
9.如权利要求2所述的方法，其中，所述第三特征提取模型包括长短期记忆网络LSTM。
10.如权利要求1所述的方法，其中，所述用户问句的类别包括：
所述用户问句对应的标准问句。
11.如权利要求1所述的方法，其中，所述用户问句的类别包括：
所述用户问句对应的人工客服技能组。
12.一种针对用户问句的分类装置，所述装置包括：
第一特征提取单元，用于将目标用户的用户问句输入第一特征提取模型，通过所述第一特征提取模型输出第一特征向量；
第二特征提取单元，用于将所述目标用户的预设历史行为的行为特征输入第二特征提取模型，通过所述第二特征提取模型输出第二特征向量；
规则匹配单元，用于将所述用户问句和所述行为特征分别与预设业务规则相匹配，确定规则匹配向量；
分类单元，用于至少根据所述第一特征提取单元输出的第一特征向量、所述第二特征提取单元输出的第二特征向量和所述规则匹配单元确定的规则匹配向量，确定所述用户问句的类别。
13.如权利要求12所述的装置，其中，所述装置还包括：
第三特征提取单元，用于将用于指示所述目标用户的行为轨迹的序列数据输入第三特征提取模型，通过所述第三特征提取模型输出第三特征向量；
所述分类单元，具体用于根据所述第一特征提取单元输出的第一特征向量、所述第二特征提取单元输出的第二特征向量、所述第三特征提取单元输出的第三特征向量和所述规则匹配单元确定的规则匹配向量，确定所述用户问句的类别。
14.如权利要求12所述的装置，其中，所述规则匹配单元，包括：
第一匹配子单元，用于将所述用户问句与预先设定的第一类业务规则对应的多个规则标签相匹配，得到与所述用户问句匹配的第一规则标签；
第二匹配子单元，用于将所述行为特征与预先设定的第二类业务规则中包含的预设特征值相匹配，得到与所述行为特征相匹配的第一预设特征值；
向量确定子单元，用于根据所述第一匹配子单元得到的第一规则标签对应的嵌入向量、所述第二匹配子单元得到的第一预设特征值对应的嵌入向量，确定所述规则匹配向量。
15.如权利要求14所述的装置，其中，所述向量确定子单元，具体用于：
将所述第一规则标签对应的嵌入向量和所述第一预设特征值对应的嵌入向量相加，得到总向量；
将所述总向量除以向量个数，得到所述规则匹配向量。
16.如权利要求12所述的装置，其中，所述分类单元，包括：
拼接子单元，用于至少将所述第一特征提取单元输出的第一特征向量、所述第二特征提取单元输出的第二特征向量和所述规则匹配单元确定的规则匹配向量进行拼接，得到综合特征向量；
置信度确定子单元，用于根据所述拼接子单元得到的综合特征向量，得到用户问句属于各个类别的各个置信度；
置信度更新子单元，用于根据所述用户问句和所述行为特征所匹配上的预设业务规则，更新所述置信度确定子单元得到的各个置信度；
类别确定子单元，用于根据所述置信度更新子单元更新后的各个类别的各个置信度，确定所述用户问句的类别。
17.如权利要求16所述的装置，其中，所述置信度更新子单元，具体用于根据所述用户问句和所述行为特征所匹配上的预设业务规则，将该预设业务规则对应类别的置信度增加预设值。
18.如权利要求12所述的装置，其中，所述第一特征提取模型包括长短期记忆网络LSTM、深度神经网络DNN和卷积神经网络CNN；
其中，所述LSTM用于对所述用户问句进行特征提取，得到第一特征子向量；所述DNN用于对所述用户问句进行特征提取，得到第二特征子向量；所述CNN用于对所述用户问句进行特征提取，得到第三特征子向量；所述第一特征子向量、所述第二特征子向量和所述第三特征子向量拼接后得到所述第一特征向量。
19.如权利要求12所述的装置，其中，所述第二特征提取模型包括深度神经网络DNN。
20.如权利要求13所述的装置，其中，所述第三特征提取模型包括长短期记忆网络LSTM。
21.如权利要求12所述的装置，其中，所述用户问句的类别包括：
所述用户问句对应的标准问句。
22.如权利要求12所述的装置，其中，所述用户问句的类别包括：
所述用户问句对应的人工客服技能组。
23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11中任一项的所述的方法。
24.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-11中任一项的所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641064.2A CN110362668A (zh) | 2019-07-16 | 2019-07-16 | 针对用户问句的分类方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641064.2A CN110362668A (zh) | 2019-07-16 | 2019-07-16 | 针对用户问句的分类方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110362668A true CN110362668A (zh) | 2019-10-22 |
Family
ID=68219566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910641064.2A Pending CN110362668A (zh) | 2019-07-16 | 2019-07-16 | 针对用户问句的分类方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362668A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110888971A (zh) * | 2019-11-29 | 2020-03-17 | 支付宝(杭州)信息技术有限公司 | 机器人客服与用户的多轮交互方法和装置 |
| CN110969208A (zh) * | 2019-11-29 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 多个模型结果的融合方法和装置 |
| CN111523649A (zh) * | 2020-05-09 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 针对业务模型进行数据预处理的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001005488A (ja) * | 1999-06-18 | 2001-01-12 | Mitsubishi Electric Corp | 音声対話システム |
| CN109299245A (zh) * | 2018-11-27 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 知识点召回的方法和装置 |
| CN109558582A (zh) * | 2017-09-27 | 2019-04-02 | 北京国双科技有限公司 | 基于视角的句子情感分析方法及装置 |
| CN110008318A (zh) * | 2019-02-12 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 问题派发方法及装置 |
-
2019
- 2019-07-16 CN CN201910641064.2A patent/CN110362668A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001005488A (ja) * | 1999-06-18 | 2001-01-12 | Mitsubishi Electric Corp | 音声対話システム |
| CN109558582A (zh) * | 2017-09-27 | 2019-04-02 | 北京国双科技有限公司 | 基于视角的句子情感分析方法及装置 |
| CN109299245A (zh) * | 2018-11-27 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 知识点召回的方法和装置 |
| CN110008318A (zh) * | 2019-02-12 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 问题派发方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110888971A (zh) * | 2019-11-29 | 2020-03-17 | 支付宝(杭州)信息技术有限公司 | 机器人客服与用户的多轮交互方法和装置 |
| CN110969208A (zh) * | 2019-11-29 | 2020-04-07 | 支付宝(杭州)信息技术有限公司 | 多个模型结果的融合方法和装置 |
| CN110969208B (zh) * | 2019-11-29 | 2022-04-12 | 支付宝(杭州)信息技术有限公司 | 多个模型结果的融合方法和装置 |
| CN110888971B (zh) * | 2019-11-29 | 2022-05-24 | 支付宝(杭州)信息技术有限公司 | 机器人客服与用户的多轮交互方法和装置 |
| CN111523649A (zh) * | 2020-05-09 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 针对业务模型进行数据预处理的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110413746B (zh) | 对用户问题进行意图识别的方法及装置 | |
| CN108428132B (zh) | 欺诈交易识别方法、装置、服务器及存储介质 | |
| CN110222167B (zh) | 一种获取目标标准信息的方法和系统 | |
| CN110362668A (zh) | 针对用户问句的分类方法和装置 | |
| CN108021934B (zh) | 多要素识别的方法及装置 | |
| JP2020071869A (ja) | 動画基盤求人求職マッチングサーバーおよび方法 | |
| CN110688478B (zh) | 一种答案排序方法、装置及存储介质 | |
| CN110083623B (zh) | 一种业务规则生成方法及装置 | |
| CN109857846B (zh) | 用户问句与知识点的匹配方法和装置 | |
| CN108510290B (zh) | 通话中客户信息修改方法、装置、计算机设备及存储介质 | |
| CN110399492A (zh) | 针对用户问句的问题分类模型的训练方法和装置 | |
| CN112463923B (zh) | 用户欺诈行为检测方法、装置、设备及存储介质 | |
| CN112232891B (zh) | 一种基于大数据分析的客户匹配方法和装置 | |
| CN109743346A (zh) | 会话流程配置方法、装置及计算机可读存储介质 | |
| CN111309914A (zh) | 基于多个模型结果对多轮对话的分类方法和装置 | |
| CN112115276A (zh) | 基于知识图谱的智能客服方法、装置、设备及存储介质 | |
| CN114219971A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN115204886A (zh) | 账户识别的方法、装置、电子设备和存储介质 | |
| CN109447129A (zh) | 一种多模式情绪识别方法、装置及计算机可读存储介质 | |
| CN113705792A (zh) | 基于深度学习模型的个性化推荐方法、装置、设备及介质 | |
| CN112632254A (zh) | 对话状态确定方法、终端设备及存储介质 | |
| Yi et al. | Unpacking the ethical value alignment in big models | |
| CN114254617A (zh) | 一种修订条款的方法、装置、计算设备及存储介质 | |
| CN114117009A (zh) | 基于对话机器人的子流程配置方法、装置、设备及介质 | |
| CN113220833A (zh) | 实体关联度的识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |