CN112883183B - 构建多分类模型的方法、智能客服方法和相关装置及系统 - Google Patents

构建多分类模型的方法、智能客服方法和相关装置及系统 Download PDF

Info

Publication number
CN112883183B
CN112883183B CN202110301600.1A CN202110301600A CN112883183B CN 112883183 B CN112883183 B CN 112883183B CN 202110301600 A CN202110301600 A CN 202110301600A CN 112883183 B CN112883183 B CN 112883183B
Authority
CN
China
Prior art keywords
label
historical
classification model
layer
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110301600.1A
Other languages
English (en)
Other versions
CN112883183A (zh
Inventor
王昕�
张剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PKU-HKUST SHENZHEN-HONGKONG INSTITUTION
Peking University Shenzhen Graduate School
Original Assignee
PKU-HKUST SHENZHEN-HONGKONG INSTITUTION
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PKU-HKUST SHENZHEN-HONGKONG INSTITUTION, Peking University Shenzhen Graduate School filed Critical PKU-HKUST SHENZHEN-HONGKONG INSTITUTION
Priority to CN202110301600.1A priority Critical patent/CN112883183B/zh
Publication of CN112883183A publication Critical patent/CN112883183A/zh
Application granted granted Critical
Publication of CN112883183B publication Critical patent/CN112883183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种构建多分类模型的方法、智能客服方法和相关装置及系统。构建多分类模型的方法包括：对已标注标签的多轮对话进行预处理得到历史标签流；将历史标签流、当前轮用户请求输入词嵌入层，转换为第一词向量和第二词向量；将第一词向量和第二词向量输入编码层，经不同的编码器进行编码和特征提取，得到标签流特征和当前轮请求特征；将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；将交互层的输出特征输入分类器进行分类，训练得到用于智能客服系统的多分类模型。本发明使用多个编码器，提高了特征提取能力；使用历史标签流取代文本数据，能够减少噪声；使用多分类模型，有利于提升系统鲁棒性。

Description

构建多分类模型的方法、智能客服方法和相关装置及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种构建多分类模型的方法、智能客服方法和相关装置及系统。
背景技术
对话系统(Spoken Dialogue System)可看作是模仿人-人之间透过自然语言的方式进行沟通的交互系统，其中多轮对话技术是当前人机交互系统研究热点之一，随人工智能与自然语言处理(Natural Language Processing，NLP)技术逐渐成熟，具有广泛的应用场景，例如智能客服系统等。
在多轮对话中，现有的端到端任务型对话系统主要基于检索方法，并使用单一的编码模块直接实现，首先将多轮对话历史信息以词级别或是句子级别的方式引入，并与当前轮请求连接然后送入编码器进行特征提取，接着将包含历史信息的当前请求特征与回复候选项进行检索匹配。匹配方式有两种，第一种是基于表征的匹配方式，编码阶段分别对输入与回复候选项各自进行文本特征提取，然后再透过相似度函数对得到的文本表征进行相似度计算，匹配层度最高者作为输出；第二种方式是基于交互的匹配方式，相较于方式一在最后阶段才对文本表征计算相似度，基于交互的匹配方式在模型前段便对包含对话历史信息的当前请求特征与回复候选项特征进行交互，透过相似度矩阵计算，使模型能获取不同粒度、不同层级的匹配关系，最后返回匹配层度最高的回复项。
现有技术存在的问题在于：1)使用同一编码器模型实现对话历史与当前轮请求的编码，由于结构较为单一，因此对于特征提取能力较弱。2)虽然引入历史信息有助于对当前轮用户请求进行回复项匹配，然而因为多轮对话历史信息是以基于纯文本的词或句子级别方式引入，在引入对话历史的同时也将带入不重要的细粒度噪声信息，而基于匹配的模型对文本信息非常敏感，因此容易受引入对话历史所加入的噪声影响，降低模型的匹配效果，鲁棒性较差。
发明内容
本发明的目的在于，提供一种构建多分类模型的方法，以用在智能客服系统中，解决技术中存在的结构单一，特征提取能力弱，引入对话历史时会带入噪声信息，鲁棒性较差等问题。本发明的目的还在于，提供相应的智能客服方法和相关装置及系统。
为实现上述目的，本发明第一方面，提供一种构建多分类模型的方法，包括：步骤S01：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；步骤S02：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；步骤S03：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；步骤S04：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；步骤S05：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
一种可能的实现方式中，所述多分类模型为双输入模型，接受的输入数据包括多轮对话的历史标签流和当前轮用户请求；所述多分类模型包括：词嵌入层，用于将输入数据进行预处理，转为词向量；编码层，包含两个编码器，该两个编码器分别用于对历史标签流和当前轮用户请求进行编码和特征提取，得到标签流特征和当前轮请求特征；交互层，用于对提取得到的标签流特征和当前轮请求特征进行交互，输出对历史信息敏感的用户请求特征；分类器，用于将交互层的输出特征分类到对应的标签，所述标签对应到一个特定的回复项。
一种可能的实现方式中，步骤S01中所述预处理包括：对已标注标签的多轮对话进行数据清洗；将多轮对话各自的回复项所对应的标签进行连接，生成用来取代原本的文本数据的历史标签流；对得到的历史标签流进行分词处理。
一种可能的实现方式中，步骤S04中进行交互包括：采用注意力机制对标签流特征和当前轮请求特征计算相似度，获取关键信息，得到对历史信息敏感的用户请求特征。
一种可能的实现方式中，步骤S05中将交互层的输出特征输入分类器进行标签分类包括：将交互层的输出特征输入到分类器，经softmax逻辑回归模型归一化，得到各业务标签置信度，输出相应种类的标签，所述标签对应到一个特定的回复项。
第二方面，提供一种智能客服方法，包括：步骤S1：获取用户请求；步骤 S2：获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；步骤S3：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；步骤S4：输出所述标签对应的回复项；其中，所述多分类模型是采用如第一方面所述的方法构建得到的模型。
第三方面，提供一种构建多分类模型的装置，其特征在于，包括：预处理模块，用于：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；词嵌入层模块，用于：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；编码层模块，用于：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；交互层模块，用于：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；分类器模块，用于：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
第四方面，提供一种智能客服系统，包括：获取模块，用于：获取用户请求；以及，获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；分类模块，用于：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；输出模块，用于：输出所述标签对应的回复项；其中，所述多分类模型是采用如第一方面所述的方法构建得到的模型。
第五方面，提供一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如第一方面所述的构建多分类模型的方法。
第六方面，提供一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如第二方面所述的智能客服方法。
第七方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机执行指令，所述计算机执行指令当被计算机设备执行时，使所述计算机设备执行如第一方面所述的构建多分类模型的方法。
第八方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机执行指令，所述计算机执行指令当被计算机设备执行时，使所述计算机设备执行如第一方面所述的智能客服方法。
本发明通过采用以上技术方案，取得的技术效果如下：
1.使用多个编码器分别对历史信息(或者说上文信息)与当前轮用户请求进行编码，能更有效的提取特征；
2.相对于现有的智能客服系统，本发明利用历史标签流的形式取代纯文本表示的历史信息，使得在引入历史信息的同时能减少带入的噪声，并使系统获取多轮对话的状态，辅助系统进行回复；
3.分类模块使用多分类模型进行分类以取代检索式的做法，有助于提升整体系统鲁棒性；
4.由于不需要利用到回复项的文本内容进行匹配，本发明解决原本检索式系统所会面临的语义鸿沟问题；
5.同时能减少噪声对于系统选择回复项的影响。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明一个实施例的一种智能客服方法的流程图；
图2是本发明一个实施例的一种构建多分类模型的方法的流程图；
图3是本发明一个实施例的多分类模型的示意图；
图4是本发明一个实施例进行文本数据标注的流程图；
图5是本发明一个实施例中多分类模型-注意力机制进行交互的示意图；
图6是本发明一个实施例中回复用户部分的流程图；
图7是本发明一个实施例的一种构建多分类模型的装置的结构示意图；
图8是本发明一个实施例的一种智能客服系统的结构示意图；
图9是本发明一个实施例的一种计算机设备的结构示意图；
图10是本发明另一实施例的一种计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面通过具体实施例，进行详细的说明。
请参考图1，本发明实施例提供一种应用于智能客服系统的智能客服方法，该方法通过预先构建的多分类模型对用户请求进行分类，输出对应的回复项。该包括以下步骤：
步骤S0：构建多分类模型(全称多标签分类模型)；
步骤S1：获取用户请求；
步骤S2：获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
步骤S3：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；
步骤S4：输出所述标签对应的回复项。
请参考图2，本发明的一个实施例中，进一步提供一种构建多分类模型的方法，应用在上述步骤S0中构建多分类模型，该方法包括以下步骤：
步骤S01：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
步骤S02：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；
步骤S03：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；
步骤S04：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；
步骤S05：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
其中，构建得到的多分类模型，为一双输入模型，接受的输入数据有两种，分别为多轮对话的历史标签流和当前轮用户请求；其中，历史标签流是利用每轮对话的回复项对应的标签表示取代原来的文本数据，并将每轮对话的标签连接结合在一起，组成一个历史标签流。
请参考图3，所述多分类模型包括：
词嵌入层，用于将输入数据，即历史标签流F和当前轮用户请求Q，进行预处理，转为词向量；
编码层，包含两个编码器，该两个编码器分别用于对历史标签流F和当前轮用户请求Q进行编码和特征提取，得到标签流特征F’和当前轮请求特征Q’；
交互层，用于对提取得到的标签流特征F’和当前轮请求特征Q’进行交互，产生并输出对历史信息敏感的用户请求特征R；
分类器，即全连接层(FC)，用于将交互层的输出特征R分类到对应的标签，所述标签对应到一个特定的回复项。该分类器可采用softmax逻辑回归模型(函数)归一化，输出相应种类的标签。
由上可见，本发明实施例的智能客服方法，主要由两个部分或者说两个阶段组成，一个是构建多分类模型的部分，用于获取对话数据，构建多分类模型，即上述步骤S0，具体包括上述步骤S01～S05；另一个是回复用户部分，用于处理用户请求，对用户请求进行分类，并输出对应到的回复项，包括上述步骤S1～S4。
下面，对本发明实施例智能客服方法的两个部分进一步详细描述。
1.构建多分类模型
1.1.获取多轮对话文本数据
A)从智能客服系统获取多轮对话文本数据，例如，从交通智能客服系统中获取交通卡咨询的线上真实多轮对话文本数据；
B)将获取的数据存入数据库，例如：Mongo DB。
1.2.文本数据标注
请参考图4，文本数据标注的流程如下：
A)标注多轮对话文本数据；
A.1)将待标注的多轮对话文本数据导入数据标注系统；
A.2)标注人员对多轮对话中各轮对话进行标注，主要业务分为不同意图类别，而每个意图类别标签可对应到特定的回复项；
A.3)提交标注数据；
B)对已标注数据进行审查
B.1)审查已标注数据；
B.2)是否驳回已标注数据，若是则由标注人员重新标注数据并再次审查；
B.3)审查通过数据入库；
C)已标注数据入库，面向交通卡领域数据集构建完成。
1.3.文本数据预处理
A)文本数据清洗：可使用现有工具，例如python中的re模块，透过正则的方式去除多轮对话文本数据中多余或是特殊的字符。
B)产生历史标签流
多轮对话中的历史信息为已知信息，可直接根据系统回复项，利用回复项所对应的标签取代原本以文本数据表示的多轮对话历史信息，将每轮的标签结合，产生历史标签流。
C)文本分词
C.1)针对中文文本的预处理，由于中文的结构关系，特征粒度为词粒度远远优于字粒度，因此需对中文文本数据进行分词处理；
C.2)分词方法主要包含基于字符串匹配的分词方法、基于统计的分词方法以及基于理解的分词方法等，本文利用已有工具，例如结巴分词对中文文本数据进行分词处理；
D)将预处理过的多轮对话文本数据，按标签分布与固定比例，抽取出训练集Tr_set与测试集Te_set。
1.4.构建多分类模型
A)词嵌入层
A.1)词嵌入层主要作用是将输入数据转为特征向量表示；
A.2)输入数据为经分词处理的多轮对话训练集Tr_set，可使用TF-IDF (termfrequency–inverse document frequency，词频-逆向文件频率)进行文本特征提取；将分词处理后的训练集Tr_set，转为词级特征向量，即词向量；
A.3)其中TF-IDF的计算方法为：
词频(term frequency，TF)为一词语出现的次数除以该文件的总词语数。若一篇文件的总词语数是150个，而词“充值”出现了3次，那么“充值”一词在该文件中的词频就是0.03(3/150)。一个计算文件频率(DF)的方法是测定有多少份文件出现过“充值”一词，然后除以文件集里包含的文件总数。如果“充值”一词在1,0000份文件出现过，而文件总数是10,000,000份的话，其文件频率就是0.001(10000/10,000,000)。最后，TF-IDF分数就可以由计算词频x(文件频率的倒数的对数)而得到。以上面的例子来说，“充值”一词在该文件集的TF-IDF分数会是0.207＝(0.03xlog(1/0.001))。
本实施例中，通过将历史标签流F输入词嵌入层转换为第一词向量，以及，将当前轮用户请求Q输入词嵌入层转换为第二词向量；
B)编码层
编码层包含两个编码器，即编码器1和编码器2；
B.1)编码器1，对输入的历史标签流F(第一词向量)进行时序建模，完成编码和特征提取，获取多轮对话的状态，输出标签流特征，记为F’’；
B.2)编码器2，对当前用户请求Q(第二词向量)进行时序建模，完成编码和特征提取，获取当前轮用户请求的语义特征，输出当前轮请求特征，记为Q’。
C)交互层
C.1)将包含多轮对话历史信息的标签流特征F’与当前轮请求特征Q’进行交互；
C.2)可采用的交互方式有许多种，例如，可以采用注意力机制对F’与 Q’计算相似度，获取关键信息，产生并输出一个对上文(即历史信息)敏感的用户请求特征R，如图5所示。
D)分类器
D.1)将交互层输出特征R输入分类器，即全连接层(FC)，经过逻辑回归模型softmax归一化，得到各业务标签置信度；
D.2)分类模型输出业务标签；
E)导出并保存训练得到的多分类模型，记为CM。
2.回复用户
请参考图6，回复用户部分包括以下流程：
2.1.用户输入请求
用户输入请求(或简称用户请求)，通常是含有一系列关键词的问句，例如“卡片机活异常”，“无法连接蓝牙”等。
2.2.处理对话历史信息
由于智能客服中的对话内容往往属于一个多轮的问答语境，因此结合多轮对话历史信息{qi-n,ri-n,…,qi-2,ri-2,qi-1,ri-1}有助于回复当前轮用户请求，其中q 为用户请求、r为回复项，系统使用回复项r所对应到的标签l取代一轮问答原来的文本数据，将原多轮对话的历史信息转为历史标签流F：{li-n,…,1i-2,li-1} 作为其中一项输入。
2.3.对历史标签流F与用户请求Q进行预处理。
2.4.将预处理后的F和Q送入多分类模型CM，获得模型输出的业务标签l，根据标签l对应至特定的回复项ri。
2.5.输出回复项ri给用户。
以上，对本发明实施例的智能客服方法以及构建多分类模型的方法进行详细描述。
为便于实施本发明，下面还提供相应的装置及系统。
请参考图7，本发明的一个实施例，提供一种构建多分类模型的装置，包括：
预处理模块21，用于：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
词嵌入层模块22，用于：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；
编码层模块23，用于：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；
交互层模块24，用于：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；
分类器模块25，用于：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
请参考图8，本发明的一个实施例提供一种智能客服系统，该系统一种基于分类方法的端到端(end to end)智能客服系统，主要由两部分组成，一个是构建多分类模型的部分，即分类模块32；另一个则是回复用户的部分，回复用户的部分进一步分为获取模块31和输出模块33。
其中，获取模块31，用于：获取用户请求；以及，获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
分类模块32，用于：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；
输出模块33，用于：输出所述标签对应的回复项；
其中，所述多分类模型是采用如上文所述的构建多分类模型的方法，构建得到的模型。
请参考图9，本发明的一个实施例，还提供一种计算机设备70，包括处理器 71和存储器72，所述存储器72中存储有程序，所述程序包括计算机执行指令，当所述计算机设备70运行时，所述处理器71执行所述存储器72存储的所述计算机执行指令，以使所述计算机设备70执行如上文所述的构建多分类模型的方法。
请参考图10，本发明的一个实施例，还提供一种计算机设备80，包括处理器81和存储器82，所述存储器82中存储有程序，所述程序包括计算机执行指令，当所述计算机设备80运行时，所述处理器81执行所述存储器82存储的所述计算机执行指令，以使所述计算机设备80执行如上文所述的智能客服方法。
本发明的一个实施例，还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机执行指令，所述计算机执行指令当被计算机设备执行时，使所述计算机设备执行如上文所述的构建多分类模型的方法。
本发明的一个实施例，还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机执行指令，所述计算机执行指令当被计算机设备执行时，使所述计算机设备执行如上文所述的智能客服方法。
综上，本发明实施例公开了一种构建多分类模型的方法、一种智能客服方法和相关装置及系统，通过采用上述技术方案，取得的技术效果如下：
1.使用多个编码器分别对历史信息(或者说上文信息)与当前轮用户请求进行编码，能更有效的提取特征；
2.相对于现有的智能客服系统，本发明利用历史标签流的形式取代纯文本表示的历史信息，使得在引入历史信息的同时能减少带入的噪声，并使系统获取多轮对话的状态，辅助系统进行回复；
3.分类模块使用多分类模型进行分类以取代检索式的做法，有助于提升整体系统鲁棒性；
4.由于不需要利用到回复项的文本内容进行匹配，本发明解决原本检索式系统所会面临的语义鸿沟问题；
5.同时能减少噪声对于系统选择回复项的影响。
以上，通过具体实施例对发明 的技术方案进行了详细说明。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
应当理解，上述各实施例仅用以说明本发明 的技术方案，而非对其限制；本领域的普通技术人员，可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明 各实施例技术方案的精神和保护范围。

Claims (10)

1.一种构建多分类模型的方法，其特征在于，包括：
步骤S01：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
步骤S02：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；
步骤S03：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；
步骤S04：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；
步骤S05：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
2.根据权利要求1所述的方法，其特征在于，
所述多分类模型为双输入模型，接受的输入数据包括多轮对话的历史标签流和当前轮用户请求；所述多分类模型包括：
词嵌入层，用于将输入数据进行预处理，转为词向量；
编码层，包含两个编码器，该两个编码器分别用于对历史标签流和当前轮用户请求进行编码和特征提取，得到标签流特征和当前轮请求特征；
交互层，用于对提取得到的标签流特征和当前轮请求特征进行交互，输出对历史信息敏感的用户请求特征；
分类器，用于将交互层的输出特征分类到对应的标签，所述标签对应到一个特定的回复项。
3.根据权利要求1所述的方法，其特征在于，步骤S01中所述预处理包括：
对已标注标签的多轮对话进行数据清洗；
将多轮对话各自的回复项所对应的标签进行连接，生成用来取代原本的文本数据的历史标签流；
对得到的历史标签流进行分词处理。
4.根据权利要求1所述的方法，其特征在于，步骤S04中进行交互包括：
采用注意力机制对标签流特征和当前轮请求特征计算相似度，获取关键信息，得到对历史信息敏感的用户请求特征。
5.根据权利要求1所述的方法，其特征在于，步骤S05中将交互层的输出特征输入分类器进行标签分类包括：
将交互层的输出特征输入到分类器，经softmax逻辑回归模型归一化，得到各业务标签置信度，输出相应种类的标签，所述标签对应到一个特定的回复项。
6.一种智能客服方法，其特征在于，包括：
步骤S1：获取用户请求；
步骤S2：获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
步骤S3：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；
步骤S4：输出所述标签对应的回复项；
其中，所述多分类模型是采用如权利要求1所述的方法构建得到的模型。
7.一种构建多分类模型的装置，其特征在于，包括：
预处理模块，用于：对已标注标签的多轮对话进行预处理得到历史标签流，所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
词嵌入层模块，用于：将历史标签流输入词嵌入层转换为第一词向量，以及，将当前轮用户请求输入词嵌入层转换为第二词向量；
编码层模块，用于：将第一词向量输入编码层，经第一编码器进行编码和特征提取，得到标签流特征；将第二词向量输入编码层，经第二编码器进行编码和特征提取，得到当前轮请求特征；
交互层模块，用于：将标签流特征和当前轮请求特征输入交互层进行交互，输出对历史信息敏感的用户请求特征；
分类器模块，用于：将交互层的输出特征输入分类器进行标签分类，训练得到所需要的多分类模型，该多分类模型能够用在智能客服系统中对用户请求进行分类，以输出表示类别的标签。
8.一种智能客服系统，其特征在于，包括：
获取模块，用于：获取用户请求；以及获取上文与该用户请求相关的多轮对话，对该多轮对话进行预处理得到历史标签流；所述历史标签流是将多轮对话各自的回复项所对应的标签连接生成的，用来取代多轮对话原来的文本数据；
分类模块，用于：将用户请求和所述历史标签流一起输入多分类模型进行分类，输出表示类别的标签，所述标签对应到一个特定的回复项；
输出模块，用于：输出所述标签对应的回复项；
其中，所述多分类模型是采用如权利要求1所述的方法构建得到的模型。
9.一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如权利要求1所述的构建多分类模型的方法。
10.一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如权利要求6所述的智能客服方法。
CN202110301600.1A 2021-03-22 2021-03-22 构建多分类模型的方法、智能客服方法和相关装置及系统 Active CN112883183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110301600.1A CN112883183B (zh) 2021-03-22 2021-03-22 构建多分类模型的方法、智能客服方法和相关装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110301600.1A CN112883183B (zh) 2021-03-22 2021-03-22 构建多分类模型的方法、智能客服方法和相关装置及系统

Publications (2)

Publication Number Publication Date
CN112883183A CN112883183A (zh) 2021-06-01
CN112883183B true CN112883183B (zh) 2022-09-27

Family

ID=76041623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110301600.1A Active CN112883183B (zh) 2021-03-22 2021-03-22 构建多分类模型的方法、智能客服方法和相关装置及系统

Country Status (1)

Country Link
CN (1) CN112883183B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102871B (zh) * 2022-05-20 2023-10-03 浙江大学 基于业务特征向量的能源互联网控制终端业务处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147427B1 (en) * 2014-09-17 2018-12-04 United Services Automobile Association Systems and methods to utilize text representations of conversations
WO2019046463A1 (en) * 2017-08-29 2019-03-07 Zhoa Tiancheng SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE
CN109101537B (zh) * 2018-06-27 2021-08-06 北京慧闻科技发展有限公司 基于深度学习的多轮对话数据分类方法、装置和电子设备
CN110188331B (zh) * 2019-06-03 2023-05-26 腾讯科技（深圳）有限公司 模型训练方法、对话系统评价方法、装置、设备及存储介质
CN111782793A (zh) * 2020-08-11 2020-10-16 深圳市北科瑞声科技股份有限公司 智能客服处理方法和系统及设备
CN112084334B (zh) * 2020-09-04 2023-11-21 中国平安财产保险股份有限公司 语料的标签分类方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112883183A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109062893B (zh) 一种基于全文注意力机制的商品名称识别方法
CN113268609B (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN110377744B (zh) 一种舆情分类的方法、装置、存储介质及电子设备
CN110580308B (zh) 信息审核方法及装置、电子设备、存储介质
CN111783394A (zh) 事件抽取模型的训练方法、事件抽取方法和系统及设备
CN111858843B (zh) 一种文本分类方法及装置
CN112632226B (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
CN111782793A (zh) 智能客服处理方法和系统及设备
CN111325571B (zh) 一种多任务学习的商品评论标签自动生成方法、装置及系统
CN111753082A (zh) 基于评论数据的文本分类方法及装置、设备和介质
CN115688920A (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN113051380B (zh) 信息生成方法、装置、电子设备和存储介质
CN111462752A (zh) 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
CN113836866A (zh) 文本编码方法、装置、计算机可读介质及电子设备
CN115408488A (zh) 用于小说场景文本的分割方法及系统
CN115146124A (zh) 问答系统应答方法及其装置、设备、介质、产品
CN115186094A (zh) 多意图分类的模型训练方法、装置、电子设备及存储介质
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN112883183B (zh) 构建多分类模型的方法、智能客服方法和相关装置及系统
CN113705207A (zh) 语法错误识别方法及装置
CN113918710A (zh) 文本数据处理方法、装置、电子设备和可读存储介质
CN112232088A (zh) 合同条款风险智能识别方法、装置、电子设备及存储介质
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN116680386A (zh) 基于多轮对话的答案预测方法和装置、设备、存储介质
CN116595023A (zh) 地址信息的更新方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant