CN111291179B - 一种对话分类方法、装置、电子设备及存储介质 - Google Patents
一种对话分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111291179B CN111291179B CN201811492498.2A CN201811492498A CN111291179B CN 111291179 B CN111291179 B CN 111291179B CN 201811492498 A CN201811492498 A CN 201811492498A CN 111291179 B CN111291179 B CN 111291179B
- Authority
- CN
- China
- Prior art keywords
- features
- sentence
- processing
- feature extraction
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 99
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000011176 pooling Methods 0.000 claims description 58
- 230000015654 memory Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及对话分类方法、装置、电子设备及存储介质,属于数据处理技术领域。该对话分类方法包括:获取针对目标事件的对话各方的对话记录;采用不同特征提取方式对所述对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征;将每句话在不同特征提取方式下的特征进行拼接,得到融合特征;对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果。本申请实施例中,采用不同特征提取方式对对话记录中的每句话进行特征提取,并将每句话在不同特征提取方式下的特征进行拼接,得到融合特征,最后基于融合特征进行分类,得到表征所述目标事件的责任方的分类结果,该方法从多个维度还原对话场景,使得分类的效果更准确。
Description
技术领域
本发明属于数据处理技术领域,具体涉及一种对话分类方法、装置、电子设备及存储介质。
背景技术
为了便于管理和分析等,会对文本内容进行分类,目前业界基于文本分类的算法很多,也已经相对成熟,其中,现有的文本分类技术,大部分是基于文本内容主题和领域进行的分类,例如,基于文本内容主题进行分类时,将具备相似文本内容主题的文本分为同一类,基于领域进行分类时,对将属于同一领域或相似领域的文本内容分为同一类。
发明内容
鉴于此,本发明实施例的目的在于提供一种对话分类方法、装置、电子设备及存储介质,以有效地改善上述问题。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供了一种对话分类方法,包括:获取针对目标事件的对话各方的对话记录;采用不同特征提取方式对所述对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征;将每句话在不同特征提取方式下的特征进行拼接,得到融合特征;对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果。
本申请实施例中,采用不同特征提取方式对对话记录中的每句话进行特征提取,并将每句话在不同特征提取方式下的特征进行拼接,得到融合特征,最后基于融合特征进行分类,得到表征所述目标事件的责任方的分类结果,该方法从多个维度还原对话场景,使得分类的效果更准确。
结合第一方面实施例的一种可能的实施方式,采用不同特征提取方式对所述对话记录中的每句话进行特征提取,包括:采用以下任意两种或两种以上的特征提取方式对所述对话记录中的每句话进行特征提取;其中,第一种特征提取方式为:对所述对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息;第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,将聚类后得到的标签作为该句话对应的特征;第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,将匹配得到的模式类别作为该句话对应的特征。本申请实施例中,采用上述三种特征提取方式中的任意两种或两种以上组合对对话记录中的每句话进行特征提取,保证特征之间的差异性,由于特征质检的差异性越大,越能够还原对话场景,进而分类的效果越好。
结合第一方面实施例的又一种可能的实施方式,对所述融合特征进行分类,包括:将所述融合特征中的每个词进行词嵌入,转换成向量特征;对所述向量特征进行特征提取,得到第一特征;将所述第一特征输入全连接层进行分类处理。本申请实施中,在基于融合特征进行分类时,还可以将融合特征转换成向量特征,再进一步提取句子更高层次的特征,最后再进行分类,从而进一步增强了分类的准确性。
结合第一方面实施例的又一种可能的实施方式,对所述向量特征进行特征提取,包括:对所述向量特征依次进行卷积处理以及池化处理,其中,所述卷积处理所用的卷积核的宽度与所述向量特征的维度相同。本申请实施例中,通过神经网络对向量特征进行卷积以及池化处理,能快速、准确提取句子更高层次的特征,且通过使卷积核的宽度与向量特征的维度保持一致,使得在进行卷积时,提取的特征是基于完整的语句进行的,保证了分类的准确性。
结合第一方面实施例的又一种可能的实施方式,对所述向量特征依次进行卷积处理以及池化处理,包括:使用卷积核大小为第一大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;使用卷积核大小为第二大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;使用卷积核大小为第三大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;使用卷积核大小为第四大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,所述第一特征包括所述第一池化特征、所述第二池化特征、所述第三池化特征和所述第四池化特征。本申请实施例中,采用4种不同卷积核大小的方式来提取句子更高层次的特征,将每种方式下得到的特征共同作为句子最终的特征,减少了因偶然性对分类结果的造成误差的可能。
结合第一方面实施例的又一种可能的实施方式,将所述第一特征输入全连接层进行分类处理,包括:对所述第一特征进行时序特征提取,得到时序特征;将所述时序特征输入所述全连接层进行分类处理。本申请实施例中,除了考虑句子自身的特征外,还要考虑到句子之间的时序特征,这样能最大限度的还原对话场景,提高分类的准确性和可靠性。
结合第一方面实施例的又一种可能的实施方式,获取针对目标事件的对方各方的对话记录,包括:获取取消服务订单事件的服务提供方与服务请求方的对话记录。本申请实施中,主要针对取消服务订单事件的服务提供方与服务请求方的对话记录,以便于确认导致服务订单被取消的责任方,便于对服务提供方进行监控管理,提高服务质量。
第二方面,本发明实施例还提供了一种对话分类装置,包括:获取模块、特征提取模块、拼接模块以及分类模块;获取模块,用于获取针对目标事件的对话各方的对话记录;特征提取模块,用于采用不同特征提取方式对所述对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征;拼接模块,用于将每句话在不同特征提取方式下的特征进行拼接,得到融合特征;分类模块,用于对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果。
结合第二方面实施例的又一种可能的实施方式,所述特征提取模块,还用于采用以下任意两种或两种以上的特征提取方式对所述对话记录中的每句话进行特征提取;其中,第一种特征提取方式为:对所述对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息;第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,将聚类后得到的标签作为该句话对应的特征;第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,将匹配得到的模式类别作为该句话对应的特征。
结合第二方面实施例的又一种可能的实施方式,所述分类模块,还用于:将所述融合特征中的每个词进行词嵌入,转换成向量特征;对所述向量特征进行特征提取,得到第一特征;将所述第一特征输入全连接层进行分类处理。
结合第二方面实施例的又一种可能的实施方式,所述分类模块,还用于对所述向量特征依次进行卷积处理以及池化处理,其中,所述卷积处理所用的卷积核的宽度与所述向量特征的维度相同。
结合第二方面实施例的又一种可能的实施方式,所述分类模块,还用于:使用卷积核大小为第一大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;使用卷积核大小为第二大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;使用卷积核大小为第三大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;使用卷积核大小为第四大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,所述第一特征包括所述第一池化特征、所述第二池化特征、所述第三池化特征和所述第四池化特征。
结合第二方面实施例的又一种可能的实施方式,每个所述卷积核的宽度与所述向量特征的维度相同。
结合第二方面实施例的又一种可能的实施方式,所述分类模块,还用于对所述第一特征进行时序特征提取,得到时序特征;将所述时序特征输入所述全连接层进行分类处理。
结合第二方面实施例的又一种可能的实施方式,所述获取模块,还用于获取取消服务订单事件的服务提供方与服务请求方的对话记录。
第三方面,本发明实施例还提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器连接;所述存储器用于存储程序;所述处理器用于调用存储于所述存储器中的程序,以执行第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面,本发明实施例还提供了一种存储介质,所述存储介质包括计算机程序,所述计算机程序被计算机运行时执行第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本发明的主旨。
图1示出了本发明实施例提供的一种电子设备的结构示意图。
图2示出了本发明实施例提供的一种对话分类方法的流程示意图。
图3示出了本发明实施例提供的步骤S104流程示意图。
图4示出了本发明实施例提供的对话分类方法的步骤示意图。
图5示出了本发明实施例提供的一种对话分类的模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
第一实施例
如图1所示,图1示出了本发明实施例提供的一种电子设备100的结构框图。所述电子设备100包括:对话分类装置110、存储器120、存储控制器130和处理器140。
所述存储器120、存储控制器130、处理器140各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
所述对话分类装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(operating system,OS)中的软件功能模块。所述处理器140用于执行存储器120中存储的可执行模块,例如所述对话分类装置110包括的软件功能模块或计算机程序。
其中,存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器120用于存储程序,所述处理器140在接收到执行指令后,执行所述程序,后述本发明实施例任一实施例揭示的流程定义的电子设备100所执行的方法可以应用于处理器140中,或者由处理器140实现。处理器140在接收到执行指令后,通过总线调用存储在存储器120中的程序后,处理器140则可以执行对话分类方法的流程。
处理器140可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
其中,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备100也可以具有其他组件和结构。
其中,在本发明实施例中,所述电子设备100可以是,但不限于网络服务器、数据库服务器、云端服务器等。
请参阅图2,为本发明实施例提供的一种应用于上述电子设备100的对话分类方法,下面将结合图2对其所包含的步骤进行说明。
步骤S101:获取针对目标事件的对话各方的对话记录。
在确定目标事件的责任方时,获取针对该目标事件的对话各方的对话记录。例如,在确定导致某服务订单被取消的责任方时,获取取消服务订单事件的服务提供方与服务请求方的对话记录,如,获取取消服务订单事件的司机与乘客的对话记录,以便对取消服务订单的IM(Instant Messaging,即时通信)消息和通话录音进行分析,还原沟通场景,推断出导致该服务订单被取消的责任方,从而进行管控。例如,某个业务出现问题后,在确定该问题业务的过错方时,获取业务办理方和业务请求方的对话记录,如商家与买家的对话记录。其中,该对话记录可以是通话录音、IM(Instant Messaging,即时通信)消息等。
步骤S102:采用不同特征提取方式对所述对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征。
在获得针对目标事件的对话各方的对话记录后,采用不同特征提取方式对该对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征。例如,采用以下任意两种或两种以上的特征提取方式对该对话记录中的每句话进行特征提取。
其中,第一种特征提取方式为:对该对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息。例如,针对取消服务订单事件的服务提供方与服务请求方的对话记录中的“你取消吧”,“我不取消”的对话进行特征提取时,采用第一种特征提取方式对上述句子进行特征提取时,得到关于“你取消吧”这句话的特征为:p_你p_取p_消p_吧;得到关于“我不取消”这句话的特征为:r_我r_不r_取r_消。其中,p、r表征当前说话的说话者身份信息,其中,p表示服务提供方,r表示服务请求方。其中,需要说明的是,上述仅示出了在分割后的每个字符前加入表征当前说话的说话者身份信息的情形,在在分割后的每个字符后加入表征当前说话的说话者身份信息的情形与之类似,不再描述。
第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,将聚类后得到的标签作为该句话对应的特征。例如,针对取消服务订单事件的服务提供方与服务请求方的对话记录中的“你取消吧”,“我不取消”的对话进行特征提取时,采用第二种特征提取方式对上述句子进行特征提取时,使用聚类算法对“你取消吧”这句话进行聚类,将聚类后得到的标签作为该句话对应的特征,如pd1;使用聚类算法对“我不取消”这句话进行聚类,将聚类后得到的标签作为该句话对应的特征,如rd1。其中,该聚类算法事先采用训练数据中的服务提供方话术与服务请求方话术进行聚类训练。其中,聚类算法有很多,如基于划分的聚类算法(如:k-means),基于层次的聚类算法(如:BIRCH),基于密度的聚类算法(如:DBSCAN),基于网格的聚类算法(如:STING)等。
第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,将匹配得到的模式类别作为该句话对应的特征。例如,针对取消服务订单事件的服务提供方与服务请求方的对话记录中的“你取消吧”,“我不取消”的对话进行特征提取时,采用第三种特征提取方式对上述句子进行特征提取时,使用模式匹配(Pattern Matching)对“你取消吧”这句话进行匹配,将匹配后得到的模式类别作为该句话对应的特征,如pp1;使用模式匹配对“我不取消”这句话进行匹配,将匹配后得到的模式类别作为该句话对应的特征,如rp1。其中,模式匹配也可以成为正则匹配。
其中,采用不同特征提取方式对对话记录中的每句话进行特征提取时,可以是采用上述的第一种特征提取方式+第二种特征提取方式对对话记录中的每句话进行特征提取,也可以是采用上述的第一种特征提取方式+第三种特征提取方式对对话记录中的每句话进行特征提取,也可以是采用上述的第二种特征提取方式+第三种特征提取方式对对话记录中的每句话进行特征提取,也可以是采用上述的第一种特征提取方式+第二种特征提取方式+第三种特征提取方式对对话记录中的每句话进行特征提取。
作为一种可选的实施方式,也可以是在获得针对目标事件的对话各方的对话记录后,先对对话记录进行预处理,去掉噪音数据和冗余信息,然后对预处理后的数据进行特征提取,得到每句话在不同特征提取方式下的特征。
步骤S103:将每句话在不同特征提取方式下的特征进行拼接,得到融合特征。
在得到每句话在不同特征提取方式下的特征后,将每句话在不同特征提取方式下的特征进行拼接,得到融合特征。例如,针对上述的“你取消吧”这句话在上述三种特征提取方式下的得到的特征进行拼接,得到的融合特征为:p_你p_取p_消p_吧pd1 pp1;针对上述的“我不取消”这句话在上述三种特征提取方式下的得到的特征进行拼接,得到的融合特征为:r_我r_不r_取r_消rd1 rp1。其中,需要说明的是,上述示例示出的是,针对采用上述三种特征提取方式对每句话进行特征提取后得到的特征进行拼接的情形,若采用上述三种特征提取方式中的任意两种方式对每句话进行特征提取后得到的特征进行拼接的情形与之类似。
步骤S104:对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果。
在得到对话记录中的每句话的融合特征后,对融合特征进行分类,进而可以得到表征该目标事件的责任方的分类结果。例如,得到取消服务订单的责任方是服务提供方还是服务请求方,也即,得到导致该服务订单被取消的责任方是服务提供方还是服务请求方。
作为一种实施方式,可以参考图3所示的流程图对融合特征进行分类,即图3为步骤104的进一步流程图。下面将对图3所包含的步骤进行说明。
步骤S201:将所述融合特征中的每个词进行词嵌入,转换成向量特征。
在得到对话记录中的每句话的融合特征后,将该融合特征中的每个词进行词嵌入,转换成向量特征。例如,根据word2vec、Fasttext、GloVe工具将融合特征中的每个单词进行词嵌入,把每个单词变成一个向量,这样就可以将融合特征转换成向量特征。
其中,将融合特征转换成向量特征时,针对上述的“你取消吧”这句话的融合特征(p_你p_取p_消p_吧pd1 pp1)转换成向量特征,可以得到6*128的向量特征。同理,针对上述的“我不取消”这句话的融合特征(r_我r_不r_取r_消rd1 rp1)转换成向量特征,也可以得到6*128的向量特征。由于上述这两句话均包括6个词,因此在转换成向量特征时,均得到6*128的向量特征。
步骤S202:对所述向量特征进行特征提取,得到第一特征。
在将融合特征转换成向量特征后,对向量特征进行特征提取,得到第一特征。可选地,可以是对该向量特征依次进行卷积处理以及池化处理,得到第一特征。
例如,可以是只对该向量特征进行一次卷积处理以及池化处理,如使用卷积核大小为第一大小(如2*128)、第二大小(如3*128)、第三大小(如4*128)或第四大小(如5*128)的卷积核对向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一特征。
也可以是使用不同大小的卷积核分别对该向量特征进行卷积处理以及池化处理,得到第一特征。例如,使用卷积核大小为第一大小(如2*128)的卷积核对向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;使用卷积核大小为第二大小(如3*128)的卷积核对向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;使用卷积核大小为第三大小(如4*128)的卷积核对向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;使用卷积核大小为第四大小(如5*128)的卷积核对向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,上述的第一池化特征、第二池化特征、第三池化特征以及第四池化特征共同构成第一特征,也即,第一特征包括第一池化特征、第二池化特征、第三池化特征和第四池化特征。其中,需要说明的是,使用不同大小的卷积核分别对该向量特征进行卷积处理以及池化处理,可以是选用上述4种处理方式中的任意两种或两种以上的组合,相应地,第一特征也会随着所选用的处理方式的变化而变化,如选用4种方式(2*128、3*128、4*128和5*128)时,第一特征包括第一池化特征、第二池化特征、第三池化特征和第四池化特征。当只选用上述4种方式中的两种(如选用2*128、3*128)时,第一特征仅包括第一池化特征和第二池化特征,其余情形与之类似。
其中,为了便于理解上述过程,可以用卷积神经网络(Convolutional NeuralNetwork,CNN)的输入和输出来说明,若选用4种方式(2*128、3*128、4*128和5*128)中的任意一种方式对向量特征进行特征提取时,此时,如输入一个6*128的向量特征,输出为一个对应的值;若选用4种方式(2*128、3*128、4*128和5*128)中的任意两种方式对向量特征进行特征提取时,如输入一个6*128的向量特征,输出为2个对应的值;若选用4种方式(2*128、3*128、4*128和5*128)中的任意三种方式对向量特征进行特征提取时,如输入一个6*128的向量特征,输出为3个对应的值;若选用4种方式(2*128、3*128、4*128和5*128)对向量特征进行特征提取时,如输入一个6*128的向量特征,输出为4个对应的值。其中,CNN包括卷积层和池化层。该CNN也可以用DNN(深度神经网络)来代替。
其中,可选地,上述每个卷积核的宽度与向量特征的维度相同,这样可以使得在进行卷积时,提取的特征是基于完整的语句进行的,保证了分类的准确性。在本发明实施例中,向量特征的维度可以设置为128,因此,每个卷积核的宽度应为128,可以理解的是,当向量特征的维度变化时,卷积核的宽度也会对应变化,因此不能将上述的128理解成是对本申请的限制。
其中,池化的方式可以为平均池化或最大池化。
步骤S203:将所述第一特征输入全连接层进行分类处理。
在得到第一特征后,将该第一特征输入全连接层进行分类处理。其中,全连接层选用softmax函数,预测对话文本属于每个类别的概率,并归一化到0-1之间,概率最大的类别即是该对话文本的最终分类,进而可以得到表征该目标事件的责任方的分类结果。
作为一种可选的实施方式,针对句子级别的特征提取完成后,也即在得到第一特征后,还没有考虑到句子之间的时序特征,因此,还可以考虑句子之间的时序特征,此时可以对第一特征进行时序特征提取,得到时序特征。例如将上述池化的输出接入BI-LSTM(Bidirectional Long short-term memory,双向长短时记忆循环神经网络),即可得到时序特征,因为BI-LSTM算法考虑了时序特征,具有长期依赖的功能,会把句子之间的逻辑关系特征学习出来。在得到时序特征后,再将时序特征输入所述全连接层进行分类处理。其中,BI-LSTM也可以采用RNN(循环神经网络)来代替。
为了便于理解上述过程,可以结合图4所示的步骤示意图进行说明,其中,图4中的sentence1可以对应于上述示例的“你取消吧”,sentence2可以对应于上述示例的“我不取消”。words对应于上述的第一种特征提取方式,dbscan对应于上述的第二种特征提取方式,pattern对应于上述的第三种特征提取方式。word embedding对应于上述的词向量转换。
综上所述,本申请实施例提供的对话分类方法,采用不同的提特提取方式对对话记录中的每句话进行特征提取,并将每句话在不同特征提取方式下的特征进行拼接,得到融合特征,然后再基于融合特征进行对话分类,由于从多个维度还原对话场景,使得分类的效果更准确,同时还可以将句子之间的时序特征考虑进去,这样能最大限度的还原对话场景,提高分类的准确性和可靠性。
第二实施例
本申请实施例还提供了一种对话分类装置110,如图5所示。该对话分类装置110包括:获取模块111、特征提取模块112、拼接模块113以及分类模块114。
获取模块111,用于获取针对目标事件的对话各方的对话记录。可选地,所述获取模块111,还用于获取取消服务订单事件的服务提供方与服务请求方的对话记录。
特征提取模块112,用于采用不同特征提取方式对所述对话记录中的每句话进行特征提取,得到每句话在不同特征提取方式下的特征。可选地,所述特征提取模块112,还用于采用以下任意两种或两种以上的特征提取方式对所述对话记录中的每句话进行特征提取;其中,第一种特征提取方式为:对所述对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息;第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,将聚类后得到的标签作为该句话对应的特征;第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,将匹配得到的模式类别作为该句话对应的特征。
拼接模块113,用于将每句话在不同特征提取方式下的特征进行拼接,得到融合特征。
分类模块114,用于对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果。可选地,所述分类模块114,还用于:将所述融合特征中的每个词进行词嵌入,转换成向量特征;对所述向量特征进行特征提取,得到第一特征;将所述第一特征输入全连接层进行分类处理。可选地,所述分类模块114,还用于对所述向量特征依次进行卷积处理以及池化处理,其中,所述卷积处理所用的卷积核的宽度与所述向量特征的维度相同。可选地,所述分类模块114,还用于:使用卷积核大小为第一大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;使用卷积核大小为第二大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;使用卷积核大小为第三大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;使用卷积核大小为第四大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,所述第一特征包括所述第一池化特征、所述第二池化特征、所述第三池化特征和所述第四池化特征。可选地,所述分类模块114,还用于对所述第一特征进行时序特征提取,得到时序特征;将所述时序特征输入所述全连接层进行分类处理。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明实施例所提供的对话分类装置110,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
第三实施例
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机运行时执行上述第二实施例所述的方法的步骤。具体实现可参见方法实施例,在此不再赘述。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的程序代码被运行时,能够执行上述实施例示出的对话分类方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种对话分类方法,其特征在于,包括:
获取针对目标事件的对话各方的对话记录;
采用不同特征提取方式对所述对话记录中的每句话进行表征说话者身份信息的特征提取,得到每句话在不同特征提取方式下的表征说话者身份信息的特征;
将每句话在不同特征提取方式下的表征说话者身份信息的特征进行拼接,得到表征说话者身份信息的融合特征;
对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果;
其中,采用以下任意两种或两种以上的特征提取方式对所述对话记录中的每句话进行表征说话者身份信息的特征提取;
第一种特征提取方式为:对所述对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息;
第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,以确定说所述对话记录中每句话的说话者身份信息,将聚类后得到的表征说话者身份信息的标签作为该句话对应的特征;
第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,以确定说所述对话记录中每句话的说话者身份信息,将匹配得到的表征说话者身份信息的模式类别作为该句话对应的特征。
2.根据权利要求1所述的方法,其特征在于,对所述融合特征进行分类,包括:
将所述融合特征中的每个词进行词嵌入,转换成向量特征;
对所述向量特征进行特征提取,得到第一特征;
将所述第一特征输入全连接层进行分类处理。
3.根据权利要求2所述的方法,其特征在于,对所述向量特征进行特征提取,包括:
对所述向量特征依次进行卷积处理以及池化处理,其中,所述卷积处理所用的卷积核的宽度与所述向量特征的维度相同。
4.根据权利要求3所述的方法,其特征在于,对所述向量特征依次进行卷积处理以及池化处理,包括:
使用卷积核大小为第一大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;
使用卷积核大小为第二大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;
使用卷积核大小为第三大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;
使用卷积核大小为第四大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,所述第一特征包括所述第一池化特征、所述第二池化特征、所述第三池化特征和所述第四池化特征。
5.根据权利要求2所述的方法,其特征在于,将所述第一特征输入全连接层进行分类处理,包括:
对所述第一特征进行时序特征提取,得到时序特征;
将所述时序特征输入所述全连接层进行分类处理。
6.根据权利要求1-5任一项所述的方法,其特征在于,获取针对目标事件的对方各方的对话记录,包括:
获取取消服务订单事件的服务提供方与服务请求方的对话记录。
7.一种对话分类装置,其特征在于,包括:
获取模块,用于获取针对目标事件的对话各方的对话记录;
特征提取模块,用于采用不同特征提取方式对所述对话记录中的每句话进行表征说话者身份信息的特征提取,得到每句话在不同特征提取方式下的表征说话者身份信息的特征;
拼接模块,用于将每句话在不同特征提取方式下的表征说话者身份信息的特征进行拼接,得到表征说话者身份信息的融合特征;
分类模块,用于对所述融合特征进行分类,得到表征所述目标事件的责任方的分类结果;
其中,采用以下任意两种或两种以上的特征提取方式对所述对话记录中的每句话进行表征说话者身份信息的特征提取;
第一种特征提取方式为:对所述对话记录中的每句话按照字符进行分割处理,并在分割后的每个字符前或后加入表征当前说话的说话者身份信息;
第二种特征提取方式为:使用聚类算法对所述对话记录中的每句话进行聚类,以确定说所述对话记录中每句话的说话者身份信息,将聚类后得到的表征说话者身份信息的标签作为该句话对应的特征;
第三种特征提取方式为:使用模式匹配对所述对话记录中的每句话进行匹配,以确定说所述对话记录中每句话的说话者身份信息,将匹配得到的表征说话者身份信息的模式类别作为该句话对应的特征。
8.根据权利要求7所述的装置,其特征在于,所述分类模块,还用于:
将所述融合特征中的每个词进行词嵌入,转换成向量特征;对所述向量特征进行特征提取,得到第一特征;将所述第一特征输入全连接层进行分类处理。
9.根据权利要求8所述的装置,其特征在于,所述分类模块,还用于对所述向量特征依次进行卷积处理以及池化处理,其中,所述卷积处理所用的卷积核的宽度与所述向量特征的维度相同。
10.根据权利要求9所述的装置,其特征在于,所述分类模块,还用于:
使用卷积核大小为第一大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第一池化特征;
使用卷积核大小为第二大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第二池化特征;
使用卷积核大小为第三大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第三池化特征;
使用卷积核大小为第四大小的卷积核对所述向量特征进行卷积处理,并对卷积处理后得到的特征进行池化处理,得到第四池化特征,其中,所述第一特征包括所述第一池化特征、所述第二池化特征、所述第三池化特征和所述四池化特征。
11.根据权利要求8所述的装置,其特征在于,所述分类模块,还用于对所述第一特征进行时序特征提取,得到时序特征;将所述时序特征输入所述全连接层进行分类处理。
12.根据权利要求7所述的装置,其特征在于,所述获取模块,还用于获取取消服务订单事件的服务提供方与服务请求方的对话记录。
13.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器连接;
所述存储器用于存储程序;
所述处理器用于调用存储于所述存储器中的程序,以执行如权利要求1-6中任一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质包括计算机程序,所述计算机程序被计算机运行时执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492498.2A CN111291179B (zh) | 2018-12-06 | 2018-12-06 | 一种对话分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492498.2A CN111291179B (zh) | 2018-12-06 | 2018-12-06 | 一种对话分类方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291179A CN111291179A (zh) | 2020-06-16 |
CN111291179B true CN111291179B (zh) | 2023-12-08 |
Family
ID=71030560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811492498.2A Active CN111291179B (zh) | 2018-12-06 | 2018-12-06 | 一种对话分类方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291179B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408955A (zh) * | 2008-10-28 | 2009-04-15 | 中国科学院软件研究所 | 一种基于策略的责任认定方法与系统 |
CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
CN107609009A (zh) * | 2017-07-26 | 2018-01-19 | 北京大学深圳研究院 | 文本情感分析方法、装置、存储介质和计算机设备 |
CN108509427A (zh) * | 2018-04-24 | 2018-09-07 | 北京慧闻科技发展有限公司 | 文本数据的数据处理方法及应用 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120253792A1 (en) * | 2011-03-30 | 2012-10-04 | Nec Laboratories America, Inc. | Sentiment Classification Based on Supervised Latent N-Gram Analysis |
-
2018
- 2018-12-06 CN CN201811492498.2A patent/CN111291179B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408955A (zh) * | 2008-10-28 | 2009-04-15 | 中国科学院软件研究所 | 一种基于策略的责任认定方法与系统 |
CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
CN107609009A (zh) * | 2017-07-26 | 2018-01-19 | 北京大学深圳研究院 | 文本情感分析方法、装置、存储介质和计算机设备 |
CN108509427A (zh) * | 2018-04-24 | 2018-09-07 | 北京慧闻科技发展有限公司 | 文本数据的数据处理方法及应用 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111291179A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190286704A1 (en) | Learning document embeddings with convolutional neural network architectures | |
CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
US10637826B1 (en) | Policy compliance verification using semantic distance and nearest neighbor search of labeled content | |
CN111144937A (zh) | 广告素材确定方法、装置、设备及存储介质 | |
CN108550065B (zh) | 评论数据处理方法、装置及设备 | |
CN110377733B (zh) | 一种基于文本的情绪识别方法、终端设备及介质 | |
CN112990294B (zh) | 行为判别模型的训练方法、装置、电子设备及存储介质 | |
CN115269304A (zh) | 日志异常检测模型训练方法、装置及设备 | |
CN112685539A (zh) | 基于多任务融合的文本分类模型训练方法和装置 | |
CN112364664B (zh) | 意图识别模型的训练及意图识别方法、装置、存储介质 | |
Liu et al. | Identifying individual expectations in service recovery through natural language processing and machine learning | |
WO2019227629A1 (zh) | 文本信息的生成方法、装置、计算机设备及存储介质 | |
CN111563380A (zh) | 一种命名实体识别方法及其装置 | |
CN114118100A (zh) | 用于生成对话语句的方法、装置、设备、介质和程序产品 | |
CN116187308A (zh) | 意图识别方法、装置、电子设备和计算机可读存储介质 | |
CN113806501B (zh) | 意图识别模型的训练方法、意图识别方法和设备 | |
CN113010785B (zh) | 用户推荐方法及设备 | |
US20230351121A1 (en) | Method and system for generating conversation flows | |
CN111523301B (zh) | 合同文档合规性检查方法及装置 | |
CN115952854B (zh) | 文本脱敏模型的训练方法、文本脱敏方法及应用 | |
CN111291179B (zh) | 一种对话分类方法、装置、电子设备及存储介质 | |
CN111291178A (zh) | 一种对话分类方法、装置、电子设备及存储介质 | |
CN116011810A (zh) | 区域风险识别方法、装置、设备及存储介质 | |
US11321527B1 (en) | Effective classification of data based on curated features | |
CN112685555B (zh) | 投诉工单质量检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |