CN109543012A - 一种基于Word2Vec和RNN的用户意图识别方法及装置 - Google Patents
一种基于Word2Vec和RNN的用户意图识别方法及装置 Download PDFInfo
- Publication number
- CN109543012A CN109543012A CN201811246870.1A CN201811246870A CN109543012A CN 109543012 A CN109543012 A CN 109543012A CN 201811246870 A CN201811246870 A CN 201811246870A CN 109543012 A CN109543012 A CN 109543012A
- Authority
- CN
- China
- Prior art keywords
- corpus
- user
- sentence
- intended
- vectorization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 206010028916 Neologism Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种基于Word2Vec和RNN的用户意图识别方法及装置，涉及互联网技术领域，能够提高意图识别的准确率。本发明包括：从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，所述语料数据包括：输入聊天工具的聊天语料；利用所得的问法语句训练意图分类模型；对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化；将向量化的语句作为输入，通过所述意图分类模型获取用户意图。本发明适用于通过在线聊天识别用户的意图。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于Word2Vec和RNN的用户意图识别方法及装置。
背景技术
随着移动通讯技术的发展和电子商务的普及，人们开始习惯于在网上购物。在移动电子商务虚拟环境中，商家已经能够在线上提供海量的产品种类，这就导致虽然用户选择的范围越来越大，但想找到自己感兴趣的产品却愈发困难。
因此，电子商务平台需要提供一种类似于导购员的服务来主动地帮助用户选购产品，并能根据用户的兴趣和爱好，个性化地给每个用户推荐他可能感兴趣且满意的产品。这就需要电子商务平台能够理解客户需求的智能导购模式解决以上问题。
在目前的智能导购方案主要还是通过二分类法以及基于二分类基础上实现的多分类法来分析用户输入对话框的语句，需要精确确认用户的意图，就需要向用户提出的更多的问题，目前的方案中，只要没有用到神经网络，则一般还是采用二分类，以及基于二分类基础上实现的多分类。
尤其是在购物聊天过程中，往往需要先区分用户是否需要购物，导致精确确认用户意图时，需要进行繁复的交互操作，向用户提出大量问题。且随着应答模型训练用的语料和意图种类的不断增加，会使得意图的识别准确率降低，这导致了识别效率提升存在瓶颈。
发明内容
本发明的实施例提供一种基于Word2Vec(一种用来产生词向量的相关模型)和RNN(Recurrent Neural Network,是一类用于处理序列数据的神经网络)的用户意图识别方法及装置，能够提高意图识别的准确率。
为达到上述目的，本发明的实施例采用如下技术方案：
从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，所述语料数据包括：输入聊天工具的聊天语料；
利用所得的问法语句训练意图分类模型；
对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化；
将向量化的语句作为输入，通过所述意图分类模型获取用户意图。
本实施例的目的在于：提高意图种类更多的情况下的意图识别准确率，主要思路是通过在意图识别过程中应用Word2Vec和RNN技术，从而优化意图分类，之后提升识别准确率。通过Word2Vec将输入模型的语料转换成词向量作为模型的输入，并通过RNN模型对语料进行意图分类。缓减了该类问题的用户意图识别问题，提高了意图种类更多的情况下的意图识别准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的方法流程示意图；
图3为Word2Vec的CBOW模型示意图；
图4为Word2Vec的Skip-gram模型示意图；
图5为本发明实施例提供的一种离线训练流程示意图；
图6为本发明实施例提供的一种在线预测流程示意图；
图7、8为本发明实施例提供的另一种具体实例的示意图；
图9为本发明实施例提供的装置结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本实施例中的方法流程，具体可以在一种如图1所示的系统上执行，该系统包括：前端服务器、后台服务器和数据库。其中，前端服务器主要用于：具体用于接收终端设备发送的词组、语句和特殊符号(比如表情符号、颜文字等)等文本信息，在实际应用中，终端设备发送的搜索词主要由用户通过终端设备的输入设备比如：键盘、触摸屏、鼠标等输入终端设备；并向发布搜索工具的操作界面，以便于终端设备通过操作界面输入搜索词。
后台服务器主要用于：对语句进行处理并训练深度学习模型，具体流程至少包括但不限于：从对话的历史数据中提取语句，并剔除所提取语句中的标点和表情字符；根据预设的黑名单，过滤所述所提取语句中的字符；对所述所提取语句进行切词处理，并将切词处理所得的字符中出现频率低于阈值的，转换为预设字符；利用切词处理后的语句作为训练集，训练深度学习模型。
本实施例中所揭示的前端服务器以及后台服务器，具体可以是服务器、工作站、超级计算机等设备，或者是由多个服务器组成的一种用于数据处理的服务器集群系统。需要说明的是，在实际应用中，前端服务器和后台服务器通常可以集成在同一个服务器集群中，即通过同一个服务器集群同时承担前端服务器和后台服务器的功能，并用于执行本实施例所提供的流程。
数据库主要用于：用于存储存储产品信息、电子商务平台、在线购物平台等在日常运行中生成的每日高频搜索词、用户的聊天记录等可以记录为对话的历史数据，本实施例中的对话可以理解为具备特定含义的字符串，这些字符串包括了汉字、数字、英文或者其他语言的字符组成的词组，也可以包括表情符、颜文字等特殊字符。
本实施例中所揭示的数据库，具体可以是一种Redis数据库或者其他类型的分布式数据库、关系型数据库等，具体可以是包括存储设备的数据服务器以及与数据服务器相连的存储设备，或者是由多个数据服务器和存储服务器组成的一种用于数据库的服务器集群系统。
本实施例中所揭示的终端设备具体可以实做成单独一台装置，或整合于各种不同的媒体数据播放装置中，诸如机顶盒、移动电话、平板电脑(TabletPersonal Computer)、膝上型电脑(Laptop Computer)、多媒体播放器、数字摄影机、个人数字助理(personaldigital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)。需要说明的是，本实施例中所述的终端设备，具体指的是一种被聊天各方用于运行聊天工具的智能设备，根据使用者角色的不同，可以从划分为用户终端、客服终端、运维终端等等。
智能导购的重要技术手段之一就是人机交互技术。人机交互技术是研究系统与用户之间的交互关系的科学。系统可以是各种各样的机器，也可以是计算机化的系统和软件。例如，通过人机交互可以实现各种人工智能系统，例如，智能客服系统、语音控制系统等等。人工智能语义识别是人机交互的基础，其能够对人类语言进行识别，以转换成机器能够理解的语言。人机交互的基础包括：图形用户界面(GUI)和用户意图识别能力。
图形用户界面(GUI)以其操作简单、直观、方便得到广泛应用，与嵌入式软件相比，图形用户界面软件包含很多的窗口，每一个窗口中又包含很多控件，这些窗口和控件的不同组合构成了软件不同的功能，用户通过操作界面上的控件，实现规定的功能。
本发明实施例提供一种基于Word2Vec和RNN(Recurrent Neural Network，循环神经网络)的用户意图识别方法，如图2所示，包括：
S1、从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识。
其中，所述语料数据包括：输入聊天工具的聊天语料。具体的，本实施例中所述的聊天工具，可以是一种具备人机交互界面的信息传输工具，聊天工具中具备用于显示聊天各方所输入语句的显示框，以及用于使用者输入语句的输入框，聊天工具具体可以采用目前常见的各类聊天软件，如：微信、QQ等，在此并不作限定。
本实施例中所述的聊天语料，可以理解为：聊天各方输入聊天工具的文字字符，这些文字字符由用户、客服等输入，通常是呈现为具有一定逻辑和规律的字符串，表示相应的语义，因此称为聊天语料。例如：客户人员需要询问用户的需求时，通过聊天工具输入导购相关的问法语句，技术人员可以对整理出用于用户导购相关的各种问法，并对不同的问法标注具体的意图标识，意图标识用于区分用户的意图，比如：购买、议价、产品信息咨询、投诉等等意图，这些意图通过意图标识进行区分，在数据层面意图标识可以是具有标记功能的字符串、数值等。用于用户导购相关的各种问法可以标记上至少一个意图标识，从而使得用于用户导购相关的各种问法与用户可能的意图对应上。
S2、对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化。
其中，用户输入的语料，可以理解为：用户通过终端设备输入聊天工具的文字字符，例如：用户需要向客服人员进行咨询时，通过聊天工具输入导购相关的提问语句、陈述语句等，用户提问或者陈述后，获取用户的问题或者陈述句，进行预处理和分词后，使用Word2Vec进行向量化。
S3、将向量化的语句作为输入，通过所述意图分类模型获取用户意图。
本实施例中至少需要采用Word2Vec向量化模块和RNN意图分类模块，其中，RNN用于提取语料中的句式信息，以及词与词之间的排列关系。
Word2Vec是Word Embedding的一种实现方式，本质上是一种无监督学习的方法，采用了一个浅层的神经网络。和传统的向量化方法相比，Word2Vec得到的词向量能够用来衡量词和词之间的关系，通过简单的Cosine相似度就能用两个词向量的数学相似度来衡量两个词之间的语义相似性。Word2Vec根据海量语料中词的上下文关系来学习词向量，主要分为CBOW模型(即一个word2vec模型，连续词袋模型)和Skip-gram两种上下文模型。CBOW模型通过一个词的上下文词来预测当前词，而Skip-gram通过一个词来预测它的上下文词，本实施例中使用的是CBOW模型，例如：两种模型对应的神经网络结构如3、4所示的。
例如：通过人工整理客服售前聊天语料，整理出用户导购相关的各种问法，并标注具体的意图。获取无标注的售前客服聊天记录，进行数据清洗，文本预处理，分词后使用RNN训练出意图分类模型用户提问后，获取用户问题，进行预处理和分词后，使用Word2Vec进行向量化。将训练好的词向量作为输入，通过意图分类模型得到用户导购意图。使用RNN训练出意图分类模型识别用户意图，提高了用户意图识别的准确性，提升了用户的购物体验和购物效率。
本实施例的目的在于：提高意图种类更多的情况下的意图识别准确率，主要思路是通过在意图识别过程中应用Word2Vec和RNN技术，从而优化意图分类，之后提升识别准确率。具体来说：
在现有的多分类模型基础上，通过Word2Vec将输入模型的语料转换成词向量作为模型的输入，并通过RNN模型对语料进行意图分类。缓减了该类问题的用户意图识别问题。通过该方法降低了训练数据标注和模型重新训练的成本，提高了用户意图识别的准确性。从而一定程度上解决了上述包含新词的意图识别问题，提高了意图种类更多的情况下的意图识别准确率。
在本实施例中，还提供一种训练Word2Vec模型的离线训练方案，在实际应用中，离线训练方案的大致流程可以参照图5。其中，所述从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，具体包括：
从所述聊天语料数据中，筛选客服聊天记录中的语料作为Word2Vec的训练语料。其中，所述客服聊天记录中的语料还作为所述意图分类模型的语料词典。
再对所述客服聊天记录中的语料进行数据清洗，再进行文本处理。
具体的，数据清洗包括了对语料中的字符进行去除URL、订单号、表情符号、特殊字符等操作。文本处理包括了对语料中的字符进行繁体转简体、去停用词、文本纠错等操作。需要说明的是，分词处理也可以被归类为文本处理的一部分。
之后，从所述聊天语料数据中选取用户提问的语料，并通过训练后的Word2Vec将所述用户提问的语料向量化，之后对向量化的所述用户提问的语料添加意图标识。其中，所述客服聊天记录中的语料还作为所述意图分类模型的语料词典。
在本实施例中，步骤S2中所述利用所得的问法语句训练意图分类模型，的具体实现方式包括：
对未添加所述意图标识的问法语句进行分词处理。利用分词处理的结果，通过RNN训练所述意图分类模型。其中，文本处理包括了对语料中的字符进行繁体转简体、去停用词、文本纠错等操作。
其中，分词处理也可以被归类为文本处理的一部分。将向量化后的已标记问句作为输入，使用RNN算法训练分类模型，得到用户的导购意图。
在本实施例中，还提供一种在线预测流程的实际应用方案，在线预测流程的大致流程可以参照图6。其中，所述对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化，具体包括：
实时获取用户输入的语料，并从中剔除无关的内容，再进行文本处理。
通过训练后的Word2Vec将用户实时输入的语料向量化。
其中，剔除无关的内容类似于数据清洗，包括了对于语料的预处理，比如去除URL、订单号、表情符号、特殊字符等和导购意图识别无关的内容。使用Word2Vec算法，将该问句转换成向量，向量的长度就等于处理后的客服聊天记录语料词典长度。将向量化后的已标记问句作为输入，使用RNN算法训练分类模型，得到用户的导购意图。
在本实施例中，所述将向量化的语句作为输入，通过所述意图分类模型获取用户意图，包括：
通过所述意图分类模型，获取作为输入的向量化的语句在各个意图中的识别概率。之后，提取概率值最高的意图，当最高的概率值大于阈值时，判定概率值最高的意图为所述用户意图。例如：通过客服的聊天机器人逐步提出问题来引导用户，比如自动显示如图7所示的问题，其中显示供用户选择的答案按钮对用户输入的一句话进行意图识别，按照识别的概率排序，找最高的概率值的那个意图，判断其概率值是否大于阈值，若是则判定为准确的。例如：如图8所示的，识别用户的意图为“特价类”，其中包括了多个具体的用户意图：大聚惠、促销、定金团、活动价…等，并按照识别的概率依次排序。之后确定了用户意图为购买有优惠活动的手机，因此向用户推送在线购物平台的大聚惠频道中出售的手机。
目前电子商务平台所采用的方案中，对于用户意图的识别，主要采用逻辑回归模型，属于有人工监督的模型，需要大量的人力进行标注，效果有待提升。此外，意图识别需要考虑不同场景，场景可能是上文、用户入口、用户正在咨询的具体商品、商品品类等。现有的技术中使用多分类模型来识别用户意图时，需要大量的标注了意图的用户问句来训练模型。模型训练完成后，如果用户的问句中出现了训练数据中没有但是意思相近的词，分类器有可能会将用户的意图识别错。此时需要将这句话加入到训练数据中，并重新训练多分类模型，才能识别出包含新词的用户问句意图。
尤其是在区分用户购买意图和用户投诉意图时，二者在句式上相似度较高，比如：“我还没想好要哪个手机”与“我的手机不想要了”句式上相似度较高，所拆分出的分词也存在极高的相似度。并且，随着训练用的语料和意图种类的不断增加，会使得意图的识别准确率降低，传统方法(词向量分类+SVM)的识别效率提升存在瓶颈。
本实施例的目的在于：提高意图种类更多的情况下的意图识别准确率，主要思路是通过在意图识别过程中应用Word2Vec和RNN技术，从而优化意图分类，之后提升识别准确率。具体来说：
在现有的多分类模型基础上，通过Word2Vec将输入模型的语料转换成词向量作为模型的输入，并通过RNN模型对语料进行意图分类。缓减了该类问题的用户意图识别问题。通过该方法降低了训练数据标注和模型重新训练的成本，提高了用户意图识别的准确性。从而一定程度上解决了上述包含新词的意图识别问题，提高了意图种类更多的情况下的意图识别准确率。例如表1中所示的不同的识别方案下会话支持意图个数，以及相应的准确率。
表1
本实施例中还提供一种基于Word2Vec和RNN的用户意图识别装置，如图9所示的，包括：
提取模块，用于从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，所述语料数据包括：输入聊天工具的聊天语料；
训练模块，用于利用所得的问法语句训练意图分类模型；
处理模块，用于对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化；
分析模块，用于将向量化的语句作为输入，通过所述意图分类模型获取用户意图。
其中，所述提取模块，具体用于从所述聊天语料数据中，筛选客服聊天记录中的语料作为Word2Vec的训练语料，所述客服聊天记录中的语料还作为所述意图分类模型的语料词典；再对所述客服聊天记录中的语料进行数据清洗，再进行文本处理；之后从所述聊天语料数据中选取用户提问的语料，并通过训练后的Word2Vec将所述用户提问的语料向量化，之后对向量化的所述用户提问的语料添加意图标识。
所述训练模块，具体用于对未添加所述意图标识的问法语句进行分词处理；之后利用分词处理的结果，通过RNN训练所述意图分类模型。
所述处理模块，具体用于实时获取用户输入的语料，并从中剔除无关的内容，再进行文本处理；通过训练后的Word2Vec将用户实时输入的语料向量化。
所述分析模块，具体用于通过所述意图分类模型，获取作为输入的向量化的语句在各个意图中的识别概率；提取概率值最高的意图，当最高的概率值大于阈值时，判定概率值最高的意图为所述用户意图。
目前电子商务平台所采用的方案中，对于用户意图的识别，主要采用逻辑回归模型，属于有人工监督的模型，需要大量的人力进行标注，效果有待提升。此外，意图识别需要考虑不同场景，场景可能是上文、用户入口、用户正在咨询的具体商品、商品品类等。现有的技术中使用多分类模型来识别用户意图时，需要大量的标注了意图的用户问句来训练模型。模型训练完成后，如果用户的问句中出现了训练数据中没有但是意思相近的词，分类器有可能会将用户的意图识别错。此时需要将这句话加入到训练数据中，并重新训练多分类模型，才能识别出包含新词的用户问句意图。
尤其是在区分用户购买意图和用户投诉意图时，二者在句式上相似度较高，比如：“我还没想好要哪个手机”与“我的手机不想要了”句式上相似度较高，所拆分出的分词也存在极高的相似度。并且，随着训练用的语料和意图种类的不断增加，会使得意图的识别准确率降低，传统方法(词向量分类+SVM)的识别效率提升存在瓶颈。
本实施例的目的在于：提高意图种类更多的情况下的意图识别准确率，主要思路是通过在意图识别过程中应用Word2Vec和RNN技术，从而优化意图分类，之后提升识别准确率。具体来说：
在现有的多分类模型基础上，通过Word2Vec将输入模型的语料转换成词向量作为模型的输入，并通过RNN模型对语料进行意图分类。缓减了该类问题的用户意图识别问题。通过该方法降低了训练数据标注和模型重新训练的成本，提高了用户意图识别的准确性。从而一定程度上解决了上述包含新词的意图识别问题，提高了意图种类更多的情况下的意图识别准确率。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于Word2Vec和RNN的用户意图识别方法，其特征在于，包括：
从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，所述语料数据包括：输入聊天工具的聊天语料；
利用所得的问法语句训练意图分类模型；
对用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化；
将向量化的语句作为输入，通过所述意图分类模型获取用户意图。
2.根据权利要求1所述的方法，其特征在于，所述从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，包括：
从所述聊天语料数据中，筛选客服聊天记录中的语料作为Word2Vec的训练语料，所述客服聊天记录中的语料还作为所述意图分类模型的语料词典；
对所述客服聊天记录中的语料进行数据清洗，再进行文本处理；
从所述聊天语料数据中选取用户提问的语料，并通过训练后的Word2Vec将所述用户提问的语料向量化，之后对向量化的所述用户提问的语料添加意图标识。
3.根据权利要求1所述的方法，其特征在于，所述利用所得的问法语句训练意图分类模型，包括：
对已添加意图标识的问法语句进行分词处理；
利用分词处理的结果，通过RNN训练所述意图分类模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化，包括：
实时获取用户输入的语料，并从中剔除无关的内容，再进行文本处理；
通过训练后的Word2Vec将用户实时输入的语料向量化。
5.根据权利要求1所述的方法，其特征在于，所述将向量化的语句作为输入，通过所述意图分类模型获取用户意图，包括：
通过所述意图分类模型，获取作为输入的向量化的语句在各个意图中的识别概率；
提取概率值最高的意图，当最高的概率值大于阈值时，判定概率值最高的意图为所述用户意图。
6.一种基于Word2Vec和RNN的用户意图识别装置，其特征在于，包括：
提取模块，用于从聊天语料数据中提取问法语句，并对所得问法语句添加意图标识，所述语料数据包括：输入聊天工具的聊天语料；
训练模块，用于利用所得的问法语句训练意图分类模型；
处理模块，用于对所述用户输入的语料进行分词处理，并通过Word2Vec对分词处理后的语句进行向量化；
分析模块，用于将向量化的语句作为输入，通过所述意图分类模型获取用户意图。
7.根据权利要求6所述的装置，其特征在于，所述提取模块，具体用于从所述聊天语料数据中，筛选客服聊天记录中的语料作为Word2Vec的训练语料，所述客服聊天记录中的语料还作为所述意图分类模型的语料词典；再对所述客服聊天记录中的语料进行数据清洗，再进行文本处理；之后从所述聊天语料数据中选取用户提问的语料，并通过训练后的Word2Vec将所述用户提问的语料向量化，之后对向量化的所述用户提问的语料添加意图标识。
8.根据权利要求6所述的装置，其特征在于，所述训练模块，具体用于对未添加所述意图标识的问法语句进行分词处理；之后利用分词处理的结果，通过RNN训练所述意图分类模型。
9.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于实时获取用户输入的语料，并从中剔除无关的内容，再进行文本处理；通过训练后的Word2Vec将用户实时输入的语料向量化。
10.根据权利要求6所述的装置，其特征在于，所述分析模块，具体用于通过所述意图分类模型，获取作为输入的向量化的语句在各个意图中的识别概率；提取概率值最高的意图，当最高的概率值大于阈值时，判定概率值最高的意图为所述用户意图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811246870.1A CN109543012A (zh) | 2018-10-25 | 2018-10-25 | 一种基于Word2Vec和RNN的用户意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811246870.1A CN109543012A (zh) | 2018-10-25 | 2018-10-25 | 一种基于Word2Vec和RNN的用户意图识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109543012A true CN109543012A (zh) | 2019-03-29 |
Family
ID=65844797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811246870.1A Pending CN109543012A (zh) | 2018-10-25 | 2018-10-25 | 一种基于Word2Vec和RNN的用户意图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543012A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159501A (zh) * | 2019-11-22 | 2020-05-15 | 杭州蛋壳商务信息技术有限公司 | 一种基于多层神经网络建立判客模型的方法及判客方法 |
| CN111160016A (zh) * | 2019-04-15 | 2020-05-15 | 深圳碳云智能数字生命健康管理有限公司 | 语义识别方法、装置、计算机可读存储介质和计算机设备 |
| CN111191678A (zh) * | 2019-12-11 | 2020-05-22 | 江苏艾佳家居用品有限公司 | 一种家装图片自动标注方法及系统 |
| CN111274827A (zh) * | 2020-01-20 | 2020-06-12 | 南京新一代人工智能研究院有限公司 | 一种基于词袋多目标学习的后缀翻译方法 |
| CN111861610A (zh) * | 2019-04-30 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| WO2021008015A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 意图识别方法、设备及计算机可读存储介质 |
| CN112256864A (zh) * | 2020-09-23 | 2021-01-22 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
| CN112527969A (zh) * | 2020-12-22 | 2021-03-19 | 上海浦东发展银行股份有限公司 | 增量意图聚类方法、装置、设备及存储介质 |
| CN113191135A (zh) * | 2021-01-26 | 2021-07-30 | 北京联合大学 | 一种融合颜文字的多类别情感提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951433A (zh) * | 2015-06-24 | 2015-09-30 | 北京京东尚科信息技术有限公司 | 基于上下文进行意图识别的方法和系统 |
| CN108304466A (zh) * | 2017-12-27 | 2018-07-20 | 中国银联股份有限公司 | 一种用户意图识别方法以及用户意图识别系统 |
-
2018
- 2018-10-25 CN CN201811246870.1A patent/CN109543012A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951433A (zh) * | 2015-06-24 | 2015-09-30 | 北京京东尚科信息技术有限公司 | 基于上下文进行意图识别的方法和系统 |
| CN108304466A (zh) * | 2017-12-27 | 2018-07-20 | 中国银联股份有限公司 | 一种用户意图识别方法以及用户意图识别系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160016B (zh) * | 2019-04-15 | 2022-05-03 | 深圳碳云智能数字生命健康管理有限公司 | 语义识别方法、装置、计算机可读存储介质和计算机设备 |
| CN111160016A (zh) * | 2019-04-15 | 2020-05-15 | 深圳碳云智能数字生命健康管理有限公司 | 语义识别方法、装置、计算机可读存储介质和计算机设备 |
| CN111861610A (zh) * | 2019-04-30 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN111861610B (zh) * | 2019-04-30 | 2024-10-25 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| WO2021008015A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 意图识别方法、设备及计算机可读存储介质 |
| CN111159501A (zh) * | 2019-11-22 | 2020-05-15 | 杭州蛋壳商务信息技术有限公司 | 一种基于多层神经网络建立判客模型的方法及判客方法 |
| CN111159501B (zh) * | 2019-11-22 | 2023-09-22 | 杭州蛋壳商务信息技术有限公司 | 一种基于多层神经网络建立判客模型的方法及判客方法 |
| CN111191678A (zh) * | 2019-12-11 | 2020-05-22 | 江苏艾佳家居用品有限公司 | 一种家装图片自动标注方法及系统 |
| CN111191678B (zh) * | 2019-12-11 | 2022-08-12 | 江苏艾佳家居用品有限公司 | 一种家装图片自动标注方法及系统 |
| CN111274827A (zh) * | 2020-01-20 | 2020-06-12 | 南京新一代人工智能研究院有限公司 | 一种基于词袋多目标学习的后缀翻译方法 |
| CN112256864B (zh) * | 2020-09-23 | 2024-05-14 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
| CN112256864A (zh) * | 2020-09-23 | 2021-01-22 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
| CN112527969B (zh) * | 2020-12-22 | 2022-11-15 | 上海浦东发展银行股份有限公司 | 增量意图聚类方法、装置、设备及存储介质 |
| CN112527969A (zh) * | 2020-12-22 | 2021-03-19 | 上海浦东发展银行股份有限公司 | 增量意图聚类方法、装置、设备及存储介质 |
| CN113191135A (zh) * | 2021-01-26 | 2021-07-30 | 北京联合大学 | 一种融合颜文字的多类别情感提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543012A (zh) | 一种基于Word2Vec和RNN的用户意图识别方法及装置 | |
| Astya | Sentiment analysis: approaches and open issues | |
| AlQahtani | Product sentiment analysis for amazon reviews | |
| CN111046656A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
| Petz et al. | On text preprocessing for opinion mining outside of laboratory environments | |
| Mehndiratta et al. | Identification of sarcasm using word embeddings and hyperparameters tuning | |
| Kaladevi et al. | RETRACTED ARTICLE: Integrated CNN-and LSTM-DNN-based sentiment analysis over big social data for opinion mining | |
| Suresh et al. | Mining of customer review feedback using sentiment analysis for smart phone product | |
| CN115688920A (zh) | 知识抽取方法、模型的训练方法、装置、设备和介质 | |
| CN111782793A (zh) | 智能客服处理方法和系统及设备 | |
| Upadhya et al. | Deep neural network models for question classification in community question-answering forums | |
| Yang et al. | Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey | |
| Belguith et al. | Aspect Level Sentiment Analysis Based on Deep Learning and Ontologies | |
| Cuadrado et al. | team UTB-NLP at finances 2023: financial targeted sentiment analysis using a phonestheme semantic approach | |
| KR20220105792A (ko) | 동적 텍스트 소스를 활용한 ai 기반 의사결정지원 시스템 | |
| Walha et al. | A Lexicon approach to multidimensional analysis of tweets opinion | |
| Khan et al. | Fake news classification using machine learning: Count vectorizer and support vector machine | |
| Ben et al. | Detecting sentiment polarities with comparative analysis of machine learning and deep learning algorithms | |
| Pujari et al. | Hybrid CNN and RNN for Twitter Sentiment Analysis | |
| Kakar et al. | Tweet recommendation using Clustered Bert and Word2vec Models | |
| Shanmugam et al. | Twitter sentiment analysis using novelty detection | |
| Alharbi et al. | Arabic Sentiment Analysis of Eateries' Reviews Using Deep Learning. | |
| Oshadi et al. | AppGuider: Feature Comparison System using Neural Network with FastText and Aspect-based Sentiment Analysis on Play Store User Reviews | |
| Ahmad et al. | Sentiment analysis of social media contents using machine learning algorithms | |
| Mala et al. | Product response analytics in Facebook |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |
|
| RJ01 | Rejection of invention patent application after publication |