CN111027329B - 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法 - Google Patents

一种基于深度学习的物流智能客服系统的用户情感分析系统及方法 Download PDF

Info

Publication number
CN111027329B
CN111027329B CN201911074591.6A CN201911074591A CN111027329B CN 111027329 B CN111027329 B CN 111027329B CN 201911074591 A CN201911074591 A CN 201911074591A CN 111027329 B CN111027329 B CN 111027329B
Authority
CN
China
Prior art keywords
module
cnn
gru
data
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911074591.6A
Other languages
English (en)
Other versions
CN111027329A (zh
Inventor
彭俊杰
张换香
胡敬响
谭书华
胡淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201911074591.6A priority Critical patent/CN111027329B/zh
Publication of CN111027329A publication Critical patent/CN111027329A/zh
Application granted granted Critical
Publication of CN111027329B publication Critical patent/CN111027329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于深度学习的物流智能客服系统用户情感分析系统和方法，系统包括语料库开发处理模块、预训练模块、CNN模块、CNN+GRU模块、CNN+特征模型+GRU模块、情感分析结果展示模块。本方法是针对物流智能客服系统中用户的情感识别。基于用户数据的构成复杂性，提出了一种用于物流行业智能客服情感分析的模型，根据特征构建了不同的卷积神经网络的特征模型，采用CNN+特征模型+GRU网络框架实现了多特征融合数据的情感分类。大量的实验结果表明，CNN+特征模型+GRU模型正确，能够有效解决多特征融合的中文文本情感识别问题，在物流智能客服系统中人机交互场景具有广泛的应用前景。

Description

一种基于深度学习的物流智能客服系统的用户情感分析系统 及方法
技术领域
本发明涉及一种基于深度学习的物流智能客服系统的用户情感分析系统及方法，特别涉及一种针对物流垂直领域数据复杂的情感分析方法。
背景技术
随着物流行业的快速发展，传统靠增加人数来维持业务发展遭遇瓶颈，智能客服系统应运而生，逐渐代替传统的人工服务，用户和智能客服的高效交流对企业的重要性不言而喻。自动分析用户对行业评论的情感取向，激发机器人对用户做出相应反馈，是提高企业服务质量，提升用户体验的重要途径；人工智能、自然语言处理技术的不断发展，为情感分析提供了更加丰富的方法和可靠的理论依据。
自然语言是用户表达意图及情感的主要方式，情感分析是自然语言处理研究的热点之一，当前，情感分析的研究应用逐渐由通用领域转向垂直领域。如影视行业，如何从电影评论中挖掘意见；电商平台，对商家或产品发表观点；新闻领域，分析提取政治观点，方便官方进行决策等，但是，到目前为止，情感分析在物流行业的应用还未出现。
综上所述，在物流这一垂直领域，分析智能客服系统中用户情感极性有着重要的意义和强大的技术支撑，也是当前物流行业亟待解决的问题之一。
发明内容
为解决物流垂直领域的用户情感分析问题，从物流智能客服系统中整理开发了关于物流的用户评论语料库，本语料具有如下三个鲜明的特点：1、口语化偏重的短语料，多数由特殊疑问句、反问句及带语气的符号组成；2、含蓄表达情感的语料，比如隐喻，讽刺等；3、上下文关联紧密表达情感的长语料，如大段文本描述整个事件的过程；当然还包括一般的基础语料。每种语料都人工标注了情感极性(正面，负面)。本发明的目的是提供一种基于深度学习的物流智能客服系统的用户情感分析系统及方法。
为达到上述目的，本发明构思如下：
基于语料数据的组成特点，给情感分析带来了相当大的难度，通用的情感分析技术已不足以有效解决问题，本发明基于深度学习，采用预训练的思想，通过卷积神经网络(CNN)对三种特征的语料进行特征提取，得到三个预训练模型F1、F2、F3；然后在本发明构建的CNN+特征模型+GRU网络框架下实现情感分类。
根据上述构思，本发明的技术方案如下：
一种基于深度学习的物流智能客服系统的用户情感分析系统，包括语料库开发处理模块、预训练模块、CNN+GRU模块、CNN+特征模型+GRU模块、情感分析结果展示模块，所述语料库开发处理模块连接预训练模块和CNN+GRU模块，所述CNN+特征模型+GRU模块连接预训练模块、CNN+GRU模块及情感分析结果展示模块。
一种基于深度学习的物流智能客服系统的用户情感分析方法，采用上述的基于深度学习的物流智能客服系统的用户情感分析系统进行操作，操作步骤如下：
1)所述语料库开发处理模块用来开发处理物流智能客服系统的情感分析所用到的各类情感数据，即为各类情感数据打标签，然后将整理的数据传入预训练模块得到特征模型；
2)预训练模块请求语料库开发处理模块传入数据进行必要的预训练，并将训练模型返回给预训练模块；
3)CNN+GRU模块请求语料库开发处理模块传入数据；
4)CNN+GRU模块将数据按照择优原则选出最优数据，输入到CNN+特征模型+GRU模块进行处理；
5)CNN+特征模型+GRU模块请求预训练模块输入预训练后的数据与CNN+GRU模块选择出的最优数据连接后进行处理，并将情感分析处理结果传入到情感分析结果展示模块；
6)情感分析结果展示模块根据CNN+特征模型+GRU模块得到的数据提供一个API给不同的客户端调用，即客户端访问该API后得到情感分析结果后以图表形式展示。
所述步骤2)中针对语料库开发处理模块中情感识别困难的数据的不同特点，分别请求预训练模块进行预训练，并将训练模型返回给预训练模块。
所述步骤4)中根据语料库开发处理模块中数据集的平衡性特点对情感分析结果的影响，请求CNN+GRU模块按照择优原则确定最优数据，输入到CNN+特征模型+GRU模块进行处理。
所述步骤5)中根据CNN+特征模型+GRU模块的请求，预处理模块将数据传入CNN+特征模型+GRU模块，同时请求预处理模块的预训练特征模型的输入，通过预训练模型起到检测的作用，辅助识别难以确定情感极性的数据的极性处理结果，主要包含以下几个步骤：
5-1)根据CNN+特征模型+GRU模块，将预处理模块中预训练的特征模型F1连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-2)根据CNN+特征模型+GRU模块，将预处理模块中预训练的特征模型F2连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-3)根据CNN+特征模型+GRU模块，将预处理模块中预训练的特征模型F3连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-4)根据CNN+特征模型+GRU模块，将预处理模块中预训练的三个特征模型全部连接到CNN最后层，再输入到GRU分析数据的情感极性；
5-5)根据CNN+特征模型+GRU模块，将预处理模块中预训练的三个特征模型分别连接到CNN的不同层，再输入到GRU分析数据的情感极性；
通过CNN+特征模型+GRU模块对各种情况下的情感极性进行了分析，将比较分析结果传给情感分析结果展示模块，进行步骤6)。
与现有技术相比，本发明具有如下显而易见的突出实质性特点和显著优点：
1、本发明采用预训练思想，提取不容易识别情感极性数据的特征，在模型中起到了检测作用；2、在情感分析模型中以个性化方式连接预训练的特征模型，克服了准确率不高的问题，解决了物流这一垂直领域自动分析用户对行业评论的情感取向问题，激发机器人对用户做出相应反馈，提高了企业服务质量，提升了用户体验，具有一定的商业和社会价值。
附图说明
图1是本发明的用户情感分析系统结构示意图。
图2是本发明方法的预训练模型图。
图3是本发明方法的情感分析模型图。
图4是本发明实施例在准确率等指标上与其他算法的效果对比图。
具体实施方式
以下结合附图详述本发明的优选实施例。
如图1所示，本实施例一种基于深度学习的物流智能客服系统的用户情感分析系统，包括语料库开发处理模块1、预训练模块2、CNN+GRU模块3、CNN+特征模型+GRU模块4、情感分析结果展示模块5，所述语料库开发处理模块1连接预训练模块2和CNN+GRU模块3，所述CNN+特征模型+GRU模块4连接预训练模块2、CNN+GRU模块3及情感分析结果展示模块5。
一种基于深度学习的物流智能客服系统的用户情感分析方法，采用上述的基于深度学习的物流智能客服系统的用户情感分析系统进行操作，操作步骤如下：
1)所述语料库开发处理模块1用来开发处理物流智能客服系统的情感分析所用到的各类情感数据，即为各类情感数据打标签，然后将整理的数据传入预训练模块2得到特征模型；
2)预训练模块2请求语料库开发处理模块1传入数据进行必要的预训练，并将训练模型返回给预训练模块2，如图2所示；
3)CNN+GRU模块3请求语料库开发处理模块1传入数据；
4)CNN+GRU模块3将数据按照择优原则选出最优数据，输入到CNN+特征模型+GRU模块4进行处理；
5)CNN+特征模型+GRU模块4请求预训练模块2输入预训练后的数据与CNN+GRU模块3选择出的最优数据连接后进行处理，并将情感分析处理结果传入到情感分析结果展示模块5，如图3所示；
6)情感分析结果展示模块5根据CNN+特征模型+GRU模块4得到的数据提供一个API给不同的客户端调用，即客户端访问该API后得到情感分析结果后以图表形式展示。
所述步骤2)中针对语料库开发处理模块1中情感识别困难的数据的不同特点，分别请求预训练模块2进行预训练，并将训练模型返回给预训练模块2。
所述步骤4)中根据语料库开发处理模块1中数据集的平衡性特点对情感分析结果的影响，请求CNN+GRU模块3按照择优原则确定最优数据，输入到CNN+特征模型+GRU模块4进行处理。
所述步骤5)中根据CNN+特征模型+GRU模块4的请求，预处理模块2将数据传入CNN+特征模型+GRU模块4，同时请求预处理模块2的预训练特征模型的输入，通过预训练模型起到检测的作用，辅助识别难以确定情感极性的数据的极性处理结果，主要包含以下几个步骤：
5-1)根据CNN+特征模型+GRU模块4，将预处理模块2中预训练的特征模型F1连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-2)根据CNN+特征模型+GRU模块4，将预处理模块2中预训练的特征模型F2连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-3)根据CNN+特征模型+GRU模块4，将预处理模块2中预训练的特征模型F3连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-4)根据CNN+特征模型+GRU模块4，将预处理模块2中预训练的三个特征模型全部连接到CNN最后层，再输入到GRU分析数据的情感极性；
5-5)根据CNN+特征模型+GRU模块4，将预处理模块2中预训练的三个特征模型分别连接到CNN的不同层，再输入到GRU分析数据的情感极性；
通过CNN+特征模型+GRU模块4对各种情况下的情感极性进行了分析，将比较分析结果传给情感分析结果展示模块5，进行步骤6)。
为了验证此模型的有效性和准确性，通过9组实验，首先预训练实验提取特征模型，其次分别以不同的方式加了预训练的特征模型，CNN+F1+GRU是在GRU之前加载F1模型，CNN+F2+GRU是在GRU之前加载F2模型，CNN+F3+GRU是在GRU之前加载F3模型，CNN+F1+F2+F3+GRU是在GRU之前同时加载3个模型，L(CNN+F1+F2+F3+GRU)是在CNN第一层卷积前连接F1特征模型，在第二层卷积前连接F2特征模型，在第三层卷积前连接F3模型，起到分层检测不同特征的作用，通过以上实验分别验证本发明方法的可行性，并与同类的算法在相同的数据集上进行准确率指标的对比。具体的实验技术方案如下：
方案一：本发明提出的预训练模型可行性验证，其中预训练模型的参数设置如下表所示：
表1预训练模型参数设置
方案二：本发明提出的算法与同类的其它算法的对比，结果如图4所示。在CNN+GRU上加了预训练的特征模型，特征模型在检测数据集中三大特点文本的情感极性中发挥了作用，结果表明，分层加载三个模型的准确率比同时加载三个模型的准确率提升了，同时F1模型对实验结果的影响最大，F2和F3相对较弱，分析原因，F1对应的训练数据集中约占到整个数据集的2/3，所以对应的特征模型对结果影响较大。由实验表明，该情感分析方法是切实可行的，并且其识别准确率比传统的算法要高。

Claims (3)

1.一种基于深度学习的物流智能客服系统的用户情感分析方法，其特征在于，操作步骤如下：
1）语料库开发处理模块（1）用来开发处理物流智能客服系统的情感分析所用到的各类情感数据，即为各类情感数据打标签，然后将整理的数据传入预训练模块（2）得到特征模型；
2）预训练模块（2）请求语料库开发处理模块（1）传入数据进行必要的预训练，并将训练模型返回给预训练模块（2）；
3）CNN+GRU模块（3）请求语料库开发处理模块（1）传入数据；
4）CNN+GRU模块（3）将数据按照择优原则选出最优数据，输入到CNN+特征模型+GRU模块（4）进行处理；
5）CNN+特征模型+GRU模块（4）请求预训练模块（2）输入预训练后的数据与CNN+GRU模块（3）选择出的最优数据连接后进行处理，并将情感分析处理结果传入到情感分析结果展示模块（5）；
6）情感分析结果展示模块（5）根据CNN+特征模型+GRU模块（4）得到的数据提供一个API给不同的客户端调用，即客户端访问该API后得到情感分析结果后以图表形式展示；
所述步骤5）中根据CNN+特征模型+GRU模块（4）的请求，预处理模块（2）将数据传入CNN+特征模型+GRU模块（4），同时请求预处理模块（2）的预训练特征模型的输入，通过预训练模型起到检测的作用，辅助识别难以确定情感极性的数据的极性处理结果，主要包含以下几个步骤：
5-1）根据CNN+特征模型+GRU模块（4），将预处理模块（2）中预训练的特征模型F1连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-2）根据CNN+特征模型+GRU模块（4），将预处理模块（2）中预训练的特征模型F2连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-3）根据CNN+特征模型+GRU模块（4），将预处理模块（2）中预训练的特征模型F3连接到CNN第一层，再输入到GRU分析数据的情感极性；
5-4）根据CNN+特征模型+GRU模块（4），将预处理模块（2）中预训练的三个特征模型全部连接到CNN最后层，再输入到GRU分析数据的情感极性；
5-5）根据CNN+特征模型+GRU模块（4），将预处理模块（2）中预训练的三个特征模型分别连接到CNN的不同层，再输入到GRU分析数据的情感极性；
通过CNN+特征模型+GRU模块（4）对各种情况下的情感极性进行了分析，将比较分析结果传给情感分析结果展示模块（5），进行步骤6）。
2.根据权利要求1所述的基于深度学习的物流智能客服系统的用户情感分析方法，其特征在于：所述步骤2）中针对语料库开发处理模块（1）中情感识别困难的数据的不同特点，分别请求预训练模块（2）进行预训练，并将训练模型返回给预训练模块（2）。
3.根据权利要求1所述的基于深度学习的物流智能客服系统的用户情感分析方法，其特征在于：所述步骤4）中根据语料库开发处理模块（1）中数据集的平衡性特点对情感分析结果的影响，请求CNN+GRU模块（3）按照择优原则确定最优数据，输入到CNN+特征模型+GRU模块（4）进行处理。
CN201911074591.6A 2019-11-06 2019-11-06 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法 Active CN111027329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911074591.6A CN111027329B (zh) 2019-11-06 2019-11-06 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911074591.6A CN111027329B (zh) 2019-11-06 2019-11-06 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法

Publications (2)

Publication Number Publication Date
CN111027329A CN111027329A (zh) 2020-04-17
CN111027329B true CN111027329B (zh) 2023-07-21

Family

ID=70204942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911074591.6A Active CN111027329B (zh) 2019-11-06 2019-11-06 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法

Country Status (1)

Country Link
CN (1) CN111027329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507723A (zh) * 2020-12-03 2021-03-16 南京理工大学 基于多模型融合的新闻情感分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697232A (zh) * 2018-12-28 2019-04-30 四川新网银行股份有限公司 一种基于深度学习的中文文本情感分析方法
CN109992779A (zh) * 2019-03-29 2019-07-09 长沙理工大学 一种基于cnn的情感分析方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697232A (zh) * 2018-12-28 2019-04-30 四川新网银行股份有限公司 一种基于深度学习的中文文本情感分析方法
CN109992779A (zh) * 2019-03-29 2019-07-09 长沙理工大学 一种基于cnn的情感分析方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王宏生 ; 金相宇 ; .基于深度学习的中文电商评论情感分析.信息通信.2018,(03),全文. *
薄洪健 ; 马琳 ; 孔祥浩 ; 李海峰 ; .基于卷积神经网络学习的语音情感特征降维方法研究.高技术通讯.2017,(Z2),全文. *

Also Published As

Publication number Publication date
CN111027329A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN106991085B (zh) 一种实体的简称生成方法及装置
US10853421B2 (en) Segmented sentence recognition method and device for human-machine intelligent question answer system
CN110415071B (zh) 一种基于观点挖掘分析的汽车竞品对比方法
CN107832432A (zh) 一种搜索结果排序方法、装置、服务器和存储介质
CN110222178A (zh) 文本情感分类方法、装置、电子设备及可读存储介质
CN112699686B (zh) 基于任务型对话系统的语义理解方法、装置、设备及介质
CN112434142B (zh) 一种标记训练样本的方法、服务器、计算设备及存储介质
CN110188775A (zh) 一种基于联合神经网络模型的图像内容描述自动生成方法
CN113657115B (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
Choi et al. Residual-based graph convolutional network for emotion recognition in conversation for smart Internet of Things
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
CN110489554B (zh) 基于位置感知互注意力网络模型的属性级情感分类方法
CN112001166A (zh) 面向政务咨询服务的智能问答句子对语义匹配方法和装置
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN113987167A (zh) 基于依赖感知图卷积网络的方面级情感分类方法及系统
CN116205222A (zh) 一种基于多通道注意力融合的方面级情感分析系统及方法
CN114997181A (zh) 一种基于用户反馈修正的智能问答方法及系统
CN111027329B (zh) 一种基于深度学习的物流智能客服系统的用户情感分析系统及方法
CN115270807A (zh) 网络用户的情感倾向判定方法、装置、设备及存储介质
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN113408287A (zh) 实体识别方法、装置、电子设备及存储介质
CN115952360A (zh) 基于用户和物品共性建模的域自适应跨域推荐方法及系统
CN112949284A (zh) 一种基于Transformer模型的文本语义相似度预测方法
CN112287640B (zh) 一种基于中文字符结构的序列标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant