CN111754980A - 一种基于语义识别的智能评分方法、装置及存储介质 - Google Patents

一种基于语义识别的智能评分方法、装置及存储介质 Download PDF

Info

Publication number
CN111754980A
CN111754980A CN202010436721.2A CN202010436721A CN111754980A CN 111754980 A CN111754980 A CN 111754980A CN 202010436721 A CN202010436721 A CN 202010436721A CN 111754980 A CN111754980 A CN 111754980A
Authority
CN
China
Prior art keywords
text
voice
intelligent
scoring
scoring method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010436721.2A
Other languages
English (en)
Inventor
姚望
黄延禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010436721.2A priority Critical patent/CN111754980A/zh
Publication of CN111754980A publication Critical patent/CN111754980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于语义识别的智能评分方法、装置及存储介质，包括，S1对语音信息进行识别，将语音信息转化为文本形式，得到语音文本；S2训练词向量，以数据矩阵的形式表示语音文本；S3利用卷积神经网络提取语音文本的语义特征；S4根据S2中截断补齐后的语音文本和语义特征，得到对服务水平进行评分。本发明以智能技术辅助人工服务，从语言的角度对机械设备报修系统的服务进行评分，可以有效提升报修系统的整体服务水平和客户体验。

Description

一种基于语义识别的智能评分方法、装置及存储介质
技术领域
本发明涉及语义识别领域，具体涉及一种基于语义识别的智能评分方法、装置及存储介质。
背景技术
各类大小型机械设备在实际应用中出现故障时，需要向设备报修系统报障进行维修，报修系统通常派技术人员与客户对接，并在与客户的沟通中提出维修意见。目前，报修系统的服务水平只有根据维修后设备的实际情况来评价，这种方法效率较低，且忽视了技术人员与客户交流时是否具有专业性和良好的沟通技巧，这些因素可以影响客户体验以及对该报修系统的评价。同样，在通信、银行等服务业中，存在客服与客户的电话沟通过程，通常客服的每次服务由客户来进行评分，但存在评分不够客观和很多客户不评分的问题。本发明的目的在于从语言的角度对这些服务的进行智能评分。
在机械领域，语义识别技术使用在如汽车语音导航和智能机器人在服务行业，语义识别技术则主要用于智能问答、业务办理等项目上，这些应用的目的主要在于去人工化。实际上，这些基于语义识别技术的应用项目并没有十分成熟，人工服务具有不可替代的优势。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于语义识别的智能分析方法、装置及存储介质。本发明以智能技术辅助人工服务，从语言的角度对机械设备报修系统的服务进行评分，可以有效提升报修系统的整体服务水平和客户体验。
本发明采用如下技术方案：
一种基于语义识别的智能评分方法，包括如下步骤：
S1对语音信息进行识别，将语音信息转化为文本形式，得到语音文本；
S2训练词向量，以数据矩阵的形式表示语音文本；
S3利用卷积神经网络提取语音文本的语义特征；
S4根据S2中截断补齐后的语音文本和语义特征，得到对服务水平进行评分。
所述S1中，语音信息是指维修技术人员与客户对接的语音记录。
优选的，将语音信息转化为文本形式是基于BBC语料库，采用随机模型法对语音信息进行转化。
优选的，S2中，训练词向量使用word2vec算法训练语音文本的词向量，对高频词汇进行随机降采样处理。
优选的，设置滑动窗口为5。
所述S3中，卷积神经网络使用卷积核的横向维度等于词汇量的维度，纵向维度为2、3和4，多个卷积核提取到的一维特征向量经过池化层后进行拼接，形成一维向量作为语义文本的语义特征。
优选的，S4根据语音文本和特征，得到对服务水平进行评分，具体是采用两层双向LSTM网络，每个双向LSTM神经元输出一个单维向量，在双向LSTM网络与输出层之间加入了Attention机制，输出结果经过Attention机制给每个单维向量分配权重，最后一层为Softmax层，输出报修系统的评分。
所述Softmax层使用交叉熵计算损失函数。
一种实现基于语音识别的智能评分方法的评分装置，包括：
采集模块，采集客户与服务人员交流的语音及文本，并将语音信息转化为文本形式，得到语音文本；
词嵌入模块，训练词汇量，以数据矩阵的形式表示语音文本；
特征提取模块，对数据矩阵进行语义特征提取；
评分模块，将语义特征与截断补齐后的语音文本作为评分模块的输入得到对服务水平的评分。
一种存储介质，用于存储智能方法。
本发明的有益效果：
(1)将语义识别技术与人工服务结合起来，在保留了人工服务优点的同时，提出建立基于语义识别的智能评分方法对人工服务水平进行智能评分；
(2)利用卷积神经网络提取维修技术人员语音文本中的上下文信息特征，加入到输入数据中，评分模型中使用了Attention机制，提高了模型对关键信息的重视程度，增强了语音文本的表达能力。
附图说明
图1是本发明的工作流程图；
图2是本发明的评分模型示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1及图2所示，基于随机模型法将语音数据转化为文本数据，该方法涉及到三种技术：动态时间规划(DTW)，隐马尔可夫模型(HMM)理论和矢量量化(VQ)技术。
一种基于语义识别的智能评分方法，用于机械领域中，保修人员与服务人员在交流过程中的语音及文字服务水平的评价方法。
包括如下步骤：
S1对语音信息进行识别，将语音信息转化为文本形式，得到语音文本；
主要识别记录维修技术人员的语音信息并转换为文本文字，语音信息主要是通讯APP的语音聊天记录或者电话沟通记录，还可以采集文本信息，主要是通讯APP的文字聊天记录。
S2训练词向量，以数据矩阵的形式表示语音文本；
利用word2vec训练文本的词向量，词向量的长度为200，高频词汇的随机降采样设置0.003，滑动窗口为5，词向量长度为200，加入负采样减少计算量。
完成词向量训练后文本可以表示成为一个数据矩阵，矩阵的每行代表一个词，行数即代表文本长度。
该步骤采用词嵌入(embedding)模块进行处理。
并对语音文本进行截断补齐，使不同输入到评分模型的语音文本长度均相同，补齐长度为语音文本长度的均值，长度不足的部分补0，超过的部分截断处理。
S3利用卷积神经网络提取语音文本的语义特征；
采用卷积神经网络挖掘语音文本的上下文信息，经过多个卷积的计算处理，从文本矩阵中提取到多个一维的特征向量，经过池化层后拼接成一个单维的特征向量，将特征向量拼接到语音文本中，作为评分模型的输入。
卷积神经网络的构成包括多个卷积核、最大池化层及全连接层。
S4根据S2中截断补齐后语音文本和语义特征，得到对服务水平进行评分
是基于双向LSTM网络搭建，网络的层数为2。模型在双向LSTM网络与输出层之间加入了Attention机制，用于突出一些关键词汇的作用，如“自由度”、“使用寿命”等词语在体现专业性上更为关键。经过Attention机制赋予关键词更高的权重，利用Softmax层对语音文本进行评分，Softmax层使用交叉熵计算损失函数，输出1×5的向量，可以对报修系统的服务水平进行评分，评分结果从“不合格”到“优秀”分为五个等级。
如图2所示，双向LSTM层数为2，隐含层神经元数为256，dropout设置0.2,Attention机制的初始权重均为1，Pooling选择MaxPooling，Softmax输出向量的维度为5.
一种基于语义识别的智能评分装置，包括
采集模块，采集客户与服务人员交流的语音及文本，并将语音信息转化为文本形式，得到语音文本；
词嵌入模块，训练词汇量，以数据矩阵的形式表示语音文本；
特征提取模块，对数据矩阵进行语义特征提取；
评分模块，将语义特征与截断补齐后的语音文本作为评分模块的输入得到对服务水平的评分。
一种存储介质，用于存储本方法软件程序的介质。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于语义识别的智能评分方法，其特征在于，包括如下步骤：
S1对语音信息进行识别，将语音信息转化为文本形式，得到语音文本；
S2训练词向量，以数据矩阵的形式表示语音文本；
S3利用卷积神经网络提取语音文本的语义特征；
S4根据S2中截断补齐后的语音文本和语义特征，得到对服务水平进行评分。
2.根据权利要求1所述的智能评分方法，其特征在于，所述S1中，语音信息是指维修技术人员与客户对接的语音记录。
3.根据权利要求1所述的智能评分方法，其特征在于，将语音信息转化为文本形式是基于BBC语料库，采用随机模型法对语音信息进行转化。
4.根据权利要求1所述的智能评分方法，其特征在于，S2中，训练词向量使用word2vec算法训练语音文本的词向量，对高频词汇进行随机降采样处理。
5.根据权利要求4所述的智能评分方法，其特征在于，设置滑动窗口为5。
6.根据权利要求1所述的智能评分方法，其特征在于，所述S3中，卷积神经网络使用卷积核的横向维度等于词汇量的维度，纵向维度为2、3和4，多个卷积核提取到的一维特征向量经过池化层后进行拼接，形成一维向量作为语义文本的语义特征。
7.根据权利要求1所述的智能评分方法，其特征在于，S4根据语音文本和特征，得到对服务水平进行评分，具体是采用两层双向LSTM网络，每个双向LSTM神经元输出一个单维向量，在双向LSTM网络与输出层之间加入了Attention机制，输出结果经过Attention机制给每个单维向量分配权重，最后一层为Softmax层，输出报修系统的评分。
8.根据权利要求7所述的智能评分方法，其特征在于，所述Softmax层使用交叉熵计算损失函数。
9.一种实现权利要求1-8任一项所述的智能评分方法的评分装置，其特征在于，包括：
采集模块，采集客户与服务人员交流的语音及文本，并将语音信息转化为文本形式，得到语音文本；
词嵌入模块，训练词汇量，以数据矩阵的形式表示语音文本；
特征提取模块，对数据矩阵进行语义特征提取；
评分模块，将语义特征与截断补齐后的语音文本作为评分模块的输入得到对服务水平的评分。
10.一种存储介质，其特征在于，用于存储权利要求1-8任一项所述的智能方法。
CN202010436721.2A 2020-05-21 2020-05-21 一种基于语义识别的智能评分方法、装置及存储介质 Pending CN111754980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010436721.2A CN111754980A (zh) 2020-05-21 2020-05-21 一种基于语义识别的智能评分方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010436721.2A CN111754980A (zh) 2020-05-21 2020-05-21 一种基于语义识别的智能评分方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111754980A true CN111754980A (zh) 2020-10-09

Family

ID=72673477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010436721.2A Pending CN111754980A (zh) 2020-05-21 2020-05-21 一种基于语义识别的智能评分方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111754980A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112349168A (zh) * 2020-11-10 2021-02-09 国网天津静海供电有限公司 电力调控员沟通协调仿真培训系统及方法
CN112738345A (zh) * 2020-12-10 2021-04-30 南方电网数字电网研究院有限公司 用于业务管控智能语音的导航呼叫系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN109151218A (zh) * 2018-08-21 2019-01-04 平安科技（深圳）有限公司 通话语音质检方法、装置、计算机设备及存储介质
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN109214003A (zh) * 2018-08-29 2019-01-15 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN109471915A (zh) * 2018-10-09 2019-03-15 科大讯飞股份有限公司 一种文本评价方法、装置、设备以及可读存储介质
CN109800326A (zh) * 2019-01-24 2019-05-24 广州虎牙信息科技有限公司 一种视频处理方法、装置、设备和存储介质
CN110069776A (zh) * 2019-03-19 2019-07-30 上海拍拍贷金融信息服务有限公司 客户满意度评估方法及装置、计算机可读存储介质
CN110135879A (zh) * 2018-11-17 2019-08-16 华南理工大学 基于自然语言处理的客服质量自动评分方法
CN110175645A (zh) * 2019-05-27 2019-08-27 广西电网有限责任公司 一种确定保护装置型号的方法及计算装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN109151218A (zh) * 2018-08-21 2019-01-04 平安科技（深圳）有限公司 通话语音质检方法、装置、计算机设备及存储介质
CN109214003A (zh) * 2018-08-29 2019-01-15 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN109471915A (zh) * 2018-10-09 2019-03-15 科大讯飞股份有限公司 一种文本评价方法、装置、设备以及可读存储介质
CN110135879A (zh) * 2018-11-17 2019-08-16 华南理工大学 基于自然语言处理的客服质量自动评分方法
CN109800326A (zh) * 2019-01-24 2019-05-24 广州虎牙信息科技有限公司 一种视频处理方法、装置、设备和存储介质
CN110069776A (zh) * 2019-03-19 2019-07-30 上海拍拍贷金融信息服务有限公司 客户满意度评估方法及装置、计算机可读存储介质
CN110175645A (zh) * 2019-05-27 2019-08-27 广西电网有限责任公司 一种确定保护装置型号的方法及计算装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112349168A (zh) * 2020-11-10 2021-02-09 国网天津静海供电有限公司 电力调控员沟通协调仿真培训系统及方法
CN112738345A (zh) * 2020-12-10 2021-04-30 南方电网数字电网研究院有限公司 用于业务管控智能语音的导航呼叫系统

Similar Documents

Publication Publication Date Title
WO2020228173A1 (zh) 违规话术检测方法、装置、设备及计算机可读存储介质
CN108228764A (zh) 一种单轮对话和多轮对话的融合方法
CN105427869A (zh) 一种基于深度学习的会话情感自动分析方法
CN110853649A (zh) 基于智能语音技术的标签提取方法、系统、设备及介质
CN111754980A (zh) 一种基于语义识别的智能评分方法、装置及存储介质
CN105139864A (zh) 语音识别方法和装置
CN111126057B (zh) 一种分级神经网络的案件情节精准量刑系统
CN111767398A (zh) 基于卷积神经网络的二次设备故障短文本数据分类方法
CN111489765A (zh) 一种基于智能语音技术的话务服务质检方法
CN114120516B (zh) 一种营业厅叫号顺序优化方法
CN104751227A (zh) 深度神经网络的构建方法及系统
KR20200119410A (ko) 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법
CN111475633B (zh) 基于座席语音的话术支持系统
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN114818649A (zh) 基于智能语音交互技术的业务咨询处理方法及装置
CN116631412A (zh) 一种通过声纹匹配判断语音机器人的方法
CN111090726A (zh) 一种基于nlp的电力行业文字客服交互方法
CN114996470A (zh) 一种智能调度检修识别库构建方法
CN112053681B (zh) Asr和nlu联合训练的电话客服质量评分方法及系统
CN109033378A (zh) 一种Zero-shot Learning在智能客服系统中的应用方法
CN116911869A (zh) 一种基于人工智能的智能客服系统及其方法
CN116705077A (zh) 一种ai分析语音识别情绪状态的方法
CN110782221A (zh) 一种面试智能评测系统及方法
CN114333770A (zh) 自动发音评估方法、装置、设备及存储介质
CN110580899A (zh) 语音识别方法及装置、存储介质、计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009