CN112837693A - 一种用户体验倾向识别方法、装置、设备和可读存储介质 - Google Patents
一种用户体验倾向识别方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN112837693A CN112837693A CN202110127956.8A CN202110127956A CN112837693A CN 112837693 A CN112837693 A CN 112837693A CN 202110127956 A CN202110127956 A CN 202110127956A CN 112837693 A CN112837693 A CN 112837693A
- Authority
- CN
- China
- Prior art keywords
- user
- service
- tendency
- recognition model
- experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000001228 spectrum Methods 0.000 claims abstract description 121
- 230000008569 process Effects 0.000 claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 230000008451 emotion Effects 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用户体验倾向识别方法、装置、设备和可读存储介质，其中方法包括：获取用户在被服务过程中的声谱文件；将所述声谱文件转化为音频频谱图像；将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。本发明当用户没有将服务体验直接表达在服务评价上时也能够及时获知用户的服务体验倾向，从而可以方便运营人员及时进行后续跟进，挽回由于体验差导致即将损失的用户。另一方面，由于是采用音频频谱图像来进行识别，相对于常用的语音识别，其所能够体现出的用户情绪更加客观真实、维度更广，因此用户服务体验倾向识别更加准确。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种用户体验倾向识别方法、装置、设备和可读存储介质。
背景技术
随着社会的发展，各个区域的产业结构都在不断地发生变化。服务业是各大一线城市在主推的产业，在互联网+的兴起过程中，各种类型的服务行业应运而生。带有互联网性质的服务行业，大都以平台的实行将服务者和被服务者连接在一起，例如，电商平台在厂家和消费者之间建立起联系，网约车平台将司机和乘客之间建立起联系。对于服务类型和质量的监管和监控是各大平台需要经常关注的事情，无论是平台、厂家还是司机等，其主要目的都是了给消费者提供服务或者产品。然而，现有技术中用户在消费之后的体验并不能够很直观地展现给平台，导致平台并不能及时获知用户的服务体验倾向。例如，随着网约车的发展，在共享出行领域司机和乘客纠纷的处理是比较重要的环节，对于乘客而言，如果对所提供的服务不满意的话，并不一定会直接体现在服务评价上，而是直接放弃平台的使用，这将导致平台损失了该用户却无法及时进行补救。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的是现有技术中当用户没有将服务体验直接表达在服务评价上时导致无法及时获知用户的服务体验倾向的技术问题。
为实现上述目的，本发明提供了一种用户体验倾向识别方法，包括：获取用户在被服务过程中的声谱文件；将所述声谱文件转化为音频频谱图像；将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
在本发明的较佳实施方式中，还包括：获取所述用户该次服务的特征参数；将所述特征参数与所述音频频谱图像一起输入到所述识别模型中。
在本发明的较佳实施方式中，所述识别模型通过以下过程训练得到：获取历史服务过程中的过程数据，所述过程数据包括历史声谱文件及其对应的特征参数；将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型。
在本发明的较佳实施方式中，所述将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型，包括：从所述过程数据中随机选择一部分的数据作为验证集，其余部分为训练集，其中，每一份过程数据均包含用于表示用户当次服务体验倾向的标识；利用所述训练集对所述初始识别模型进行训练，以调整所述初始识别模型的模型参数和模型结构，使得调整后的初始识别模型在所述验证集的模型评估指标达到预设值，得到所述识别模型。
在本发明的较佳实施方式中，所述识别模型为二分类模型，其中，所述倾向结果包括用于表示好评的体验倾向和用于表示差评的体验倾向。
在本发明的较佳实施方式中，还包括：对所述声谱文件进行语音识别，得到该次服务过程中的语音文本；从所述语音文本中识别用于表征用户情绪的特征词；将所述特征词与所述音频频谱图像一起输入到所述识别模型中。
在本发明的较佳实施方式中，所述服务为出行服务，所述特征参数包括以下至少之一：司机信用分、乘客等待时间、司机接单距离、司机达到时间、行程距离。
为实现上述目的，本发明还提供了一种用户体验倾向识别装置，其特征在于，包括：获取模块，用于获取用户在被服务过程中的声谱文件；转化模块，用于将所述声谱文件转化为音频频谱图像；识别模块，用于将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
为实现上述目的，本发明还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，从而执行上述的用户体验倾向识别方法。
为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述的用户体验倾向识别方法。
本发明提供的装置或方法具有以下技术效果：
1、通过获取用户在被服务过程中的声谱文件，将该声谱文件转化成音频频谱图像，然后利用预先训练得到的识别模型来识别该音频频谱图像，确定出用户的服务体验倾向，得到倾向结果，当用户没有将服务体验直接表达在服务评价上时也能够及时获知用户的服务体验倾向，从而可以方便运营人员及时进行后续跟进，挽回由于体验差导致即将损失的用户。另一方面，由于是采用音频频谱图像来进行识别，相对于常用的语音识别，其所能够体现出的用户情绪更加客观真实、维度更广，因此用户服务体验倾向识别更加准确。
2、本发明实施例中识别模型在训练之前，也需要在训练的样本数据中加入服务的特征参数，从而提高识别模型的识别准确性。
3、通过采用服务的特征参数结合用户被服务过程中的音频频谱图像一起输入到识别模型中，在音频维度的基础上，再增加服务特征维度，从而能够更加准确、客观地确定出用户的服务体验倾向。
4、通过利用历史数据来训练识别模型，找出历史数据中，用户对服务体验倾向的规律来识别在后的用户服务体验倾向，从而达到及时获知用户对服务的体验倾向情绪，可以及时采取有效的挽回措施来挽回可能损失的用户。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的用户体验倾向识别方法的一个较佳实施例的流程图；
图2是本发明的一种识别模型建立和部署的框架流程图；
图3是本发明的用户体验倾向识别装置的一个较佳实施例的结构示意图；
图4是本发明的电子设备的一个较佳实施例的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为了阐释的目的而描述了本发明的一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。
本发明实施例提供了一种用户体验倾向识别方法，该方法主要用于对用户接受服务之后的用户体验倾向进行判断和识别，尤其是针对没有给出服务评价(例如好评、差评甚至投诉等)的用户的体验倾向进行分析识别，以方便进行后续的跟踪或者补救。例如，在识别出用于的体验倾向为差评时，可以向用户赠送优惠券的营销方式来挽回。本发明实施例中，服务的类型不做限定，可以是出行服务，例如网约车服务(包括顺风车等)；也可以是导游服务、柜台服务等等。本发明实施例提供的用户体验倾向识别方法主要是通过收集在服务过程中的声谱数据以此作为主要的判断依据来做服务体验倾向的判断。该方法可以部署在平台后端服务器上，通过后端服务器来识别每个服务的用户体验倾向，从而再针对性的进行用户的挽回和补救，提高用户的体验。
如图1所示，本发明实施例的用户体验倾向识别方法包括：
步骤S101，获取用户在被服务过程中的声谱文件。
本发明实施例中，用户是被服务者，服务者在向用户提供服务过程中，可以通过终端设备来收集该服务过程中的音频信息，形成声谱文件。需要说明的是，收集的声谱文件类似于执法人员使用的执法记录仪记录的视频数据，其主要用于对执法过程记录；本发明实施例中所收集的声谱文件则同样仅用于进行用户体验倾向的判断，不做他用。该音频信息的收集前会告知用户，其主要用途可以是作为纠纷仲裁的重要依据。
本实施例中的声谱文件可以包含服务者和用户的声谱数据，由服务者收集完成之后，上传到后端服务器。若当前用户并未进行服务评价，则后端服务器可以执行用户体验倾向识别方法，获取用户在被服务过程中的声谱文件，用于进行后续判断。
步骤S102，将所述声谱文件转化为音频频谱图像。
后端服务器在获取到声谱文件之后，可以将该声谱文件转化为音频频谱图像，具体地，可以通过梅尔频率倒谱系数(MFCC)方式对声谱文件进行处理，将声谱文件转变为类似一张图片的文件，也即是音频频谱图像。
步骤S103，将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
本发明实施例中，在后端服务器上预先部署有训练得到的识别模型，在转化得到音频频谱图像之后，可以将该音频频谱图像作为识别模型的输入，利用预先训练得到的识别模型来对音频频谱图像进行识别，从而得到用户的服务体验倾向。本发明实施例中，用户的服务体验倾向可以通过标识来进行表示，例如，0表示用户对该次服务的体验倾向为差评或者存在投诉倾向；1表示用户对该次服务的体验倾向为好评。因此，倾向结果包括用于表示体验倾向为差评或者存在投诉倾向的“0”，或者用于表示用户对该次服务的体验倾向为好评的“1”。
本实施例中，识别模型从音频频谱图像中提取用户的音频特征，比如，用户的音量变化、音调变化、语音节奏变化等，还可以结合用户的语音内容判断出用户的情绪变化。进一步的，本发明实施例的识别模型是利用历史服务数据训练得到的，其模型参数和模型架构是经过调整和验证后的优化结果。当提取到的特征组合计算确定出用户的服务体验倾向时，输出相应的倾向结果，供后台进行后续的跟进或者挽回操作。由于声谱文件难以被识别模型处理，本发明实施例将声谱文件转化为图像文本，也即是音频频谱图像，其相对于语音识别结果而言，能够识别出用户的音量变化、音调变化、语音节奏变化等，因此能够更准确地体现出在服务过程中用户的情绪，达到准确识别的用户服务体验倾向的情绪的目的。
根据本发明实施例，通过获取用户在被服务过程中的声谱文件，将该声谱文件转化成音频频谱图像，然后利用预先训练得到的识别模型来识别该音频频谱图像，确定出用户的服务体验倾向，得到倾向结果，当用户没有将服务体验直接表达在服务评价上时也能够及时获知用户的服务体验倾向，从而可以方便运营人员及时进行后续跟进，挽回由于体验差导致即将损失的用户。另一方面，由于是采用音频频谱图像来进行识别，相对于常用的语音识别，其所能够体现出的用户情绪更加客观真实、维度更广，因此用户服务体验倾向识别更加准确。
作为一种可选实施方式，本发明实施例中，还包括：获取所述用户该次服务的特征参数；将所述特征参数与所述音频频谱图像一起输入到所述识别模型中。服务的特征参数可以是服务时长、服务等待时长、服务者的信用分等，也即是该次服务过程中体现服务质量的参数。例如，当用户等待时间过长时，将容易引起用户服务体验的降低，当服务时长未达到要求时，也会造成用户体验的降低。本发明实施例中，将服务的特征参数纳入到识别模型的输入参数，与音频频谱图像一起输入到识别模型中进行用户服务体验倾向的识别。
相应地，本发明实施例中，识别模型在训练之前，也需要在训练的样本数据中加入服务的特征参数，从而提高识别模型的识别准确性。
需要说明的是，本发明实施例中，对于不同的服务种类可以采用不同的特征参数，例如，当所述服务为出行服务时，所述特征参数包括以下至少之一：司机信用分、乘客等待时间、司机接单距离、司机达到时间、行程距离。当服务为其他服务时，特征参数则可以进行相应的调整。特征参数的选择可以根据服务类型预先进行选择，将所有或者部分能够影响用户体验的指标纳入到特征参数中，用于进行识别模型的训练和用户服务体验倾向的判断。
根据本发明实施例，通过采用服务的特征参数结合用户被服务过程中的音频频谱图像一起输入到识别模型中，在音频维度的基础上，再增加服务特征维度，从而能够更加准确、客观地确定出用户的服务体验倾向。
作为本发明实施例的一个比较重要环节，本实施例所述识别模型可以通过以下过程训练得到：
步骤S1，获取历史服务过程中的过程数据，所述过程数据包括历史声谱文件及其对应的特征参数。
本发明实施例中，历史服务过程中的过程数据可以是指出现投诉或者差评和好评的服务过程数据，该过程数据中包括历史声谱文件及其对应的特征参数。对于这一类存在明确结果的过程数据，利用其来训练模型，结合深度学习、机器学习技术实现对用户的服务体验倾向的判断。
步骤S2，将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型。
本发明实施例中，将上述过程数据作为训练样本，先要将过程数据进行标注，也即是数据打标：正样本为乘客投诉的行程，即为1；负样本为乘客好评的行程，即为0。可以利用机器学习模型lightgbm训练一个二分类模型。其中，可以对应声谱文件先转化处理，得到音频频谱图像，然后再利用卷积神经网络对声谱文件进行编码，混合服务的特征参数来进行模型训练，得到最终的识别模型。
进一步地，上述步骤S2，所述将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型，包括：从所述过程数据中随机选择一部分的数据作为验证集，其余部分为训练集，其中，每一份过程数据均包含用于表示用户当次服务体验倾向的标识；利用所述训练集对所述初始识别模型进行训练，以调整所述初始识别模型的模型参数和模型结构，使得调整后的初始识别模型在所述验证集的模型评估指标达到预设值，得到所述识别模型。
本发明实施例中，对于训练样本，需要划分为验证集和训练集，其中训练集用于对模型的训练，验证集则用于对训练后的模型进行验证。例如，选择10万条过程数据，其中随机选择1万条数据作为验证集，9万条用来训练模型，训练好的模型在验证集上计算AUC(模型评估指标)，通过调整模型参数和模型结构最大化模型在验证集上的AUC。
由于机器学习主要是通过模型对训练样本的规律进行抓取，然后调整模型参数，相应的工作人员也可以进行模型结构的调整，从而达到一个较优的识别模型，当训练之后，识别模型的评价指标达到一定值时，则认为该模型可用于进行识别。
本发明实施例的识别模型可以采用卷积神经网络结构，一种可选的卷积神经网络结构依次如下：
-输入层：此层为转化为1维的音频文件，大小为8000*1。
-第一层卷积层：一维卷积Conv1D,卷积核大小13，输出通道数8；一维最大池化层，参数为3；dropout层，参数0.2。
-第二层卷积层：一维卷积Conv1D,卷积核大小11，输出通道数16；一维最大池化层，参数为3；dropout层，参数0.2。
-第三层卷积层：一维卷积Conv1D,卷积核大小9，输出通道数32；一维最大池化层，参数为3；dropout层，参数0.2。
-第四层卷积层：一维卷积Conv1D,卷积核大小7，输出通道数64；一维最大池化层，参数为3；dropout层，参数0.2。
-Flatten层：flattern变成一维；
-Dense层：长度256，dropout层，参数0.2。
-Dense层：长度128，dropout层，参数0.2。
-输出层：长度2，激活函数softmax。
如上所述，本发明实施例中的识别模型可以是二分类模型，其中，所述倾向结果包括用于表示好评的体验倾向和用于表示差评的体验倾向。
本发明实施例，通过利用历史数据来训练识别模型，找出历史数据中，用户对服务体验倾向的规律来识别在后的用户服务体验倾向，从而达到及时获知用户对服务的体验倾向情绪，可以及时采取有效的挽回措施来挽回可能损失的用户。
需要说明的是，本发明实施例中，获取的历史服务过程的过程数据中，服务的特征参数是一个优选项，而并非是一个必选项。很显然，本发明实施例中，在训练识别模型时，完全可以仅采用历史声谱文件，从而达到训练目的。当然，通过增加服务的特征参数，可以起到增加数据维度，提高识别模型识别准确率的目的。
作为一种可选的实施方式，本发明实施例中，还可以包括：对所述声谱文件进行语音识别，得到该次服务过程中的语音文本；从所述语音文本中识别用于表征用户情绪的特征词；将所述特征词与所述音频频谱图像一起输入到所述识别模型中。
也即是说，本发明实施例中，不仅对声谱文件进行频谱转换处理，得到音频频谱图像，还可以对该声谱文件进行语音识别，从而得到语音文本，然后从该语音文本中识别出用户情绪的特征词，比如用户的质疑、询问等相关词语。然后将这些特征词与音频频谱图像一起作为识别模型的输入，利用识别模型来识别用户对服务的体验倾向。
当然，本发明实施例中，还可以将服务的特征参数、音频频谱图像以及语音识别的特征词一起作为识别模型的输入，通过结合用户音频特征、语言特征以及服务过程的特征等来对用户对服务的体验倾向进行判断，能够更加准确地识别出用户的体验倾向。
相应地，若使用语音文本中提取的用户情绪特征词来进行识别，那么在进行模型训练时，也需要对历史声谱文件进行语音识别，然后提取出语音文本中能够表征用户情绪的特征词，作用模型训练的输入，对初始识别模型进行训练，得到最终的识别模型。
本发明实施例中，在训练得到识别模型之后，需要将该模型部署在后端服务器上，该后端服务器可以每条收集服务的过程数据，然后进行识别，被模型识别为正样本的行程即是潜在的冲突行程(表示用户服务体验倾向为差评)，第二天可以通过营销券的方式，对这些用户进行挽留。
本发明实施例的技术方案的整体框架如图2所示，先通过声谱文件进行转化，得到音频频谱图像，利用卷积神经网络对音频频谱图像进行编码，然后结合服务的特征参数训练得到一个分类模型，最后部署在后端服务器上，用于识别用户的服务体验倾向。
本发明实施例的技术方案由其适用于网约车服务，通过司机的终端设备收集行程间的声谱文件，然后通过梅尔频率倒谱系数方式对声谱文件进行处理，得到音频频谱图像，然后利用卷积神经网络对音频频谱图像进行编码，结合行程中的其他特征，如乘客等待时间、司机接单距离、司机信用分等，通过识别模型进行识别，得到用户的服务体验倾向。
本发明实施例还提供了一种用户体验倾向识别装置，该装置可以用于执行本发明上述实施例所述的用户体验倾向识别方法，如图3所示，该装置包括：
获取模块301，用于获取用户在被服务过程中的声谱文件。
本发明实施例中，用户是被服务者，服务者在向用户提供服务过程中，可以通过终端设备来收集该服务过程中的音频信息，形成声谱文件。需要说明的是，收集的声谱文件类似于执法人员使用的执法记录仪记录的视频数据，其主要用于对执法过程记录；本发明实施例中所收集的声谱文件则同样仅用于进行用户体验倾向的判断，不做他用。该音频信息的收集前会告知用户，其主要用途可以是作为纠纷仲裁的重要依据。
本实施例中的声谱文件可以包含服务者和用户的声谱数据，由服务者收集完成之后，上传到后端服务器。若当前用户并未进行服务评价，则后端服务器可以执行用户体验倾向识别方法，获取用户在被服务过程中的声谱文件，用于进行后续判断。
转化模块302，用于将所述声谱文件转化为音频频谱图像。
后端服务器在获取到声谱文件之后，可以将该声谱文件转化为音频频谱图像，具体地，可以通过梅尔频率倒谱系数(MFCC)方式对声谱文件进行处理，将声谱文件转变为类似一张图片的文件，也即是音频频谱图像。
识别模块303，用于将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
本发明实施例中，在后端服务器上预先部署有训练得到的识别模型，在转化得到音频频谱图像之后，可以将该音频频谱图像作为识别模型的输入，利用预先训练得到的识别模型来对音频频谱图像进行识别，从而得到用户的服务体验倾向。本发明实施例中，用户的服务体验倾向可以通过标识来进行表示，例如，0表示用户对该次服务的体验倾向为差评或者存在投诉倾向；1表示用户对该次服务的体验倾向为好评。因此，倾向结果包括用于表示体验倾向为差评或者存在投诉倾向的“0”，或者用于表示用户对该次服务的体验倾向为好评的“1”。
本实施例中，识别模型从音频频谱图像中提取用户的音频特征，比如，用户的音量变化、音调变化、语音节奏变化等，还可以结合用户的语音内容判断出用户的情绪变化。进一步的，本发明实施例的识别模型是利用历史服务数据训练得到的，其模型参数和模型架构是经过调整和验证后的优化结果。当提取到的特征组合计算确定出用户的服务体验倾向时，输出相应的倾向结果，供后台进行后续的跟进或者挽回操作。由于声谱文件难以被识别模型处理，本发明实施例将声谱文件转化为图像文本，也即是音频频谱图像，其相对于语音识别结果而言，能够识别出用户的音量变化、音调变化、语音节奏变化等，因此能够更准确地体现出在服务过程中用户的情绪，达到准确识别的用户服务体验倾向的情绪的目的。
根据本发明实施例，通过获取用户在被服务过程中的声谱文件，将该声谱文件转化成音频频谱图像，然后利用预先训练得到的识别模型来识别该音频频谱图像，确定出用户的服务体验倾向，得到倾向结果，当用户没有将服务体验直接表达在服务评价上时也能够及时获知用户的服务体验倾向，从而可以方便运营人员及时进行后续跟进，挽回由于体验差导致即将损失的用户。另一方面，由于是采用音频频谱图像来进行识别，相对于常用的语音识别，其所能够体现出的用户情绪更加客观真实、维度更广，因此用户服务体验倾向识别更加准确。
在本发明的较佳实施方式中，装置还包括：参数获取模块，用于获取所述用户该次服务的特征参数；输入模块，用于将所述特征参数与所述音频频谱图像一起输入到所述识别模型中。
在本发明的较佳实施方式中，所述识别模型通过训练模块训练得到，所述训练模块用于：获取历史服务过程中的过程数据，所述过程数据包括历史声谱文件及其对应的特征参数；将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型。
在本发明的较佳实施方式中，所述训练模块包括：选择单元，用于从所述过程数据中随机选择一部分的数据作为验证集，其余部分为训练集，其中，每一份过程数据均包含用于表示用户当次服务体验倾向的标识；训练单元，用于利用所述训练集对所述初始识别模型进行训练，以调整所述初始识别模型的模型参数和模型结构，使得调整后的初始识别模型在所述验证集的模型评估指标达到预设值，得到所述识别模型。
在本发明的较佳实施方式中，所述识别模型为二分类模型，其中，所述倾向结果包括用于表示好评的体验倾向和用于表示差评的体验倾向。
在本发明的较佳实施方式中，装置还包括：语音识别模块，用于对所述声谱文件进行语音识别，得到该次服务过程中的语音文本；特征识别模块，用于从所述语音文本中识别用于表征用户情绪的特征词；将所述特征词与所述音频频谱图像一起输入到所述识别模型中。
在本发明的较佳实施方式中，所述服务为出行服务，所述特征参数包括以下至少之一：司机信用分、乘客等待时间、司机接单距离、司机达到时间、行程距离。
上述具体实施方式的描述可以参见方法实施例，这里不再赘述。
本发明的一个实施例中，还提供了一种电子设备，该电子设备可以是上述实施例中的后台服务器，其内部结构图可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的电子设备通过网络连接通信。该计算机程序被处理器执行时以实现一种用户体验倾向识别方法。该电子设备还可以包括显示屏和输入装置，其显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板等。
另一方面，则该电子设备可以不包括显示屏和输入装置，本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，实现以下步骤：
获取用户在被服务过程中的声谱文件；
将所述声谱文件转化为音频频谱图像；
将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
在一个实施例中，提供了一种可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行：
获取用户在被服务过程中的声谱文件；
将所述声谱文件转化为音频频谱图像；
将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种用户体验倾向识别方法，其特征在于，包括：
获取用户在被服务过程中的声谱文件；
将所述声谱文件转化为音频频谱图像；
将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
2.根据权利要求1所述的一种用户体验倾向识别方法，其特征在于，还包括：
获取所述用户该次服务的特征参数；
将所述特征参数与所述音频频谱图像一起输入到所述识别模型中。
3.根据权利要求1所述的一种用户体验倾向识别方法，其特征在于，所述识别模型通过以下过程训练得到：
获取历史服务过程中的过程数据，所述过程数据包括历史声谱文件及其对应的特征参数；
将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型。
4.根据权利要求3所述的一种用户体验倾向识别方法，其特征在于，所述将所述过程数据作为训练样本，对建立的初始识别模型进行训练，得到所述识别模型，包括：
从所述过程数据中随机选择一部分的数据作为验证集，其余部分为训练集，其中，每一份所述过程数据均包含用于表示用户当次服务体验倾向的标识；
利用所述训练集对所述初始识别模型进行训练，以调整所述初始识别模型的模型参数和模型结构，使得调整后的初始识别模型在所述验证集的模型评估指标达到预设值，得到所述识别模型。
5.根据权利要求1-4任一项所述的一种用户体验倾向识别方法，其特征在于，所述识别模型为二分类模型，其中，所述倾向结果包括用于表示好评的体验倾向和用于表示差评的体验倾向。
6.根据权利要求1所述的一种用户体验倾向识别方法，其特征在于，还包括：
对所述声谱文件进行语音识别，得到该次服务过程中的语音文本；
从所述语音文本中识别用于表征用户情绪的特征词；
将所述特征词与所述音频频谱图像一起输入到所述识别模型中。
7.根据权利要求2或3所述的一种用户体验倾向识别方法，其特征在于，所述服务为出行服务，所述特征参数包括以下至少之一：司机信用分、乘客等待时间、司机接单距离、司机达到时间、行程距离。
8.一种用户体验倾向识别装置，其特征在于，包括：
获取模块，用于获取用户在被服务过程中的声谱文件；
转化模块，用于将所述声谱文件转化为音频频谱图像；
识别模块，用于将所述音频频谱图像输入到预先训练得到的识别模型中，利用所述识别模型识别出用户的服务体验倾向，得到倾向结果。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，从而执行如权利要求1-7中任一项所述的用户体验倾向识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行如权利要求1-7中任一项所述的用户体验倾向识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127956.8A CN112837693A (zh) | 2021-01-29 | 2021-01-29 | 一种用户体验倾向识别方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127956.8A CN112837693A (zh) | 2021-01-29 | 2021-01-29 | 一种用户体验倾向识别方法、装置、设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112837693A true CN112837693A (zh) | 2021-05-25 |
Family
ID=75931026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110127956.8A Pending CN112837693A (zh) | 2021-01-29 | 2021-01-29 | 一种用户体验倾向识别方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837693A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422876A (zh) * | 2021-06-24 | 2021-09-21 | 广西电网有限责任公司 | 基于ai的电力客服中心辅助管理方法、系统及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452385A (zh) * | 2017-08-16 | 2017-12-08 | 北京世纪好未来教育科技有限公司 | 一种基于语音的数据评价方法及装置 |
| CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术（北京）有限公司 | 语音交互满意度的确定方法及设备 |
| CN110909131A (zh) * | 2019-11-26 | 2020-03-24 | 携程计算机技术（上海）有限公司 | 模型的生成方法、情绪识别方法、系统、设备和存储介质 |
| CN111199205A (zh) * | 2019-12-30 | 2020-05-26 | 科大讯飞股份有限公司 | 车载语音交互体验评估方法、装置、设备及存储介质 |
| CN111311327A (zh) * | 2020-02-19 | 2020-06-19 | 平安科技（深圳）有限公司 | 基于人工智能的服务评价方法、装置、设备及存储介质 |
| CN111563422A (zh) * | 2020-04-17 | 2020-08-21 | 五邑大学 | 基于双模态情绪识别网络的服务评价获取方法及其装置 |
-
2021
- 2021-01-29 CN CN202110127956.8A patent/CN112837693A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107452385A (zh) * | 2017-08-16 | 2017-12-08 | 北京世纪好未来教育科技有限公司 | 一种基于语音的数据评价方法及装置 |
| CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术（北京）有限公司 | 语音交互满意度的确定方法及设备 |
| US20190287524A1 (en) * | 2018-03-15 | 2019-09-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for determining speech interaction satisfaction |
| CN110909131A (zh) * | 2019-11-26 | 2020-03-24 | 携程计算机技术（上海）有限公司 | 模型的生成方法、情绪识别方法、系统、设备和存储介质 |
| CN111199205A (zh) * | 2019-12-30 | 2020-05-26 | 科大讯飞股份有限公司 | 车载语音交互体验评估方法、装置、设备及存储介质 |
| CN111311327A (zh) * | 2020-02-19 | 2020-06-19 | 平安科技（深圳）有限公司 | 基于人工智能的服务评价方法、装置、设备及存储介质 |
| CN111563422A (zh) * | 2020-04-17 | 2020-08-21 | 五邑大学 | 基于双模态情绪识别网络的服务评价获取方法及其装置 |
Non-Patent Citations (1)
| Title |
|---|
| 殷杰等: "设备网格溯源服务的应用", 《清华大学学报(自然科学版)网络.预览》, no. 07, 19 June 2008 (2008-06-19) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422876A (zh) * | 2021-06-24 | 2021-09-21 | 广西电网有限责任公司 | 基于ai的电力客服中心辅助管理方法、系统及介质 |
| CN113422876B (zh) * | 2021-06-24 | 2022-05-10 | 广西电网有限责任公司 | 基于ai的电力客服中心辅助管理方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220284517A1 (en) | Automobile Monitoring Systems and Methods for Detecting Damage and Other Conditions | |
| US20240078481A1 (en) | Controlling vehicles using contextual driver and/or rider data based on automatic passenger detection and mobility status | |
| CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
| WO2019014520A1 (en) | CONTROLLING VEHICLES USING CONTEXTUAL DRIVER AND / OR PASSENGER DATA BASED ON AUTOMATIC PASSENGER DETECTION AND MOBILITY STATUS | |
| CN111199205A (zh) | 车载语音交互体验评估方法、装置、设备及存储介质 | |
| CN116563829A (zh) | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 | |
| CN109102825B (zh) | 一种饮酒状态检测方法及装置 | |
| CN113609851A (zh) | 心理学上想法认知偏差的识别方法、装置及电子设备 | |
| CN112837693A (zh) | 一种用户体验倾向识别方法、装置、设备和可读存储介质 | |
| CN115249481A (zh) | 基于情绪识别的催收方法和系统、计算机设备、存储介质 | |
| Fernando et al. | Automated vehicle insurance claims processing using computer vision, natural language processing | |
| CN112651493A (zh) | 基于联合训练模型的事故车判别方法和装置 | |
| CN111489736A (zh) | 座席话术自动评分装置及方法 | |
| US20230058076A1 (en) | Method and system for auto generating automotive data quality marker | |
| CN116013371A (zh) | 一种神经退行性疾病监测方法、系统、装置及存储介质 | |
| CN115545276A (zh) | 网约车异常订单的接单率预测方法及系统 | |
| CN116127011A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
| CN110689150A (zh) | 基于机器学习的订单预测方法、预测装置及计算机设备 | |
| CN116526634B (zh) | 一种基于语音交互的充电系统及实现方法 | |
| WO2021139737A1 (zh) | 一种人机交互的方法和系统 | |
| CN114783416A (zh) | 基于语音自动分级的语音服务方法及语音客服服务平台 | |
| CN116486803A (zh) | 一种信息交互方法、系统、电子设备、车辆以及存储介质 | |
| Caldera et al. | Interview Bot Using Natural Language Processing and Machine Learning | |
| CN115510225A (zh) | 一种互联网政务信息处理系统 | |
| CN117058838A (zh) | 驾驶员疲劳程度预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |