CN112036923A - 一种服务评价方法、系统、装置及存储介质 - Google Patents
一种服务评价方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN112036923A CN112036923A CN202010638512.6A CN202010638512A CN112036923A CN 112036923 A CN112036923 A CN 112036923A CN 202010638512 A CN202010638512 A CN 202010638512A CN 112036923 A CN112036923 A CN 112036923A
- Authority
- CN
- China
- Prior art keywords
- service
- result
- evaluation
- model
- dialogue data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 146
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013210 evaluation model Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 45
- 230000011218 segmentation Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 18
- 238000011511 automated evaluation Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 244000062720 Pennisetum compressum Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种服务评价方法、系统、装置及存储介质。所述方法包括：获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方；利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型；比较实时服务评价结果与预估服务评价结果，基于比较结果对所述自动评价模型进行优化；以及利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。本申请采用优化后的自动评价模型得到服务评价结果，可以提升服务评价效果的精准度，更好地实现对服务提供方服务质量的监督，继而提升服务质量。
Description
技术领域
本申请涉及服务质量评价领域，尤其涉及一种服务评价方法、系统、装置及存储介质。
背景技术
随着大众消费水平的提高及对生活质量的追求，衣食住行多方面的市场服务种类也越来越多。消费者对服务质量的评价对于提升服务行业的服务质量有着直接且关键的影响。因此，有必要提供一种服务评价方法，以更准确的方式对服务质量进行自动评价，从而有效遏制服务质量稂莠不齐、损害消费者权益的现象。
发明内容
本申请实施例之一提供一种服务评价方法。所述服务评价方法包括：获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方；利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型；获取服务请求方反馈的与所述对话数据相关的实时服务评价结果，比较所述实时服务评价结果与所述预估服务评价结果，基于比较结果对所述自动评价模型进行优化；以及利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。
本申请实施例之一提供一种服务评价系统，包括：数据获取模块，用于获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方估算模块，用于利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型；模型优化模块，用于获取服务请求方反馈的与所述对话数据相关的实时服务评价结果，比较所述实时服务评价结果与所述预估服务评价结果，基于比较结果对所述自动评价模型进行优化；以及处理模块，用于利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。
在一些实施例中，所述自动评价模型通过模型训练模块获取，所述模型训练模块包括：第一样本集获取单元，用于获取第一训练样本集，所述第一训练样本集包括与历史服务相关的历史对话数据，以及历史服务请求方反馈的实际服务评价结果；和训练单元，用于利用第一训练样本集训练初始机器学习模型获得所述自动评价模型。
在一些实施例中，所述对话数据包括至少一条语句；所述系统还包括预处理模块，用于在利用自动评价模型处理所述对话数据前，对所述对话数据中的至少一条语句进行分词处理。
在一些实施例中，所述自动评价模型包括结构化表达网络以及分类网络；对于所述对话数据中的至少一条语句，所述结构化表达网络用于对语句中的分词进行处理，获得处理结果；所述分类网络用于基于所述对话数据中的至少一条语句中的分词的处理结果确定该对话数据的预估服务评价结果。
在一些实施例中，所述自动评价模型还包括策略网络；所述结构化表达网络还用于基于当前分词以及与前一分词处理结果相关的运算结果确定当前分词的处理结果；其中，所述与前一分词处理结果相关的运算结果为前一分词的处理结果与选择系数进行运算得到的结果，所述选择系数获取自策略网络。
在一些实施例中，所述模型优化模块用于：响应于所述比较结果为不一致，将所述与服务相关的对话数据以及所述实时服务评价结果添加到第二训练样本集；利用所述第二训练样本集对所述自动评价模型进行训练，从而对所述自动评价模型进行优化。
在一些实施例中，所述模型优化模块还用于：若所述比较单元输出的比较结果为一致，则记录为正反馈；若所述比较单元输出的比较结果为不一致，则记录为负反馈；基于所述正反馈和负反馈的数量，调整所述自动评价模型中的参数。
本申请实施例之一提供一种服务评价装置，包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如上所述的操作。
本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如上所述的操作。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。其中：
图1是根据本申请的一些实施例所示的服务评价系统的应用场景示意图；
图2是根据本申请的一些实施例所示的服务评价系统的结构框图；
图3是根据本申请的一些实施例所示的示例性流程图，用于说明所述服务评价方法的实现步骤；
图4是根据本申请的一些实施例所示的网络结构图；以及
图5是根据本申请的一些实施例所示的示例性流程图，用于说明模型优化的过程。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在车辆客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请的客服服务自动评价系统可以用于评价各种业务中的客服服务质量。例如，客服服务自动评价系统可以自动评价服务提供商的客服服务质量或者自动评价商品供应商的客服服务质量等。仅作为示例，客服服务自动评价系统可以用于网约车服务、快递、外卖、银行柜台、教育机构、家政服务、保洁服务等业务中的客服服务质量等。
图1为根据本申请一些实施例所示的服务评价系统的应用场景示意图。该服务评价系统100可以是用于多种服务的线上服务平台，也可以是基于线下业务活动的线上操作平台。在一些实施例中，该服务评价系统100可以用于评价各行业服务人员、客服等人员的服务质量，以网约车服务评价为例，服务评价系统100可以用于评价网约车打车服务客服的服务质量、网约车预约服务客服的服务质量、网约车拼车服务客服的服务质量、网约车售后服务客服的服务质量、网约车紧急事件服务客服的服务质量等。该服务评价系统100主要包含服务器110、网络120、终端130以及数据库140。
在一些实施例中，服务器110可以用于处理与服务评价相关的信息和/或数据。服务器110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：服务器110可以是分布系统)。在一些实施例中，该服务器110可以是区域的或者远程的。例如，服务器110可通过网络120访问存储于终端130和/或数据库140中的信息和/或资料。在一些实施例中，服务器110可直接与终端130和/或数据库140连接以访问存储于其中的信息和/或资料。在一些实施例中，服务器110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中，服务器110可包含处理设备112。该处理设备112可处理与服务请求有关的数据和/或信息以执行一个或多个本申请中描述的功能。以网约车服务为例，处理设备112可从终端130获取服务请求者与客服之间的对话数据，对所述对话数据进行处理获得服务请求者对服务的评价结果。在一些实施例中，处理设备112可包含一个或多个子处理设备(如：单芯处理设备或多核多芯处理设备)。仅仅作为范例，处理设备112可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
网络120可促进数据和/或信息的交换。在一些实施例中，服务评价系统100中的一个或多个组件(如：服务器110、终端130和数据库140)可通过网络120发送数据和/或信息给服务评价系统100中的其他组件。例如，服务器110可通过网络120从终端130获取对销售人员、快递、外卖、电子客服、银行柜台、教育机构、网络教师、授课人员、调音师、保洁服务、上门维修、物业人员等的服务评价信息。在一些实施例中，网络120可是任意类型的有线或无线网络。例如，网络120可包括一缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝芽网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进出点。例如，网络120可包含有线或无线网络进出点，如基站和/或网际网络交换点120-1、120-2、…，通过这些进出点，服务评价系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。
在一些实施例中，终端130的使用者可以是服务请求者，或者服务提供者。服务提供者可以是提供各类服务的人，包括但不限于网约车司机、外卖递送员、家政服务人员等，或者是与前述业务相关的客服人员。可以理解，服务请求者或服务提供者可以通过终端130与对方对话，服务器110可以对终端130进行访问，获取相关的对话内容。
在一些实施例中，终端130可包括移动装置130-1、平板电脑130-2、膝上型电脑130-3、机动车内建装置130-4等中的一种或其任意组合。在一些实施例中，移动装置130-1可包括智能家居装置、可穿戴装置、智能行动装置、虚拟实境装置、增强实境装置等或其任意组合。在一些实施例中，智能家具装置可包括智能照明装置、智能电器的控制装置、智能监测装置、智能电视、智能摄像机、对讲机等或其任意组合。在一些实施例中，可穿戴装置可包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能衣物、智能背包、智能配饰等或其任意组合。在一些实施例中，智能行动装置可包括智能电话、个人数位助理(PDA)、游戏装置、导航装置、POS装置等或其任意组合。在一些实施例中，虚拟实境装置和/或增强实境装置可包括虚拟实境头盔、虚拟实境眼镜、虚拟实境眼罩、增强实境头盔、增强实境眼镜、增强实境眼罩等或上述举例的任意组合。在一些实施例中，终端130可包括具有定位功能的装置，以确定请求者和/或终端130的位置。
数据库140可存储资料和/或指令。在一些实施例中，数据库140可存储从服务器110和/或终端130获取的资料。例如，数据库140可以存储服务请求方和/或服务提供方的个人信息、对话内容、训练样本等。在一些实施例中，数据库140可存储供服务器110执行或使用的信息和/或指令，以执行本申请中描述的示例性方法。在一些实施例中，数据库140可包括大容量存储器、可移动存储器、挥发性读写存储器(例如随机存取存储器RAM)、只读存储器(ROM)等或其任意组合。在一些实施例中，数据库140可在云平台上实现。例如，该云平台可包括私有云、公共云、混合云、社区云、社区云、分散式云、内部云等或以上任意组合。
在一些实施例中，数据库140可与网络120连接以与服务评价系统100的一个或多个部件(如，服务器110、终端130等)通讯。服务评价系统100的一个或多个组件可通过网络120访问存储于数据库140中的资料或指令。在一些实施例中，数据库140可直接与服务评价系统100中的一个或多个组件(如，服务器110、终端130等)连接或通讯。在一些实施例中，数据库140可以是服务器110的一部分。
图2是根据本申请的一些实施例所示的服务评价系统的结构框图。如图2所示，在本申请的一些实施例中，所述服务评价系统200可以包括：数据获取模块210、预处理模块220、估算模块230、模型训练模块240、模型优化模块250和处理模块260。
在一些实施例中，所述数据获取模块210用于获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方。在一些实施例中，所述对话数据可以是文本数据、语音数据或文本数据与语音数据的组合。数据获取模块210可以从服务请求方(例如终端130)获取与服务相关的对话数据，数据获取模块210也可以从服务提供方(例如终端130)获取与服务相关的对话数据。
预处理模块220用于在利用自动评价模型处理对话数据前，对对话数据中的至少一条语句进行分词处理。以输入一条中文文本数据为例，进行分词处理可以将连续的字序列按照一定的规范重新组合成词序列，便于后续自动评价模型对数据的识别和处理。在一些实施例中，分词处理可以采用以下方法实现：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。在一些实施例中，所述预处理模块220还可以采用其他方法对对话数据进行处理，例如清洗(Cleaning)、标准化(Normalization)、词干提取(stemming)、词形还原(lemmatization)、特征提取(Feature Extraction)中的一种或任意组合。
需要说明的是，若对话数据为语音数据，则需要基于NPL(自然语言处理)技术，将语音数据转化为对应的文本数据，再对转化后的文本数据进行上述操作即可。
在一些实施例中，所述估算模块230可以用于利用自动评价模型处理所述对话数据，估算服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型，自动评价模型可以通过训练初始机器学习模型获得。
在一些实施例中，初始机器学习模型可以包括Fast Text模型，Text CNN模型，Text RNN模型，结合Attention机制的Text RNN模型，Text RCNN模型中的一种或任意组合。通过采集到的第一训练样本集训练上述初始机器学习模型，即可得到自动评价模型。
模型训练模块240用于获取自动评价模型。在一些实施例中，模型训练模块240可以训练初始机器学习模型以获得自动评价模型。在一些实施例中，模型训练模块240用于获取第一训练样本集，所述第一训练样本集包括与历史服务相关的历史对话数据，以及历史服务请求方反馈的实际服务评价结果。以及用于利用第一训练样本集训练初始机器学习模型获得自动评价模型。
模型优化模块250用于进一步优化模型训练模块240训练得到的自动评价模型。模型优化模块250将自动评价模型的评价结果与服务请求方反馈的与对话数据相关的实时服务评价结果进行比较，将比较结果反馈给自动评价模型进行优化。
处理模块260用于利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。
应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
图3是根据本申请的一些实施例所示的示例性流程图，用于说明所述服务评价方法的实现步骤。在一些实施例中，所述服务评价方法300由至少一个处理器实现，所述方法包括：
步骤310：获取与服务相关的对话数据，所述对话数据来自服务请求方和/或服务提供方。具体的，步骤310可以由系统中的数据获取模块210执行。
在一些实施例中，数据获取模块210获取的对话数据包括但不限于服务请求方对服务提供方的服务评价、服务过程录音等。在一些实施例中，所述对话数据可以是以下中的一种或多种的组合：文本数据以及语音数据。
在一些实施例中，所述对话数据可以是服务请求方通过服务请求方终端输入的对客服评价的文字信息，例如，在网约车场景中，对话数据可以是用户在网约车平台上输入的“客服解答问题清晰，我很满意”、“客服无人接听”、“客服形同虚设”、“司机绕路”等对客服或司机服务的评价性文字描述。
在另一些实施例中，所述对话数据也可以是服务提供方终端录制的语音数据。例如，在网约车场景中，对话数据可以是用户在网约车平台上通过语音输入的“客服解答问题清晰，我很满意”、“客服无人接听”、“客服形同虚设”等通过服务请求方说话的语音描述。
在又一些实施例中，所述对话数据还可以是文本数据与语音数据的结合，例如，语音输入“不满意”，文字输入“原因为：没有解决我的问题”等等。
在一些实施例中，在利用自动评价模型处理所述对话数据前，对所述对话数据中的至少一条语句进行预处理。该步骤可以由系统中的预处理模块220执行。
在一些实施例中，若对话数据中包含语音数据，则所述预处理可以包括将语音数据基于NPL(自然语言处理)技术转化为对应的文本数据。
在一些实施例中，所述预处理可以是分词处理。文本分词是将连续的字序列按照一定规范重新组合成词序列的过程，中文分词可以包括机械分词方法、基于统计分词方法、基于规则和基于统计结合的方法。在一些实施例中，还可以采用其他方式对对话数据进行处理，例如清洗(Cleaning)、标准化(Normalization)、词干提取(stemming)、词形还原(lemmatization)、特征提取(Feature Extraction)中的一种或任意组合，其中，清洗是过滤文本中没有意义的虚词和标点符号(例如，去除无意义的标签、去除非英文字符、去除标点符号、去停用词等、英文转换为小写、数字归一化等)。在一些实施例中，词干提取是提取英文词汇的词干(例如，将‘drove’处理为‘drive’)。在一些实施例中，词形还原是将部分词干还原成完整词汇。在一些实施例中，特征提取是提取文本特征将自然语言转化成机器学习语言。在一些实施例中，还可以基于词表及其词索引，将语句中的分词转化为对应的数字索引，便于计算机处理。
步骤320：利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型。在一些实施例中，该步骤可以由系统中的估算模块230执行。
在一些实施例中，可以将对话数据中的一条或多条语句(可以是语句分词以及转化后的数字串)输入到自动评价模型中，自动评价模型输出预估服务评价结果。预估服务评价结果可以是二分类结果，例如，预估服务评价结果可以直接输出1或0，分别对应服务请求方的“点赞”或“点踩”评价。预估服务评价结果也可以是多分类结果，例如，非常好、较好、一般以及差，每种等级对应有相应的概率值，仅作为示例，“非常好”概率为0.1、“较好”概率为0.7、“一般”概率为0.1、“差”概率为0.1。在另一些实施例中，预估服务评价结果也可以直接输出0～1之间的任意数值，可以根据输出的连续数值的范围确定预估服务评价结果，例如，可以规定输出数值为0.7以上，则预估服务评价结果为“非常好”；规定输出范围为0.3-0.7范围，则预估服务评价结果为“较好”，规定输出范围为0.3以下，则预估服务评价结果为“一般”，以此形成3个等级的预估服务评价结果。
在一些实施例中，所述自动评价模型可以通过以下方法获取：获取第一训练样本集，所述第一训练样本集包括与历史服务相关的历史对话数据，以及历史服务请求方反馈的实际服务评价结果；利用第一训练样本集训练初始机器学习模型获得所述自动评价模型。具体的，该步骤可以由模型训练模块240执行。
例如，在网约车服务实施例中，服务请求方对人工客服的服务(例如，服务态度、服务专业度、礼仪用语、响应速度等)可以作出正面或负面的反馈评价(例如，服务请求方点赞或点踩或打分)，这类服务中的对话录音及与之对应的反馈数据由网约车服务平台获取后可以作为第一训练样本集。
在一些实施例中，与历史服务相关的评价数据可以被配置作为第一训练样本集，第一训练样本集可以由第一样本集获取单元获取。
在一些实施例中，所述初始机器学习模型可以包括Fast Text模型，Text CNN模型，Text RNN模型，结合Attention机制的Text RNN模型，Text RCNN模型等。通过采集到的第一训练样本集训练上述初始机器学习模型，即可得到自动评价模型。
下面以所述初始机器学习模型采用Text CNN模型为例，具体说明自动评价模型的网络结构。
图4是根据本申请的一些实施例所示的自动评价模型网络结构示意图。如图4所示，在一些实施例中，自动评价模型的网络结构400可以包括结构化表达网络410以及分类网络430。利用自动评价模型处理对话数据，估算所述服务请求方的预估服务评价结果包括：对于对话数据中的至少一条语句：结构化表达网络对语句中的分词进行处理，获得处理结果；分类网络基于所述对话数据中的至少一条语句中的分词的处理结果确定该对话数据的预估服务评价结果。
在一些实施例中，结构化表达网络410采用结构化表达模型(StructedRepresentation Model)SRM，分类网络430采用CNet(Classification Net)模型。
在一些实施例中，对话数据经过分词等预处理后输入至结构化表达网络410中，经过所述结构化表达网络410的处理得到对应该对话数据的处理结果。例如，所述处理结果可以是将对话数据的分词经过词嵌入处理(embedding)后得到的嵌入词向量。该处理结果可以反映对应分词的语义和/或上下文语义等。所述分类网络430基于所述对话数据中的至少一条语句中的分词的处理结果确定该对话数据的预估服务评价结果。例如，分类网络430可以融合语句中各个分词的处理结果，并对融合的结果进行分类，得到预估服务评价结果。仅作为示例，可以对各个分词的处理结果进行卷积层处理，获得该语句在不同卷积核下的卷积结果，然后提取不同卷积核下的卷积结果中的最大值，并组合成一个新的向量。分类网络430可以对这个新的向量进行分类得到预估服务评价结果。
参考图4，在一些实施例中，自动评价模型整体流程如下：将与服务相关的对话数据输入至SRM中。所述对话数据可以是一句完整的语句X，当然也可以是多个完整的语句，也可以是一段文字或一篇文章等。在一些实施例中，分词步骤可以在预处理步骤中完成，也可以在输入SRM中后完成。例如，语句X经过分词处理后得到分词结果，分词结果可以是对话数据中的一个单词或一个文字，例如x1，x2，x3，…xL。
SRM对各个分词进行处理。Si是SRM中对应于每一个分词xi的处理结果，是一组词向量。在SRM中，每输入一句话，可以得到一组处理结果S1～SL；依次输入n句话，可以依次得到n组处理结果S1～SL。
分类网络430基于对话数据中的至少一条语句中的分词的处理结果确定该对话数据的预估服务评价结果。在一些实施例中，分类网络430还可以包括fast Text,Classification Network中的一种或其任意组合。
在一些实施例中，自动评价模型中还包括注意力层(Attention Layer)420，采用注意力机制可以直观反应出对话数据中的每个分词对输出的评价结果的贡献，可以进一步优化自动评价模型的评价结果。在一些实施例中，注意力层420的位置处于结构化表达网络410和分类网络430之间。注意力层420的输入为结构化表达网络410的输出Si，并基于每个Si与上下文的关系，为每个Si赋予一定的权重系数，该权重系数即可作为注意力层420的输出，将其输入至分类网络430中作为分类网络430的输入，使分类网络430关注于对评价结果影响较高的局部信息，从而优化整个自动评价模型的输出。
在一些实施例中，所述自动评价模型还包括策略网络440，例如PNet(PolicyNetwork)，所述结构化表达网络410对语句中的分词进行处理，获得处理结果还包括：基于当前分词以及与前一分词处理结果相关的运算结果确定当前分词的处理结果；其中，所述与前一分词处理结果相关的运算结果为前一分词的处理结果与选择系数进行运算得到的结果，所述选择系数获取自策略网络440。
在一些实施例中，策略网络440给予前一分词选择系数a。Si是PNet的输入，ai是PNet的输出，ai的值可以为0或1。在一些实施例中，在SRM中输入对话数据为一句完整的语句X，经过预处理模块220获得第一个分词x1，第二个分词x2……第L个分词xL的多个分词，作为结构化表达网络410的输入。相对应地，结构化表达网络410处理得到对应第一个分词x1的第一个处理结果S1，对应第二个分词x2的第二个处理结果S2……对应第L个分词xL的第L个处理结果SL。在一些实施例中，假设x1为前一分词，x2为当前分词，x3为下一分词。
依次地，将前一分词x1在SRM中的处理结果S1输入至策略网络440中，得到前一分词的选择系数a1。将前一分词的选择系数a1返回输入至SRM中与前一分词x1的处理结果S1进行运算后得到与前一分词x1处理结果S1相关的运算结果。基于该运算结果与SRM的当前分词x2确定当前分词x2对应的处理结果S2，再将当前分词x2的处理结果S2输入至策略网络440得到当前分词x2的选择系数a2。将当前分词x2的选择系数a2返回输入至SRM中与下一分词x3的处理结果S2进行运算后得到与当前分词x2的处理结果S2相关的运算结果。以此对模型的输出结果进行循环优化。
步骤330：获取服务请求方反馈的与所述对话数据相关的实时服务评价结果，比较所述实时服务评价结果与所述预估服务评价结果，基于比较结果对所述自动评价模型进行优化。在一些实施例中，该步骤可以由系统中的模型优化模块250执行。
在一些实施例中，可以将训练好的自动评价模型作为基础模型，置于线上使用环境中强化学习。具体的，可以将使用过程中自动评价模型的输出与服务请求方的真实评价进行比较，基于比较结果对基础模型进行优化。
图5是根据本申请的一些实施例所示的示例性流程图，用于说明模型优化的过程。
在一些实施例中，模型优化的过程500可以由模型优化模块250执行，其可以包括：
步骤510：自动评价模型输出预估服务评价结果。具体可参照步骤320。
步骤520：获取服务请求方反馈的与所述对话数据相关的实时服务评价结果。具体的，可以由实际结果获取单元执行。
步骤530：比较所述实时服务评价结果与预估服务评价结果，具体的，可以由比较单元执行。
步骤540：基于比较结果对所述自动评价模型进行优化，具体的，可以由优化单元执行。
在一些实施例中，所述基于比较结果对所述自动评价模型进行优化，包括：响应于所述比较结果为不一致，将所述与服务相关的对话数据以及所述实时服务评价结果添加到第二训练样本集；利用第二训练样本集对所述自动评价模型进行训练，从而对所述自动评价模型进行优化。
例如，在网约车服务实施例中，自动评价模型从网约车服务平台中搜集大量的用户线上点击、评论等实时数据，输出预估评价结果(即，基于输入得到的客服评价结果)，并与由实时结果获取单元获取的服务请求方的实时评价结果作对比。比较单元响应于自动评价模型的评价结果与服务请求方的实时服务评价结果不一致，例如，自动评价模型的输出结果为“良好”，而服务请求方对客服服务的评价为“一般”，对比结果不一致，则优化单元将与服务相关的对话数据以及实时服务评价结果添加到第二训练样本集，利用第二训练样本集对自动评价模型进行训练，从而对所述自动评价模型进行优化。以此形成对自动评价模型评价结果的优化，进一步提升自动评价模型的精准度。
在另一些实施例中，所述基于比较结果对所述自动评价模型进行优化，包括：若所述比较结果为一致，则记录为正反馈；若所述比较结果为不一致，则记录为负反馈；基于所述正反馈和负反馈的数量，调整所述自动评价模型中的参数。
例如，在网约车服务实施例中，自动评价模型从网约车服务平台中搜集大量的用户线上点击、评论等实时数据，自动输出预估评价结果，并与由实时结果获取单元获取的服务请求方的实时评价结果作对比。比较单元响应于某次自动评价模型的预估服务评价结果与服务请求方的实时服务评价结果一致，则记录为正反馈；若自动评价模型的输出结果与服务请求方的实时服务评价结果不一致，则记录为负反馈。例如，服务请求方对客服服务的实时服务评价结果为“较好”，同时自动评价模型输出结果中“非常好”概率为0.2、“较好”概率为0.7、“一般”概率为0.1，自动评价模型输出结果的最大概率分布处在“较好”分类，与服务请求方的评价一致，则记录为正反馈；若自动评价模型输出结果为“较差”，对比结果不一致，则记录为负反馈。在一些实施例中，可以基于所述正反馈和负反馈的数量，调整所述自动评价模型的参数。例如正反馈标记为1，负反馈标记为0，计算若干个模型输出结果对应的正负反馈的总和，调整自动评价模型的参数(例如结构化表达网络410中的参数、策略网络440的参数和/或注意力层420的参数，如策略网络440的选择系数a，又例如注意力层420的权重系数)，使得正负反馈的总和最大化，从而选取更优参数，进一步提升自动评价的精准度。
步骤340：利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。具体的，步骤340可以由系统中的处理模块260执行。
在一些实施例中，利用优化后的自动评价模型对所述对话数据进行处理，并得到服务评价结果的具体方法和过程可以参考步骤320的内容，此处不再赘述。
应当注意的是，上述有关服务评价方法的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对服务评价方法进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。例如，使用其他机器学习网络对模型进行优化。
在本申请的另一些实施例中，提供了一种服务评价装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如上所述的操作。
在本申请的另一些实施例中，提供了一种用于服务评价的计算机可读存储介质。所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如上所述的操作。
需要注意的是，以上描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解本申请的原理后，可以在不背离这一原理的情况下，对实施上述装置或存储介质进行形式和细节上的各种修正和改变。然而，这些变化和修改不脱离本申请的范围。
本申请实施例可能带来的有益效果包括但不限于：(1)通过服务评价模型可以实现对文本、文档评价的分类，进一步拓展到服务类行业的服务评价，增强了实用性；(2)通过在自动评价模型中引入策略网络，帮助模型基于实际评价结果优化评价结果，实现对客服服务质量的自动评价，有效提升了模型自动评价结果的准确性；(3)通过比较模型输出的预估服务评价结果与实时服务评价结果，并将比较结果返回自动评价模型，有效利用历史数据和实时线上数据优化模型，进一步提升模型评价结果的准确性；(4)通过比较模型输出的预估服务评价结果与实时服务评价结果，并将比较结果及与服务相关的对话数据添加到第二训练样本集对模型进一步训练，优化模型，有效提升模型评价结果的准确性。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。后文权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”、或“一个实施例”、或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的不同系统组件都是通过硬件设备所实现的，但是也可能只通过软件的解决方案得以实现。例如：在现有的服务器上安装系统。此外，这里所披露的位置信息的提供可能是通过一个固件、固件/软件的组合、固件/硬件的组合或硬件/固件/软件的组合得以实现。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信能够将软件从一个计算机设备或处理器加载到另一个。例如：从放射治疗系统的一个管理服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供确定轮椅目标结构参数所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，例如，局域网(LAN)或广域网(WAN)、或连接至外部计算机(例如通过因特网)、或在云计算环境中、或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述属性、数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档、物件等，特将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不限于本申请明确介绍和描述的实施例。
Claims (10)
1.一种服务评价方法，其特征在于，所述方法包括：
获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方；
利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型；
获取服务请求方反馈的与所述对话数据相关的实时服务评价结果，比较所述实时服务评价结果与所述预估服务评价结果，基于比较结果对所述自动评价模型进行优化；以及
利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。
2.根据权利要求1所述的方法，其特征在于，所述自动评价模型通过以下方法获取：
获取第一训练样本集，所述第一训练样本集包括与历史服务相关的历史对话数据，以及历史服务请求方反馈的实际服务评价结果；
利用第一训练样本集训练初始机器学习模型获得所述自动评价模型。
3.根据权利要求1所述的方法，其特征在于，所述对话数据包括至少一条语句；在利用自动评价模型处理所述对话数据前，还包括对所述对话数据中的至少一条语句进行分词处理。
4.根据权利要求3所述的方法，其特征在于，所述自动评价模型包括结构化表达网络以及分类网络；
所述利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果包括：
对于对话数据中的至少一条语句：
所述结构化表达网络对语句中的分词进行处理，获得处理结果；
所述分类网络基于所述对话数据中的至少一条语句中的分词的处理结果确定该对话数据的预估服务评价结果。
5.根据权利要求4所述的方法，其特征在于，所述自动评价模型还包括策略网络；
所述结构化表达网络对语句中的分词进行处理，获得处理结果还包括：
基于当前分词以及与前一分词处理结果相关的运算结果确定当前分词的处理结果；其中，所述与前一分词处理结果相关的运算结果为前一分词的处理结果与选择系数进行运算得到的结果，所述选择系数获取自策略网络。
6.根据权利要求1所述的方法，其特征在于，所述基于比较结果对所述自动评价模型进行优化，包括：
响应于所述比较结果为不一致，
将所述与服务相关的对话数据以及所述实时服务评价结果添加到第二训练样本集；
利用第二训练样本集对所述自动评价模型进行训练，从而对所述自动评价模型进行优化。
7.根据权利要求1所述的方法，其特征在于，所述基于比较结果对所述自动评价模型进行优化，包括：
若所述比较结果为一致，则记录为正反馈；
若所述比较结果为不一致，则记录为负反馈；
基于所述正反馈和负反馈的数量，调整所述自动评价模型中的参数。
8.一种服务评价系统，其特征在于，包括：
数据获取模块，用于获取与服务相关的对话数据；所述对话数据来自服务请求方和/或服务提供方；
估算模块，用于利用自动评价模型处理所述对话数据，估算所述服务请求方的预估服务评价结果；所述自动评价模型为机器学习模型；
模型优化模块，用于获取服务请求方反馈的与所述对话数据相关的实时服务评价结果，比较所述实时服务评价结果与所述预估服务评价结果，基于比较结果对所述自动评价模型进行优化；以及
处理模块，用于利用优化后的自动评价模型处理所述对话数据，得到服务评价结果。
9.一种服务评价装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；
所述至少一个存储器用于存储计算机指令；
所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1至7中任意一项所述的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如权利要求1至7中任意一项所述的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010638512.6A CN112036923A (zh) | 2020-07-06 | 2020-07-06 | 一种服务评价方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010638512.6A CN112036923A (zh) | 2020-07-06 | 2020-07-06 | 一种服务评价方法、系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036923A true CN112036923A (zh) | 2020-12-04 |
Family
ID=73579093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010638512.6A Pending CN112036923A (zh) | 2020-07-06 | 2020-07-06 | 一种服务评价方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036923A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283731A (zh) * | 2021-05-18 | 2021-08-20 | 五八到家有限公司 | 家政服务过程化监控的方法及系统、电子设备和存储介质 |
| CN113344323A (zh) * | 2021-04-30 | 2021-09-03 | 深圳市顺易通信息科技有限公司 | 一种云托管停车场人工云坐席服务质量评估的方法及装置 |
| CN114118882A (zh) * | 2022-01-27 | 2022-03-01 | 太平金融科技服务（上海）有限公司 | 基于组合模型的服务数据处理方法、装置、设备和介质 |
| CN117131347A (zh) * | 2023-10-25 | 2023-11-28 | 上海为旌科技有限公司 | 司机动力画像的生成方法、装置、电子设备和存储介质 |
| CN117314233A (zh) * | 2023-09-21 | 2023-12-29 | 国网河北省电力有限公司物资分公司 | 供应商评价方法、装置、终端设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016045769A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 対話システム評価方法、対話システム評価装置及びプログラム |
| CN105654250A (zh) * | 2016-02-01 | 2016-06-08 | 百度在线网络技术（北京）有限公司 | 一种满意度自动测评的方法和装置 |
| CN106847305A (zh) * | 2015-12-04 | 2017-06-13 | 中国移动通信集团公司 | 一种处理客服电话的录音数据的方法及装置 |
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN107832294A (zh) * | 2017-11-06 | 2018-03-23 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
| CN108492118A (zh) * | 2018-04-03 | 2018-09-04 | 电子科技大学 | 汽车售后服务质量评价回访文本数据的两阶段抽取方法 |
| CN108564968A (zh) * | 2018-04-26 | 2018-09-21 | 广州势必可赢网络科技有限公司 | 一种评价客服服务的方法及装置 |
| CN109740838A (zh) * | 2018-11-22 | 2019-05-10 | 平安科技（深圳）有限公司 | 基于大数据的供应商服务评价方法及相关设备 |
| CN110188331A (zh) * | 2019-06-03 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 模型训练方法、对话系统评价方法、装置、设备及存储介质 |
| CN110309967A (zh) * | 2019-06-27 | 2019-10-08 | 携程计算机技术（上海）有限公司 | 客服会话评分等级的预测方法、系统、设备和存储介质 |
| CN110472040A (zh) * | 2019-06-26 | 2019-11-19 | 平安科技（深圳）有限公司 | 评价信息的提取方法及装置、存储介质、计算机设备 |
-
2020
- 2020-07-06 CN CN202010638512.6A patent/CN112036923A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016045769A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 対話システム評価方法、対話システム評価装置及びプログラム |
| CN106847305A (zh) * | 2015-12-04 | 2017-06-13 | 中国移动通信集团公司 | 一种处理客服电话的录音数据的方法及装置 |
| CN105654250A (zh) * | 2016-02-01 | 2016-06-08 | 百度在线网络技术（北京）有限公司 | 一种满意度自动测评的方法和装置 |
| CN107220353A (zh) * | 2017-06-01 | 2017-09-29 | 深圳追科技有限公司 | 一种智能客服机器人满意度自动评价方法及系统 |
| CN107832294A (zh) * | 2017-11-06 | 2018-03-23 | 广州杰赛科技股份有限公司 | 客服质量评价方法和装置 |
| CN108492118A (zh) * | 2018-04-03 | 2018-09-04 | 电子科技大学 | 汽车售后服务质量评价回访文本数据的两阶段抽取方法 |
| CN108564968A (zh) * | 2018-04-26 | 2018-09-21 | 广州势必可赢网络科技有限公司 | 一种评价客服服务的方法及装置 |
| CN109740838A (zh) * | 2018-11-22 | 2019-05-10 | 平安科技（深圳）有限公司 | 基于大数据的供应商服务评价方法及相关设备 |
| CN110188331A (zh) * | 2019-06-03 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 模型训练方法、对话系统评价方法、装置、设备及存储介质 |
| CN110472040A (zh) * | 2019-06-26 | 2019-11-19 | 平安科技（深圳）有限公司 | 评价信息的提取方法及装置、存储介质、计算机设备 |
| CN110309967A (zh) * | 2019-06-27 | 2019-10-08 | 携程计算机技术（上海）有限公司 | 客服会话评分等级的预测方法、系统、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 胥桂仙 等: "《文本分类技术研究》", 30 June 2010, 中央民族大学出版社, pages: 16 - 19 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344323A (zh) * | 2021-04-30 | 2021-09-03 | 深圳市顺易通信息科技有限公司 | 一种云托管停车场人工云坐席服务质量评估的方法及装置 |
| CN113344323B (zh) * | 2021-04-30 | 2024-07-09 | 深圳市顺易通信息科技有限公司 | 一种云托管停车场人工云坐席服务质量评估的方法及装置 |
| CN113283731A (zh) * | 2021-05-18 | 2021-08-20 | 五八到家有限公司 | 家政服务过程化监控的方法及系统、电子设备和存储介质 |
| CN114118882A (zh) * | 2022-01-27 | 2022-03-01 | 太平金融科技服务（上海）有限公司 | 基于组合模型的服务数据处理方法、装置、设备和介质 |
| CN114118882B (zh) * | 2022-01-27 | 2022-05-27 | 太平金融科技服务（上海）有限公司 | 基于组合模型的服务数据处理方法、装置、设备和介质 |
| CN117314233A (zh) * | 2023-09-21 | 2023-12-29 | 国网河北省电力有限公司物资分公司 | 供应商评价方法、装置、终端设备及介质 |
| CN117131347A (zh) * | 2023-10-25 | 2023-11-28 | 上海为旌科技有限公司 | 司机动力画像的生成方法、装置、电子设备和存储介质 |
| CN117131347B (zh) * | 2023-10-25 | 2024-01-19 | 上海为旌科技有限公司 | 司机动力画像的生成方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036923A (zh) | 一种服务评价方法、系统、装置及存储介质 | |
| CN110070391B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| Valanarasu | Comparative analysis for personality prediction by digital footprints in social media | |
| WO2018060993A1 (en) | Method and system for personality-weighted emotion analysis | |
| CN110119849B (zh) | 一种基于网络行为的人格特质预测方法及系统 | |
| CN112189192A (zh) | 用于训练和使用聊天机器人的系统和方法 | |
| CN111950295A (zh) | 一种训练自然语言处理模型的方法和系统 | |
| CN113807103B (zh) | 基于人工智能的招聘方法、装置、设备及存储介质 | |
| CN116468460B (zh) | 基于人工智能的消费金融客户画像识别系统及其方法 | |
| CN114783421A (zh) | 智能推荐方法和装置、设备、介质 | |
| CN115017288A (zh) | 模型训练方法、模型训练装置、设备及存储介质 | |
| CN116010586A (zh) | 一种健康建议的生成方法、装置、设备及存储介质 | |
| Somogyi | The Application of Artificial Intelligence | |
| CN112053205A (zh) | 通过机器人情绪识别的产品推荐方法及装置 | |
| CN116484885A (zh) | 基于对比学习和词粒度权重的视觉语言翻译方法和系统 | |
| CN113486174B (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN118230952A (zh) | 一种基于bprs简明精神病量表的心理评估方法及系统 | |
| CN112434953A (zh) | 一种基于计算机数据处理的客服人员考核方法和装置 | |
| CN117076672A (zh) | 文本分类模型的训练方法、文本分类方法及装置 | |
| CN116738198A (zh) | 信息识别方法、装置、设备、介质及产品 | |
| CN116719920A (zh) | 动态采样的对话生成模型训练方法、装置、设备及介质 | |
| CN116757835A (zh) | 信用卡客户贷中交易风险监控方法及装置 | |
| CN115063574A (zh) | 伤残等级的鉴定方法、装置、电子设备及存储介质 | |
| CN115631748A (zh) | 基于语音对话的情感识别方法、装置、电子设备及介质 | |
| KR102151251B1 (ko) | 내원 소요 시간을 예측하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |