CN116915908A - 拨测方法、装置、计算机设备及存储介质 - Google Patents
拨测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116915908A CN116915908A CN202211579580.5A CN202211579580A CN116915908A CN 116915908 A CN116915908 A CN 116915908A CN 202211579580 A CN202211579580 A CN 202211579580A CN 116915908 A CN116915908 A CN 116915908A
- Authority
- CN
- China
- Prior art keywords
- dial testing
- dial
- information
- target
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 628
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012956 testing procedure Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000013441 quality evaluation Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 83
- 238000004088 simulation Methods 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 17
- 239000003795 chemical substances by application Substances 0.000 description 21
- 239000004973 liquid crystal related substance Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000007619 statistical method Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/5175—Call or contact centers supervision arrangements
Landscapes
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Monitoring And Testing Of Exchanges (AREA)
Abstract
本申请公开了一种拨测方法、装置、计算机设备及存储介质。该方法包括获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息;从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;按照拨测流程编排信息,与目标被测对象建立拨测会话;获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。如此,能够针对拨测任务的整体拨测流程进行自动编排,实现在多业务场景下与目标被测对象的自动拨测,有效降低成本,可实现大规模拨测,以及摆脱人工评估的主观因素影响,提高服务质量评价结果的准确性和合理性。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种拨测方法、装置、计算机设备及存储介质。
背景技术
随着科技技术的飞速发展,客服系统业务持续丰富,为了对客服人员的服务质量进行评估,可以采用人工拨测,即拨测人员使用员工手机卡或专用拨测手机卡与客服人员进行通话,拨测人员基于该通话内容,对客服人员的服务质量进行人工评估。然而,该过程过于依赖拨测人员的技能水平及主观评价,无法得到较为准确的服务质量评价结果,以及,由于客服人员的人工资源有限,所以无法实现大规模拨测,影响拨测效率。
发明内容
本申请实施例提供一种拨测方法、装置、计算机设备及存储介质,能够解决现有技术中无法实现大规模拨测导致拨测效率低,以及拨测过程过于依赖人工评估,影响服务质量评价结果的准确性的问题。
第一方面,本申请实施例提供一种拨测方法,该方法可以包括:
获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;
从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;
按照拨测流程编排信息,与目标被测对象建立拨测会话;
获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。
第二方面,本申请实施例提供了一种拨测装置,该装置可以包括:
获取模块,用于获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;
提取模块,用于从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;
建立模块,用于按照拨测流程编排信息,与目标被测对象建立拨测会话;
获取模块,用于获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。
第三方面,本申请实施例提供了一种计算设备,该计算设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面所示的拨测方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面所示的拨测方法。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所示的拨测方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所示的拨测方法。
本申请实施例的拨测方法、装置、设备及存储介质,获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;按照拨测流程编排信息,与目标被测对象建立拨测会话;获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。这样,根据拨测任务,对拨测对象的属性信息和业务场景对应的拨测流程进行自由组合,能够针对拨测任务的整体拨测流程进行自动编排,同时可以从提前构建的预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题,并结合拨测问题和拨测流程编排信息,实现在多业务场景下与目标被测对象的自动拨测,无需耗费大量人力资源与号卡资源,避免资源浪费,有效降低成本,可实现大规模拨测,有利于提高拨测效率及拨测灵活性。以及,可以通过在拨测会话过程中目标被测对象回复拨测问题的拨测答案,生成目标被测对象在被测业务场景下的拨测评分信息,如此,摆脱人工评估的主观因素影响,提高服务质量评价结果的准确性和合理性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种拨测架构的示意图;
图2为本申请实施例提供的一种拨测方法的流程图;
图3为本申请实施例提供的一种拨测方法的拨测任务配置界面示意图;
图4为本申请实施例提供的一种拨测方法的用户信息的示意图;
图5为本申请实施例提供的一种拨测方法的预设规则知识图谱的流程示意图;
图6为本申请实施例提供的一种拨测方法的流程示意图;
图7是本申请一个实施例提供的拨测装置的结构示意图;
图8是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在相关技术中,针对融合客服系统坐席如客服人员的拨测方式主要采用人工拨测,由拨测人员使用员工手机卡或专用拨测手机卡与客服人员进行人工通话,拨测人员在拨测后对坐席服务质进行人工评估,然而,该过程过于依赖拨测人员的技能水平及主观评价,无法得到较为准确的服务质量评价结果。以及,虽然通过已有的人工拨测及服务质量评估方式,可以进行小规模的拨测及简单业务场景下的服务质量评估,但随着客服系统业务持续丰富,前述人工拨测及服务质量评估方式已无法满足海量业务场景的拨测和服务质量评估。另外,由于针对坐席问题回复的服务质量评估过度依赖拨测人员的技能水平与主观评价,未形成统一规范,所以,对于坐席服务质量无法进行统计分析,导致拨测结果和服务质量评价结果未得到有效利用,对坐席能力提升及系统流程改善未起到应有的作用。
基于此,为了解决上述问题,本申请实施例提供了一种拨测架构10,下面结合图1,对本申请实施例提供的拨测架构进行详细地说明。
如图1所示,拨测架构10可以包括拨测准备模块101、拨测执行模块102、拨测报告模块103和统计分析模块104。下面对拨测架构10进行进一步说明。
拨测准备模块101,用于执行拨测任务之前的准备步骤。在一个示例中,拨测准备模块101可以用于,构建不同模拟用户的模拟用户信息的样本,以及基于模拟用户和模拟用户信息,构建预设用户模拟数据库。其中,模拟用户信息包括下述中的至少一项:模拟用户基础信息、模拟用户标签信息、模拟业务信息。其中,模拟用户基础信息包括姓名、手机号码、昵称、渠道名称等;模拟用户标签信息包括停开机、号码星级、透支额度等;模拟业务信息包括实时余额、用户积分、实时流量等。这里,需要说明的是,模拟用户可以基于真实用户进行改编的,也可以是基于新增业务场景虚拟构建的,同理,其模拟用户信息也可以是真实用户的用户信息改编的,也可以是根据系统提供的用户信息随机组合生成的,也可以是基于新增业务场景虚拟构建的。
在另一个示例中,拨测准备模块101还可以用于,基于至少一个业务场景中每个业务场景下的拨测及其对应的拨测答案,构建预设知识图谱,以保证多个业务场景的预设知识图谱的完备性。以及,基于存储预设流程排布数据,并基于预设流程排布数据,构建预设知识图谱的业务场景规则配置库,使得在接收拨测任务的情况下,可以基于预设知识图谱的业务场景规则配置库中取得拨测问题和与其对应的拨测答案。
在又一个示例中,拨测准备模块101还可以用于,接收用户配置拨测任务的输入,并基于该输入获取拨测任务,其中,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程。
拨测执行模块102,用于执行拨测任务。其中,拨测执行模块102具体用于,将拨测任务中的拨测对象的属性信息和被测业务场景对应的拨测流程抽象为拨测单元,自由组合拨测单元进行复杂场景的拨测流程编排信息配置,提高拨测效率及拨测灵活性,具体地,可以按照预设流程排布数据,对上述与属性信息、场景信息和服务类型对应的拨测单元进行排序,得到拨测流程编排信息。在另一个示例中,拨测执行模块102还可以用于,基于Doc2vec模型与相似度组合算法对目标坐席(如目标被测对象)回复拨测问题的拨测答案进行评估,检测目标被测对象的拨测答案的上下文,以及根据目标被测对象操作流程的规范性,并在确定目标被测对象存在异常操作的情况下,进行告警提醒。
拨测报告模块103,用于记录拨测日志记录,以便于统计分析模块104基于拨测日志记录,对坐席维度和业务维度进行统计分析,以提高拨测架构10的反馈执行能力。
统计分析模块104,用于针对坐席维度、业务维度进行统计分析,对于评分较低的目标被测对象反馈至相关人员,以便对其进行针对性培训,对于评分较低的业务问答,提醒相关工作人员如运营人员检查拨测答案是否合理,提醒需求人员检查该拨测架构10是否需要优化,充分利用拨测答案提升坐席服务能力及改善系统流程。
因此,本申请实施例提出一种场景式提高服务质量和效率的拨测架构,通过提前构建的预设知识图谱和业务场景规则配置库,获取预设流程排布数据、自由组合业务场景的拨测单元,实现复杂业务场景下的自动拨测,释放人力与号卡资源,降低成本,以及,基于Doc2vec模型与相似度组合算法对目标坐席(如目标被测对象)回复拨测问题的拨测答案进行评估,检测目标被测对象的拨测答案的上下文,以及根据目标被测对象操作流程的规范性,并在确定目标被测对象存在异常操作的情况下,进行告警提醒,与此同时,可以对基于拨测答案生成的拨测评分信息进行统计分析,以用于提升目标坐席服务能力及改善系统流程,合理利用拨测数据。
基于上述拨测架构,本申请实施例提供了一种拨测方法、装置、计算机设备及存储介质。下面将结合附图2至图8,详细描述本申请实施例的拨测方法、装置、计算机设备及存储介质,应注意,这些实施例并不是用来限制本申请公开的范围。
下面结合图2对本申请实施例提供的拨测方法进行详细说明。
图2为本申请实施例提供的一种拨测方法的流程图。
如图2所示,本申请实施例提供的拨测方法可以应用于如图1所示的拨测架构,该拨测方法具体可以包括如下步骤:
步骤210,获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;步骤220,从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;步骤230,按照拨测流程编排信息,与目标被测对象建立拨测会话;步骤240,获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。
由此,根据拨测任务,对拨测对象的属性信息和业务场景对应的拨测流程进行自由组合,能够针对拨测任务的整体拨测流程进行自动编排,同时可以从提前构建的预设知识图谱中提取与所述拨测对象的属性信息和所述场景信息对应的拨测问题,并结合拨测问题和拨测流程编排信息,实现在多业务场景下与目标被测对象的自动拨测,无需耗费大量人力资源与号卡资源,避免资源浪费,有效降低成本,可实现大规模拨测,有利于提高拨测效率及拨测灵活性。以及,可以通过在拨测会话过程中目标被测对象回复拨测问题的拨测答案,生成目标被测对象在被测业务场景下的拨测评分信息,如此,摆脱人工评估的主观因素影响,提高服务质量评价结果的准确性和合理性。
下面对上述步骤进行详细说明,具体如下所示:
首先,在一种或多种可能的实施例中,在步骤210之前,本申请实施例中的拨测方法还可以包括确定拨测对象、拨测对象的属性信息、目标被测对象和拨测流程编排信息的步骤。
基于此,在步骤210之前,该拨测方法还可以包括:
步骤2101,接收用户配置拨测任务的输入;
步骤2102,响应于输入,在获取到用户输入模拟用户的用户标识的情况下,从预设用户模拟数据库中筛选与用户标识对应的第一模拟用户;
步骤2103,将第一模拟用户确定为拨测对象,以及,将第一模拟用户的模拟用户信息确定为拨测对象的属性信息。
示例性地,若接收到用户输入模拟用户为定向坐席的情况下,从预设用户模拟数据库中筛选与定向坐席对应的第一模拟用户,其中,定向坐席用于表示限定了该定向坐席的业务场景,即用户基于被测业务场景定向拨测该场景下的客服人员,定向坐席也可以表示用户想要拨测指定的坐席,如坐席A等。
反之,步骤2104,在未获取到用户输入模拟用户的用户标识的情况下,从预设用户模拟数据库中随机选取第二模拟用户;
步骤2105,将第二模拟用户确定为拨测对象,以及,将第二模拟用户的模拟用户信息确定为拨测对象的属性信息;
其中,属性信息包括下述中的至少一项:拨测任务名称、拨测时间、拨测范围、媒体交互类别标签、拨测对象的类别。
需要说明的是,拨测范围可以为全国、省、市等由地域划分的拨测范围。媒体交互类别标签如媒体交互类别有通信网音频、通信网视频、互联网音频、互联网视频、即时通讯(IM)会话等,由于现网中各类坐席数量相差较大,因此针对各媒体交互类别标签分别配置不同拨测量。拨测对象的类别可以是当对于通用业务进行拨测时选择随机模拟用户拨测,当对特定业务进行拨测时选择定向模拟用户根据坐席技能队列进行拨测,该拨测对象的类别可以与上述模拟用户的用户标识对应。
示例性地,如图3所示,任务名称为新建拨测任务一,拨测范围全国,拨测时间:上午8点至下午8点,媒体交互类别标签为包括通信网音频、通信网视频、互联网音频、互联网视频、即时通讯会话,拨测客户类别选择为定向客户即第一模拟用户,其第一模拟用户的模拟用户信息可以包括该业务场景下的业务标签如欠费、转卡等,拨测坐席类别选择为定向坐席即目标被测对象。
以及,在步骤2101之后,该拨测方法还可以包括:
步骤2106,在获取到用户输入被测对象的身份标识的情况下,将多个被拨测对象中与身份标识对应、且处于空闲状态的被测对象确定为目标被测对象;
步骤2107,在未获取到用户输入被测对象的身份标识的情况下,将多个被拨测对象中处于空闲状态任一被测对象确定为目标被测对象。
以及,在步骤2101之后,该拨测方法还可以包括:
步骤2108,获取目标被测对象的服务类型;
步骤2109,按照预设流程排布数据,对与属性信息、场景信息和服务类型对应的拨测单元进行排序,得到拨测流程编排信息。
示例性地,可以将与属性信息、场景信息和服务类型对应的业务流程(如业务拨测,业务查询,话费查询等)抽象为拨测单元,一个拨测任务内可自由组合拨测单元,其自由组合的对象包括拨测单元个数及顺序,同时,根据被测业务场景的场景信息选择拨测问题时,可选择“问题随机”或“指定具体问题”。当选择“问题随机”时,拨测流程编排信息中会包括将从预设知识图谱中随机选择该业务场景下多类任务的拨测问题进行提问的指令,实现一通会话中对多种业务及同一业务不同问题的自由拨测,提高拨测效率及拨测灵活性。
基于此,仍参考图3,拨测流程编排信息可以包括:步骤一,业务拨测、业务查询、话费查询、拨测问题随机;步骤二,话务拨测、升降级、拨测问题一;步骤三,业务拨测、业务查询、积分查询、拨测问题二;此时,每个步骤中的拨测单元如业务拨测、业务查询、话费查询、拨测问题随机均可增加或删除,其增加的内容,可由预设的预设流程排布数据提供。
其次,涉及步骤220,在一种或多种可能的实施例中,在步骤220之前,构建完备的预设用户模拟数据库,基于预设用户模拟数据库中的模拟用户和模拟用户的模拟用户信息,以及不同类别的业务场景提供不同的服务流程。其中,如图4所示,用户信息包括:用户基础信息、用户标签信息、用户业务信息等。用户基础信息用于标识唯一用户;用户标签信息用于拨测任务执行过程中,根据标签信息从基于预设知识图谱的业务场景规则配置库中取得该标签下的拨测问题和拨测案;用户业务信息用于拨测任务执行过程中目标被测对象侧展示,目标被测对象根据拨测问题及用户业务信息和用户基础信息进行答复。
在另一种或多种可能的实施例中,在步骤220之前,构建基于预设知识图谱的业务场景规则配置库,基于预设知识图谱进行业务场景规则配置库的展示,配置拨测任务前,需要测评人员将本次所要测评的所有试题录入业务场景规则配置库,试题通常以一问一答的形式存在。问题由业务场景决定,而对于不同省份或不同用户标签,同一问题的标准答案可能不同,以话费查询为例,问题由业务拨测→业务查询→话费查询这一业务场景确定,而针对该问题的答案,则根据不同省份与客户是否欠费这一标签共同决定,具体展示如知识图谱所示。如图4所示,图中的智能拨测指示图谱为本申请实施例中的预设知识图谱,根据拨测任务中的属性信息,确定目标被测对象的服务类型当前是属于业务拨测还是话务拨测,若为业务拨测,则执行与业务类型对应的拨测会话流程,如业务办理、业务查询;反之,若为话务拨测,则执行与话务类型对应的拨测会话流程,如媒体协同、转接、升降级等。然后,在业务拨测的分支下,针对跨省宽带办理重点业务口径测评,比如拨测问题是“所有宽带资源的小区,都可以办理跨省宽带吗?”,拨测答案是“您好,现阶段仅支持光纤入户的小区办理跨省宽带。”在系统录入后,新增的业务规则将实时展示于业务场景预设规则知识图谱中。
需要说明的是,图5中的其他的拨测问题(即包括问题一、问题二)如“我当前的可用积分是多少?”“请将语音升级为视频”等均可以参照图中的链接关系存储在预设桂策指示图谱中,以及,其他的拨测答案(即图中的标准答、其他省份标准答等)可以根据拨测范围的不同,针对同一个拨测问题给出不同的拨测答案。
再者,涉及步骤230,在一种或多种可能的实施例中,属性信息包括媒体交互类别标签,拨测流程编排信息包括目标被测对象的服务类型,服务类型包括话务类型或业务类型,该步骤230具体可以包括:
在服务类型为话务类型、且接收到目标被测对象通过与媒体交互类别标签对应的通信方式发送的拨测会话请求的情况下,建立与目标被测对象的拨测会话;
在服务类型为业务类型的情况下,通过与媒体交互类别标签对应的通信方式,向目标被测对象发起拨测会话。
示例性地,若服务类型为话务类型,即表示目标被测对象为接听方,拨测对象为发起方时,此时,是由拨测对象向目标被测对象发起拨测请求。反之,若服务类型为业务类型,既表示目标被测对象为发起方,拨测对象为接听方,此时,是由目标被测对象发起会话请求,在拨测对象同意该请求时,即建立目标被测对象与拨测对象的拨测会话。
然后,涉及步骤240,在一种或多种可能的实施例中,该拨测方法具体可以包括:
步骤2401,在拨测流程编排信息包括拨测会话为音视频拨测的情况下,将拨测问题转换为问题音频,向目标被测对象发送问题音频;
步骤2402,录制目标被测对象回复问题音频的答案音频;
步骤2403,转换答案音频为答案文本,并将答案文本确定为拨测答案。
在另一种或多种可能的实施例中,该拨测方法具体可以包括:
步骤2404,在拨测流程编排信息包括拨测会话为文本拨测的情况下,将拨测问题转换为问题文本,向目标被测对象发送问题文本;
步骤2405,接收目标被测对象回复问题文本的答案文本;
步骤2406,将答案文本确定为拨测答案。
示例性地,拨测会话开始,判断拨测流程编排信息中是否配置为问题随机,如果是,则根据配置的业务场景从预设知识图谱中随机选择该业务场景下配置的拨测问题;否则,根据配置的业务场景从预设知识图谱中选择拨测单元配置的拨测问题。
该拨测问题确定后,判断当前拨测会话是否为音视频拨测,如果是,则将拨测问题转换为问题音频,发送问题音频给目标被测对象,获取目标被测对象的答案音频并将答案音频转答案文本;如果为IM会话即文本拨测,则可以将拨测问题转换为问题文本,向目标被测对象发送问题文本,并获取目标被测对象回复问题文本的答案文本。
在一种或多种可能的实施例中,在步骤240之后,该拨测方法还可以包括:
步骤250,在结束拨测会话后,获取目标被测对象在被测业务场景下拨测会话的拨测记录;其中,被测业务场景的场景信息包括与属性信息相关的L个业务标签,L为正整数;
步骤260,根据拨测答案和拨测记录,生成目标被测对象的拨测评分信息,拨测评分信息用于确定目标被测对象在被测业务场景下的服务程度。
这里,本申请的业务标签可以包括下述中的至少一种:服务平台提供的服务名称(如流量套餐一、集团业务、个人业务、家庭业务)、被测业务场景的服务名称(积分查询、快点查询、积分查询)。
进一步地,该步骤260具体可以包括:
步骤2601,通过Doc2vec模型,分别对拨测答案和预测答案进行语义分析,得到与拨测答案对应的第一文本向量集合和与预测答案对应的第二文本向量;
步骤2602,根据第一文本向量集合和第二文本向量集合,生成与拨测记录对应的拨测评分信息。
基于此,第一文本向量包括第一语义向量、第一文本向量、第一关键词向量,第二文本向量包括第二语义向量、第二文本向量、第二关键词向量,该步骤2602具体可以包括:
步骤26021,通过余弦相似度算法,分别计算第一语义向量和第二语义向量之间的第一相似度、第一文本向量和第二文本向量之间的第二相似度、以及第一关键词向量和第二关键词向量之间的第三相似度;
步骤26022,确定第一相似度、第二相似度和第三相似度中是否存在大于或等于预设相似度的第一目标相似度;
步骤26023,在存在第一目标相似度的情况下,将预设值确定为目标被测对象在拨测记录下的拨测评分信息。
反之,在不存在第一目标相似度的情况下,从第一相似度、第二相似度和第三相似度中选取相似度值最大的第二目标相似度;
根据第二目标相似度和预设纠正偏差值,计算目标被测对象在拨测记录下的拨测评分信息。
示例性地,为实现对目标被测对象回复的拨测答案的准确性评估,本申请实施例引入Doc2vec模型对拨测答案进行语义分析,该模型能够有效的提取文本中语句及段落的语义、文本和关键词,将文本的语义、文本和关键词分别归化为语义向量、文本向量和关键词向量,以便最终计算拨测答案的文本与预设答案的文本间的相似度。在本申请实施例中,是对拨测答案与预测答案分别进行语义分析如分词和分段,得到拨测答案的第一语义向量、第一文本向量、第一关键词向量和预测答案的第二语义向量、第二文本向量、第二关键词向量,将第一语义向量、第一文本向量、第一关键词向量求和之后得到第一文本向量集合,以及将第二语义向量、第二文本向量、第二关键词向量求和之后得到第二文本向量集合,并运用余弦相似度算法,得到拨测答案与预测答案的相似度,如公式(1)所示:
其中,sim表示拨测答案与预测答案的相似度,A为预测答案的第二文本向量,B为拨测答案的第一文本向量,Ai、Bi为A、B中各个分向量,n为分向量个数。
为使评估结果更加准确,可以分别计算第一语义向量和所述第二语义向量之间的第一相似度、所述第一文本向量和第二文本向量之间的第二相似度、以及所述第一关键词向量和所述第二关键词向量之间的第三相似度,以根据第一相似度、第二相似度和第三相似度进行组合构建评分模型,第一相似度、第二相似度和第三相似度中任一相似度达到阈值θ时取满分G;否则取第一相似度、第二相似度和第三相似度中最大的相似度,并基于预设纠正偏差值else计算拨测评分信息gm,n,其中,m表示拨测任务中的第m通会话,n表示第n个拨测单元,此时,该G为预设值,如公式(2)所示,
此外,涉及步骤240之后,在一种或多种可能的实施例中,该拨测方法还可以包括:
步骤270,确定拨测流程编排信息的拨测流程是否执行完成;
步骤280,在确定拨测流程编排信息的拨测流程未执行完成的情况下,按照拨测流程编排信息,重新确定拨测问题,并执行获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,直至拨测流程编排信息的拨测流程执行完成。
反之,步骤290,在确定拨测流程编排信息的拨测流程执行完成的情况下,确定拨测记录是否满足预设拨测记录的条件;
在确定拨测记录未满足预设拨测记录的条件的情况下,重新获取新的拨测任务,并执行新的拨测任务,直至拨测记录满足预设拨测记录的条件。
反之,在确定拨测记录满足预设拨测记录的条件的情况下,获取目标被测对象在被测业务场景下与多个拨测记录对应的拨测评分信息的第一拨测评分信息集合,以及分别获取多个被拨测对象中每个被拨测对象在被测业务场景下与多个拨测记录对应的拨测评分信息的第二拨测评分信息集合;
根据第一拨测评分信息集合和多个第二拨测评分信息集合,计算目标被测对象在被测业务场景下的服务质量评价值;
在服务质量评价值小于预设服务质量评价值的情况下,向目标被测对象反馈与被测业务场景对应的服务培训信息。
示例性地,根据存储的拨测日志记录得出目标被测对象操作上下文(即包括拨测答案和在拨测期间目标被测对象对电子设备的操作),与当前业务的固定操作流程进行匹配,当检测出目标被测对象有异常操作时,通过弹窗方式实时对目标被测对象进行异常操作流程的告警提醒,达到促进坐席改进操作流程的效果。判断当前拨测流程编排信息的拨测流程是否执行完成,若未执行完,则进行本通拨测会话中下一拨测单元的执行;否则,判断当前拨测记录是否达到预设拨测记录的条件即预设拨测量,如果是,则结束本拨测任务;否则,执行本次拨测任务的下一通拨测会话,并将拨测记录增加1,直至当前拨测记录达到预设拨测记录的条件即预设拨测量。
这里,拨测日志记录可以包括拨测任务、拨测对象、目标被测对象、拨测问题、拨测答案、目标被测对象在所述被测业务场景下的拨测评分信息、目标被测对象操作上下文等。
如此,可以根据拨测日志记录进行坐席与业务两个维度的统计分析。其中,坐席维度:根据拨测会话中所有业务的交互得出多个被测对象的每个被测对象在每个被测业务场景下每个拨测问题的解答情况,基于多个被拨测对象中每个被拨测对象在所述被测业务场景下与多个拨测记录对应的拨测评分信息的第二拨测评分信息,计算平均指标值,该平均指标的计算公式如公式(3)所示:
其中,N为第m通会话拨测单元总个数。
这样,将平均指标确定为预设服务质量评价值,在当前目标被测对象在所述被测业务场景下的服务质量评价值小于预设服务质量评价值的情况下,向所述目标被测对象反馈与所述被测业务场景对应的服务培训信息,或将当前目标被测对象在所述被测业务场景下的服务质量评价值小于预设服务质量评价值的结果发送至相关人员,以提示相关人员对该目标被测对象进行培训。另外,业务维度:根据所有拨测会话中同一业务的回答情况得出平均指标值,对于指标值低的业务,发送信息至需求/配置人员,针对性的分析该业务问答是否合理,做出优化。
由此,本申请实施例提供的拨测方法,既可以支持测试人员提前配置好拨测任务与拨测流程,系统进行自动化拨测及拨测结果评价,释放人力与号卡资源,降低拨测成本投入,考虑不同业务场景下的问答模式随模拟用户标签信息的不同而变化,构建基于预设知识图谱技术的业务场景规则配置库,将业务场景抽象封装为拨测单元,根据拨测需求自由编排,同时拨测问题可随机选择,实现一通拨测会话中多业务场景自由拨测,提高自动拨测的效率及拨测灵活性。以及,基于Doc2vec技术将文本版拨测答案与预设答案进行段向量化,通过构建语义、文本、关键词相似度组合评分模型进行坐席话术的评估,以及,根据目标被测对象操作上下文进行目标被测对象操作操作流程规范性检测,并对目标被测对象操作进行异常操作流程实时告警提醒,如此,可以充分利用拨测拨测评分信息,通过拨测评分信息统计分析用于提升目标被测对象服务能力及改善系统流程。
为了更好的理解本申请实施例提供的拨测方法,可以结合图6对上述内容进行举例说明,需要说明的是,图6中的拨测者为拨测对象、空闲坐席为目标被测对象,基于此,具体如下所示。
如图6所示,步骤101、拨测任务开始。
首先,确定拨测者,即确定用户是否选择拨测客户类别为全量客户(即是否获取到用户输入模拟用户的用户标识)。若为全量客户(即未获取到用户输入模拟用户的用户标识),则从客户信息模拟数据库(即预设用户模拟数据库)中随机选取一名客户(即第二模拟用户)作为拨测者,以及将客户的客户信息作为拨测者的属性信息。反之,若不为全量客户(获取到用户输入模拟用户的用户标识),则根据标签(即标注全量客户的标签,也是本申请实施例中的模拟用户的用户标识)从预设用户模拟数据库中筛选与用户标识对应的第一模拟用户,并将第一模拟用户作为拨测者。
接着,确定空闲坐席,即确定用户是否选择拨测坐席类别为全量坐席(即是否获取到用户输入被测对象的身份标识)。若为全量坐席(未获取到用户输入被测对象的身份标识),则随机查找处于空闲状态任一被测对象,并将其确定为目标被测对象,这里,如果没有目标被测对象则排队等候。反之,若不为全量坐席(获取到用户输入被测对象的身份标识),则将多个被拨测对象中与身份标识对应、且处于空闲状态的被测对象确定为目标被测对象,这里,如果没有目标被测对象则排队等候。
步骤102、空闲坐席接通后拨测会话开始,判断拨测单元是否配置为问题随机,如果是,则根据配置的业务场景从预设知识图谱中随机选择该业务场景下配置的拨测问题;否则,根据配置的业务场景从预设知识图谱中选择拨测单元配置的拨测问题。
拨测问题确定后,判断当前拨测会话是否为音视频拨测,如果是,则将拨测问题转问题音频,向目标被测对象发送问题音频,并在获取到目标被测对象的答案语音的情况下,将答案语音转答案文本,以及,将答案文本确定为拨测答案;反之,如果为IM会话,向目标被测对象发送问题文本,并在获取到目标被测对象的答案文本时,将答案文本确定为拨测答案。
步骤103、为实现对拨测答案的准确性评估,引入Doc2vec模型对拨测答案进行语义分析,具体可参照上述公式(1)和公式(2)所示的内容,计算目标被测对象的拨测评分信息,这里,可以理解为确定坐席维度。
步骤104、根据拨测日志记录中的目标被测对象操作上下文,获取目标被测对象在拨测会话中的对电子设备的操作,并将与该拨测会话对应的被测业务场景下预设操作上下文进行匹配,确定目标被测对象是否对电子设备存在异常操作,在确定目标被测对象对电子设备存在异常操作的情况下,控制目标被测对象的电子设备以弹窗方式实时对目标被测对象进行异常操作流程的告警提醒,达到促进目标被测对象改进操作流程的效果。步骤105、判断当前拨测流程编排信息的拨测流程是否执行完成,若未执行完,则进行本拨测会话中下一拨测单元的执行,转步骤102;否则,确定拨测记录是否满足预设拨测记录的条件即当前的拨测记录对应的拨测量是否等于或大于预设拨测量,如果是,则结束本拨测任务;否则,执行本拨测任务的下一通拨测会话,转步骤101。
由此,通过配置模拟用户(如第一模拟用户和第二模拟用户)、配置基于预设知识图谱的业务场景拨测问题和拨测答案、配置场景化拨测任务等准备工作,即可进行自动化拨测,无需耗费大量人力与号卡资源,有利于提升新服务上线后或特殊时期业务口径服务质量评估的拨测频次及拨测规模。以及,基于Doc2vec技术将文本版目标被测对象的拨测答案与预设答案进行段向量化,通过构建语义、文本、关键词相似度组合评分模型进行坐席话术的评估,摆脱人工评估的主观因素影响;根据目标被测对象操作上下文进行目标被测对象操作流程规范性检测,并对目标被测对象进行异常操作流程实时告警提醒,充分利用拨测评分信息进行统计分析用于提升服务满意度,针对评分较低的目标被测对象进行针对性培训,针对评分较低的业务问答,发送信息至需求/配置人员,针对性的分析该业务问答是否合理,做出优化。
基于相同的发明构思,本申请还提供了一种拨测装置。具体结合图7进行详细说明。
图7是本申请一个实施例提供的拨测装置的结构示意图。
在本申请一些实施例中,图7所示拨测装置可以设置于如图1所示的拨测架构中。
如图7所示,该拨测装置70具体可以包括:
获取模块701,用于获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;
提取模块702,用于从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;
建立模块703,用于按照拨测流程编排信息,与目标被测对象建立拨测会话;
获取模块701还用于,获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。
在本申请实施例中,根据拨测任务,对拨测对象的属性信息和业务场景对应的拨测流程进行自由组合,能够针对拨测任务的整体拨测流程进行自动编排,同时可以从提前构建的预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题,并结合拨测问题和拨测流程编排信息,实现在多业务场景下与目标被测对象的自动拨测,无需耗费大量人力资源与号卡资源,避免资源浪费,有效降低成本,可实现大规模拨测,有利于提高拨测效率及拨测灵活性。以及,可以通过在拨测会话过程中目标被测对象回复拨测问题的拨测答案,生成目标被测对象在被测业务场景下的拨测评分信息,如此,摆脱人工评估的主观因素影响,提高服务质量评价结果的准确性和合理性。
下面分别对本申请实施例中拨测装置70进行详细说明。
在一种或多种可能的实施例中,本申请实施例中拨测装置70还包括生成模块;其中,
获取模块701还用于,在结束拨测会话后,获取目标被测对象在被测业务场景下拨测会话的拨测记录;其中,被测业务场景的场景信息包括与属性信息相关的L个业务标签,L为正整数;
生成模块,用于根据拨测答案和拨测记录,生成目标被测对象的拨测评分信息,拨测评分信息用于确定目标被测对象在被测业务场景下的服务程度。
在另一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第一接收模块、筛选模块、第一确定模块和选取模块;其中,
第一接收模块,用于接收用户配置拨测任务的输入;
筛选模块,用于响应于输入,在获取到用户输入模拟用户的用户标识的情况下,从预设用户模拟数据库中筛选与用户标识对应的第一模拟用户;
第一确定模块,用于将第一模拟用户确定为拨测对象,以及,将第一模拟用户的模拟用户信息确定为拨测对象的属性信息;
选取模块,用于在未获取到用户输入模拟用户的用户标识的情况下,从预设用户模拟数据库中随机选取第二模拟用户;
第一确定模块还用于,将第二模拟用户确定为拨测对象,以及,将第二模拟用户的模拟用户信息确定为拨测对象的属性信息;
其中,属性信息包括下述中的至少一项:拨测任务名称、拨测时间、拨测范围、媒体交互类别标签、拨测对象的类别。
在又一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第二确定模块;其中,
第二确定模块,用于在获取到用户输入被测对象的身份标识的情况下,将多个被拨测对象中与身份标识对应、且处于空闲状态的被测对象确定为目标被测对象;
第二确定模块还可以用于,在未获取到用户输入被测对象的身份标识的情况下,将多个被拨测对象中处于空闲状态任一被测对象确定为目标被测对象。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括排序模块;其中,
获取模块701还用于,获取目标被测对象的服务类型;
排序模块,用于按照预设流程排布数据,对与属性信息、场景信息和服务类型对应的拨测单元进行排序,得到拨测流程编排信息。
在再一种或多种可能的实施例中,建立模块703具体可以用于,在属性信息包括媒体交互类别标签,拨测流程编排信息包括目标被测对象的服务类型,服务类型包括话务类型或业务类型的情况下,在服务类型为话务类型、且接收到目标被测对象通过与媒体交互类别标签对应的通信方式发送的拨测会话请求的情况下,建立与目标被测对象的拨测会话;
在服务类型为业务类型的情况下,通过与媒体交互类别标签对应的通信方式,向目标被测对象发起拨测会话。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第一转换模块和录制模块;其中,
第一转换模块,用于在拨测流程编排信息包括拨测会话为音视频拨测的情况下,将拨测问题转换为问题音频,向目标被测对象发送问题音频;
录制模块,用于录制目标被测对象回复问题音频的答案音频;
第一转换模块还用于,转换答案音频为答案文本,并将答案文本确定为拨测答案。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第二转换模块、第二接收模块和第三确定模块;其中,
第二转换模块,用于在拨测流程编排信息包括拨测会话为文本拨测的情况下,将拨测问题转换为问题文本,向目标被测对象发送问题文本;
第二接收模块,用于接收目标被测对象回复问题文本的答案文本;
第三确定模块,用于将答案文本确定为拨测答案。
在再一种或多种可能的实施例中,生成模块具体可以用于通过Doc2vec模型,分别对拨测答案和预测答案进行语义分析,得到与拨测答案对应的第一文本向量集合和与预测答案对应的第二文本向量;
根据第一文本向量集合和第二文本向量集合,生成与拨测记录对应的拨测评分信息。
在再一种或多种可能的实施例中,生成模块具体可以用于,在第一文本向量包括第一语义向量、第一文本向量、第一关键词向量,第二文本向量包括第二语义向量、第二文本向量、第二关键词向量的情况下,通过余弦相似度算法,分别计算第一语义向量和第二语义向量之间的第一相似度、第一文本向量和第二文本向量之间的第二相似度、以及第一关键词向量和第二关键词向量之间的第三相似度;
确定第一相似度、第二相似度和第三相似度中是否存在大于或等于预设相似度的第一目标相似度;
在存在第一目标相似度的情况下,将预设值确定为目标被测对象在拨测记录下的拨测评分信息。
在再一种或多种可能的实施例中,提取模块702还用于,在不存在第一目标相似度的情况下,从第一相似度、第二相似度和第三相似度中选取相似度值最大的第二目标相似度;
根据第二目标相似度和预设纠正偏差值,计算目标被测对象在拨测记录下的拨测评分信息。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第一判断模块;其中,
第一判断模块,用于确定拨测流程编排信息的拨测流程是否执行完成;
在确定拨测流程编排信息的拨测流程未执行完成的情况下,按照拨测流程编排信息,重新确定拨测问题,并执行获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,直至拨测流程编排信息的拨测流程执行完成。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括第二判断模块;其中,
第二判断模块,用于在确定拨测流程编排信息的拨测流程执行完成的情况下,确定拨测记录是否满足预设拨测记录的条件;
在确定拨测记录未满足预设拨测记录的条件的情况下,重新获取新的拨测任务,并执行新的拨测任务,直至拨测记录满足预设拨测记录的条件。
在再一种或多种可能的实施例中,本申请实施例中拨测装置70还可以包括计算模块和反馈模块;其中,
获取模块701还可以用于,在确定拨测记录满足预设拨测记录的条件的情况下,获取目标被测对象在被测业务场景下与多个拨测记录对应的拨测评分信息的第一拨测评分信息集合,以及分别获取多个被拨测对象中每个被拨测对象在被测业务场景下与多个拨测记录对应的拨测评分信息的第二拨测评分信息集合;
计算模块,用于根据第一拨测评分信息集合和多个第二拨测评分信息集合,计算目标被测对象在被测业务场景下的服务质量评价值;
反馈模块,用于在服务质量评价值小于预设服务质量评价值的情况下,向目标被测对象反馈与被测业务场景对应的服务培训信息。
由此,获取拨测任务,拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,目标被测对象的工作状态为空闲状态,拨测流程编排信息为与属性信息和场景信息对应的拨测流程;从预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题;按照拨测流程编排信息,与目标被测对象建立拨测会话;获取在拨测会话过程中目标被测对象回复拨测问题的拨测答案,拨测答案用于生成目标被测对象在被测业务场景下的拨测评分信息。这样,根据拨测任务,对拨测对象的属性信息和业务场景对应的拨测流程进行自由组合,能够针对拨测任务的整体拨测流程进行自动编排,同时可以从提前构建的预设知识图谱中提取与拨测对象的属性信息和场景信息对应的拨测问题,并结合拨测问题和拨测流程编排信息,实现在多业务场景下与目标被测对象的自动拨测,无需耗费大量人力资源与号卡资源,避免资源浪费,有效降低成本,可实现大规模拨测,有利于提高拨测效率及拨测灵活性。以及,可以通过在拨测会话过程中目标被测对象回复拨测问题的拨测答案,生成目标被测对象在被测业务场景下的拨测评分信息,如此,摆脱人工评估的主观因素影响,提高服务质量评价结果的准确性和合理性。
基于相同的发明构思,本申请还提供了一种计算机设备。具体结合图8进行详细说明。
图8是本申请一个实施例提供的计算机设备的结构示意图。
如图8所示,该计算机设备可以包括本申请实施例中涉及的下述中的至少一种:电子设备、服务器。其中,该计算机设备可以包括处理器801以及存储有计算机程序指令的存储器802。
具体地,上述处理器801可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器802可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器802可在综合网关容灾设备的内部或外部。在特定实施例中,存储器802是非易失性固态存储器。在特定实施例中,存储器802包括固态存储(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器801通过读取并执行存储器802中存储的计算机程序指令,以实现上述实施例中的任意一种拨测方法。
在一个示例中,拨测设备还可包括通信接口803和总线810。其中,如图8所示,处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。
通信接口803,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线810包括硬件、软件或两者,将流量控制设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线810可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该拨测设备可以执行本申请实施例中的拨测方法,从而实现结合图1至图5描述的拨测方法和装置。
另外,结合上述实施例中的拨测方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种拨测方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (17)
1.一种拨测方法,其特征在于,包括:
获取拨测任务,所述拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,所述目标被测对象的工作状态为空闲状态,所述拨测流程编排信息为与所述属性信息和所述场景信息对应的拨测流程;
从预设知识图谱中提取与所述拨测对象的属性信息和所述场景信息对应的拨测问题;
按照所述拨测流程编排信息,与所述目标被测对象建立拨测会话;
获取在所述拨测会话过程中所述目标被测对象回复所述拨测问题的拨测答案,所述拨测答案用于生成所述目标被测对象在所述被测业务场景下的拨测评分信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在结束所述拨测会话后,获取所述目标被测对象在所述被测业务场景下拨测会话的拨测记录;其中,所述被测业务场景的场景信息包括与所述属性信息相关的L个业务标签,L为正整数;
根据所述拨测答案和所述拨测记录,生成所述目标被测对象的拨测评分信息,所述拨测评分信息用于确定所述目标被测对象在所述被测业务场景下的服务程度。
3.根据权利要求1所述的方法,其特征在于,所述获取拨测任务之前,所述方法还包括:
接收用户配置拨测任务的输入;
响应于所述输入,在获取到用户输入模拟用户的用户标识的情况下,从预设用户模拟数据库中筛选与所述用户标识对应的第一模拟用户;
将所述第一模拟用户确定为所述拨测对象,以及,将所述第一模拟用户的模拟用户信息确定为所述拨测对象的属性信息;
在未获取到用户输入模拟用户的用户标识的情况下,从所述预设用户模拟数据库中随机选取第二模拟用户;
将所述第二模拟用户确定为所述拨测对象,以及,将所述第二模拟用户的模拟用户信息确定为所述拨测对象的属性信息;
其中,所述属性信息包括下述中的至少一项:拨测任务名称、拨测时间、拨测范围、媒体交互类别标签、拨测对象的类别。
4.根据权利要求3所述的方法,其特征在于,所述接收用户配置拨测任务的输入之后,所述方法还包括:
在获取到用户输入被测对象的身份标识的情况下,将多个被拨测对象中与所述身份标识对应、且处于空闲状态的被测对象确定为所述目标被测对象;
在未获取到用户输入被测对象的身份标识的情况下,将所述多个被拨测对象中处于空闲状态任一被测对象确定为所述目标被测对象。
5.根据权利要求4所述的方法,其特征在于,所述接收用户配置拨测任务的输入之后,所述方法还包括:
获取所述目标被测对象的服务类型;
按照预设流程排布数据,对与所述属性信息、所述场景信息和所述服务类型对应的拨测单元进行排序,得到所述拨测流程编排信息。
6.根据权利要求1所述的方法,其特征在于,所述属性信息包括媒体交互类别标签,所述拨测流程编排信息包括所述目标被测对象的服务类型,所述服务类型包括话务类型或业务类型;
所述按照所述拨测流程编排信息,与所述目标被测对象建立拨测会话,包括:
在所述服务类型为话务类型、且接收到所述目标被测对象通过与所述媒体交互类别标签对应的通信方式发送的拨测会话请求的情况下,建立与所述目标被测对象的拨测会话;
在所述服务类型为业务类型的情况下,通过与所述媒体交互类别标签对应的通信方式,向所述目标被测对象发起拨测会话。
7.根据权利要求1所述的方法,其特征在于,所述获取在所述拨测会话过程中所述目标被测对象回复所述拨测问题的拨测答案,包括:
在所述拨测流程编排信息包括所述拨测会话为音视频拨测的情况下,将所述拨测问题转换为问题音频,向所述目标被测对象发送所述问题音频;
录制所述目标被测对象回复所述问题音频的答案音频;
转换所述答案音频为答案文本,并将所述答案文本确定为所述拨测答案。
8.根据权利要求1所述的方法,其特征在于,所述获取在所述拨测会话过程中所述目标被测对象回复所述拨测问题的拨测答案,包括:
在所述拨测流程编排信息包括所述拨测会话为文本拨测的情况下,将所述拨测问题转换为问题文本,向所述目标被测对象发送所述问题文本;
接收所述目标被测对象回复所述问题文本的答案文本;
将所述答案文本确定为所述拨测答案。
9.根据权利要求2所述的方法,其特征在于,所述根据所述拨测答案和所述拨测频次,生成所述目标被测对象的拨测评分信息,包括:
通过Doc2vec模型,分别对所述拨测答案和预测答案进行语义分析,得到与所述拨测答案对应的第一文本向量集合和与所述预测答案对应的第二文本向量;
根据所述第一文本向量集合和所述第二文本向量集合,生成与所述拨测记录对应的拨测评分信息。
10.根据权利要求9所述的方法,其特征在于,所述第一文本向量包括第一语义向量、第一文本向量、第一关键词向量,所述第二文本向量包括第二语义向量、第二文本向量、第二关键词向量;
所述根据所述第一文本向量集合和所述第二文本向量集合,生成与所述拨测记录对应的拨测评分信息,包括:
通过余弦相似度算法,分别计算所述第一语义向量和所述第二语义向量之间的第一相似度、所述第一文本向量和第二文本向量之间的第二相似度、以及所述第一关键词向量和所述第二关键词向量之间的第三相似度;
确定所述第一相似度、所述第二相似度和所述第三相似度中是否存在大于或等于预设相似度的第一目标相似度;
在存在所述第一目标相似度的情况下,将预设值确定为所述目标被测对象在所述拨测记录下的拨测评分信息。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
在不存在所述第一目标相似度的情况下,从所述第一相似度、所述第二相似度和所述第三相似度中选取相似度值最大的第二目标相似度;
根据所述第二目标相似度和预设纠正偏差值,计算所述目标被测对象在所述拨测记录下的拨测评分信息。
12.根据所述9所述的方法,其特征在于,所述生成与所述拨测记录对应的拨测评分信息之后,所述方法还包括:
确定所述拨测流程编排信息的拨测流程是否执行完成;
在确定所述拨测流程编排信息的拨测流程未执行完成的情况下,按照所述拨测流程编排信息,重新确定拨测问题,并执行获取在所述拨测会话过程中所述目标被测对象回复拨测问题的拨测答案,直至所述拨测流程编排信息的拨测流程执行完成。
13.根据所述9所述的方法,其特征在于,所述方法还包括:
在确定所述拨测流程编排信息的拨测流程执行完成的情况下,确定所述拨测记录是否满足预设拨测记录的条件;
在确定所述拨测记录未满足预设拨测记录的条件的情况下,重新获取新的拨测任务,并执行新的拨测任务,直至拨测记录满足预设拨测记录的条件。
14.根据所述13所述的方法,其特征在于,所述方法还包括:
在确定所述拨测记录满足预设拨测记录的条件的情况下,获取所述目标被测对象在所述被测业务场景下与多个拨测记录对应的拨测评分信息的第一拨测评分信息集合,以及分别获取多个被拨测对象中每个被拨测对象在所述被测业务场景下与多个拨测记录对应的拨测评分信息的第二拨测评分信息集合;
根据所述第一拨测评分信息集合和多个第二拨测评分信息集合,计算所述目标被测对象在所述被测业务场景下的服务质量评价值;
在所述服务质量评价值小于预设服务质量评价值的情况下,向所述目标被测对象反馈与所述被测业务场景对应的服务培训信息。
15.一种拨测装置,其特征在于,所述装置包括:
获取模块,用于获取拨测任务,所述拨测任务包括拨测对象的属性信息、被测业务场景的场景信息、目标被测对象和拨测流程编排信息,所述目标被测对象的工作状态为空闲状态,所述拨测流程编排信息为与所述属性信息和所述场景信息对应的拨测流程;
提取模块,用于从预设知识图谱中提取与所述拨测对象的属性信息和所述场景信息对应的拨测问题;
建立模块,用于按照所述拨测流程编排信息,与所述目标被测对象建立拨测会话;
所述获取模块还用于,获取在所述拨测会话过程中所述目标被测对象回复所述拨测问题的拨测答案,所述拨测答案用于生成所述目标被测对象在所述被测业务场景下的拨测评分信息。
16.一种计算机设备,所述计算设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-14任意一项所述的拨测方法。
17.一种存储介质,所述存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-14任意一项所述的拨测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211579580.5A CN116915908A (zh) | 2022-12-08 | 2022-12-08 | 拨测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211579580.5A CN116915908A (zh) | 2022-12-08 | 2022-12-08 | 拨测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116915908A true CN116915908A (zh) | 2023-10-20 |
Family
ID=88353654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211579580.5A Pending CN116915908A (zh) | 2022-12-08 | 2022-12-08 | 拨测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116915908A (zh) |
-
2022
- 2022-12-08 CN CN202211579580.5A patent/CN116915908A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378749B (zh) | 客户端相似性的评估方法、装置、终端设备及存储介质 | |
US11140266B2 (en) | Combining multiclass classifiers with regular expression based binary classifiers | |
CN110807085B (zh) | 故障信息的查询方法及装置、存储介质、电子装置 | |
CN108875757B (zh) | 一种信息审核方法、服务器及系统 | |
CN111931189B (zh) | Api接口转用风险检测方法、装置和api服务系统 | |
CN110335596A (zh) | 基于语音识别的产品推荐方法、装置、设备和存储介质 | |
CN109543734A (zh) | 用户画像方法及装置、存储介质 | |
CN110349039A (zh) | 投诉风险评估方法、系统、计算机设备及可读存储介质 | |
CN111555966A (zh) | 消息处理方法、装置、系统、存储介质及计算机设备 | |
CN115757150A (zh) | 一种生产环境测试方法、装置、设备及存储介质 | |
CN116719750B (zh) | 软件测试方法及装置、服务器设备和存储介质 | |
CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
CN113052308B (zh) | 训练目标小区识别模型的方法及目标小区识别方法 | |
CN116915908A (zh) | 拨测方法、装置、计算机设备及存储介质 | |
CN114285896B (zh) | 信息推送方法、装置、设备、存储介质及程序产品 | |
CN110677446A (zh) | 一种家庭群组用户的识别方法及装置 | |
CN114417830A (zh) | 风险评价方法、装置、设备及计算机可读存储介质 | |
CN110458707B (zh) | 基于分类模型的行为评估方法、装置及终端设备 | |
CN114866433B (zh) | 用户业务感知评估方法、装置、设备及计算机存储介质 | |
CN113223496A (zh) | 一种语音技能测试方法、装置及设备 | |
CN117880416A (zh) | 骚扰电话识别方法及装置 | |
WO2017118185A1 (zh) | 一种无线接入点设备性能优劣判断方法及装置 | |
CN116204567B (zh) | 用户挖掘及模型的训练方法、装置、电子设备和存储介质 | |
CN113115200B (zh) | 用户关系识别方法、装置及计算设备 | |
CN115051969B (zh) | 一种goip诈骗窝点溯源方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |