CN114707826A - 机器质检效果确定方法、装置、电子设备及存储介质 - Google Patents

机器质检效果确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114707826A
CN114707826A CN202210280632.2A CN202210280632A CN114707826A CN 114707826 A CN114707826 A CN 114707826A CN 202210280632 A CN202210280632 A CN 202210280632A CN 114707826 A CN114707826 A CN 114707826A
Authority
CN
China
Prior art keywords
quality inspection
customer service
machine
preset
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280632.2A
Other languages
English (en)
Inventor
陈晓博
陈利鑫
黎进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202210280632.2A priority Critical patent/CN114707826A/zh
Publication of CN114707826A publication Critical patent/CN114707826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种机器质检效果确定方法、装置、电子设备及存储介质，涉及质检技术领域。该方法通过获取预设数量的客服会话；按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果；获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果；基于机器质检结果和人工质检结果确定机器质检效果，从而可以减少仅依赖人工估计确定的质检规则和质检机器模型的不可靠性。

Description

机器质检效果确定方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及质检技术领域，特别地，涉及一种机器质检效果确定方法、装置、电子设备及存储介质。
背景技术
在现有的客服质检系统中，数据经理需要在正式接入生产环境之前，调试出机器质检效果较好的质检规则和质检机器模型。
具体地，在正式接入生产环境之前，数据经理需要针对不同的具体业务场景配置质检规则，基于配置好的规则创建并运行机器质检任务，以及通过机检后质检规则命中的情况，凭借经验来估计规则的效果，并多次调试质检规则或者重新训练模型，然后重复之前的步骤。
然而，仅凭借人的经验来估计规则的机检效果，非常依赖人本身的能力，使得得到的质检规则和质检机器模型不可靠。
发明内容
本申请实施例提供一种机器质检效果确定方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供一种机器质检效果确定方法。该方法包括：获取预设数量的客服会话；按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果；获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果；基于机器质检结果和人工质检结果确定机器质检效果。
第二方面，本申请实施例提供一种机器质检效果确定装置。该装置包括会话获取模块、机器质检模块、人工质检结果获取模块以及机器质检效果确定模块。其中，会话获取模块用于获取预设数量的客服会话。机器质检模块用于按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果。人工质检结果获取模块用于获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果。机器质检效果确定模块用于基于机器质检结果和人工质检结果确定机器质检效果。
第三方面，本申请实施例提供一种电子设备。该电子设备主要包括存储器、一个或多个处理器以及一个或多个应用程序。其中，一个或多个应用程序被存储在存储器中，并被配置为当被一个或多个处理器调用时执行本申请实施例提供的机器质检效果确定方法。
第四方面，本申请实施例提供一种计算机可读取存储介质。该计算机可读取存储介质中存储有程序代码，该程序代码被配置为当被处理器调用时执行本申请实施例提供的机器质检效果确定方法。
本申请实施例提供一种机器质检效果确定方法、装置、电子设备及存储介质。通过获取预设数量的客服会话；按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果；获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果；基于机器质检结果和人工质检结果确定机器质检效果，从而可以按照相同的质检规则，分别通过机器和人工对同一批客服会话进行质检来量化规则，可以减少仅依赖人工估计确定的质检规则的不可靠性，此外，根据机器质检结果和人工质检结果共同来确定机器质检效果，可以减少仅依赖人工估计确定的质检机器模型的不可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的机器质检效果确定方法的应用环境示意图；
图2是本申请一实施例提供的机器质检效果确定方法的流程示意图；
图3是本申请一实施例提供的机器质检效果确定方法中的步骤S120的一流程示意图；
图4是本申请一实施例提供的机器质检效果确定方法中的步骤S120的另一流程示意图；
图5是本申请一实施例提供的机器质检效果确定方法中的步骤S120的又一流程示意图；
图6是本申请另一实施例提供的机器质检效果确定方法的流程示意图；
图7是本申请另一实施例提供的机器质检效果确定方法中的步骤S250的一流程示意图；
图8是本申请另一实施例提供的机器质检效果确定方法中的步骤S250的另一流程示意图；
图9是本申请另一实施例提供的机器质检效果确定方法中的步骤S250的又一流程示意图；
图10是本申请实施例提供的机器质检效果确定装置的结构框图；
图11是本申请实施例提供的电子设备的结构框图；
图12是本申请实施例提供的计算机可读取存储介质的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1，图1是本申请实施例提供的机器质检效果确定方法的应用环境示意图。机器质检效果确定系统10包括机器质检效果确定模块11和数据存储模块12。机器质检效果确定模块11和数据存储模块12可以通信，以进行数据交换。机器质检效果确定模块11和数据存储模块12可以存储于同一个服务器中，或者也可以存储于不同的服务器中，其中，服务器可以是传统的服务器或者云服务器，本申请实施例在此不做具体限制。
在一些实施例中，机器质检效果确定模块11可以包括质检规则制定子模块，开发人员可以根据实际需求在质检规则制定子模块中制定质检规则。机器质检效果确定模块11可以包括机器质检模型，该机器质检模型可以按照质检规则制定子模块确定的质检规则对每通客服会话进行质检。需要说明的是，质检规则制定子模块可以位于机器质检模型中或者也可以不位于机器质检模型中。
在一些实施例中，数据存储模块12可以是存储于服务器中的数据库，用于存储客服会话。机器质检效果确定模块11可以从数据存储模块12中批量获取客服会话。
请参阅图2，图2是本申请一实施例提供的机器质检效果确定方法的流程示意图。该机器质检效果确定方法可以应用于如图1所示的机器质检效果确定系统10，具体地，可以应用于机器质检效果确定模块11。该机器质检效果确定方法可以包括以下步骤S110～S140。
步骤S110，获取预设数量的客服会话。
其中，预设数量可以根据实际对精准度和准确度进行设置，本申请实施例在此不作限制。
客服会话可以指从承担客户服务工作的人员与用户之间的通话记录。其中，客服可以包括接收顾客咨询，帮顾客解答疑惑等，客服涉及的行业可以包括游戏客服、金融客服等，本申请实施例在此不对客服的具体行业和内容不作具体限制。
步骤S120，按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果。
其中，预设质检规则可以根据业务实际需求进行设置，本申请实施例在此不对预设质检规则进行限定。例如，预设质检规则可以包括客服会话中包括预设关键词、客服会话中客服回复的语速大于预设语速阈值、或者客服会话中包括预设语义标签等。其中，预设关键词(例如，脏话)、预设语速阈值(例如，300字每分钟)、预设语义标签(例如，开场白或者结束语)都可以根据实际业务需求进行设置，本申请实施例在此不作具体限制。
其中，机器质检结果为通过机器对每通客服会话进行质检得到的规则命中情况，规则命中情况包括命中规则或者未命中规则。需要说明的是，本申请实施例中所提到的规则均指上述预设质检规则。
在一些实施例中，预设质检规则包括客服会话中包括预设关键词，则如图3所示，步骤S120可以包括以下步骤S121A～S123A。
步骤S121A，检测每通客服会话中是否包括预设关键词。
在一些实施例中，可以将客服会话由语音音频格式转换为语音文本格式，对语音文本进行断句、分词，并分别识别客服会话中的每个分词是否与预设关键词相同，以此来检测每通客服会话中是否包括预设关键词。
步骤S122A，将包括预设关键词的客服会话的机器质检结果确定为命中规则。
在一些实施例中，承接上述对步骤S121A的描述，若客服会话中存在与预设关键词相同的分词，则确定该通客服会话中包括预设关键词，并将包括预设关键词的该通客服会话的机器质检结果确定为命中规则。
步骤S123A，将不包括预设关键词的客服会话的机器质检结果确定为未命中规则。
在一些实施例中，若客服会话中的所有分词均与预设关键词不相同，则确定该通客服会话中不包括预设关键词，并将不包括预设关键词的该通客服会话的机器质检结果确定为未命中规则。
在另一些实施例中，预设质检规则包括客服会话中客服回复的语速大于预设语速阈值，则如图4所示，步骤S120也可以包括以下步骤S121B～S123B。
步骤S121B，检测每通客服会话中客服回复的语速是否大于预设语速阈值。
在一些实施例中，可以根据客服回复的总字数和总时长计算客服回复的平均语速(总字数除以总时长。可以判断平均语速是否大于预设语速阈值(例如，每分钟300字)来检测每通客服会话中客服回复的语速是否大于预设语速阈值。
在另一些实施例中，也可以按照预设时段(例如，一分钟)将客服会话划分成多段，分别比较每段客服回复的字数是否大于预设字数(例如，300字)，并根据客服回复字数大于预设字数的客服回复分段的数量与总分段的数量计算目标参数，该目标参数为客服回复字数大于预设字数的客服回复分段的数量与总分段的数量的比值。可以将目标参数与预设语速阈值(例如，80％)进行比较来检测每通客服会话中客服回复的语速是否大于预设语速阈值。本实施例对客服会话进行分段，并将客服回复字数大于预设字数的客服回复分段的数量与总分段的数量的比值与预设语速阈值进行比较，从而来检测每通客服会话中客服回复的语速是否大于预设语速阈值，可以提高检测结果的准确性。
步骤S122B，将客服回复的语速大于预设语速阈值的客服会话的机器质检结果确定为命中规则。
在一些实施例中，若每通客服会话中客服回复的语速大于预设语速阈值，则将客服回复的语速大于预设语速阈值的该通客服会话的机器质检结果确定为命中规则。
步骤S123B，将客服回复的语速不大于预设语速阈值的客服会话的机器质检结果确定为未命中规则。
在一些实施例中，若每通客服会话中客服回复的语速不大于预设语速阈值，则将客服回复的语速不大于预设语速阈值的该通客服会话的机器质检结果确定为未命中规则。
在又一些实施例中，预设质检规则还可以包括客服会话中包括预设语义标签，则如图5所示，步骤S120还可以包括以下步骤S121C～S123C。
步骤S121C，检测每通客服会话中是否包括预设语义标签。
在一些实施例中，可以将客服会话由语音音频格式转换为语音文本格式，对语音文本进行分段，并分别识别客服会话中的每段中是否存在与预设语义标签(例如，开场白或结束语)相同或近似相同的句子，以此来检测每通客服会话中是否包括预设语义标签。其中，近似相同可以指客服会话的句子与预设语义标签中的句子只存在几个字(例如，两个或三个)的差异。
步骤S122C，将包括预设语义标签的客服会话的机器质检结果确定为命中规则。
在一些实施例中，若客服会话中存在与预设语义标签(例如，开场白或结束语)相同或近似相同的句子的分段，则确定该通客服会话中包括预设语义标签，并将包括预设语义标签的客服会话的机器质检结果确定为命中规则。
步骤S123C，将不包括预设语义标签的客服会话的机器质检结果确定为未命中规则。
在一些实施例中，若客服会话中所有分段中都不存在与预设语义标签(例如，开场白或结束语)相同或近似相同的句子的分段，则确定该通客服会话中不包括预设语义标签，并将不包括预设语义标签的客服会话的机器质检结果确定为未命中规则。
步骤S130，获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果。
其中，人工质检结果为通过人工对每通客服会话进行质检得到的规则命中情况，规则命中情况包括命中规则或者未命中规则。
需要说明的是，机器质检和人工质检所依据质检规则相同，且所质检的客服会话属于同一批客服会话。
在一些实施例中，人工依据预设质检规则对预设数量的客服会话进行质检之后，可以将人工质检结果输入至机器中，以便机器可以根据人工质检结果和机器质检结果确定机器质检效果。
步骤S140，基于机器质检结果和人工质检结果确定机器质检效果。
在一些实施例中，可以基于机器质检结果和人工质检结果确定机器质检的准确率、检出率以及精确率，从而来确定机器质检效果。
在一些实施例中，还可以基于机器质检结果和人工质检结果确定机器质检过程中是否存在误检或漏检的情况，从而来确定机器质检效果。
在本实施例提供的机器质检效果确定方法中，可以按照相同的质检规则，分别通过机器和人工对同一批客服会话进行质检来量化规则，不仅可以减少仅依赖人工估计确定的质检规则的不可靠性。此外，根据机器质检结果和人工质检结果共同来确定机器质检效果，可以减少仅依赖人工估计确定的质检机器模型的不可靠性。
请参阅图6，图6是本申请另一实施例提供的机器质检效果确定方法的流程示意图。该机器质检效果确定方法可以应用于如图1所示的机器质检效果确定系统10，具体地，可以应用于机器质检效果确定模块11。该机器质检效果确定方法可以包括以下步骤S210～S250。
步骤S210，获取预设数量的客服会话。
步骤S220，按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果。
步骤S230，获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果。
步骤S210～S230的具体描述请参阅步骤S110～S130，在此不再赘述。
步骤S240，统计每通客服会话的机器质检结果和人工质检结果的组合，得到每通客服会话的质检结果组合。
其中，质检结果组合为第一组合、第二组合、第三组合以及第四组合中的其中一种。第一组合为机器质检结果为命中规则且人工质检结果为命中规则。第二组合为机器质检结果为命中规则但人工质检结果为未命中规则。第三组合为机器质检结果为未命中规则但人工质检结果为命中规则。第四组合为机器质检结果为未命中规则且人工质检结果为未命中规则。
步骤S250，基于每通客服会话的质检结果组合，确定机器质检效果。
机器质检效果可以由机器质检的准确率来衡量，准确率是指所有预测正确(命中和非命中)的占总的比例。通常机器质检的准确率越高，机器质检效果越好。故在一些实施例中，如图7所示，步骤S250可以包括以下步骤S251A～S253A。
步骤S251A，分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为第四组合的数量。
步骤S252A，获取第一组合的数量与第四组合的数量的总和。
步骤S253A，计算总和与预设数量的比值，得到机器质检的准确率。
机器质检效果也可以由机器质检的检出率来衡量，精确率是指所有为正(命中)占全部实际为正(命中)的比例。通常机器质检的检出率越高，机器质检效果越好。故在另一些实施例中，如图8所示，步骤S250也可以包括以下步骤S251B～S253B。
步骤S251B，分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为第三组合的数量。
步骤S252B，获取第一组合的数量与第三组合的数量的总和。
步骤S253B，计算第一组合的数量与总和的比值，得到机器质检的检出率。
机器质检效果还可以由机器质检的精确率来衡量，检出率是指正确预测为正(命中)占全部预测为正(命中)的比例。通常机器质检的精确率越高，机器质检效果越好。故在又一些实施例中，如图9所示，步骤S250还可以包括以下步骤S251C～S253C。
步骤S251C，分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为第二组合的数量。
步骤S252C，获取第一组合的数量与第二组合的数量的总和。
步骤S253C，计算第一组合的数量与总和的比值，得到机器质检的精确率。
需要说明的是，预设质检规则可以包括多个规则，机器质检效果也可以由准确率、检出率以及精确率共同来确定。例如批测任务一共包括5通客服会话，预设质检规则包括规则1和规则2两个规则。若规则1有3通会话属于第一组合的情况，有2通会话属于第三组合的情况，则规则1的准确率为(3+0)/(3+0+2+0)＝0.6；规则1的检出率为3/(3+2)＝0.6；规则1的精确率为3/(3+0)＝1。类似地，若规则2有1通会话属于第一组合的情况，1通会话属于第二组合的情况，3通会话属于第四组合的情况。则规则2的准确率为(1+3)/(1+1+0+3)＝0.9；规则2的检出率为1/(1+0)＝1；规则2的精确率为1/(1+1)＝0.5。
通过准确率、精确率、检出率这些指标，数据经理可以很直观的知道质检规则以及质检模型的效果，以便数据经理后续可以进行调试以及模型训练，从而可以量化质检规则和机器质检模型的效果。
在一些实施例中，可以将机器质检结果为命中规则但人工质检结果为未命中规则的客服会话确定为误检。例如，预设质检规则包括客服会话中包括脏话，但是客服会话中并不存在脏话，即，人工质检结果为未命中规则，但是机器质检结果却为命中规则，此时可以确定机器对该通客服会话的质检为误检。
在一些实施例中，还可以将机器质检结果为命中规则但人工质检结果为命中规则的客服会话确定为漏检。例如，预设质检规则包括客服回复语速大于预设语速阈值，客服回复中客服存在语速过快的情况，即，人工质检结果为命中规则，但是机器质检结果为未命中规则，此时可以确定机器漏检了该通客服会话。
在本实施例提供的机器质检效果确定方法中，可以按照相同的质检规则，分别通过机器和人工对同一批客服会话进行质检来量化规则，不仅可以减少仅依赖人工估计确定的质检规则的不可靠性。此外，根据机器质检结果和人工质检结果共同来确定机器质检效果，可以减少仅依赖人工估计确定的质检机器模型的不可靠性，而且通过基于质检结果组合确定机器质检的准确率、检出率和精确率，可以快速获取机器质检效果，相比于人工估计的方式，减少了人工成本和时间成本。
请参阅图10，图10是本申请实施例提供的机器质检效果确定装置的结构框图。机器质检效果确定装置300可以应用于如图1所示的机器质检效果确定系统10，具体地，可以应用于机器质检效果确定模块11。机器质检效果确定装置300包括会话获取模块310、机器质检模块320、人工质检结果获取模块330以及机器质检效果确定模块340。其中，会话获取模块310用于获取预设数量的客服会话。机器质检模块320用于按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果。人工质检结果获取模块330用于获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果。机器质检效果确定模块340用于基于机器质检结果和人工质检结果确定机器质检效果。
在一些实施例中，机器质检效果确定模块340可以包括组合统计子模块和机器质检效果确定子模块。其中，组合统计子模块用于统计每通客服会话的机器质检结果和人工质检结果的组合，得到每通客服会话的质检结果组合。机器质检效果确定子模块用于基于每通客服会话的质检结果组合，确定机器质检效果。
在一些实施例中，机器质检效果确定子模块可以包括统计单元、获取单元和计算单元。
在一些实施例中，统计单元用于分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为所述第四组合的数量。获取单元用于获取第一组合的数量与第四组合的数量的总和。计算单元用于计算总和与预设数量的比值，得到机器质检的准确率。
在另一些实施例中，统计单元用于分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为第三组合的数量。获取单元用于获取第一组合的数量与第三组合的数量的总和。计算单元用于计算第一组合的数量与总和的比值，得到机器质检的检出率。
在又一些实施例中，统计单元用于分别统计预设数量的客服会话中，质检结果组合为第一组合的数量和质检结果组合为第二组合的数量。获取单元用于获取第一组合的数量与第二组合的数量的总和。计算单元用于计算第一组合的数量与总和的比值，得到机器质检的精确率。
在一些实施例中，机器质检模块320包括检测子模块、第一确定子模块以及第二确定子模块。
在一些实施例中，预设质检规则包括客服会话中包括预设关键词。检测子模块用于检测每通客服会话中是否包括预设关键词。第一确定子模块用于将包括预设关键词的客服会话的机器质检结果确定为命中规则。第二确定子模块用于将不包括预设关键词的客服会话的机器质检结果确定为未命中规则。
在另一些实施例中，预设质检规则包括客服会话中客服回复的语速大于预设语速阈值。检测子模块用于检测每通客服会话中客服回复的语速是否大于预设语速阈值。第一确定子模块用于将客服回复的语速大于预设语速阈值的客服会话的机器质检结果确定为命中规则。第二确定子模块用于将客服回复的语速不大于预设语速阈值的客服会话的机器质检结果确定为未命中规则。
在又一些实施例中，预设质检规则包括客服会话中包括预设语义标签。检测子模块用于检测每通客服会话中是否包括预设语义标签。第一确定子模块用于将包括预设语义标签的客服会话的机器质检结果确定为命中规则。第二确定子模块用于将不包括预设语义标签的客服会话的机器质检结果确定为未命中规则。
本领域技术人员可以清楚地了解到，本申请实施例提供的机器质检效果确定装置300可以实现本申请实施例提供的机器质检效果确定方法。上述装置和模块的具体工作过程，可以参阅本申请实施例中的机器质检效果确定方法对应的过程，在此不再赘述。
本申请提供的实施例中，所显示或讨论的模块相互之间的耦合、直接耦合或者通信连接，可以是通过一些接口、装置或模块的间接耦合或通信耦合，可以是电性、机械或其他形式，本申请实施例对此不作限制。
另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件的功能模块的形式实现，本申请实施例对此不作限制。
请参阅图11，图11是本申请实施例提供的电子设备的结构框图。电子设备400可以包括一个或多个如下部件：存储器410、一个或多个处理器420以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器410中并被配置为当被一个或多个处理器420调用时，使得一个或多个处理器420执行本申请实施例提供的上述机器质检效果确定方法。
处理器420可以包括一个或多个处理核。处理器420利用各种接口和线路连接整个电子设备400内各个部分，用于运行或执行存储在存储器410内的指令、程序、代码集或指令集，以及调用运行或执行存储在存储器410内的数据，执行电子设备400的各种功能和处理数据。可选地，处理器420可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编辑逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器420可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成于处理器420中，单独通过一块通信芯片进行实现。
存储器410可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器410可以用于存储指令、程序、代码、代码集或指令集。存储器410可以包括存储程序区和存储数据区。其中，存储程序区可以存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区可以存储电子设备400在使用中所创建的数据等。
请参阅图12，图12是本申请实施例提供的计算机可读取存储介质的结构框图。该计算机可读取存储介质500中存储有程序代码510，该程序代码510被配置为当被处理器调用时，使得处理器执行本申请实施例提供的上述机器质检效果确定方法。
计算机可读取存储介质500可以是诸如闪存、电可擦除可编辑只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编辑只读存储器(Erasable Programmable Read-Only Memory，EPROM)、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质500包括非易失性计算机可读介质(Non-TransitoryComputer-Readable Storage Medium，Non-TCRSM)。计算机可读取存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码510可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以以适当的形式进行压缩。
综上所述，本申请实施例提供的机器质检效果确定方法、装置、电子设备及存储介质，通过获取预设数量的客服会话；按照预设质检规则对预设数量的客服会话进行质检，得到机器质检结果；获取按照预设质检规则对预设数量的客服会话进行质检的人工质检结果；基于机器质检结果和人工质检结果确定机器质检效果，从而可以按照相同的质检规则，分别通过机器和人工对同一批客服会话进行质检来量化规则，可以减少仅依赖人工估计确定的质检规则的不可靠性，此外，根据机器质检结果和人工质检结果共同来确定机器质检效果，可以减少仅依赖人工估计确定的质检机器模型的不可靠性。
最后应说明的是：以上实施例仅用于说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种机器质检效果确定方法，其特征在于，包括：
获取预设数量的客服会话；
按照预设质检规则对所述预设数量的客服会话进行质检，得到机器质检结果；
获取按照所述预设质检规则对所述预设数量的客服会话进行质检的人工质检结果；
基于所述机器质检结果和所述人工质检结果确定机器质检效果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述机器质检结果和所述人工质检结果确定机器质检效果，包括：
统计每通客服会话的所述机器质检结果和所述人工质检结果的组合，得到所述每通客服会话的质检结果组合；
基于所述每通客服会话的质检结果组合，确定机器质检效果。
3.根据权利要求2所述的方法，其特征在于，所述机器质检结果为通过机器对所述每通客服会话进行质检得到的规则命中情况，所述人工质检结果为通过人工对所述每通客服会话进行质检得到的规则命中情况，所述规则命中情况包括命中规则或者未命中规则。
4.根据权利要求3所述的方法，其特征在于，所述质检结果组合为第一组合、第二组合、第三组合以及第四组合中的其中一种，其中：
所述第一组合为机器质检结果为命中规则且人工质检结果为命中规则；
所述第二组合为机器质检结果为命中规则但人工质检结果为未命中规则；
所述第三组合为机器质检结果为未命中规则但人工质检结果为命中规则；
所述第四组合为机器质检结果为未命中规则且人工质检结果为未命中规则。
5.根据权利要求4所述的方法，其特征在于，所述基于所述每通客服会话的质检结果组合，确定机器质检效果，包括：
分别统计所述预设数量的客服会话中，所述质检结果组合为所述第一组合的数量和所述质检结果组合为所述第四组合的数量；
获取所述第一组合的数量与所述第四组合的数量的总和；
计算所述总和与所述预设数量的比值，得到机器质检的准确率。
6.根据权利要求4所述的方法，其特征在于，所述基于所述每通客服会话的质检结果组合，确定机器质检效果，包括：
分别统计所述预设数量的客服会话中，所述质检结果组合为所述第一组合的数量和质检结果组合为所述第三组合的数量；
获取所述第一组合的数量与所述第三组合的数量的总和；
计算所述第一组合的数量与所述总和的比值，得到机器质检的检出率。
7.根据权利要求4所述的方法，其特征在于，所述基于所述每通客服会话的质检结果组合，确定机器质检效果，包括：
分别统计所述预设数量的客服会话中，所述质检结果组合为所述第一组合的数量和所述质检结果组合为所述第二组合的数量；
获取所述第一组合的数量与所述第二组合的数量的总和；
计算所述第一组合的数量与所述总和的比值，得到机器质检的精确率。
8.根据权利要求1～7任一项所述的方法，其特征在于，所述预设质检规则包括客服会话中包括预设关键词，所述按照预设质检规则对所述预设数量的客服会话进行质检，得到机器质检结果，包括：
检测每通客服会话中是否包括所述预设关键词；
将包括所述预设关键词的客服会话的机器质检结果确定为命中规则；
将不包括所述预设关键词的客服会话的机器质检结果确定为未命中规则。
9.根据权利要求1～7任一项所述的方法，其特征在于，所述预设质检规则包括客服会话中客服回复的语速大于预设语速阈值，所述按照预设质检规则对所述预设数量的客服会话进行质检，得到机器质检结果，包括：
检测每通客服会话中客服回复的语速是否大于所述预设语速阈值；
将客服回复的语速大于所述预设语速阈值的客服会话的机器质检结果确定为命中规则；
将客服回复的语速不大于所述预设语速阈值的客服会话的机器质检结果确定为未命中规则。
10.根据权利要求1～7任一项所述的方法，其特征在于，所述预设质检规则包括客服会话中包括预设语义标签，所述按照预设质检规则对所述预设数量的客服会话进行质检，得到机器质检结果，包括：
检测每通客服会话中是否包括所述预设语义标签；
将包括所述预设语义标签的客服会话的机器质检结果确定为命中规则；
将不包括所述预设语义标签的客服会话的机器质检结果确定为未命中规则。
11.一种机器质检效果确定装置，其特征在于，包括：
会话获取模块，用于获取预设数量的客服会话；
机器质检模块，用于按照预设质检规则对所述预设数量的客服会话进行质检，得到机器质检结果；
人工质检结果获取模块，用于获取按照所述预设质检规则对所述预设数量的客服会话进行质检的人工质检结果；
机器质检效果确定模块，用于基于所述机器质检结果和所述人工质检结果确定机器质检效果。
12.一种电子设备，其特征在于，包括：
存储器；
一个或多个处理器；
一个或多个应用程序，所述一个或多个应用程序存储在所述存储器中，并被配置为当被所述一个或多个处理器调用时，使得所述一个或多个处理器执行如权利要求1～10任一项所述的机器质检效果确定方法。
13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码被配置为由处理器调用时，使得所述处理器执行如权利要求1～10任一项所述的机器质检效果确定方法。
CN202210280632.2A 2022-03-21 2022-03-21 机器质检效果确定方法、装置、电子设备及存储介质 Pending CN114707826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280632.2A CN114707826A (zh) 2022-03-21 2022-03-21 机器质检效果确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280632.2A CN114707826A (zh) 2022-03-21 2022-03-21 机器质检效果确定方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114707826A true CN114707826A (zh) 2022-07-05

Family

ID=82169010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280632.2A Pending CN114707826A (zh) 2022-03-21 2022-03-21 机器质检效果确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114707826A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414790A (zh) * 2019-06-28 2019-11-05 深圳追一科技有限公司 确定质检效果的方法、装置、设备及存储介质
CN112885376A (zh) * 2021-01-23 2021-06-01 深圳通联金融网络科技服务有限公司 一种提高语音通话质检效果的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414790A (zh) * 2019-06-28 2019-11-05 深圳追一科技有限公司 确定质检效果的方法、装置、设备及存储介质
CN112885376A (zh) * 2021-01-23 2021-06-01 深圳通联金融网络科技服务有限公司 一种提高语音通话质检效果的方法和装置

Similar Documents

Publication Publication Date Title
CN106919661B (zh) 一种情感类型识别方法及相关装置
CN109240912B (zh) 一种基于大数据分析的网页应用的性能评估方法及终端
CN108363634B (zh) 一种业务处理失败原因识别方法、装置及设备
US20150269142A1 (en) System and method for automatically generating a dataset for a system that recognizes questions posed in natural language and answers with predefined answers
CN110263326B (zh) 一种用户行为预测方法、预测装置、存储介质及终端设备
CN114223189B (zh) 时长统计方法、装置、电子设备和计算机可读介质
CN112100359A (zh) 测试用例查找方法、装置、设备及存储介质
CN111611390B (zh) 一种数据处理方法及装置
US20220327452A1 (en) Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data
CN115576828A (zh) 一种测试用例生成方法、装置、设备及存储介质
CN114844768A (zh) 信息分析方法、装置及电子设备
CN113408280A (zh) 负例构造方法、装置、设备和存储介质
CN116610821B (zh) 一种基于知识图谱的企业风险分析方法、系统和存储介质
CN111340574B (zh) 风险用户的识别方法、装置和电子设备
CN114707826A (zh) 机器质检效果确定方法、装置、电子设备及存储介质
CN111523322A (zh) 需求文档质量评价模型训练方法及需求文档质量评价方法
CN114049895B (zh) 一种基于asr的语音质检分析方法及系统
WO2023060954A1 (zh) 数据处理与数据质检方法、装置及可读存储介质
CN110544166A (zh) 样本生成方法、装置及存储介质
CN113590498B (zh) 一种桌面操作系统应用启动时间的测试方法及系统
CN116011677A (zh) 时序数据的预测方法、装置、电子设备及存储介质
CN115146641A (zh) 一种ner带噪训练方法及装置
CN111625720B (zh) 数据决策项目执行策略的确定方法、装置、设备和介质
CN114297380A (zh) 一种数据处理方法、装置、设备及存储介质
CN112183714A (zh) 基于人工神经网络的自动化数据切片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination