CN102156907A

CN102156907A - 面向qa系统的质检方法

Info

Publication number: CN102156907A
Application number: CN2010101118750A
Authority: CN
Inventors: 曹存根; 刘亮亮; 王卫民; 王东升; 郭景阳
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2010-02-11
Filing date: 2010-02-11
Publication date: 2011-08-17

Abstract

本发明提供一种面向QA系统的质检方法，包括下列步骤：1)获取QA系统的业务层级关系，得出QA系统的各个领域，设定各个领域的领域权重，设定每个被质检人员的抽样数量权重、抽样质量权重；2)根据抽样数量权重、抽样质量权重，得出每个被质检人员的各个领域内的问答记录抽检数量，进而得出每个被质检人员的各个领域内的抽检条件；根据所述抽检条件抽取样本数据；3)对样本数据进行分析得出质检结果。本发明可多维度配置抽取条件，能够进行有侧重点、有明确意图的质量检查，为人力资源、市场运营提供明确、可靠的分析数据，从而帮助提高企业工作效率。

Description

面向QA系统的质检方法

技术领域

本发明涉及数据抽取和数据挖掘技术领域，具体地说，本发明涉及一种面向QA系统(即问答系统)的质量检查方法。

背景技术

质量检查是问答系统(QA)中非常重要的环节，可以为企业提供大量、有效的服务质量信息，检查企业服务人员的服务质量；人力资源部门可以根据质量检查信息进行员工的绩效考核，运营部门可以根据质量检查信息，明确企业服务的优势、劣势，合理优化企业服务策略，有针对性的强化弱势业务，合理平衡服务资源，提高企业整体服务水平。

如何有效合理地抽取样本数据是QA系统质量检查的难点。现有QA系统，多为语音系统，其基础数据保存为磁带录音形式，质量检查只能由质检人员随机挑选磁带进行检查；而本系统针对以短信形式的基础数据，保存在数据库中，基础数据规范，结构清晰。现有技术中，抽取样本数据的方法包括：在基础数据中随机抽取数据、按各项业务所占比例抽取数据、按照固定比例和指定比例两种方式抽取数据等。其中，固定比例是指在项目前期调研过程中确定各项业务的抽检比例，每次抽检都按照此比例进行抽检；指定比例是指每次抽检都有质检人员按照个人业务需求，拟定抽取比例，每次都要重新制定。这些数据抽取方案都有较大缺陷，具体如下：

首先，QA系统基础数据非常庞大，其数据量等量于企业服务的基础数据量(以广东省移动QA系统为例，每天的业务量在50万左右，其中短信咨询业务约30万，10086语音业务15万，网络客服业务5万。其质检周期为每周抽检一次，这样每次抽检的样本空间在300万左右)，而需要在海量数据中有效的抽取能够客观反应服务水平的质检数据是非常重要的。而企业的服务业务有多钟多样，简单地在基础数据中随机抽取数据，很难准确反应企业服务业务真实水平。

第二，如果只按各项业务所占比例抽取数据，抽检比例只有业务一个维度，只能够提供一项服务业务质量检查报告，对企业运营方面提供信息较少，所以还需要可以按照运营人员的需要，指定抽检某些具体的服务业务，有针对性的抽检服务质量要求高的重点业务、业务水平要求高的难点业务、服务资源要求高的频繁业务，这样就需要质量检查系统可以按照要求自由配置抽检重点业务，以及重点业务所占比例。

第三，如果只提供按照固定比例，指定比例两种抽检方式，那么为了检查各业务的服务水平，质量检查人员需要制作多套质量检查方案，并且还需要对每天得出的大量质量检查结果进行分析，因此人工成本极高，效率低下。

所以，目前迫切需要一种能够更加有效合理地抽取样本数据的质检方法，该质检方法既可以满足了解企业整体服务水平的目的，又可以有针对性的检查重点业务的服务水平。

发明内容

本发明的目的是提供一种能够更加有效合理地抽取样本数据并对其实施质检的面向QA系统的质检方法。

为实现上述发明目的，本发明提供了一种面向QA系统的质检方法，包括下列步骤：

1)获取QA系统的业务层级关系，得出QA系统的各个领域，设定各个领域的领域权重，设定每个被质检人员的抽样数量权重、抽样质量权重；

2)根据抽样数量权重、抽样质量权重、领域权重，得出每个被质检人员的各个领域内的问答记录抽检数量，进而得出每个被质检人员的各个领域内的抽检条件；

3)根据所述抽检条件抽取样本数据；

4)对样本数据进行分析得出质检结果。

其中，所述步骤1)还包括设定每个领域的各项质检指标权重；

所述步骤4)还包括根据所述领域权重和质检指标权重，得出各领域的质检结果和所有领域的整体质检结果。

其中，所述步骤1)中，所述领域是地市、品牌、业务(此处业务为企业具体工作的一个分类级别)、主题(比前述业务更细化的分级)的组合。

其中，所述步骤1)中，仅设定重点业务的抽样业务权重，当重点业务的抽样业务权重之和小于1时，其它业务的总权重为1减重点业务的抽样业务权重之和。

其中，所述步骤2)中，所述抽检条件还包括抽取样本数据的时间范围和领域。

其中，所述步骤3)包括下列子步骤：

31)首先以被质检人员为单位将符合所述抽检条件中时间范围和领域的数据读入内存；

32)然后再根据所述抽检条件，在读入内存的数据中抽取每个被质检人员的各项业务的问答记录。

其中，所述步骤32)中，针对各抽检条件执行多线程抽取，每个线程为一个被质检人员抽取问答记录。

其中，所述步骤32)中，在问答记录被抽取出来后，修改内存中抽取目标表，标记该问答记录已经被抽取，在其后抽取过程中不再抽取标记为已抽取的问答记录。

其中，所述步骤32)中，在抽取样本数据时，在所述抽检条件下抽取的问答记录数量不足时，放宽所述抽检条件继续抽取，直至满足问答记录数量要求；在放宽抽取条件时，按照下列方法进行补抽：

(a)如果抽检条件抽取不满，当抽检条件的领域不是设置所有主题时，抽取同业务下其它重点主题补满；

(b)如果同业务下其它重点主题抽取不满，抽取同业务下其它非重点主题补满；

(c)如果同业务下其它非重点主题抽取不满，则抽取同一品牌下其他重点业务的任意主题补满；

(d)如果同品牌下其它重点业务的任意主题抽取不满，则抽取同品牌下其他非重点业务的任意主题补满；

(e)如果同品牌下其它非重点业务的任意主题抽取不满，则抽取其它品牌下重点业务补满；

(f)如果其它品牌下重点业务抽取不满，抽取其它品牌下非重点业务补满。

相对于现有技术，本发明具有下列技术效果：

本发明可多维度配置抽取条件，能够进行有侧重点、有明确意图的质量检查，为人力资源、市场运营提供明确、可靠的分析数据，从而帮助提高企业工作效率。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1是本发明面向QA系统的质量检查方案的示意图；

图2是本发明面向QA系统的质量检查方案的流程图。

具体实施方式

本发明是在大量基础数据中抽取服务业务进行质量检查的一整套方案，提供一套可配置的数据抽取方法，给出快速抽取数据途径，解决随机抽取质检数据的随意性，提高抽取样本说服力，从而为人事管理、市场运营提供了可依靠服务质量数据，提高企业整体服务水平，增加了企业在服务业务中的科学合理性。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，以中国移动QA系统为例，对本发明的面向QA系统的、可配置的质量检查方方法进行进一步详细说明。应当理解，此处所描述的具体例子仅仅用以解释本发明，并不用于限定本发明。

下面分别描述本实施例的数学依据和具体实施步骤。

一、数学依据

采样库中有多个个体，针对每个个体(即一位话务员)都需要采集一定量的样品数据，所有抽样个体抽取总量为目标抽样数量A，采样库容量为W，则采样率为α＝A/W。

在本实施例中每位话务员抽取一定数量a_i的服务记录(即一次问答记录)，所有话务员抽取总量即为目标采样量A，则：

a₁+a₂+...+a_i+...+a_n-1+a_n＝A

在一次数据抽样过程中，每个抽样个体因其自身因素，能客观反映真实情况的程度不同，所以为每个抽样个体设定一个权重，这个权重代表着该个体在一次调查中的权重，所有抽样个体权重之和为1。

在本实施例中，每个话务员因服务的品牌、业务、工作年限等因素，其服务水平在整个调查过程中能代表能力不同，为每个话务员设定权重b_i，这个权重代表了该为话务员在调查中的重要性，则

b₁+b₂+...+b_i+...+b_n-1+b_n＝1

在一次调查中，每个抽样个体需要在多个领域(领域是指定的抽取维度，在本实施例中一个领域是指一个地市、品牌、业务、主题的组合)中抽取数据，这样才能全面的代表本次调查该个体的真实情况；可以设定每个抽样领域在一次调查中所占权重，全部抽样领域的权重之和为1。

在本实施例中，一个话务员可能服务在多个品牌、业务、主题或多个地市下，而为每个领域设定权重c_i，就可以确定在抽样时每个领域的重要性，则

c₁+c₂+...+c_i+...+c_n-1+c_n＝1

在一个领域下，可能有多个考察指标，每个考察指标考察的目的不同，重点不同，权重也不同。而为每个领域下指定多个考察指标，设定每个考察指标的权重，就可以从多个侧面考察在该领域内样本数据，所有权重之和为1。

在本实施例中一个领域内可能考察侧重点不同，如在不同的品牌下考察目标不同，如在全球通重点考察服务态度、服务时间，而在神州行品牌下重点考察的服务语言易理解性，为每个领域指定不同的考察指标di，可以更加客观的说明一个话务员的服务水平。则

d₁+d₂+...+d_i+...+d_n-1+d_n＝1

在本实施例中，以打分方式评价服务水平，满分为100分，100分下有多个指标，如态度、语言、时间，每个指标的权重不同，在本实施例中表现为每个指标的满分不同。这样质检人员根据评定分数，就可以从多个角度考察一个话务员一次服务中的水平。

通过以上各个权重可知：

在一次调查抽样中，设定抽样率：α，抽样库总容量W，则可以根据样本库空间容量计算出本次目标抽样量

A＝W*α

计算出目标抽样量，根据每个样本抽样权重bi，可以计算出每个样本的抽样量Bi：

B_i＝A*b_i，此处的B_i即上文描述每个抽样个体抽样数量a_i

所有样本总的目标抽样量：B₁+B₂+...B_i+B_n-1+B_n＝A；

某个领域的抽样权重为c_i，则该样本在某一个领域内的采样总量为：C_i＝B_i*c_i＝A*b_i*c_i

这样假设一个样本在一次调查中在某一个领域中的得分为e_i，理想情况下多个领域得分之和为100分即：e₁+e₂+...+e_i+...+e_n-1+e_n＝100

实际情况中：一个样本在一个领域内的针对一条抽样(即一条服务问答记录)得分E_i：即：e₁+e₂+...+e_i+...+e_n-1+e_n＝E_i

这个样本在这个领域内的总得分为E：E₁+E₂+..E_i+...E_n-1+E_n＝E，n标识抽样数量。其中该样本在该领域内抽样数量为C_i＝B_i*c_i＝A*b_i*c_i，即n＝＝C_i＝B_i*c_i＝A*b_i*c_i

这样这个样本在这个领域内的平均得分g_i＝E/n，也就是(E₁+E₂+..E_i+...E_n-1+E_n)/C_i即(E₁+E₂+..E_i+...E_n-1+E_n)/(A*b_i*c_i)＝g_i

该样本在所有领域内该样本的得分G_i为：(g₁+g₂+...g_i+g_n-1+g_n)/n＝G_i即((E₁+E₂+..E_i+...E_n-1+E_n)*c₁/(A*b₁*c₁)+(E₁+E₂+..E_i+...E_n-1+E_n)*c₂/(A*b₂*c₃)+...+(E₁+E₂+..E_i+...E_n-1+E_n)*c_n/(A*b₂*c₃))＝((E₁+E₂+..E_i+...E_n-1+E_n)/(A*b₁)+(E₁+E₂+..E_i+...E_n-1+E_n)/(A*b₂)+...+(E₁+E₂+..E_i+...E_n-1+E_n)/(A*b₂))＝G_i

所有样本在所有领域内的平均得分G为：G₁+G₂+...G_i+...+G_n-1+G_n/n＝G，同样还可以获得所有样本在某一特定领域内平均得分(f_1，i+f_2，i+...+f_j，i+...+f_n-1，i+f_n，i)/n＝F_i，其中F_i为第i个领域的平均得分，f_j，i为第j个采样样本在第i个领域内的平均得分。

在本实施例中用户设定了采样率，则可以根据每个抽样个体所占权重，计算出每个抽样个体目标采样量。而根据每个抽样个体在多个领域下的抽样权重，就可以确定一次调查中一个调查样本在各个领域下的目标采样量。

而根据每个采样样本在某一具体领域下的得分。多次求和后再平均，可以求得某一样本在一个领域内的平均得分，还可以求得一个样本在所有领域内的平均得分，还可以求得所有样本在某一领域内的平均得分

通过以上说明可以看出，设定4个权重值，通过质检人员打分的方式可以从多个侧面，得到任意样本集合的平均服务水平。并且这种方案配置方便，反映数据客观、全面。以上数据表明，只要预先设定采样率，及各个抽样权重，各个领域权重，各个领域内指标权重，即可以全面的评估整个抽样库的整体水平。其中抽样权重包含两个权重，一是该样本(即话务员)抽取数量权重，简称数量权重；二是样本(即话务员)能够反应实际业务质量的权重，简称质量权重。比如，新员工抽取的数量要多一些，数量权重需要设置的高一些，但其客观反应服务质量的能力要低于熟练员工，所以该样本的质量权重低于熟练员工。

二、具体实施步骤

参考图1，本实施例的面向QA系统的质检方法包括下列步骤：

步骤A，根据QA系统特征制定质量检查方案；

步骤B，根据步骤A制定的质量检查方案，计算出各项工作业务所应抽取的数据量，即问答记录的个数；

步骤C，根据B步骤计算出个的各项工作业务的抽取数量，抽取数据分配给质量检查人员以备质量检查；

步骤D，质量检查人员对分配给自己的抽取样本数据进行质量检查；

步骤E，根据质量检查人员质量检查结果，从多个维度分析，得出QA系统的质量检查报告。

参考图2，根据本发明的一个实施例，步骤A可采用下列子步骤A1至A4。

步骤A1，分析QA系统业务，得出业务关系，将QA系统的所有业务总结归纳，找出包含关系；列出所有业务的层级关系；

步骤A2，为质量检查人员提供业务层级关系，质量检查人员可以自由配置抽检样本数据的比例，可以只选择若干重点工作业务抽取数据进行质量检查，并配置这些重点工作业务各项所占比例；也可以选定一些重点工作业务进行质量检查，并设定各项工作业务的比例，同时其他非重点工作业务随机抽取数据填充剩余比例；还可不配置任何重点业务，则所有工作业务随机抽取质量检查数据。

例如，中国移动的QA业务十分重要，而且业务种类繁多，所针对的客户群体不同，客户询问频度不同，对某一业务的服务水平对整个运营产生的影响也不相同。中国移动的服务业务主要包括三个品牌：全球通、神州行、动感地带，全球通主要面向商务人士，业务量不大，但业务服务水平要求高，对中国移动品牌形象影响巨大；神州行主要面向一般大众用户，客户对服务水平要求不高，但所提问的问题也是千奇百怪，而且神州行客户量最大，社会影响面最广；动感地带主要面向学生、青年人，其文化素质普遍较高，对新鲜事物敏感，对回答的业务本身也有较深理解，属于体验新鲜业务的主要客户群体。

各品牌下又有多种业务，不同品牌下的业务可能有交叉，但是服务业务不同，服务内容也不相同。

针对以上特点，运用本实施例的方案思想，将整体服务业务分为全球通、神州行、动感地带三项品牌，品牌下又包含子业务，以树形结果显示给质量检查人员。其优点是，质量检查人员可以自由配置质量检查方案，针对不同目的，抽取不同样本数据；可以针对高端商务人士所有的服务业务进行检查，以了解此用户群对品牌满意程度，服务人员对此品牌的业务熟悉程度；也可以针对某一具体服务业务，如“神州行”下的“彩铃”业务进行服务质量检查，还可以针对各个品牌相同的业务，如“GPRS”业务，了解三个品牌下该业务的服务水平进行横向对比；还可以设定了主要检查业务对象后，不设置其他非重点业务的比例，这样整个方案就是一套全面的，有主次权重之分的质量检查方案，方便质量检查人员开展工作。此外，如果神州行品牌下服务业务可能会多一些，那就将此品牌的比例设定高值；动感地带服务水平很好，短期内不做检查，那么就将神州行品牌比例设定为0，从而避免了“一把抓”，不分主次，的可能性，使质量检查抽检的数据，更有针对性，更有概括性，更具说服力，更具一般性。

步骤A3，由质检管理员配置抽检人员对象，既提供QA服务业务的人员；并可指定每名抽检对象抽检数据量；

例如，中国移动有众多话务员，都负责为用户提供咨询服务，这样就需要有质量检查人员有针对性的指定质量检查方案，哪些话务员需要做质量检查，哪些话务员不需要做质量检查；还可以指定不同的话务员抽取不同的样本基数；还可以指定哪些话务员参加哪些品牌下哪些服务业务的检查，这样就可以解决有些话务员只负责某以品牌的咨询，而在质量评定时因为其服务范围相对集中而无法全面检查该话务员的服务质量的问题。此处本实施例方案是动态生成服务业务人员列表，可以选择某一服务人员或不选；还可以灵活设置每位话务员质检抽取样本数据的基数。

步骤A4，质量检查管理员配置质量检查人员，即样本数据抽取完成后，由谁完成质量评定；

众多话务员的质量检查需要多个质量检查员完成，而本方案同样提供可以自由选择，指定质量检查人员。本方案实施办法是在质量检查人员列表中选中质量检查员。

根据本发明的另一个实施例，步骤B可采用下列子步骤B1至B3(图2中仅示出步骤B1)。

步骤B1，根据指定的抽检对象(指被抽检人员)、每名对象抽检量、各重点业务抽检比例，计算出每名抽检对象在某一重点业务上应抽取量，作为抽取条件记录下来；

步骤B2，如果重点业务的比例不足100％，计算出每位质检对象非重点业务抽取数据量，作为抽取条件记录下来；

步骤B3，如果没有设置重点业务，则在所有业务中随机抽取，计算出每位质检对象的业务抽取数据量，作为抽取条件记录下来；

根据步骤A记录的每位话务员的抽检量，需要计算出一位话务员在一项服务业务上所需要抽检数据量。此处有几点需要注意：如果质量检查人员设定了重点业务且总和为100％，则直接按照重点业务计算出抽取量；如果质量检查人员设配置了重点检查业务，但重点业务总和不足100％，则在计算出每个话务员该重点业务抽取量后，还要计算每个话务员其他非重点业务的抽取量，此处其他非重点业务当作一种业务运算即可；如果质检人员没有指定任何重点业务，则直接记录该话务员抽取量，业务为所有业务。

另外还要注意，还有一些其他条件，如抽取样本数据的时间范围。

例如：如果质检人员设定全球通品牌的GPRS业务50％，彩铃50％，每位话务员抽取数量为100条，时间是1月1日-1月15日，选取的话务员为10001号、10002号；则需要记录的抽取条件为：时间范围1月1日-1月15日，话务员工号10001，业务为全球通-GPRS，抽取数量50；时间范围1月1日-1月15日，话务员工号10002，业务为全球通-GPRS，抽取数量50；时间范围1月1日-1月15日，话务员工号10001，业务为全球通-彩铃，抽取数量50；时间范围1月1日-1月15日，话务员工号10002，业务为全球通-彩铃，抽取数量50。

又如果质检人员设定为神州行业务30％，动感地带的彩信业务20％，每位话务员抽取数量为100条，时间是1月1日-1月15日，选取的话务员为10001号，则抽取条件记录为：时间范围1月1日-1月15日，话务员工号10001，业务为神州行-所有业务，抽取数量30；时间范围1月1日-1月15日，话务员工号10001，业务为动感地带-彩信业务，抽取数量20；时间范围1月1日-1月15日，话务员工号10001，业务为不限品牌-所有业务，抽取数量50。

又如果质检人员没有设定具体业务，每位话务员抽取数量为100条，时间是1月1日-1月15日，选取的话务员为10001号，则抽取条件记录为：时间范围1月1日-1月15日，话务员工号10001，业务为不限品牌-所有业务，抽取数量100。

在本实施例中，在制定质检计划时，根据质检计划制定的抽取条件，计算出该话务员在各地市、各个品牌、业务、主题下应该抽取的样本话务量，存在数据库中，这样提前计算好，在抽取时读取到内存在，提高执行效率。

参考图2，根据本发明的又一个实施例，步骤C可采用下列子步骤C1至C3。

步骤C1，根据B步骤记录下的抽取条件，抽取质量检查样本数据；抽取时应该注意抽取条件，不能针对某一条服务记录多次抽取，这样的质量评定没有意义。本方法中采用的是设置标志位的方法，未被质量检查过的服务记录标志位为“0”，已经质量检查过的服务记录标志位为“1”；此处具体做法为：每抽取一条记录时将是否进行过质量检查的标志为设置为1；

在本例中，中国移动的QA业务量非常大，从海量数据中抽取数据也是十分重要的环节，首先是选择条件，选择条件来自两方面，一方面是步骤B记录下来的具体抽取条件；另一方面是抽取标志位，抽取过的服务记录质检标志位是1，未被质检抽取的服务记录标志位是0，此处抽取条件标志位应为0；而抽取时需要在海量数据中随机抽取若干条件记录，需要在主要条件字段上加上索引，以便于迅速抽取符合条件的数据。

步骤C2，保存抽取出的数据，同时设置基础数据集，改变标志位，记录这些数据已经被抽取过了，不再进行抽取；

此处本方案的做法是，将抽取条件集中放在一张条件记录表，遍历抽取条件，一次执行一行抽取条件，抽取出结果后，放在一张结果记录表中，同时将数据库中刚刚抽取的记录的标志位置为1。这样每抽取一个条件的记录就更新一次数据库的标志位的目的是为了避免在一次抽取的多个条件行中抽取出相同的记录。

如第一行条件记录为业务神州行-GPRS，工号10001，时间范围1月1日-1月15日，抽取量10，而第二条行条件记录为业务不限品牌-不限业务，工号10001，时间范围1月1日-1月15日，抽取量20，此上两行记录可有可能在一次抽取中抽取重复记录，所以在抽取完第一行条件记录后立即更新数据库标志位，可以避免抽取第二行条件记录再次抽取这些数据。

步骤C3，质量检查管理员将抽取完成的数据分配给质量检查人员，此处分配策略可以根据要求定制；

质量检查业务的分配十分重要，必须公正、平均的将抽取出的质检样本数据分配给质量检查人员。此处可以跟与具体需求定制特殊的分配方式，本方案采取的是随机分配的方式，即将配置好的质量检查人员放在数组中，将抽取出来的样本数据每次一人一条的方式分配给质量检查人员，在此数组中循环即可将所有样本数据平均的分配给质检人员。

在步骤C中，质检抽取数据采用多线程抽取，以提高数据抽取效率。考虑多个用户同时进行质检样本数据的抽取的情况，所以多线程抽取方式针对每个操作用户，即在会话内多线程。同时并发抽取数据的线程在代码中可以动态配置。数据抽取过程分为数据准备和抽取两个过程

1、数据准备

本实施例中从数据库中查询所有参与该质检计划的话务员，保存在一张内存表中。抽取数据时遍历此内存表，为每位话务员分配一个抽取线程，抽取该话务员的质检样本数据。

同时，在每个话务员样本数据抽取线程中，首先根据质检计划设定的地市、起始时间，将该段时间范围内的该话务员的所有话务记录从数据库中一次集中取出，作为话务员回复基础表，放在内存中，避免多次数据库查询，提高执行效率。

本实施例中在抽取前还需要将当前话务员在该质检计划中的所有抽取条件一次性取出，然后针对每个复合条件，在话务员回复基础表中抽取样本数据。

2、多线程数据抽取：

1)建立线程

在抽取每个话务员样本数据时，在进入一个话务员的抽取线程前，需要在会话中建立一个当前正抽取线程数量锁(保证当前正在抽取线程数量安全，控制在设定参数内)。先获取当前正在抽取线程数量锁，然后判断当前正在进行的抽取线程数量。当前正抽取线程数量锁实现方式如下，定义一个全局对象，每次要创建新线程时需要先判断当前正在执行线程数量；先获取此对象，没有获得此对象则不能增加修改线程数量；这样可以避免同时增加线程数量，导致线程数量不可控。

在当前正在进行的抽取线程数量少于设定值时，表明可以建立新的抽取线程，先锁定会话中的当前正抽取线程数量锁，保证其他线程不会在此时更改当前正在抽取线程数量，然后为当前正在执行抽取线程数量加一，建立一个新的抽取线程

在当前正在进行的抽取线程数量大于设定值时，等待，直到某一个线程抽取结束。

2)抽取完成的数据处理

当一个话务员的质检样本数据抽取完成后，需要保存在结果表中，并且

(a)此结果表是每个质检员自己单独拥有，保存在会话中；

(b)同时通知前台，更新页面显示。

(c)同样需要锁定会话中的当前正抽取线程数量锁，然后将当前正在抽取线程数量减一。

(d)此前需要在会话中建立抽取结果表锁。在完成一个话务员的抽取线程后，获得抽取结果表锁，将抽取的样本数据保存到结果表中。

进一步地，在一些优选实施例中，数据抽取过程还可以选择增加使用下述策略或下述策略的组合。

3)主线程策略

在多线程抽取样本数据时，主线程需要等待，等到所有数据抽取完成后返回给客户抽取结果；

主线程等待方式，每隔一段时间(本工程中使用的是5秒，可以根据线程执行速度设定)检查一下当前正在抽取线程数量：

在当前正在抽取线程数量为0时才能返回，同样在获得当前正在抽取线程数量时，需要先获得锁；

在当前正在抽取线程数量不为0，继续等待；

在所有话务员样本数据抽取完成后，重新显示该质检计划的状态表。

4)条件策略

抽取一个话务员的样本数据时话务员回复基础表中已经判断了计划起至时间、地市、渠道，所以在本抽取方法中，只需要考虑品牌、业务、主题、摘要、抽取数量。

5)补抽策略

在抽取样本数据时，在目标条件下抽取不足时，为了保证样本数据量需要放宽条件继续抽取，这样抽取总量满足客户要求，较客观真实的反应话务员的话务情况。

在放宽抽取条件时，需要制定一定的补抽方案，其中一种补抽方案如下：

(a)如果指定条件抽取不满，当设置不是所有主题时，抽取同业务下其它重点主题补充；

(b)如果同业务下其他重点主题抽取不满，抽取同业务下其它非重点主题；

(c)如果同业务下其它非重点主题抽取不满，并且此时抽检条件设置的不是同一品牌下所有业务时，抽取同一品牌下其它重点业务的任意主题补满；

(d)如果其它重点业务的任意主题抽取不满，则抽取同品牌下其它非重点业务的任意主题补满；

(e)如果其它非重点业务的任意主题抽取不满，则抽取其它品牌下重点业务补满；

(f)如果其他品牌下重点业务抽取不满，抽取其它品牌下非重点业务补满。

6)随机算法策略

在抽取数据时，如果符合条件的数据数量大于目标数量，需要从中随机抽取目标数量作为样本数据，在本案中随机抽取策略如下：

条件：在M集合(m条数据)中随机抽取N集合(n条数据)

方法：为了保证能够充分取满x是一个设置的抽取扩大倍数，即循环抽取m*x次随机获取数据

参数：x循环多次保证能够成功抽取数量

建立以M序号为key的HashMap //保证抽取出来的数据不重复

for(i＝0；i＜m*x；m++) //循环抽取m*x此

{

if(N数量等于n)

{

return；

}

rax＝Random(1，m)； //重集合M中随机抽取一条记录

if(directionary.contains(rax)) //如果M中已经包含该条记录

{

continuue； //继续抽取

}

else //如果M中不包含此条记录

{

N.add<rax，m[rax]>； //将该条记录加入N集合

} }

7)不重复策略

在数据抽取出来后，需要修改内存中抽取目标表，做一个标记，标记该行记录已经被抽取过来，在其后抽取过程中不再抽取标记为已抽取的记录。

在抽取过程中，除需要考虑业务逻辑制定的抽取条件外，还需要考虑修改标志位，必须是表明未修改过才可以抽取。

参考图2，根据本发明的再一个实施例，步骤D可采用下列子步骤D1至D4。

步骤D1，质量检查管理员制定质量检查标准；并根据本次质量检查计划选定本次使用的质量检查指标；

质量检查是一项需要公开、公平、公正的工作，需要提前制定好质量检查标准，并公布给所有人查阅。需要由质量检查管理员制定好检查标准后录入到本系统中。本套质量检查体系采用打分制的方式进行质量评定。质量检查指标具体包含以下几项，名称、考察点、每个错误扣几分、该条抽检业务错误数量。在本方案中质量检查管理员可以制定多套质量检查指标，以备灵活选用；但是在制作一个质量检查方案时，只能选定一个质检指标，保证所有质量检查有同意标准。质量检查管理员员可以制定多套质检指标，制作检查方案时选择质检指标即可。

步骤D2，质量检查人员根据制定好的质检指标，对每一条服务业务打分，并保存；

在质检人员质检某一业务时，列出该业务原始数据、质检指标项、评定说明，质检人员只需填写错误个数即可。只填写错误个数，可以避免质检人员在打分时的随意性，保证公平性。

步骤D3，质量检查人员保存质量检查结果后，可以自我检查，并修改质量检查结果，此时外界无法得知质检结果；

质量检查过程中，质检人员可能需要反复推敲、仔细考虑后为某条服务评分，为了保证效率，可以允许质检人员评分后保存评分结果，暂不向外发布。待整个质检方案抽取的所有数据都质检完成并反复检查后，向外发布质检结果。在保存质检结果后，允许质检人员再次修改质检结果，在确认结果后，向外发布。

本方案采取的方法是：质检结果存在多个状态，质检人员保存后状态为质检保存，在整个方案都质检完成需要质检人员向外发布，此时状态为结果已发布，已发布的结果才能被其他人查阅。

整套服务记录状态分配如下：“0”为抽取完成，质量检查人员未进行质量检查；“1”为质量检查人员已检查，保存质量检查结果；“2”为质量检查人员已发布检查结果；“3”为服务人员提出复检申请；“4”质量检查管理员同意复检申请；“5”复检管理员同普通质检员完成复检

步骤D4，质量检查人员确认检查完毕后，向外界发布质检结果；

质检结果发布后，所有人可以查看质检结果。本实施例中，还提出了复检概念。复检，既是被检查对象对某条服务检查结果不满意，提出复检申请，质检人员需要考虑其复检申请，重新对该条业务的服务质量进行评定。例如，本方案中话务员查看到自己的质检结果后，可以对质检结果提出异议，附上复检申请说明后，再次提交给复检人员，复检人员收到复检申请后需要和其他质检人员商讨后，重新修改质检结果，再次向外发布。

步骤E中，质量检查结果需要给多方面的人查阅，不同部门的可以从中分析出不同的有效信息。所以需要多个维度的提供给用户质量检查结果。

例如，在中国移动体系中，将质量检查的结果按照人员单位，给出每位话务员的平均分，提供给人力资源部门，供其作为绩效考核的依据。按照品牌为单位给出质量检查结果，可以提供给品牌运营人员，使其了解哪个品牌服务质量较差，说明其在该品牌上的业务培训不到位。按照业务为单位的质量检查结果，可以提供给话务员或其领导，使其了解员工在哪些业务上水平不过关，影响整体服务水平。

该发明方案的核心思想可以广泛运用于各种QA系统或其他服务系统，可配置的质量检查方案使得质检人员有针对性的指定质检方案，抽取目标业务的样品数据。

通过结合附图对本实施例具体实施例的描述，本实施例的其它方面及特征对本领域的技术人员而言是显而易见的。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims

1.一种面向QA系统的质检方法，包括下列步骤：

3)根据所述抽检条件抽取样本数据；

4)对样本数据进行分析得出质检结果。

2.根据权利要求1所述的面向QA系统的质检方法，其特征在于，所述步骤1)还包括设定每个领域的各项质检指标权重；

3.根据权利要求2所述的面向QA系统的质检方法，其特征在于，所述步骤1)中，所述领域是地市、品牌、业务、主题的组合。

4.根据权利要求1所述的面向QA系统的质检方法，其特征在于，所述步骤1)中，仅设定重点业务的抽样业务权重，当重点业务的抽样业务权重之和小于1时，其它业务的总权重为1减重点业务的抽样业务权重之和。

5.根据权利要求1所述的面向QA系统的质检方法，其特征在于，所述步骤2)中，所述抽检条件还包括抽取样本数据的时间范围和领域。

6.根据权利要求5所述的面向QA系统的质检方法，其特征在于，所述步骤3)包括下列子步骤：

7.根据权利要求6所述的面向QA系统的质检方法，其特征在于，所述步骤32)中，针对各抽检条件执行多线程抽取，每个线程为一个被质检人员抽取问答记录。

8.根据权利要求7所述的面向QA系统的质检方法，其特征在于，所述步骤32)中，在问答记录被抽取出来后，修改内存中抽取目标表，标记该问答记录已经被抽取，在其后抽取过程中不再抽取标记为已抽取的问答记录。

9.根据权利要求8所述的面向QA系统的质检方法，其特征在于，所述步骤32)中，在抽取样本数据时，在所述抽检条件下抽取的问答记录数量不足时，放宽所述抽检条件继续抽取，直至满足问答记录数量要求；在放宽抽取条件时，按照下列方法进行补抽：