CN108804319A - 一种改进Top-k众包测试平台任务的推荐方法 - Google Patents

一种改进Top-k众包测试平台任务的推荐方法 Download PDF

Info

Publication number
CN108804319A
CN108804319A CN201810526226.3A CN201810526226A CN108804319A CN 108804319 A CN108804319 A CN 108804319A CN 201810526226 A CN201810526226 A CN 201810526226A CN 108804319 A CN108804319 A CN 108804319A
Authority
CN
China
Prior art keywords
tester
test
bug
index
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810526226.3A
Other languages
English (en)
Inventor
张涛
帅正义
张静波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201810526226.3A priority Critical patent/CN108804319A/zh
Publication of CN108804319A publication Critical patent/CN108804319A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Abstract

本发明提供了一种改进Top‑k众包测试平台任务的推荐方法，涉及软件测试领域，通过对测试人员进行画像建模的指标，构建测试人员的指标模型，再构造判断矩阵，进行一致性检验，通过各层相对权重的计算和人员评价数据结构与匹配评分，生成推荐名单，本发明可以极大地提升平台可用性和长期发展；众包测试人员可以匹配到适合有助于水平提高的测试任务，提高学习测试业务的积极性；得到高质量的测试结果。同时解决了移动应用众包测试平台处理异常复杂的场景的需求。

Description

一种改进Top-k众包测试平台任务的推荐方法
技术领域
本发明涉及软件测试领域，一种利用测试平台任务的智能推荐方法。
背景技术
移动应用市场竞争的日益激烈，高成本、复杂、费时的移动应用质量保证和测试验证已成为制约其快速发展的关键瓶颈之一。移动应用测试正面临极大挑战与困难，而移动应用众包测试平台通过互联网，将测试任务外包给一组在线用户或者测试工程师，提供了一种新兴的、高效率、可伸缩、低成本的测试解决方案。促进移动云众包测试技术发展与应用，助力我国“互联网+”发展战略，服务“万众创业，大众创新”，具有良好的应用推广前景。
Top-K系列算法是Mejdl Safran等人提出的一种实时推荐算法，用于对众包系统中的任务和人员打分排序。在该算法应用场景中，不同于电商系统中的商品和买家之间无限制的匹配，任务和工人之间的匹配是受限制的。因而在任务和工人之间引入一个有效的中间机制，来有效地限制两类集合之间的匹配，从而避免进行来自所有可能的任务和工人巨大匹配集合的大量运算。然而针对移动应用众包测试的任务人员推荐系统，往往需要处理更加复杂的场景。一方面测试任务需求更加苛刻；另一方面，根据任务回报的差异，众包测试人员可能存在个人诚信度不高，个人活跃度下降以及测试质量波动等情况。
移动云众包测试有众多关键性技术难题迫切需要研究和解决。主要解决的问题有： 1)测试人员和测试任务之间的双向匹配困难。2)移动应用的测试场景复杂。
1测试人员和测试任务之间的双向匹配困难
众包测试平台上存在有大量由客户发布的测试任务并且测试需求各异。这使得测试人员很难匹配到满意并擅长的测试任务。同时，众包测试人员的测试水平参差不齐，持有的测试设备和擅长的测试领域不同。这就使得客户为任务挑选测试人员困难。测试人员在测试平台上申领任务不方便，将影响到测试任务得不到高效和高质量的完成。也影响移动应用测试平台的运行效率，不利于测试平台的长期发展。
2移动应用的测试场景复杂
移动应用众包测试平台，往往需要处理异常复杂的场景。一方面测试任务需求更加苛刻；另一方面，任务回报有差异，造成测试人员个人诚信度不高，个人活跃度下降以及测试质量波动等情况。
发明内容
为了克服现有技术的不足，本发明提供一种基于人员评价的Top-K改进模型ETK模型以及基于该模型的任务人员推荐算法，有效的解决了目前众包测试社区任务人员推荐的问题。
本发明发明了基于人员评价的Top-K改进模型ETK模型以及基于该模型的任务人员推荐算法。它包含两部分：ETK-Task推荐算法和ETK-Tester推荐算法。
本发明解决其技术问题所采用的技术方案是具体步骤如下：
步骤一、定义对测试人员进行画像建模的指标，画像指标主要有两类指标，一类是描述性画像指标，一类是ICTA评价指标；
所述的测试人员的描述性画像指标包含年龄、地域、职业技能、测试经验、测试设备基本信息、设备软件描述、测试网络环境、擅长移动应用领域、最佳同时任务数和测试结果，具体指标定义如下：
表1 年龄指标
表2 地域指标
测试经验指标描述如表3所示：
表3 测试经验
设备基本信息如表4所示：
表4 测试设备基本信息
测试设备软件版本指设备使用的操作系统版本,指标描述如表5所示：
表5 测试设备软件版本
网络测试环境指标描述如表6所示：
表6 网络测试环境
最佳同时任务数表示测试人员能够并行参与到的测试任务数目，最佳同时任务数指标描述如表7所示：
表7 最佳同时任务数
测试任务发布者对测试结果的确认和评价主要依据Bug严重程度，其bug严重等级采用 CMM5标准，定义如表8所示：
表8 Bug严重等级
(2)ICTA评价指标的定义
测试人员指标分为个人众包测试能力(Individual Crowdsourcing TestAbility， ICTA)，综合反映众包测试活动中的个人测试能力；
个人活跃度(Individual Activity)定义为测试人员对测试任务邀请的响应速度、累积的测试任务邀请接受率、参与任务类型数、月均参与任务数和参与任务总数；
其中响应速度(Response Speed，RS)定义为：
式(1)中：
DueDate——任务的截止日期；
AcceptDate——测试人员接受任务邀请的日期；
CreateDate——任务创建发起的日期；
其中累积的测试任务邀请接受率即响应率(Response Rate，RR)，响应率定义为：
式中：
AcceptTaskNum——测试人员接受的任务邀请数目；
AllInvitedTaskNum——测试人员接收到邀请的所有任务数目；
参与任务类型数参与任务类型数历史测试记录中涉及任务类型数目定义为测试人员历史测试任务中属于当前测试任务类型的数目。
参与任务总数定义为测试人员完成的测试任务总数。
月均参与任务数定义为测试人员完成的测试任务总数与注册时间长度的比值。
个人测试能力主要包含众测客户对测试人员测试结果接受率、平均测试结果评分、平均加权Bug数、平均加权新Bug数；
其中测试结果接受率(Result Accept Rate，RAR)定义为：
式中：
AcceptedResultNum——测试人员被接受的测试结果数目；
AllFinishedResultNum——测试人员所有完成的任务结果数目；
众测客户对测试人员测试结果的满意程度分为四个等级：非常满意、满意、一般、不满意，定义客户满意等级(Customer Satisfaction Rating，CSR)，众测客户对测试结果满意等级CSR的计算如公式(4)所示，通过选取大于500个测试结果样本计算，将结果值聚类，聚类结果值会集中在这四个值；故定义客户满意等级的表达式为CSR＝csrj，j＝1，...，4，csrj代表客户第j个满意等级，其中csr1＝4，csr2＝3，csr3＝1，csr4＝0，客户满意程度与客户满意等级的对应关系如表11所示：
表11 客户满意程度与客户满意等级的对应关系
客户满意等级的计算需要使用到表10中的Bug的等级程度权重值，规定严重等级为1的Bug的等级程度权重值为4.5，严重等级为2的Bug的等级程度权重值为3.5，严重等级为3的Bug的等级程度权重值为2.5，严重等级为4的Bug的等级程度权重值为1；
则客户满意等级(Customer Satisfaction Rating，CSR)计算公式为：
其中：
mi—某个测试结果中第i等级Bug的数目(i＝A、B、C、D)；
Mi—客户收到的所有测试结果中第i等级Bug的总数；
Wi--第i等级Bug的等级程度权重值；
平均测试结果评分(Average Test Result Score，ATRS)定义为：
式中：
resulti——第i个测试结果，i取值范围为1至n，其中n>＝1；
csrj——第j级客户满意等级，j取值范围为1到4；
将测试人员所发现的Bug按照bug价值划分为不同的Bug等级：特别重要、重要、一般、不重要、不是Bug，定义为Bug价值等级(Bug Value Level，BVL),表达式为 BVL＝{bvln}，n＝1，...，5，其中bvl1＝5，bvl2＝2，bvl3＝1，bvl4＝0.5，bsl5＝0；
测试人员发现的Bug的等级越高的bug的价值就越大，bvl1表示测试人员发现A 级bug，bvl2表示测试人员发现B级，bvl3表示测试人员发现C级bug，bvl4表示测试人员发现D级bug，bvl5表示测试人员发现的bug不是真正的bug，则平均加权Bug 数(AverageWeighted Bugs Number，AWBN)定义为：
式中：
Buga——发现的第a个bug，a取值范围为1至n，其中a>＝1；
Bsln——第n级Bug严重程度，n取值范围为1到5；
对测试人员首次发现的新Bug独立统计加权Bug数量，定义为平均加权新Bug 数(Average Weighted New Bugs Number，AWNBN)，公式为：
式中：
Newbugc——发现的第c个新bug，c取值范围为1至n，其中n>＝1；
测试人员的个人诚信度由任务完成度和诚信保证金两个指标确定，任务完成率(Task Completion Rate，TCR)定义为：
式中：
AllCompletedTaskNum——测试人员所有完成的测试任务数目；
AllAppliedTaskNum——测试人员所有申请的测试任务数目。
诚信保证金为测试人员注册平台时缴纳的保证金数额；
步骤二、构建测试人员的指标模型
利用步骤一中ICTA评价指标构造一个三层指标模型，分为A层、B层和C层，其中A层是个人测试能力指标为顶层指标，B层指标包括个人活跃度B1，个人测试能力B2，个人诚信度B3；
ICTA综合形成三级层次分析结构，如表9所示：
表9 三级层次分析结构
步骤三、构造判断矩阵
选取影响人员众包测试能力B层的3个因素：个人活跃度B1，个人测试能力B2，个人诚信度B3，将每个B层所属的C层指标使用7分位比率排定各指标的相对优劣等级，经过对大量的测试人员数据分析模拟，得出一级指标相对于二级指标的最佳判断矩阵为：
式中：
A——一级指标人员众包测试能力；
B——B1、B2、B3三个二级指标；
步骤四、一致性检验
将判断矩阵最大特征根之外的其他特征根的负平均值，当作衡量判断矩阵偏离一致性的标度，即用一致程度指标(Consistency Index，CI)检查一致性；
一致性检验通常是同层次单排序结合进行的，层次单排序则定义为在判断矩阵计算中，对其上一层的某个确定元素而言，当前层次与其有关联的元素影响程度次序的权值，层次单排序问题则可划分为判断其矩阵最大特征根以及计算其特征向量的操作，采用方根法进行，具体步骤如下：
子步骤1：计算判断矩阵每一行元素乘积
子步骤2：计算Pi的n次方根
子步骤3：对向量归一化，则W即为所求的特征向量；
子步骤4：计算判断矩阵的最大特征根其中(AW)i表示向量AW的第i个元素；
子步骤5：计算一致性指标n为判断矩阵的阶，若CI＝0，则认为矩阵具有完全一致性，则结束；否则进入子步骤6；
子步骤6：查询平均随机一致性指标RI，找到n阶矩阵对应的RI，计算一致性比例计算一致性比例若CR小于0.1，则一致性接受，进行后续的算法；若CR 大于0.1，则不可接受，不再继续后续步骤五；
表10为1-9阶矩阵对应的RI值：
表10 判断矩阵1-9阶RI值
步骤五、各层相对权重计算
经过步骤四计算得到矩阵A-B的最大特征值对应的特征向量W对应的归一化向量为归一化向量即为该组二级指标对人员测试元质量A的权重向量；
同理得出二级指标B1个人活跃度、B2个人测试能力、B3个人诚信度的归一化权重；
通过以上计算可知各判断矩阵具有满意一致性，通过各判断矩阵特征向量，后得到指标权重；
由上述步骤可得到如下的指标模型，其中A的计算结果为个人众包测试能力ICTA：
A＝Wb1×B1+Wb2×B2+Wb3×B3 (14)
B1＝Wc1×C1+Wc1×C2+Wc3×C3+Wc4×C4+Wc5×C5 (15)
B2＝Wc6×C6+Wc7×C7+Wc8×C8+9Wc1×C9 (16)
B3＝Wc10×C10+Wc11×C11 (17)
步骤六、人员评价数据结构与匹配评分
将与测试人员描述性画像指标有关的填入需求列表(Requirements List，RL)，其中RL＝{R1，R2，...，Ri，...，Rn}，测试人员的描述性画像指标存入描述列表(Descriptionlist， DL)，其中DL＝{D1，D2，...，Di，...，Dm}，其中n≤m，通过RL和DL构建n行n列的测试人员匹配矩阵(Tester Match Matrix，TMM)，其表达式为：
式中：
msii——第i项人员需求与第i项人员描述的匹配得分(match score，ms)，其表达式如公式所示：
msii＝match(Ri，Di)，0≤i≤n (19)
式中：
match——人员需求与人员描述匹配函数，取值范围0或1；
测试人员匹配矩阵TMM是一个类单位矩阵，只有主对角线上取值为msii，其余元素均为0，则通过矩阵TMM的行列式值|TMM|作为n行人员需求与n列人员描述是否全部匹配的依据，若|TMM|＝0，则未完全匹配，反之若|TMM|＝1，则完全匹配，其中|TMM|计算方法如公式(20)所示：
通过将|TMM|与ICTA相乘作为考虑测试人员需求的ICTA评价的修正，即修正后的ICTA(Revised ICTA，RICTA)计算方法如公式(21)所示：
RICTA＝|TMM|×ICTA (21)
将式(15)和式(18)带入式(21)可得最终修正后的人员众包测试能力RICTA；
步骤七、生成推荐名单
在人员综合评分的评分方法明确以后，将其引入到Top-K系列推荐算法之中，从而得到一种基于人员综合评价的改进算法——ETK(Evaluation Top-K)推荐算法，ETK 推荐算法包含ETK推荐算法数据结构、ETK-Task推荐算法和ETK-Tester推荐算法；
1)ETK推荐算法数据结构
本发明提出的ETK算法3种数据结构，分别是类别-任务，测试人员-类别，类别 -测试人员；
类别-任务分为e个类别{category1,category2,...,categorye}的数组，其中每个元素 categoryi指向类别categoryi中的可用任务的数组；测试人员-类别作为m个测试人员的数组{te1,te2,...,tem}，其中每个元素tej指向一个存储节点形式为{CategoryNo，ES}的连接表，其中CategoryNo为类别编号，Es为TestNo指向测试人员与该类别的匹配分数；类别-测试人员为e个类别{category1,category2,...,categorye}的数组，其中每个元素categoryi指向一个数据链表，该数据链表每个节点为{TesterNo，ES}形式，其中TesterNo为测试人员编号，Es为TestNo指向测试人员与该类别的匹配分数，该链表按匹配分数ES递减排列；
Es分数由测试人员的类别偏好分数(CPSi,j)、画像-类别相似性Similarity(pj,ci) 以及人员众包测试能力RICTA共同决定，类别偏好分数CPSi,j定义为工人wj在类别 ci中完成的任务占所有类别中工人完成任务总数的百分比，如式(22)所示；画像- 类别相似性Similarity(pj,ci)定义为工人的画像pj和类别描述ci之间的余弦相似性：
ESij＝RICTAij×CPSij×Similarity(pj，ci)
(24)
2)ETK-Task推荐算法
ETK-Task推荐算法的步骤为：
子步骤一：对于一个测试人员T，在测试人员—类别数组查找到T对应的{category1,category2,...,categorye}数组以及初始化长度为M的输出数组L；
子步骤二：读取{category1,category2,...,categorye}数组第i个节点的类别categoryT以及该类别对应的ES，同时生成一个不大于M的随机数N；
子步骤三：从类别—任务中读取到categoryT对应的任务数组L1，若L1的长度小于或等于N，则将数组L1全部写入数组L中；否则，将数组L1的前N项写入数组L 中；
子步骤四：将M的值重新定义为原M与N的差值，判断M是否为0，若是算法结束，输出数组L；否则重复子步骤二，读取下一个节点i+1；
3)ETK-Tester推荐算法
ETK-Tester算法的步骤如下：
子步骤一：在类别-任务中查找测试任务Test对应的类别，存在类别数组Category，初始化输出队列L-Tester；
子步骤二：遍历数组Category，对每个类别执行如下步骤；
子步骤三：生成一个小于L-Tester空节点数的随机数S，在类别-测试人员数组中查找到对应的类别的按照ES分数递减排列的测试人员数组；
子步骤四：若测试人员数组的长度小于S，则全部加到L-Tester，否则取前S个测试人员加到L-Tester中；判断L-Tester是否存在空节点，若存在，则继续遍历数组 Category，否则结束算法，输出L-Tester。
本发明的有益效果通过众包测试平台实现个性化的人员和任务双向匹配服务，可以极大地提升平台可用性和长期发展；众包测试人员可以匹配到适合有助于水平提高的测试任务，提高学习测试业务的积极性；众包测试客户为任务找到合适，专业的测试人员，得到高质量的测试结果。同时解决了移动应用众包测试平台处理异常复杂的场景的需求。一方面解决了测试任务需求苛刻；另一方面解决了任务回报有差异，造成的测试人员个人诚信度不高，个人活跃度下降以及测试质量波动等问题。本发明将为移动应用提供高水平的质量保证服务，助力于我国移动互联网技术发展，可运用众包测试平台任务推荐，对其他众包平台推荐也有一定的借鉴作用。
附图说明
图1为ETK推荐算法数据结构中的类别-任务示意图。
图2为ETK推荐算法数据结构中的测试人员-任务示意图。
图3为ETK推荐算法数据结构中的类别-测试人员示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
步骤一、定义对测试人员进行画像建模的指标，画像指标主要有两类指标，一类是描述性画像指标,用于和测试任务进行初步的匹配，作为测试人员匹配的修正参数；一类是ICTA 评价指标，用来计算测试人员测试能力，高度精确的匹配目标测试人员；
所述的测试人员的描述性画像指标包含年龄、地域、职业技能、测试经验、测试设备基本信息、设备软件描述、测试网络环境、擅长移动应用领域、最佳同时任务数和测试结果，具体指标定义如下：
表1 年龄指标
表2 地域指标
有些移动应用除了需要测试人员具备一定测试经验。测试经验指标描述如表3所示：
表3 测试经验
有些移动应用需要测试人员具备固定的设备。设备基本信息如表4所示：
表4 测试设备基本信息
测试设备软件版本主要指设备使用的操作系统版本,指标描述如表5所示：
表5 测试设备软件版本
部分移动应用需要测试人员所处固定的网络测试环境，网络测试环境指标描述如表6所示：
表6 网络测试环境
最佳同时任务数表示测试人员能够并行参与到的测试任务数目，最佳同时任务数指标描述如表7所示：
表7 最佳同时任务数
移动应用众包测试结果需要测试人员通过众包测试框架来提交，然后由众包测试任务发布者来进行确认评价，测试结果除包含测试任务基本信息如测试应用、测试版本、测试框架、测试日期以及设备信息如测试机型、操作系统、分辨率等外，重点包含所发现Bug的详细信息和严重等级，其中测试任务发布者对测试结果的确认和评价主要依据Bug严重程度，其bug 严重等级采用CMM5标准，定义如表8所示：
表8 Bug严重等级
测试任务发布者根据Bug严重等级确认评分权重后，众包测试框架会根据测试人员发现的Bug数目以及对应的严重等级的不同评分权重值，综合地对测试人员的测试能力重新进行计算并更新；
(2)ICTA评价指标的定义
测试人员指标中前三个指标称为测试人员描述指标，主要用来对测试人员进行准确地描述，与众测客户发布的测试任务需求进行高效匹配，缩小众测客户对测试人员选择的范围。后三个指标合并定义为个人众包测试能力(Individual Crowdsourcing TestAbility，ICTA)，综合反映众包测试活动中的个人测试能力。
个人活跃度(Individual Activity)定义为测试人员对测试任务邀请的响应速度、累积的测试任务邀请接受率、参与任务类型数、月均参与任务数和参与任务总数；
其中响应速度(Response Speed，RS)定义为：
式(1)中：
DueDate——任务的截止日期；
AcceptDate——测试人员接受任务邀请的日期；
CreateDate——任务创建发起的日期；
其中累积的测试任务邀请接受率即响应率(Response Rate，RR)，响应率定义为：
式中：
AcceptTaskNum——测试人员接受的任务邀请数目；
AllInvitedTaskNum——测试人员接收到邀请的所有任务数目；
参与任务类型数参与任务类型数历史测试记录中涉及任务类型数目定义为测试人员历史测试任务中属于当前测试任务类型的数目；
参与任务总数定义为测试人员完成的测试任务总数；
月均参与任务数定义为测试人员完成的测试任务总数与注册时间长度的比值；
个人测试能力是对测试人员最重要的评价指标，因为其直接决定着测试质量的高低，主要包含众测客户对测试人员测试结果接受率、平均测试结果评分、平均加权Bug数、平均加权新Bug数；
其中测试结果接受率(Result Accept Rate，RAR)定义为：
式中：
AcceptedResultNum——测试人员被接受的测试结果数目；
AllFinishedResultNum——测试人员所有完成的任务结果数目；
众测客户对测试人员测试结果的满意程度分为四个等级：非常满意、满意、一般、不满意，定义客户满意等级(Customer Satisfaction Rating，CSR)，众测客户对测试结果满意等级 CSR的计算如公式(4)所示，通过选取大于500个测试结果样本计算，将结果值聚类，聚类结果值会集中在这四个值；故定义客户满意等级的表达式为CSR＝csrj，j＝1，...，4，csrj代表客户第j个满意等级，其中csr1＝4，csr2＝3，csr3＝1， csr4＝0，客户满意程度与客户满意等级的对应关系如表11所示；
表11 客户满意程度与客户满意等级的对应关系
客户满意等级的计算需要使用到表10中的Bug的等级程度权重值，规定严重等级为1的 Bug的等级程度权重值为4.5，严重等级为2的Bug的等级程度权重值为3.5，严重等级为3 的Bug的等级程度权重值为2.5，严重等级为4的Bug的等级程度权重值为1。
则客户满意等级(Customer Satisfaction Rating，CSR)计算公式为：
其中：
mi—某个测试结果中第i等级Bug的数目(i＝A、B、C、D)；
Mi—客户收到的所有测试结果中第i等级Bug的总数；
Wi--第i等级Bug的等级程度权重值；
平均测试结果评分(Average Test Result Score，ATRS)定义为：
式中：
resulti——第i个测试结果，i取值范围为1至n，其中n>＝1；
csrj——第j级客户满意等级，j取值范围为1到4；
将测试人员所发现的Bug按照bug价值划分为不同的Bug等级：特别重要、重要、一般、不重要、不是Bug，定义为Bug价值等级(Bug Value Level，BVL),表达式为 BVL＝{bvln}，n＝1，...，5，其中bvl1＝5，bvl2＝2，bvl3＝1，bvl4＝0.5，bsl5＝0；
测试人员发现的Bug的等级越高的bug的价值就越大。bvl1表示测试人员发现A级bug， bvl2表示测试人员发现B级，bvl3表示测试人员发现C级bug，bvl4表示测试人员发现D级 bug，bvl5表示测试人员发现的bug不是真正的bug。则平均加权Bug数(AverageWeighted Bugs Number，AWBN)定义为：
式中：
Buga——发现的第a个bug，a取值范围为1至n，其中a>＝1；
Bsln——第n级Bug严重程度，n取值范围为1到5；
对其中属于某测试人员首次发现的新Bug独立统计加权Bug数量，定义为平均加权新 Bug数(Average Weighted New Bugs Number，AWNBN)，公式为：
式中：
Newbugc——发现的第c个新bug，c取值范围为1至n，其中n>＝1；
测试人员的个人诚信度是对其评价的另一重要指标。因为测试人员并未与众包测试框架及众测客户签订严格的劳动协议，测试人员可能因为各类原因无法完成测试任务，也可能包含不怀好意的恶意欺诈者，这就可能对测试结果质量造成极其严重的影响，因此向测试人员提出诚信保障金机制，当测试人员无法按约定时间完成测试任务时，可能会造成诚信保障金的损失。个人诚信度由任务完成度和诚信保证金两个指标确定。
任务完成率(Task Completion Rate，TCR)定义为：
式中：
AllCompletedTaskNum——测试人员所有完成的测试任务数目；
AllAppliedTaskNum——测试人员所有申请的测试任务数目。
诚信保证金为测试人员注册平台时缴纳的保证金数额。
步骤二、构建测试人员的指标模型。
利用步骤一中ICTA评价指标构造一个三层指标模型，分为A层、B层和C层，通过计算测试人员的测试能力，其中A层是个人测试能力指标为顶层指标，B层指标包括个人活跃度B1，个人测试能力B2，个人诚信度B3；
测试人员评价指标个人众包测试能力ICTA则是反应测试人员能力水平的综合指标。ICTA 综合指标有三个子指标，而每个子指标又有其对应的子指标，运用层次分析法进行分析，形成三级层次分析结构，如表9所示：
表9 三级层次分析结构
步骤三、构造判断矩阵
选取影响人员众包测试能力B层的3个因素：个人活跃度B1，个人测试能力B2，个人诚信度B3，将每个B层所属的C层指标使用7分位比率排定各指标的相对优劣等级，经过对大量的测试人员数据分析模拟，得出一级指标相对于二级指标的最佳判断矩阵：
式中：
A——一级指标人员众包测试能力；
B——B1、B2、B3三个二级指标；
步骤四、一致性检验
本发明将判断矩阵最大特征根之外的其他特征根的负平均值，当作衡量判断矩阵偏离一致性的标度，即用一致程度指标(Consistency Index，CI)检查一致性；在本步骤对第三部构造的所有判断矩阵进行一致性检验。
一致性检验通常是同层次单排序结合进行的，层次单排序则定义为在判断矩阵计算中，对其上一层的某个确定元素而言，当前层次与其有关联的元素影响程度次序的权值，层次单排序问题则可划分为判断其矩阵最大特征根以及计算其特征向量的操作，采用方根法进行，具体步骤如下：
子步骤1：计算判断矩阵每一行元素乘积
子步骤2：计算Pi的n次方根
子步骤3：对向量归一化，则W即为所求的特征向量；
子步骤4：计算判断矩阵的最大特征根其中(AW)i表示向量AW的第i 个元素；
子步骤5：计算一致性指标n为判断矩阵的阶，若CI＝0，则认为矩阵具有完全一致性，则结束；否则进入子步骤6；
子步骤6：查询平均随机一致性指标RI，找到n阶矩阵对应的RI，计算一致性比例计算一致性比例若CR小于0.1，则一致性接受，进行后续的算法；若CR大于0.1，则不可接受，不再继续后续步骤五；
表10 为1-9阶矩阵对应的RI值：
步骤五、各层相对权重计算
经过步骤四计算得到矩阵A-B的最大特征值对应的特征向量W对应的归一化向量为这个归一化向量即为该组二级指标对人员测试元质量A的权重向量，中，数值越高说明对测试能力的影响越大，个人测试能力B2对一级指标人员众包测试能力A影响最大，个人诚信度B3次之，个人活跃度B1最小。
同理得出二级指标B1个人活跃度、B2个人测试能力、B3个人诚信度的归一化权重。
通过以上计算可知各判断矩阵具有满意一致性，通过各判断矩阵特征向量，后得到指标权重；
有上述步骤可以得到如下的指标模型(A的计算结果为个人众包测试能力ICTA)：
A＝Wb1×B1+Wb2×B2+Wb3×B3 (14)
B1＝Wc1×C1+Wc1×C2+Wc3×C3+Wc4×C4+Wc5×C5 (15)
B2＝Wc6×C6+Wc7×C7+Wc8×C8+9Wc1×C9 (16)
B3＝Wc10×C10+Wc11×C11 (17)
步骤六、人员评价数据结构与匹配评分
测试任务都有不同的测试要求，这些测试要求有测试环境要求，测试人员要求，测试地域要求和测试场景要求，通过这些要求与测试人员的描述性指标进行对比得到一个测试人员评分修正矩阵，通过本发明提出的测试人员评分修正公式对测试人员评分进行修正。
在创建测试任务的时候，任务发布者需要填写测试任务要求。讲这些测试要求中与测试人员描述性画像指标有关的填入需求列表(Requirements List，RL)，其中RL＝{R1，R2，...，Ri，...，Rn}。测试人员的描述性画像指标存入描述列表(Description list，DL)，其中DL＝{D1，D2，...，Di，...，Dm}，通常n≤m，这是由于通常抽象出的测试人员需求数小于测试人员描述数。通过RL和DL构建n行n列的测试人员匹配矩阵(Tester Match Matrix，TMM)，其表达式为：
式中：
msii——第i项人员需求与第i项人员描述的匹配得分(match score，ms)，其表达式如公式所示：
msii＝match(Ri，Di)，0≤i≤n (19)
式中：
match——人员需求与人员描述匹配函数，取值范围0或1；
测试人员匹配矩阵TMM是一个类单位矩阵，只有主对角线上取值为msii，其余元素均为 0。则通过矩阵TMM的行列式值|TMM|作为n行人员需求与n列人员描述是否全部匹配的依据，若|TMM|＝0，则未完全匹配，反之若|TMM|＝1，则完全匹配。其中|TMM|计算方法如公式(20)所示：
通过将|TMM|与ICTA相乘作为考虑测试人员需求的ICTA评价的修正，即修正后的ICTA (Revised ICTA，RICTA)计算方法如公式(21)所示：
RICTA＝|TMM|×ICTA (21)
将式(15)和式(18)带入式(21)可得最终修正后的人员众包测试能力RICTA。
步骤七、生成推荐名单
在人员综合评分的评分方法明确以后，将其引入到Top-K系列推荐算法之中，从而得到一种基于人员综合评价的改进算法——ETK(Evaluation Top-K)推荐算法，ETK推荐算法包含三部分内容，分别是ETK推荐算法数据结构、ETK-Task推荐算法和ETK-Tester推荐算法。 ETK推荐算法数据结构是ETK推荐算法的基础，定义了算法需要的数据格式；ETK-Task推荐算法是测试人员推荐测试任务，ETK-Tester推荐算法则是向测试任务发布者推荐测试人员，这两个子算法实现了本文的测试任务双向推送。
1)ETK推荐算法数据结构
本发明引入类别概念。类别(Categories)作为一种中间机制，扮演一组工人和一组任务之间的调解器角色，一个任务可以在多个类别里。类别的一个具体种类对应测试人员的年龄指标、地域指标、职业、测试经验指标、测试设备基本信息、测试设备软件版本和测试设备网络环境8个描述性画像指标中的某一个指标的具体指标项，因此类别总共有36种。在类别概念上，本发明提出的ETK算法3种数据结构，分别是类别-任务，测试人员-类别，类别- 测试人员。
类别-任务分为e个类别{category1,category2,...,categorye}的数组，其中每个元素categoryi指向类别categoryi中的可用任务的数组(附图一)；测试人员-类别作为m个测试人员的数组 {te1,te2,...,tem}，其中每个元素tej指向一个存储节点形式为{CategoryNo，ES}的连接表，其中 CategoryNo为类别编号，Es为TestNo只想测试人员与该类别的匹配分数，个人兴趣爱好和职业技能信息(图二)；类别-测试人员为e个类别{category1,category2,...,categorye}的数组，其中每个元素categoryi指向一个数据链表，该数据链表每个节点为{TesterNo，ES}形式，其中 TesterNo为测试人员编号，Es为TestNo只想测试人员与该类别的匹配分数，该链表按匹配分数ES递减排列。测试人员链表(图三)。
Es分数由测试人员的类别偏好分数(CPSi,j)、画像-类别相似性Similarity(pj,ci)以及人员众包测试能力RICTA共同决定。类别偏好分数CPSi,j定义为工人wj在类别ci中完成的任务占所有类别中工人完成任务总数的百分比，如式(22)所示；画像-类别相似性Similarity(pj,ci) 定义为工人的画像pj和类别描述ci之间的余弦相似性。
ESij＝RICTAij×CPSij×Similarity(pj，ci) (24)
2)ETK-Task推荐算法
本子算法的目的是帮助测试人员找到最佳匹配任务，以及帮助众测客户为他们发布的任务快速识别最好的测试人员。因此，首先提出的ETK-Task算法旨在基于人员评价的为测试人员推荐最合适的任务。
算法流程：
子步骤一：对于一个测试人员T，算法在测试人员—类别数组查找到T对应的{category1,category2,...,categorye}数组以及初始化长度为M的输出数组L；
子步骤二：读取{category1,category2,...,categorye}数组第i个节点的类别categoryT以及该类别对应的ES，同时生成一个不大于M的随机数N；
子步骤三：从类别—任务中读取到categoryT对应的任务数组L1，若L1的长度小于或等于N，则将数组L1全部写入数组L中；否则，将数组L1的前N项写入数组L中。
子步骤四：将M的值重新定义为原M与N的差值，判断M是否为0，若是算法结束，输出数组L；否则重复子步骤二，读取下一个节点i+1；
2)ETK-Tester推荐算法
对于已发布的任务，ETK-Tester算法通过向众测客户推荐专业技能上最合适及对任务最感兴趣的测试人员，以招募其来参与并完成发布的任务。ETK -Tester算法所面临的推荐问题如下所述：给定任意任务t及匹配的所属类别，例如对于任务 {(c1,β1),(c2,β2),...,(cr,βr)}，怎样的测试人员才是最合适推荐人选。
算法描述如下：
子步骤一：在类别-任务中查找测试任务Test对应的类别，存在类别数组Category，初始化输出队列L-Tester；
子步骤二：遍历数组Category，对每个类别执行如下步骤；
子步骤三：生成一个小于L-Tester空节点数的随机数S，在类别-测试人员数组中查找到对应的类别的按照ES分数递减排列的测试人员数组；
子步骤四：若测试人员数组的长度小于S，则全部加到L-Tester，否则取前S个测试人员加到L-Tester中；判断L-Tester是否存在空节点，若存在，则继续遍历数组Category，否则结束算法，输出L-Tester。
通过本发明，众包测试平台实现个性化的人员和任务双向匹配服务，可以极大地提升平台可用性和长期发展；众包测试人员可以匹配到适合有助于水平提高的测试任务，提高学习测试业务的积极性；众包测试客户为任务找到合适，专业的测试人员，得到高质量的测试结果。本发明将为移动应用提供高水平的质量保证服务，助力于我国移动互联网技术发展。本发明可运用众包测试平台任务推荐，对其他众包平台推荐也有一定的借鉴作用。
本发明提供了一种通过测试人员基本信息以及历史任务完成情况信息智能推送测试众包任务的方法。本发明所采用的技术方案是通过测试人员的身份特征、技能经验和历史任务完成情况对用户进行画像建模，然后根据任务的测试要求和测试人员画像进行匹配分析，得到测试人员和任务的匹配度，然后经过匹配度分析，通过ETK-Task推荐算法将任务智能推荐给测试人员。

Claims (1)

1.一种改进Top-k众包测试平台任务的推荐方法，其特征在于包括下述步骤：
步骤一、定义对测试人员进行画像建模的指标，画像指标主要有两类指标，一类是描述性画像指标，一类是ICTA评价指标；
所述的测试人员的描述性画像指标包含年龄、地域、职业技能、测试经验、测试设备基本信息、设备软件描述、测试网络环境、擅长移动应用领域、最佳同时任务数和测试结果，具体指标定义如下：
表1年龄指标
表2地域指标
测试经验指标描述如表3所示：
表3测试经验
设备基本信息如表4所示：
表4测试设备基本信息
测试设备软件版本指设备使用的操作系统版本,指标描述如表5所示：
表5测试设备软件版本
网络测试环境指标描述如表6所示：
表6网络测试环境
最佳同时任务数表示测试人员能够并行参与到的测试任务数目，最佳同时任务数指标描述如表7所示：
表7最佳同时任务数
测试任务发布者对测试结果的确认和评价主要依据Bug严重程度，其bug严重等级采用CMM5标准，定义如表8所示：
表8 Bug严重等级
(2)ICTA评价指标的定义
测试人员指标分为个人众包测试能力(Individual Crowdsourcing Test Ability，ICTA)，综合反映众包测试活动中的个人测试能力；
个人活跃度(Individual Activity)定义为测试人员对测试任务邀请的响应速度、累积的测试任务邀请接受率、参与任务类型数、月均参与任务数和参与任务总数；
其中响应速度(Response Speed，RS)定义为：
式(1)中：
DueDate——任务的截止日期；
AcceptDate——测试人员接受任务邀请的日期；
CreateDate——任务创建发起的日期；
其中累积的测试任务邀请接受率即响应率(Response Rate，RR)，响应率定义为：
式中：
AcceptTaskNum——测试人员接受的任务邀请数目；
AllInvitedTaskNum——测试人员接收到邀请的所有任务数目；
参与任务类型数参与任务类型数历史测试记录中涉及任务类型数目定义为测试人员历史测试任务中属于当前测试任务类型的数目；
参与任务总数定义为测试人员完成的测试任务总数；
月均参与任务数定义为测试人员完成的测试任务总数与注册时间长度的比值；
个人测试能力主要包含众测客户对测试人员测试结果接受率、平均测试结果评分、平均加权Bug数、平均加权新Bug数；
其中测试结果接受率(Result Accept Rate，RAR)定义为：
式中：
AcceptedResultNum——测试人员被接受的测试结果数目；
AllFinishedResultNum——测试人员所有完成的任务结果数目；
众测客户对测试人员测试结果的满意程度分为四个等级：非常满意、满意、一般、不满意，定义客户满意等级(Customer Satisfaction Rating，CSR)，众测客户对测试结果满意等级CSR的计算如公式(4)所示，通过选取大于500个测试结果样本计算，将结果值聚类，聚类结果值会集中在4(±0.2),3(±0.2),1(±0.2),0(±0.2)这四个值；故定义客户满意等级的表达式为CSR＝csrj，j＝1，...，4，csrj代表客户第j个满意等级，其中csr1＝4，csr2＝3，csr3＝1，csr4＝0，客户满意程度与客户满意等级的对应关系如表11所示：
表11客户满意程度与客户满意等级的对应关系
客户满意等级的计算需要使用到表10中的Bug的等级程度权重值，规定严重等级为1的Bug的等级程度权重值为4.5，严重等级为2的Bug的等级程度权重值为3.5，严重等级为3的Bug的等级程度权重值为2.5，严重等级为4的Bug的等级程度权重值为1；
则客户满意等级(Customer Satisfaction Rating，CSR)计算公式为：
其中：
mi—某个测试结果中第i等级Bug的数目(i＝A、B、C、D)；
Mi—客户收到的所有测试结果中第i等级Bug的总数；
Wi--第i等级Bug的等级程度权重值；
平均测试结果评分(Average Test Result Score，ATRS)定义为：
式中：
resulti——第i个测试结果，i取值范围为1至n，其中n>＝1；
csrj——第j级客户满意等级，j取值范围为1到4；
将测试人员所发现的Bug按照bug价值划分为不同的Bug等级：特别重要、重要、一般、不重要、不是Bug，定义为Bug价值等级(Bug Value Level，BVL),表达式为BVL＝{bvln}，n＝1，...，5，其中bvl1＝5，bvl2＝2，bvl3＝1，bvl4＝0.5，bsl5＝0；
测试人员发现的Bug的等级越高的bug的价值就越大，bvl1表示测试人员发现A级bug，bvl2表示测试人员发现B级，bvl3表示测试人员发现C级bug，bvl4表示测试人员发现D级bug，bvl5表示测试人员发现的bug不是真正的bug，则平均加权Bug数(Average WeightedBugs Number，AWBN)定义为：
式中：
Buga——发现的第a个bug，a取值范围为1至n，其中a>＝1；
Bsln——第n级Bug严重程度，n取值范围为1到5；
对测试人员首次发现的新Bug独立统计加权Bug数量，定义为平均加权新Bug数(Average Weighted New Bugs Number，AWNBN)，公式为：
式中：
Newbugc——发现的第c个新bug，c取值范围为1至n，其中n>＝1；
测试人员的个人诚信度由任务完成度和诚信保证金两个指标确定，任务完成率(TaskCompletion Rate，TCR)定义为：
式中：
AllCompletedTaskNum——测试人员所有完成的测试任务数目；
AllAppliedTaskNum——测试人员所有申请的测试任务数目；
诚信保证金为测试人员注册平台时缴纳的保证金数额；
步骤二、构建测试人员的指标模型
利用步骤一中ICTA评价指标构造一个三层指标模型，分为A层、B层和C层，其中A层是个人测试能力指标为顶层指标，B层指标包括个人活跃度B1，个人测试能力B2，个人诚信度B3；
ICTA综合形成三级层次分析结构，如表9所示：
表9三级层次分析结构
步骤三、构造判断矩阵
选取影响人员众包测试能力B层的3个因素：个人活跃度B1，个人测试能力B2，个人诚信度B3，将每个B层所属的C层指标使用7分位比率排定各指标的相对优劣等级，经过对大量的测试人员数据分析模拟，得出一级指标相对于二级指标的最佳判断矩阵为：
式中：
A——一级指标人员众包测试能力；
B——B1、B2、B3三个二级指标；
步骤四、一致性检验
将判断矩阵最大特征根之外的其他特征根的负平均值，当作衡量判断矩阵偏离一致性的标度，即用一致程度指标(Consistency Index，CI)检查一致性；
一致性检验通常是同层次单排序结合进行的，层次单排序则定义为在判断矩阵计算中，对其上一层的某个确定元素而言，当前层次与其有关联的元素影响程度次序的权值，层次单排序问题则可划分为判断其矩阵最大特征根以及计算其特征向量的操作，采用方根法进行，具体步骤如下：
子步骤1：计算判断矩阵每一行元素乘积
子步骤2：计算Pi的n次方根
子步骤3：对向量归一化，则W即为所求的特征向量；
子步骤4：计算判断矩阵的最大特征根其中(AW)i表示向量AW的第i个元素；
子步骤5：计算一致性指标n为判断矩阵的阶，若CI＝0，则认为矩阵具有完全一致性，则结束；否则进入子步骤6；
子步骤6：查询平均随机一致性指标RI，找到n阶矩阵对应的RI，计算一致性比例计算一致性比例若CR小于0.1，则一致性接受，进行后续的算法；若CR大于0.1，则不可接受，不再继续后续步骤五；
表10为1-9阶矩阵对应的RI值：
表10判断矩阵1-9阶RI值
步骤五、各层相对权重计算
经过步骤四计算得到矩阵A-B的最大特征值对应的特征向量W对应的归一化向量为归一化向量即为该组二级指标对人员测试元质量A的权重向量；
同理得出二级指标B1个人活跃度、B2个人测试能力、B3个人诚信度的归一化权重；
通过以上计算可知各判断矩阵具有满意一致性，通过各判断矩阵特征向量，后得到指标权重；
由上述步骤可得到如下的指标模型，其中A的计算结果为个人众包测试能力ICTA：
A＝Wb1×B1+Wb2×B2+Wb3×B3 (14)
B1＝Wc1×C1+Wc1×C2+Wc3×C3+Wc4×C4+Wc5×C5 (15)
B2＝Wc6×C6+Wc7×C7+Wc8×C8+9Wc1×C9 (16)
B3＝Wc10×C10+Wc11×C11 (17)
步骤六、人员评价数据结构与匹配评分
将与测试人员描述性画像指标有关的填入需求列表(Requirements List，RL)，其中RL＝{R1，R2，...，Ri，...，Rn}，测试人员的描述性画像指标存入描述列表(Description list，DL)，其中DL＝{D1，D2，...，Di，...，Dm}，其中n≤m，通过RL和DL构建n行n列的测试人员匹配矩阵(Tester Match Matrix，TMM)，其表达式为：
式中：
msii——第i项人员需求与第i项人员描述的匹配得分(match score，ms)，其表达式如公式所示：
msii＝match(Ri，Di)，0≤i≤n (19)
式中：
match——人员需求与人员描述匹配函数，取值范围0或1；
测试人员匹配矩阵TMM是一个类单位矩阵，只有主对角线上取值为msii，其余元素均为0，则通过矩阵TMM的行列式值|TMM|作为n行人员需求与n列人员描述是否全部匹配的依据，若|TMM|＝0，则未完全匹配，反之若|TMM|＝1，则完全匹配，其中|TMM|计算方法如公式(20)所示：
通过将|TMM|与ICTA相乘作为考虑测试人员需求的ICTA评价的修正，即修正后的ICTA(Revised ICTA，RICTA)计算方法如公式(21)所示：
RICTA＝|TMM|×ICTA (21)
将式(15)和式(18)带入式(21)可得最终修正后的人员众包测试能力RICTA；步骤七、生成推荐名单
在人员综合评分的评分方法明确以后，将其引入到Top-K系列推荐算法之中，从而得到一种基于人员综合评价的改进算法——ETK(Evaluation Top-K)推荐算法，ETK推荐算法包含ETK推荐算法数据结构、ETK-Task推荐算法和ETK-Tester推荐算法；
1)ETK推荐算法数据结构
本发明提出的ETK算法3种数据结构，分别是类别-任务，测试人员-类别，类别-测试人员；
类别-任务分为e个类别{category1,category2,...,categorye}的数组，其中每个元素categoryi指向类别categoryi中的可用任务的数组；测试人员-类别作为m个测试人员的数组{te1,te2,...,tem}，其中每个元素tej指向一个存储节点形式为{CategoryNo，ES}的连接表，其中CategoryNo为类别编号，Es为TestNo指向测试人员与该类别的匹配分数；类别-测试人员为e个类别{category1,category2,...,categorye}的数组，其中每个元素categoryi指向一个数据链表，该数据链表每个节点为{TesterNo，ES}形式，其中TesterNo为测试人员编号，Es为TestNo指向测试人员与该类别的匹配分数，该链表按匹配分数ES递减排列；
Es分数由测试人员的类别偏好分数(CPSi,j)、画像-类别相似性Similarity(pj,ci)以及人员众包测试能力RICTA共同决定，类别偏好分数CPSi,j定义为工人wj在类别ci中完成的任务占所有类别中工人完成任务总数的百分比，如式(22)所示；画像-类别相似性Similarity(pj,ci)定义为工人的画像pj和类别描述ci之间的余弦相似性：
ESij＝RICTAij×CPSij×Similarity(pj，ci)
(24)
2)ETK-Task推荐算法
ETK-Task推荐算法的步骤为：
子步骤一：对于一个测试人员T，在测试人员—类别数组查找到T对应的{category1,category2,...,categorye}数组以及初始化长度为M的输出数组L；
子步骤二：读取{category1,category2,...,categorye}数组第i个节点的类别categoryT以及该类别对应的ES，同时生成一个不大于M的随机数N；
子步骤三：从类别—任务中读取到categoryT对应的任务数组L1，若L1的长度小于或等于N，则将数组L1全部写入数组L中；否则，将数组L1的前N项写入数组L中；
子步骤四：将M的值重新定义为原M与N的差值，判断M是否为0，若是算法结束，输出数组L；否则重复子步骤二，读取下一个节点i+1；
3)ETK-Tester推荐算法
ETK-Tester算法的步骤如下：
子步骤一：在类别-任务中查找测试任务Test对应的类别，存在类别数组Category，初始化输出队列L-Tester；
子步骤二：遍历数组Category，对每个类别执行如下步骤；
子步骤三：生成一个小于L-Tester空节点数的随机数S，在类别-测试人员数组中查找到对应的类别的按照ES分数递减排列的测试人员数组；
子步骤四：若测试人员数组的长度小于S，则全部加到L-Tester，否则取前S个测试人员加到L-Tester中；判断L-Tester是否存在空节点，若存在，则继续遍历数组Category，否则结束算法，输出L-Tester。
CN201810526226.3A 2018-05-29 2018-05-29 一种改进Top-k众包测试平台任务的推荐方法 Pending CN108804319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810526226.3A CN108804319A (zh) 2018-05-29 2018-05-29 一种改进Top-k众包测试平台任务的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810526226.3A CN108804319A (zh) 2018-05-29 2018-05-29 一种改进Top-k众包测试平台任务的推荐方法

Publications (1)

Publication Number Publication Date
CN108804319A true CN108804319A (zh) 2018-11-13

Family

ID=64090686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810526226.3A Pending CN108804319A (zh) 2018-05-29 2018-05-29 一种改进Top-k众包测试平台任务的推荐方法

Country Status (1)

Country Link
CN (1) CN108804319A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324978A (zh) * 2018-11-28 2019-02-12 北京精密机电控制设备研究所 一种多人协同的软件测试管理系统
CN109460978A (zh) * 2018-11-15 2019-03-12 泉州师范学院 一种基于社会关系认知的群智服务节点选择算法
CN110096569A (zh) * 2019-04-09 2019-08-06 中国科学院软件研究所 一种众测人员集合推荐方法
CN110222940A (zh) * 2019-05-13 2019-09-10 西安工业大学 一种众包测试平台测试人员推荐算法
CN110276655A (zh) * 2019-05-07 2019-09-24 中国矿业大学 基于匈牙利算法的众包平台新任务多目标推荐方法
CN110348810A (zh) * 2019-07-16 2019-10-18 河北冀联人力资源服务集团有限公司 团队推荐方法及系统
CN110443502A (zh) * 2019-08-06 2019-11-12 合肥工业大学 基于工人能力测评的众包任务推荐方法和系统
CN110928764A (zh) * 2019-10-10 2020-03-27 中国人民解放军陆军工程大学 移动应用众包测试报告自动化评估方法及计算机存储介质
CN111311129A (zh) * 2020-03-31 2020-06-19 广东电网有限责任公司 配电网配调值班任务自动分工方法、系统及计算机设备
CN111522733A (zh) * 2020-03-16 2020-08-11 中国科学院软件研究所 众包测试人员推荐与众包测试方法及电子装置
CN111899023A (zh) * 2020-08-10 2020-11-06 成都理工大学 一种基于区块链的群智感知机器学习安全众包方法及系统
CN111932108A (zh) * 2020-08-06 2020-11-13 北京航空航天大学杭州创新研究院 一种面向群体软件过程的开发人员推荐方法
CN112288306A (zh) * 2020-11-07 2021-01-29 西北工业大学 一种基于xgboost的移动应用众包测试任务推荐方法
CN112346958A (zh) * 2019-08-07 2021-02-09 南京慕测信息科技有限公司 一种面向协作式众包测试的质量控制方法
CN112835701A (zh) * 2021-02-20 2021-05-25 何羽强 一种基于云计算的数据信息化采集和分析系统及方法
CN113657787A (zh) * 2021-08-24 2021-11-16 广州番禺职业技术学院 基于学生能力匹配的众包测试任务分配方法
CN115018453A (zh) * 2022-05-23 2022-09-06 电子科技大学 一种岗位人才画像自动生成方法
CN116415839A (zh) * 2023-02-10 2023-07-11 华南师范大学 一种基于可解释机器学习的众包任务分配方法及系统
CN116703129A (zh) * 2023-08-07 2023-09-05 匠达(苏州)科技有限公司 基于人员数据画像的智能任务匹配调度方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210126A1 (en) * 2015-01-15 2016-07-21 Xerox Corporation Methods and systems for crowdsourcing software development project
CN106203893A (zh) * 2016-09-09 2016-12-07 扬州大学 一种众包环境下的基于遗传算法的任务分配方法
CN106294118A (zh) * 2015-06-12 2017-01-04 富士通株式会社 信息处理设备以及信息处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210126A1 (en) * 2015-01-15 2016-07-21 Xerox Corporation Methods and systems for crowdsourcing software development project
CN106294118A (zh) * 2015-06-12 2017-01-04 富士通株式会社 信息处理设备以及信息处理方法
CN106203893A (zh) * 2016-09-09 2016-12-07 扬州大学 一种众包环境下的基于遗传算法的任务分配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YING LIU 等: "Research on Recommendation Algorithm for Mobile Application Crowdsourcing Testers", 《3RD ANNUAL 2017 INTERNATIONAL CONFERENCE ON MANAGEMENT SCIENCE AND ENGINEERING (MSE 2017) ADVANCES IN ECONOMICS, BUSINESS AND MANAGEMENT RESEARCH》 *
YING LIU 等: "Research on Recommended Method for Crowdsourcing Task of Mobile Application Based on Top-K Algorithm", 《2017 5TH INTERNATIONAL CONFERENCE ON MECHATRONICS, MATERIALS, CHEMISTRY AND COMPUTER ENGINEERING (ICMMCCE 2017) ADVANCES IN ENGINEERING RESEARCH》 *
刘莹 等: "移动应用众包测试人员评价模型", 《计算机应用》 *
安刚 等: "基于行为分析的移动应用众包测试人员画像方法研究", 《西北工业大学学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460978A (zh) * 2018-11-15 2019-03-12 泉州师范学院 一种基于社会关系认知的群智服务节点选择算法
CN109460978B (zh) * 2018-11-15 2021-12-03 泉州师范学院 一种基于社会关系认知的群智服务节点选择方法
CN109324978B (zh) * 2018-11-28 2022-05-24 北京精密机电控制设备研究所 一种多人协同的软件测试管理系统
CN109324978A (zh) * 2018-11-28 2019-02-12 北京精密机电控制设备研究所 一种多人协同的软件测试管理系统
CN110096569A (zh) * 2019-04-09 2019-08-06 中国科学院软件研究所 一种众测人员集合推荐方法
CN110276655A (zh) * 2019-05-07 2019-09-24 中国矿业大学 基于匈牙利算法的众包平台新任务多目标推荐方法
CN110222940A (zh) * 2019-05-13 2019-09-10 西安工业大学 一种众包测试平台测试人员推荐算法
CN110222940B (zh) * 2019-05-13 2023-06-23 西安工业大学 一种众包测试平台测试人员推荐算法
CN110348810A (zh) * 2019-07-16 2019-10-18 河北冀联人力资源服务集团有限公司 团队推荐方法及系统
CN110443502A (zh) * 2019-08-06 2019-11-12 合肥工业大学 基于工人能力测评的众包任务推荐方法和系统
CN112346958A (zh) * 2019-08-07 2021-02-09 南京慕测信息科技有限公司 一种面向协作式众包测试的质量控制方法
CN110928764A (zh) * 2019-10-10 2020-03-27 中国人民解放军陆军工程大学 移动应用众包测试报告自动化评估方法及计算机存储介质
CN110928764B (zh) * 2019-10-10 2023-08-11 中国人民解放军陆军工程大学 移动应用众包测试报告自动化评估方法及计算机存储介质
CN111522733B (zh) * 2020-03-16 2021-06-01 中国科学院软件研究所 众包测试人员推荐与众包测试方法及电子装置
CN111522733A (zh) * 2020-03-16 2020-08-11 中国科学院软件研究所 众包测试人员推荐与众包测试方法及电子装置
CN111311129A (zh) * 2020-03-31 2020-06-19 广东电网有限责任公司 配电网配调值班任务自动分工方法、系统及计算机设备
CN111932108A (zh) * 2020-08-06 2020-11-13 北京航空航天大学杭州创新研究院 一种面向群体软件过程的开发人员推荐方法
CN111932108B (zh) * 2020-08-06 2022-07-19 北京航空航天大学杭州创新研究院 一种面向群体软件过程的开发人员推荐方法
CN111899023B (zh) * 2020-08-10 2024-01-26 成都理工大学 一种基于区块链的群智感知机器学习安全众包方法及系统
CN111899023A (zh) * 2020-08-10 2020-11-06 成都理工大学 一种基于区块链的群智感知机器学习安全众包方法及系统
CN112288306A (zh) * 2020-11-07 2021-01-29 西北工业大学 一种基于xgboost的移动应用众包测试任务推荐方法
CN112835701A (zh) * 2021-02-20 2021-05-25 何羽强 一种基于云计算的数据信息化采集和分析系统及方法
CN112835701B (zh) * 2021-02-20 2022-09-06 湖北省招标股份有限公司 一种基于云计算的数据信息化采集和分析系统及方法
CN113657787A (zh) * 2021-08-24 2021-11-16 广州番禺职业技术学院 基于学生能力匹配的众包测试任务分配方法
CN115018453A (zh) * 2022-05-23 2022-09-06 电子科技大学 一种岗位人才画像自动生成方法
CN115018453B (zh) * 2022-05-23 2024-04-09 电子科技大学 一种岗位人才画像自动生成方法
CN116415839A (zh) * 2023-02-10 2023-07-11 华南师范大学 一种基于可解释机器学习的众包任务分配方法及系统
CN116415839B (zh) * 2023-02-10 2023-11-28 华南师范大学 一种基于可解释机器学习的众包任务分配方法及系统
CN116703129A (zh) * 2023-08-07 2023-09-05 匠达(苏州)科技有限公司 基于人员数据画像的智能任务匹配调度方法及系统
CN116703129B (zh) * 2023-08-07 2023-10-24 匠达(苏州)科技有限公司 基于人员数据画像的智能任务匹配调度方法及系统

Similar Documents

Publication Publication Date Title
CN108804319A (zh) 一种改进Top-k众包测试平台任务的推荐方法
Kruse et al. Bertrand-Edgeworth competition in experimental markets
US6631362B1 (en) General decision-making support method and system
CN107230113A (zh) 一种多模型融合的房产评估方法
KR20030004316A (ko) 최종 입찰 결정 방법과 그 시스템, 및 컴퓨터
CN108170587A (zh) 系统功能模块配置评价方法
Huizingh et al. A comparison of verbal and numerical judgments in the analytic hierarchy process
Türegün Financial performance evaluation by multi-criteria decision-making techniques
CN109409739B (zh) 一种基于pomdp模型的众包平台任务分配方法
CN108596800A (zh) 一种基于贝叶斯的开放性答案决策方法
CN109902441A (zh) 一种基于kano模型原理的车辆性能指标权重分配系统及方法
CN109740036B (zh) Ota平台酒店排序方法及装置
CN116109195B (zh) 一种基于图卷积神经网络的绩效评估方法及系统
CN111784109A (zh) 一种基于毕达哥拉斯模糊集和vikor的供应商选择方法
KR20170080905A (ko) 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법
CN113570257A (zh) 基于评分模型的指标数据评估方法和装置、介质、设备
CN115456707A (zh) 提供商品推荐信息的方法、装置及电子设备
CN108596765A (zh) 一种金融电子资源推荐方法和装置
CN114663167A (zh) 基于拍品信息的估价方法、装置、电子设备及存储介质
WO2022005440A2 (en) A system and method for determining digital maturity level of organizations
CN110264364B (zh) 一种投资方的推荐方法
CN115186174A (zh) 基于机器学习的众包任务个性化推荐方法和系统
CN116089801A (zh) 一种基于多重置信度的医疗数据缺失值修复的方法
CN115713441A (zh) 基于AHP-Fuzzy算法和神经网络的教学质量评价方法与系统
CN113657787A (zh) 基于学生能力匹配的众包测试任务分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181113

WD01 Invention patent application deemed withdrawn after publication