CN110222940B - 一种众包测试平台测试人员推荐算法 - Google Patents

一种众包测试平台测试人员推荐算法 Download PDF

Info

Publication number
CN110222940B
CN110222940B CN201910393407.8A CN201910393407A CN110222940B CN 110222940 B CN110222940 B CN 110222940B CN 201910393407 A CN201910393407 A CN 201910393407A CN 110222940 B CN110222940 B CN 110222940B
Authority
CN
China
Prior art keywords
task
tester
test
testers
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910393407.8A
Other languages
English (en)
Other versions
CN110222940A (zh
Inventor
成静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN201910393407.8A priority Critical patent/CN110222940B/zh
Publication of CN110222940A publication Critical patent/CN110222940A/zh
Application granted granted Critical
Publication of CN110222940B publication Critical patent/CN110222940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种众包测试平台测试人员推荐算法，本发明通过测试人员基本信息以及任务特征信息的智能推荐测试人员的方法，所采用的技术方案是通过测试人员的身份特征、技能经验和历史任务完成情况对用户进行画像建模，然后根据任务的测试要求和测试人员画像进行匹配分析，得到测试人员和任务的匹配度，然后经过匹配度分析，通过ETK‑Task推荐算法将任务智能推荐给测试人员。

Description

一种众包测试平台测试人员推荐算法
技术领域
本发明涉及软件测试领域，具体涉及一种利用测试平台任务的智能推荐方法。
背景技术
随着以智能手机为代表的移动计算技术的高速发展，移动应用已经融入到人们生活的各个方面。截至2018年4月底，在国内市场上监测到的移动应用为414万款。仅4月一个月，国内第三方应用商店与苹果应用商店就共有14万款移动应用上架。然而，移动应用存在使用场景复杂多样、测试周期短、招募测试人员成本高等问题，给移动应用测试带来很大困难。
众包测试技术对于解决招募测试人员(测试者)困难等移动应用测试的难题具有独特优势。因此，众包测试技术进入了发展的黄金期。Usertesting、UberTesters、Sobug、Testin、Alltesting等一大批国内外众包测试平台兴起，致力于移动应用的质量保证服务。然而随着众测平台上大量测试任务发布，测试人员注册，众测平台遇到了人员个性化匹配任务困难、甄选高质量人员困难的问题，其主要原因有二点：
第一，任务信息过载，人员个性化匹配任务困难。任务类型繁多，测试需求各异，一些测试任务甚至提出包括工作方式、测试经验等高精度匹配条件的要求。然而实际情况是测试人员盲目地依赖关键词搜索、顺序选择，很难找到偏好并擅长的测试任务。此外，不合适的任务匹配也将影响到测试人员测试水平的提升。
第二，客户(即任务发布者)甄选测试人员困难。传统的方式是由测试人员主动申领测试任务，客户甄选并分配测试人员。但这种等待型的模式，使客户视野狭窄，很难招募到高水平、匹配度高的测试人员。此外测试人员良莠不齐，测试水平参差不齐，使客户甄选测试质量高的测试人员难度进一步上升。
这种测试人员与任务匹配难题，也将影响到移动应用众包测试平台的长期发展。通过查找国内外文献，发现推荐算法能成功处理信息过载，选择困难等问题。这与众测平台任务与人员匹配难问题十分契合。同时，推荐算法这项技术相对成熟，现已广泛应用在电子商务等领域。因此，移动应用众包测试领域急需引入任务推荐算法，助力平台的良性发展。但由于众包测试属于新兴领域，就本发明所知，国内外尚没有众包测试领域的推荐方法的研究。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种众包测试平台测试人员推荐算法，有效的解决了目前众包测试社区测试人员推荐的问题。
技术方案
一种众包测试平台测试人员推荐算法，其特征在于步骤如下：
步骤1：构建任务资源库
从平台数据集中随机选取500个已完成的功能性测试类型任务，构建初始的任务资源库TRP，如公式(14)所示：
Figure GDA0004096656140000021
式中：
Ti—第i个功能性测试类型任务的特征向量；
femi—第i个功能性测试类型任务的第m个特征；
步骤2：构建测试人员资源库
从平台数据集的任务人员关系中，提取出所有参与了TRP中测试任务的测试人员，称作任务的相关测试人员，条件是测试人员已经完成过该任务且测试报告评价为优秀和高级，所述的优秀为具有5年以及以上测试经验，所述的高级为具有3年以上至5年测试经验；然后组建测试人员资源库PRP，如公式(15)、公式(16)、公式(17)所示：
Figure GDA0004096656140000031
TaskP ＝ {TaskP1, TaskP2,…,TaskPk} (16)
Figure GDA0004096656140000034
式中：
PRP—任务资源库中所有任务的所有相关测试人员集合；
Pi—第i个测试人员的n维特征列向量；
chni—第i个测试人员的第n维特征；
TaskP—各个任务相关测试人员的集合；
TaskPi—第i个任务相关的测试人员集合；
TaPij—第i个任务相关的第j个测试人员；
Figure GDA0004096656140000035
即表示第i任务相关的测试者一定在PRP中；数据集中的任意两个任务Ti,Tj，满足|TaskPi∩TaskPj|≥0的关系，即表示存在某些测试人员都参与到Ti,Tj测试任务中并且提交的测试报告被评为优秀，由公式(15)、(16)和(17)可以推出公式(18)，表明各个任务的相关测试人员共同组成了PRP：
Figure GDA0004096656140000032
式中：
k＝|TRP|—任务资源库中任务的个数；
步骤3：计算标杆测试者
标杆测试者也称为标准测试者，计算任务资源库中的每个任务的10个测试人员的平均特征向量Pi'，将Pi'添加到标杆测试者队列PL中：
Figure GDA0004096656140000033
式中：
Pi'—PRP对应得标杆测试者特征向量；
TaskPj—PRP的第j个测试任务的特征向量；
步骤4：生成该测试类型人员预测器
生成该测试类型的人员预测器pdictor，pdictor的计算过程如公式(20)到(25)所示；记PL为P，TRP为T，人员预测器pdictor为A；P是n*k的矩阵，T是m*k的矩阵，A是n*m的矩阵；
P ＝ PL ＝ (flagP1,flagP2,…,flagPk) (20)
flagPi ＝ ( ch1i,ch2i,…,chni)T (i ＝ 1,2,3…) (21)
Figure GDA0004096656140000041
Figure GDA0004096656140000042
Figure GDA0004096656140000043
AT ＝ P (25)
公式(25)使用部分数据集，包含真实的任务集和与任务相关的完成质量较好的测试者集合，来训练出人员预测器；公式(20)等号两边同乘以矩阵T的转置矩阵TT，得：
ATTT ＝ PTT (26)
公式(26)左边展开等于，如公式(27)所示：
Figure GDA0004096656140000044
公式(26)右边展开等于，如公式(28)所示：
Figure GDA0004096656140000051
记Q＝TTT，使用公式(26)求解人员预测器A的关键是判断Q这个m阶方阵的逆矩阵Q-1是否存在，展开式如公式(29)；
Figure GDA0004096656140000052
当|Q|≠0时，公式(26)变形为公式(31)
A ＝ PTTQ-1 (31)
故可求得该测试类型人员预测器pdictor，如公式(32)所示：
Figure GDA0004096656140000053
式中：
Q*—Q的伴随矩阵；
|Q|—Q的行列式；
步骤5：生成测试人员推荐队列
步骤5a：进行硬性指标匹配
所述的硬性指标包含测试人员学历、常在地、工作方式、手机设备需求信息、任务测试类型；
其中测试人员学历匹配如下表：
Figure GDA0004096656140000054
Figure GDA0004096656140000061
其中工作方式匹配如下：
将任务工作方式分为五种：不可接受加班、工作日加班、周末加班、节假日加班和短期封闭，如果客户发布的任务对这方面无要求时，默认将匹配值量化为1；任务方式匹配值的计算过程如公式(33)和(34)所示；
Figure GDA0004096656140000062
Figure GDA0004096656140000063
式中：
W—平台所有工作方式的集合；
T1—测试人员可接受的工作方式集合；
R—客户发布任务时，选择的工作方式集合；
|T1∩R|—测试者的工作方式与发布任务的工作的交集；
当MRTW＝0时，表示测试人员的工作方式与任务需求的工作方式不匹配，当MRTW＝1时代表测试人员的工作方式符合任务需求的工作方式；
其中常在地匹配如下：
常在地是指测试人员实际测试的地域，常在地匹配值是计算任务的常在地与人员的常在地这个硬指标的匹配值，计算过程如公式(35)和(36)所示；
Figure GDA0004096656140000071
Figure GDA0004096656140000072
式中：
area—平台可选常在地的集合；
T2—测试人员的常在地集合；
R—任务选择的常在地集合；
其中任务测试类型如下：
任务测试类型匹配值是任务与人员在测试类型维度上的匹配值，如公式(37)和(38)所示；
Figure GDA0004096656140000073
Figure GDA0004096656140000074
式中：
C—测试类型的集合；
T1—测试人员熟悉的测试类型；
R1—发布任务的测试类型；
其中手机设备需求信息匹配如下：
手机设备需求信息用来判断任务需求设备信息与人员具有设备信息是否匹配；
定义设备需求四元组
rj＝{d1,d2,d3,d4}(j＝1,2,…)
其中，d1为设备需求的子匹配项包括设备的品牌，d2为型号，d3为操作系统版本，d4为网络环境；
RD为测试任务的设备需求集合
RD＝{r1,r2,r3....ri}(i＝1,2,…)
TD为测试者的设备需求四元组集合
TD＝{r1,r2,r3....rn}(n＝1,2,…)
Figure GDA0004096656140000081
当MVERI＝0，测试人员与任务设备需求匹配不成功；当MVERI＝1，测试人员与任务设备需求匹配成功；
计算了测试人员与测试任务在学历MVEB、常在地ARV、任务工作方式MRTW、设备需求信息MVERI、测试类型方面的匹配值MVTT后，使用公式(40)计算硬性需求的匹配值MVOHR；当MVOHR为0的时候，则说明该测试人员不适合这个任务，当MVOHR为1的时候，进行步骤5b；
MVOHR＝ MVEB *ARV* MRTW* MVERI*MVTT (40)
步骤5b：进行软性指标匹配
计算候选测试者与新任务的总匹配值TMVal，定义如(41)所示；
Figure GDA0004096656140000082
Figure GDA0004096656140000091
式中：
Similarity—标杆测试者与候选测试者的相似度；
α,β—两个参数，为常数；
A—标杆测试者的软指标向量；
B—候选测试者的软指标向量；
Ai—标杆测试者的软指标向量的第i个分量；
Bi—候选测试者的软指标向量的第i个分量；
Figure GDA0004096656140000092
—候选测试者ci类型的任务熟练度；
ci—新任务的测试类型；
将各个测试人员的编号根据TMVal的值将前50个测试人员添加到推荐队列；
所述的软性指标向量包括测试领域兴趣度FDTF、单次任务执行效率EEST和任务熟练度；
所述的测试领域兴趣度FDTF的计算公式如(4)和(5)所示：
F＝{fi: f1 ,f2 ,…,f|F|} (i ＝ 1,2,…|F|) (4)
Figure GDA0004096656140000093
式中：
F—测试领域的集合；
fi—任意一个测试领域；
Figure GDA0004096656140000094
—测试人员j对领域f_i的领域兴趣度；
Figure GDA0004096656140000095
—测试人员j完成领域f_i的任务数；
CTj—测试人员j完成所有领域的任务数；
所述的单次任务执行效率EEST的计算公式如(7)所示：
Figure GDA0004096656140000101
式中：
z—放大系数；
γi—第i个时间节点与第i-1时间节点时间增量与时间形成的夹角；
βi—第i个时间节点规定进度折线增量形成的角度；
n—时间点的个数，也是公式的迭代次数；
所述的任务熟练度的计算公式如(11)和(12)所示：
C＝{Cj:C1,C2,…,C|C|}(j＝1,2,…|C|) (11)
Figure GDA0004096656140000102
式中：
C—测试类型的集合；
Cj—任意一个测试类型；
PTCk,j—测试者k对测试类型j的测试熟练程度；
fMaxVali—第i级缺陷的上限值；
fwi—第i级缺陷的权重；
fNumk,j,i—测试者k发现类型j中所有的第i级缺陷数；
min(fNumk,j,i,fMaxVali)—求fNumi与上限值的最小值的函数；
max(fNumk,j,i,fMaxVali)—求fNumi与上限值的最大值的函数。
有益效果
本发明提出的一种众包测试平台测试人员推荐算法，通过众包测试平台实现个性化的人员匹配服务，可以极大地提升平台可用性和长期发展；众包测试人员可以匹配到适合有助于水平提高的测试任务，提高学习测试业务的积极性；众包测试客户为任务找到合适，专业的测试人员，得到高质量的测试结果。同时解决了移动应用众包测试平台处理异常复杂的场景的需求。一方面解决了测试任务需求苛刻；另一方面解决了任务回报有差异，造成的测试人员个人诚信度不高，个人活跃度下降以及测试质量波动等问题。
本发明将为移动应用提供高水平的质量保证服务，助力于我国移动互联网技术发展。本发明可运用众包测试平台任务推荐，对其他众包平台推荐也有一定的借鉴作用。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明包括：第一步，构建任务资源库；第二步，构建测试人员资源库；第三步，计算每个任务的标杆测试者；第四步，生成该测试类型的人员预测器；第四步，生成测试人员推荐队列。具体步骤如下：
步骤1：构建任务资源库
从平台数据集中随机选取500个已完成的功能性测试类型任务，构建初始的任务资源库TRP，如公式(14)所示：
Figure GDA0004096656140000111
式中：
Ti—第i个功能性测试类型任务的特征向量；
femi—第i个功能性测试类型任务的第m个特征；(即后面的硬性指标)
步骤2：构建测试人员资源库
从平台数据集的任务人员关系中，提取出所有参与了TRP中测试任务的测试人员，称作任务的相关测试人员，条件是测试人员已经完成过该任务且测试报告评价为优秀和高级，所述的优秀为具有5年以及以上测试经验，所述的高级为具有3年以上至5年测试经验；然后组建测试人员资源库PRP，如公式(15)、公式(16)、公式(17)所示：
Figure GDA0004096656140000121
TaskP ＝ {TaskP1, TaskP2,…,TaskPk} (16)
Figure GDA0004096656140000122
式中：
PRP—任务资源库中所有任务的所有相关测试人员集合；
Pi—第i个测试人员的n维特征列向量；(即后面的软性指标)
chni—第i个测试人员的第n维特征；
TaskP—各个任务相关测试人员的集合；
TaskPi—第i个任务相关的测试人员集合；
TaPij—第i个任务相关的第j个测试人员；
Figure GDA0004096656140000123
即表示第i任务相关的测试者一定在PRP中；数据集中的任意两个任务Ti,Tj，满足|TaskPi∩TaskPj|≥0的关系，即表示存在某些测试人员都参与到Ti,Tj测试任务中并且提交的测试报告被评为优秀，由公式(15)、(16)和(17)可以推出公式(18)，表明各个任务的相关测试人员共同组成了PRP：
Figure GDA0004096656140000124
式中：
k＝|TRP|—任务资源库中任务的个数；
步骤3：计算标杆测试者
标杆测试者也称为标准测试者，计算任务资源库中的每个任务的10个测试人员的平均特征向量Pi'，将Pi'添加到标杆测试者队列PL中：
Figure GDA0004096656140000131
式中：
Pi'—PRP对应得标杆测试者特征向量；
TaskPj—PRP的第j个测试任务的特征向量；
步骤4：生成该测试类型人员预测器
有了前三步的基础后，最后生成该测试类型的人员预测器pdictor。生成该测试类型的人员预测器pdictor，pdictor的计算过程如公式(20)到(25)所示；记PL为P，TRP为T，人员预测器pdictor为A；P是n*k的矩阵，T是m*k的矩阵，A是n*m的矩阵；
P ＝ PL ＝ (flagP1,flagP2,…,flagPk) (20)
flagPi ＝ ( ch1i,ch2i,…,chni)T (i ＝ 1,2,3…) (21)
Figure GDA0004096656140000132
Figure GDA0004096656140000133
Figure GDA0004096656140000134
AT ＝ P (25)
公式(25)使用部分数据集，包含真实的任务集和与任务相关的完成质量较好的测试者集合，来训练出人员预测器；公式(20)等号两边同乘以矩阵T的转置矩阵TT，得：
ATTT ＝ PTT (26)
公式(26)左边展开等于，如公式(27)所示：
Figure GDA0004096656140000141
公式(26)右边展开等于，如公式(28)所示：
Figure GDA0004096656140000142
记Q＝TTT，使用公式(26)求解人员预测器A的关键是判断Q这个m阶方阵的逆矩阵Q-1是否存在，展开式如公式(29)；
Figure GDA0004096656140000143
当|Q|≠0时，公式(26)变形为公式(31)
A ＝ PTTQ-1 (31)
故可求得该测试类型人员预测器pdictor，如公式(32)所示：
Figure GDA0004096656140000144
式中：
Q*—Q的伴随矩阵；
|Q|—Q的行列式；
人员预测器是一个n*m的矩阵，可以发现pdictor不会随着训练中样本量的增大而发生维度的变化。
步骤5：生成测试人员推荐队列
步骤5a：进行硬性指标匹配
硬性需求的匹配值也叫硬指标匹配，定义为(Matching Value of HardRequirements，MVOHR)，其核心是计算MVOHR的值，如公式(40)所示。一个任务的硬性需求特征是必须被测试人员满足的。所以任务与人员的MVOHR值只能是1或0。本发明，决定采用布尔匹配方法。硬性需求特征包含测试人员学历、常在地、工作方式、手机设备需求信息，任务测试类型。
任务学历需求与测试者学历的匹配值(Matching Value of educationalbackground，MVEB)量化。
其中测试人员学历匹配如下表：
任务学历需求与测试者学历匹配值
Figure GDA0004096656140000151
Figure GDA0004096656140000161
其中工作方式匹配如下：
本发明将任务工作方式分为五种。即可接受加班和不可接受加班两类。其中不可接受加班又分为工作日加班、周末加班、节假日加班、短期封闭。如果客户发布的任务对这方面无要求时，默认将匹配值量化为1。任务方式匹配值(Matching Ratio of Task Way，MRTW)的计算过程如公式(33)和(34)所示。
Figure GDA0004096656140000162
Figure GDA0004096656140000163
式中：
W—平台所有工作方式的集合；
T1—测试人员可接受的工作方式集合；
R—客户发布任务时，选择的工作方式集合；
|T1∩R|—测试者的工作方式与发布任务的工作的交集；
当MRTW＝0时，表示测试人员的工作方式与任务需求的工作方式不匹配，当MRTW＝1时代表测试人员的工作方式符合任务需求的工作方式；
其中常在地匹配如下：
常在地是指测试人员实际测试的地域。常在地匹配值(ARV)是计算任务的常在地与人员的常在地这个硬指标的匹配值，计算过程如公式(35)和(36)所示。
Figure GDA0004096656140000171
Figure GDA0004096656140000172
式中：
area—平台可选常在地的集合；
T2—测试人员的常在地集合；
R—任务选择的常在地集合；
其中任务测试类型如下：
任务测试类型匹配值(Matching Value of Testing Type,MVTT)是任务与人员在测试类型维度上的匹配值，如公式(37)和(38)所示。
Figure GDA0004096656140000173
Figure GDA0004096656140000174
式中：
C—测试类型的集合；
T1—测试人员熟悉的测试类型；
R1—发布任务的测试类型；
由于人员与任务需求的常在地匹配值、任务测试类型匹配值，原理上是通过两个集合交集是否为空计算。计算原理与公式(34)相同，计算意义也与公式(34)类似。这里不再给出公式(37)和公式(38)的解释。
其中手机设备需求信息匹配如下：
设备需求信息匹配值(Matching Value of Equipment RequirementInformation,MVERI)，用来判断任务需求设备信息与人员具有设备信息是否匹配。设备需求的子匹配项包括设备的品牌(d1)、型号(d2)、操作系统版本(d3)和网络环境(d4)。
定义设备需求四元组
rj＝{d1,d2,d3,d4}(j＝1,2,…)
RD为测试任务的设备需求集合
RD＝{r1,r2,r3....ri}(i＝1,2,…)
TD为测试者的设备需求四元组集合
TD＝{r1,r2,r3....rn}(n＝1,2,…)
Figure GDA0004096656140000181
当MVERI＝0，测试人员与任务设备需求匹配不成功；当MVERI＝1，测试人员与任务设备需求匹配成功；
本发明计算了测试人员与测试任务在学历MVEB、常在地ARV、任务工作方式MRTW、设备需求信息MVERI、测试类型方面的匹配值MVTT后，使用公式(40)计算硬性需求的匹配值MVOHR；当MVOHR为0的时候，则说明该测试人员不适合这个任务，当MVOHR为1的时候，进行步骤5b；
MVOHR＝ MVEB *ARV* MRTW* MVERI*MVTT (40)
步骤5b：进行软性指标匹配
计算候选测试者与新任务的总匹配值TMVal，定义如(41)所示；
Figure GDA0004096656140000182
Figure GDA0004096656140000183
式中：
Similarity—标杆测试者与候选测试者的相似度；
α,β—两个参数，为常数；
A—标杆测试者的软指标向量；
B—候选测试者的软指标向量；
Ai—标杆测试者的软指标向量的第i个分量；
Bi—候选测试者的软指标向量的第i个分量；
Figure GDA0004096656140000191
—候选测试者ci类型的任务熟练度；
ci—新任务的测试类型；
将各个测试人员的编号根据TMVal的值将前50个测试人员添加到推荐队列；
所述的软性指标向量包括测试领域兴趣度FDTF、单次任务执行效率EEST和任务熟练度；
所述的测试领域兴趣度(Favour Degree of Testing Field,FDTF)衡量测试人员对某个测试领域的偏好程度，进一步封装了兴趣度。偏好程度是一个0到1的实数，0表示测试人员对该领域完全没有兴趣，1表示测试人员对领域兴趣最浓厚。其中测试领域分为游戏、影音等，领域兴趣度的计算过程如公式(4)和(5)所示。
F＝{fi: f1 ,f2 ,…,f|F|} (i ＝ 1,2,…|F|) (4)
Figure GDA0004096656140000192
式中：
F—测试领域的集合；
fi—任意一个测试领域；
Figure GDA0004096656140000193
—测试人员j对领域f_i的领域兴趣度；/>
Figure GDA0004096656140000194
—测试人员j完成领域f_i的任务数；
CTj—测试人员j完成所有领域的任务数；
所述的单次任务执行效率(Execution Efficiency of Single Task,EEST)衡量测试人员的任务执行速度与效率。单次任务执行效率EEST的计算公式如公式(7)所示，公式的最小值逼近0，最大值逼近1。当EEST的值逼近1时，表明测试者一个任务的执行效率高，当EEST的值逼近0时，表明测试者的任务执行效率很低。当
Figure GDA0004096656140000201
时，测试者的实际执行效率水平与规定效率一致；/>
Figure GDA0004096656140000202
时，测试者的执行效率高于任务规定水平；/>
Figure GDA0004096656140000203
时，测试者的执行效率低于任务规定水平。
Figure GDA0004096656140000204
式中：
z—放大系数；
γi—第i个时间节点与第i-1时间节点时间增量与时间形成的夹角；
βi—第i个时间节点规定进度折线增量形成的角度；
n—时间点的个数，也是公式的迭代次数；
设定放大系数z的作用是将执行效率的值归一化为(0，1)。经过不断的调参之后，本发明将放大系数z设置为12时，将所有的βi设定为45°。
所述的任务熟练度的计算公式如(11)和(12)所示：
C＝{Cj:C1,C2,…,C|C|}(j＝1,2,…|C|) (11)
Figure GDA0004096656140000205
式中：
C—测试类型的集合；
Cj—任意一个测试类型；
PTCk,j—测试者k对测试类型j的测试熟练程度；
fMaxVali—第i级缺陷的上限值；
fwi—第i级缺陷的权重；
fNumk,j,i—测试者k发现类型j中所有的第i级缺陷数；
min(fNumk,j,i,fMaxVali)—求fNumi与上限值的最小值的函数；
max(fNumk,j,i,fMaxVali)—求fNumi与上限值的最大值的函数。
任务熟练度模型(Proficiency Model of Testing Category,PMTC)是度量测试者对各个测试领域熟练水平的指标。本发明首先计算各个缺陷等级权重，然后计算出每个测试类型的任务熟练度。在此基础上，得到了测试者对各个测试类型熟练水平的情况。任务熟练度模型如公式(13)。下面首先介绍缺陷等级的计算方法。
缺陷等级与缺陷严重等级一一对应，在一定程度上代表了缺陷被发现的难度。移动应用众包测试平台的缺陷严重等级如表8所示。
表8缺陷严重等级对应表
Figure GDA0004096656140000211
Figure GDA0004096656140000221
各级缺陷权重(Fault Weight,fw)是由逆文档频率(inverse documentfrequency,idf)的思想得来的，来度量各级缺陷的普遍重要性。首先构建一个缺陷报告库，然后计算各级缺陷的权重。计算公式如公式(9)所示。
Figure GDA0004096656140000222
式中：
fwi——第i级缺陷的权重；
D——缺陷报告库中所有缺陷报告的集合；
|D|——缺陷报告库中缺陷报告的总数；
fi——第j个缺陷报告；
fi——第i级别缺陷；
|{j:fi∈dj}|——包含第i级缺陷fi的报告总数。
计算任务熟练度PTC
测试类型任务熟练度(Proficiency of Testing Category,PTC)，是衡量测试者对某个测试类型的熟练程度。熟练程度是一个取值为0到1的实数。0表示测试者没有熟悉过该种类型的任务，胜任该类任务困难；1表示测试者对该类任务测试水平高，胜任能力强。测试类型集合定义为公式(11)。PTC计算过程如公式(12)所示。
C＝{Cj:C1,C2,…,C|C|}(j＝1,2,…|C|) (11)
Figure GDA0004096656140000223
式中：
C——测试类型的集合；
Cj——任意一个测试类型；
PTCk,j——测试者k对测试类型j的测试熟练程度；
fMaxVali——第i级缺陷的上限值；
fwi——第i级缺陷的权重，由公式(9)确定；
fNumk,j,i——测试者k发现类型j中所有的第i级缺陷数；
min(fNumk,j,i,fMaxVali)——求fNumi与上限值的最小值的函数；
max(fNumk,j,i,fMaxVali)——求fNumi与上限值的最大值的函数。
得出任务熟练度模型PMTC
计算出每种测试类型的任务熟练度后，得出任务熟练度模型PMTC，如公式(13)所示。公式(13)是由公式(11)和(12)推导得到的。
Figure GDA0004096656140000231
式中：
ci——测试类型ci；
Figure GDA0004096656140000232
——ci测试类型的任务熟练度。
通过本发明，众包测试平台实现个性化的测试人员匹配服务，可以极大地提升平台可用性和长期发展；众包测试人员可以匹配到适合有助于水平提高的测试任务，提高学习测试业务的积极性；众包测试客户为任务找到合适，专业的测试人员，得到高质量的测试结果。本发明将为移动应用提供高水平的质量保证服务，助力于我国移动互联网技术发展。本发明可运用众包测试平台任务推荐，对其他众包平台推荐也有一定的借鉴作用。

Claims (1)

1.一种众包测试平台测试人员推荐算法，其特征在于步骤如下：
步骤1：构建任务资源库
从平台数据集中随机选取500个已完成的功能性测试类型任务，构建初始的任务资源库TRP，如公式(14)所示：
Figure QLYQS_1
式中：
Ti—第i个功能性测试类型任务的特征向量；
femi—第i个功能性测试类型任务的第m个特征；
步骤2：构建测试人员资源库
从平台数据集的任务人员关系中，提取出所有参与了TRP中测试任务的测试人员，称作任务的相关测试人员，条件是测试人员已经完成过该任务且测试报告评价为优秀和高级，所述的优秀为具有5年以及以上测试经验，所述的高级为具有3年以上至5年测试经验；然后组建测试人员资源库PRP，如公式(15)、公式(16)、公式(17)所示：
Figure QLYQS_2
TaskP ＝ {TaskP1, TaskP2,…,TaskPk} (16)
Figure QLYQS_3
式中：
PRP—任务资源库中所有任务的所有相关测试人员集合；
Pi—第i个测试人员的n维特征列向量；
chni—第i个测试人员的第n维特征；
TaskP—各个任务相关测试人员的集合；
TaskPi—第i个任务相关的测试人员集合；
TaPij—第i个任务相关的第j个测试人员；
Figure QLYQS_4
即表示第i任务相关的测试者一定在PRP中；数据集中的任意两个任务Ti,Tj，满足|TaskPivTaskPj|≥0的关系，即表示存在某些测试人员都参与到Ti,Tj测试任务中并且提交的测试报告被评为优秀，由公式(15)、(16)和(17)可以推出公式(18)，表明各个任务的相关测试人员共同组成了PRP：
Figure QLYQS_5
式中：
k＝|TRP|—任务资源库中任务的个数；
步骤3：计算标杆测试者
标杆测试者也称为标准测试者，计算任务资源库中的每个任务的10个测试人员的平均特征向量Pi'，将Pi'添加到标杆测试者队列PL中：
Figure QLYQS_6
式中：
Pi'—PRP对应得标杆测试者特征向量；
TaskPj—PRP的第j个测试任务的特征向量；
步骤4：生成该测试类型人员预测器
生成该测试类型的人员预测器pdictor，pdictor的计算过程如公式(20)到(25)所示；记PL为P，TRP为T，人员预测器pdictor为A；P是n*k的矩阵，T是m*k的矩阵，A是n*m的矩阵；
P ＝ PL ＝ (flagP1,flagP2,…,flagPk) (20)
flagPi ＝ ( ch1i,ch2i,…,chni)T (i ＝ 1,2,3…) (21)
Figure QLYQS_7
Figure QLYQS_8
Figure QLYQS_9
AT ＝ P (25)
公式(25)使用部分数据集，包含真实的任务集和与任务相关的完成质量较好的测试者集合，来训练出人员预测器；公式(20)等号两边同乘以矩阵T的转置矩阵TT，得：
ATTT ＝ PTT (26)
公式(26)左边展开等于，如公式(27)所示：
Figure QLYQS_10
公式(26)右边展开等于，如公式(28)所示：
Figure QLYQS_11
记Q＝TTT，使用公式(26)求解人员预测器A的关键是判断Q这个m阶方阵的逆矩阵Q-1是否存在，展开式如公式(29)；
Figure QLYQS_12
当|Q|≠0时，公式(26)变形为公式(31)
A ＝ PTTQ-1 (31)
故可求得该测试类型人员预测器pdictor，如公式(32)所示：
Figure QLYQS_13
式中：
Q*—Q的伴随矩阵；
|Q|—Q的行列式；
步骤5：生成测试人员推荐队列
步骤5a：进行硬性指标匹配
所述的硬性指标包含测试人员学历、常在地、工作方式、手机设备需求信息、任务测试类型；
其中测试人员学历匹配如下表：
Figure QLYQS_14
其中工作方式匹配如下：
将任务工作方式分为五种：不可接受加班、工作日加班、周末加班、节假日加班和短期封闭，如果客户发布的任务对这方面无要求时，默认将匹配值量化为1；任务方式匹配值的计算过程如公式(33)和(34)所示；
W＝{w1,w2,w3,w4,w5}
Figure QLYQS_15
Figure QLYQS_16
式中：
W—平台所有工作方式的集合；
T1—测试人员可接受的工作方式集合；
R—客户发布任务时，选择的工作方式集合；
|T1∩R|—测试者的工作方式与发布任务的工作的交集；
当MRTW＝0时，表示测试人员的工作方式与任务需求的工作方式不匹配，当MRTW＝1时代表测试人员的工作方式符合任务需求的工作方式；
其中常在地匹配如下：
常在地是指测试人员实际测试的地域，常在地匹配值是计算任务的常在地与人员的常在地这个硬指标的匹配值，计算过程如公式(35)和(36)所示；
area＝{a1,a2,a3,a4,…,an}
Figure QLYQS_17
Figure QLYQS_18
式中：
area—平台可选常在地的集合；
T2—测试人员的常在地集合；
R—任务选择的常在地集合；
其中任务测试类型如下：
任务测试类型匹配值是任务与人员在测试类型维度上的匹配值，如公式(37)和(38)所示；
Figure QLYQS_19
Figure QLYQS_20
式中：
C—测试类型的集合；
T1—测试人员熟悉的测试类型；
R1—发布任务的测试类型；
其中手机设备需求信息匹配如下：
手机设备需求信息用来判断任务需求设备信息与人员具有设备信息是否匹配；
定义设备需求四元组
rj＝{d1,d2,d3,d4}(j＝1,2,…)
其中，d1为设备需求的子匹配项包括设备的品牌，d2为型号，d3为操作系统版本，d4为网络环境；
RD为测试任务的设备需求集合
RD＝{r1,r2,r3....ri}(i＝1,2,…)
TD为测试者的设备需求四元组集合
TD＝{r1,r2,r3....rn}(n＝1,2,…)
Figure QLYQS_21
当MVERI＝0，测试人员与任务设备需求匹配不成功；当MVERI＝1，测试人员与任务设备需求匹配成功；
计算了测试人员与测试任务在学历MVEB、常在地ARV、任务工作方式MRTW、设备需求信息MVERI、测试类型方面的匹配值MVTT后，使用公式(40)计算硬性需求的匹配值MVOHR；当MVOHR为0的时候，则说明该测试人员不适合这个任务，当MVOHR为1的时候，进行步骤5b；
MVOHR＝ MVEB *ARV* MRTW* MVERI*MVTT (40)
步骤5b：进行软性指标匹配
计算候选测试者与新任务的总匹配值TMVal，定义如(41)所示；
TMVal ＝ α*Similarity+β* PTCci (41)
Figure QLYQS_22
式中：
Similarity—标杆测试者与候选测试者的相似度；
α,β—两个参数，为常数；
A—标杆测试者的软指标向量；
B—候选测试者的软指标向量；
Ai—标杆测试者的软指标向量的第i个分量；
Bi—候选测试者的软指标向量的第i个分量；
Figure QLYQS_23
—候选测试者ci类型的任务熟练度；
ci—新任务的测试类型；
将各个测试人员的编号根据TMVal的值将前50个测试人员添加到推荐队列；
所述的软指标向量包括测试领域兴趣度FDTF、单次任务执行效率EEST和任务熟练度；
所述的测试领域兴趣度FDTF的计算公式如(4)和(5)所示：
F＝{fi:f1,f2,…,f|F|}(i＝1,2,…|F|) (4)
Figure QLYQS_24
式中：
F—测试领域的集合；
fi—任意一个测试领域；
Figure QLYQS_25
—测试人员j对领域f_i的领域兴趣度；
Figure QLYQS_26
—测试人员j完成领域f_i的任务数；
CTj—测试人员j完成所有领域的任务数；
所述的单次任务执行效率EEST的计算公式如(7)所示：
Figure QLYQS_27
式中：
z—放大系数；
γi—第i个时间节点与第i-1时间节点时间增量与时间形成的夹角；
βi—第i个时间节点规定进度折线增量形成的角度；
n—时间点的个数，也是公式的迭代次数；
所述的任务熟练度的计算公式如(11)和(12)所示：
C＝{Cj:C1,C2,…,C|C|}(j＝1,2,…|C|) (11)
Figure QLYQS_28
式中：
C—测试类型的集合；
Cj—任意一个测试类型；
PTCk,j—测试者k对测试类型j的测试熟练程度；
Figure QLYQS_29
—第i级缺陷的上限值；
fwi—第i级缺陷的权重；
fNumk,j,i—测试者k发现类型j中所有的第i级缺陷数；
min(fNumk,j,i,fMaxVali)—求fNumi与上限值的最小值的函数；max（fNumk,j,i,fMaxVali）—求fNumi与上限值的最大值的函数。
CN201910393407.8A 2019-05-13 2019-05-13 一种众包测试平台测试人员推荐算法 Active CN110222940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910393407.8A CN110222940B (zh) 2019-05-13 2019-05-13 一种众包测试平台测试人员推荐算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910393407.8A CN110222940B (zh) 2019-05-13 2019-05-13 一种众包测试平台测试人员推荐算法

Publications (2)

Publication Number Publication Date
CN110222940A CN110222940A (zh) 2019-09-10
CN110222940B true CN110222940B (zh) 2023-06-23

Family

ID=67820823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393407.8A Active CN110222940B (zh) 2019-05-13 2019-05-13 一种众包测试平台测试人员推荐算法

Country Status (1)

Country Link
CN (1) CN110222940B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159043B (zh) * 2019-12-31 2024-02-27 中国银行股份有限公司 一种测试风险的自动识别方法及系统
CN111666207B (zh) * 2020-05-18 2021-06-15 中国科学院软件研究所 一种众包测试任务选择方法及电子装置
CN112055069B (zh) * 2020-08-31 2023-12-05 深圳供电局有限公司 一种电力自动化设备测试方法及系统
CN116579585B (zh) * 2023-07-12 2023-10-03 太平金融科技服务（上海）有限公司 资源分配方法、装置、计算机设备和存储介质
CN116703129B (zh) * 2023-08-07 2023-10-24 匠达(苏州)科技有限公司 基于人员数据画像的智能任务匹配调度方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804319A (zh) * 2018-05-29 2018-11-13 西北工业大学 一种改进Top-k众包测试平台任务的推荐方法
CN108874655A (zh) * 2017-05-15 2018-11-23 华为技术有限公司 一种处理众包测试数据的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223244B2 (en) * 2015-09-15 2019-03-05 Accenture Global Solutions Limited Test plan inspection platform
US10430324B2 (en) * 2017-01-11 2019-10-01 Smartlytics Llc System and method for automated intelligent mobile application testing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874655A (zh) * 2017-05-15 2018-11-23 华为技术有限公司 一种处理众包测试数据的方法及装置
CN108804319A (zh) * 2018-05-29 2018-11-13 西北工业大学 一种改进Top-k众包测试平台任务的推荐方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Tao Zhang et al..Crowdsourced Testing Services for Mobile Apps.2017 IEEE Symposium on Service-Oriented System Engineering.2017,全文. *
Xiaohang Zhang et al..Crowdsourced top-k algorithms: an experimental evaluation.Proceedings of the VLDB Endowment.2016,第9卷(第9期),全文. *
Ying Liu et al..Survey on Crowd-based Mobile App Testing.Proceedings of the 2019 11th International Conference on Machine Learning and Computing.2019,全文. *
刘莹等.移动应用众包测试人员评价模型.计算机应用.2017,第37卷(第12期),全文. *
安刚 ; 张涛 ; 成静 ; .基于行为分析的移动应用众包测试人员画像方法研究.西北工业大学学报.2017,(第06期),全文. *

Also Published As

Publication number Publication date
CN110222940A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110222940B (zh) 一种众包测试平台测试人员推荐算法
CN110597878B (zh) 一种多模态数据的跨模态检索方法、装置、设备及介质
CN108322317B (zh) 一种账号识别关联方法及服务器
JP6308708B1 (ja) 特許要件適否予測装置および特許要件適否予測プログラム
CN108304656B (zh) 一种劳务众包平台的任务接受情况仿真方法
CN111898839B (zh) 电力用户的重要程度分类方法及装置
Fuge et al. Automatically inferring metrics for design creativity
Conley et al. Estimating dynamic local interactions models
CN111754044A (zh) 员工行为审计方法、装置、设备及可读存储介质
CN112446629B (zh) 一种基于知识图谱的供应商选择方法
CN112883277A (zh) 一种设计师智能匹配方法、装置、设备及存储介质
CN109190040B (zh) 基于协同演化的个性化推荐方法及装置
CN114139065A (zh) 基于大数据的人才筛选推荐方法、系统及可读存储介质
CN113361928B (zh) 一种基于异构图注意力网络的众包任务推荐方法
Siswanto et al. Implementation of decision support system for campus promotion management using fuzzy multiple analytic decision making (FMADM) method (Case study: Universitas multimedia nusantara)
CN106960398A (zh) 高考志愿合理性的评估方法及装置
KR20200065123A (ko) 사용자 특성에 기초한 염색약 색상의 추천을 수행하는 전자 장치 및 그 동작 방법
CN114944219A (zh) 基于人工智能的心理量表推荐方法及装置、存储介质
CN111353793A (zh) Crm业务推荐方法及装置
CN109919811B (zh) 基于大数据的保险代理人培养方案生成方法及相关设备
US10650332B1 (en) Buyer-provider matching algorithm
Rosslyn-Smith et al. Establishing turnaround potential before commencement of formal turnaround proceedings
CN111882347A (zh) 模型性能的检测方法、装置、计算机设备及存储介质
CN112559868A (zh) 信息召回方法、装置、存储介质及电子设备
CN111932109A (zh) 一种面向移动短视频应用的用户影响力评价系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant