CN113448860A - 测试案例分析方法及装置 - Google Patents
测试案例分析方法及装置 Download PDFInfo
- Publication number
- CN113448860A CN113448860A CN202110779399.8A CN202110779399A CN113448860A CN 113448860 A CN113448860 A CN 113448860A CN 202110779399 A CN202110779399 A CN 202110779399A CN 113448860 A CN113448860 A CN 113448860A
- Authority
- CN
- China
- Prior art keywords
- test case
- feature vector
- target
- determining
- probability density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 334
- 238000004458 analytical method Methods 0.000 title claims abstract description 104
- 239000013598 vector Substances 0.000 claims abstract description 250
- 238000012549 training Methods 0.000 claims description 47
- 230000002159 abnormal effect Effects 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 21
- 238000003058 natural language processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000013210 evaluation model Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011990 functional testing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供一种测试案例分析方法及装置，属于人工智能技术领域，可应用于金融领域或其他领域。该测试案例分析方法包括：获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。本发明解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
Description
技术领域
本发明涉及人工智能技术领域，具体地，涉及一种测试案例分析方法及装置。
背景技术
项目开发流程的功能测试阶段需要测试人员编写大量的文字的测试案例，以完成对某个特定需求或功能的验证。文字测试案例用于帮助梳理测试分支，后续可用于确保自动化测试案例(脚本)覆盖功能点无遗漏。
审视这些大量的文字测试案例，会发现上述文字测试案例一般固定包含前提条件、输入、执行步骤和预期结果等基本组成内容，所有文字测试案例具有固定的句法结构，甚至具有相似关键词或短语。目前文字测试案例保存在内部管理平台上，而文字案例的可靠性和有效性主要靠项目组组织人工评审，或者案例在导入平台时进行简单的必输或者文本长度检查。
从业务系统的项目每次迭代实现的功能角度来看，针对相似的修改内容或者技术方案，测试人员对应编写的功能测试案例(测试要点等)往往也是相似的，所以之前编写的测试案例对当前的功能测试具有很大的参考价值，甚至部分替换主体名词或关键词后就可以复用。
目前产生的大量的文字测试案例每次都全靠人工评审，往往需要花费大量的人力成本。而内部测试案例管理平台针对案例的有效性检查过于简单，对编写测试案例的是否有效的把关和提高并无太大帮助。
发明内容
本发明实施例的主要目的在于提供一种测试案例分析方法及装置，以解决文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
为了实现上述目的，本发明实施例提供一种测试案例分析方法，包括：
获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
本发明实施例还提供一种测试案例分析装置，包括：
目标特征向量构建模块，用于获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
目标概率密度值确定模块，用于根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
测试案例分析结果模块，用于根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的测试案例分析方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的测试案例分析方法的步骤。
本发明实施例的测试案例分析方法及装置先根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量，再根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值以与目标阈值进行比较输出测试案例分析结果，解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中测试案例分析方法的流程图；
图2是本发明另一实施例中测试案例分析方法的流程图；
图3是本发明实施例中案例集管理模块的示意图；
图4是本发明实施例中构造特征变量和特征向量的流程图；
图5是本发明实施例中案例文本1的句法解析示意图；
图6是本发明实施例中案例文本2的句法解析示意图；
图7是特征向量对应的坐标点示意图；
图8是本发明实施例中确定目标特征向量和目标阈值的流程图；
图9是本发明实施例中S203的流程图；
图10是本发明实施例测试案例分析装置的结构框图；
图11是本发明另一实施例中测试案例分析装置的结构框图；
图12是本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
本发明提及的关键术语定义如下：
NLP：Natural Language Processing，即自然语言处理研究，用计算机来处理、理解以及运用人类语言(如中文、英文等)，达到人与计算机之间进行有效通讯。主要包含文本检索、机器翻译、文本分类/情感分析、信息抽取、知识图谱和文本聚类等领域。当前最常用的几个NPL项目为：HanLP、NLTK、CoreNLP和LTP。
HanLP：HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用，具备功能完善、性能高效、架构清晰、语料时新和可自定义的特点。提供自然语言处理全功能API，及预料库管理，预料标注工具，在线模型训练和GPU资源调用等网络服务，支持多人异地异时协同标注以及自然语言处理全生命周期服务。
异常检测：通常使用异常检测的场景是在一个含有正常和异常的数据集中，异常样本数目远小于正常样本数目，使得无法从异常数据中提取有效的特征，于是只能通过学习正常数据的分布规律来识别异常数据。异常检测的前提为特征是相互独立的而且服从正态分布。
正态分布：正态分布也称“常态分布”或高斯分布(Gaussian distribution)，指数值的分布概率。正态分布的形状是钟形曲线。若随机变量x服从一个数学期望为μ、方差为σ2的正态分布，μ决定了钟形曲线的位置，其标准差σ决定了分布的幅度。其中当μ＝0，σ＝1时的正态分布是标准正态分布。
概率密度函数p(x)：正态分布的概率密度曲线可以通过区间的角度来理解，即曲线越高，代表着这个区间的概率越密集，区间的积分(面积)等于概率。随机变量x在某个区间，比如(a，b)，即a<x<b的概率，是概率密度曲线在该区间下的面积，数学上的表达就是密度函数在区间(a，b)上的积分。概率的大小就是“概率密度函数曲线下的面积”的大小。
均数μ和标准差σ：均数μ和标准差σ是正态分布两个重要参数，一旦均数μ和标准差σ确定，正态分布曲线也就确定。均数μ可取实数轴上的任意数值，决定正态曲线的具体位置；标准差σ决定曲线的“陡峭”或“扁平”程度：标准差σ越大，正态曲线越扁平；标准差σ越小，正态曲线越陡峭，意味着大多数变量值离均数μ的距离越短，因此大多数值都紧密地聚集在均数μ周围。
方差σ2：方差σ2是用来衡量数据离散程度的一个统计值，方差的计算使用了数据集的所有数值，而不只是个别极值(如极大值和极小值)，因此方差可以很好的反映数据的整体离散程度。从公式理解，方差是数据偏离平均值距离的平方的平均值。对方差取平方根就得到了标准差。
正样本和负样本：正样本和负样本属于二分类问题里的统计样本。其中正样本是指属于某一类别的样本，负样本是指不属于某一类别的样本。一个样本不是正样本就是负样本。在本发明中讨论的有效的测试案例属于正样本，而无效的测试案例属于负样本。
TP样本(True Positive)：TP样本被判定为正样本，实际为正样本。在本发明中指的是实际为有效的测试案例被算法模型判定为有效的测试案例。
FP样本(False Positive)：FP样本被判定为负样本，实际为正样本。在本发明中指的是实际为有效的测试案例被算法模型判定为无效的测试案例。
TN样本(True Negative)：TN样本被判定为正样本，实际为负样本。在本发明中即为实际为无效的测试案例被算法模型判定为有效的测试案例。
FN样本(False Negative)：FN样本被判定为负样本，实际为负样本。在本发明中即为实际为无效的测试案例被算法模型判定为无效的测试案例。
精确率(Precision)：精确率表示针对模型的预测结果而言，预测为正的样本中有多少是真正的正样本。
召回率(Recall)：召回率表示针对原来的样本，在样本中的正例有多少被预测正确。
F1值(F1-Score)：精确率(Precision)和召回率(Recall)是一对矛盾的度量，精确率(Precision)高时，召回率(Recall)值往往偏低；而精确率(Precision)值低时，召回率(Recall)值往往偏高。为了能够综合考虑这两个指标，F1值被提出，该值代表精确率(Precision)和召回率(Recall)的加权调和平均。F1值的核心思想在于尽可能的提高精确率(Precision)和召回率(Recall)的同时，希望两者之间的差异尽可能缩小。F1-score适用于二分类问题。
鉴于目前产生的大量的文字测试案例每次都全靠人工评审，往往需要花费大量的人力成本。而内部测试案例管理平台针对案例的有效性检查过于简单，对编写测试案例的是否有效的把关和提高并无太大帮助，本发明实施例提供一种测试案例分析方法及装置，以基于位于内部管理系统且经过人工审核确认有效的测试案例组成训练集和测试集来建立评价模型，从而对具有相似功能的新编写测试案例进行自动化评价，如果确认为有效案例则直接将其纳入内部系统存储管理；如果确认为疑似无效的案例(异常)则直接拒绝或者转人工进一步审核是否有效，通过上述方式能够显著减少人工评审的几率，节省巨大的时间成本。而且本发明还将有效的测试案例积累沉淀作为下次模型更新所需的训练集和测试集，有助于优化后续的测试案例评价模型。以下结合附图对本发明进行详细说明。
图1是本发明实施例中测试案例分析方法的流程图。图2是本发明另一实施例中测试案例分析方法的流程图。如图1-图2所示，测试案例分析方法包括：
S101：获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量。
图3是本发明实施例中案例集管理模块的示意图。图4是本发明实施例中构造特征变量和特征向量的流程图。如图3所示，训练集包括训练案例，测试集包括测试案例，目标测试案例集包括目标测试案例。本发明通过案例集管理模块(TestCase_Module)存储三种数据集合，即训练集、测试集和目标测试案例集，案例集管理模块可以是数据库或者文档系统。上述三种数据集合都包含文字案例和与之关联的特征向量集合，其中：
训练集是确认有效的训练案例和特征向量集合(正样本)，用于参与后续评价模型的建立；
测试集是确认有效或无效的测试案例和特征向量集合，用于后续模型的拟合和评价，其中包含：正样本(有效案例)和负样本(无效案例)；
目标测试案例集是未确认有效或无效的测试案例，通过本发明判断案例的有效性。
如图4所示，本发明通过自然语言处理模块(NLP_Module)对案例的文本进行自然语言处理，可以借助开源免费或商业的第三方工具包(例如HanLP)的分词和语义分析等功能生成案例的特征向量集合，用于后续的模型建立。构造特征变量和特征向量具体流程如下：
1、输入案例集(包括训练集、测试集和目标测试案例集)，即案例文本的集合，做以下基本检查：
a)案例集里每条案例都有明确的结束边界(标点符号)；
b)案例集里每条案例都是基于固定的格式编写，满足最基本的结构，例如包含“数据准备”、“执行步骤”以及“预期结果”等；
c)去除多余的标点符号、空白符和特殊符号。
2、假定存在可识别案例文本模式的n个有序特征具有以下特点：
a)特征有顺序，可以组织人工评审确定特征优先级，优先级高的特征排前面；
b)不同特征之间相互独立，服从正态分布；
c)并非n个特征最终都可以用于识别案例是否有效，需要在案例评价模块里确定能用于判断案例有效性的特征组合。
表1
表1是案例特征示意表。如表1所示：
训练集的单个特征变量记为xj；
测试集的正样本(正测试案例)的单个特征变量记为yj；
测试集的负样本(负测试案例)的单个特征变量记为zj；
目标测试案例集的单个特征变量记为wj，其中，1≤j≤n。
3、分别对训练集、测试集和目标测试案例集的各个特征变量xj、yj、zj和wj赋值。
例如，使用第三方NLP工具包对案例集里的整个案例提取关键词集合，计算单个案例文本命中的关键词数量，然后赋值给第1个特征变量(即x1、y1、z1和w1)。
b)使用第三方NLP工具包案例集提取句法结构集合，对所有句法结构编号，将单个案例文本命中的句法结构编号赋值给第2个特征变量(即x2、y2、z2和w2)。
图5是本发明实施例中案例文本1的句法解析示意图。如图5所示，案例文本1为：
“服务开关为开，交易金额大于当日累计限额，交易报错”：
图6是本发明实施例中案例文本2的句法解析示意图。如图6所示，案例文本2为：
“服务开关为开，交易金额小于或等于当日累计限额，交易成功”。
c)以此类推完成对剩余的特征变量的赋值。
4、单个案例文本的特征向量表示。
a)假设训练集有m个案例文本(训练案例)，则单个案例文本的特征向量即为X(im)且1≤im≤m。则训练集的各训练案例的特征向量可以表示为：
DatasetX{X(1),X(2),X(3),...,X(m)}。
当训练案例的特征向量X(im)由n个特征变量xj组成时，表示如下：
b)假设测试集的正样本有k个案例文本(正测试案例)，则单个案例文本的特征向量即为Y(ik)，且1≤ik≤k。则测试集的各正测试案例的特征向量可以表示为：
DatasetY{Y(1),Y(2),Y(3),...,Y(k)}。
当正测试案例的特征向量Y(ik)由n个特征变量yj组成时，表示如下：
c)假设测试集的负样本有t个案例文本(负测试案例)，则单个案例文本的特征向量即为Z(it)，且1≤it≤t。则测试集的各负测试案例的特征向量可以表示为：
DatasetZ{Z(1),Z(2),Z(3),...,Z(t)}。
当负测试案例的特征向量Z(it)由n个特征变量zj组成时，表示如下：
d)假设目标测试案例集有s个案例文本(目标测试案例)，则单个案例文本的特征向量即为W(is)，且1≤is≤s。则目标测试案例集的各目标测试案例的特征向量可以表示为：
DatasetW{W(1),W(2),W(3),...,W(s)}。
当目标测试案例的特征向量W(is)由n个特征变量wj组成时，表示如下：
具体实施时，S101包括：确定目标特征向量中的特征变量数量，根据目标测试案例的特征变量和目标特征向量中的特征变量数量构建目标测试特征向量。例如，目标特征向量包括的特征变量数量为r，因此根据目标测试案例的特征变量和目标特征向量中的特征变量数量可以构造的目标测试特征向量如下：
S102：根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值。
具体实施时，第is个目标测试案例的特征向量的概率密度值为：
其中，p(W′(is))为第is个目标测试案例的概率密度值，
为第is个目标测试案例的第j个特征变量，μwj为目标测试案例第j个特征变量的期望值，
为目标测试案例第j个特征变量的方差，r为特征变量的数量。
S103：根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
具体实施时，将第is个目标测试案例的特征向量的概率密度值p(W′(is))分别与目标阈值εoptimal进行比较，如果p(W′(is))大于或等于εoptimal，则对应的测试案例分析结果为有效；如果p(W′(is))小于εoptimal，则对应的测试案例分析结果为无效，进入人工评审环节。
在执行S103之后，还包括：将S103输出的有效测试案例中的一半加入案例管理模块内的训练集，另一半加入测试集的正样本。将S103输出的无效测试案例进行人工评审，如果无效测试案例被人工评审为有效测试案例，则将该有效测试案例中的一半加入案例管理模块内的训练集，另一半加入测试集的正样本；如果无效测试案例被人工评审为无效测试案例的，则将该无效测试案例加入案例管理模块内测试集的负样本。
图1所示的测试案例分析方法的执行主体可以为计算机。由图1所示的流程可知，本发明实施例的测试案例分析方法先根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量，再根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值以与目标阈值进行比较输出测试案例分析结果，解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
本发明采用异常检测算法构建评价测试案例是否有效的模型。异常检测算法采用密度估计方式。图7是特征向量对应的坐标点示意图。如图7所示，假设特征向量只包含两个特征变量，根据现有特征向量集合计算新加入的新特征向量是否属于该组集合，等同于预测新的特征向量的在现有集合里位置。假设虚线圈内为现有特征向量集合的数据点分布，以两个不同的特征变量作为坐标轴，虚线圈外的数据点是新的特征向量。数据点距离虚线圈的数据越近，则该数据点属于现有集合可能性较高。反之，如果距离虚线圈内的数据越偏远，则该数据点属于现有特征集合的可能性就越低。特征向量包含多于两个特征变量也不影响上述结论，只是数据点分布图不是二维的，而是多维的。
统计学上可以使用正态分布构建模型，如果单个特征变量x满足正态分布，即：
x～N(μ,σ2)；
则概率密度函数为：
以训练案例为例，已知第im个训练案例的第j个特征变量
从正态分布，且有m个样本值，则根据以下公式估算第j个特征变量
的正态分布曲线的均数(或者期望值)μxj和方差
如下：
所以第im个训练案例的第j个特征变量
的概率密度值为：
因此第im个训练案例的特征向量X(im)的概率密度值为n个特征变量的概率密度值的乘积：
图8是本发明实施例中确定目标特征向量和目标阈值的流程图。如图8所示，本发明实施例的测试案例分析方法还包括：
S201：根据各训练案例的各特征向量确定各特征向量的异常阈值。
一实施例中，S201包括：
根据各训练案例的各特征向量确定各训练案例的各特征向量的概率密度值，确定各特征向量的概率密度值的最小值为各特征向量的异常阈值。
具体实施时，设共有n个特征向量，第h个特征向量包括h个特征变量，1≤h≤n。
因此第im个训练案例的第h个特征向量
可以表示为：
则第im个训练案例的第h个特征向量的概率密度值为：
其中，
为第im个训练案例的第h个特征向量的概率密度值，
为第im个训练案例的第j个特征变量，μxj为训练案例第j个特征变量的期望值，
为训练案例第j个特征变量的方差，h为特征变量的数量。
其中，各特征向量均包括m个概率密度值，确定第h个特征向量的概率密度值的最小值为第h个特征向量的异常阈值εh。
S202：根据各测试案例的各特征向量确定各测试案例的各特征向量的概率密度值。
其中，测试案例包括正测试案例和负测试案例。
第ik个正测试案例的第h个特征向量
可以表示为：
则第ik个正测试案例的第h个特征向量的概率密度值为：
其中，
为第ik个正测试案例的第h个特征向量的概率密度值，
为第ik个正测试案例的第j个特征变量，μyj为正测试案例第j个特征变量的期望值，
为正测试案例第j个特征变量的方差。
第it个负测试案例的第h个特征向量
可以表示为：
则第it个负测试案例的第h个特征向量的概率密度值为：
其中，
为第it个负测试案例的第h个特征向量的概率密度值，
为第it个负测试案例的第j个特征变量，μzj为负测试案例第j个特征变量的期望值，
为负测试案例第j个特征变量的方差。
S203：根据各测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的分析参数。
图9是本发明实施例中S203的流程图。如图9所示，S203包括：
S301：根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的精确率。
具体实施时，将第ik个正测试案例的第h个特征向量的概率密度值
分别与对应的第h个特征向量的异常阈值εh进行比较，如果
大于或等于εh，则将该正测试案例放入真正样本数量(TP)里，TP加一；如果
小于εh，则将该正测试案例放入假正样本数量(FP)里，FP加一，由此可以确定TP和FP的值。
根据如下公式确定各特征向量的精确率：
其中，Precision(Ph)为第h个特征向量的精确率，TPh为第h个特征向量的真正样本数量，FPh为第h个特征向量的假正样本数量。
S302：根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果，以及各负测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的召回率。
具体实施时，将第it个负测试案例的第h个特征向量的概率密度值
分别与对应的第h个特征向量的异常阈值εh进行比较，如果
大于或等于εh，则将该负测试案例放入真负样本数量(TN)里，TN加一；如果
小于εh，则将该负测试案例放入假负样本数量(FN)里，FN加一，由此可以确定TN和FN的值。
根据如下公式确定各特征向量的召回率：
其中，Recall(Rh)为第h个特征向量的召回率，FNh为第h个特征向量的假负样本数量。
S303：根据各特征向量的精确率和各特征向量的召回率确定各特征向量的分析参数。
其中，分析参数为F1值。可以通过如下公式确定各特征向量的分析参数：
其中，F1h为第h个特征向量的分析参数。
S204：确定分析参数的最大值对应的特征向量为目标特征向量，确定分析参数的最大值对应的异常阈值为目标阈值。
具体实施时，共有n个分析参数F1，确定n个分析参数的最大值对应的特征向量为目标特征向量
该目标特征向量包括的特征变量数量为r；确定n个分析参数的最大值对应的异常阈值为目标阈值εoptimal。
本发明实施例的具体流程如下：
1、根据各训练案例的各特征向量确定各训练案例的各特征向量的概率密度值，确定各特征向量的概率密度值的最小值为各特征向量的异常阈值。
2、根据各测试案例的各特征向量确定各测试案例的各特征向量的概率密度值。
3、根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的真正样本数量和各特征向量的假正样本数量，根据各负测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的假负样本数量。
4、根据各特征向量的真正样本数量和各特征向量的假正样本数量确定各特征向量的精确率，根据各特征向量的真正样本数量和各特征向量的假负样本数量确定各特征向量的召回率。
5、根据各特征向量的精确率和各特征向量的召回率确定各特征向量的分析参数。
6、确定分析参数的最大值对应的特征向量为目标特征向量，确定分析参数的最大值对应的异常阈值为目标阈值。
7、根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量。
8、根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值。
9、根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
综上所述，本发明实施例提供的测试案例分析方法具有以下有益效果：
(1)与当前流行机器学习算法相结合，对于相似功能的案例，自动识别案例是否有效，节省人工评审的时间成本；
(2)测试案例评价的每次迭代都会积累有效测试案例，随着有效测试案例的样本递增，可以自动提升该评价模型的正确率和效率；
(3)可以作为独立的子功能嵌入到现有的测试管理或者持续集成系统，作为功能测试案例的准入检查环节。
基于同一发明构思，本发明实施例还提供了一种测试案例分析装置，由于该装置解决问题的原理与测试案例分析方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图10是本发明实施例测试案例分析装置的结构框图。图11是本发明另一实施例中测试案例分析装置的结构框图。如图10-图11所示，测试案例分析装置包括：
目标特征向量构建模块，用于获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
目标概率密度值确定模块，用于根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
测试案例分析结果模块，用于根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
在其中一种实施例中，还包括：
异常阈值确定模块，用于根据各训练案例的各特征向量确定各特征向量的异常阈值；
测试概率密度值确定模块，用于根据各测试案例的各特征向量确定各测试案例的各特征向量的概率密度值；
分析参数确定模块，用于根据各测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的分析参数；
目标向量阈值确定模块，用于确定分析参数的最大值对应的特征向量为目标特征向量，确定分析参数的最大值对应的异常阈值为目标阈值。
在其中一种实施例中，分析参数确定模块包括：
精确率确定单元，用于根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的精确率；
召回率确定单元，用于根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果，以及各负测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的召回率；
分析参数确定单元，用于根据各特征向量的精确率和各特征向量的召回率确定各特征向量的分析参数。
在其中一种实施例中，异常阈值确定模块包括：
训练概率密度值确定单元，用于根据各训练案例的各特征向量确定各训练案例的各特征向量的概率密度值；
异常阈值确定单元，用于确定各特征向量的概率密度值的最小值为各特征向量的异常阈值。
如图11所示，在实际应用中，测试案例分析装置包括案例集管理模块(TestCase_Module)、自然语言处理模块(NLP_Module)和案例评价模块(Evaluation_Module)。
案例集管理模块用于存储三种数据集合，即训练集、测试集和目标测试案例集，案例集管理模块可以是数据库或者文档系统。
自然语言处理模块用于对案例的文本进行自然语言处理，可以借助开源免费或商业的第三方工具包(例如HanLP)的分词和语义分析等功能生成案例的特征向量集合，用于后续的模型建立。
案例评价模块包括目标特征向量构建模块、目标概率密度值确定模块、测试案例分析结果模块、异常阈值确定模块、测试概率密度值确定模块、分析参数确定模块和目标向量阈值确定模块，用于采用异常检测算法构建评价测试案例是否有效的模型。
综上，本发明实施例的测试案例分析装置先根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量，再根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值以与目标阈值进行比较输出测试案例分析结果，解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
本发明实施例还提供能够实现上述实施例中的测试案例分析方法中全部步骤的一种计算机设备的具体实施方式。图12是本发明实施例中计算机设备的结构框图，参见图12，所述计算机设备具体包括如下内容：
处理器(processor)1201和存储器(memory)1202。
所述处理器1201用于调用所述存储器1202中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的测试案例分析方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
综上，本发明实施例的计算机设备先根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量，再根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值以与目标阈值进行比较输出测试案例分析结果，解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
本发明实施例还提供能够实现上述实施例中的测试案例分析方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的测试案例分析方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
获取目标测试案例的特征变量，根据目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
根据目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
综上，本发明实施例的计算机可读存储介质先根据目标测试案例的特征变量和目标特征向量构建目标测试特征向量，再根据目标测试特征向量和目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值以与目标阈值进行比较输出测试案例分析结果，解决了文字测试案例极大依赖项目组人工审核的缺点，节省了巨大的时间成本和人力成本，提高了测试案例分析的效率和准确性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元，或装置都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
Claims (10)
1.一种测试案例分析方法，其特征在于，包括：
获取目标测试案例的特征变量，根据所述目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
根据所述目标测试特征向量和所述目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
根据所述目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
2.根据权利要求1所述的测试案例分析方法，其特征在于，还包括：
根据各训练案例的各特征向量确定各特征向量的异常阈值；
根据各测试案例的各特征向量确定各测试案例的各特征向量的概率密度值；
根据各测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的分析参数；
确定分析参数的最大值对应的特征向量为目标特征向量，确定分析参数的最大值对应的异常阈值为目标阈值。
3.根据权利要求2所述的测试案例分析方法，其特征在于，根据各测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的分析参数包括：
根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的精确率；
根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果，以及各负测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的召回率；
根据各特征向量的精确率和各特征向量的召回率确定各特征向量的分析参数。
4.根据权利要求2所述的测试案例分析方法，其特征在于，根据各训练案例的各特征向量确定各特征向量的异常阈值包括：
根据各训练案例的各特征向量确定各训练案例的各特征向量的概率密度值；
确定各特征向量的概率密度值的最小值为各特征向量的异常阈值。
5.一种测试案例分析装置，其特征在于，包括：
目标特征向量构建模块，用于获取目标测试案例的特征变量，根据所述目标测试案例的特征变量和预先获得的目标特征向量构建目标测试特征向量；
目标概率密度值确定模块，用于根据所述目标测试特征向量和所述目标测试案例对应的目标测试案例集确定目标测试特征向量的概率密度值；
测试案例分析结果模块，用于根据所述目标测试特征向量的概率密度值与预先获得的目标阈值的比较结果输出测试案例分析结果。
6.根据权利要求5所述的测试案例分析装置，其特征在于，还包括：
异常阈值确定模块，用于根据各训练案例的各特征向量确定各特征向量的异常阈值；
测试概率密度值确定模块，用于根据各测试案例的各特征向量确定各测试案例的各特征向量的概率密度值；
分析参数确定模块，用于根据各测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的分析参数；
目标向量阈值确定模块，用于确定分析参数的最大值对应的特征向量为目标特征向量，确定分析参数的最大值对应的异常阈值为目标阈值。
7.根据权利要求6所述的测试案例分析装置，其特征在于，所述分析参数确定模块包括：
精确率确定单元，用于根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的精确率；
召回率确定单元，用于根据各正测试案例的各特征向量的概率密度值与对应异常阈值的比较结果，以及各负测试案例的各特征向量的概率密度值与对应异常阈值的比较结果确定各特征向量的召回率；
分析参数确定单元，用于根据各特征向量的精确率和各特征向量的召回率确定各特征向量的分析参数。
8.根据权利要求6所述的测试案例分析装置，其特征在于，所述异常阈值确定模块包括：
训练概率密度值确定单元，用于根据各训练案例的各特征向量确定各训练案例的各特征向量的概率密度值；
异常阈值确定单元，用于确定各特征向量的概率密度值的最小值为各特征向量的异常阈值。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的测试案例分析方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的测试案例分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779399.8A CN113448860B (zh) | 2021-07-09 | 2021-07-09 | 测试案例分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110779399.8A CN113448860B (zh) | 2021-07-09 | 2021-07-09 | 测试案例分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113448860A true CN113448860A (zh) | 2021-09-28 |
| CN113448860B CN113448860B (zh) | 2024-08-02 |
Family
ID=77815699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110779399.8A Active CN113448860B (zh) | 2021-07-09 | 2021-07-09 | 测试案例分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113448860B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115543774A (zh) * | 2022-08-17 | 2022-12-30 | 睿智合创(北京)科技有限公司 | 一种案例自动化测算方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542784A (zh) * | 2018-11-19 | 2019-03-29 | 中国银行股份有限公司 | 一种测试案例检查方法及装置 |
| CN111145910A (zh) * | 2019-12-12 | 2020-05-12 | 平安医疗健康管理股份有限公司 | 基于人工智能的异常案例识别方法、装置、计算机设备 |
| CN111722997A (zh) * | 2019-03-21 | 2020-09-29 | 福建天晴在线互动科技有限公司 | 自动化测试的异常检测方法及计算机可读存储介质 |
| CN112988601A (zh) * | 2021-04-29 | 2021-06-18 | 中国工商银行股份有限公司 | 测试脚本开发方法及装置 |
-
2021
- 2021-07-09 CN CN202110779399.8A patent/CN113448860B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542784A (zh) * | 2018-11-19 | 2019-03-29 | 中国银行股份有限公司 | 一种测试案例检查方法及装置 |
| CN111722997A (zh) * | 2019-03-21 | 2020-09-29 | 福建天晴在线互动科技有限公司 | 自动化测试的异常检测方法及计算机可读存储介质 |
| CN111145910A (zh) * | 2019-12-12 | 2020-05-12 | 平安医疗健康管理股份有限公司 | 基于人工智能的异常案例识别方法、装置、计算机设备 |
| CN112988601A (zh) * | 2021-04-29 | 2021-06-18 | 中国工商银行股份有限公司 | 测试脚本开发方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李海玲;董广然;党琦;: "一种航天器异常检测案例关联方法", 电讯技术, no. 07, 28 July 2018 (2018-07-28), pages 103 - 107 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115543774A (zh) * | 2022-08-17 | 2022-12-30 | 睿智合创(北京)科技有限公司 | 一种案例自动化测算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113448860B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107491432B (zh) | 基于人工智能的低质量文章识别方法及装置、设备及介质 | |
| WO2021139279A1 (zh) | 基于分类模型的数据处理方法、装置、电子设备及介质 | |
| CN111046679B (zh) | 翻译模型的质量信息获取方法、装置及计算机设备 | |
| CN108959474B (zh) | 实体关系提取方法 | |
| CN111694937A (zh) | 基于人工智能的面试方法、装置、计算机设备及存储介质 | |
| CN109857457B (zh) | 一种在双曲空间中学习源代码中的函数层次嵌入表示方法 | |
| CN110442516A (zh) | 信息处理方法、设备及计算机可读存储介质 | |
| CN110781673B (zh) | 文档验收方法、装置、计算机设备及存储介质 | |
| CN110874536A (zh) | 语料质量评估模型生成方法和双语句对互译质量评估方法 | |
| CN112818110B (zh) | 文本过滤方法、设备及计算机存储介质 | |
| CN111177307A (zh) | 一种基于语义理解相似度阀值配置的测试方案及系统 | |
| CN113672931A (zh) | 一种基于预训练的软件漏洞自动检测方法及装置 | |
| CN117332090B (zh) | 一种敏感信息识别方法、装置、设备和存储介质 | |
| CN116361788A (zh) | 一种基于机器学习的二进制软件漏洞预测方法 | |
| CN111240971A (zh) | 风控规则测试用例的生成方法、装置、服务器和存储介质 | |
| CN113448860B (zh) | 测试案例分析方法及装置 | |
| CN113627159A (zh) | 纠错模型的训练数据确定方法、装置、介质及产品 | |
| WO2021159756A1 (zh) | 基于多模态的响应义务检测方法、系统及装置 | |
| CN113204973B (zh) | 答非所问识别模型的训练方法、装置、设备和存储介质 | |
| CN113849634A (zh) | 用于提升深度模型推荐方案可解释性的方法 | |
| CN113326699A (zh) | 数据检测方法、电子设备及存储介质 | |
| CN113378543B (zh) | 数据分析方法、训练数据分析模型的方法及电子设备 | |
| CN118070775B (zh) | 摘要生成模型的性能评测方法、装置、计算机设备 | |
| CN110968690A (zh) | 词语的聚类划分方法和装置、设备以及存储介质 | |
| CN115048491B (zh) | 在异构语义空间中基于假设检验的软件跨模态检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |