CN114090463A - 基于自然语言处理技术的可定制软件测试分析评价系统 - Google Patents

Abstract

本发明涉及一种基于自然语言处理技术的可定制软件测试分析评价系统，属于软件测试领域。本发明测试分析评价系统能够配置权重以及字典，能同步至NLP程序；分析任务将待分析的数据流发送到NLP程序，NLP程序借助字典提取出关键字，将数据分类分析，并通过权重处理得出待分析的测试数据的各项指标，返回评价信息由系统展示结果给用户。本发明能精准分析测试数据，度量被测件的质量，用户能够自主分配各个评价项的权重，并自行设定评价规则，系统将测试结果数据进行分析，并根据权重统计得分，将计算结果与用户设定的评价规则进行匹配，获得最终的评价等级。本发明能得出人性化的分析结果，减轻测试人员的压力，降低测试成本，提高测试的精度。

Description

基于自然语言处理技术的可定制软件测试分析评价系统

技术领域

本发明属于软件测试领域，具体涉及一种基于自然语言处理技术的可定制软件测试分析评价系统。

背景技术

18年底谷歌公司推出了bert，很多公司对bert进行了优化。包括百度、清华的知识图谱融合，微软在预训练阶段的多任务学习等等，现今CMU和google brain又联手推出了bert的改进版xlnet使nlp（自然语言处理）技术更加成熟。

随着nlp（自然语言处理）技术的发展，人工智能进一步升级。为机器对结构化、非结构化信息进行精准的分析和评价提供了可能。

市面上的分析软件普遍适用于结构化数据，对数据格式以及配套的计算规则有较为严格的格式要求，难以灵活变通。且市面上常见分析软件多是针对整个行业的大数据分析，鲜有针对单一软件的测试结果进行评价分析，缺乏针对性，无法让用户直观感受到被测软件的实际水准。

专利申请CN113626335A公开了一种面向公安交通管理应用软件的质量评价方法及系统，获取不同类型的软件质量评价度量元指标；根据不同的度量元指标构建公安交通管理应用软件质量评价模型；根据质量基本度量元确定其计算公式；采集测试结果数据并计算出各个质量基本度量元的评价等级；根据事先确定出的各个质量基本度量元的评价等级和上述权重，计算得到该应用软件的质量评价等级综合评分。但该方法不适用于非结构化数据。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是如何提供一种基于自然语言处理技术的可定制软件测试分析评价系统，以解决及现有的分析软件缺乏针对性，无法让用户直观感受到被测软件的实际水准，以及不适用于非结构化数据的问题。

（二）技术方案

为了解决上述技术问题，本发明提出一种基于自然语言处理技术的可定制软件测试分析评价系统，该系统包括分析任务模块、权重配置模块、分析数据字典模块和NLP程序；

分析任务模块用于建立评价体系，由用户选择分析被测对象时使用的评价项，每一个评价项都能配置不同的计算公式，并将评价项更新到NLP程序；用于通过界面获取被测对象描述数据，从文件/存储系统中提取通过第三方测试工具测试被测对象得到的测试结果，将测试结果及被测对象描述数据作为分析数据发送给NLP程序和分析数据字典模块；

权重配置模块用于由用户为选中的评价项设置权重，并将权重发送到NLP程序；

分析数据字典模块用于设置评价项计算所需的键值并将设置结果更新到NLP程序中的字典，键值根据测试结果及被测对象描述数据进行设置；

NLP程序用于从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中设定的键值进行检索，提取有效数据；将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，进而根据评价项的权重进行加权，得到最终得分，将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级，并将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示。

进一步地，所述评价项包括质量特性、质量子特性和度量元。

进一步地，所述权重由用户自由分配，系统提供校验辅助，确保每一层级的权重之和为100%。

进一步地，该系统使用J2EE技术实现，以实现跨平台布置。

进一步地，该系统前台使用JavaScript编写,以轻量级应用服务器tomcat为容器，中间层使用Spring、SpringMVC或MyBatis框架；后台使用数据库软件MySQL，并通过调用NLP程序提供的API接口接入NLP自然语言处理技术。

进一步地，该系统预置了评价项，用户从预置评价项中选择当前评价体系要采用的评价项，并给选中的评价项设置权重。

进一步地，每一个评价项都预置了计算公式，用户能自行更改；在评价项编辑页中，用户能够从预置的计算公式进行选择，与当前评价项进行绑定。

进一步地，用户根据所选评价项，在分析数据字典模块中录入该评价项计算所需的键值与对应的数据名称。

进一步地，评价规则由用户自行设置，用户设定不同分数段所对应的评价等级，分数段支持用户自由设定，系统进行校验辅助工作，保证了评价规则涵盖所有分数段。

进一步地，所述NLP程序的具体执行过程包括如下步骤：

S1、NLP程序预先从分析任务模块接收评价项、评价项的计算公式，从权重配置模块接收评价项的权重，从分析数据字典模块接收键值并更新到NLP程序中的字典；

S2、NLP程序从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中的键值进行检索，提取有效数据；

S3、将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，记录该评价项的得分，供用户查询;

S4、将得分根据评价项的权重进行加权，得到最终得分；

S5、将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级；

S6、将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示；用户还能从被测对象的信息展示画面中提供的入口进入到分析评价详情展示画面，查看每一个评价项的分析结果。

（三）有益效果

本发明提出一种基于自然语言处理技术的可定制软件测试分析评价系统，本发明的效果在于能精准分析测试数据，度量被测件的质量。用户能够自主分配各个评价项的权重，并自行设定评价规则，系统将测试结果数据进行分析，并根据权重统计得分，将计算结果与用户设定的评价规则进行匹配，获得最终的评价等级。软件测试分析评价系统能够精准分析结构化以及非结构化的测试数据，使用NLP技术可以应对各种复杂的分析情况，得出人性化的分析结果，减轻测试人员的压力，降低测试成本，提高测试的精度。

附图说明

图1为分析评价数据状态图；

图2为测试分析评价系统；

图3为测试分析泳道图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的目的是针对第三方测试工具测试被测对象时收集到的数据进行分析并根据分析数据给出被测件质量，主要功能是从文件/存储系统中提取测试结果，通过界面获取被测对象描述数据，通过各种权重分析计算测试中的各种数据并评价得出评分。通过提供对测试用例执行情况的综合分析，减少测试人员的此方面压力，降低测试的成本并提高测试的质量，以此提升整体行业内软件的质量。

本发明主体采用B/S架构（即浏览器-服务器架构），实现方式为目前较为流行的J2EE技术，以实现跨平台布置。前台使用界面效果丰富、可移植性较好的JavaScript编写；以轻量级应用服务器tomcat为容器，中间层使用目前较为流行的Spring、SpringMVC、MyBatis框架；后台使用数据库软件MySQL，并通过调用NLP程序提供的API接口接入NLP自然语言处理技术，以应对各种复杂的分析情况。

采用的技术有：

NLP：自然语言处理技术。

J2EE：J2EE为搭建具有可伸缩性、灵活性、易维护性，系统遵循J2EE标准，为商务系统提供了良好的机制。

VUE.js:构建用户界面的渐进式前端框架。

NGINX:高性能的HTTP和反向代理web服务器。

Spring:为了解决企业应用程序开发复杂性而创建的Java开源框架。

MyBatis:支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架

MyBatis Plus: Mybatis 增强版工具，在 MyBatis 上扩充了其他功能没有改变其基本功能，为了简化开发提交效率而存在。

NLP自然语言处理，是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，NLP 的目标是让计算机／机器在理解语言上像人类一样智能，最终目标是弥补人类交流（自然语言）和计算机理解（机器语言）之间的差距。NLP技术主要由信息抽取（将嵌入在文本中的非结构化信息提取并转换为结构化数据的过程）、自动文摘（利用计算机按照某一规则自动地对文本信息进行提取、集合成简短摘要的一种信息压缩技术）、Transformer 模型（基于注意力机制来加速深度学习算法的模型）、语音识别技术、基于传统机器学习的自然语言处理技术、基于深度学习的自然语言处理技术（通过对生成的词向量进行学习，以完成自然语言分类、理解）等关键概念和技术组成。

本发明依赖于不断完善的自然语言处理技术，根据关键字检索有效数据，对于结构化、非结构化描述均能很好的识别分析，智能且精准。

本发明拥有更简洁健壮的接口，更友好的用户体验，支持跨平台部署。

软件测试分析评价系统是新研发软件，主要功能是完成对测试数据的综合分析与评价。

软件测试分析评价系统支持给每一个评价项设置计算公式与权重，权重由用户自由分配，系统提供校验辅助，确保每一层级的权重之和为100%，确保灵活性与准确性。分析时会对每一个评价项进行打分，记录分数，最终将分数与权重进行加权计算，获得软件最终评价。从功能性、易用性、可操作性等角度，对被测软件进行多维度的分析与评价。

系统支持分析评价规则设置，用户自由设置得分区间（如70-85，85-100分）与对应的评价等级（如优、良、差等），系统提供校验辅助，保证评价等级覆盖全部分数段，且无重复评价。

本发明的效果在于能精准分析测试数据，度量被测件的质量。用户能够自主分配各个评价项的权重，并自行设定评价规则，系统将测试结果数据进行分析，并根据权重统计得分，将计算结果与用户设定的评价规则进行匹配，获得最终的评价等级。软件测试分析评价系统能够精准分析结构化以及非结构化的测试数据，并得出人性化的分析结果，减轻测试人员的压力，降低测试成本，提高测试的精度。

如图1分析评价数据状态图，被测对象的状态数据初始为未分析。经过分析处理，成功则更新对象信息为已分析。若由于未分析的数据有缺失（缺少参数、权重等）、空指针异常等问题导致分析失败，则变更为无法分析并返回包含出错原因的提示语以便于排查。

如图2测试分析评价系统实现，测试分析评价系统包括分析任务模块、权重配置模块、分析数据字典模块和NLP程序；

分析任务模块用于建立评价体系，建立评价体系的主要操作是用户选择分析被测对象时使用的评价项，每一个评价项都可以配置不同的计算公式，并将评价项更新到NLP程序；评价项包括但不限于质量特性、质量子特性、度量元；用于通过界面获取被测对象描述数据，从文件/存储系统中提取通过第三方测试工具测试被测对象得到的测试结果，将测试结果及被测对象描述数据作为分析数据发送给NLP程序；其中，被测对象可以是一段代码、软件、产品，通过第三方测试工具测试被测对象可以获得测试结果作为本发明的测试分析评价系统的输入，第三方测试工具可以为自动化测试工具、代码扫描工具或静态分析工具等工具；被测对象描述数据为被测对象的描述信息，例如，被测软件的名称、编程语言、功能、完成时间等信息。

权重配置模块用于由用户为选中的评价项设置权重，并将权重发送到NLP程序；权重由用户自由分配，系统提供校验辅助，确保每一层级的权重之和为100%，确保灵活性与准确性。

分析数据字典模块用于设置评价项计算所需的键值或关键词并将设置结果更新到NLP程序中的字典，键值或关键词根据测试结果及被测对象描述数据进行设置，如规模，修订次数等；

NLP程序用于从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中设定的键值进行检索，提取有效数据；将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，进而根据评价项的权重进行加权，得到最终得分，将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级，并将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示。

NLP程序的具体执行过程包括如下步骤：

S1、NLP程序预先从分析任务模块接收评价项、评价项的计算公式，从权重配置模块接收评价项的权重，从分析数据字典模块接收键值并更新到NLP程序中的字典；

S2、NLP程序从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中的键值进行检索，提取有效数据；

S3、将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，记录该评价项的得分，供用户查询;

S4、将得分根据评价项的权重进行加权，得到最终得分；

S5、将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级；

S6、将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示；用户还能从被测对象的信息展示画面中提供的入口进入到分析评价详情展示画面，查看每一个评价项的分析结果。

测试分析评价系统能够配置权重以及字典，能同步至NLP程序，便于NLP分析。分析任务将待分析的数据流发送到NLP程序，NLP程序提取出键值或关键字，借助字典将数据分类分析。并通过权重处理得出待分析的测试数据的各项指标。并返回评价信息，由系统展示结果给用户。

用户首先建立评价体系，评价体系的主要操作是选择分析被测对象时使用的评价项。系统根据GJB与行业规定，预置了评价项（质量特性、质量子特性、度量元），例如功能性的依从性、模块扇出数大于9的模块比例等，用户可以从预置评价项中选择当前评价体系要采用的评价项，并给选中的评价项设置权重（当前评价项评分占评价总分的比率）。

每一个评价项都根据GJB与行业规定，预置了计算公式，但用户也可以自行更改，在评价项编辑页中，用户能够从预置的计算公式进行选择，与当前评价项进行绑定。

评价规则，可以由用户自行设置，用户设定不同分数段所对应的评价等级（如80-100对应“优”、60-80对应“良”等），分数段支持用户自由设定，系统进行校验辅助工作，保证了评价规则涵盖所有分数段。

用户根据所选评价项，在分析数据字典模块中录入该评价项计算所需的键值（测试结果及被测对象描述数据的关键词）与对应数据名称。至此，测试分析评价系统设置工作完成，用户可以随时进行修改维护。

测试分析泳道图如图3所示，当被测对象测试工作结束，分析操作开始，NLP程序从分析任务中获取到测试结果及被测对象描述数据，会根据NLP程序中的字典中设定的键值进行检索，提取有效数据。有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分——该得分也会被记录下来，供用户查询——得分会根据评价项的权重进行加权，得到最终得分，系统会将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级，并将最终得分与评价等级，于被测对象的信息展示画面进行展示。用户也可以从被测对象展示画面中提供的入口进入到分析评价详情展示画面，查看每一个评价项的分析结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，该系统包括分析任务模块、权重配置模块、分析数据字典模块和NLP程序；

分析任务模块用于建立评价体系，由用户选择分析被测对象时使用的评价项，每一个评价项都能配置不同的计算公式，并将评价项更新到NLP程序；用于通过界面获取被测对象描述数据，从文件/存储系统中提取通过第三方测试工具测试被测对象得到的测试结果，将测试结果及被测对象描述数据作为分析数据发送给NLP程序和分析数据字典模块；

权重配置模块用于由用户为选中的评价项设置权重，并将权重发送到NLP程序；

分析数据字典模块用于设置评价项计算所需的键值并将设置结果更新到NLP程序中的字典，键值根据测试结果及被测对象描述数据进行设置；

NLP程序用于从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中设定的键值进行检索，提取有效数据；将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，进而根据评价项的权重进行加权，得到最终得分，将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级，并将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示。

2.如权利要求1所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，所述评价项包括质量特性、质量子特性和度量元。

3.如权利要求1所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，所述权重由用户自由分配，系统提供校验辅助，确保每一层级的权重之和为100%。

4.如权利要求1所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，该系统使用J2EE技术实现，以实现跨平台布置。

5.如权利要求4所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，该系统前台使用JavaScript编写,以轻量级应用服务器tomcat为容器，中间层使用Spring、SpringMVC或MyBatis框架；后台使用数据库软件MySQL，并通过调用NLP程序提供的API接口接入NLP自然语言处理技术。

6.如权利要求1所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，该系统预置了评价项，用户从预置评价项中选择当前评价体系要采用的评价项，并给选中的评价项设置权重。

7.如权利要求6所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，每一个评价项都预置了计算公式，用户能自行更改；在评价项编辑页中，用户能够从预置的计算公式进行选择，与当前评价项进行绑定。

8.如权利要求6所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，用户根据所选评价项，在分析数据字典模块中录入该评价项计算所需的键值与对应的数据名称。

9.如权利要求8所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，评价规则由用户自行设置，用户设定不同分数段所对应的评价等级，分数段支持用户自由设定，系统进行校验辅助工作，保证了评价规则涵盖所有分数段。

10.如权利要求1-9任一项所述的基于自然语言处理技术的可定制软件测试分析评价系统，其特征在于，所述NLP程序的具体执行过程包括如下步骤：

S1、NLP程序预先从分析任务模块接收评价项、评价项的计算公式，从权重配置模块接收评价项的权重，从分析数据字典模块接收键值并更新到NLP程序中的字典；

S2、NLP程序从分析任务模块中获取到测试结果及被测对象描述数据，根据NLP程序中的字典中的键值进行检索，提取有效数据；

S3、将有效数据根据评价项进行分类，并根据评价项中设置的计算公式进行计算，得出每一个评价项的得分，记录该评价项的得分，供用户查询;

S4、将得分根据评价项的权重进行加权，得到最终得分；

S5、将最终得分与用户设置的评价规则进行匹配，得到被测对象最终的分析评价等级；

S6、将最终得分与评价等级返回分析任务模块，分析任务模块将最终得分与评价等级于被测对象的信息展示画面进行展示；用户还能从被测对象的信息展示画面中提供的入口进入到分析评价详情展示画面，查看每一个评价项的分析结果。

Images