CN114936168B - 一种真实用户智能感知系统中的测试用例自动生成方法 - Google Patents

Abstract

本发明公开了一种真实用户智能感知系统中的测试用例自动生成方法，包括：收集多个时间段内，多名用户的历史操作日志数据；搭建生成器神经网络和判别器神经网络；将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据；由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性；计算判别器神经网络以及生成器神经网络的损失，使用反向传播更新模型参数，使两者进行极大极小博弈；使用生成器神经网络批量生成测试用例，保留信息增益大于阈值的测试用例。本发明能够自动生成多种性质的测试用例，并自动保留信息增益较高的测试用例。

Description

一种真实用户智能感知系统中的测试用例自动生成方法

技术领域

本发明属于智能App测试技术领域，具体涉及一种真实用户智能感知系统中的测试用例自动生成方法。

背景技术

证券类APP是经纪业务的端口，它承载了证券交易、产品销售、投顾咨询、投资者教育等等功能，换言之，功能对应着收入，券商应用的第一思维是把这些业务搬到互联网上去。因此券商APP形成了一定的门槛，这种门槛和普通金融类APP拉开明显的差异，使用户可以很快被吸引和转化，同时转化后又对用户产生长期的应用价值，持续保持应用黏性。因此，除了在本身的金融产品设计上提供较好的策略，要精准面向核心用户外，在APP的功能设计，清晰的产品表达上，都是在快速解决用户对安全性、收益的疑问。在易用性方面要使用户无障碍和学习成本，减少转化损耗。

在长期使用的过程中，对用户所关注的数据和再次选择提供帮助，使用户对该产品形成依赖，只要有投资需求，便对该产品产生倾向性。因此证券类APP功能的正确性、稳定性、数据的准确性相对其它行业高得多，产品如果出现质量问题，会直接影响企业品牌及信誉。如在证券类APP上买卖股票，若发现资产金额数据不对，这时会对产品产生不信任。所以在产品上线之前需要对产品进行全面的测试。

目前系统中生成测试方案的工作一直维持在手工生成的方式，这个过程往往会耗费比较多的工作时间，并且生成软件测试方案是一个关键节点上的工作，它的延迟会导致整个后续的工作的相应延迟，导致整个测试工作延期。传统的软件测试方案的编写是依靠测试人员的测试经验编写，覆盖面窄，灵活性不够。

公开号为CN112104525A的发明中公开了一种基于序列生成对抗网络的DNP3协议模糊测试方法，包括步骤：一、构建DNP3协议样本数据库；二、DNP3协议样本数据预处理；三、预处理后的DNP3协议样本数据变异；四、生成初级测试用例；五、测试用例相似度对比去冗余；六、种子测试用例变异；七、DNP3协议模糊测试；八、漏洞验证；九、异常测试用例调试及监控。该发明利用序列生成对抗网络生成高通过率的测试用例；通过以用例相似度为指标的筛选算法，减少测试用例冗余；引入随机变异策略进行测试用例变异，提高测试用例多样性和漏洞发现概率；通过分析漏洞出现时程序的栈帧信息，找到并记录造成漏洞的原因，从而降低工控系统被攻击的概率、提高工控系统安全性。然而该发明并不涉及测试用例的多样性和真实性方面的改善。

发明内容

解决的技术问题：本发明提出一种真实用户智能感知系统中的测试用例自动生成方法，能够自动生成多种性质的测试用例，并自动保留信息增益较高的测试用例；同时，为防止生成对抗网络生成无关的测试用例，在训练过程中引入注意力机制，提升了生成的测试用例的有效性。

技术方案：

一种真实用户智能感知系统中的测试用例自动生成方法，所述测试用例自动生成方法包括以下步骤：

S1，收集多个时间段内，多名用户的历史操作日志数据，日志数据包括日志事件id、操作类型、操作平台、操作模块、操作时间和操作网络；

S2，对原始日志数据进行预处理，得到相应的真实用例，构成训练数据集；

S3，搭建生成器神经网络和判别器神经网络；

S4，将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据；将真实用例和生成器神经网络生成的测试用例一起输入到判别器神经网络，由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性；

S5，计算判别器神经网络以及生成器神经网络的损失，使用反向传播更新模型参数，使两者进行极大极小博弈；

S6，重复步骤S4和步骤S5，直至完成对生成器神经网络和判别器神经网络的训练；

S7，使用训练完成的生成器神经网络批量生成测试用例，并通过判别器神经网络计算生成的测试用例的信息增益，保留信息增益大于阈值的测试用例。

进一步地，步骤S1中，收集多个时间段内，多名用户的历史操作日志数据的过程包括以下步骤：

分析日志数据，获取日志数据中自定义多类特征的用户操作特征：

日志数据中第n个的用户操作行为元组特征er_n表示为：

er_n=(id_n, ca_n, pl_n, me_n, tim_n, state_n, per_n)；

式中，id_n代表日志事件标识，ca_n代表操作类型， pl_n代表操作平台, me_n代表操作模块，tim_n代表所发生日志事件的时间戳，per_n代表发生日志事件的用户信息，state_n代表发生日志时用户的网络连接状态，1 ≤ n≤ N，N为日志数据中的用户操作行为总数。

进一步地，步骤S2中，对原始日志数据进行预处理的过程包括以下步骤：

为用户操作日志中的每个属性值设置相应的允许值范围，将不在相应允许值范围内的实体删除；

分析每个空缺值的属性与测试用例运行结果的相关性，如果相关性低于预设的相关性阈值，忽略该空缺值；否则，采用经验值或者相应属性的中位数对该空缺值进行填充；

设置编辑距离阈值，当两条用户操作日志的编辑距离小于编辑距离阈值时，将时间较近的这条用户操作日志视为冗余日志记录予以删除，只保留时间较远的那条用户操作日志。

进一步地，步骤S4中，将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据的过程包括以下步骤：

使用随机种子生成一个特定维度的噪声，根据下式将噪声的维度映射至测试用例同一维度：

；

式中，x为生成用例的初步特征，其中包含n维特征向量，BN为批量归一化层函数；ConvT为反卷积层函数，用于升维特征；

使用注意力机制提取重要特征，每一测试用例特征向量计算公式如下：

；

式中，为第i个生成测试用例特征表达，为x的第j维特征向量，n为生成用例特征的总维度数，为第i维的特征对于第j维特征的注意力系数，计算公式如下：

式中，为第i维的特征对于第j维关联程度，n为生成用例特征的总维度数。

进一步地，步骤S4中，由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性的过程包括以下步骤：

通过下式提取生成用例、以及真实用例特征：

；

式中，h为通过卷积层提取的特征，x为由生成器生成的测试用例特征，BN为批量归一化层函数；Conv为卷积层函数，用于进一步提取生成用例的特征；

采用注意力机制力增大用例中重要特征，并获取用例真实性的概率：

；

式中，为激活函数，将通过卷积层之后得到的数值映射至0-1之间的概率数值；

通过交叉熵损失函数获取真实测试用例以及生成用例的真实性，损失函数满足下式：

；

式中，m为训练网络时输入数据的批量， 为m个输入批量中第i个真实测试用例的特征， 为m个输入批量中第i个生成测试用例特征，为对应真实测试用例真实性的概率，为对应生成用例真实性的概率。

进一步地，步骤S7中，通过判别器神经网络计算生成的测试用例的信息增益，保留信息增益大于阈值的测试用例的过程包括以下步骤：

设置置信度阈值；将用例实体特征输入到判别器神经模型中获得相应的置信度，保留置信度大于置信度阈值的生成用例。

有益效果：

第一，本发明的真实用户智能感知系统中的测试用例自动生成方法，对过往用户操作日志进行模型训练，输入随机噪声到生成器网络自动化的生成测试用例，输入生成数据、真实样本到判别器网络，能够自动生成多种性质的测试用例，替代手工筛选生成测试方案。

第二，本发明的真实用户智能感知系统中的测试用例自动生成方法，在条件生成对抗神经网络模型构建过程中，生成器与判别器进行极大极小博弈并通过注意力机制对过往用户操作日志数据进行计算分析从而在筛选生成用例时可以自动的保留信息增益较高的测试用例。

第三，本发明的真实用户智能感知系统中的测试用例自动生成方法，为防止生成对抗网络生成无关的测试用例，在训练过程中引入注意力机制，提升了生成的测试用例的有效性。

附图说明

图1为本发明实施例的真实用户智能感知系统中的测试用例自动生成方法流程图。

具体实施方式

下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

图1为本发明实施例的真实用户智能感知系统中的测试用例自动生成方法流程图。参见图1，该测试用例自动生成方法包括以下步骤：

S1，收集多个时间段内，多名用户的历史操作日志数据，日志数据包括日志事件id、操作类型、操作平台、操作模块、操作时间和操作网络。

S2，对原始日志数据进行预处理，得到相应的真实用例，构成训练数据集。

S3，搭建生成器神经网络和判别器神经网络。

S4，将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据；将真实用例和生成器神经网络生成的测试用例一起输入到判别器神经网络，由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性。

S5，计算判别器神经网络以及生成器神经网络的损失，使用反向传播更新模型参数，使两者进行极大极小博弈。

S6，重复步骤S4和步骤S5，直至完成对生成器神经网络和判别器神经网络的训练。

S7，使用训练完成的生成器神经网络批量生成测试用例，并通过判别器神经网络计算生成的测试用例的信息增益，保留信息增益大于阈值的测试用例。

具体的，本实施例的测试用例自动生成方法包括以下步骤：

步骤1，收集过往多个时间段内，多名用户的操作步骤日志数据，该数据特征包括日志事件id，操作类型、操作平台、操作模块、操作时间、操作网络；具体包括：

日志数据中第n个的用户操作行为元组特征er_n表示为：

er_n=(id_n, ca_n, pl_n, me_n, tim_n, state_n, per_n)；

式中，id_n代表日志事件标识，ca_n代表操作类型， pl_n代表操作平台, me_n代表操作模块，tim_n代表所发生日志事件的时间戳，per_n代表发生日志事件的用户信息，state_n代表发生日志时用户的网络连接状态，1 ≤ n≤ N。

步骤2，根据用户操作日志数据进行数据清洗和特征数据离散化，得到初始数据特征；具体包括：

在进行模型训练之前，需要对原始数据进行预处理。由于系统平台生成的用户操作日志中常常存在一些不规范的数据，比如某些属性值为空值，或者某些数据是无效值。处理不规范的数据使用范围检测法，给某些属性值划分一个范围，将不在这个范围值的实体删除。处理空缺值时，如果这个空缺值属性不是特别重要且所有样本中不缺少该属性时可以选择忽略，如果该属性比较重要，可以采取手工填充和自动填充给该属性填值。自动填值时，根据经验以及日志数据实际的应用场景选择一个经验值填充到空缺值当中，假如不好通过经验数据确定空缺值，则取该属性的中位数填充到空缺值中。

针对用户操作日志数据对编辑距离设置一个阈值，如果两条日志的编辑距离小于阈值，则将视为冗余日志记录，保留时间最远的一条记录，删除其余冗余记录。

建模的过程中不容易对连续型数值进行很好的处理，所以要训练模型前要将连续型数值进行离散化。

步骤3：搭建生成器神经网络，并将随机噪声输入到生成器神经网络，得到一个测试用例的特征数据；具体包括：

使用随机种子生成一个特定维度的噪声，根据下式将噪声的维度映射至测试用例同一维度：

；

式中，x为生成用例的初步特征，其中包含n维特征向量，BN为批量归一化层函数；ConvT为反卷积层函数，用于升维特征；

使用注意力机制提取重要特征，最终得到每一生成用例的特征表达，计算公式如下：

式中，为第i个生成测试用例特征表达，为x的第j维特征向量，n为生成用例特征的总维度数，为第i维的特征对于第j维特征的注意力系数，计算公式如下：

式中，为第i维的特征对于第j维关联程度，n为生成用例特征的总维度数。

实例说明：由随机种子随机初始化一个7*50的矩阵，该矩阵为输入噪声，由反卷积层、批量归一化层将7*50大小的矩阵升维至7*150大小的矩阵，得到初步的生成用例特征，接着使用注意力机制得到最终的生成测试用例。

步骤4：搭建判别器神经网络，输入生成用例、真实用例到判别器神经网络，判别器网络使用注意力机制对用例特征进行分析，计算输入用例的真实性，具体包括：

通过下式提取生成用例、以及真实用例特征：

；

式中，h为通过卷积层提取的特征，x为由生成器生成的测试用例特征，BN为批量归一化层函数；Conv为卷积层函数，用于进一步提取生成用例的特征；

采用注意力机制力增大用例中重要特征，并获取用例真实性的概率：

；

式中，为激活函数，将通过卷积层之后得到的数值映射至0-1之间的概率数值；

通过交叉熵损失函数获取真实测试用例以及生成用例的真实性，损失函数满足下式：

；

式中，m为训练网络时输入数据的批量， 为m个输入批量中第i个真实测试用例的特征， 为m个输入批量中第i个生成测试用例特征，为对应真实测试用例真实性的概率，为对应生成用例真实性的概率。

实例说明：判别器网络接收7*150大小的矩阵输入，并首先通过卷积神经网络、批量归一化层进一步的提取用例特征得到3*50的输出，并通过注意力机制进一步的提取特征，然后使用卷积神经网络得到输入特征的分数，最终通过激活函数将分数映射至0-1之间的概率值。

步骤5：使用训练完成的生成器网络批量生成测试用例，并通过判别器网络计算测试用例的信息增益，将信息增益大于阈值的测试用例保留，具体包括：

通过生成器模型生成一个测试用例实体er=(id, ca, pl, me, tim, state,per) ，设置一个阈值β，将用例实体特征输入到判别器模型获得生成用例的置信度，将置信度大于β的生成用例保留。

实例说明：由随机种子随机初始化一个7*50的矩阵，该矩阵为输入噪声，并由生成其模型得到一个生成用例的特征，将生成特征输入到判别器网络得到该生成用例的置信度，若该置信度大于0.8则将该生成用例保留作为测试用例。

Claims (5)

1.一种真实用户智能感知系统中的测试用例自动生成方法，其特征在于，所述测试用例自动生成方法包括以下步骤：

S1，收集多个时间段内，多名用户的历史操作日志数据，日志数据包括日志事件id、操作类型、操作平台、操作模块、操作时间和操作网络；

S2，对原始日志数据进行预处理，得到相应的真实用例，构成训练数据集；

S3，搭建生成器神经网络和判别器神经网络；

S4，将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据；将真实用例和生成器神经网络生成的测试用例一起输入到判别器神经网络，由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性；

S5，计算判别器神经网络以及生成器神经网络的损失，使用反向传播更新模型参数，使两者进行极大极小博弈；

S6，重复步骤S4和步骤S5，直至完成对生成器神经网络和判别器神经网络的训练；

S7，使用训练完成的生成器神经网络批量生成测试用例，并通过判别器神经网络计算生成的测试用例的信息增益，保留信息增益大于阈值的测试用例；

步骤S4中，将操作类型标签以及随机噪声输入到生成器神经网络，得到测试用例的特征数据的过程包括以下步骤：

使用随机种子生成一个特定维度的噪声，根据下式将噪声的维度映射至测试用例同一维度：

；

式中，x为生成用例的初步特征，其中包含d维特征向量，BN为批量归一化层函数；ConvT为反卷积层函数，用于升维特征；

使用注意力机制提取重要特征，每一测试用例特征向量计算公式如下：

；

式中，为第i个生成测试用例特征表达，为x的第j维特征向量，d为生成用例特征的总维度数，为第i维的特征对于第j维特征的注意力系数，计算公式如下：

式中，为第i维的特征对于第j维关联程度，d为生成用例特征的总维度数。

2.根据权利要求1所述的真实用户智能感知系统中的测试用例自动生成方法，其特征在于，步骤S1中，收集多个时间段内，多名用户的历史操作日志数据的过程包括以下步骤：

分析日志数据，获取日志数据中自定义多类特征的用户操作特征：

日志数据中第n个的用户操作行为元组特征er_n表示为：

er_n=(id_n, ca_n, pl_n, me_n, tim_n, state_n, per_n)；

式中，id_n代表日志事件标识，ca_n代表操作类型， pl_n代表操作平台, me_n代表操作模块，tim_n代表所发生日志事件的时间戳，per_n代表发生日志事件的用户信息，state_n代表发生日志时用户的网络连接状态，1 ≤ n≤ N，N为日志数据中的用户操作行为总数。

3.根据权利要求1所述的真实用户智能感知系统中的测试用例自动生成方法，其特征在于，步骤S2中，对原始日志数据进行预处理的过程包括以下步骤：

为用户操作日志中的每个属性值设置相应的允许值范围，将不在相应允许值范围内的实体删除；

分析每个空缺值的属性与测试用例运行结果的相关性，如果相关性低于预设的相关性阈值，忽略该空缺值；否则，采用经验值或者相应属性的中位数对该空缺值进行填充；

设置编辑距离阈值，当两条用户操作日志的编辑距离小于编辑距离阈值时，将时间较近的这条用户操作日志视为冗余日志记录予以删除，只保留时间较远的那条用户操作日志。

4.根据权利要求1所述的真实用户智能感知系统中的测试用例自动生成方法，其特征在于，步骤S4中，由判别器神经网络使用注意力机制对两种用例的用例特征进行分析，计算生成器神经网络生成的测试用例的真实性的过程包括以下步骤：

通过下式提取生成用例、以及真实用例特征：

；

式中，h为通过卷积层提取的特征，x为由生成器生成的测试用例特征，BN为批量归一化层函数；Conv为卷积层函数，用于进一步提取生成用例的特征；

采用注意力机制力增大用例中重要特征，并获取用例真实性的概率：

；

式中，为激活函数，将通过卷积层之后得到的数值映射至0-1之间的概率数值；

通过交叉熵损失函数获取真实测试用例以及生成用例的真实性，损失函数满足下式：

；

式中，m为训练网络时输入数据的批量， 为m个输入批量中第i个真实测试用例的特征， 为m个输入批量中第i个生成测试用例特征，为对应真实测试用例真实性的概率，为对应生成用例真实性的概率。

5.根据权利要求1所述的真实用户智能感知系统中的测试用例自动生成方法，其特征在于，步骤S7中，通过判别器神经网络计算生成的测试用例的信息增益，保留信息增益大于阈值的测试用例的过程包括以下步骤：

设置置信度阈值；将用例实体特征输入到判别器神经模型中获得相应的置信度，保留置信度大于置信度阈值的生成用例。

Images