CN113360393B - 一种基于生产环境流量监控的持续验证方法及装置 - Google Patents

Abstract

本发明涉及DevOps技术领域、提供了一种基于生产环境流量监控的持续验证方法及装置。主旨在于利用生产环境实际流量自动修正测试环境下的验证范围，保障生产上的业务功能在下一次迭代中能被全部覆盖。生产环境下每日抽取被调用的接口数据；对各业务系统接口数据文件进行数据解析，得到当日的数据结果；对数据结果与存量数据结果对比，如出现新增场景，持续验证平台对新增的内容进行自动登记，完成场景映射后，将新场景推送至自动化测试平台，如半年内未触发的场景，平台将信息报送至自动化测试平台，提醒确认功能是否下线，是否需要删除或者维护案例：自动化测试平台以推送的场景作为线上业务需要回归的功能范围，并进行持续自动化测试验证。

Description

一种基于生产环境流量监控的持续验证方法及装置

技术领域

本发明涉及DevOps(持续交付)技术领域、自动化测试领域，是一种通过监控测试/生产环境流量智能生成自动化测试范围并进行持续验证的方法及装置。

背景技术

DevOps(持续交付)：由配置管理、构建与持续集成、测试管理、部署与发布管理、环境管理、数据管理、度量与反馈7大能力子域，共14个能力项构成。使用闭环的工具、平台组合，强约束力代码分支策略手段，高覆盖率的自动化测试手段，强大的部署自动化手段确保项目管理流畅，高质量交付，部署可重复性。与传统模式下那种大规模的、不频繁的发布(通常以“季度”或“年”为单位)相比，DevOps(持续交付)大大提升了发布频率(通常以“天”或“周”为单位)。其中DevOps(持续交付)的测试能力串联上游的研发过程与下游的运维过程，水平高低决定项目的可交付性高低。

目前测试过程中涉及的验证内容/回归内容/测试范围来源于人工收集，主要包括如下方式：

(1)由功能测试人员编写后的案例集进行评审商定；

(2)项目经理/测试经理提供；

(3)有开发直接提供。

该过程只出现在项目开展的前期，上线后，运维域缺乏对系统实际运行情况进行及时数据分析机制，存量功能需要重点验证/回归的点无法自动获取，迭代与迭代之间存在脱节，测试环节花费较大的代价回归后，依然可能出现严重缺陷逃逸。

发明内容

本技术利用生产环境实际流量自动修正测试环境下的验证内容，保障生产上的业务功能在下一次迭代中能被全部覆盖。

本发明为实现上述目的采用以下技术方案：

一种基于生产环境流量监控的持续验证方法，包括以下步骤：

步骤1：业务系统迭代版本上线后每日从生产环境上抽取被调用的接口数据；

步骤2：搭建持续验证平台，用于配置各业务系统各接口与业务功能的映射关系、接口关键字段与业务场景的映射关系，结合映射关系分析步骤1获取的生产数据，最终得出各业务系统当日调用业务功能以及业务场景的种类和比例结果；

步骤3：每日对步骤2中的数据结果与历史数据结果对比，

①对比结果中出现未知的业务场景，持续验证平台自动完成业务场景新增，提醒操作人员完成新业务场景的映射，供后续数据分析，并且将此业务场景信息推送至自动化测试平台，由测试人员补充测试用例；

②历史数据中的业务场景一个月内未被触发，持续验证平台将信息报送至自动化测试平台，提醒测试人员确认功能是否下线，是否需要删除或者维护案例；

步骤4：自动化测试平台以步骤3中每日推送的场景作为业务系统的回归测试范围，利用自动化手段，每次迭代版本上线前，对业务系统的回归测试范围进行自动回归，达到低成本持续验证版本质量，保障迭代功能存量功能无异常目的。

步骤5：自动化测试平台将业务系统迭代版本的回归测试结果推送回持续验证平台，由持续验证平台提供各个业务场景的测试数据展示，供版本上线前检查，确保线上业务功能验证无误。

上述技术方案中，步骤1具体包括以下步骤：

步骤1.1：部署Splunk系统，通过Splunk对各个业务系统的生产日志进行抓取，并存储到Splunk数据库中；

步骤1.2：为各类系统建立索引；

步骤1.3：利用Splunk的搜索功能对日志数据进行初步筛选，筛选格式为数据格式为index＝系统名***.0.0.001，得到Splunk接口报文日志文件。

上述技术方案中，步骤2具体包括以下步骤：

步骤2.1：搭建持续验证平台，由场景配置、流量分析、场景推送三个模块构成；

步骤2.2：场景配置是利用前端操作把接口与业务功能做关联、接口关键字与业务场景做关联，得到实际交易与业务含义之间得映射关系，格式举例如下：epcc_paymentepcc.201.001.01 0110 00协议支付个人借记卡快捷支付；

步骤2.3：对步骤1.3得到的Splunk接口报文日志文件，进行逐行读取Splunk接口日志文件，以<？xml为起始，以</root>结束进行正则匹配，得到精确交易报文；并将取得的精确报文逐个存入数据库当日日志表【MsgBoby】中，得到当日交易日志表；

步骤2.4：统计得出当日业务功能，业务功能占比，业务场景、业务场景占比；方法如下：

通过映射关系生成匹配交易计数的sql，对各类数据进行查询，举例如下

当日协议支付功能调用量：Select count(*)from MsgBoby where boby REGEXP‘epcc_payment epcc.201.001.01’；

当日个人借记卡快捷支付场景调用量：Select count(*)from MsgBoby whereboby REGEXP‘epcc_payment epcc.201.001.01’and boby REGEXP‘0110’and boby REGEXP‘00’；

将结果存入数据表【OT_TRANS】中，得到当日业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比；

步骤2.5：将当日【OT_TRANS】表中的数据插入到历史表【HT_TRANS】中。得到历史业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比；

上述技术方案中，步骤3为持续验证平台的数据分析功能，具体包括以下步骤：

步骤3.1：每日定时时将步骤2中当日内被调用业务功能、各业务功能占比、业务场景，各业务场景占比数据与前一日的历史数据作比对，获得数据差异点；

步骤3.2：判断数据差异点中是否有业务场景类型新增，如出现新增，自动完成业务场景新增，并提醒用户完成新增场景的分析，在平台上完成步骤2.2，同时新增场景数据自动存储在待推送列表中；

步骤3.3：查询历史数据中近n日内未调用的业务功能和业务场景，提醒用户完成历史场景的分析，同时待下线场景数据自动存储在待推送列表中。

上述技术方案中，上述步骤4具体包括以下步骤：

步骤4.1：持续验证平台每日定时将T-1日的待推送内容推送至自动化测试平台；

步骤4.2：自动化测试平台收到待提醒内容后，直接显示待处理工作域；

步骤4.3：测试人员对待处理工作域中的待新增和待下线场景进行审核，补充或者删除测试案例，并完成脚本调整；

步骤4.4：自动化平台收到业务系统的测试申请，触发自动化回归案例执行，执行后测试数据将回推至持续验证平台，供版本上线前检查，确保线上业务功能验证无误。

本发明还提供了一种基于生产环境流量监控的持续验证装置，包括以下步骤：

数据获取模块：业务系统迭代版本上线后每日从生产环境上抽取被调用的接口数据；

数据计算模块：搭建持续验证平台，用于配置各业务系统各接口与业务功能的映射关系、接口关键字段与业务场景的映射关系，结合映射关系分析步骤1获取的生产数据，最终得出反映各业务系统当日调用业务功能以及业务场景的种类和比例结果的数据结果；

数据比对模块：每日对数据计算模块中的数据结果与前一日的历史数据结果对比，

③对比结果中出现未知的业务场景，持续验证平台自动完成业务场景新增，提醒操作人员完成新业务场景的映射，供后续数据分析，并且将此业务场景信息推送至自动化测试平台，由测试人员补充测试用例；

④历史数据中的业务场景一个月内未被触发，持续验证平台将信息推送至自动化测试平台，提醒测试人员确认功能是否下线，是否需要删除或者维护案例；

回归测试模块：自动化测试平台根据数据比对模块中每日推送的业务场景信息确定业务系统的回归测试范围，利用自动化手段，每次迭代版本上线前，对业务系统的回归测试范围进行自动回归测试，达到低成本持续验证版本质量，保障迭代功能存量功能无异常；

展示模块：自动化测试平台将业务系统迭代版本的回归测试结果推送回持续验证平台，由持续验证平台提供各个业务场景的测试数据展示，供版本上线前检查，确保线上业务功能验证无误。

上述技术方案中，数据比对模块实现如下：

步骤1.1：部署Splunk系统，通过Splunk对各个业务系统的生产日志进行抓取，并存储到Splunk数据库中；

步骤1.2：为各类系统建立索引；

步骤1.3：利用Splunk的搜索功能对日志数据进行初步筛选，筛选格式为数据格式为index＝系统名***.0.0.001，得到Splunk接口报文日志文件。

上述技术方案中，数据计算模块实现如下：

步骤2.1：搭建持续验证平台，由场景配置、流量分析、场景推送三个模块构成；

步骤2.2：场景配置是利用前端操作把接口与业务功能做关联、接口关键字与业务场景做关联，得到实际交易与业务含义之间得映射关系；

步骤2.3：对步骤1.3得到的Splunk接口报文日志文件，进行逐行读取Splunk接口日志文件，以<？xml为起始，以</root>结束进行正则匹配，得到精确交易报文；并将取得的精确报文逐个存入数据库当日日志表MsgBoby中，得到当日交易日志表；

步骤2.4：统计得出当日业务功能，业务功能占比，业务场景、业务场景占比；方法如下：

通过映射关系生成匹配交易计数的sql，对各类数据进行查询，将结果存入数据表OT_TRANS中，得到当日业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比；

步骤2.5：将当日OT_TRANS表中的数据插入到历史表HT_TRANS中，得到历史业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比。

上述技术方案中，数据比对模块实现如下：

步骤3.1：每日定时将步骤2中当日内被调用业务功能、各业务功能占比、业务场景，各业务场景占比数据与前一日的历史数据作比对，获得数据差异点；

步骤3.2：判断数据差异点中是否有业务场景类型新增，如出现新增，自动完成业务场景新增，并提醒用户完成新增场景的分析，在平台上完成步骤2.2，同时新增场景数据自动存储在待推送列表中；

步骤3.3：查询历史数据中近n日内未调用的业务功能和业务场景，提醒用户完成历史场景的分析，同时待下线场景数据自动存储在待推送列表中。

上述技术方案中，回归测试模块如下：

步骤4.1：持续验证平台每日定时将T-1日的待推送内容推送至自动化测试平台；

步骤4.2：自动化测试平台收到待提醒内容后，直接显示待处理工作域；

步骤4.3：测试人员对待处理工作域中的待新增和待下线场景进行审核，补充或者删除测试案例，并完成脚本调整；

步骤4.4：自动化平台收到业务系统的测试申请，触发自动化回归案例执行，执行后测试数据将回推至持续验证平台，供版本上线前检查，确保线上业务功能验证无误。

因为本发明采用上述技术手段，因此具备以下有益效果：

1、本技术利用生产环境实际流量自动修正测试环境下的验证内容，保障生产上的业务功能在下一次迭代中能被全部覆盖。

2、本技术自动优化验证范围，自动筛查出无效验证点，及时提醒测试人员，减少无效的测试工作量，能提高测试过程域效率。

3、在DevOps过程中，运维域的流量数据可以利用至测试域，帮助测试域优化验证内容，提高效率和精准度。

附图说明图1为流程简图；

图2为Splunk日志软件界面截图。

具体实施方式

以***银行网联前置系统为例，实施方式分为如下几步。

①提取Splunk日志存储文件，索引方式为index＝epcc_payment epcc.2*进行初步筛选，内容格式如下图2所示。

②持续验证平台抓取当日日志文件，配置接口和关键制度与业务功能的映射关系，举例协议支付业务映射关系如下：

③持续验证平台利用Splunk存储日志解析算法提取协议支付业务当日内和历史被调用业务功能、各业务功能占比、业务场景，各业务场景占比；举例如下：

④持续验证平台判断协议支付业务当日是否有新增场景和需下线场景，若存在，数据自动存储在贷推送列表内，实例如下：

⑤批处理推送信息至自动化测试平台，由测试人员确认并维护自动化测试回归范围；

⑥网联前置系统上线前，由自动化测试平台提供测试结论，并反馈回持续验证平台。

Claims (10)

1.一种基于生产环境流量监控的持续验证方法，其特征在于，包括以下步骤：

步骤1：业务系统迭代版本上线后每日从生产环境上抽取被调用的接口数据；

步骤2：搭建持续验证平台，用于配置各业务系统各接口与业务功能的映射关系、接口关键字段与业务场景的映射关系，结合映射关系分析步骤1获取的生产数据，最终得出反映各业务系统当日调用业务功能以及业务场景的种类和比例结果的数据结果；

步骤3：每日对步骤2中的数据结果与前一日的历史数据结果对比，

①对比结果中出现未知的业务场景，持续验证平台自动完成业务场景新增，提醒操作人员完成新业务场景的映射，供后续数据分析，并且将此业务场景信息推送至自动化测试平台，由测试人员补充测试用例；

②历史数据中的业务场景一个月内未被触发，持续验证平台将信息推送至自动化测试平台，提醒测试人员确认功能是否下线，是否需要删除或者维护案例；

步骤4：自动化测试平台根据步骤3中每日推送的业务场景信息确定业务系统的回归测试范围，利用自动化手段，每次迭代版本上线前，对业务系统的回归测试范围进行自动回归测试，达到低成本持续验证版本质量，保障迭代功能存量功能无异常；

步骤5：自动化测试平台将业务系统迭代版本的回归测试结果推送回持续验证平台，由持续验证平台提供各个业务场景的测试数据展示，供版本上线前检查，确保线上业务功能验证无误。

2.根据权利要求1所述的一种基于生产环境流量监控的持续验证方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1：部署Splunk系统，通过Splunk对各个业务系统的生产日志进行抓取，并存储到Splunk数据库中；

步骤1.2：为各类系统建立索引；

步骤1.3：利用Splunk的搜索功能对日志数据进行初步筛选，筛选格式为数据格式为index＝系统名***.0.0.001，得到Splunk接口报文日志文件。

3.根据权利要求1所述的一种基于生产环境流量监控的持续验证方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1：搭建持续验证平台，由场景配置、流量分析、场景推送三个模块构成；

步骤2.2：场景配置是利用前端操作把接口与业务功能做关联、接口关键字与业务场景做关联,得到实际交易与业务含义之间得映射关系；

步骤2.3：对步骤1.3得到的Splunk接口报文日志文件,进行逐行读取Splunk接口日志文件，以<？xml为起始，以</root>结束进行正则匹配,得到精确交易报文；并将取得的精确报文逐个存入数据库当日日志表MsgBoby中，得到当日交易日志表；

步骤2.4：统计得出当日业务功能，业务功能占比，业务场景、业务场景占比；方法如下:

通过映射关系生成匹配交易计数的sql，对各类数据进行查询，将结果存入数据表OT_TRANS中，得到当日业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比；

步骤2.5：将当日0T_TRANS表中的数据插入到历史表HT_TRANS中,得到历史业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比。

4.根据权利要求1所述的一种基于生产环境流量监控的持续验证方法，其特征在于，步骤3为持续验证平台的数据分析功能，具体包括以下步骤：

步骤3.1：每日定时将步骤2中当日内被调用业务功能、各业务功能占比、业务场景，各业务场景占比数据与前一日的历史数据作比对，获得数据差异点；

步骤3.2：判断数据差异点中是否有业务场景类型新增，如出现新增，自动完成业务场景新增，并提醒用户完成新增场景的分析，在平台上完成步骤2.2，同时新增场景数据自动存储在待推送列表中；

步骤3.3：查询历史数据中近n日内未调用的业务功能和业务场景，提醒用户完成历史场景的分析，同时待下线场景数据自动存储在待推送列表中。

5.根据权利要求1所述的一种基于生产环境流量监控的持续验证方法，其特征在于，上述步骤4具体包括以下步骤：

步骤4.1：持续验证平台每日定时将T-1日的待推送内容推送至自动化测试平台；

步骤4.2：自动化测试平台收到待提醒内容后，直接显示待处理工作域；

步骤4.3：测试人员对待处理工作域中的待新增和待下线场景进行审核，补充或者删除测试案例，并完成脚本调整；

步骤4.4：自动化平台收到业务系统的测试申请，触发自动化回归案例执行，执行后测试数据将回推至持续验证平台，供版本上线前检查，确保线上业务功能验证无误。

6.一种基于生产环境流量监控的持续验证装置，其特征在于，包括以下步骤：

数据获取模块：业务系统迭代版本上线后每日从生产环境上抽取被调用的接口数据；

数据计算模块：搭建持续验证平台，用于配置各业务系统各接口与业务功能的映射关系、接口关键字段与业务场景的映射关系，结合映射关系分析步骤1获取的生产数据，最终得出反映各业务系统当日调用业务功能以及业务场景的种类和比例结果的数据结果；

数据比对模块：每日对数据计算模块中的数据结果与前一日的历史数据结果对比，

③对比结果中出现未知的业务场景，持续验证平台自动完成业务场景新增，提醒操作人员完成新业务场景的映射，供后续数据分析，并且将此业务场景信息推送至自动化测试平台，由测试人员补充测试用例；

④历史数据中的业务场景一个月内未被触发，持续验证平台将信息推送至自动化测试平台，提醒测试人员确认功能是否下线，是否需要删除或者维护案例；

回归测试模块：自动化测试平台根据数据比对模块中每日推送的业务场景信息确定业务系统的回归测试范围，利用自动化手段，每次迭代版本上线前，对业务系统的回归测试范围进行自动回归测试，达到低成本持续验证版本质量，保障迭代功能存量功能无异常；

展示模块：自动化测试平台将业务系统迭代版本的回归测试结果推送回持续验证平台，由持续验证平台提供各个业务场景的测试数据展示，供版本上线前检查，确保线上业务功能验证无误。

7.根据权利要求6所述的一种基于生产环境流量监控的持续验证装置，其特征在于，数据比对模块实现如下：

步骤1.1：部署Splunk系统，通过Splunk对各个业务系统的生产日志进行抓取，并存储到Splunk数据库中；

步骤1.2：为各类系统建立索引；

步骤1.3：利用Splunk的搜索功能对日志数据进行初步筛选，筛选格式为数据格式为index＝系统名***.0.0.001，得到Splunk接口报文日志文件。

8.根据权利要求6所述的一种基于生产环境流量监控的持续验证装置，其特征在于，数据计算模块实现如下：

步骤2.1：搭建持续验证平台，由场景配置、流量分析、场景推送三个模块构成；

步骤2.2：场景配置是利用前端操作把接口与业务功能做关联、接口关键字与业务场景做关联,得到实际交易与业务含义之间得映射关系；

步骤2.3：对步骤1.3得到的Splunk接口报文日志文件,进行逐行读取Splunk接口日志文件，以<？xml为起始，以</root>结束进行正则匹配,得到精确交易报文；并将取得的精确报文逐个存入数据库当日日志表MsgBoby中，得到当日交易日志表；

步骤2.4：统计得出当日业务功能，业务功能占比，业务场景、业务场景占比；方法如下:

通过映射关系生成匹配交易计数的sql，对各类数据进行查询，将结果存入数据表OT_TRANS中，得到当日业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比；

步骤2.5：将当日0T_TRANS表中的数据插入到历史表HT_TRANS中,得到历史业务功能量与业务场景量，并利用sql以此可以计算出各业务功能的占比。

9.根据权利要求6所述的一种基于生产环境流量监控的持续验证装置，其特征在于，数据比对模块实现如下：

步骤3.1：每日定时将步骤2中当日内被调用业务功能、各业务功能占比、业务场景，各业务场景占比数据与前一日的历史数据作比对，获得数据差异点；

步骤3.2：判断数据差异点中是否有业务场景类型新增，如出现新增，自动完成业务场景新增，并提醒用户完成新增场景的分析，在平台上完成步骤2.2，同时新增场景数据自动存储在待推送列表中；

步骤3.3：查询历史数据中近n日内未调用的业务功能和业务场景，提醒用户完成历史场景的分析，同时待下线场景数据自动存储在待推送列表中。

10.根据权利要求6所述的一种基于生产环境流量监控的持续验证装置，其特征在于，回归测试模块如下：

步骤4.1：持续验证平台每日定时将T-1日的待推送内容推送至自动化测试平台；

步骤4.2：自动化测试平台收到待提醒内容后，直接显示待处理工作域；

步骤4.3：测试人员对待处理工作域中的待新增和待下线场景进行审核，补充或者删除测试案例，并完成脚本调整；

步骤4.4：自动化平台收到业务系统的测试申请，触发自动化回归案例执行，执行后测试数据将回推至持续验证平台，供版本上线前检查，确保线上业务功能验证无误。

Images