CN114528202A - 一种服务功能稳定性的自动化评估方法 - Google Patents

一种服务功能稳定性的自动化评估方法 Download PDF

Info

Publication number
CN114528202A
CN114528202A CN202111669758.0A CN202111669758A CN114528202A CN 114528202 A CN114528202 A CN 114528202A CN 202111669758 A CN202111669758 A CN 202111669758A CN 114528202 A CN114528202 A CN 114528202A
Authority
CN
China
Prior art keywords
data
module
request
interface
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111669758.0A
Other languages
English (en)
Inventor
商亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Electronic Commerce Co Ltd
Original Assignee
Tianyi Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Electronic Commerce Co Ltd filed Critical Tianyi Electronic Commerce Co Ltd
Priority to CN202111669758.0A priority Critical patent/CN114528202A/zh
Publication of CN114528202A publication Critical patent/CN114528202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/368—Test management for test version control, e.g. updating test cases to a new software version
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种服务功能稳定性的自动化评估方法，包括以下方法：一、应用服务首次接入需配置jvm SDK，其提供对流量录制的增强；二、采集完整一个周期数据后(通常为一周)，特征分析模块将每个接口请求数据的集合分别采用聚类算法实现自动化分类。本发明提出了一种不需要人工维护、机器自学习的服务接口功能稳定的自动化评估方法，为复杂场景、敏捷开发团队做功能回归提供了一种低成本、可靠的实施方案；与常规自动化测试相比，不需要长期投入资源维护多变的脚本规则，以及相对应的测试数据，完全减除自动化测试人员维护用例、数据的工作量。

Description

一种服务功能稳定性的自动化评估方法
技术领域
本发明涉及IT与软件开发领域，特别涉及一种服务功能稳定性的自动化评估方法。
背景技术
在当前互联网行业推广敏捷开发、快速迭代的背景下，每一次版本变更测试团队往往需要做大量的人工回归工作；尽管已经有自动化测试工具，但是维护规则脚本、用例数据的更新也为测试人员带来了很多额外的工作。本专利则是针对这一问题场景，提出了一种不需要人工维护、机器自学习的服务接口功能稳定的自动化评估方法，为复杂场景、敏捷开发团队做功能回归提供了一种低成本、可靠的实施方案。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种服务功能稳定性的自动化评估方法，与常规自动化测试相比，不需要长期投入资源维护多变的脚本规则，以及相对应的测试数据，完全减除自动化测试人员维护用例、数据的工作量。
本发明提供了如下的技术方案：
本发明提供一种服务功能稳定性的自动化评估方法，包括以下方法：
一、应用服务首次接入需配置jvm SDK，其提供对流量录制的增强；
二、采集完整一个周期数据后(通常为一周)，特征分析模块将每个接口请求数据的集合分别采用聚类算法实现自动化分类，算法详述为：
相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclideandistance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure BDA0003449323850000021
三、执行完采样数据请求后，即开始稳定性分析阶段，本阶段仍采用Euclideandistance算法为基础，以及响应数据各字段的动态特征贡献度z，公式为：
Figure BDA0003449323850000022
完整方案整体可分为如下模块：
a)流量录制模块：
i.基于JavaAgent的流量录制子模块：
(1)对业务代码的零入侵；
(2)本模块负责根据配置将流量入口的请求参数、响应数据记录到本地日志；
ii.基于LogAgent的日志采集子模块：
(1)对业务服务器资源低损耗；
(2)本模块负责将流量录制模块记录的请求参数、响应数据采集并发送到数据存储模块；
iii.数据存储模块：
(1)全量数据存储在hive；
(2)用于执行脚本时向接口触发的采样数据存储在ES集群；
b)数据处理模块：
i.针对采集的历史请求数据做聚类分析子模块：
本模块对请求数据做聚类分析和对响应数据做特征分析；相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclidean distance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure BDA0003449323850000031
c)请求模块：
本模块负责依据指定的请求参数、向指定的接口发送请求并记录响应数据；
d)功能稳定性分析模块：
本模块是基于b)中得到的各分类下接口响应的特征模型，对c)中得到的响应数据做相似度偏向量统计，公式同
Figure BDA0003449323850000032
对于偏移量达到指定阈值时输出结果不稳定的告警。
与现有技术相比，本发明的有益效果如下：
本发明提供一种服务功能稳定性的自动化评估方法，与常规自动化测试相比，不需要长期投入资源维护多变的脚本规则，以及相对应的测试数据，完全减除自动化测试人员维护用例、数据的工作量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是数据采集模块流程示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
实施例1
如图1，本发明提供一种服务功能稳定性的自动化评估方法，包括以下方法：
一、应用服务首次接入需配置jvm SDK，其提供对流量录制的增强；
二、采集完整一个周期数据后(通常为一周)，特征分析模块将每个接口请求数据的集合分别采用聚类算法实现自动化分类，算法详述为：
相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclideandistance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure BDA0003449323850000051
三、执行完采样数据请求后，即开始稳定性分析阶段，本阶段仍采用Euclideandistance算法为基础，以及响应数据各字段的动态特征贡献度z，公式为：
Figure BDA0003449323850000052
完整方案整体可分为如下模块：
a)流量录制模块：
i.基于JavaAgent的流量录制子模块：
(1)对业务代码的零入侵；
(2)本模块负责根据配置将流量入口的请求参数、响应数据记录到本地日志；
ii.基于LogAgent的日志采集子模块：
(1)对业务服务器资源低损耗；
(2)本模块负责将流量录制模块记录的请求参数、响应数据采集并发送到数据存储模块；
iii.数据存储模块：
(1)全量数据存储在hive；
(2)用于执行脚本时向接口触发的采样数据存储在ES集群；
b)数据处理模块：
i.针对采集的历史请求数据做聚类分析子模块：
本模块对请求数据做聚类分析和对响应数据做特征分析；相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclidean distance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure BDA0003449323850000061
c)请求模块：
本模块负责依据指定的请求参数、向指定的接口发送请求并记录响应数据；
d)功能稳定性分析模块：
本模块是基于b)中得到的各分类下接口响应的特征模型，对c)中得到的响应数据做相似度偏向量统计，公式同
Figure BDA0003449323850000062
对于偏移量达到指定阈值时输出结果不稳定的告警。
实施例如下：
a)字段筛选：根据字段含义和区分度将无含义字段、区分度低于阈值的字段丢弃不处理或降低权重。
b)将新得到的接口相应数据与已有的特征进行比对，定义如下稳定性评价标准：
稳定度：即新得到的数据与已有数据的相似度。
图1是数据采集模块流程示意图，本模块负责对被监测应用的指定接口采集请求、响应数据，并写入本地日志文件；再通过LogAgent将日志数据最终发送、存储在数据平台Hive表中；
本专利的方法、方案首次用于接口稳定性评估，在一定程度上可代替接口自动化测试工作；
接口特征分析时，针对已经收集到的请求入出参数据，通过聚类算法得到多个维度的分类数据，同时也通过自定义的方式基于业务属性显示指定分类特征依据，两者相结合时分类维度的实际覆盖度高。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种服务功能稳定性的自动化评估方法，其特征在于，包括以下方法：
一、应用服务首次接入需配置jvm SDK，其提供对流量录制的增强；
二、采集完整一个周期数据后(通常为一周)，特征分析模块将每个接口请求数据的集合分别采用聚类算法实现自动化分类，算法详述为：
相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclidean distance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure FDA0003449323840000011
三、执行完采样数据请求后，即开始稳定性分析阶段，本阶段仍采用Euclideandistance算法为基础，以及响应数据各字段的动态特征贡献度z，公式为：
Figure FDA0003449323840000012
完整方案整体可分为如下模块：
a)流量录制模块：
i.基于JavaAgent的流量录制子模块：
(1)对业务代码的零入侵；
(2)本模块负责根据配置将流量入口的请求参数、响应数据记录到本地日志；
ii.基于LogAgent的日志采集子模块：
(1)对业务服务器资源低损耗；
(2)本模块负责将流量录制模块记录的请求参数、响应数据采集并发送到数据存储模块；
iii.数据存储模块：
(1)全量数据存储在hive；
(2)用于执行脚本时向接口触发的采样数据存储在ES集群；
b)数据处理模块：
i.针对采集的历史请求数据做聚类分析子模块：
本模块对请求数据做聚类分析和对响应数据做特征分析；相关性分析、特征选择：通常性输入数据具有如下特点：例如按用户特点分为登录用户请求、非登录用户请求、会员用户请求等；那么对于输入数据，采用Euclidean distance算法为基础，在此基础上，基于各接口业务特点，动态的调整每个xiyi的特征贡献度z，z的计算公式基础为区分度算法，具体含义为将那些区分度不是很高、特征不明显的入参字段权重降低，由此将每个入参字段分别放入不同维度进行距离计算，最终对于有n个入参字段的接口本方案采用如下公式：
Figure FDA0003449323840000021
c)请求模块：
本模块负责依据指定的请求参数、向指定的接口发送请求并记录响应数据；
d)功能稳定性分析模块：
本模块是基于b)中得到的各分类下接口响应的特征模型，对c)中得到的响应数据做相似度偏向量统计，公式同
Figure FDA0003449323840000031
对于偏移量达到指定阈值时输出结果不稳定的告警。
CN202111669758.0A 2021-12-30 2021-12-30 一种服务功能稳定性的自动化评估方法 Pending CN114528202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111669758.0A CN114528202A (zh) 2021-12-30 2021-12-30 一种服务功能稳定性的自动化评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111669758.0A CN114528202A (zh) 2021-12-30 2021-12-30 一种服务功能稳定性的自动化评估方法

Publications (1)

Publication Number Publication Date
CN114528202A true CN114528202A (zh) 2022-05-24

Family

ID=81620296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111669758.0A Pending CN114528202A (zh) 2021-12-30 2021-12-30 一种服务功能稳定性的自动化评估方法

Country Status (1)

Country Link
CN (1) CN114528202A (zh)

Similar Documents

Publication Publication Date Title
CN107577588B (zh) 一种海量日志数据智能运维系统
US10031829B2 (en) Method and system for it resources performance analysis
EP3425524A1 (en) Cloud platform-based client application data calculation method and device
EP3324304A1 (en) Data processing method, device and system
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN113360722B (zh) 一种基于多维数据图谱的故障根因定位方法及系统
CN110399377A (zh) Sql的优化方法、装置、电子设备及计算机可读存储介质
KR102088285B1 (ko) 규칙 기반의 동적 로그 수집 방법 및 장치
CN110807026A (zh) 一种用于分析金融大数据血缘关系的自动化捕获系统
US8266120B2 (en) Method and apparatus for using selective attribute acquisition and clause evaluation for policy based storage management
WO2024139255A1 (zh) 根因定位的方法、装置、设备和可读介质
CN114911800A (zh) 电力系统的故障预测方法、装置以及电子设备
CN113360353B (zh) 一种测试服务器和云平台
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN110895506A (zh) 测试数据的构造方法和构造系统
CN113032341A (zh) 一种基于可视化配置的日志处理方法
CN114528202A (zh) 一种服务功能稳定性的自动化评估方法
CN111277427B (zh) 一种数据中心网络设备的巡检方法及系统
CN113238901B (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
CN115102848A (zh) 日志数据的提取方法、系统、设备及介质
CN115114264A (zh) 基于运维流程平台的应用系统数据库性能管控方法和系统
CN114268569B (zh) 一种可配置的网络运维验收测试方法及装置
CN112579391A (zh) 一种基于人工智能的分布式数据库自动运维方法及系统
CN111382191A (zh) 一种基于深度学习的机器学习识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination