CN112799709B - 一种针对云上容器灰度发布的性能、交易验证方法及装置 - Google Patents

一种针对云上容器灰度发布的性能、交易验证方法及装置 Download PDF

Info

Publication number
CN112799709B
CN112799709B CN202110125625.0A CN202110125625A CN112799709B CN 112799709 B CN112799709 B CN 112799709B CN 202110125625 A CN202110125625 A CN 202110125625A CN 112799709 B CN112799709 B CN 112799709B
Authority
CN
China
Prior art keywords
time sequence
data
prediction model
transaction
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110125625.0A
Other languages
English (en)
Other versions
CN112799709A (zh
Inventor
鲁满
李彤
白佳乐
程鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110125625.0A priority Critical patent/CN112799709B/zh
Publication of CN112799709A publication Critical patent/CN112799709A/zh
Application granted granted Critical
Publication of CN112799709B publication Critical patent/CN112799709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供的一种针对云上容器灰度发布的性能、交易验证方法及装置,可用于云计算领域或其它领域,方法包括:将性能参数对应的时间数据输入至预设的第一时序预测模型,将交易参数对应的时间数据输入至预设的第二时序预测模型,将性能参数时序数据、交易参数时序数据分别于时序预测模型的输出结果进行分析,验证正常容器和灰度容器的异常情况;该方法采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。

Description

一种针对云上容器灰度发布的性能、交易验证方法及装置
技术领域
本申请涉及云计算领域,具体涉及一种针对云上容器灰度发布的性能、交易验证方法及装置。
背景技术
为了适应业务的快速上线,系统软件功能升级周期进一步缩短,通过灰度发布上线可以有效降低系统投产上线可能引发的风险。灰度验证作为应用灰度发布到版本推广中间环节,其验证结果作为灰度版本推广或者灰度版本回退的重要依据。
当前灰度发布验证手段主要依赖于业务人员手工执行验证点或者通过常规技术验证手段,如通过http接口验证、数据库验证、配置文件参数变量等方式验证技术细节,但仍缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断,及时发现问题并报警。
云上环境正常容器和灰度容器之间在部署环境、资源分配、核心业务功能各方面存在一致性,通过对比正常容器和灰度容器的容器性能、交易监控指标可以有效发现版本升级带来的问题。然而在实际情况下,由于正常容器和灰度容器容器流量接入比例不同、负载不均衡导致各项监控指标不相同,无法直接进行对等分析。
综上,目前没有针对云上容器灰度发布的智能比对验证手段,因此,如何提供一种新的方案,解决上述技术问题是本领域亟待解决的技术难题。
发明内容
针对现有技术中的问题,本申请提供一种针对云上容器灰度发布的性能、交易验证方法及装置,能够通过正常容器和灰度容器的历史生产数据进行模型拟合,综合考虑环境差异,计算出历史正常阈值范围,进而验证正常容器和灰度容器的指标偏离程度,当偏离度超过历史正常阈值则认为存在异常,并向上进行报警。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种针对云上容器灰度发布的性能验证方法,包括:
获取灰度发布过程中正常容器和灰度容器的性能参数时序数据;
将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据;
根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的性能异常情况。
第二方面,本申请提供一种针对云上容器灰度发布的交易验证方法,包括:
获取灰度发布过程中正常容器和灰度容器的交易参数时序数据;
将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
第三方面,本申请提供一种针对云上容器灰度发布的验证方法,包括:
获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据;
将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
进一步地,所述验证方法还包括:建立所述第一时序预测模型和所述第二时序预测模型。
进一步地,所述根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的异常情况,包括:
获取所述性能参数预测时序数据和所述交易参数预测时序数据;
计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
进一步地,所述建立所述第一时序预测模型,包括:
利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型;
利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型。
进一步地,所述建立所述第二时序预测模型,包括:
利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型;
利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型。
进一步地,所述性能参数包括正常容器和灰度容器的CPU、内存等性能指标。
进一步地,所述交易参数包括交易成功率、交易响应时长等交易指标。
第四方面,本申请提供一种针对云上容器灰度发布的性能验证装置,包括:
性能参数交互模块:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据;
性能参数算法分析模块:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据;
性能参数核心验证模块:根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的性能异常情况。
第五方面,本申请提供一种针对云上容器灰度发布的交易验证装置,包括:
交易参数交互模块:获取灰度发布过程中正常容器和灰度容器的交易参数时序数据;
交易参数算法分析模块:将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
交易参数核心验证模块:根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
第六方面,本申请提供一种针对云上容器灰度发布的验证装置,包括:
监控数据交互模块:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据;
算法分析模块:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
核心验证模块:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
进一步地,所述核心验证模块包括:
定时调度单元:获取所述性能参数预测时序数据和所述交易参数预测时序数据;
规则验证单元:计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
第七方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的验证方法
第八方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的验证方法。
由上述技术方案可知,本申请提供的一种针对云上容器灰度发布的性能、交易验证方法及装置,方法包括:将性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况;该方法采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中的一种针对云上容器灰度发布的性能验证方法的流程示意图。
图2是本申请实施例中的一种针对云上容器灰度发布的交易验证方法的流程示意图。
图3是本申请实施例中的一种针对云上容器灰度发布的验证方法的流程示意图。
图4是本申请实施例中的一种针对云上容器灰度发布的验证方法中步骤303的流程示意图。
图5是本申请实施例中一种针对云上容器灰度发布的验证方法中步骤300建立第一时序预测模型的流程示意图。
图6是本申请实施例中一种针对云上容器灰度发布的验证方法中步骤300建立第二时序预测模型的流程示意图。
图7是本申请实施例中一种针对云上容器灰度发布的性能验证装置的结构示意图。
图8是本申请实施例中一种针对云上容器灰度发布的交易验证装置的结构示意图。
图9是本申请实施例中的一种针对云上容器灰度发布的验证装置的结构示意图。
图10是本申请实施例中的一种针对云上容器灰度发布的验证装置的监控数据交互模块的结构示意图。
图11是本申请应用实例提供的一种针对云上容器灰度发布的验证装置的算法分析模块的结构示意图。
图12是本申请应用实例提供的一种针对云上容器灰度发布的验证装置的核心验证模块的结构示意图。
图13是本申请应用实例提供的一种针对云上容器灰度发布的验证装置的前端展示报警模块的结构示意图。
图14是本申请应用实例提供的一种针对云上容器灰度发布的验证装置的验证流程示意图。
图15是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请公开的一种针对云上容器灰度发布的性能、交易验证方法及装置可用于云计算领域,也可用于除云计算领域之外的任意领域,本申请公开的一种针对云上容器灰度发布的性能、交易验证方法及装置的应用领域不做限定。
在本申请的一个或多个实施例中,应用程序接口API(Application ProgrammingInterface)是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程,而又无需访问源码,或理解内部工作机制的细节。
考虑到当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的性能、交易验证方法、装置、电子设备和计算机可读存储介质,利用时序预测模型和ARIMA算法的方式,通过对正常/灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常/灰度容器性能、交易指标是否正常,发现异常后可以及时通过报警平台通知应用。从而扩展了灰度验证的场景,提升灰度验证的智能化水平,为灰度环境转正式环境决策提供依据。
基于上述内容,本申请还提供一种用于实现本申请一个或多个实施例中提供的云上容器灰度发布的性能、交易验证方法的性能、交易验证装置,该验证装置可以与客户端设备之间通信连接,所述客户终端设备可以设有多个,验证装置具体可以通过应用服务器访问所述客户终端设备。
其中,所述验证装置可以自客户终端设备接收云上容器灰度发布验证指令,并自该灰度发布验证指令中获取正常容器和灰度容器的唯一用户标识,所述验证装置根据该唯一用户标识获取正常容器和灰度容器调用日志对应的监控信息,并将正常容器和灰度容器调用日志对应的监控信息,分别输入预设的用于进行灰度发布预测和验证的算法分析模型和核心验证模块;根据所述算法分析模型和核心验证模块各自的输出确定所述正常容器和灰度容器的灰度发布验证结果,而后,所述验证装置可以将正常容器和灰度容器的灰度发布验证结果发送至客户端设备进行显示或报警,以使用户根据客户端设备获得正常容器和灰度容器的灰度发布验证结果。
可以理解的是,所述客户端设备可以包括智能手机、平板电子设备、便携式计算机、台式电脑以及个人数字助理(PDA)等。
在另一实际应用情形中,进行灰度发布验证的部分可以在如上述内容所述的分类处理中心执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于进行灰度发布验证的具体处理。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。例如,通信单元可以将灰度发布验证指令发送至分类处理中心的服务器,以便服务器根据灰度发布验证指令进行灰度发布验证。通信单元还可以接收服务器返回的验证结果。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
本申请提供的一种针对云上容器灰度发布的性能、交易验证方法、装置、电子设备和计算机可读存储介质,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
具体通过下述多个实施例及应用实例分别进行说明。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的性能验证方法的实施例,参见图1,所述性能验证方法具体包含有如下内容:
步骤100:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据。
可以理解的是,通过正常容器和灰度容器的搜索api接口对接prometheus监控集群,获取正常容器和灰度容器的性能参数相关信息。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
步骤101:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据。
可以理解的是,所述第一时序预测模型采用ARIMA算法,获取到正常容器和灰度容器性能参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、历史正常3sigma值。
步骤102:根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
可以理解的是,用户可以预定义一个验证规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的性能验证方法,该方法采用时间序列预测模型,通过对正常容器和灰度容器性能指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的交易验证方法的实施例,参见图2,所述交易验证方法具体包含有如下内容:
步骤200:获取灰度发布过程中正常容器和灰度容器的交易参数时序数据。
可以理解的是,通过正常容器和灰度容器的搜索api接口对接交易监控数据检索集群,获取正常容器和灰度容器的交易参数相关信息。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
步骤201:将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,所述第二时序预测模型采用ARIMA算法,获取到正常容器和灰度容器交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对交易参数时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器交易参数预测时序数据、历史正常3sigma值。
步骤202:根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
可以理解的是,用户可以预定义一个验证规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证方法,该方法采用时间序列预测模型,通过对正常容器和灰度容器交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的验证方法的实施例,参见图3,所述验证方法具体包含有如下内容:
步骤301:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据。
可以理解的是,通过调用prometheus监控集群和ElasticSearch日志检索集群query api接口,获取到容器CPU、内存性能监控数据和交易响应时长、交易成功率等数据,保存到内存中。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
步骤302:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,所述第一时序预测模型以及所述第二时序预测模型采用ARIMA算法,获取到正常容器和灰度容器的性能参数和交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对性能参数和交易参数时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、交易参数预测时序数据以及历史正常3sigma值。
步骤303:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
可以理解的是,用户可以预定义一个验证异常规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值、交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证方法,该方法采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了进一步提高灰度发布验证的准确性,在本申请提供的一种针对云上容器灰度发布的验证方法的一个实施例中,可以预先建立时间序列预测模型,参见图3,在所述验证方法中的步骤301之前还具体包含有如下内容:
步骤300:建立所述第一时序预测模型和所述第二时序预测模型。
可以理解的是,时序预测分为7种方法,包括Naive法、简单均值法、移动均值法、简单指数平滑法、霍尔特线性趋势法、Holt-Winters法以及ARIMA法。时序预测模型分为8类,包括平滑法模型、趋势拟合法模型、组合模型、AR模型、MA模型、ARMA模型、ARIMA模型以及ARCH模型。本申请中的时序预测模型采用的是ARIMA模型,ARIMA模型代表自回归积分移动平均(Autoregressive Integrated Moving average),所谓ARIMA模型,是指将非平稳时间序列转化为平稳时间序列,然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型,其基本思想是:将预测对象随时间推移而形成的数据序列视为一个随机序列,用一定的数学模型来近似描述这个序列。ARIMA模型中AR是自回归,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。这个模型一旦被识别后就可以从时间序列的过去值及现在值来预测未来值。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证方法,采用ARIMA模型来预测正常容器和灰度容器的性能参数时序数据和交易参数时序数据,能够提升灰度验证的智能化水平,为灰度环境转正式环境决策提供依据。
为了进一步提高灰度发布验证的准确性,在本申请提供的一种针对云上容器灰度发布的验证方法的一个实施例中,对正常容器和灰度容器的性能参数和交易参数进一步验证,参见图4,所述验证方法中的步骤303具体包含有如下内容:
步骤310:获取所述性能参数预测时序数据和所述交易参数预测时序数据。
可以理解的是,定时每隔1分钟调度步骤300中获取的最近30分钟正常容器和灰度容器的性能参数和交易参数,以及从步骤301中获取性能参数预测时序数据和交易参数预测时序数据。
步骤311:计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
可以理解的是,根据用户预定义的验证异常规则,计算性能参数时序数据和性能参数预测时序数据的差值、交易参数时序数据和交易参数预测时序数据的差值,差值超过历史正常值3sigma,判断灰度发布异常,将判断结果以及相关数据上传至服务器。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证方法,在时序预测ARIMA模型的基础上,进一步对灰度发布过程中容器的性能参数和交易参数进行验证,发现异常后及时通过服务器报警通知应用,实现在无人值守条件下全天实时诊断。
为了进一步提高灰度发布验证的准确性,在本申请提供的一种针对云上容器灰度发布的验证方法的一个实施例中,可以提供第一时序预测模型建立的优选方式,参见图5,所述验证方法中的步骤300具体包含有如下内容:
步骤320:利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型。
可以理解的是,获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型。
步骤321:利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型。
可以理解的是,用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取,反之,则返回步骤310重新建模;对模型进行残差白噪声检验,如果残差序列不是白噪声序列,则返回步骤310重新建模,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证方法,该方法采用ARIMA模型来预测正常容器和灰度容器的性能参数时序数据和交易参数时序数据,该模型方法简单,只需要内生变量而不需要借助其他外生变量。
为了进一步提高灰度发布验证的准确性,在本申请提供的一种针对云上容器灰度发布的验证方法的一个实施例中,可以提供第一时序预测模型建立的优选方式,参见图6,所述验证方法中的步骤300具体包含有如下内容:
步骤322:利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型。
可以理解的是,获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型。
步骤323:利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型。
可以理解的是,用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取,反之,则返回步骤310重新建模;对模型进行残差白噪声检验,如果残差序列不是白噪声序列,则返回步骤310重新建模,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证方法,该方法采用ARIMA模型来预测正常容器和灰度容器的性能参数时序数据和交易参数时序数据,该模型方法简单,只需要内生变量而不需要借助其他外生变量。
在本申请提供的一种针对云上容器灰度发布的性能验证方法的一个实施例中,所述性能参数包括正常容器和灰度容器的CPU、内存等性能指标。
在本申请提供的一种针对云上容器灰度发布的性能验证方法的一个实施例中,所述交易参数包括交易成功率、交易响应时长等交易指标。
本申请提供的一种针对云上容器灰度发布的智能验证方法,主要包括如下步骤:
步骤1):核心验证装置,定期每隔1分钟调用监控数据交互装置获取最近30分钟正常/灰度容器的容器性能指标和交易监控信息。
步骤2):监控数据交互装置,对接prometheus监控集群和交易监控数据检索集群,通过搜索api接口获取容器监控数据和交易相关信息,包含容器CPU、内存等性能指标和交易成功率、交易响应时间等交易指标。
步骤3):核心验证装置,获取到正常/灰度容器性能指标和交易监控信息后,对数据格式进行解析,然后调用算法分析装置。
步骤4):算法分析装置,从核心验证装置获取到正常/灰度容器性能指标和交易相关信息后,检验时序数据平稳性,并对非平稳的时间序列数据做差分。提取正常/灰度环境指标差值作为特征,建立时间序列异常检测算法ARIMA算法模型,使用最小二乘法进行模型参数估计。模型建立完成后,对时序数据指标进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,返回正常/灰度容器监控指标差异值时序数据、历史正常3sigma值。
步骤5):核心验证装置,结合预定义的验证规则对历史正常3sigma值、正常/灰度容器监控指标差值时序数据分析验证,连接监控数据交互装置,将最终验证结果传输过去。
步骤6):监控数据交互装置,接收到外部数据上送请求时,调用数据上传api接口将监控数据传递到ElasticSearch日志检索集群。
步骤7):前端展示报警装置,从ElasticSearch日志检索集群中获取到正常和灰度容器监控指标数据及差值数据、历史正常值3sigma、验证结果,通过图表展示正常/灰度对比曲线图,同时针对验证异常结果信息,对接邮箱和OA系统进行报警。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的性能验证装置的实施例,参见图7,所述性能验证装置具体包含有如下内容:
性能参数交互模块101:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据。
可以理解的是,所述性能参数交互模块10包括监控数据获取单元、监控数据上送单元。其中,监控数据获取单元通过正常容器和灰度容器的搜索api接口对接prometheus监控集群,获取正常容器和灰度容器的性能参数时序数据。监控数据上送单元连接ElasticSearch日志检索集群post api接口,将监控数据上送到ElasticSearch集群中保存。性能参数包括正常容器和灰度容器的CPU、内存等性能指标。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
性能参数算法分析模块102:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据。
可以理解的是,所述性能参数算法分析模块101包括算法核心处理单元和接口封装单元,算法核心处理单元采用ARIMA算法,获取到正常容器和灰度容器性能参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、历史正常3sigma值。接口封装单元算法核心处理单元连接,支持与其他模块进行数据交互,在算法核心处理单元和其他模块之间起到中间桥梁作用。
性能参数核心验证模块103:根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
可以理解的是,性能参数核心验证模块102包括定时调度单元和按规则验证单元,定时调度单元定时每隔1分钟调度性能参数交互模块获取最近30分钟正常容器和灰度容器的容器性能指标,然后连接性能参数算法分析模块获取历史正常3sigma值、性能参数预测时序数据。按规则验证单元分析用户预定义的验证异常规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的性能验证装置,该方法采用时间序列预测模型,通过对正常容器和灰度容器性能指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的交易验证装置的实施例,参见图8,所述交易验证装置具体包含有如下内容:
交易参数交互模块20:获取灰度发布过程中正常容器和灰度容器的交易参数时序数据。
可以理解的是,所述交易参数交互模块20包括监控数据获取单元和监控数据上送单元。其中,监控数据获取单元通过正常容器和灰度容器的搜索api接口对接prometheus监控集群,获取正常容器和灰度容器的交易参数时序数据。监控数据上送单元连接ElasticSearch日志检索集群post api接口,将监控数据上送到ElasticSearch集群中保存。交易参数包括交易成功率、交易响应时长等交易指标。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
交易参数算法分析模块21:将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,所述交易参数算法分析模块21包括算法核心处理单元和接口封装单元,算法核心处理单元采用ARIMA算法,获取到正常容器和灰度容器交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器交易参数预测时序数据、历史正常3sigma值。接口封装单元算法核心处理单元连接,支持与其他模块进行数据交互,在算法核心处理单元和其他模块之间起到中间桥梁作用。
交易参数核心验证模块22:根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况。
可以理解的是,交易参数核心验证模块22包括定时调度单元和按规则验证单元,定时调度单元定时每隔1分钟调度交易参数交互模块获取最近30分钟正常容器和灰度容器的容器交易指标,然后连接交易参数算法分析模块获取历史正常3sigma值、交易参数预测时序数据。按规则验证单元分析用户预定义的验证异常规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证装置,该方法采用时间序列预测模型,通过对正常容器和灰度容器交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种针对云上容器灰度发布的验证装置的实施例,参见图9,所述验证装置具体包含有如下内容:
监控数据交互模块2:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据。
可以理解的是,监控数据交互模块2包括监控数据获取单元21、监控数据上送单元22。参见图10,其中,监控数据获取单元21通过调用prometheus监控集群和ElasticSearch日志检索集群query api接口,获取到容器CPU、内存等性能参数时序数据和交易响应时长、交易成功率等交易参数时序数据,保存到内存中。监控数据上送单元22连接ElasticSearch日志检索集群post api接口,将监控数据上送到ElasticSearch集群中保存。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
算法分析模块3:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,算法分析模块3包括算法核心处理单元31和接口封装单元32。参见图11,其中,算法核心处理单元31采用ARIMA算法,获取到正常容器和灰度容器的性能参数和交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对性能参数和交易参数时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、交易参数预测时序数据以及历史正常3sigma值。接口封装单元32与算法核心处理单元31连接,支持与其他模块进行数据交互,在算法核心处理单元31和其他模块之间起到中间桥梁作用。
核心验证模块1:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
可以理解的是,核心验证模块1分析用户预定义的验证异常规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值、交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为灰度发布验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证装置,该装置采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
为了进一步提高灰度发布验证的准确性,在本申请提供的一种针对云上容器灰度发布的验证装置的一个实施例中,对正常容器和灰度容器的性能参数和交易参数进一步验证,参见图12,所述验证装置中的核心验证模块1具体包含有如下内容:
定时调度单元11:获取所述性能参数预测时序数据和所述交易参数预测时序数据。
可以理解的是,定时调度单元11定时每隔1分钟调度监控数据交互模块获取最近30分钟正常容器和灰度容器的容器性能指标和交易监控信息,然后连接算法分析模块获取历史正常3sigma值、性能参数预测时序数据以及交易参数预测时序数据。
规则验证单元12:计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
可以理解的是,规则验证单元12根据用户预定义的验证异常规则,计算性能参数时序数据和性能参数预测时序数据的差值、交易参数时序数据和交易参数预测时序数据的差值,差值超过历史正常值3sigma,判断灰度发布异常,将判断结果以及相关数据上传至监控数据交互模块2。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证装置,在时序预测ARIMA模型的基础上,进一步对灰度发布过程中容器的性能参数和交易参数进行验证,发现异常后及时通过服务器报警通知应用,实现在无人值守条件下全天实时诊断。
为了进一步提高灰度发布验证的智能化水平,在本申请提供的一种针对云上容器灰度发布的验证装置的一个实施例中,可以对验证结果进行数据处理后上送至报警系统,参见图9,在所述验证装置中还具体包含有前端展示报警模块4,该前端展示报警模块4具体用于执行如下内容:
步骤400:从prometheus监控集群和ElasticSearch日志检索集群中获取到正常容器和灰度容器的性能参数时序数据和交易参数时序数据;
步骤401:从监控数据交互模块获取灰度发布的验证结果;
步骤402:根据正常容器和灰度容器的监控数据,生成正常容器和灰度容器的对比曲线图;
步骤403:根据正常容器和灰度容器的验证结果,对接用户邮箱和OA系统进行报警。
可以理解的是,所述前端展示报警模块4包括前端图表展示单元41、报警上送单元42,参见图13,其中,前端图表展示单元41从监控数据交互模块2获取到正常容器和灰度容器监控数据,在前端通过图表展示正常容器和灰度对比曲线图以及正常容器和灰度差值曲线与正常阈值范围展示图。图表中横轴为时间线,纵轴展示容器监控指标CPU、内存以及容器交易信息包括交易响应时间、交易耗时等指标。报警上送单元42从监控数据交互模块2获取到验证结果信息,针对验证异常的结果信息对接统一报警平台,并通过邮件、OA等方式提醒应用。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的验证装置,将获取到的灰度发布过程中的监控数据,通过图标对比展示,同时发现异常后及时通过系统报警通知应用,实现在无人值守条件下全天实时诊断。
下面结合图14,对本申请实施例提供的一种针对云上容器灰度发布的验证装置的灰度发布验证过程具体说明,验证装置开启后执行如下操作:
步骤S101:核心验证模块1定期连接监控数据交互模块2获取正常容器和灰度容器监控信息;
步骤S102:监控数据交互模块2对接监控集群api接口获取数据并返回结果;
步骤S103:核心验证模块1获取到容器监控数据后解析格式,然后连接算法分析模块3;
步骤S104:算法分析模块3提取正常容器和灰度容器环境指标差值为特征,验证当前监控指标是否正常并返回结果;
步骤S105:监控数据交互模块2将结果数据上传给ElasticSearch检索群;
步骤S106:前端展示报警模块4从检索群获取正常容器和灰度容器监控数据进行前台曲线对比展示和报警上送。
从硬件层面来说,为了解决当前灰度发布缺乏一些智能化验证手段,以实现在无人值守条件下全天实时诊断的问题,本申请提供一种用于实现所述灰度发布的验证方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
图15为本申请实施例的电子设备9600的系统构成的示意框图。如图15所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图15是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在一实施例中,云上容器灰度发布的验证功能可以被集成到中央处理器中。其中,中央处理器可以被配置为进行如下控制:
步骤301:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据。
可以理解的是,通过调用prometheus监控集群和ElasticSearch日志检索集群query api接口,获取到容器CPU、内存等性能参数时序数据和交易响应时长、交易成功率等交易参数时序数据,保存到内存中。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
步骤302:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,所述第一时序预测模型以及所述第二时序预测模型采用ARIMA算法,获取到正常容器和灰度容器的性能参数和交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对性能参数和交易参数时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、交易参数预测时序数据以及历史正常3sigma值。
步骤303:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
可以理解的是,用户可以预定义一个验证规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值、交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证方法,该方法采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
在另一个实施方式中,云上容器灰度发布的验证装置可以与中央处理器9100分开配置,例如可以将云上容器灰度发布的验证装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现云上容器灰度发布的验证功能。
如图15所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图15中所示的所有部件;此外,电子设备9600还可以包括图15中没有示出的部件,可以参考现有技术。
如图15所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的云上容器灰度发布的验证方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的云上容器灰度发布的验证测方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤301:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据。
可以理解的是,通过调用prometheus监控集群和ElasticSearch日志检索集群query api接口,获取到容器CPU、内存等性能参数时序数据和交易响应时长、交易成功率等交易参数时序数据,保存到内存中。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
步骤302:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据。
可以理解的是,所述第一时序预测模型以及所述第二时序预测模型采用ARIMA算法,获取到正常容器和灰度容器的性能参数和交易参数后,从均值和方差维度检验时序数据平稳性,对于非平稳的时间序列数据做差分直至得到一组平稳的时序数据,对性能参数和交易参数时序数据进行检测,超过历史正常值3sigma的诊断为异常。算法处理结束后,输出正常容器和灰度容器性能参数预测时序数据、交易参数预测时序数据以及历史正常3sigma值。
步骤303:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况。
可以理解的是,用户可以预定义一个验证规则,规则包含持续超过阈值的时长、超过阈值的百分比,当正常容器和灰度容器的性能参数时序数据和性能参数预测时序数据差值、交易参数时序数据和交易参数预测时序数据差值,以及历史正常3sigma值(阈值)满足配置的规则要求,则认为验证异常。
从上述描述可知,本申请实施例提供的一种针对云上容器灰度发布的交易验证方法,该方法采用时间序列预测模型,通过对正常容器和灰度容器性能、交易指标历史生产数据进行模型拟合,验证当前正常容器和灰度容器性能、交易指标是否正常,从而扩展了灰度验证的场景,提升灰度验证的智能化水平,实现在无人值守条件下全天实时诊断,为灰度环境转正式环境决策提供依据。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种针对云上容器灰度发布的性能验证方法,其特征在于,包括:
获取灰度发布过程中正常容器和灰度容器的性能参数时序数据;
将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据;
根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的性能异常情况;
建立所述第一时序预测模型,包括:
利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成。
2.一种针对云上容器灰度发布的交易验证方法,其特征在于,包括:
获取灰度发布过程中正常容器和灰度容器的交易参数时序数据;
将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况;
建立所述第二时序预测模型,包括:
利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第二时序预测模型建立完成。
3.一种针对云上容器灰度发布的验证方法,其特征在于,包括:
获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据;
将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况;
建立所述第一时序预测模型,包括:
利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成;
建立所述第二时序预测模型,包括:
利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第二时序预测模型建立完成。
4.根据权利要求3所述的验证方法,其特征在于,所述根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的异常情况,包括:
获取所述性能参数预测时序数据和所述交易参数预测时序数据;
计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
5.根据权利要求3所述的验证方法,其特征在于,所述性能参数包括正常容器和灰度容器的CPU、内存性能指标。
6.根据权利要求3所述的验证方法,其特征在于,所述交易参数包括交易成功率、交易响应时长交易指标。
7.一种针对云上容器灰度发布的性能验证装置,其特征在于,包括:
性能参数交互模块:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据;
性能参数算法分析模块:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据;
性能参数核心验证模块:根据所述性能参数时序数据以及所述性能参数预测时序数据验证所述正常容器和灰度容器的性能异常情况;
建立所述第一时序预测模型,包括:
利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成。
8.一种针对云上容器灰度发布的交易验证装置,其特征在于,包括:
交易参数交互模块:获取灰度发布过程中正常容器和灰度容器的交易参数时序数据;
交易参数算法分析模块:将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
交易参数核心验证模块:根据所述交易参数时序数据以及所述交易参数预测时序数据验证所述正常容器和灰度容器的交易异常情况;
建立所述第二时序预测模型,包括:
利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第二时序预测模型建立完成。
9.一种针对云上容器灰度发布的验证装置,其特征在于,包括:
监控数据交互模块:获取灰度发布过程中正常容器和灰度容器的性能参数时序数据和交易参数时序数据;
算法分析模块:将所述性能参数对应的时间数据输入至预设的第一时序预测模型,其中所述第一时序预测模型输出性能参数预测时序数据,将所述交易参数对应的时间数据输入至预设的第二时序预测模型,其中所述第二时序预测模型输出交易参数预测时序数据;
核心验证模块:根据所述性能参数时序数据以及所述性能参数预测时序数据、所述交易参数时序数据以及所述交易参数预测时序数据,验证所述正常容器和灰度容器的异常情况;
建立所述第一时序预测模型,包括:
利用一包括多个历史性能参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史性能参数时序数据的测试集对训练后的时序预测模型进行测试,得到第一时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第一时序预测模型建立完成;
建立所述第二时序预测模型,包括:
利用一包括多个历史交易参数时序数据的训练集训练一时序预测模型;
获取到训练集后,对训练集中的数据绘图,观测是否为平稳时间序列,对于非平稳时间序列要先进行d阶差分运算,化为平稳时间序列;对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图的分析,得到最佳的阶层p和阶数q,自相关函数ACF描述的是时间序列观测值与其过去的观测值之间的线性相关性,偏自相关函数PACF描述的是在给定中间观测值的条件下,时间序列观测值预期过去的观测值之间的线性相关性;利用最小二乘法估计序列的回归系数,由以上得到的d、q、p,得到ARIMA模型;
利用一包括多个历史交易参数时序数据的测试集对训练后的时序预测模型进行测试,得到第二时序预测模型;
用一组测试集对训练后的时序预测模型进行测试,模型的输出结果与测试集结果一致,则时序预测模型的参数可取;
对模型进行残差白噪声检验,直至参数检验和残差白噪声检验均通过,第二时序预测模型建立完成。
10.根据权利要求9所述的验证装置,其特征在于,所述核心验证模块包括:
定时调度单元:获取所述性能参数预测时序数据和所述交易参数预测时序数据;
规则验证单元:计算所述性能参数时序数据和所述性能参数预测时序数据的差值,所述交易参数时序数据和所述交易参数预测时序数据的差值,所述差值大于设定值,判断所述性能参数以及所述交易参数异常。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的验证方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的验证方法。
CN202110125625.0A 2021-01-29 2021-01-29 一种针对云上容器灰度发布的性能、交易验证方法及装置 Active CN112799709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110125625.0A CN112799709B (zh) 2021-01-29 2021-01-29 一种针对云上容器灰度发布的性能、交易验证方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110125625.0A CN112799709B (zh) 2021-01-29 2021-01-29 一种针对云上容器灰度发布的性能、交易验证方法及装置

Publications (2)

Publication Number Publication Date
CN112799709A CN112799709A (zh) 2021-05-14
CN112799709B true CN112799709B (zh) 2024-04-12

Family

ID=75812823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110125625.0A Active CN112799709B (zh) 2021-01-29 2021-01-29 一种针对云上容器灰度发布的性能、交易验证方法及装置

Country Status (1)

Country Link
CN (1) CN112799709B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197845A (zh) * 2018-02-28 2018-06-22 四川新网银行股份有限公司 一种基于深度学习模型lstm的交易指标异常的监测方法
CN109684310A (zh) * 2018-11-22 2019-04-26 安徽继远软件有限公司 一种基于大数据分析的信息系统性能态势感知方法
CN111767930A (zh) * 2019-04-01 2020-10-13 北京百度网讯科技有限公司 物联网时序数据异常检测方法及其相关设备
CN111949277A (zh) * 2020-08-17 2020-11-17 中国工商银行股份有限公司 智能化灰度发布投产方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197845A (zh) * 2018-02-28 2018-06-22 四川新网银行股份有限公司 一种基于深度学习模型lstm的交易指标异常的监测方法
CN109684310A (zh) * 2018-11-22 2019-04-26 安徽继远软件有限公司 一种基于大数据分析的信息系统性能态势感知方法
CN111767930A (zh) * 2019-04-01 2020-10-13 北京百度网讯科技有限公司 物联网时序数据异常检测方法及其相关设备
CN111949277A (zh) * 2020-08-17 2020-11-17 中国工商银行股份有限公司 智能化灰度发布投产方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112799709A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109514586B (zh) 实现智能客服机器人的方法及系统
CN109685089B (zh) 评估模型性能的系统及方法
CN113268336B (zh) 一种服务的获取方法、装置、设备以及可读介质
CN110321273A (zh) 一种业务统计方法及装置
CN112884092A (zh) Ai模型生成方法、电子设备及存储介质
CN113094284A (zh) 应用故障检测方法及装置
CN111353828A (zh) 网点到店人数预测方法及装置
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN112799709B (zh) 一种针对云上容器灰度发布的性能、交易验证方法及装置
CN112767167B (zh) 一种基于集成学习的投资交易风险趋势预测方法及装置
CN114880182B (zh) 监控平台测试方法、装置、电子设备和可读存储介质
CN115938013A (zh) 用于监控数据的方法、装置、设备和计算机可读介质
CN113329128B (zh) 话务数据预测方法及装置、电子设备、存储介质
JP2019091012A (ja) 情報認識方法および装置
CN115187364A (zh) 银行分布式场景下保证金风险监控的方法及装置
CN112882948A (zh) 一种应用的稳定性测试方法、装置、系统及存储介质
CN113065109A (zh) 人机识别方法及装置
CN113742593A (zh) 用于推送信息的方法和装置
CN110275809B (zh) 一种数据波动识别方法、装置及存储介质
CN112163532A (zh) 电力系统的振荡模式识别方法及装置
CN111767085B (zh) Storm平台参数配置方法和装置
CN111526054B (zh) 用于获取网络的方法及装置
CN113626630A (zh) 应用系统监控预警方法及装置
CN116755901A (zh) 一种信息处理方法及装置
CN115390716A (zh) 角标的配置方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant