CN116662186A - 基于逻辑回归的日志回放断言方法及其装置、电子设备 - Google Patents

基于逻辑回归的日志回放断言方法及其装置、电子设备 Download PDF

Info

Publication number
CN116662186A
CN116662186A CN202310653811.0A CN202310653811A CN116662186A CN 116662186 A CN116662186 A CN 116662186A CN 202310653811 A CN202310653811 A CN 202310653811A CN 116662186 A CN116662186 A CN 116662186A
Authority
CN
China
Prior art keywords
log
playback
production
return value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310653811.0A
Other languages
English (en)
Inventor
林金朝
陆杨芳
王宝利
王淑美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310653811.0A priority Critical patent/CN116662186A/zh
Publication of CN116662186A publication Critical patent/CN116662186A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/27Regression, e.g. linear or logistic regression
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于逻辑回归的日志回放断言方法及其装置、电子设备,涉及金融科技技术领域,其中,该断言方法包括:接收金融项目的项目生产日志;提取项目生产日志中的日志数据以及数据接口;基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值;将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数;基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果。本发明解决了相关技术中无法利用日志回放断言来排查程序问题的技术问题。

Description

基于逻辑回归的日志回放断言方法及其装置、电子设备
技术领域
本发明涉及金融科技技术领域或其他相关领域,具体而言,涉及一种基于逻辑回归的日志回放断言方法及其装置、电子设备。
背景技术
生产日志回放涉及到生产数据的脱敏变形,在普通测试环境中业务程序容易出现重要参数缺失和代码差异等情况,导致回放交易结果达不到生产预期,需要利用回放比对来排查问题。
相关技术中,由于准备的环境、数据、参数与实际生产存在一定的差异,回放比对过程中存在较大的误报率,并且存在大量无效断言,给回放结果排查带来了困扰,无法达到利用日志回放断言来排查程序问题的效果。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于逻辑回归的日志回放断言方法及其装置、电子设备,以至少解决相关技术中无法利用日志回放断言来排查程序问题的技术问题。
根据本发明实施例的一个方面,提供了一种基于逻辑回归的日志回放断言方法,包括:接收金融项目的项目生产日志,其中,所述项目生产日志包括:日志程序以及执行所述日志程序后生成的日志数据;提取所述项目生产日志中的日志数据以及数据接口;基于所述日志数据以及所述数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,所述日志生产接口返回值表征在执行所述日志程序过程中出现的生产报错参数,所述测试环境回放返回值表征在预设生产环境中模拟回放所述日志程序过程中出现的报错参数;将所述日志生产接口返回值和所述测试环境回放返回值输入逻辑回归模型,输出回归系数;基于所述回归系数与预设回归断言阈值,确定在模拟回放所述日志程序后的日志回放结果,其中,所述日志回放结果用于指示被回放的所述日志程序是否存在风险。
可选地,所述逻辑回归模型是预先生成的,在生成所述逻辑回归模型时,包括:获取初始逻辑回归模型的模型架构以及预设代价函数;对样本数据集进行逻辑回归运算,得到将所述预设代价函数出现局部最小值的参数集合;基于所述参数集合以及初始逻辑回归模型,确定回归系数;基于所述回归系数,生成所述逻辑回归模型。
可选地,所述样本数据集也是预先生成的,在生成所述样本数据集时,包括:采集历史金融项目的历史项目生产日志;获取与所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果;将每个所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果进行组合,生成所述样本数据集。
可选地,获取与所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果的步骤,包括:提取所述历史项目生产日志中的历史日志数据以及历史数据接口;获取与所述历史日志数据以及所述历史数据接口对应的返回代码值,其中,所述返回代码值包括:生产错误代码以及测试环境回放错误代码;将所述生产错误代码值表征为所述历史日志生产接口返回值,并将所述测试环境回放错误代码表征为所述历史测试环境回放返回值。
可选地,在生成所述样本数据集之后,还包括:对所述样本数据集进行预处理,其中,所述预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位,所述特异度是指区分返回值的唯一性的参考数值,N大于等于2的整数。
可选地,对样本数据集进行逻辑回归运算,得到将所述预设代价函数出现局部最小值的参数集合的步骤,包括:获取与所述参数集合中每个参数对应的初始参数值;将所述初始参数值以及所述样本数据集代入所述预设代价函数,采用梯度下降策略进行逻辑回归运算,求取使得所述预设代价函数出现局部最小值的所述参数集合,其中,所述梯度下降策略用于按照所述预设代价函数的当前点对应梯度值的反方向规定的步长值进行迭代运算,以得到所述局部最小值。
可选地,所述预设回归断言阈值的取值范围在0.5至1之间。
根据本发明实施例的另一方面,还提供了一种基于逻辑回归的日志回放断言装置,包括:接收单元,用于接收金融项目的项目生产日志,其中,所述项目生产日志包括:日志程序以及执行所述日志程序后生成的日志数据;提取单元,用于提取所述项目生产日志中的日志数据以及数据接口;生成单元,用于基于所述日志数据以及所述数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,所述日志生产接口返回值表征在执行所述日志程序过程中出现的生产报错参数,所述测试环境回放返回值表征在预设生产环境中模拟回放所述日志程序过程中出现的报错参数;输出单元,用于将所述日志生产接口返回值和所述测试环境回放返回值输入逻辑回归模型,输出回归系数;确定单元,用于基于所述回归系数与预设回归断言阈值,确定在模拟回放所述日志程序后的日志回放结果,其中,所述日志回放结果用于指示被回放的所述日志程序是否存在风险。
可选地,所述日志回放断言装置还包括:第一获取模块,用于获取初始逻辑回归模型的模型架构以及预设代价函数;运算模块,用于对样本数据集进行逻辑回归运算,得到将所述预设代价函数出现局部最小值的参数集合;确定模块,用于基于所述参数集合以及初始逻辑回归模型,确定回归系数;第一生成模块,用于基于所述回归系数,生成所述逻辑回归模型。
可选地,所述日志回放断言装置还包括:采集模块,用于采集历史金融项目的历史项目生产日志;第二获取模块,用于获取与所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果;第二生成模块,用于将每个所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果进行组合,生成所述样本数据集。
可选地,所述第二获取模块包括:提取子模块,用于提取所述历史项目生产日志中的历史日志数据以及历史数据接口;第一获取子模块,用于获取与所述历史日志数据以及所述历史数据接口对应的返回代码值,其中,所述返回代码值包括:生产错误代码以及测试环境回放错误代码;表征子模块,用于将所述生产错误代码值表征为所述历史日志生产接口返回值,并将所述测试环境回放错误代码表征为所述历史测试环境回放返回值。
可选地,所述日志回放断言装置还包括:预处理模块,用于对所述样本数据集进行预处理,其中,所述预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位,所述特异度是指区分返回值的唯一性的参考数值,N大于等于2的整数。
可选地,所述运算模块包括:第二获取子模块,用于获取与所述参数集合中每个参数对应的初始参数值;运算子模块,用于将所述初始参数值以及所述样本数据集代入所述预设代价函数,采用梯度下降策略进行逻辑回归运算,求取使得所述预设代价函数出现局部最小值的所述参数集合,其中,所述梯度下降策略用于按照所述预设代价函数的当前点对应梯度值的反方向规定的步长值进行迭代运算,以得到所述局部最小值。
可选地,所述预设回归断言阈值的取值范围在0.5至1之间。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项的基于逻辑回归的日志回放断言方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项的基于逻辑回归的日志回放断言方法。
在本公开中,提出一种基于逻辑回归的日志回放断言方法,接收金融项目的项目生产日志,并提取项目生产日志中的日志数据以及数据接口,基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数,将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数,基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果。
在本公开中,通过提取金融项目的项目日志中的日志数据和数据接口,生成日志生产接口返回值和测试环境回放返回值输入逻辑回归模型进行回放结果预测,用预测结果来指示项目错误中是否存在程序问题,提高回放自动化断言的成功率,降低人工排查的成本,进而解决了相关技术中无法利用日志回放断言来排查程序问题的技术问题。
本公开中,还可以通过利用模型来预测判断后续回放中接口返回的错误代码值是否由程序问题导致,降低人工排查的成本,减少人工排查时容易出现的无效断言情况。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的基于逻辑回归的日志回放断言方法的流程图;
图2是根据本发明实施例的一种可选的基于逻辑回归的自监控机器学习装置的示意图;
图3是根据本发明实施例的一种可选的分类器训练单元的训练流程示意图;
图4是根据本发明实施例的一种可选的基于逻辑回归的日志回放断言装置的示意图;
图5是根据本发明实施例的一种用于基于逻辑回归的日志回放断言方法的电子设备(或移动设备)的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开中的基于逻辑回归的日志回放断言方法及其装置可用于金融科技技术领域在基于逻辑回归对生产日志进行回放断言的情况下,也可用于除金融科技技术领域之外的任意领域在基于逻辑回归对生产日志进行回放断言的情况下,本公开中对基于逻辑回归的日志回放断言方法及其装置的应用领域不做限定。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
本发明下述各实施例可应用于各种基于逻辑回归对生产日志进行回放断言的系统/应用/设备中。本发明通过提取金融项目的项目日志中的日志数据和数据接口,生成日志生产接口返回值和测试环境回放返回值输入逻辑回归模型进行回放结果预测,用预测结果来指示项目错误中是否存在程序问题,提高回放自动化脚本断言的成功率,降低人工排查的成本。
下面结合各个实施例来详细说明本发明。
实施例一
根据本发明实施例,提供了一种基于逻辑回归的日志回放断言方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的基于逻辑回归的日志回放断言方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,接收金融项目的项目生产日志,其中,项目生产日志包括:日志程序以及执行日志程序后生成的日志数据。
步骤S102,提取项目生产日志中的日志数据以及数据接口。
步骤S103,基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数。
步骤S104,将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数。
步骤S105,基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果,其中,日志回放结果用于指示被回放的日志程序是否存在风险。
通过上述步骤,可以接收金融项目的项目生产日志并提取项目生产日志中的日志数据以及数据接口,基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数,将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数,基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果,日志回放结果用于指示被回放的日志程序是否存在风险。
在本发明实施例中,通过提取金融项目的项目日志中的日志数据和数据接口,生成日志生产接口返回值和测试环境回放返回值输入逻辑回归模型进行回放结果预测,用预测结果来指示项目错误中是否存在程序问题,进而解决了相关技术中无法利用日志回放断言来排查程序问题的技术问题。
下面结合上述各步骤对本发明实施例进行详细说明。
在本发明实施例中,对生产日志的回放断言方法可以分为三个部分,分别是采集数据、训练模型和回放断言,下面分别对这三个部分进行说明。
第一部分,采集数据。
本发明实施例中,需要预先生成样本数据集,用于注入模型进行训练,预先采集的样本数量需要符合模型的精度要求。
可选地,在生成样本数据集时,包括:采集历史金融项目的历史项目生产日志;获取与历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果;将每个历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果进行组合,生成样本数据集。
需要说明的是,将历史项目生产日志进行编号(例如,编号为1、2、3…N),与历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果对应组合,并生成样本数据集进行存储,其中,历史日志回放结果由用户终端确认并数字化表示,例如,存在程序问题用“1”表征,不存在程序问题用“0”表征。
可选地,获取与历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果的步骤,包括:提取历史项目生产日志中的历史日志数据以及历史数据接口;获取与历史日志数据以及历史数据接口对应的返回代码值,其中,返回代码值包括:生产错误代码以及测试环境回放错误代码;将生产错误代码值表征为历史日志生产接口返回值,并将测试环境回放错误代码表征为历史测试环境回放返回值。
可选地,在生成样本数据集之后,还包括:对样本数据集进行预处理,其中,预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位,特异度是指区分返回值的唯一性的参考数值,N大于等于2的整数。
例如,金融机构在进行软件开发时产生的错误代码一般由8位数字构成,前4位为大类错误代码,一般按错误代码类型分配或者按应用归属分配,后4位代码为具体的错误代码,故同一类型的报错代码的前4位数字一般都相同;另外,系统错误代码的前4位数字为空,直接用后4位单独表示,因此,后4位错误代码的区分度较大,而前4位的错误代码对于错误代码的区分度不大,故特异性不强,避免错误代码分布值过于分散,不利于求解,对前4位代码进行剔除处理。
需要说明的是,去除特异度低于预设特征阈值对应的返回值的前N位还可以减小模型的计算量,例如,对于8位返回值(或者表征为数字代码)来说,特异度最高为8,则可以将特征阈值预设为8。例如,某一组历史样本数据的日志生产接口返回值为13008902,测试环境回放返回值为13007886,仅后四位数字相异,特异度为4,低于预设特征阈值,若直接将这一组数据注入模型函数进行计算,将会出现计算冗余,若去除相同顺位的数字代码后(此处去除前四位相同的数字代码),得到8902和7886再代入函数计算,不会影响原本的断言结果,还将大大减轻模型的计算压力,加快计算速度。
可选地,预处理策略还可以包括:缺失值处理、异常值查询和处理、均值插补、数据无量纲化等。
按照上述步骤,采集历史金融项目的生产日志作为样本,对每个样本提取特征值并对应编号存储,形成样本数据集,对样本数据集中的数据进行预处理,等待注入逻辑回归模型进行训练。
第二部分,训练模型。
本发明实施例中,还需要预先生成逻辑回归模型,在生成逻辑回归模型时,包括:获取初始逻辑回归模型的模型架构以及预设代价函数;对样本数据集进行逻辑回归运算,得到将预设代价函数出现局部最小值的参数集合;基于参数集合以及初始逻辑回归模型,确定回归系数;基于回归系数,生成逻辑回归模型。
例如,本发明实施例中可以假定初始逻辑回归模型的模型架构用公式表征为其中,xβT=β0X01X12X2,X0可为常数1,X1代表日志生产接口返回值、X2代表测试环境回放返回值,h(x)的计算结果为模型断言内容,用来指示日志回放结果,而β0、β1、β2为待确定的未知回归参数。
将上述经过预处理的样本数据对应代入初始逻辑回归模型(令X1=历史日志生产接口返回值、令X2=历史测试环境回放返回值、令h(x)=历史日志回放结果),可以求解多组回归参数β0、β1、β2,选取最为合适的一组参数代入初始逻辑回归模型中,生成最终的逻辑回归模型。
需要说明的是,选取最为合适的一组参数的方法为:预设一个代价函数,将每一组回归参数代入运算,得到运算结果,基于预设梯度下降规则选取一组使预设代价函数出现局部最小值的回归参数。
例如,本发明实施例中可以选定代价函数为:
其中,
m为注入的样本数量;
i为当前代入函数的样本序号;
y(i)为第i组样本中实际的历史日志回放结果;
h(x(i))为在某一组假定的回归参数β0、β1、β2下,将第i组样本输入逻辑回归模型得到的计算结果,也是模型基于X1和X2的预测结果。
选定代价函数之后,即可按照样本数据集和样本序号逐一代入代价函数进行运算,选取使预设代价函数出现局部最小值的回归参数集合。
可选地,对样本数据集进行逻辑回归运算,得到将预设代价函数出现局部最小值的参数集合的步骤,包括:获取与参数集合中每个参数对应的初始参数值;将初始参数值以及样本数据集代入预设代价函数,采用梯度下降策略进行逻辑回归运算,求取使得预设代价函数出现局部最小值的参数集合,其中,梯度下降策略用于按照预设代价函数的当前点对应梯度值的反方向规定的步长值进行迭代运算,以得到局部最小值。
需要说明的是,梯度下降策略是一阶最优化算法,一般用于锁定目标函数的局部最小值,按照目标函数当前点对应的梯度值的反方向规定的步长值进行迭代运算,锁定是函数取得最小值的当前点坐标,将坐标信息代入目标函数即可求得目标函数的局部最小值。
本发明实施例中,就是给定多组回归参数β0、β1、β2,逐一代入预设代价函数进行逻辑回归运算,通过机器反复迭代尝试的方法,求解目预设代价函数的局部最小值,锁定使预设代价函数取得局部最小值的一组回归参数。
本实施例中假定初始逻辑回归模型的模型架构为其中xβT=β0X01X12X2、X0为1,此时回归参数集合应表示为{β0,β1,β2}。
根据本发明实施例,得到使预设代价函数出现局部最小值的回归参数集合A,将集合A对应代入初始逻辑回归模型,生成参数确定的逻辑回归模型,其中,A={β0,β1,β2},在最终参数确定的逻辑回归模型中,仅存在两个未知数X1和X2,分别对应日志生产接口返回值和测试环境回放返回值,输入待测项目的对应返回值,逻辑回归模型会输出回归系数h(x)来表征日志回放预测结果。
第三部分,回放断言。通过实时金融项目生成的项目生产日志确定。
步骤S101,接收金融项目的项目生产日志,其中,项目生产日志包括:日志程序以及执行日志程序后生成的日志数据。
需要说明的是,日志回放预测结果用来指示当前项目是否存在程序问题。
步骤S102,提取项目生产日志中的日志数据以及数据接口。
步骤S103,基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数。
需要说明的是,生成日志生产接口返回值和测试环境回放返回值之后,对其进行预处理,令X1=预处理之后的日志生产接口返回值、令X2=预处理之后的测试环境回放返回值。
可选地,预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位、缺失值处理、异常值查询和处理、均值插补、数据无量纲化。
步骤S104,将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数。
步骤S105,基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果,其中,日志回放结果用于指示被回放的日志程序是否存在风险。
需要说明的是,当回归系数大于预设回归断言阈值时,模型断言当前回放日志中存在潜在的程序风险,需要进一步筛查,为确保通过对日志进行回放断言能够发现尽量多的程序问题,尽可能的预设较小的预设回归断言阈值。本发明实施例中,预设回归断言阈值的取值范围在0.5至1之间。
本发明实施例中,可以通过利用逻辑回归模型来预测判断后续回放中接口返回的错误代码值是否由程序问题导致,降低人工排查的成本,减少人工排查时容易出现的无效断言情况;还可以将生产接口运行代码、测试环境回放返回代码作为自变量,是否存在程序问题作为训练标准答案,注入初始逻辑回归模型进行训练,并利用代价函数和梯度降低策略,比对找到使逻辑回归模型拟合度最高的回归参数用于实际金融项目的预测。
在发明实施例中,还可以通过提取金融项目的项目日志中的日志数据和数据接口,生成日志生产接口返回值和测试环境回放返回值输入逻辑回归模型进行回放结果预测,用预测结果来指示项目错误中是否存在程序问题。
下面结合另一种可选的具体实施方式进行详细说明。
本实施例提供一种基于逻辑回归的自监控机器学习方法,提取一定数量的回放案例样本对逻辑回归模型进行学习和训练,将训练好的模型用于后续回放时接口返回错误是否为程序错误问题的预测判断。
图2是根据本发明实施例的一种可选的基于逻辑回归的自监控机器学习装置的示意图,如图2所示,该装置包括:数据准备单元、分类器训练单元、断言核对单元,下面对这三个单元的工作内容做详细说明。
1,数据准备单元。
数据准备单元需要收集一定数量的已经完成回放的样本日志,对每个样本日志提取至少三个特征值:生产接口运行结果、测试环境回放结果、是否存在程序问题,将样本序号和特征值一一对应,形成样本数据集表格,如表1所示,
样本序号 生产接口运行结果 测试环境回放结果 是否存在程序问题
1 93000190 0 1
2 13007886 13007886 0
3 13008902 13007886 1
4 93015347 7357 0
5 93011765 0 0
表1
需要说明的是,在表1中,生产接口运行结果用样本日志对应的生产接口运行返回代码值来表征;测试环境回放结果用测试环境回放返回代码值来表征;是否存在程序问题这一特征值由人工确认并数字化表示,其中,存在程序问题用“1”表征,不存在程序问题用“0”表征。
2,分类器训练单元。
分类器训练单元需要对逻辑回归模型注入数据进行训练,数据来源即为数据准备单元形成的样本数据集。
图3是根据本发明实施例的一种可选的分类器训练单元的训练流程示意图,如图3所示,训练流程包括:
S301选定初始逻辑回归模型
假定初始逻辑回归模型为模型中的xβT=β0X01X12X2,其中X0=1,X1代表生产接口运行返回代码值、X2代表测试环境回放返回代码值,β0、β1、β2为需要求解的回归参数。
S302选定代价函数
选定代价函数:其中,m为注入的样本数量,i为样本序号,h(x)为预测的y值,y为原样本数据集中的y值(特征值“是否存在程序问题”)。
S303数据预处理
对表1中的样本数据进行预处理,去除代码值中特异性不强的前N位数字以减小计算量,例如,对于上述表1中的样本数据3,其生产接口运行返回代码值13008902与测试环境回放返回代码值13007886,前4位数字相同,去除之后得到8902和7886再代入函数计算,将大大减轻计算压力。
S304求解回归参数
将预处理之后的样本数据逐一代入代价函数,使用梯度下降法对代价函数进行运算,找到使代价函数取最小值的参数β0、β1、β2,将其作为回归参数。
S305确定逻辑回归模型
将回归参数代入初始逻辑回归模型,得到参数确定的最终模型
3,断言核对单元。
本发明实施例中的断言表征为逻辑回归模型的输出值,断言核对单元将待检测的日志数据输入参数确定的逻辑回归模型,得到模型输出值,将模型输出值与有效断言阈值进行比较,当函数输出值大于有效断言阈值时,模型断言当前回放日志中存在潜在的程序风险,需要进一步筛查。
为确保通过对日志进行回放断言能够发现尽量多的程序问题,尽可能的预设较小的有效断言阈值。
本发明实施例中,通过采集一定数量的生产日志的回放案例作为样本,提取生产接口运行代码值、测试环境回放返回代码、是否存在程序问题作为样本特征值,将生产接口运行代码、测试环境回放返回代码作为自变量,是否存在程序问题作为训练标准答案,注入初始逻辑回归模型进行训练,可以利用模型来预测判断后续回放中接口返回的错误代码值是否由程序问题导致,降低人工排查的成本,减少人工排查时容易出现的无效断言情况。
本发明实施例还可以应用于工程持续迭代开发场景和例行化测试持续验证场景。
下面结合另一实施例进行详细说明。
实施例二
本实施例中提供的一种基于逻辑回归的日志回放断言装置包含了多个实施单元,每个实施单元对应于上述实施例一中的各个实施步骤。
图4是根据本发明实施例的一种可选的基于逻辑回归的日志回放断言装置的示意图,如图4所示,该断言装置可以包括:接收单元40,提取单元41,生成单元42,输出单元43,确定单元44,其中,
接收单元40,用于接收金融项目的项目生产日志,其中,项目生产日志包括:日志程序以及执行日志程序后生成的日志数据。
提取单元41,用于提取项目生产日志中的日志数据以及数据接口。
生成单元42,用于基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数。
输出单元43,用于将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数。
确定单元44,用于基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果,其中,日志回放结果用于指示被回放的日志程序是否存在风险。
上述断言装置,可以通过接收单元40接收金融项目的项目生产日志,通过提取单元41提取项目生产日志中的日志数据以及数据接口,通过生成单元42基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数,通过输出单元43将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数,通过确定单元44基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果。
本发明实施例中,通过提取金融项目的项目日志中的日志数据和数据接口,生成日志生产接口返回值和测试环境回放返回值输入逻辑回归模型进行回放结果预测,用预测结果来指示项目错误中是否存在程序问题,进而解决了相关技术中无法利用日志回放断言来排查程序问题的技术问题。
本发明实施例中,还可以通过利用模型来预测判断后续回放中接口返回的错误代码值是否由程序问题导致,降低人工排查的成本,减少人工排查时容易出现的无效断言情况。
可选地,日志回放断言装置还包括:第一获取模块,用于获取初始逻辑回归模型的模型架构以及预设代价函数;运算模块,用于对样本数据集进行逻辑回归运算,得到将预设代价函数出现局部最小值的参数集合;确定模块,用于基于参数集合以及初始逻辑回归模型,确定回归系数;第一生成模块,用于基于回归系数,生成逻辑回归模型。
可选地,日志回放断言装置还包括:采集模块,用于采集历史金融项目的历史项目生产日志;第二获取模块,用于获取与历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果;第二生成模块,用于将每个历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果进行组合,生成样本数据集。
可选地,第二获取模块包括:提取子模块,用于提取历史项目生产日志中的历史日志数据以及历史数据接口;第一获取子模块,用于获取与历史日志数据以及历史数据接口对应的返回代码值,其中,返回代码值包括:生产错误代码以及测试环境回放错误代码;表征子模块,用于将生产错误代码值表征为历史日志生产接口返回值,并将测试环境回放错误代码表征为历史测试环境回放返回值。
可选地,日志回放断言装置还包括:预处理模块,用于对样本数据集进行预处理,其中,预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位,特异度是指区分返回值的唯一性的参考数值,N大于等于2的整数。
可选地,运算模块包括:第二获取子模块,用于获取与参数集合中每个参数对应的初始参数值;运算子模块,用于将初始参数值以及样本数据集代入预设代价函数,采用梯度下降策略进行逻辑回归运算,求取使得预设代价函数出现局部最小值的参数集合,其中,梯度下降策略用于按照预设代价函数的当前点对应梯度值的反方向规定的步长值进行迭代运算,以得到局部最小值。
可选地,预设回归断言阈值的取值范围在0.5至1之间。
上述的断言装置还可以包括处理器和存储器,上述接收单元40,提取单元41,生成单元42,输出单元43,确定单元44等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数,基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果。
上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收金融项目的项目生产日志,其中,项目生产日志包括:日志程序以及执行日志程序后生成的日志数据;提取项目生产日志中的日志数据以及数据接口;基于日志数据以及数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,日志生产接口返回值表征在执行日志程序过程中出现的生产报错参数,测试环境回放返回值表征在预设生产环境中模拟回放日志程序过程中出现的报错参数;将日志生产接口返回值和测试环境回放返回值输入逻辑回归模型,输出回归系数;基于回归系数与预设回归断言阈值,确定在模拟回放日志程序后的日志回放结果,其中,日志回放结果用于指示被回放的日志程序是否存在风险。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于逻辑回归的日志回放断言方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述任意一项的基于逻辑回归的日志回放断言方法。
图5是根据本发明实施例的一种用于基于逻辑回归的日志回放断言方法的电子设备(或移动设备)的硬件结构框图。如图5所示,电子设备可以包括一个或多个(图5中采用502a、502b,……,502n来示出)处理器502(处理器502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器504。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解,图5所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于逻辑回归的日志回放断言方法,其特征在于,包括:
接收金融项目的项目生产日志,其中,所述项目生产日志包括:日志程序以及执行所述日志程序后生成的日志数据;
提取所述项目生产日志中的日志数据以及数据接口;
基于所述日志数据以及所述数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,所述日志生产接口返回值表征在执行所述日志程序过程中出现的生产报错参数,所述测试环境回放返回值表征在预设生产环境中模拟回放所述日志程序过程中出现的报错参数;
将所述日志生产接口返回值和所述测试环境回放返回值输入逻辑回归模型,输出回归系数;
基于所述回归系数与预设回归断言阈值,确定在模拟回放所述日志程序后的日志回放结果,其中,所述日志回放结果用于指示被回放的所述日志程序是否存在风险。
2.根据权利要求1所述的日志回放断言方法,其特征在于,所述逻辑回归模型是预先生成的,在生成所述逻辑回归模型时,包括:
获取初始逻辑回归模型的模型架构以及预设代价函数;
对样本数据集进行逻辑回归运算,得到将所述预设代价函数出现局部最小值的参数集合;
基于所述参数集合以及初始逻辑回归模型,确定回归系数;
基于所述回归系数,生成所述逻辑回归模型。
3.根据权利要求2所述的日志回放断言方法,其特征在于,还包括:
采集历史金融项目的历史项目生产日志;
获取与所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果;
将每个所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果进行组合,生成所述样本数据集。
4.根据权利要求3所述的日志回放断言方法,其特征在于,获取与所述历史项目生产日志对应的历史日志生产接口返回值、历史测试环境回放返回值和历史日志回放结果的步骤,包括:
提取所述历史项目生产日志中的历史日志数据以及历史数据接口;
获取与所述历史日志数据以及所述历史数据接口对应的返回代码值,其中,所述返回代码值包括:生产错误代码以及测试环境回放错误代码;
将所述生产错误代码值表征为所述历史日志生产接口返回值,并将所述测试环境回放错误代码表征为所述历史测试环境回放返回值。
5.根据权利要求3所述的日志回放断言方法,其特征在于,在生成所述样本数据集之后,还包括:
对所述样本数据集进行预处理,其中,所述预处理的策略包括下述至少之一:无效数据清洗、去除特异度低于预设特征阈值对应的返回值的前N位,所述特异度是指区分返回值的唯一性的参考数值,N大于等于2的整数。
6.根据权利要求2所述的日志回放断言方法,其特征在于,对样本数据集进行逻辑回归运算,得到将所述预设代价函数出现局部最小值的参数集合的步骤,包括:
获取与所述参数集合中每个参数对应的初始参数值;
将所述初始参数值以及所述样本数据集代入所述预设代价函数,采用梯度下降策略进行逻辑回归运算,求取使得所述预设代价函数出现局部最小值的所述参数集合,其中,所述梯度下降策略用于按照所述预设代价函数的当前点对应梯度值的反方向规定的步长值进行迭代运算,以得到所述局部最小值。
7.根据权利要求1至6中任意一项所述的日志回放断言方法,其特征在于,所述预设回归断言阈值的取值范围在0.5至1之间。
8.一种基于逻辑回归的日志回放断言装置,其特征在于,包括:
接收单元,用于接收金融项目的项目生产日志,其中,所述项目生产日志包括:日志程序以及执行所述日志程序后生成的日志数据;
提取单元,用于提取所述项目生产日志中的日志数据以及数据接口;
生成单元,用于基于所述日志数据以及所述数据接口,生成日志生产接口返回值和测试环境回放返回值,其中,所述日志生产接口返回值表征在执行所述日志程序过程中出现的生产报错参数,所述测试环境回放返回值表征在预设生产环境中模拟回放所述日志程序过程中出现的报错参数;
输出单元,用于将所述日志生产接口返回值和所述测试环境回放返回值输入逻辑回归模型,输出回归系数;
确定单元,用于基于所述回归系数与预设回归断言阈值,确定在模拟回放所述日志程序后的日志回放结果,其中,所述日志回放结果用于指示被回放的所述日志程序是否存在风险。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于逻辑回归的日志回放断言方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的基于逻辑回归的日志回放断言方法。
CN202310653811.0A 2023-06-02 2023-06-02 基于逻辑回归的日志回放断言方法及其装置、电子设备 Pending CN116662186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310653811.0A CN116662186A (zh) 2023-06-02 2023-06-02 基于逻辑回归的日志回放断言方法及其装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310653811.0A CN116662186A (zh) 2023-06-02 2023-06-02 基于逻辑回归的日志回放断言方法及其装置、电子设备

Publications (1)

Publication Number Publication Date
CN116662186A true CN116662186A (zh) 2023-08-29

Family

ID=87709383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310653811.0A Pending CN116662186A (zh) 2023-06-02 2023-06-02 基于逻辑回归的日志回放断言方法及其装置、电子设备

Country Status (1)

Country Link
CN (1) CN116662186A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117724989A (zh) * 2024-02-18 2024-03-19 粤港澳大湾区数字经济研究院(福田) 一种接口的回归测试方法、装置、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117724989A (zh) * 2024-02-18 2024-03-19 粤港澳大湾区数字经济研究院(福田) 一种接口的回归测试方法、装置、终端及存储介质
CN117724989B (zh) * 2024-02-18 2024-06-11 粤港澳大湾区数字经济研究院(福田) 一种接口的回归测试方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN108734184B (zh) 一种对敏感图像进行分析的方法及装置
CN110442516B (zh) 信息处理方法、设备及计算机可读存储介质
CN107168995B (zh) 一种数据处理方法及服务器
CN112527604A (zh) 一种基于深度学习的运维检测方法、系统、电子设备及介质
CN111177655B (zh) 一种数据处理方法、装置及电子设备
CN116662186A (zh) 基于逻辑回归的日志回放断言方法及其装置、电子设备
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN115357941A (zh) 一种基于生成式人工智能的去隐私方法和系统
CN116414815A (zh) 数据质量检测方法、装置、计算机设备和存储介质
CN116597939A (zh) 基于大数据的药品质量控制管理分析系统及方法
CN117349102A (zh) 数字孪生运维数据质量检验方法、系统和介质
CN116108906A (zh) 疾病药品关系映射模型训练及相关推荐、检测方法和装置
CN112527573A (zh) 一种接口测试方法、装置及存储介质
CN115455407A (zh) 一种基于机器学习的GitHub敏感信息泄露监控方法
CN113704452A (zh) 基于Bert模型的数据推荐方法、装置、设备及介质
CN113239075A (zh) 一种施工数据自检方法及系统
CN113298642A (zh) 一种订单检测方法、装置、电子设备及存储介质
CN113011748A (zh) 推荐效果的评估方法、装置、电子设备及可读存储介质
CN112926724A (zh) 注塑成型产品良率的评分方法、装置及电子设备
CN111291376A (zh) 一种基于众包和机器学习的web漏洞验证方法
CN116910729B (zh) 应用于多组织架构的核身处理方法及系统
CN117593121A (zh) 异常交易的识别方法及其识别装置
CN116579337B (zh) 一种融合证据可信度的虚假新闻检测方法
CN118012921B (zh) 一种用于知识产权虚拟实验的人机交互数据处理系统
CN111160185B (zh) 多尺度时间序列遥感影像趋势和断点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination