CN116881349A - 业务系统的业务状态的检测方法、装置以及电子设备 - Google Patents

业务系统的业务状态的检测方法、装置以及电子设备 Download PDF

Info

Publication number
CN116881349A
CN116881349A CN202311070248.0A CN202311070248A CN116881349A CN 116881349 A CN116881349 A CN 116881349A CN 202311070248 A CN202311070248 A CN 202311070248A CN 116881349 A CN116881349 A CN 116881349A
Authority
CN
China
Prior art keywords
service
data
state
model
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311070248.0A
Other languages
English (en)
Inventor
李颜
刘�文
成祎珊
向欣爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202311070248.0A priority Critical patent/CN116881349A/zh
Publication of CN116881349A publication Critical patent/CN116881349A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种业务系统的业务状态的检测方法、装置以及电子设备。涉及金融科技领域,该方法包括:获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态。通过本申请,解决了相关技术中确定业务系统的业务状态时准确性低、效率低的问题。

Description

业务系统的业务状态的检测方法、装置以及电子设备
技术领域
本申请涉及金融科技领域,具体而言,涉及一种业务系统的业务状态的检测方法、装置以及电子设备。
背景技术
随着投入市场的业务系统的数量大幅增加,对于业务系统的缺陷检测成为了运维工作者需要解决的一大问题,当前技术中对于系统的检测通常时通过对数据库结构、代码组件和依赖关系来分析系统技术层面的软件缺陷,还可以通过动态测试来发现系统技术层面的软件缺陷。
但上述检测均是对系统技术缺陷的检测和识别,而缺少了对业务层面的缺陷识别,例如金融机构使用的业务系统,许多重大缺陷都是业务层面的缺陷,如重复放款或放款金额错误等重大问题,这些业务缺陷很容易导致重大经济损失,而对于业务层面的检测则大多通过人工方式进行筛查,该方法存在着检测效率低、人力资源投入大、耗费时间成本大以及检测准确度低等问题。
针对相关技术中确定业务系统的业务状态时准确性低、效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种业务系统的业务状态的检测方法、装置以及电子设备,以解决相关技术中确定业务系统的业务状态时准确性低、效率低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种业务系统的业务状态的检测方法。该方法包括:获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态。
可选地,获取通过业务系统的生产数据生成模糊测试数据包括:通过生产数据拟合随机数生成函数;利用随机数生成函数生成一组随机数,并将一组随机数确定为模糊测试数据。
可选地,通过生产数据拟合随机数生成函数包括:获取业务系统生成的生产数据的数据极值以及M个历史生产数据,其中,M为正整数,数据极值包括需要生成的随机数的上限值和下限值;根据数据极值和M个历史生产数据之间的数值关系,计算得到预设参数,并将预设参数作为随机数生成函数的系数,得到随机数生成函数。
可选地,系统检测模型包括特征提取模块以及完全链接层,特征提取模块包括第一特征提取模块和第二特征提取模块,第一特征提取模块由第一卷积层、激活函数以及第一池化层构成,第二特征提取模块由第二卷积层、激活函数以及第二池化层构成,将业务数据矩阵输入系统检测模型,输出业务系统的业务状态包括:将业务数据矩阵输入第一特征提取模块,利用第一特征提取模块对业务数据矩阵进行降维处理,得到预设维度的第一矩阵;将预设维度的第一矩阵输入到第二特征提取模块,利用第二特征提取模块对第一矩阵进行特征提取处理,得到业务特征;将业务特征输入完全链接层,输出业务状态。
可选地,在将业务数据矩阵输入系统检测模型之前,该方法还包括:获取N个业务系统的N个历史业务数据矩阵和N个业务状态,将每个历史业务数据矩阵和每个业务状态组合为一个样本集,得到N个样本集,其中,N为正整数;将N个历史业务数据矩阵输入到预设系统检测模型,输出N个模型结果,并将N个模型结果发送至客户端,其中,客户端用于复核N个模型结果是否与N个业务状态相同;在接收到由客户端返回的复核结果的情况下,根据复核结果计算模型准确率,并由模型准确率对预设系统检测模型的模型参数进行调整,得到系统检测模型。
可选地,根据复核结果计算模型准确率,并由模型准确率对预设系统检测模型的模型参数进行调整,得到系统检测模型包括:获取复核结果中表征检测正确的业务系统的数量,得到第一数量,并获取检测错误的业务系统的数量,得到第二数量;计算第一数量与第二数量的差值,得到数量差值,计算第一数量与第二数量之和,得到数量和,并计算数量差值与数量和的比值,得到模型准确率;在模型准确率小于识别阈值的情况下,调整预设系统检测模型中的激活函数的参数,直至模型准确率大于等于识别阈值,得到系统检测模型。
可选地,对业务数据进行预处理,得到业务数据矩阵包括:获取业务数据的数据格式;将数据格式的格式调整为预设数据格式,得到调整后的业务数据;对调整后的业务数据进行数据清洗处理,得到处理后的业务数据,并对处理后的业务数据进行组合,得到业务数据矩阵。
为了实现上述目的,根据本申请的另一方面,提供了一种业务系统的业务状态的检测装置。该装置包括:第一获取单元,用于获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;第一输入单元,用于将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;第二输入单元,用于将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种业务系统的业务状态的检测方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种业务系统的业务状态的检测方法。
通过本申请,采用以下步骤:获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态,解决了相关技术中确定业务系统的业务状态时准确性低、效率低的问题,通过利用业务系统的生产数据生成模糊测试数据,利用模型测试数据获取业务系统的业务数据,将处理后的业务数据输入系统检测模型中,得到业务系统的业务状态,进而达到了提高确定业务系统的业务状态的准确性的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的业务系统的业务状态的检测方法的流程图;
图2是根据本申请实施例提供的系统检测模型的结构示意图;
图3是根据本申请实施例提供的可选的业务系统的业务状态的检测系统的示意图;
图4是根据本申请实施例提供的业务系统的业务状态的检测装置的示意图;
图5是根据本申请实施例提供的电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例提供的业务系统的业务状态的检测方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求。
具体的,业务系统可以是金融机构中使用的不同类型的业务系统,可以为贷款管理系统、证券管理系统等,由于当前市场上投入的识别系统通常为识别软件缺陷、数据库缺陷以及架构关系缺陷的系统,缺乏对不同系统在业务层面的检测,例如,当利用贷款管理系统进行贷款业务时,可能存在重复放款或放款金额出现异常等业务层面的错误,而这些错误也很容易导致机构出现经济损失。因此,为了及时检测出系统是否存在业务缺陷,减少因业务缺陷而产生的经济损失,可以通过对业务系统进行模糊测试,并通过系统检测模型的对业务系统进行检测,进而判断出业务系统的系统状态。
首先,在对业务系统进行模糊测试时,首先需要利用业务系统的生产数据获取模糊测试数据,也即获取模糊测试时所需要的随机数,需要说明的是,业务系统的生产数据是指在运行该业务系统或利用该业务系统执行业务逻辑操作时输入到业务系统的数据,例如,当业务系统为贷款管理系统时,该业务系统的生产数据可以为贷款客户的个人信息、资产信息以及信用信息等数据;模糊测试数据是指利用生成函数生成的与业务系统关联的随机数。
其中,模糊测试是指通过给输入到程序中的数据加入随机、无效的随机数据,来模拟真实环境中的不可预见的输入,进而观察程序是否出现异常行为或崩溃,本申请通过将由业务系统的生产数据生成的模糊测试数据输入到业务系统中,进而获取业务系统在接收到无效的随机数据的情况下返回的业务数据,并利用业务数据判断业务系统是否存在业务异常。
步骤S102,将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据。
具体的,当通过业务系统的生产数据生成模糊测试数据后,由模糊测试数据构成调用请求,再将该调用请求发送至业务系统,业务系统在接收到调用请求的情况下,发送存储在业务系统中的业务数据。其中,业务数据是指利用业务系统进行业务操作后得到的数据,可以包括接口返回报文以及数据库落库数据等,例如,当业务系统为贷款管理系统时,用户利用该系统进行贷款服务,则输出的业务数据中表征接口返回报文的数据可以为贷款的结果,也即表征贷款成功或贷款失败的数据,业务数据中表征数据库落库数据是指存储在贷款管理系统关联的数据库中的贷款数据。
进一步的,在接收到业务数据后,对业务数据进行预处理,例如,对业务数据进行数据清洗、格式化等处理,并由处理后的业务数据构成业务数据矩阵,需要说明的是,在对业务数据进行预处理后,需要将处理后的业务数据进行向量化组合,也即将每一处理后的业务数据作为矩阵中的元素,进而得到业务数据矩阵。
步骤S103,将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态。
具体的,在提供模糊测试得到业务数据矩阵后,将该业务数据矩阵作为输入,输入到训练好的系统检测模型中,由系统检测模型根据业务数据矩阵中的每一个元素进行判断,也即由系统检测模型对每一个业务数据进行判断,从而得到该业务系统的业务层面的状态,也即得到该业务系统是否存在业务缺陷的结果。
本申请实施例提供的业务系统的业务状态的检测方法,通过获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态,解决了相关技术中确定业务系统的业务状态时准确性低、效率低的问题,通过利用业务系统的生产数据生成模糊测试数据,利用模型测试数据获取业务系统的业务数据,将处理后的业务数据输入系统检测模型中,得到业务系统的业务状态,进而达到了提高确定业务系统的业务状态的准确性的效果。
模糊测试数据由随机数生成函数生成,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,获取通过业务系统的生产数据生成模糊测试数据包括:通过生产数据拟合随机数生成函数;利用随机数生成函数生成一组随机数,并将一组随机数确定为模糊测试数据。
为了得到业务数据,需要利用业务系统的模糊测试数据作为调用请求从业务系统中进行获取,而模糊测试数据可以利用随机数生成函数进行获取,具体的,通过利用业务系统的生产数据确定随机数生成函数中的系数,进而将系数代入预设随机数生成函数中,得到随机数生成函数。
进一步的,随机数生成函数可以表示为系数与预设数据上下限的向量积,通过选择预设数据上下限中包含的数据,例如选择该上下限中每隔10个单位的数据,将选择出的多个数据作为一组,利用该组数据中的每个数据与系数进行向量积计算,进而得到了一组模糊测试数据。本实施例通过利用改进的随机数生成方法制造模糊测试数据,进而达到优化测试数据、增大测试数据范围的效果,也为后续获取业务数据奠定基础。
随机数生成函数是由业务系统的生产数据处理得到的,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,通过生产数据拟合随机数生成函数包括:获取业务系统生成的生产数据的数据极值以及M个历史生产数据,其中,M为正整数,数据极值包括需要生成的随机数的上限值和下限值;根据数据极值和M个历史生产数据之间的数值关系,计算得到预设参数,并将预设参数作为随机数生成函数的系数,得到随机数生成函数。
具体的,利用生产数据拟合随机数生成函数时,首先确定随机数生成函数的函数格式,例如,将随机数生成函数确定为其中,/>表示为该随机数生成函数的函数系数,x表示为业务系统在生成业务数据时,由业务数据的上下限构成的极值向量,f(x)表示为待生成的随机数,也即,表示为模糊测试数据,×表示为向量积计算符号。
进一步的,在生产数据为多个的情况下,将多个生产数据作为多个模糊测试数据f(x),由每个模糊测试数据和极值向量x确定出一个系数,进而对得到的所有系数进行平均数计算,以此得到函数系数再将函数系数作为随机数生成函数中的系数,进而得到随机数生成函数。本实施例通过利用业务系统的生产数据拟合随机数生成函数,进而能够获取更符合实际业务系统的模糊测试数据,为后续获取业务数据奠定基础。
业务状态是由系统检测模型检测输入的业务数据矩阵得到,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,系统检测模型包括特征提取模块以及完全链接层,特征提取模块包括第一特征提取模块和第二特征提取模块,第一特征提取模块由第一卷积层、激活函数以及第一池化层构成,第二特征提取模块由第二卷积层、激活函数以及第二池化层构成,将业务数据矩阵输入系统检测模型,输出业务系统的业务状态包括:将业务数据矩阵输入第一特征提取模块,利用第一特征提取模块对业务数据矩阵进行降维处理,得到预设维度的第一矩阵;将预设维度的第一矩阵输入到第二特征提取模块,利用第二特征提取模块对第一矩阵进行特征提取处理,得到业务特征;将业务特征输入完全链接层,输出业务状态。
具体的,图2是根据本申请实施例提供的系统检测模型的结构示意图,如图2所示,系统检测模型是指用于检测业务系统的业务状态的模型,可以通过对深度学习模型进行训练,进而得到由多个卷积层、激活函数、多个池化层以及一个完全链接层构成的系统检测模型,例如,该系统检测模型可以为CNN模型(Convolutional Neural Network,也即卷积神经网络模型),该模型是用于识别任务的学习模型,通过多层卷积层和池化层来提取图像的特征,并通过完全链接层进行分类或回归。
需要说明的是,系统检测模型包括多个卷积层、激活函数、多个池化层和一个完全链接层,一个卷积层、激活函数以及一个池化层构成一组特征提取模块,该系统检测模型中包括多个特征提取模块,能够加快对输入到系统检测模型的业务数据矩阵的处理,其中,卷积层通过卷积操作对输入的业务数据矩阵进行特征提取,也即提取矩阵中的接口返回报文或数据库落库信息等数据;每个卷积层中可以包括一个或多个卷积核,每个卷积核都可以提取不同的特征;激活函数用于引入非线性,常用的激活函数有ReLU函数、Sigmoid函数和Tanh函数等;池化层通过降采样操作减少特征图的尺寸,也即对输入到该系统检测模型的业务数据矩阵进行降维处理,同时保留重要的特征信息,完全链接层将高维特征转换为分类或回归的输出,也即利用完全链接层输出业务状态。
需要说明的是,由于在实际业务场景中,业务系统所需要处理的数据十分繁杂,即使对业务数据进行了数据清洗等预处理操作,得到的业务数据矩阵也会因矩阵维度过大而无法存储在系统的内存中。因此,可以通过在统检测模型中添加多层卷积层的方式解决这一问题,其中,卷积层的目的即为减少输入的业务数据矩阵的规模,而减少业务数据矩阵规模的原理则是通过设置卷积层中的参数,也即通过设置特定的步长和卷积核的大小,将每个输入到模型的业务数据矩阵缩小为维度固定的矩阵,通过该方法使得系统检测模型可以处理不同维度的矩阵,在保证系统检测模型的可扩展性的同时,还可以保证系统检测模型的学习能力。
例如,当业务数据为贷款数据时,并且输入到系统检测模型的业务数据矩阵为5*4的矩阵,通过第一特征提取模块中的池化层后,由5*4的矩阵转换为3*3的矩阵;再将该3*3的矩阵输入到第二特征提取模块,通过该模块中的池化层对矩阵进行降维处理和特征提取处理,将3*3的矩阵转换为预设维度的矩阵,也即将3*3的矩阵转换为2*2的矩阵,并从矩阵中提取出贷款数据包括的业务特征,最后将该业务特征输入到完全链接层,由完全链接层输出该业务系统的业务状态是否为存在业务缺陷的状态。本实施例通过对系统检测模型的模型结构进行调整,使得该系统检测模型能够检测更多的业务数据,进而利用系统检测模型对业务状态进行检测,并根据输出的业务状态确定业务系统是否存在业务缺陷问题,可以达到准确判断业务状态的效果,减少运维人员的处理时间,并降低了人力成本。
系统检测模型在投入使用前,需要对该模型进行训练,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,在将业务数据矩阵输入系统检测模型之前,该方法还包括:获取N个业务系统的N个历史业务数据矩阵和N个业务状态,将每个历史业务数据矩阵和每个业务状态组合为一个样本集,得到N个样本集,其中,N为正整数;将N个历史业务数据矩阵输入到预设系统检测模型,输出N个模型结果,并将N个模型结果发送至客户端,其中,客户端用于复核N个模型结果是否与N个业务状态相同;在接收到由客户端返回的复核结果的情况下,根据复核结果计算模型准确率,并由模型准确率对预设系统检测模型的模型参数进行调整,得到系统检测模型。
由于系统检测模型属于深度学习模型,而深度学习模型在使用前需要利用大量相关数据进行模型训练,因此,在利用系统检测模型进行业务状态的检测前,需要对系统检测模型进行训练以及调整优化,具体的,首先获取多个不同的业务系统的历史业务数据以及每个业务系统对应的业务状态,通过将每个业务系统的历史业务数据进行预处理后得到对应的历史业务数据矩阵。
进一步的,将每个历史业务数据矩阵分别输入到预设的系统检测模型中,由该模型输出对应的检测结果。由于业务系统存在业务缺陷属于小概率事件,因此,可以直接将输出的多个检测结果和每个业务系统的业务状态发送至工作人员的客户端,由工作人员对检测结果和业务状态进行人工复核,并得到人工复核的复核结果,将其进行发送,此外,还可以通过工作人员的客户端设置复核规则,利用该复核规则进行检测结果和业务状态的复核。
再进一步的,通过获取的复核结果的模型准确率,利用模型准确率对模型中的激活函数的参数以及模型中每一层的参数进行调优,使得模型准确率符合预设的准确率要求,将调优后的系统检测模型确定为训练后的系统检测模型,并利用该模型进行业务系统的检测工作。本实施例通过对系统检测模型进行训练和调优,得到了具有较高检测率的系统检测模型,为后续利用该模型检测业务系统的业务状态奠定基础。
在将系统检测模型投入实际生产使用场景前,还需要对系统检测模型进行调优,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,根据复核结果计算模型准确率,并由模型准确率对预设系统检测模型的模型参数进行调整,得到系统检测模型包括:获取复核结果中表征检测正确的业务系统的数量,得到第一数量,并获取检测错误的业务系统的数量,得到第二数量;计算第一数量与第二数量的差值,得到数量差值,计算第一数量与第二数量之和,得到数量和,并计算数量差值与数量和的比值,得到模型准确率;在模型准确率小于识别阈值的情况下,调整预设系统检测模型中的激活函数的参数,直至模型准确率大于等于识别阈值,得到系统检测模型。
调优的方式是通过计算训练后的系统检测模型的模型准确率,利用模型准确率与识别阈值的大小关系进行参数调整,具体的,首先识别由工作人员的客户端返回的复核结果中表征检测正确的业务系统的数量以及检测失败的业务系统的数量,得到第一数量和第二数量。
进一步的,将得到的第一数量和第二数量分别进行求和计算和求差计算,并通过下式计算出模型准确率:模型准确率=(第一数量-第二数量)/(第一数量+第二数量);并判断计算出的模型准确率是否小于设定的识别阈值,当模型准确率过小时,需要对模型参数进行调整,例如,模型参数可以包括激活函数的参数和系统检测模型中卷积层、池化层以及完全链接层中的参数,使得模型准确率大于等于识别阈值,由此可以得到调整后的系统检测模型。本实施例通过对系统检测模型进行参数调优,进而得到检测的准确率更高的系统检测模型,为利用该模型进行系统检测提供了物质基础。
预处理方式可以包括多种,可选地,在本申请实施例提供的业务系统的业务状态的检测方法中,对业务数据进行预处理,得到业务数据矩阵包括:获取业务数据的数据格式;将数据格式的格式调整为预设数据格式,得到调整后的业务数据;对调整后的业务数据进行数据清洗处理,得到处理后的业务数据,并对处理后的业务数据进行组合,得到业务数据矩阵。
具体的,对业务数据进行预处理的方式可以包括多种,例如,由于利用模糊测试数据得到的业务数据包括以报文形式展示的业务结果数据和以字符型、数值型等形式展示的数据库数据,在将这些业务数据输入到系统检测模型前,需要对这些具有不同数据格式的业务数据进行格式化的统一处理,其中,可以通过调用格式化转换程序将报文形式、字符型形式以及数值型形式的数据统一调整为预设数据格式,得到调整后的业务数据。
进一步的,由于这些调整后的业务数据中包含了大量无业务特征或会影响检测结果的数据,因此,还需要对这些调整后的业务数据进行数据清洗,例如,可以清洗的数据包括时间数据、用户名数据等。本实施例通过对业务数据进行预处理,可以为利用业务数据检测业务系统的业务状态奠定基础。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种可选的业务系统的业务状态的检测方法,图3是根据本申请实施例提供的可选的业务系统的业务状态的检测系统的示意图,如图3所示,该系统包括:业务系统、业务缺陷智能检测系统以及问题管理系统。并将该系统应用于业务系统的业务状态的检测方法中,该方法包括:
具体的,首先业务缺陷智能检测系统发起模型测试请求,在业务系统接收到模型测试请求后,通过利用业务系统的生产数据的数据极值以及M个历史生产数据拟合随机数生成函数,再利用随机数生成函数生成一组随机数,并将一组随机数确定为模糊测试数据。
进一步的,将模糊测试数据作为调用参数输入到各个业务系统,如个人信贷系统等,并在业务系统进行业务逻辑处理后,将接口返回报文、数据库落库数据等信息进行格式化,并将格式化后的业务数据回传给业务缺陷智能检测系统。
再进一步的,将格式化后的业务数据进行预处理后得到业务数据矩阵,将业务数据矩阵作为输入,输入到业务缺陷智能检测系统的系统检测模型中,由系统检测模型根据业务数据矩阵判断业务系统是否存在业务缺陷。当系统检测结果表明业务系统存在业务缺陷的情况下,将识别出来有缺陷的案例送入问题管理系统中,由测试人员进行人工复核,测试人员人工复核案例后,将该案例标注为有缺陷或者误判,且将标注结论送回业务缺陷智能检测系统。如确认有缺陷的案例则通知研发人员修复问题,随后再次发起该案例直至测试通过。当系统检测结果表明业务系统不存在业务缺陷的情况下,根据之前的业务系统的复核结果对模型进行调优,从而得到具有较高模型检测率的系统检测模型。
本实施例通过利用业务系统的生产数据生成模糊测试数据,利用模型测试数据获取业务系统的业务数据,将处理后的业务数据输入系统检测模型中,得到业务系统的业务状态,进而达到了提高确定业务系统的业务状态的准确性、降低缺陷进入生产环境的风险、提升生产安全性以及降低测试人力资源投入的效果。
本申请实施例还提供了一种业务系统的业务状态的检测装置,需要说明的是,本申请实施例的业务系统的业务状态的检测装置可以用于执行本申请实施例所提供的用于业务系统的业务状态的检测方法。以下对本申请实施例提供的业务系统的业务状态的检测装置进行介绍。
图4是根据本申请实施例提供的业务系统的业务状态的检测装置的示意图,如图4所示,该装置包括:第一获取单元40、第一输入单元41、第二输入单元42。
第一获取单元40,用于获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;
第一输入单元41,用于将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;
第二输入单元42,用于将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,第一获取单元40包括:拟合模块,用于通过生产数据拟合随机数生成函数;确定模块,用于利用随机数生成函数生成一组随机数,并将一组随机数确定为模糊测试数据。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,第一获取单元40包括:第一获取模块,用于获取业务系统生成的生产数据的数据极值以及M个历史生产数据,其中,M为正整数,数据极值包括需要生成的随机数的上限值和下限值;第一计算模块,用于根据数据极值和M个历史生产数据之间的数值关系,计算得到预设参数,并将预设参数作为随机数生成函数的系数,得到随机数生成函数。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,系统检测模型包括特征提取模块以及完全链接层,特征提取模块包括第一特征提取模块和第二特征提取模块,第一特征提取模块由第一卷积层、激活函数以及第一池化层构成,第二特征提取模块由第二卷积层、激活函数以及第二池化层构成,第二输入单元42包括:第一输入模块,用于将业务数据矩阵输入第一特征提取模块,利用第一特征提取模块对业务数据矩阵进行降维处理,得到预设维度的第一矩阵;第二输入模块,用于将预设维度的第一矩阵输入到第二特征提取模块,利用第二特征提取模块对第一矩阵进行特征提取处理,得到业务特征;第三输入模块,用于将业务特征输入完全链接层,输出业务状态。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,该装置还包括:第二获取单元,用于在将业务数据矩阵输入系统检测模型之前,获取N个业务系统的N个历史业务数据矩阵和N个业务状态,将每个历史业务数据矩阵和每个业务状态组合为一个样本集,得到N个样本集,其中,N为正整数;第三输入单元,用于将N个历史业务数据矩阵输入到预设系统检测模型,输出N个模型结果,并将N个模型结果发送至客户端,其中,客户端用于复核N个模型结果是否与N个业务状态相同;计算单元,用于在接收到由客户端返回的复核结果的情况下,根据复核结果计算模型准确率,并由模型准确率对预设系统检测模型的模型参数进行调整,得到系统检测模型。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,第二输入单元42包括:第二获取模块,用于获取复核结果中表征检测正确的业务系统的数量,得到第一数量,并获取检测错误的业务系统的数量,得到第二数量;第二计算模块,用于计算第一数量与第二数量的差值,得到数量差值,计算第一数量与第二数量之和,得到数量和,并计算数量差值与数量和的比值,得到模型准确率;第一调整模块,用于在模型准确率小于识别阈值的情况下,调整预设系统检测模型中的激活函数的参数,直至模型准确率大于等于识别阈值,得到系统检测模型。
可选地,在本申请实施例提供的业务系统的业务状态的检测装置中,第一输入单元41包括:第三获取模块,用于获取业务数据的数据格式;第二调整模块,用于将数据格式的格式调整为预设数据格式,得到调整后的业务数据;处理模块,用于对调整后的业务数据进行数据清洗处理,得到处理后的业务数据,并对处理后的业务数据进行组合,得到业务数据矩阵。
本申请实施例提供的业务系统的业务状态的检测装置,通过第一获取单元40,用于获取由业务系统的生产数据生成的模糊测试数据,其中,生产数据是指运行业务系统时输入的数据,模糊测试数据用于构成调用业务系统中的业务数据的调用请求;第一输入单元41,用于将模糊测试数据输入业务系统,接收业务系统返回的业务数据,并对业务数据进行预处理,得到业务数据矩阵,其中,业务数据是指业务系统进行业务逻辑操作时生成的数据;第二输入单元42,用于将业务数据矩阵输入系统检测模型,输出业务系统的业务状态,其中,业务状态包括业务缺陷状态以及业务正常状态,解决了相关技术中确定业务系统的业务状态时准确性低、效率低的问题,通过利用业务系统的生产数据生成模糊测试数据,利用模型测试数据获取业务系统的业务数据,将处理后的业务数据输入系统检测模型中,得到业务系统的业务状态,进而达到了提高确定业务系统的业务状态的准确性的效果。
业务系统的业务状态的检测装置包括处理器和存储器,上述第一获取单元40、第一输入单元41、第二输入单元42等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决相关技术中确定业务系统的业务状态时准确性低、效率低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现业务系统的业务状态的检测方法。
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行业务系统的业务状态的检测方法。
图5是根据本申请实施例提供的电子设备的示意图,如图5所示,本发明实施例提供了一种电子设备,电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种业务系统的业务状态的检测方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行一种业务系统的业务状态的检测方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种业务系统的业务状态的检测方法,其特征在于,包括:
获取由业务系统的生产数据生成的模糊测试数据,其中,所述生产数据是指运行所述业务系统时输入的数据,所述模糊测试数据用于构成调用所述业务系统中的业务数据的调用请求;
将所述模糊测试数据输入所述业务系统,接收所述业务系统返回的业务数据,并对所述业务数据进行预处理,得到业务数据矩阵,其中,所述业务数据是指所述业务系统进行业务逻辑操作时生成的数据;
将所述业务数据矩阵输入系统检测模型,输出所述业务系统的业务状态,其中,所述业务状态包括业务缺陷状态以及业务正常状态。
2.根据权利要求1所述的方法,其特征在于,获取通过业务系统的生产数据生成模糊测试数据包括:
通过所述生产数据拟合随机数生成函数;
利用所述随机数生成函数生成一组随机数,并将所述一组随机数确定为所述模糊测试数据。
3.根据权利要求2所述的方法,其特征在于,通过所述生产数据拟合随机数生成函数包括:
获取所述业务系统生成的生产数据的数据极值以及M个历史生产数据,其中,M为正整数,所述数据极值包括需要生成的随机数的上限值和下限值;
根据所述数据极值和所述M个历史生产数据之间的数值关系,计算得到预设参数,并将所述预设参数作为所述随机数生成函数的系数,得到所述随机数生成函数。
4.根据权利要求1所述的方法,其特征在于,所述系统检测模型包括特征提取模块以及完全链接层,所述特征提取模块包括第一特征提取模块和第二特征提取模块,所述第一特征提取模块由第一卷积层、激活函数以及第一池化层构成,所述第二特征提取模块由第二卷积层、所述激活函数以及第二池化层构成,将所述业务数据矩阵输入系统检测模型,输出所述业务系统的业务状态包括:
将所述业务数据矩阵输入所述第一特征提取模块,利用所述第一特征提取模块对所述业务数据矩阵进行降维处理,得到预设维度的第一矩阵;
将所述预设维度的第一矩阵输入到所述第二特征提取模块,利用所述第二特征提取模块对所述第一矩阵进行特征提取处理,得到业务特征;
将所述业务特征输入所述完全链接层,输出所述业务状态。
5.根据权利要求1所述的方法,其特征在于,在将所述业务数据矩阵输入系统检测模型之前,所述方法还包括:
获取N个业务系统的N个历史业务数据矩阵和N个业务状态,将每个历史业务数据矩阵和每个业务状态组合为一个样本集,得到N个样本集,其中,N为正整数;
将所述N个历史业务数据矩阵输入到预设系统检测模型,输出N个模型结果,并将所述N个模型结果发送至客户端,其中,所述客户端用于复核所述N个模型结果是否与所述N个业务状态相同;
在接收到由所述客户端返回的复核结果的情况下,根据所述复核结果计算模型准确率,并由所述模型准确率对所述预设系统检测模型的模型参数进行调整,得到所述系统检测模型。
6.根据权利要求5所述的方法,其特征在于,根据所述复核结果计算模型准确率,并由所述模型准确率对所述预设系统检测模型的模型参数进行调整,得到所述系统检测模型包括:
获取所述复核结果中表征检测正确的业务系统的数量,得到第一数量,并获取检测错误的业务系统的数量,得到第二数量;
计算所述第一数量与所述第二数量的差值,得到数量差值,计算所述第一数量与所述第二数量之和,得到数量和,并计算所述数量差值与所述数量和的比值,得到所述模型准确率;
在所述模型准确率小于识别阈值的情况下,调整所述预设系统检测模型中的激活函数的参数,直至所述模型准确率大于等于所述识别阈值,得到所述系统检测模型。
7.根据权利要求1所述的方法,其特征在于,对所述业务数据进行预处理,得到业务数据矩阵包括:
获取所述业务数据的数据格式;
将所述数据格式的格式调整为预设数据格式,得到调整后的业务数据;
对所述调整后的业务数据进行数据清洗处理,得到处理后的业务数据,并对处理后的业务数据进行组合,得到所述业务数据矩阵。
8.一种业务系统的业务状态的检测装置,其特征在于,包括:
第一获取单元,用于获取由业务系统的生产数据生成的模糊测试数据,其中,所述生产数据是指运行所述业务系统时输入的数据,所述模糊测试数据用于构成调用所述业务系统中的业务数据的调用请求;
第一输入单元,用于将所述模糊测试数据输入所述业务系统,接收所述业务系统返回的业务数据,并对所述业务数据进行预处理,得到业务数据矩阵,其中,所述业务数据是指所述业务系统进行业务逻辑操作时生成的数据;
第二输入单元,用于将所述业务数据矩阵输入系统检测模型,输出所述业务系统的业务状态,其中,所述业务状态包括业务缺陷状态以及业务正常状态。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的业务系统的业务状态的检测方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的业务系统的业务状态的检测方法。
CN202311070248.0A 2023-08-23 2023-08-23 业务系统的业务状态的检测方法、装置以及电子设备 Pending CN116881349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311070248.0A CN116881349A (zh) 2023-08-23 2023-08-23 业务系统的业务状态的检测方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311070248.0A CN116881349A (zh) 2023-08-23 2023-08-23 业务系统的业务状态的检测方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN116881349A true CN116881349A (zh) 2023-10-13

Family

ID=88271690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311070248.0A Pending CN116881349A (zh) 2023-08-23 2023-08-23 业务系统的业务状态的检测方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN116881349A (zh)

Similar Documents

Publication Publication Date Title
US10572885B1 (en) Training method, apparatus for loan fraud detection model and computer device
CN111738504A (zh) 企业财务指标资金量预测方法和装置、设备及存储介质
CN110020939B (zh) 建立违约损失率预测模型的装置、方法及存储介质
CN112766814A (zh) 一种信用风险压力测试模型的训练方法、装置及设备
CN115809837B (zh) 基于数字化模拟场景的金融企业管理方法、设备及介质
CN115330545B (zh) 跨境供应链金融的数据核验方法
CN116720084A (zh) 数据识别方法、装置、电子设备及计算机可读存储介质
CN116881349A (zh) 业务系统的业务状态的检测方法、装置以及电子设备
CN113139866A (zh) 债务数据处理方法、装置、设备及存储介质
CN110415099A (zh) 一种金融信贷诈骗识别方法、系统及电子设备
Lawrencia et al. Fraud detection decision support system for Indonesian financial institution
CN112767138B (zh) 国际收支申报数据漏报检测方法及系统
CN109391738A (zh) 一种根据移动终端信息进行预警的方法
CN113723710B (zh) 一种客户流失预测方法、系统、存储介质及电子设备
CN117874491A (zh) 一种特征提取方法及装置
CN116976408A (zh) 对二分类机器学习模型的预测分数进行校准的方法及装置
CN117217522A (zh) 基于人工智能的财务预开票风险管控系统及其运行方法
CN117370556A (zh) 文档的分类方法及装置、计算机可读存储介质和电子设备
CN118071488A (zh) 交易报告的生成方法、装置、计算机存储介质及电子设备
CN116051257A (zh) 一种智能运维异常检测方法、装置及服务器
CN116051262A (zh) 风险预测模型的训练方法、风险预测方法及装置
CN115409636A (zh) 产品风险预测方法、装置、设备及介质
CN117609772A (zh) 一种基于核汽轮机的故障预测方法及系统
CN117745423A (zh) 一种异常账户的识别方法
CN116911977A (zh) 虚拟资源处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination