CN116502162A - 边缘算力网络中的异常算力联邦检测方法、系统及介质 - Google Patents

边缘算力网络中的异常算力联邦检测方法、系统及介质 Download PDF

Info

Publication number
CN116502162A
CN116502162A CN202310378971.9A CN202310378971A CN116502162A CN 116502162 A CN116502162 A CN 116502162A CN 202310378971 A CN202310378971 A CN 202310378971A CN 116502162 A CN116502162 A CN 116502162A
Authority
CN
China
Prior art keywords
edge
client
computing power
model
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310378971.9A
Other languages
English (en)
Inventor
张龙
暴海周
邵明明
贾星亮
邵继保
冯青凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Engineering
Original Assignee
Hebei University of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Engineering filed Critical Hebei University of Engineering
Priority to CN202310378971.9A priority Critical patent/CN116502162A/zh
Publication of CN116502162A publication Critical patent/CN116502162A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种边缘算力网络中的异常算力联邦检测方法、系统及介质，包括边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制；提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架；面向边缘算力网络算力节点算力异常的问题，提出一种基于CNN‑BILSTM的异常检测模型用于识别异常算力；准备HDFS数据集与PageRank数据集，准备实验环境进行本地训练，采用精准率Precision、召回率Recall及F1值评价指标，得出实验结果与分析。利用本发明，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，有效地提高了边缘计算系统的性能和可靠性。

Description

边缘算力网络中的异常算力联邦检测方法、系统及介质
技术领域
本申请属于边缘算力网络技术领域，具体涉及一种边缘算力网络中的异常算力联邦检测方法、系统及介质。
背景技术
边缘算力网络主要是由边缘计算节点(这些节点可能是智能手机、路由器、物联网设备等)与网络设备协同构建一种新兴的分布式计算机架构，旨在将分散部署的边缘计算节点互相连通、统筹调度，将计算任务分发到网络中的设备，实现网络和计算资源的优化和高效利用，为用户提供最佳的资源分配和连接方案。因此，边缘算力网络在各种应用场景中都具有广阔的前景，如智能制造、智慧城市、智能交通等。
在边缘算力网络的实际应用过程中，经常会涉及到大量的数据传输和处理。在边缘算力网络中，节点分布广泛，每个节点都可能包含着不同的数据和隐私信息，这些信息不适合直接传输到中心化服务器进行处理和分析，因为这可能会导致数据泄露和隐私侵犯的问题。由于边缘计算节点的计算能力、存储能力和带宽等资源限制，节点的算力异常情况时有发生。算力异常可能会导致节点的计算速度变慢、任务执行失败等问题，进而影响整个系统的性能和可靠性。
目前，针对边缘算力异常检测的研究还比较少，而传统的异常检测方法往往无法直接应用于边缘算力节点中，因为这些方法可能需要大量的数据传输和中央处理，会导致较高的延迟和能耗。因此，如何在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性，是当前亟待解决的问题。
发明内容
本发明的主要目的在于提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性。
为了实现上述目的，提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，所述边缘算力网络中的异常算力联邦检测方法包括以下步骤：
S1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；
S2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；
S3.通过基于CNN-BILSTM的异常检测模型来识别异常算力；
S4.准备HDFS数据集与PageRank数据集，准备实验环境进行本地训练，采用精准率Precision、召回率Recall及F1值评价指标，得出实验结果与分析。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S1具体步骤为：
首先用户业务请求，需求解析模块分析用户业务需求，将用户业务需求转换为算力需求、网络需求，确定业务部署位置、资源信息；
资源调度模块管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
业务部署，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S2具体步骤为：
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
作为本发明的较佳实施例，本发明所述步骤边缘算力网络中的异常算力联邦检测方法的S2中所述客户端请求算力注册具体操作为：
设存在K个客户端与一个服务器节点S，客户端用K＝{1,2,...,K}表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：
其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用di,S表示：
其中，(xi,yi)表示客户端i位置，(xS,yS)表示服务器节点S位置；
所述边缘算力网络中的异常算力联邦检测方法的步骤S2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向LSTM层、线性层，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；
假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；
其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数(Communication Rounds)为T，每次通信的周期为t，初始时，通信周期t的值为1；
所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点选择客户端本地训练具体为：在通信周期t内，服务器节点S随机选择k个客户端参与训练，其中k≤K，服务器节点S将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数/>其中/>是客户端i使用本地数据进行训练得到的损失函数，/>表示该损失函数相对于模型参数/>的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点模型聚合具体为：在通信周期为t时，选取客户端模型参数集合其中/>表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：
其中|D|表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量|Di|加权；当t＝T时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即/>对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S3中所述基于CNN-BILSTM异常检测模型具体为：
包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用Drain方法进行结构化处理，日志解析通过从HDFS中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；
还包括当客户端对本地数据进行处理时，整体模型由BERT预训练模型对输入的文本进行编码，并通过卷积神经网络CNN和双向长短期记忆网络BiLSTM进行特征提取和分类。
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤S4具体为：
S401.准备HDFS数据集，所述HDFS数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备Pagerank日志数据集，所述Pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；
S402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量K＝2,最大通信次数为T＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用HDFS与PageRank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；
S403.采用精准率Precision、召回率Recall和F1值为评价指标，计算公式为：
其中，TP表示成功检测出的异常日志序列量，FP表示正常日志序列被一场检测模型判断为异常的数量，FN表示异常日志序列数量被异常检测模型判断为正常的数量；
S404.多个客户端分别使用HDFS与PageRank部分数据集进行验证，采用精确率、召回率和F1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析PCA、LogAnomaly和DeepLog进行对比。
一种边缘算力网络中的异常算力联邦检测系统，采用了如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法，所述检测系统包括：
需求解析模块，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；
资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
故障监控模块，用于块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，结合需求模块结果重新为用户提供业务部署位置和资源；
另外还包括一联邦异常检测框架，所述联邦异常检测框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素；
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
所述异常检测系统包括：该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
一种计算机可读介质，所述程序被处理器执行时实现如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法。
本发明的有益效果是：
1、本发明中通过建立所述算力异常检测运行机制，以保证算力资源的高效利用。
2、本发明中边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，在赋予其提供算力服务资格前，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，有效地提高了边缘计算系统的性能和可靠性。
3、发明中通过采用异常检测系统，达到帮助用户减少经济损失的目的。
附图说明
图1为本发明的算力异常检测运行机制图；
图2为本发明的算力异常联邦检测架构图；
图3为本发明的ACFL准确率曲线图；
图4为本发明的ACFL损失曲线图；
图5为本发明的ACFL客户端1性能指标结果图；
图6为本发明的ACFL客户端2性能指标结果图；
具体实施方式
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明的一种边缘算力网络中的异常算力联邦检测方法、系统及介质，如图1-6所示，所述边缘算力网络中的异常算力联邦检测方法包括以下步骤：
S1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，其包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；
S2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；
S3.面向边缘算力网络算力节点算力异常的问题，提出一种基于CNN-BILSTM的异常检测模型用于识别异常算力；
其中，本发明中建立所述算力异常检测运行机制，以保证算力资源的高效利用；根据边缘算力网络中节点分散性和节点之间的异构性特点，提出了一种联邦异常检测框架，在保证边缘算力节点数据安全的前提下，联合训练一个算力异常检测模型，来更加准确地检测算力节点中的异常情况；面向边缘算力网络算力节点算力异常的问题，提出一种基于CNN-BILSTM的异常检测模型用于识别异常算力，将极大的提高边缘算力系统的性能和可靠性，为未来的智能应用提供更好的服务。
S4.准备HDFS数据集与PageRank数据集，准备实验环境进行本地训练，采用精准率Precision、召回率Recall及F1值评价指标，得出实验结果与分析。
一种可选的实施方式，一种边缘算力网络中的异常算力联邦检测系统，如图1所示，采用了所述的边缘算力网络中的异常算力联邦检测方法为：首先是用户业务请求模块；
需求解析模块分析，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；
资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
故障监控模块，用于协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源；
其中，本发明中边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，在赋予其提供算力服务资格前，对边缘资源池进行算力异常监控，以确保提供算力服务的可靠性；所述故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，其作用范围覆盖整个编排管理阶段，可以帮助构建可靠、安全的编排管理系统。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S2具体步骤为：当面对边缘计算资源不稳定、分散性强、且异构性大的情况时，本发明提出了一种名为聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，具体来说，该框架包括以下三个要素：
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
其中，本发明中，所述聚合边缘服务节点作为联邦异常检测架构中的服务器节点，拥有较大的计算资源和存储资源；所述边缘节点：作为联邦异常检测架构中的客户端，边缘节点拥有相对较小的计算和存储资源，采用异常检测系统，达到帮助用户减少经济损失的目的。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中所述客户端请求算力注册具体操作为：
设存在K个客户端与一个服务器节点S，客户端用K＝{1,2,...,K}表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：
其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用di,S表示：
其中，(xi,yi)表示客户端i位置，(xS,yS)表示服务器节点S位置。
一种可选的实施方式，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向LSTM层、线性层；
其中，卷积层具体为一个包含三个二维卷积层Conv2d的ModuleList，这三个卷积层的输入通道数为1，输出通道数为256，分别采用不同大小的卷积核2x768、3x768、4x768，步长均为1，这些卷积层因为不同长度的n-gram对于文本的表达可能会有不同的重要性，故被用来提取文本中的局部特征。
其中，双向LSTM层具体为一个双向长短时记忆网络，包含一个LSTM层，输入大小为768，输出大小为128。这个LSTM层被设置为batch_first＝True，因此输入的shape为batch_size,sequence_length,768，其中batch_size是每个batch的大小，sequence_length是文本序列的长度；这个双向LSTM层因为它能够有效地建模文本序列中的长期依赖关系被用来捕捉文本中的全局特征。
其中，线性层具体为：一个线性层Linear，将输入的256维向量映射到一个2维向量(即输出大小为2)，用于最终的分类；这个线性层被用来将提取的局部和全局特征结合起来，以便进行分类。
综上所述，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；
假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；
其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数为T，每次通信的周期为t，初始时，通信周期t的值为1。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点模型聚合具体为：服务器节点选择客户端本地训练，在通信周期t内，服务器节点S随机选择k个客户端参与训练，其中k≤K，服务器节点S将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数/>其中/>是客户端i使用本地数据进行训练得到的损失函数，表示该损失函数相对于模型参数/>的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点模型聚合具体为：服务器节点模型聚合，在通信周期为t时，选取客户端模型参数集合其中/>表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：
其中|D|表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量|Di|加权；当t＝T时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即/>对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S3中所述基于CNN-BILSTM异常检测模型具体为：
包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用Drain方法进行结构化处理，日志解析通过从HDFS中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；
还包括当客户端对本地数据进行处理时，整体模型由BERT预训练模型对输入的文本进行编码，并通过卷积神经网络CNN和双向长短期记忆网络BiLSTM进行特征提取和分类。
其中，本发明中，客户端i对本地数据处理及本地模型训练方案如下：
数据采集阶段，本发明中根据边缘计算节点输出非结构化的日志数据进行分析，这类日志能够表示系统状态和运行信息。在生产中，边缘资源池所具备的软硬件有所差异，其输出的日志信息在语法上也有所不同。每条语句一般都会包含时间戳、消息标识、详细信息等不同格式文本信息，各个边缘计算节点将原始日志信息通过数据流传输的方式保存在本地存储。在日志解析阶段，非结构化日志数据会被解析为结构化的日志事件数据，本发明中使用Drain方法进行结构化处理。目前，解析日志的普遍做法是从日志消息中提取模板，但是模板提取依然存在误差，从而影响日志检测的鲁棒性。本发明提供了一个HDFS(HadoopDistributed File System)中生成的结构化原始日志片段的示例，其中包含了时间戳、消息级别、进程和组件等信息。日志解析通过删除冗余信息，主要提取日志事件时间信息和内容信息,如下表1所示：
表1
当客户端对本地数据进行处理时，整体模型由BERT预训练模型对输入的文本进行编码，并通过卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)进行特征提取和分类；使用BERT预训练模型作为输入编码器时，可以充分利用预训练模型在大规模语料库上学习到的语言表示能力，从而更好地表征输入的文本数据；而在该模型中，通过卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)的特征提取和分类过程，可以对编码后的文本进行进一步处理和分析，以实现任务目标。此外，该模型还使用了局部池化和全局池化的结合方式，以更全面地利用卷积层提取到的特征信息，提高模型的性能。因此，该模型可以更好地处理文本数据，并对其进行高效和准确的任务处理。
具体来说Di包含客户端i上的本地所有训练样本，每个样本包含了一个由L个单词组成的文本序列xi＝[xi,1,xi,2,....,xi,L]以及一个对应的标签yi＝{0,1}，定义一个二元分类模型f(x；θ)，θ表示模型参数，x表示输入样本，对于给定的样本序列xi，计算出其对应的中间表示为其中/>表示输入数据的向量空间，然后将其通过softmax函数映射到概率空间，得到样本序列xi为正常和异常的概率分别为：
其中， 是sorftmax函数的参数。如果P(yi＝0|hi)＞P(yi＝1|hi)其归类为正常，反之，将其归类为异常。
具体地：
对于文本序列x，通过BERT模型的编码得到一个固定长度的向量z＝BERT(x)，使用一个一维卷积神经网络CNN，对z进行局部特征提取，得到输出向量hCNN，使用RELU(x)＝max(0,x)，卷积核大小为u，卷积核个数为j，具体地，对于卷积核i，其权重为偏置为则有/>其中zi:i+k-1表示z中的一个连续子序列，最后，将j个输出向量拼接在一起，得到hCNN。
CNN网络学习到的特征具有平移不变形，缺少上下文语义信息，因此，在提取局部特征的基础上接着将hCNN作为输入，使用一个双向长短期记忆网络(BiLSTM)进行进一步学习的时序上下文特征，得到输出向量hBILSTM。具体地，在t时刻分别将hCNN,t作为正向和反向LSTM输入，得到正向和反向LSTM的隐藏状态分别为和/>计算公式为其中/>表示时刻t的BiLSTM输出向量将这两个隐藏状态拼接，Wt表示权重矩阵，bt表示t时刻的偏置向量，最后使用全连接层将hBILSTM映射到目标类别上，即算力异常或者算力正常，并对其进行softmax处理，得到每个类别的概率分布y＝softmax(WhBiLSTM+b)，其中W是全连接层的权重矩阵，b是偏置向量，并采用交叉熵函数进行损失计算，计算公式如下：
其中，Di表示客户端i拥有的本地数据集，|Di|表示本地数据集拥有的样本数量，x是输入样本，y是对应的真实标签，fθ(x)是基于当前客户端i上的本地模型参数θ经过前向计算得到的预测结果，是样本数量的倒数，表示平均每个样本的损失。
一种可选的实施方式，如图3-6所示，所述边缘算力网络中的异常算力联邦检测方法的步骤S4具体为：
S401.准备HDFS数据集，所述HDFS数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备Pagerank日志数据集，所述Pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；
其中，HDFS是指Hadoop分布式文件系统(Hadoop Distributed File System)，是Hadoop的核心组成部分之一，是一个分布式文件系统，用于在大规模集群上存储和处理大量数据；HDFS数据集包含了各种类型的日志数据，这些日志数据中包含了各种事件和错误信息，例如文件读写、块复制、磁盘错误、网络连接等等。通过分析这些日志数据，可以获取系统各种方面的性能指标和异常情况，例如磁盘I/O延迟、网络带宽瓶颈、节点故障等等，涵盖了从多个节点收集的日志数据，时间跨度约为38.7h。
S402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量K＝2,最大通信次数为T＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用HDFS与PageRank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；
其中，本发明中实验环境为64位Windows11，4核i5-1135G7512G4GHZ CPU，模型基于Pytorch深度学习框架版本为1.12.1，开发环境为Anaconda 4.14.0，Python版本为3.9.12。
S403.采用精准率Precision、召回率Recall和F1值为评价指标，计算公式为：
/>
其中，TP表示成功检测出的异常日志序列量，FP表示正常日志序列被一场检测模型判断为异常的数量，FN表示异常日志序列数量被异常检测模型判断为正常的数量；
S404.多个客户端分别使用HDFS与PageRank部分数据集进行验证，采用精确率、召回率和F1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析PCA、LogAnomaly和DeepLog进行对比。
本发明中，为了验证联邦算力异常检测模型ACFL(Abnormal of ComputingFederated Learning)的效果，训练过程的准确率如图3所示，损失值如图4所示。为了检测聚合模型的准确性和有效性，对于客户端1与客户端2分别使用HDFS与PageRank部分数据集进行验证，采用精确率、召回率和F1值三个衡量标准，从图5中可以看出客户端1的精确率＝0.97、召回率＝0.97和F1值＝0.96，从图6中可以看出客户端2的精确率＝1.0、召回率＝1.0和F1值＝1.0，并选取3种当前比较先进的基于日志分析的异常检测算法：主成分分析(PCA)、LogAnomaly和DeepLog进行对比。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种边缘算力网络中的异常算力联邦检测方法，其特征在于，包括以下步骤：
S1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；
S2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；
S3.通过基于CNN-BILSTM的异常检测模型来识别异常算力；
S4.准备HDFS数据集与PageRank数据集，准备实验环境进行本地训练，采用精准率Precision、召回率Recall及F1值评价指标，得出实验结果与分析。
2.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S1具体步骤为：
首先用户业务请求，需求解析模块分析用户业务需求，将用户业务需求转换为算力需求、网络需求，确定业务部署位置、资源信息；
资源调度模块管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
业务部署，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源。
3.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S2具体步骤为：
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
4.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述步骤边缘算力网络中的异常算力联邦检测方法的S2中所述客户端请求算力注册具体操作为：
设存在K个客户端与一个服务器节点S，客户端用表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：
其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用di,S表示：
其中，(xi,yi)表示客户端i位置，(xS,yS)表示服务器节点S位置；
所述边缘算力网络中的异常算力联邦检测方法的步骤S2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向LSTM层、线性层，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；
假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；
其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数为T，每次通信的周期为t，初始时，通信周期t的值为1；
所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点选择客户端本地训练具体为：在通信周期t内，服务器节点S随机选择k个客户端参与训练，其中k≤K，服务器节点S将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数/>其中/>是客户端i使用本地数据进行训练得到的损失函数，/>表示该损失函数相对于模型参数/>的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。
5.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述服务器节点模型聚合具体为：在通信周期为t时，选取客户端模型参数集合其中，/>表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：
其中，表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量/>加权；当t＝T时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。
6.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即/>对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
7.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S3中所述基于CNN-BILSTM异常检测模型具体为：
包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用Drain方法进行结构化处理，日志解析通过从HDFS中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；
还包括当客户端对本地数据进行处理时，整体模型由BERT预训练模型对输入的文本进行编码，并通过卷积神经网络CNN和双向长短期记忆网络BiLSTM进行特征提取和分类。
8.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤S4具体为：
S401.准备HDFS数据集，所述HDFS数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备Pagerank日志数据集，所述Pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；
S402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量K＝2,最大通信次数为T＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用HDFS与PageRank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；
S403.采用精准率Precision、召回率Recall和F1值为评价指标，计算公式为：
其中，TP表示成功检测出的异常日志序列量，FP表示正常日志序列被一场检测模型判断为异常的数量，FN表示异常日志序列数量被异常检测模型判断为正常的数量；
S404.多个客户端分别使用HDFS与PageRank部分数据集进行验证，采用精确率、召回率和F1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析PCA、LogAnomaly和DeepLog进行对比。
9.一种边缘算力网络中的异常算力联邦检测系统，其特征在于，采用了如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法，所述检测系统包括：
需求解析模块，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；
资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
故障监控模块，用于块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，结合需求模块结果重新为用户提供业务部署位置和资源；
另外还包括一联邦异常检测框架，所述联邦异常检测框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素；
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
所述异常检测系统包括：该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
10.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法。
CN202310378971.9A 2023-04-11 2023-04-11 边缘算力网络中的异常算力联邦检测方法、系统及介质 Pending CN116502162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310378971.9A CN116502162A (zh) 2023-04-11 2023-04-11 边缘算力网络中的异常算力联邦检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310378971.9A CN116502162A (zh) 2023-04-11 2023-04-11 边缘算力网络中的异常算力联邦检测方法、系统及介质

Publications (1)

Publication Number Publication Date
CN116502162A true CN116502162A (zh) 2023-07-28

Family

ID=87329530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310378971.9A Pending CN116502162A (zh) 2023-04-11 2023-04-11 边缘算力网络中的异常算力联邦检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116502162A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240755A (zh) * 2023-11-10 2023-12-15 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质
CN117896384A (zh) * 2024-03-18 2024-04-16 深圳市精极工业互联网有限公司 物联网通信方法、装置、设备及存储介质
CN117896384B (zh) * 2024-03-18 2024-05-14 深圳市精极工业互联网有限公司 物联网通信方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240755A (zh) * 2023-11-10 2023-12-15 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质
CN117240755B (zh) * 2023-11-10 2024-02-06 北京派网科技有限公司 一种用于边缘计算设备的日志审计方法、装置和存储介质
CN117896384A (zh) * 2024-03-18 2024-04-16 深圳市精极工业互联网有限公司 物联网通信方法、装置、设备及存储介质
CN117896384B (zh) * 2024-03-18 2024-05-14 深圳市精极工业互联网有限公司 物联网通信方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20230153177A1 (en) Systems and methods to improve data clustering using a meta-clustering model
US10331490B2 (en) Scalable cloud-based time series analysis
US10832087B1 (en) Advanced training of machine-learning models usable in control systems and other systems
US11132248B2 (en) Automated information technology system failure recommendation and mitigation
CN113094200B (zh) 一种应用程序的故障预测方法和装置
US10860809B2 (en) Word embeddings and virtual terms
US10963634B2 (en) Cross-platform classification of machine-generated textual data
CN113312447A (zh) 基于概率标签估计的半监督日志异常检测方法
US11841851B1 (en) Systems, methods, and graphical user interfaces for taxonomy-based classification of unlabeled structured datasets
CN117041019B (zh) 内容分发网络cdn的日志分析方法、装置及存储介质
CN115344414A (zh) 基于LSTM-Transformer的日志异常检测方法及系统
WO2022053163A1 (en) Distributed trace anomaly detection with self-attention based deep learning
CN116502162A (zh) 边缘算力网络中的异常算力联邦检测方法、系统及介质
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN110011990A (zh) 内网安全威胁智能分析方法
Xie et al. Logm: Log analysis for multiple components of hadoop platform
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN113092083A (zh) 一种基于分形维数和神经网络的机泵故障诊断方法和装置
CN116225848A (zh) 日志监测方法、装置、设备和介质
CN115658546A (zh) 一种基于异质信息网络的软件故障预测方法及系统
CN114925210A (zh) 知识图谱的构建方法、装置、介质及设备
CN114328818A (zh) 文本语料处理方法、装置、存储介质及电子设备
Costa et al. A three level sensor ranking method based on active perception
Liu et al. Efficient Time-Series Data Delivery in IoT with Xender
Fang124 et al. A New Distributed Log Anomaly Detection Method based on Message Middleware and ATT-GRU

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination