CN116781343A - 一种终端可信度的评估方法、装置、系统、设备及介质 - Google Patents
一种终端可信度的评估方法、装置、系统、设备及介质 Download PDFInfo
- Publication number
- CN116781343A CN116781343A CN202310704491.7A CN202310704491A CN116781343A CN 116781343 A CN116781343 A CN 116781343A CN 202310704491 A CN202310704491 A CN 202310704491A CN 116781343 A CN116781343 A CN 116781343A
- Authority
- CN
- China
- Prior art keywords
- terminal
- credibility
- evaluated
- reliability
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 96
- 238000011156 evaluation Methods 0.000 claims abstract description 60
- 230000006399 behavior Effects 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000012552 review Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 29
- 230000002452 interceptive effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000013210 evaluation model Methods 0.000 description 9
- 210000004899 c-terminal region Anatomy 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及网络安全技术领域,特别涉及一种终端可信度的评估方法、装置、系统、设备及介质,用以在减少边缘服务器和中心服务器之间的传输参数的同时,实现终端可信度的轻量级评估和动态评估。所述方法,包括:确定多个与待评估终端存在历史交互行为的目标终端;基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度;基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度;利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度。
Description
技术领域
本申请涉及网络安全技术领域,特别涉及一种终端可信度的评估方法、装置、系统、设备及介质。
背景技术
现如今,网络技术正在飞速发展,随之而来的大规模分布式系统也逐渐普及,下一代互联网和未来网络的研究与发展使得网络信息安全面临着巨大挑战。因此,对可信网络的研究显得尤为重要。
可信评估机制是一种软安全评估的机制,其可以通过对终端动态行为的感知来解决安全控制的问题,并基于跟踪用户的动态行为来采取必要的预防措施,防止攻击者通过部署恶意攻击终端对系统进行恶意攻击。在现有边缘计算环境下,考虑到边缘设备的内存、计算等资源的限制,并且终端的接入与退出是动态的,为了保证整体网络的安全,轻量级可信评估的机制被提出,这种机制能够明显减轻通信网的传输压力、加快安全评估的响应速度、防止敏感信息泄漏,因此,能够取得很好的安全保护效果。
现有大部分可信评估机制都采用人工赋值影响因素权重的方式,对终端可信度进行评估,这种方法不仅会导致由于某一个时间段数值过于极端而产生评估误差多的现象,还会由于权重设置缺乏自适应性,从而导致整体可信评估模型不准确。基于上述问题,现有技术中又提出了通过分布式联邦学习方法完成边缘侧模型的训练,并通过上传-下发两个步骤实现边缘侧模型和全局模型的调参,从而保持边缘侧模型和全局模型参数的一致性。但是此种方式参数传输量非常频繁,导致整个网络的传输量较大,如果针对参数复杂的模型,会导致调整参数过于频繁,从而导致模型评估结果出现不稳定的现象,除此以外,模型参数调整还会占用大量的传输空间,也不利于构建轻量级评估模型。
发明内容
本申请的目的是提供一种终端可信度的评估方法、装置、系统、设备及介质,用以在减少边缘服务器和中心服务器之间的传输参数的同时,实现终端可信度的轻量级评估和动态评估。
第一方面,本申请提供一种终端可信度的评估方法,应用于边缘服务器,包括:
确定多个与待评估终端存在历史交互行为的目标终端;
基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度;
基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度;
利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差。
在一种可能的实施方式中,所述基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度,包括:
基于每一目标终端与所述待评估终端之间发送不同内容数据包的数量和相同内容数据包的数量,计算每一目标终端与所述待评估终端之间发送数据的相似度评价参数;
基于每一目标终端发送数据与所述待评估终端请求数据的相关性,计算每一目标终端与所述待评估终端之间发送数据的一致性评价参数;
针对每一目标终端,基于预先配置的权重系数,对所述相似度评价参数和所述一致性评价参数进行加权求和,得到每一目标终端对应的交互可信度。
在一种可能的实施方式中,所述基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度,包括:
计算所述多个目标终端对应的交互可信度的平均值;
基于每个目标终端对应的交互可信度与所述平均值的偏差值,对预先为每个目标终端设置的权重系数初始值进行修正,得到每个目标终端对应的权重系数;
基于每个目标终端对应的交互可信度与所述平均值的偏差值,确定每个目标终端对应的准确率;
剔除准确率小于预设准确率阈值的目标终端,并在剩余的目标终端中选取预设数量的目标终端,所述预设数量为所述多个目标终端数量的半数以上;
利用所述预设数量个目标终端中每个目标终端对应的权重系数,对将所述预设数量个目标终端的交互可信度进行加权求和,得到所述待评估终端的综合可信度。
第二方面,本申请实施例提供一种终端可信度的评估方法,应用于与第一方面提供的边缘服务器通信的中心服务器,包括:
接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度;
利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度;
计算所述复查可信度与所述最终可信度之间误差的绝对值;
基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
在一种可能的实施方式中,所述基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,包括:
在所述误差的绝对值大于预设阈值时,基于所述误差的绝对值计算调整系数,并利用所述调整系数对当前时刻的惩罚因子进行增大处理;
在所述误差的绝对值小于预设阈值时,基于所述误差的绝对值计算调整系数,并利用所述调整系数对当前时刻的惩罚因子进行缩小处理。
第三方面,本申请实施例提供一种终端可信度的评估装置,包括:
确定单元,用于确定多个与待评估终端存在历史交互行为的目标终端;
第一处理单元,用于基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度;
第二处理单元,用于基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度;
第三处理单元,用于利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差。
第四方面,本申请实施例提供一种终端可信度的评估装置,包括:
接收单元,用于接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度;
第一处理单元,用于利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度;
第二处理单元,用于计算所述复查可信度与所述边缘服务器上报的待评估终端的最终可信度之间误差的绝对值;
第三处理单元,用于基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
第五方面,本申请实施例提供一种终端可信度的评估系统,包括边缘服务器,中心服务器,以及与所述边缘服务器通信连接的多个终端,其中,
所述边缘服务器,用于确定多个与待评估终端存在历史交互行为的目标终端,基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度,基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度,利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,并将所述综合可信度和所述最终可信度上报所述中心服务器,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差;
所述中心服务器,用于接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度,利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度,计算所述复查可信度与所述最终可信度之间误差的绝对值,基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
第六方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现第一方面或者第二方面所述的方法。
第七方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现第一方面或者第二方面所述的方法。
本申请实施例提供的终端可信度的评估方法、装置、系统、设备及介质,在边缘服务器侧,确定待评估终端的可信度时,首先确定多个与待评估终端存在历史交互行为的目标终端,然后基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度,进而基于多个目标终端的交互可信度,计算待评估终端的综合可信度;并利用中心服务器下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,与现有技术相比,边缘服务器和中心服务器之间只需传输惩罚因子这一个参数,减少了边缘服务器和中心服务器之间的传输参数,同时,在边缘服务器成本、能耗、计算资源受限的情况下,其无法非常精确的计算终端可信度,通过惩罚因子对终端可信度的修正,不但可以降低边缘服务器侧对终端可信度评估的复杂度,实现终端可信度的轻量级评估,而且由于惩罚因子的动态调整,可以实现终端可信度的动态评估。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一种可选的终端可信度的评估方法的应用场景;
图2为本申请实施例一种终端可信度的评估方法的示意流程图;
图3为本申请实施例一种与待评估终端存在历史交互行为的目标终端的示意图;
图4为本申请实施例一种分布式可信度评估框架的示意图;
图5为本申请实施例一种计算目标终端的交互可信度的示意图;
图6为本申请实施例一种计算待评估终端的综合可信度的示意图;
图7为本申请实施例另一终端可信度的评估方法的示意流程图;
图8为本申请实施例一种终端可信度的评估系统的示意图;
图9为本申请实施例一种终端可信度的评估装置的结构示意图;
图10为本申请实施例另一终端可信度的评估装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
需要说明的是,下述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
为了减少边缘服务器和中心服务器之间的传输参数,同时实现终端可信度的轻量级评估和动态评估,本申请实施例提供一种终端可信度的评估方法、装置、系统、设备及介质,在边缘服务器侧,确定待评估终端的可信度时,首先确定多个与待评估终端存在历史交互行为的目标终端,然后基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度,进而基于多个目标终端的交互可信度,计算待评估终端的综合可信度;并利用中心服务器下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,与现有技术相比,边缘服务器和中心服务器之间只需传输惩罚因子这一个参数,减少了边缘服务器和中心服务器之间的传输参数,同时,在边缘服务器成本、能耗、计算资源受限的情况下,其无法非常精确的计算终端可信度,通过惩罚因子对终端可信度的修正,不但可以降低边缘服务器侧对终端可信度评估的复杂度,实现终端可信度的轻量级评估,而且由于惩罚因子的动态调整,可以实现终端可信度的动态评估。
下面结合附图对本申请实施例提供的一种终端可信度的评估方法的应用场景进行介绍。如图1所示,包括边缘服务器10、中心服务器11和多个终端12,其中:
边缘服务器10,与多个终端12通过通信网络通信连接,同时与中心服务器11通过通信网络通信连接,多个终端12之间存在交互行为,也即多个终端12之间可以通过收发数据包进行数据传输和信息交互。
针对多个终端12中的任一待评估终端,在确定待评估终端可信度时,首先确定多个与待评估终端存在历史交互行为的目标终端,然后基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度,进而基于多个目标终端的交互可信度,计算待评估终端的综合可信度,并利用中心服务器11下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,将待评估终端的综合可信度和最终可信度上报中心服务器11,其中,当前时刻的惩罚因子是中心服务器11基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,可信度误差为针对前一个待评估终端,边缘服务器10确定的最终可信度和中心服务器11确定的可信度之间的误差。
中心服务器11,接收边缘服务器10上报的待评估终端的综合可信度和最终可信度,利用预先训练的用于评估终端可信度的神经网络模型,基于综合可信度和边缘服务器所处网络的网络安全等级,确定待评估终端的复查可信度,计算复查可信度与最终可信度之间误差的绝对值,基于误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至边缘服务器10。
在一种可选的实施方式中,通信网络是有线网络或无线网络。
需要说明的是,图1所示只是举例说明,实际上终端和服务器的数量和通信方式均不受限制,当服务器的数量为多个时,多个服务器可组成为一区块链,而服务器为区块链上的节点,在本申请实施例中不做具体限定。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并执行。
在边缘服务器侧,图2示出了本申请实施例提供的一种终端可信度的评估方法的流程图。如图2所示,该方法可以包括如下步骤:
步骤201,确定多个与待评估终端存在历史交互行为的目标终端。
在一个示例中,如图3所示,若A终端、B终端、C终端和D终端均与待评估终端存在历史交互行为,则在计算待评估终端的可信度时,确定多个与待评估终端存在历史交互行为的目标终端,确定A终端、B终端、C终端和D终端为目标终端。
步骤202,基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度。
需要说明的是,边缘网络的综合可信度,是指网络的各个终端节点之间,根据交互行为的属性环境,对交互双方的可信度进行相互评价,终端可信度是通过历史的交互行为可信度进行评估的。因此,边缘服务器计算待评估终端综合可信度,是通过对与待评估终端存在历史交互行为的多个目标终端的交互可信度进行计算得到的。本申请实施例采用分布式可信度评估框架来计算待评估终端的可信度。
在一个示例中,仍沿用图3所示的示例,以确定的目标终端包括A终端、B终端、C终端和D终端为例,如图4所示,采用分布式可信度评估框架来计算待评估终端的可信度时,首先基于A终端与待评估终端的交互行为,确定A终端对应的交互可信度,基于B终端与待评估终端的交互行为,确定B终端对应的交互可信度,基于C终端与待评估终端的交互行为,确定C终端对应的交互可信度,基于D终端与待评估终端的交互行为,确定D终端对应的交互可信度,然后基于A终端对应的交互可信度、B终端对应的交互可信度、C终端对应的交互可信度和D终端对应的交互可信度计算待评估终端的综合可信度。
具体实施时,以A终端为例,基于A终端与待评估终端的交互行为,确定A终端对应的交互可信度时,可以采用A终端和待评估终端之间发送数据的相似性和一致性来确定。具体来说,如图5所示,包括以下步骤:
步骤2021,基于A终端与待评估终端之间发送不同内容数据包的数量和相同内容数据包的数量,计算A终端与待评估终端之间发送数据的相似度评价参数。
实际应用中,A终端和待评估终端之间发送数据的相似性评价参数,可以采用以下公式(1)计算:
其中,以待评估终端侧计数,NRP是指待评估终端与A终端之间发送不同内容数据包的数量,RP是指发送重复内容数据包的数量。通常可以采用深度包监测技术,在对传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol,TCP/IP)数据包解析的基础上,结合上下文的内容,根据协议的规则性来精确定位某些特殊字段的位置并确定其值,然后直接比较这些特殊位置的值就可以确定数据包的内容是否相同。
步骤2022,基于A终端发送数据与待评估终端请求数据的相关性,计算A终端与待评估终端之间发送数据的一致性评价参数。
实际应用中,通过发送数据的一致性,可以检验恶意终端是否存在伪造数据传送至相邻终端的行为。如果A终端和待评估终端是有交互的,那么A终端发送的数据包与待评估终端本身采集的数据包具有相关性,据此A终端和待评估终端之间发送数据的一致性评价参数,可以采用以下公式(2)计算:
其中,CP表示A终端和待评估终端之间发送的相关数据包数量,NCP表示A终端和待评估终端之间发送的不相关数据包数量。
步骤2023,针对A终端,基于预先配置的权重系数,对相似度评价参数和一致性评价参数进行加权求和,得到A终端对应的交互可信度。
在得到A终端与待评估终端之间的相似性评价参数和一致性评价参数之后,基于预先配置的权重系数,对相似度评价参数和一致性评价参数进行加权求和,得到A终端对应的交互可信度,具体可以采用如下公式3进行计算:
Ti=w1similar+w2relevance (3)
其中,Ti为A终端对应的交互可信度,similar为A终端与待评估终端之间的相似性评价参数,relevance为A终端与待评估终端之间的一致性评价参数,w1和w2为预先设置的权重参数,例如,w1和w2均设置为0.5,其也可以通过熵权法进行设置,本申请实施例对此不做限定。
以此方式,可以计算B终端对应的交互可信度,C终端对应的交互可信度,以及D终端对应的交互可信度,本申请实施例不再一一赘述。
步骤203,基于多个目标终端的交互可信度,计算待评估终端的综合可信度。
具体实施时,基于多个目标终端的交互可信度,计算待评估终端的综合可信度时,首先,计算多个目标终端对应的交互可信度的平均值,基于每个目标终端对应的交互可信度与平均值的偏差值,对预先为每个目标终端设置的权重系数初始值进行修正,得到每个目标终端对应的权重系数,然后基于每个目标终端对应的交互可信度与平均值的偏差值,确定每个目标终端对应的准确率,剔除准确率小于预设准确率阈值的目标终端,并在剩余的目标终端中选取预设数量的目标终端,预设数量为多个目标终端数量的半数以上,最后利用预设数量个目标终端中每个目标终端对应的权重系数,对将预设数量个目标终端的交互可信度进行加权求和,得到待评估终端的综合可信度。
在一个示例中,如图6所示,假设与待评估终端存在历史交互行为的目标终端有K个,已计算得到K个目标终端对应的交互可信度,假设每个目标终端对应的权重值均为1/K,则在计算待评估终端的综合可信度时,首先计算K个目标终端对应的交互可信度的平均可信度,然后计算每个目标终端的可信度偏差,即每个目标终端对应的交互可信度与平均可信度的差值,并采用如下公式(4)更新每个目标终端对应的权重值:
wi=(1/K)×(1-vi) (4)
其中,wi为每个目标终端更新后的权重值,1/K为每个目标终端更新前的权重值,vi为每个目标终端的可信度偏差,i的取值范围为[1,K]。
然后,通过每个目标终端对应的可信度偏差,计算每个目标终端的准确率,具体来说,每个目标终端的准确率为1与可信度偏差的差值。结合预先设置的准确率阈值,剔除准确率小于预设准确率阈值的目标终端,换句话说,如果目标终端的准确率大于或等于预设准确率阈值,则认为目标终端的交互可信度可靠,保留该目标终端,相反,如果目标的准确率小于预设准确率阈值,则认为目标终端的交互可信度不可靠,剔除该目标终端。
最后,从保留的目标终端中,随机选取M个目标终端,其中,M大于K/2,然后基于选取的M个目标终端对应的交互可信度以及每个目标终端更新后的权重值,采用如下公式(5)进行加权求和,得到待评估终端的综合可信度。
其中,T′为待评估终端的综合可信度,wi为每个目标终端更新后的权重值,Ti为每个目标终端对应的交互可信度。
当然,需要说明的是,在从保留的目标终端中随机选取M个目标终端时,为了提高计算得到的待评估终端的综合可信度的准确性,也可以选取剩余的全部目标终端,本申请实施例对此不做限定。
步骤204,利用中心服务器下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,其中,当前时刻的惩罚因子是中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,可信度误差为针对前一个待评估终端,边缘服务器确定的最终可信度和中心服务器确定的复查可信度之间的误差。
具体实施时,利用中心服务器下发的当前时刻的惩罚因子,对综合可信度进行修正时,采用如下公式(6)将综合可信度与惩罚因子的乘积,确定待评估终端的可信度。
其中,Te为待评估终端的可信度,T′为待评估终端的综合可信度,为中心服务器下发的当前时刻的惩罚因子。
惩罚因子对边缘服务器计算得到的待评估终端的可信度起到限制作用,惩罚因子是与边缘网络环境相关的,当环境安全在不同级别时,其中的参数会发生变化。当前时刻的惩罚因子由中心服务器下发,中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,可信度误差为针对前一个待评估终端,边缘服务器确定的最终可信度和中心服务器确定的复查可信度之间的误差。
实际应用中,惩罚因子的初始值,可以通过如下公式(7)确定:
其中,为惩罚因子的初始值,τ(t0)表示初始时刻边缘服务器判断的恶意终端数量,ε表示环境分级控制值,它的初始值是根据网络安全等级实际情况取值,当网络安全等级逐渐变高时,其会缩小,相反,会逐渐增大。
当然,需要说明的是,具体实施时,边缘服务器在计算得到待评估终端的最终可信度之后,需要将待评估终端的综合可信度和最终可信度上传至中心服务器,以使中心服务器对待评估终端可信度进行复查,并基于复查结果对当前时刻的惩罚因子进行调整,得到下一时刻的惩罚因子。
在中心服务器侧,图7示出了本申请实施例提供的一种终端可信度的评估方法的流程图。如图7所示,该方法可以包括如下步骤:
步骤701,接收边缘服务器上报的待评估终端的综合可信度和最终可信度。
步骤702,利用预先训练的用于评估终端可信度的神经网络模型,基于综合可信度和边缘服务器所处网络的网络安全等级,确定待评估终端的复查可信度。
具体实施时,预先训练的用于评估终端可信度的神经网络模型,本申请实施例对其网络结构及训练方法均不做限定,其输入参数为待评估终端的综合可信度和边缘服务器所处网络的网络安全等级,其输出参数为待评估终端的复查可信度。
步骤703,计算复查可信度与最终可信度之间误差的绝对值。
具体实施时,计算复查可信度与最终可信度之间误差的绝对值,可以采用如下公式(8)进行计算:
error=|Te-Tc| (8)
其中,error为误差的绝对值,Te为待评估终端的最终可信度,Tc为待评估终端的复查可信度。
步骤704,基于误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至边缘服务器。
具体实施时,基于误差的绝对值,对当前时刻的惩罚因子进行调整,包括以下两种情况:
情况一、在误差的绝对值大于预设阈值时,基于误差的绝对值计算调整系数,并利用调整系数对当前时刻的惩罚因子进行增大处理。
实际应用中,在误差的绝对值大于预设阈值时,采用如下公式(9)、公式(10)和公式(11),对当前时刻的惩罚因子进行增大处理。
εt+1=εt-1 (9)
其中,τ(Δt)表示当前时刻到下一时刻之间的Δt时间段内,边缘服务器判断的恶意终端数量,εt为当前时刻的环境分级控制值,εt+1为下一时刻的环境分级控制值,为下一时刻的惩罚因子,C为调整系数,其大小与误差的绝对值有关,k为常数,其取值范围为(0,1],本申请实施例中k的取值可以为1。
情况二、在误差的绝对值小于预设阈值时,基于误差的绝对值计算调整系数,并利用调整系数对当前时刻的惩罚因子进行缩小处理。
实际应用中,在误差的绝对值小于预设阈值时,采用如下公式(12)、公式(13)和公式(14),对当前时刻的惩罚因子进行缩小处理。
εt+1=εt+1 (12)
其中,τ(Δt)表示当前时刻到下一时刻之间的Δt时间段内,边缘服务器判断的恶意终端数量,εt为当前时刻的环境分级控制值,εt+1为下一时刻的环境分级控制值,为下一时刻的惩罚因子,C为调整系数,其大小与误差的绝对值有关,k为常数,其取值范围为(0,1],本申请实施例中k的取值可以为1。
需要说明的是,在误差的绝对值等于预设阈值时,可以不对惩罚因子进行处理。
基于同一发明构思,本申请实施例提供一种终端可信度的评估系统,如图8所示,包括边缘服务器80,中心服务器81,以及与边缘服务器80通信连接的多个终端。
边缘服务器80,用于确定多个与待评估终端存在历史交互行为的目标终端,例如,目标终端有K个,分别为终端1~终端K,基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度,得到终端1的交互可信度~终端K的交互可信度,基于多个目标终端的交互可信度,计算待评估终端的综合可信度,利用中心服务器81下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,并将综合可信度和最终可信度上报中心服务器81,其中,当前时刻的惩罚因子是中心服务器81基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,可信度误差为针对前一个待评估终端,边缘服务器80确定的最终可信度和中心服务器81确定的复查可信度之间的误差。
中心服务器81,用于接收边缘服务器80上报的待评估终端的综合可信度和最终可信度,利用预先训练的用于评估终端可信度的神经网络模型,基于综合可信度和边缘服务器所处网络的网络安全等级,确定待评估终端的复查可信度,计算复查可信度与最终可信度之间误差的绝对值,基于误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至边缘服务器80。
需要说明的是,在本申请其它实施例中,计算复查可信度与最终可信度之间误差的绝对值,并基于误差的绝对值,对当前时刻的惩罚因子进行调整,以及将调整后的惩罚因子下发至边缘服务器80,此部分也可以在与边缘服务器80和中心服务器81通信连接的控制端中处理,本申请实施例对此不做限定。
本申请实施例提供的终端可信度的评估系统,不仅能够在边缘服务器侧实现对终端可信度的动态评估,还能通过惩罚因子的调整对评估模型或者评估算法进行动态调整。另外,轻量级动态可信评估,能够根据多个终端可信度的评估精度,实现边缘服务器对待评估终端评估模型或评估算法的调整,能够自动适应当前网络环境,根据环境变化做出调整的信任机制,提升环境变化的自适应能力。除此之外,轻量级更体现在边缘服务器侧的可信度评估模型不需要与中心服务器侧的评估模型进行频繁的参数调整,仅仅更新惩罚因子,就能实现系统中心服务器与边缘服务器网络对终端可信度的高效性和一致性评估。
本申请实施例通过惩罚因子来实现边缘服务器侧评估模型参数的不断校正,体现了终端轻量级动态评估的优越性,同时边缘服务器侧评估模型的初始参数精度上不需要很精准,随着迭代次数的增加,边缘服务器侧评估模型将会越来越精准,而且能够根据环境的变化而变化。
本申请实施例提出粗粒度和细粒度两个步骤的模型构建方法。目前,很多终端由于成本受限、能耗和计算资源受限等因素,无法具有很高的计算能力。本模型考虑到终端计算资源、能耗受限等原因,终端不可能根据自身的环境或者靠近终端侧的边缘服务器制定很精准的可信度评估模型,因此,本申请实施例首先采用粗粒度的方式来构建边缘服务器可信度模型参数,需要说明的是,这个模型是一个初始的可信度模型,边缘服务器构建可信度模型,并得出待评估终端的最终可信度,然后利用深度学习模型构建中心服务器侧的可信度模型,采用细粒度的方式构建中心服务器模型参数,计算待评估终端的复查可信度,并计算最终可信度和复查可信度的误差的绝对值,并结合预设阈值来调整惩罚因子,从而实现模型参数的微调。
基于同一发明构思,本申请实施例提供一种终端可信度的评估装置,如图9所示,包括:
确定单元901,用于确定多个与待评估终端存在历史交互行为的目标终端。
第一处理单元902,用于基于每一目标终端与待评估终端的交互行为,确定每一目标终端对应的交互可信度。
第二处理单元903,用于基于多个目标终端的交互可信度,计算待评估终端的综合可信度。
第三处理单元904,用于利用中心服务器下发的当前时刻的惩罚因子,对综合可信度进行修正,确定待评估终端的最终可信度,其中,当前时刻的惩罚因子是中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,可信度误差为针对前一个待评估终端,边缘服务器确定的最终可信度和中心服务器确定的复查可信度之间的误差。
在一种可能的实施方式中,第一处理单元902,具体用于:
基于每一目标终端与待评估终端之间发送不同内容数据包的数量和相同内容数据包的数量,计算每一目标终端与待评估终端之间发送数据的相似度评价参数;
基于每一目标终端发送数据与待评估终端请求数据的相关性,计算每一目标终端与待评估终端之间发送数据的一致性评价参数;
针对每一目标终端,基于预先配置的权重系数,对相似度评价参数和一致性评价参数进行加权求和,得到每一目标终端对应的交互可信度。
在一种可能的实施方式中,第二处理单元903,具体用于:
计算多个目标终端对应的交互可信度的平均值;
基于每个目标终端对应的交互可信度与平均值的偏差值,对预先为每个目标终端设置的权重系数初始值进行修正,得到每个目标终端对应的权重系数;
基于每个目标终端对应的交互可信度与平均值的偏差值,确定每个目标终端对应的准确率;
剔除准确率小于预设准确率阈值的目标终端,并在剩余的目标终端中选取预设数量的目标终端,预设数量为多个目标终端数量的半数以上;
利用预设数量个目标终端中每个目标终端对应的权重系数,对将预设数量个目标终端的交互可信度进行加权求和,得到待评估终端的综合可信度。
基于同一发明构思,本申请实施例提供一种终端可信度的评估装置,如图10所示,包括:
接收单元1001,用于接收边缘服务器上报的待评估终端的综合可信度和最终可信度;
第一处理单元1002,用于利用预先训练的用于评估终端可信度的神经网络模型,基于综合可信度和边缘服务器所处网络的网络安全等级,确定待评估终端的复查可信度;
第二处理单元1003,用于计算复查可信度与边缘服务器上报的待评估终端的最终可信度之间误差的绝对值;
第三处理单元1004,用于基于误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至边缘服务器。
在一种可能的实施方式中,第三处理单元1004,具体用于:
在误差的绝对值大于预设阈值时,基于误差的绝对值计算调整系数,并利用调整系数对当前时刻的惩罚因子进行增大处理;
在误差的绝对值小于预设阈值时,基于误差的绝对值计算调整系数,并利用调整系数对当前时刻的惩罚因子进行缩小处理。
基于同一发明构思,本申请实施例提供一种电子设备,包括存储器和处理器,存储器上存储有可在处理器上运行的计算机程序,当计算机程序被处理器执行时,实现上述实施例中的任一项终端可信度的评估方法。
基于同一发明构思,本申请实施例提供一种计算机可读存储介质,当存储介质中的指令由处理器执行时,使得处理器能够执行上述实施例中的任一项终端可信度的评估方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种终端可信度的评估方法,应用于边缘服务器,其特征在于,包括:
确定多个与待评估终端存在历史交互行为的目标终端;
基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度;
基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度;
利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差。
2.根据权利要求1所述的方法,其特征在于,所述基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度,包括:
基于每一目标终端与所述待评估终端之间发送不同内容数据包的数量和相同内容数据包的数量,计算每一目标终端与所述待评估终端之间发送数据的相似度评价参数;
基于每一目标终端发送数据与所述待评估终端请求数据的相关性,计算每一目标终端与所述待评估终端之间发送数据的一致性评价参数;
针对每一目标终端,基于预先配置的权重系数,对所述相似度评价参数和所述一致性评价参数进行加权求和,得到每一目标终端对应的交互可信度。
3.根据权利要求1所述的方法,其特征在于,所述基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度,包括:
计算所述多个目标终端对应的交互可信度的平均值;
基于每个目标终端对应的交互可信度与所述平均值的偏差值,对预先为每个目标终端设置的权重系数初始值进行修正,得到每个目标终端对应的权重系数;
基于每个目标终端对应的交互可信度与所述平均值的偏差值,确定每个目标终端对应的准确率;
剔除准确率小于预设准确率阈值的目标终端,并在剩余的目标终端中选取预设数量的目标终端,所述预设数量为所述多个目标终端数量的半数以上;
利用所述预设数量个目标终端中每个目标终端对应的权重系数,对将所述预设数量个目标终端的交互可信度进行加权求和,得到所述待评估终端的综合可信度。
4.一种终端可信度的评估方法,应用于中心服务器,其特征在于,包括:
接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度;
利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度;
计算所述复查可信度与所述最终可信度之间误差的绝对值;
基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
5.根据权利要求4所述的方法,其特征在于,所述基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,包括:
在所述误差的绝对值大于预设阈值时,基于所述误差的绝对值计算调整系数,并利用所述调整系数对当前时刻的惩罚因子进行增大处理;
在所述误差的绝对值小于预设阈值时,基于所述误差的绝对值计算调整系数,并利用所述调整系数对当前时刻的惩罚因子进行缩小处理。
6.一种终端可信度的评估装置,其特征在于,包括:
确定单元,用于确定多个与待评估终端存在历史交互行为的目标终端;
第一处理单元,用于基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度;
第二处理单元,用于基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度;
第三处理单元,用于利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差。
7.一种终端可信度的评估装置,其特征在于,包括:
接收单元,用于接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度;
第一处理单元,用于利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度;
第二处理单元,用于计算所述复查可信度与所述边缘服务器上报的待评估终端的最终可信度之间误差的绝对值;
第三处理单元,用于基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
8.一种终端可信度的评估系统,其特征在于,包括边缘服务器,中心服务器,以及与所述边缘服务器通信连接的多个终端,其中,
所述边缘服务器,用于确定多个与待评估终端存在历史交互行为的目标终端,基于每一目标终端与所述待评估终端的交互行为,确定每一目标终端对应的交互可信度,基于多个目标终端的交互可信度,计算所述待评估终端的综合可信度,利用中心服务器下发的当前时刻的惩罚因子,对所述综合可信度进行修正,确定所述待评估终端的最终可信度,并将所述综合可信度和所述最终可信度上报所述中心服务器,其中,所述当前时刻的惩罚因子是所述中心服务器基于可信度误差与预设阈值的关系,对前一时刻的惩罚因子调整后得到的,所述可信度误差为针对前一个待评估终端,所述边缘服务器确定的最终可信度和所述中心服务器确定的复查可信度之间的误差;
所述中心服务器,用于接收所述边缘服务器上报的待评估终端的综合可信度和最终可信度,利用预先训练的用于评估终端可信度的神经网络模型,基于所述综合可信度和所述边缘服务器所处网络的网络安全等级,确定所述待评估终端的复查可信度,计算所述复查可信度与所述最终可信度之间误差的绝对值,基于所述误差的绝对值,对当前时刻的惩罚因子进行调整,并将调整后的惩罚因子下发至所述边缘服务器。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现权利要求1~5中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,其特征在于:所述计算机程序被处理器执行时,实现权利要求1~5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310704491.7A CN116781343A (zh) | 2023-06-14 | 2023-06-14 | 一种终端可信度的评估方法、装置、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310704491.7A CN116781343A (zh) | 2023-06-14 | 2023-06-14 | 一种终端可信度的评估方法、装置、系统、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116781343A true CN116781343A (zh) | 2023-09-19 |
Family
ID=87985278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310704491.7A Pending CN116781343A (zh) | 2023-06-14 | 2023-06-14 | 一种终端可信度的评估方法、装置、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116781343A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117234343A (zh) * | 2023-11-16 | 2023-12-15 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
CN117459285A (zh) * | 2023-11-02 | 2024-01-26 | 北京光润通科技发展有限公司 | 一种网络链路层数据保护方法及系统 |
-
2023
- 2023-06-14 CN CN202310704491.7A patent/CN116781343A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459285A (zh) * | 2023-11-02 | 2024-01-26 | 北京光润通科技发展有限公司 | 一种网络链路层数据保护方法及系统 |
CN117234343A (zh) * | 2023-11-16 | 2023-12-15 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
CN117234343B (zh) * | 2023-11-16 | 2024-02-02 | 山东经鼎智能科技有限公司 | 一种XR多终端协同PaaS平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116781343A (zh) | 一种终端可信度的评估方法、装置、系统、设备及介质 | |
US20200394226A1 (en) | Method and apparatus for processing database configuration parameter, computer device, and storage medium | |
US8768870B1 (en) | Training a model using parameter server shards | |
CN111726303B (zh) | 一种流量控制方法、装置以及计算设备 | |
CN110262245A (zh) | 基于事件触发机制的多智能体系统的控制器设计方法 | |
CN113326132B (zh) | 一种信息调节方法、设备及存储介质 | |
CN101404591B (zh) | 一种自适应的动态信任权重评估方法 | |
CN115378988A (zh) | 基于知识图谱的数据访问异常检测及控制方法、装置 | |
US20170163509A1 (en) | Inter-node distance metric method and system | |
CN114301935A (zh) | 一种基于声誉的物联网边云协同联邦学习节点选择方法 | |
CN114760308B (zh) | 边缘计算卸载方法及装置 | |
CN114595826A (zh) | 一种联邦学习工人节点选择方法、系统、终端以及存储介质 | |
CN117151208B (zh) | 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质 | |
US20210334655A1 (en) | Predicting properties of materials from physical material structures | |
CN113095513A (zh) | 双层公平联邦学习方法、装置和存储介质 | |
CN105897582A (zh) | 节点间距离的度量方法及系统 | |
CN115687854B (zh) | 高精度土样参数测量方法及其系统 | |
TWI779993B (zh) | 基於物聯網之模型管理系統、模型管理方法及其電腦程式產品 | |
KR101876245B1 (ko) | 지능형전자장치 성능검증 장치, 지능형전자장치 성능검증 시스템 및 컴퓨터 판독가능 기록 매체 | |
TWI526035B (zh) | A method and apparatus for obtaining a real entity address of a network client | |
CN112019547B (zh) | 网络流量评估方法、攻击检测方法、服务器及存储介质 | |
CN113630379A (zh) | 一种网络安全态势预测方法、装置、设备及存储介质 | |
CN110472191B (zh) | 一种动态自适应的服务评价计算方法及装置 | |
WO2019069905A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN106961365A (zh) | 一种基于tcp协议的网络延迟测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |