CN115878991A - 一种信任模型的训练方法及装置 - Google Patents
一种信任模型的训练方法及装置 Download PDFInfo
- Publication number
- CN115878991A CN115878991A CN202111141934.3A CN202111141934A CN115878991A CN 115878991 A CN115878991 A CN 115878991A CN 202111141934 A CN202111141934 A CN 202111141934A CN 115878991 A CN115878991 A CN 115878991A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- network device
- trust
- network devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种信任模型的训练方法及装置,属于通信技术领域和人工智能技术领域。该方法包括:根据多个网络设备的特征数据和阈值条件,确定多个网络设备中每个第一网络设备的标签数据;多个网络设备包括至少一个第一网络设备和多个第二网络设备;将多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据,作为每个聚类组中每个第二网络设备的标签数据;根据多个网络设备的特征数据和标签数据更新信任模型的参数。该方法结合阈值和聚类两种方法确定多个网络设备的标签数据,可以减少对网络设备打标签的人工成本。
Description
技术领域
本申请涉及通信技术领域和人工智能技术领域,尤其涉及一种信任模型的训练方法及装置。
背景技术
随着通信技术的快速发展,为了满足用户多样性的需求,通信网络中配置的网络设备越来越多。当网络设备与其他网络设备进行通信时,网络设备可能会受到其他网络设备的恶意攻击,导致网络设备无法使用。或者,网络设备自身的隐私数据可能会被其他网络设备通过非法的手段获得,导致网络设备的隐私数据被泄露。
为此,现有技术通常采用基于机器学习的信任模型对各个网络设备的安全性进行评估,从而获得各个网络设备的信任级别。网络设备可以根据其他网络设备的信任级别确定是否与其进行通信。但是,基于机器学习的信任模型需要通过大量的标签数据进行训练获得,而且标签数据一般需要人工进行标注获得。因此,获取标签数据时,需要耗费很高的人工成本。
发明内容
本申请提供了一种信任模型的训练方法及装置,采用阈值判决和算法聚类相结合的方法对网络设备进行打标签,从而减少获取训练信任模型的标签数据的人工成本。
第一方面,本申请提供了一种信任模型的训练方法。该方法包括:获取多个网络设备的通信数据;特征模型根据多个网络设备的通信数据,确定多个网络设备的特征数据;根据阈值条件和多个网络设备的特征数据,确定多个网络设备中每个第一网络设备的标签数据;多个网络设备包括至少一个第一网络设备和多个第二网络设备;标签数据指示网络设备的信任级别;将多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据作为每个聚类组中每个第二网络设备的标签数据;预设数目与信任级别的数量对应;根据多个网络设备的特征数据和标签数据更新信任模型的参数。
信任模型的训练样本包括多个网络设备的标签数据。网络设备的标签数据一般是通过人工对网络设备进行打标签获得。在网络设备较多,数量量较大的情况中,获取标签数据的成本增加,耗费的时间也比较长,导致训练模型的效率较低。
本申请信任模型的训练方法,首选使用阈值条件确定多个网络设备中的第一网络设备的标签数据。然后,在将多个网络设备中的第二网络设备进行聚类获得聚类组,将人工对每一个聚类组打的标签作为聚类组中各第二网络设备的标签数据。由此,可以减少人工打标签的操作量,节省人工成本提高训练模型的效率。
在一种可能的实施方式中,根据阈值条件和多个网络设备的特征数据,确定多个网络设备中每个第一网络设备的标签数据包括:当多个网络设备中网络设备的特征数据满足阈值条件时,确定网络设备为第一网络设备;获取阈值条件对应的标签数据作为第一网络设备的标签数据。
使用阈值条件确定第一网络设备的标签,可以减少后续聚类过程中的数据处理量。
在一种可能的实施方式中,阈值条件包括:特征数据小于第一阈值,和/或特征数据大于第二阈值。
对网络设备进行聚类时,希望尽可能将信任级别相似的网路设备成为一个聚类组,同时希望避免一个聚类组中的设备数量较少。上述示出的阈值条件则可以避免一个网络设备的特征数据由于太大或者太小,而在聚类的过程中独立成为一个聚类组的情况出现,影响聚类结果。
在一种可能的实施方式中,通信数据包括:数据传输成功次数和数据传输失败次数,所述特征数据包括:数据传输成功率。
第二方面,本申请提供了一种信任评估方法。该方法包括:获取网络设备的的通信数据;特征模型根据网络设备的通信数据确定网络设备的特征数据;信任模型根据网络设备的特征数据,确定网络设备的信任级别。其中,信任模型通过本申请第一方面所提供的信任模型训练方法训练得到。
在一种可能的实施方式中,信任评估方法方法还包括:将网络设备的信任级别存储在区块链中。
在一种可能的实施方式中,信任评估方法方法还包括:将网络设备的信任级别对应的哈希值存储在区块链中,以及将网络设备的信任级别存储在存储系统中。
在一种可能的实施方式中,信任评估方法方法还包括:广播网络设备的信任级别。
第三方面,本申请还提供一种信任模型的训练装置。该装置包括:获取模块、特征提取模块、第一确定模块、第二确定模块和训练模块。
其中,获取模块用于获取多个网络设备的通信数据。
其中,特征提取模块用于利用特征模型根据所述多个网络设备的通信数据,确定所述多个网络设备的特征数据。
其中,第一确定模块用于根据阈值条件和多个网络设备的特征数据,确定多个网络设备中每个第一网络设备的标签数据;多个网络设备包括至少一个第一网络设备和多个第二网络设备;标签数据指示网络设备的信任级别。
其中,第二确定模块用于将多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据,作为每个聚类组中的第二网络设备的标签数据;预设数目与信任级别的数量对应。
其中,训练模块用于根据多个网络设备的特征数据和标签数据,更新信任模型的参数。
在一种可能的实施方式中,第一确定模块具体用于:当多个网络设备中网络设备的特征数据满足阈值条件时,确定网络设备为第一网络设备;并获取阈值条件对应的标签数据作为第一网络设备的标签数据。
在一种可能的实施方式中,阈值条件包括:特征数据小于第一阈值,和/或特征数据大于第二阈值。
在一种可能的实施方式中,通信数据包括:数据传输成功次数和数据传输失败次数,特征数据包括:数据传输成功率。
第四方面,本申请还提供一种信任评估装置。该装置包括:获取模块、特征提取模块和评估模块。
其中,获取模块用于获取网络设备的通信数据。
其中,特征提取模块用于利用特征模型根据所述网络设备的通信数据,确定所述网络设备的特征数据。
其中,评估模块用于利用信任模型根据所述网络设备的特征数据,确定所述网络设备的信任级别。
在一种可能的实施方式中,评估模块还用于:将所述网络设备的信任级别存储在区块链中;或者,将所述网络设备的信任级别对应的哈希值存储在所述区块链中,以及将所述网络设备的信任级别存储在存储系统中;或者,广播所述网络设备的信任级别。
第五方面,本申请还提供一种计算设备。该计算设备包括:处理器和存储器。处理器用于执行存储于存储器内的计算机程序,以执行本申请第一方面及其可能的实施方式中的任一方法,或者执行本申请第二方面及其可能的实施方式中的任一方法。
第六方面,本申请还提供一种计算机可读存储介质。计算机可读存储介质包括指令,当指令在计算机上运行时,使得计算机执行本申请第一方面及其可能的实施方式中的任一方法,或者本申请第二方面及其可能的实施方式中的任一方法。
第六方面,本申请还提供一种计算机程序产品。计算机程序产品包括程序代码,当计算机运行计算机程序产品时,使得计算机执行本申请第一方面及其可能的实施方式中的任一方法,或者本申请第二方面及其可能的实施方式中的任一方法。
上述提供的任一种装置、计算设备或计算机可读存储介质或计算机程序产品,均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文提供的对应方法中的对应方案的有益效果,此处不再赘述。
附图说明
图1是本申请实施例提供的一种异构网络的结构示意图;
图2是本申请实施例提供的一种信任模型的训练方法流程图;
图3是本申请实施例提供的一种对网络设备进行信任评估的方法流程图;
图4是本申请实施例提供的一种网络设备的通信方法流程图;
图5是本申请实施例提供的另一种网络设备的通信方法流程图;
图6是本申请实施例提供的另一种网络设备的通信方法流程图;
图7是本申请实施例提供的一种信任模型的训练装置的结构示意图;
图8是本申请实施例提供的一种信任评估装置的结构示意图;
图9是本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图,对本申请实施例中的技术方案进行描述。
在本申请实施例的描述中,“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B这三种情况。另外,除非另有说明,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
为了更好的理解本申请的实施例,下面先对通信网络做简要介绍。
通信网络是指将各个孤立的设备进行物理连接,实现人与人,人与计算机,计算机与计算机之间进行信息交换的链路,从而达到资源共享和通信的目的。通信网络中包含位于用户侧的网络设备、位于云端的服务器、以及连接网络设备和服务器的交换机、路由器和基站等。
通信网络可以是采用相同接入技术的网络,例如蜂窝网络、互联网协议网络(Internet Protocol,IP,简称IP网络)和卫星网络等。网络设备可以是智能手表、智能手机、笔记本脑等。通信网络还可以是采用不同接入技术的两个或两个以上的单一网络高度融合的异构网络,还可以是采用相同的接入技术但属于不同的运营方的两个或两个以上的单一网络组成的异构网络。
异构网络凭借其自身特有的优势,在通信领域中越来越重要。异构网络与独立封闭的蜂窝网络、IP网络和卫星网络等通信网络相比,异构网络可以扩大网络的覆盖范围,使得网络具有更强的可扩展性。异构网络还可以充分利用现有的网络资源,降低运营成本,增强竞争力。异构网络还可以向不同用户提供各种不同的服务,可以更好地满足网络用户的多样性需求。异构网络还可以提高网络的可靠性、抗攻击能力。
图1是本申请实施例提供的一种异构网络的结构示意图。如图1所示,该异构网络包括:网络1和网络2。其中,网络1可以是蜂窝网络,网络2可以是IP网络。可以理解,图1所示的结构仅仅是本申请实施例对异构网络的一种示例。
网路1和网络2中包括多个网络设备,例如,网络1中的设备1~3,网络2中的设备4~6。网络1中的设备1~3可以通过其中的基站进行通信。网络2中的设备4~6可以通过其中的路由器建立通信。网络1中的设备还可以与网络2中的设备进行通信。
可选地,设备1~6可以是智能手机、平板电脑和笔记本电脑等设备等中的一种。
以网络3与设备6进行通信为例,如果设备6被人为操控去攻击设备3,会导致设备3中的隐私数据则会存在泄露的风险,或者导致设备3无法使用。
为了提高异构网络中网络设备的安全性,当一个网络设备需要与其他网络设备进行通信时,该网络设备可以在确认其他网络设备是可信的状态下,再与其他网络设备进行通信。
在一个示例中,网络设备可以根据其他网络设备的信任级别,确定其他网络设备是否可信。具体地,网络设备的信任级别可以使用信任模型对网络设备进行评估获得。其中,信任模型可以基于数学理论建立和基于机器学习建立。
基于数学理论建立信任模型的方法,是采用数学理论建立表征网络设备之间信任关系的信任模型。此种建模方法存在两方面的问题。一方面,网络设备之间的信任关系是在一个特定场景下存在的,因此,信任模型对应用场景的依赖性较强,可迁移性较差。另一方面,数学理论对信任关系建模时往往涉及很多权重因子等参数,而这些参数一般是通过经验来确定,信任模型的信任评估准确度存在不确定性,导致信任模型鲁棒性较低。
基于机器学习建立信任模型的方法,是使用大量的训练样本训练机器学习模型获得。该方法不需要依靠经验来确定模型中的参数,而且可以针对不同的应用场景,使用不同的训练样本训练模型。因此,该方法不仅可以适应不同的应用场景,而且获得的信任模型的鲁棒性高也较高。该方法虽然可以解决采用数学理论建立信任模型的问题,但是也面临着新的问题。在实际应用中,训练样本中的标签数据往往需要人工对特征数据进行标注获得的。在数据量较大时,对数据进行标注的人工成本增加,导致获取标签数据的成本增加。应理解,网络设备的标签数据指示该网络设备的信任级别。
鉴于利用机器学习建立信任模型时标签数据获取成本高的问题,本申请实施例提供一种信任模型的训练方法,该训练方法应用于模型训练设备。该方法综合阈值判决和算法聚类两种方法确定网络设备的标签数据,然后,根据网络设备的标签数据训练机器学习模型,获得对网络设备进行信任评估的信任模型。
在一种可能的情况中,模型训练设备可以是位于不同环境中的设备。例如,模型训练设备可以是位于云端的服务器,还可以是位于本地的网络设备。当模型训练设备本地的网络设备时,具体可以是如图1所示网络设备中的任意一个网络设备。下面结合图2详细介绍本申请实施例提供的信任模型训练方法。
图2是本申请实施例提供的一种信任模型的训练方法的流程图。
如图2所示,该训练方法包括如下的步骤S201-步骤S205。
步骤S201、获取多个网络设备的通信数据。
模型训练设备可以从多个网络设备中获取通信数据。多个网络设备还可以在每次记录通信数据后,将通信数据发送给模型训练设备。可选地,网络设备可以是图1所示异构网络中的网络设备,也可以是其他通信网络中的网络设备。
可选地,通信数据可以包括:传输数据成功次数与传输数据失败次数、直接传输数据的成功次数与直接传输数据的失败次数、以及间接传输数据成功次数与间接传输数据失败次数中一种或多种。其中,传输数据成功次数可以是直接传输数据的成功次数和间接传输数据成功次数之和。以图1所示的设备3和设备6进行通信为例,直接传输指的是,设备3向设备6发送由设备3直接生成的数据;间接传输指的是,设备3向设备6发送由其他设备发送给设备3的数据。
步骤S202、特征模型根据多个网络设备的通信数据,确定多个网络设备的特征数据。
模型训练设备可以将多个网络设备的通信数据输入特征模型中,获得多个网络设备的特征数据。
其中,特征模型可以包括数学模型。具体地,特征模型根据通信数据确定。
当通信数据包括传输数据成功次数与传输数据失败次数时,特征模型可以包括计算传输数据的成功率的数学模型和/或计算传输数据的失败率的数学模型。应理解,特征数据可以包括传输数据的成功率和传输数据的失败率。
当通信数据为直接传输数据的成功次数与直接传输数据的失败次数时,特征模型还可以包括计算直接传输数据的成功率的数学模型和/或计算直接传输数据的失败率的数学模型。应理解,特征数据还可以包括直接传输数据的成功率和直接传输数据的失败率。
当通信数据为间接传输数据的成功次数与间接传输数据的失败次数时,特征模型还可以包括计算间接传输数据的成功率的数学模型和/或计算间接传输数据的失败率的数学模型。应理解,特征数据还可以包括间接传输数据的成功率和间接传输数据的失败率。
步骤S203、根据阈值条件和多个网络设备的特征数据,确定多个网络设备中至少一个第一网络设备的标签数据。
模型训练设备中可以预先设置阈值条件以及阈值条件对应的信任级别。具体地,阈值条件可以根据特征数据进行设置。以信任级别包括可信和不可信为例,当特征数据包括传输数据的成功率时,阈值条件可以设置为传输数据的成功率大于0.8和传输数据的成功率小于0.3两个条件,并且传输数据的成功率大于0.8对应的信任级别可以设置为可信,传输数据的成功率小于0.3对应的的信任级别可以设置为不可信。
模型训练设备可以将多个网络设备中每个网络设备的特征数据与阈值条件进行匹配,判断每个网络设备的特征数据是否满足阈值条件。当一个网络设备的特征数据满足阈值条件时,该网络设备为第一网络设备,将该阈值条件对应的信任级别作为第一网络设备的标签数据。例如,当网络设备的特征数据小于最小值时,该网络设备的标签数据为小于最小值这个阈值条件对应的信任级别,即不可信;如果网络设备的特征数据大于最大值,该网络设备的标签数据为大于最大值这个阈值条件对应的信任级别,即可信。
可以理解,在步骤S203处理之后,模型训练设备将多个网络设备划分为两大类,包括:通过阈值条件获得标签数据的第一网络设备和第二网络设备。第二网络设备无法通过阈值条件确定标签数据。为此,第二网络设备的标签数据通过步骤S204的聚类方法确定。
本步骤使用阈值条件确定出第一网络设备的标签数据,可以避免由于第一网络设备的特征数据与第二网络设备的特征数据的区别较大,使得第一网络设备独立成为一个聚类组,从而影响最终的聚类结果。
步骤S204、将多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据作为每个聚类组中的第二网络设备的标签数据。
模型训练设备可以使用聚类算法将多个第二网络设备划分预设数目的聚类组。每个聚类组中包含至少一个第二网络设备。预设数目可以根据预先确定的信任级别的数量确定。例如,当信任级别被确定为可信和不可信两个级别时,聚类算法可以被配置为将多个网络设备的历史信任判定值分为两个聚类组。
模型训练设备在获得聚类组之后,可以将每个聚类组发送给用户进行人工打标签,并获得用户返回的每个聚类组对应的标签数据。具体地,用户可以对聚类组中每个网络设备对应的特征数据进行判断,确定该聚类组的标签数据。模型训练设备还可以使用算法对每个聚类组进行自动打标签,确定每个聚类组对应的标签数据。具体地,本申请对每个聚类组进行自动打标签的方法不做具体限定。在确定聚类组对应的标签数据之后,模型训练设备可以将聚类组对应的标签数据,作为该聚类组中每个第二网络设备的标签数据。
可选地,聚类算法可以是K-means聚类算法、均值漂移聚类算法和最大期望聚类算法中的任意一种。
步骤S205、根据多个网络设备的特征数据和标签数据,更新信任模型的参数。
经过步骤S203和步骤S204,模型训练设备可以获得上述多个网络设备中每个网络设备的标签数据。由此,模型训练设备可以使用多个网络设备的特征数据和标签数据训练信任模型,以更新信任模型的参数。
在一个示例中,模型训练设备可以将多个网络设备的特征数据作为信任模型的输入数据,获得信任模型的输出数据。模型训练设备可以使用误差函数计算信任模型的输出数据和多个网络设备的标签数据之间的误差值,并根据该误差值,采用梯度下降法更新信任模型的参数。当模型训练设备判断误差值或训练次数满足预设需求时,结束信任模型的训练,将训练结束时的信任模型作为最终的信任模型。
可选地,信任模型可以是卷积神经网络、BP神经网络、深度神经网络等中机器学习模型中的一种,还可以是用于机器学习的其他网络中的一种。
当信任模型为深度神经网络时,训练深度神经网络中的每一层的工作可以用数学表达式来描述。其中,/>为一个层的输入数据,/>为该层的输出数据,输入数据和输出数据可以用向量形式表示。可以理解,深度神经网络中的第一层的输入为网络设备的特征数据,最后一层的输出为深度神经网络对网络设备的信任级别的预测数据。
具体地,从物理层面来看,深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入数据的集合)的操作,完成输入空间到输出空间的变换(即矩阵的行空间到列空间),这五种操作包括:1、升维/降维;2、放大/缩小;3、旋转;4、平移;5、“弯曲”。其中1、2、3的操作由完成,4的操作由+b完成,5的操作则由a()来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物,而是一类事物,空间是指这类事物所有个体的集合。其中,W是权重向量,该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换,即每一层的权重W控制着如何变换空间。训练深度神经网络的目的,也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。因此,神经网络的训练过程本质上就是学习控制空间变换的方式,更具体的就是学习权重矩阵。
因为希望深度神经网络的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测数据和真正想要的标签数据,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测数据高了,就调整权重向量让它预测低一些,不断的调整,直到神经网络能够预测出真正想要的标签数据。因此,就需要预先定义“如何比较预测数据和标签数据之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测数据和标签数据的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
在一个示例中,模型训练设备在将多个网络设备的特征数据输入信任模型之前,还可以使用特征模型将特征数据转换为信任模型可以识别的数据,再将特征模型输出的数据输入信任模型。其中,特征模型的介绍可以参见前述图2所示方法实施例中的描述,此处不再赘述。
在一个示例中,当一个网络设备处于冷启动模式下时,该网络设备没有产生特征数据,信任评估设备可以根据该网络设备的制造商、使用范围、重要程度和部署位置等客观因素进行综合评估,确定该网络设备的信任级别。
基于上述图2所示的信任模型的训练方法实施例,本申请实施例还提供一种网络设备的信任评估方法。该方法应用于信任评估设备。信任评估设备可以将网络设备的特征数据输入信任模型,从而根据信任模型的输出确定该网络设备的信任级别。
在一种可能的情况中,信任评估设备可以使用图2所示的信任模型的训练方法获得信任模型。在一种可能的情况中,信任评估设备中的的信任模型可以通过模型训练设备获得,即模型训练设备在获得信任模型之后,将模型训练设备发送给信任评估设备。
在一种可能的情况中,信任评估设备可以是位于不同环境中的设备。例如,信任评估设备可以是位于云端的服务器,还可以是位于本地的网络设备。当信任评估设备时本地的网络设备时,具体可以是如图1所示网络设备中的任意一个网络设备。
下面结合附图3,详细介绍信任评估设备是如何使用信任模型对异构网络中的网络设备进行信任评估的。
图3是本申请实施例提供的一种网络设备的信任评估方法的流程图。
如图3所示,该网络设备的信任评估方法具体包括如下的步骤S301-步骤S303。
步骤S301、获取网络设备的通信数据。
信任评估设备可以向网络设备发送第一指令。网络设备接收到该第一指令时,向信任评估设备发送自身的通信数据。网络设备还可以被配置为,在每次通信结束之后,记录当前的通信数据。可选地,网络设备可以是图1所示异构网络中的网络设备,也可以是其他通信网络中的网络设备。其中,通信数据的介绍可以参见前述图2所示方法实施例中步骤S201中的描述,此处不再赘述。
步骤S302、特征模型根据网络设备的通信数据,确定网络设备的特征数据。
信任评估设备可以将网络设备的通信数据输入预先建立的特征模型,获得特征模型输出的该网络设备的特征数据。
其中,特征数据和特征模型的介绍可以参见前述图2所示方法实施例中步骤S202中描述,此处不再赘述。
步骤S303、信任模型根据网络设备的特征数据,确定网络设备的信任级别。
信任评估设备可以将网络设备的特征数据输入到预先建立的信任模型中,根据信任模型的输出确定该网络设备的信任级别。其中,信任模型的获取过程将在后文中进行详细描述,此处不再赘述。
在一个示例中,信任评估设备在获得网络设备的信任级别之后,可以将网络设备的标识和信任级别关联的存储在区块链中。信任评估设备利用区块存储信任级别,可以使信任级别充分公开,以及保证信任级别不被篡改。
在一个示例中,信任评估设备在获得网络设备的信任级别之后,还可以先确定该信任级别对应的哈希值。然后,信任评估设备将网络设备的标识和信任级别对应的哈希值关联的存储在区块链中,将网络设备的信任级别和信任级别对应的哈希值关联的存储在存储系统中。存储系统可以是星际文件系统。信任评估设备将信任级别对应的哈希值存储在区块链上,可以减轻区块链上的数据存储压力。
在一个示例中,信任评估设备在获得网络设备的信任级别之后,还可以向外广播该网络设备的信任级别。信任评估设备以广播的形式发送信任级别,可以节省网络设备获得其他网络设备的信任级别的成本和时间,从而提高通信的效率。
上述图3所示的信任评估方法,信任模型基于各个网络设备相同的通信数据,对各个网络设备进行信任评估,可以实现异构网络中网络设备的信任评估。其中,主体网络设备在需要与客体网络设备进行通信时,对客体网络设备的信任级别进行判断。主体网络设备在确认客体网络设备可以信任时,与其进行通信,可以提高主体网络设备的安全性。
基于上述图3所示的信任评估方法实施例,本申请实施例还提供一种网络设备的通信方法。该通信方法应用于第一网络设备。例如,第一网络设备需要与第二网络设备进行通信时,可以获取第二网络设备的信任级别,并根据该网络设备的信任级别确定是否与其进行通信。
图4是本申请实施例提供的一种网络设备的通信方法。
如图4所示,该方法包括如下的步骤S401-步骤S402。
步骤S401、从区块链上获取上获取第二网络设备的信任级别。
第一网络设备在确定需要与第二网络设备进行通信时,可以根据第二网络设备的标识从区块链上获得第二网络设备的信任级别。其中,第一网络设备和第二网络设备可以是图1所示异构网络的任意一个子网络中的任意一个设备,还可以是其他通信网络中的网络设备。
信任评估设备在获得各个网络设备的信任级别之后,可以将网络设备的标识和信任级别关联的存储在区块链上,如图4中步骤S400所示。
可选地,网络设备的标识可以是网络设备的名称、IP地址或身份编号(identity,ID)中一种。
步骤S402、根据第二网络设备的信任级别,确定与第二网络设备进行通信。
第一网络设备可以根据第二网络设备的信任级别和预先设定的通信条件,确定是否与第二网络设备进行通信。第一网络设备可以在确定第二网络设备的信任级别满足通信条件时,与第二网络设备建立通信连接。
具体地,通信条件可以根据信任级别的类别进行设置。例如,当信任级别被分为可信和不可信时,通信条件可以是待建立通信连接的网络设备的信任级别为可信。再例如,当信任级别被分为极度不可信、不可信、可信和非常可信时,通信条件可以是待建立通信连接的网络设备的信任级别为可信或非常可信。再例如,当信任级别被分为一级、二级、三级和四级时,通信条件可以是待建立通信连接的网络设备的信任级别不低于三级。
图5是本申请实施例提供的另一种网络设备的通信方法。
如图5所示,该方法包括如下的步骤S502-步骤S504。
步骤S502、从区块链上获取上获取第二网络设备的信任级别对应的哈希值。
第一网络设备在确定需要与第二网络设备进行通信时,可以从区块链上获取上获取第二网络设备的信任级别对应的哈希值。具体地,第一网络设备可以根据第二网络设备的标识从区块链上获得第二网络设备的信任级别对应的哈希值。
信任评估设备在获得各个网络设备的信任级别之后,可以根据网络设备的信任级别确定网络设备的信任级别对应的哈希值,然后将网络设备的标识和网络设备的信任级别对应的哈希值关联的存储在区块链上,如图5中步骤S500所示。然后,信任评估设备将网络设备的信任级别对应的哈希值和网络设备的信任级别关联的存储在存储系统中,如图5中步骤S501所示。
可选地,存储系统可以是星际文件系统(inter planetary file system,IPFS)。IPFS是一种基于区块链技术的媒体协议,用分布式储存和内容寻址技术,把点对点的单点传输改变成多点对多点的P2P传输。将网络设备的信任级别对应的哈希值存储在IPFS中,可以减轻区块链上存储数据的压力。
步骤S503、根据第二网络设备的信任级别对应的哈希值,确定第二网络设备的信任级别。
第一设备可以根据第二网络设备的信任级别对应的哈希值,从存储系统中获得第二网络设备的信任级别。
步骤S504、根据第二网络设备的信任级别,确定与第二网络设备进行通信。
本步骤的具体过程与前述图4所述方法实施例中的步骤S402的描述相同,此处不再赘述。
图6是本申请实施例提供的另一种网络设备的通信方法。
如图6所示,该方法包括如下的步骤S601-步骤S603。
步骤S601、接收广播信号。
第一网络设备可以被配置为实时接收广播信号。其中,第一网络设备在没有通信需求的情况下,可以将接收到的广播信号丢弃。
信任评估设备在获得各个网络设备的信任级别之后,通过广播信号向外发送各个网络设备的信任级别,如图6中步骤S600所示。
在一个示例中,信任评估设备还可以在获得各个网络设备的信任级别之后,将各个网络设备的信任级别发送给广播设备。广播设备接收到各个网络设备的信任级别时,发送广播信号。
步骤S602、根据广播信号确定第二网络设备的信任级别。
第一网络设备接收到广播信号时,对广播信号进行解析,获得广播信号包含的网络设备的标识和信任级别。然后,第一网络设备根据第二网络设备的标识,从解析出的网络设备的信任级别中获得第二网络设备的信任级别。
步骤S603、根据第二网络设备的信任级别,确定与第二网络设备进行通信。
本步骤的具体过程与前述图4所述方法实施例中的步骤S402的描述相同,此处不再赘述。
基于图2所示的信任模型训练方法实施例,本申请实施例还提供一种信任模型的训练装置。
图7是本申请实施例提供的一种信任模型的训练装置700的结构示意图。该训练装置700用于实现图2中的步骤S201-步骤S205。如图7所示,该训练装置700包括:获取模块701、特征提取模块702、第一确定模块703、第二确定模块704和训练模块705。
其中,获取模块701用于获取多个网络设备的通信数据。
其中,特征提取模块702用于利用特征模型根据多个网络设备的通信数据,确定多个网络设备的特征数据。
其中,第一确定模块703用于根据阈值条件和多个网络设备的特征数据,确定多个网络设备中至少一个第一网络设备的标签数据;多个网络设备包括至少一个第一网络设备和多个第二网络设备;标签数据指示网络设备的信任级别。
其中,第二确定模块704用于将多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据,作为每个聚类组中的第二网络设备的标签数据;预设数目与信任级别的数量对应。
其中,训练模块705用于根据多个网络设备的特征数据和标签数据,更新信任模型的参数。
需要说明的是,图7所示实施例提供的训练装置700在执行信任模型的训练方法时,仅以上述各功能模块的划分举例说明。在实际应用中,可以根据需要而将上述训练装置700中各个模块执行的功能分配由其他不同的功能模块完成,即将训练装置700的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的训练装置700与图2所示的信任模型训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于图3所示的信任评估方法实施例,本申请实施例还提供一种信任评估装置。
图8是本申请实施例提供的一种信任评估装置800的结构示意图。该信任评估装置800用于实现图3中的步骤S301-步骤S303。如图8所示,该信任评估装置800包括:获取模块801、特征提取模块802和评估模块803。
其中,获取模块801用于获取网络设备的通信数据。
其中,特征提取模块802用于利用特征模型根据网络设备的通信数据,确定网络设备的特征数据。
其中,评估模块803用于利用信任模型根据网络设备的特征数据,确定网络设备的信任级别。
需要说明的是,图8所示实施例提供的信任评估装置800在执行信任评估方法时,仅以上述各功能模块的划分举例说明。在实际应用中,可以根据需要而将上述信任评估装置800中各个模块执行的功能分配由其他不同的功能模块完成,即将信任评估装置800的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的信任评估装置800与图3所示的信任评估方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是本申请实施例提供一种计算设备900的硬件结构示意图。
该计算设备900可以为上述通信网络中的网络设备、上述信任评估设备或者模型训练设备。参见图9,该计算设备900包括处理器910、存储器920、通信接口930和总线940,处理器910、存储器920和通信接口930通过总线940彼此连接。处理器910、存储器920和通信接口930也可以采用除了总线940之外的其他连接方式连接。
其中,存储器920可以是各种类型的存储介质,例如随机存取存储器(randomaccess memory,RAM)、只读存储器(read-only memory,ROM)、非易失性RAM(non-volatileRAM,NVRAM)、可编程ROM(programmable ROM,PROM)、可擦除PROM(erasable PROM,EPROM)、电可擦除PROM(electrically erasable PROM,EEPROM)、闪存、光存储器、硬盘等。
其中,处理器910可以是通用处理器,通用处理器可以是通过读取并执行存储器(例如存储器920)中存储的内容来执行特定步骤和/或操作的处理器。例如,通用处理器可以是中央处理器(central processingunit,CPU)。处理器910可以包括至少一个电路,以执行图2-6所示实施例提供的方法的全部或部分步骤。
其中,通信接口930包括输入/输出(input/output,I/O)接口、物理接口和逻辑接口等用于实现网络设备900内部的器件互连的接口,以及用于实现网络设备900与其他设备(例如其他网络设备或用户设备)互连的接口。物理接口可以是以太网接口,光纤接口,ATM接口等。
其中,总线940可以是任何类型的,用于实现处理器910、存储器920和通信接口930互连的通信总线,例如系统总线。
上述器件可以分别设置在彼此独立的芯片上,也可以至少部分的或者全部的设置在同一块芯片上。将各个器件独立设置在不同的芯片上,还是整合设置在一个或者多个芯片上,往往取决于产品设计的需要。本申请实施例对上述器件的具体实现形式不做限定。
图9所示的计算设备900仅仅是示例性的,在实现过程中,计算设备900还可以包括其他组件,本文不再一一列举。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。应理解,在本申请实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,不应对本申请实施例的实施过程构成任何限定。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (15)
1.一种信任模型的训练方法,其特征在于,所述方法包括:
获取多个网络设备的通信数据;
特征模型根据所述多个网络设备的通信数据,确定所述多个网络设备的特征数据;
根据阈值条件和所述多个网络设备的特征数据,确定所述多个网络设备中每个第一网络设备的标签数据;所述多个网络设备包括至少一个所述第一网络设备和多个第二网络设备;所述标签数据指示网络设备的信任级别;
将所述多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据,作为所述每个聚类组中每个第二网络设备的标签数据;所述预设数目与信任级别的数量对应;
根据所述多个网络设备的特征数据和标签数据,更新信任模型的参数。
2.根据权利要求1所述的方法,其特征在于,所述根据阈值条件和所述多个网络设备的特征数据,确定所述多个网络设备中每个第一网络设备的标签数据包括:
当所述多个网络设备中网络设备的特征数据满足所述阈值条件时,确定所述网络设备为第一网络设备;
获取所述阈值条件对应的标签数据,作为所述第一网络设备的标签数据。
3.根据权利要求1或2所述的方法,其特征在于,所述阈值条件包括:特征数据小于第一阈值,和/或特征数据大于第二阈值。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述通信数据包括:数据传输成功次数和数据传输失败次数,所述特征数据包括:数据传输成功率。
5.一种信任评估方法,其特征在于,所述方法包括:
获取网络设备的的通信数据;
特征模型根据所述网络设备的通信数据,确定所述网络设备的特征数据;
信任模型根据所述网络设备的特征数据,确定所述网络设备的信任级别,所述信任模型通过权利要求1-4任一项所述的方法训练得到。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述网络设备的信任级别存储在区块链中;或者
将所述网络设备的信任级别对应的哈希值存储在所述区块链中,以及将所述网络设备的信任级别存储在存储系统中;或者
广播所述网络设备的信任级别。
7.一种信任模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取多个网络设备的通信数据;
特征提取模块,用于利用特征模型根据所述多个网络设备的通信数据,确定所述多个网络设备的特征数据;
第一确定模块,用于根据阈值条件和所述多个网络设备的特征数据,确定所述多个网络设备中至少一个第一网络设备的标签数据;所述多个网络设备包括所述至少一个第一网络设备和多个第二网络设备;所述标签数据指示网络设备的信任级别;
第二确定模块,用于将所述多个第二网络设备划分为预设数目的聚类组,并获取每个聚类组对应的标签数据,作为所述每个聚类组中的第二网络设备的标签数据;所述预设数目与信任级别的数量对应;
训练模块,用于根据所述多个网络设备的特征数据和标签数据,更新信任模型的参数。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块具体用于:
当所述多个网络设备中网络设备的特征数据满足所述阈值条件时,确定所述网络设备为第一网络设备;
获取所述阈值条件对应的标签数据,作为所述第一网络设备的标签数据。
9.根据权利要求6或7所述的装置,其特征在于,所述阈值条件包括:特征数据小于第一阈值,和/或特征数据大于第二阈值。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述通信数据包括:数据传输成功次数和数据传输失败次数,所述特征数据包括:数据传输成功率。
11.一种信任评估装置,其特征在于,所述装置包括:
获取模块,用于获取网络设备的通信数据;
特征提取模块,用于利用特征模型根据所述网络设备的通信数据,确定所述网络设备的特征数据;
评估模块,用于利用信任模型根据所述网络设备的特征数据,确定所述网络设备的信任级别。
12.根据权利要求11所述的装置,其特征在于,所述评估模块还用于:
将所述网络设备的信任级别存储在区块链中;或者
将所述网络设备的信任级别对应的哈希值存储在所述区块链中,以及将所述网络设备的信任级别存储在存储系统中;或者
广播所述网络设备的信任级别。
13.一种计算设备,其特征在于,所述计算设备包括:处理器和存储器,所述处理器用于执行存储于所述存储器内的计算机程序,以执行权利要求1至4任一项所述的方法,或者执行权利要求5或6所述的方法。
14.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得所述计算机执行权利要求1至4任一项所述的方法,或者执行权利要求5或6所述的方法。
15.一种计算机程序产品,其特征在于,包括程序代码,当计算机运行所述计算机程序产品时,使得所述计算机执行权利要求1至4任一项所述的方法,或者执行权利要求5或6所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141934.3A CN115878991A (zh) | 2021-09-28 | 2021-09-28 | 一种信任模型的训练方法及装置 |
PCT/CN2022/121297 WO2023051455A1 (zh) | 2021-09-28 | 2022-09-26 | 一种信任模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111141934.3A CN115878991A (zh) | 2021-09-28 | 2021-09-28 | 一种信任模型的训练方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115878991A true CN115878991A (zh) | 2023-03-31 |
Family
ID=85763340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111141934.3A Pending CN115878991A (zh) | 2021-09-28 | 2021-09-28 | 一种信任模型的训练方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115878991A (zh) |
WO (1) | WO2023051455A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116668095B (zh) * | 2023-05-16 | 2024-03-29 | 江苏信创网安数据科技有限公司 | 一种网络安全智能评估方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130042298A1 (en) * | 2009-12-15 | 2013-02-14 | Telefonica S.A. | System and method for generating trust among data network users |
CN103118379A (zh) * | 2013-02-06 | 2013-05-22 | 西北工业大学 | 面向移动自组网的节点合作度评估方法 |
CN109919771B (zh) * | 2019-03-18 | 2020-04-10 | 徐雪松 | 一种应用分层区块链技术的工业互联网交易装置 |
CN110972231B (zh) * | 2019-11-14 | 2021-07-02 | 达闼机器人有限公司 | 配置系统信息的方法、装置、存储介质及网络设备和终端 |
CN112884159A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 模型更新系统、模型更新方法及相关设备 |
CN112367355A (zh) * | 2020-10-12 | 2021-02-12 | 新华三技术有限公司 | 信任等级的发布方法及装置 |
-
2021
- 2021-09-28 CN CN202111141934.3A patent/CN115878991A/zh active Pending
-
2022
- 2022-09-26 WO PCT/CN2022/121297 patent/WO2023051455A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023051455A1 (zh) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112203282B (zh) | 一种基于联邦迁移学习的5g物联网入侵检测方法及系统 | |
US11627517B2 (en) | Network provisioning | |
CN110166462B (zh) | 访问控制方法、系统、电子设备及计算机存储介质 | |
CN111866162B (zh) | 一种业务分配方法及装置 | |
US11928583B2 (en) | Adaptation of deep learning models to resource constrained edge devices | |
CN112235264A (zh) | 一种基于深度迁移学习的网络流量识别方法及装置 | |
CN111404833A (zh) | 一种数据流类型识别模型更新方法及相关设备 | |
CN116862012A (zh) | 机器学习模型训练方法、业务数据处理方法、装置及系统 | |
CN112990276A (zh) | 基于自组织集群的联邦学习方法、装置、设备及存储介质 | |
CN115510936A (zh) | 基于联邦学习的模型训练方法及聚类分析器 | |
WO2020022953A1 (en) | System and method for identifying an internet of things (iot) device based on a distributed fingerprinting solution | |
WO2023051455A1 (zh) | 一种信任模型的训练方法及装置 | |
CN112367215B (zh) | 基于机器学习的网络流量协议识别方法和装置 | |
CN113660687A (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
CN109992356B (zh) | 一种自动启动虚拟机的方法及其系统 | |
KR102573652B1 (ko) | 군집 좌표 매핑 기반 정의서 분류를 이용한 스마트 컨트랙트 레포지토리 구축 방법 및 시스템 | |
CN113434190B (zh) | 数据处理方法和装置、存储介质及电子设备 | |
CN113282417B (zh) | 任务分配方法、装置、计算机设备和存储介质 | |
CN114092268A (zh) | 用户社群检测方法、装置、计算机设备及存储介质 | |
US10924593B2 (en) | Virtualization with distributed adaptive message brokering | |
CN113569612A (zh) | 图像识别神经网络的训练方法和装置、图像识别方法 | |
US20200322231A1 (en) | Supporting services in distributed networks | |
CN113946758B (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN111835699A (zh) | 利用人工智能确定物联网设备的类型的系统 | |
WO2023202363A1 (zh) | 一种信任评估方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |