CN112149174B - 模型训练方法、装置、设备和介质 - Google Patents
模型训练方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112149174B CN112149174B CN201910579021.6A CN201910579021A CN112149174B CN 112149174 B CN112149174 B CN 112149174B CN 201910579021 A CN201910579021 A CN 201910579021A CN 112149174 B CN112149174 B CN 112149174B
- Authority
- CN
- China
- Prior art keywords
- party
- residual
- ciphertext
- gradient
- original text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003321 amplification Effects 0.000 claims description 33
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- MGIUUAHJVPPFEV-ABXDCCGRSA-N magainin ii Chemical compound C([C@H](NC(=O)[C@H](CCCCN)NC(=O)CNC(=O)[C@@H](NC(=O)CN)[C@@H](C)CC)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC=1NC=NC=1)C(=O)N[C@@H](CO)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@@H](C)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CO)C(O)=O)C1=CC=CC=C1 MGIUUAHJVPPFEV-ABXDCCGRSA-N 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；对残差原文进行同态加密，得到残差密文；向第二方发送残差密文，供第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练。本发明实施例实现了第二方无法基于残差原文反解第一方拥有的标签数据，提高了数据的安全性。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。
背景技术
人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。
一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。
然而，目前基于联邦学习训练分类模型过程中，第二方可能根据传递的模型参数例如残差，反解得到第一方中的标签数据，造成标签数据泄露。
发明内容
本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中标签数据泄露的问题。
第一方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
第二方面，本发明实施例提供了一种模型训练方法，由第二方执行，所述方法包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
第三方面，本发明实施例提供了一种模型训练装置，配置于第一方，所述装置包括：
残差原文确定模块，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度原文获取模块，用于对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
第二方梯度原文发送模块，用于向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
第四方面，本发明实施例提供了一种模型训练装置，配置于第二方，所述装置包括：
第二方预测结果确定模块，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度密文发送模块，用于向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
第二方网络模型训练模块，用于根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
第五方面，本发明实施例提供了一种设备，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种模型训练方法。
第六方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种模型训练方法。
本发明实施例通过第一方基于同态加密对残差原文进行加密得到残差密文，并向第二方提供残差密文，使得第二方得到的是残差密文而不是残差原文。并且不同残差密文的差异较大，因而第二方无法基于反解第一方拥有的标签数据，提高了标签数据的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一提供的一种模型训练方法的流程图；
图2为本发明实施例二提供的一种模型训练方法的流程图；
图3是本发明实施例三提供的一种模型训练方法的流程图；
图4为本发明实施例四提供的一种模型训练装置的结构示意图；
图5为本发明实施例五提供的一种模型训练装置的结构示意图；
图6为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种模型训练方法的流程图。本实施例适用于通过联邦学习，基于第一方以及第二方中的数据对网络模型进行训练的情况，该方法可以由本发明实施例提供的配置于第一方的模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现。在本实施例中第一方表示具有标签数据的设备，第一方也可以拥有特征数据；第二方表示仅具有特征数据而没有标签数据的设备。如图1所示，该方法可以包括：
S101、根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文。
其中，标签数据用于根据特征数据的某一特征，将特征数据进行分类，例如在金融领域，标签数据可以是用户的信用；在营销领域，标签数据可以是用户的购买愿望；在教育领域，标签数据可以是学生掌握知识的程度等。第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第二方预测结果也不同，可选的第二方预测结果包括预测的部分标签数据。残差原文表示第一方与第二方预测结果与样本的实际结果之间的差值，该差值未经加密处理。
具体的，由于第一方与第二方之间的数据不尽相同，为了能够在数据不出本地的前提下，利用对方数据训练本地的网络模型，则需要获取第一方与第二方网络模型残差，而残差的计算又依赖于第一方与第二方基于各自网络模型的预测结果。
可选的，S101包括：
A、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。
B、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。
C、根据拥有的标签数据和所述综合预测结果，确定残差原文。
通过根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文，为后续确定第一方梯度原文以及第二方梯度原文奠定了基础。
S102、对所述残差原文进行同态加密，得到残差密文。
若当第一方将未加密的残差原文发送给第二方，则第二方得到未加密的残差原文后，很容易进行反推得到第一方的标签数据，造成标签数据泄露。为了避免标签数据泄露，可选的通过同态加密技术对残差原文进行加密。
其中，同态加密是允许人们对密文进行特定的代数运算得到仍然是加密的结果，将其解密所得到的结果与对明文进行同样的运算结果一样。经过同态加密后的残差原文即是残差密文。
在本实施例中，同态加密可以是同态加法加密或全同态加密。由于全同态加密的处理效率低，而同态加法加密相比于全同态加密计算时间更快，在模型训练中非常有意义。因此可选的，对所述残差原文进行同态加密，包括对所述残差原文进行同态加法加密。
具体的，第一方通过包括密钥生成函数来生成加密残差原文所用的密钥Key，并通过包括加密函数来利用获取的密钥Key对残差原文进行同态加法加密，得到残差密文。通过对残差原文进行同态加密，使得第二方无法基于残差原文反解第一方拥有的标签数据，同时也不影响第二方的后续计算。
S103、向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。
其中，第二方梯度密文是第二方梯度原文被同态加密后的形式，而第二方梯度原文是用来训练第二方待训练网络模型的模型参数。
具体的，对残差原文的加密是由第一方执行的，仅第一方具有加密密钥Key以及对应的解密函数，因此第二方无法对获取的残差密文进行解密，但由于同态加密的特性，第二方在不解密残差密文的前提下同样可以根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。
通过确定第二方梯度密文，为后续解密得到第二方梯度原文奠定了基础。
S104、对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文。
具体的，第一方根据对残差原文进行加密利用的加密函数，确定其唯一对应的解密函数，并通过解密函数对获取的第二方梯度密文进行同态解密，得到第二方梯度原文。
通过对第二方梯度密文进行同态解密，得到第二方梯度原文，为第二方根据所述第二方梯度原文进行网络模型训练奠定了基础。
S105、向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
通过向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行加密得到残差密文，并向第二方提供残差密文，使得第二方得到残差密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了标签数据的安全性。
在上述实施例的基础上，S101之后还包括：根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
通过确定第一方梯度原文，并根据第一方梯度原文对第一方中的网络模型进行训练，实现了完善第一方网络模型功能的效果。
实施例二
图2为本发明实施例二提供的一种模型训练方法的流程图。本实施例为上述实施例一提供了一种具体实现方式，如图2所示，该方法可以包括：
S201、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。
其中，第一方预测结果由第一方基于待训练的网络模型对第一方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第一方预测结果也不同，可选的第一方预测结果包括预测的标签数据。
具体的，第一方待训练网络模型的训练依赖于第一方梯度原文，而第一方预测结果又是根据第一方待训练网络模型预测得到的，因此历史第一方梯度原文内容，会影响后续第一方预测结果。第一方预测结果可以抽象概括成第一方的特征数据xA与第一方待训练网络模型预测参数θA的乘积，即θAxA。
S202、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。
具体的，第二方预测结果可以抽象概括成第二方的特征数据xB与第一方待训练网络模型预测参数θB的乘积，即θBxB。
可选的，通过包括将第一方预测结果与第二方预测结果的和，输入到sigmoid函数中，其运算结果作为综合预测结果，即sigmoid(θAxA+θBxB)。
其中，sigmoid函数是机器学习中的一个比较常用的函数，其作用是将预测结果限制在(0,1)之间，因此当第一方的标签数据是二分类时，sigmoid函数会起到很好的效果。
S203、根据拥有的标签数据和所述综合预测结果，确定残差原文。
具体的，将标签数据y与综合预测结果的差值，作为残差原文δ，即：
δ＝y-sigmoid(θAxA+θBxB)
S204、采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密，得到残差放大密文。
具体的，当第一方的标签数据y是二分类时，如果第二方获取到未加密的残差原文，其可以反推出第一方的标签数据y，因为：
残差原文δ＝y-sigmoid(θAxA+θBxB)，其中sigmoid(θAxA+θBxB)的数值在区间(0,1)中，当第一方的标签数据y是二分类时，y的值只有“0”或者“1”，如果y＝1，则δ＝1-sigmoid(θAxA+θBxB)，恒为正值；如果y＝0，则δ＝0-sigmoid(θAxA+θBxB)，恒为负值，因此第二方可以根据获取残差原文的正负性来反推第一方的标签数据y。
可见，为了防止第二方基于残差原文反解第一方拥有的标签数据，同时不影响第二方的后续计算，需要对残差原文进行同态加密。
具体的，由于同态加密只能用于整数的计算，但是当第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG，使得放大残差MAG*δ成为一个整数，进而可以利用同态加密方法进行加密。
通过采用放大系数对所述残差原文进行放大，得到放大残差，使得当第一方的标签数据是二分类时，可以通过同态加密技术对放大残差进行加密。
S205、向所述第二方发送所述残差放大密文，供所述第二方根据残差放大密文和第二方拥有的特征数据，确定第二方梯度密文。
具体的，由于同态加密的特性，第二方在不解密残差放大密文的前提下同样可以根据残差放大密文和第二方拥有的特征数据，确定第二方梯度密文。
可选的，第二方梯度密文[[GB]]通过如下公式来确定：
其中，表示第二方中的第i个特征数据，i∈(1，n)，[[MAG*δ]]表示残差放大密文，MAG为放大系数。
根据同态加密的特性：n*[[u]]＝[[n*u]]，其中n表示一个明文，[[u]]表示一个密文。因此转化为/>即可得到第二方梯度密文[[GB]]。
S206、采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文。
具体的，由于在对残差原文进行同态加密时，乘以了放大系数MAG，从而导致精度损失，因此在对第二方梯度密文同态解密时，需要对应除以放大系数MAG，这才能保证最终得到的第二方梯度原文的精度是正常精度。
因此可选的，对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文GB可以包括如下过程：
S207、向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
通过向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行放大，再进行加密得到残差放大密文，并向第二方提供残差放大密文，使得第二方得到残差放大密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了数据的安全性。
在上述实施例的基础上，S203之后还包括：
A、根据残差原文和第一方拥有的特征数据，确定第一方梯度原文。
可选的，根据残差原文δ和第一方拥有的特征数据xA，确定第一方梯度原文GA，包括如下过程：
其中，表示第一方中的第i个特征数据，i∈(1，n)。
B、根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
通过确定第一方梯度原文，并根据第一方梯度原文对第一方中的网络模型进行训练，实现了完善第一方网络模型功能的效果。
实施例三
图3是本发明实施例三提供的一种模型训练方法的流程图。本实施例适用于对联邦学习中第一方以及第二方的网络模型进行训练的情况，该方法可以由本发明实施例提供的配置于第二方的模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现，在本实施例中第一方表示具有标签数据以及特征数据的客体，第二方表示仅具有特征数据的客体。如图3所示，该方法可以包括：
S301、基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果。
其中，第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第二方预测结果也不同，可选的第二方预测结果包括预测的标签数据。
S302、向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文。
S303、根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文。
由于同态加密只能用于整数的计算，但第二方拥有的特征数据xB可能会是一个小数，因此需要将第二方拥有的特征数据xB乘以一个固定放大系数MAG，使得特征放大数据成为一个整数。
可选的，S303包括：
A、采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据。
B、根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
具体的，第二方梯度密文[[GB]]通过如下公式来确定：
其中，表示第二方中的第i个特征数据，i∈(1，n)，/>表示特征放大数据，MAG为放大系数。
根据同态加密的特性：n*[[u]]＝[[n*u]]，其中n表示一个明文，[[u]]表示一个密文。因此转化为/>即可得到第二方梯度密文[[GB]]。
S304、向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文。
由于第二方拥有的特征数据xB可能会是一个小数，因此需要将第二方拥有的特征数据xB乘以一个固定放大系数MAG1；而在第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG2，从而使得特征放大数据和放大残差都为整数，满足同态加密的特性。
因此可选的，第一方对第二方梯度密文进行同态解密得到第二方梯度原文时，为了保证最终得到的第二方梯度原文的精度是正常精度，对第二方梯度密文进行同态解密时，需要除以固定放大系数MAG1以及固定放大系数MAG2。
可选的，对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文GB可以包括如下过程：
S305、根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
本发明实施例提供的技术方案，通过第二方获取残差密文并求得第二方梯度密文，最终根据第一方提供的第二方梯度原文，继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
实施例四
图4为本发明实施例四提供的一种模型训练装置的结构示意图，该装置配置于第一方，可执行本发明实施例一和/或实施例二所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置可以包括：
残差原文确定模块41，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块42，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块43，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度原文获取模块44，用于对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
第二方梯度原文发送模块45，用于向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
在上述实施例的基础上，所述残差原文确定模块41，具体用于：
基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；
根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；
根据拥有的标签数据和所述综合预测结果，确定残差原文。
在上述实施例的基础上，所述残差密文获取模块42，具体用于：
对所述残差原文进行同态加法加密。
在上述实施例的基础上，所述残差密文获取模块42，具体用于：
采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密。
相应的，所述第二方梯度原文获取模块44，具体用于：采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密。
在上述实施例的基础上，所述装置还包括第一方网络模型训练模块，具体用于：
根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；
根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
本发明实施例所提供的一种模型训练装置，可执行本发明实施例一和/或实施例二所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一和/或实施例二提供的一种模型训练方法。
实施例五
图5为本发明实施例五提供的一种模型训练装置的结构示意图，该装置配置于第二方，可执行本发明实施例三所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置可以包括：
第二方预测结果确定模块51，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块52，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块53，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度密文发送模块54，用于向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
第二方网络模型训练模块55，用于根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
在上述实施例的基础上，所述第二方梯度密文确定模块53，具体用于：
采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据；
根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
本发明实施例所提供的一种模型训练装置，可执行本发明实施例三所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例三所提供的一种模型训练方法。
实施例六
图6为本发明实施例六提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备600的框图。图6显示的设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，设备600以通用计算设备的形式表现。设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。
总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。
设备600也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该设备600交互的设备通信，和/或与使得该设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，设备600还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器612通过总线603与设备600的其它模块通信。应当明白，尽管图中未示出，可以结合设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的模型训练方法，包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。和/或；
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行模型训练方法，该方法包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。和/或；
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种模型训练方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种模型训练方法，其特征在于，由第一方执行，所述方法包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
2.根据权利要求1所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文，包括：
基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；
根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；
根据拥有的标签数据和所述综合预测结果，确定残差原文。
3.根据权利要求1所述的方法，其特征在于，对所述残差原文进行同态加密，包括：
对所述残差原文进行同态加法加密。
4.根据权利要求1所述的方法，其特征在于，对所述残差原文进行同态加密，包括：采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密；
相应地，对从所述第二方获取的第二方梯度密文进行同态解密，包括：
采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密。
5.根据权利要求1所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文之后，还包括：
根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；
根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
6.一种模型训练方法，其特征在于，由第二方执行，所述方法包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
7.根据权利要求6所述的方法，其特征在于，根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文，包括：
采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据；
根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
8.一种模型训练装置，其特征在于，配置于第一方，所述装置包括：
残差原文确定模块，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度原文获取模块，用于对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；
第二方梯度原文发送模块，用于向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
9.根据权利要求8所述的装置，其特征在于，所述残差原文确定模块，具体用于：
基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；
根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；
根据拥有的标签数据和所述综合预测结果，确定残差原文。
10.根据权利要求8所述的装置，其特征在于，所述残差密文获取模块，具体用于：采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密；
相应的，所述第二方梯度原文获取模块，具体用于：采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密。
11.一种模型训练装置，其特征在于，配置于第二方，所述装置包括：
第二方预测结果确定模块，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方梯度密文发送模块，用于向第一方发送所述第二方梯度密文，供第一方对所述第二方梯度密文进行同态解密得到第二方梯度原文；
第二方网络模型训练模块，用于根据从所述第一方获取的第二方梯度原文，继续对第二方的网络模型进行训练。
12.根据权利要求11所述的装置，其特征在于，所述第二方梯度密文确定模块，具体用于：
采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据；
根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
13.一种设备，其特征在于，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5或权利要求5-6中任一所述的一种模型训练方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5或权利要求5-6中任一所述的一种模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579021.6A CN112149174B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579021.6A CN112149174B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149174A CN112149174A (zh) | 2020-12-29 |
| CN112149174B true CN112149174B (zh) | 2024-03-12 |
Family
ID=73892030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910579021.6A Active CN112149174B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149174B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149706B (zh) * | 2019-06-28 | 2024-03-15 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112733967B (zh) * | 2021-03-30 | 2021-06-29 | 腾讯科技（深圳）有限公司 | 联邦学习的模型训练方法、装置、设备及存储介质 |
| CN114186256B (zh) * | 2021-12-10 | 2023-09-19 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、装置、设备和存储介质 |
| CN116232562B (zh) * | 2023-05-10 | 2023-08-01 | 北京数牍科技有限公司 | 一种模型推理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325584A (zh) * | 2018-08-10 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 基于神经网络的联邦建模方法、设备及可读存储介质 |
| CN109635462A (zh) * | 2018-12-17 | 2019-04-16 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN109660328A (zh) * | 2018-12-26 | 2019-04-19 | 中金金融认证中心有限公司 | 对称块加密方法、装置、设备及介质 |
| CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3203679A1 (en) * | 2016-02-04 | 2017-08-09 | ABB Schweiz AG | Machine learning based on homomorphic encryption |
| US10755172B2 (en) * | 2016-06-22 | 2020-08-25 | Massachusetts Institute Of Technology | Secure training of multi-party deep neural network |
-
2019
- 2019-06-28 CN CN201910579021.6A patent/CN112149174B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325584A (zh) * | 2018-08-10 | 2019-02-12 | 深圳前海微众银行股份有限公司 | 基于神经网络的联邦建模方法、设备及可读存储介质 |
| CN109635462A (zh) * | 2018-12-17 | 2019-04-16 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
| CN109660328A (zh) * | 2018-12-26 | 2019-04-19 | 中金金融认证中心有限公司 | 对称块加密方法、装置、设备及介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 同态加密在加密机器学习中的应用研究综述;崔建京;龙军;闵尔学;于洋;殷建平;;计算机科学;20180415(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149174A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149174B (zh) | 模型训练方法、装置、设备和介质 | |
| CN112149706B (zh) | 模型训练方法、装置、设备和介质 | |
| US20210004718A1 (en) | Method and device for training a model based on federated learning | |
| US20180212752A1 (en) | End-To-End Secure Operations from a Natural Language Expression | |
| CN113505894B (zh) | 纵向联邦学习线性回归和逻辑回归模型训练方法及装置 | |
| CN111047314A (zh) | 基于区块链的金融数据处理方法及系统 | |
| CN111612167A (zh) | 机器学习模型的联合训练方法、装置、设备及存储介质 | |
| CN112149141B (zh) | 模型训练方法、装置、设备和介质 | |
| CN112149834B (zh) | 模型训练方法、装置、设备和介质 | |
| CN113810168A (zh) | 机器学习模型的训练方法、服务器及计算机设备 | |
| CN114881247A (zh) | 基于隐私计算的纵向联邦特征衍生方法、装置、介质 | |
| CN113918999A (zh) | 安全摆渡通道的建立方法、装置、网盘及存储介质 | |
| WO2024051456A1 (zh) | 多方协同模型训练方法、装置、设备和介质 | |
| WO2022121183A1 (zh) | 文本模型的训练方法、识别方法、装置、设备及存储介质 | |
| CN111415155B (zh) | 一种落链交易数据的加密方法、装置、设备及存储介质 | |
| CN115277197B (zh) | 模型所有权验证方法、电子设备、介质及程序产品 | |
| CN112149140B (zh) | 预测方法、装置、设备及存储介质 | |
| CN114595474A (zh) | 联邦学习建模优化方法、电子设备、介质及程序产品 | |
| CN115225367A (zh) | 数据处理方法、装置、计算机设备、存储介质和产品 | |
| CN112511361B (zh) | 模型训练方法、装置和计算设备 | |
| CN115205089A (zh) | 图像加密方法、网络模型的训练方法、装置及电子设备 | |
| CN111435452B (zh) | 模型训练方法、装置、设备和介质 | |
| CN111062053A (zh) | 生物特征数据的处理方法、装置、设备及介质 | |
| CN113051587A (zh) | 一种隐私保护智能交易推荐方法、系统和可读介质 | |
| CN113537361B (zh) | 联邦学习系统中的跨样本特征选择方法及联邦学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |