CN114417427A - 一种面向深度学习的数据敏感属性脱敏系统及方法 - Google Patents

一种面向深度学习的数据敏感属性脱敏系统及方法 Download PDF

Info

Publication number
CN114417427A
CN114417427A CN202210320910.2A CN202210320910A CN114417427A CN 114417427 A CN114417427 A CN 114417427A CN 202210320910 A CN202210320910 A CN 202210320910A CN 114417427 A CN114417427 A CN 114417427A
Authority
CN
China
Prior art keywords
privacy
data
training
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210320910.2A
Other languages
English (en)
Other versions
CN114417427B (zh
Inventor
王志波
袁伟
庞晓艺
任奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210320910.2A priority Critical patent/CN114417427B/zh
Publication of CN114417427A publication Critical patent/CN114417427A/zh
Application granted granted Critical
Publication of CN114417427B publication Critical patent/CN114417427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向深度学习的数据敏感属性脱敏系统及方法,系统包括特征提取器和隐私对抗训练模块;特征提取器的输入端连接训练数据集,输出端连有隐私对抗训练模块;特征提取器由卷积神经网络组成,是训练的核心模块,由数据中心训练,训练完成后分发给个人用户用于后续的本地端数据预处理;隐私对抗训练模块包含代理攻击分类器。本方案提出隐私对抗训练在特征空间中将隐私属性置于决策超平面,使得攻击者无法推断,提出条件重构模块保障除隐私属性以外的其他信息被保留下来,能够有效应用于下游任务,同时提出联合优化策略,对数据隐私和数据可用性进行权衡,使得二者能够同时达到最优效果。

Description

一种面向深度学习的数据敏感属性脱敏系统及方法
技术领域
本发明涉及人工智能(AI)数据隐私安全领域,具体地说,是一种面向深度学习的数据敏感属性脱敏系统及方法。
背景技术
近年来,深度学习在许多领域表现出了卓越的性能,如图像分类、语音识别、自然语言处理等。深度学习的成功可以部分归因于大规模的训练数据,许多的服务提供商从他们的用户手中收集数据用于训练更加精确的模型。然而,这些被收集的训练数据往往包含大量的隐私信息,如种族、性别、年龄等,这些信息可以轻易的被预训练模型获取,并且这种隐私可能被进一步的用于定向广告甚至其他的恶意行为。为了解决数据收集中产生的隐私泄露问题,研究者提出了许多的隐私保护技术。传统的方法,如k-匿名技术,通常是基于句法匿名的方式保护隐私属性。近期被广泛研究的差分隐私技术通过添加噪声的方式能够提供可证明的隐私保护保障。然而,这些方法通常在原始数据产生不可忽视的扰动,导致训练出来的深度学习模型精度下降。为解决以上缺陷,一些研究者提出为每个用户的原始数据提取特征并且只上传这些被提取的特征到数据收集方用于训练需求,这种方法相较于传统的匿名与扰动技术能较好的均衡隐私与可用性需求。但这种基于特征的方法在深度学习的推断攻击下仍然会产生隐私泄露,攻击者能通过公开数据集上训练的模型从上传的特征中推断出原始数据中的隐私信息,同时需要预先定义下游任务难以泛化到实际的应用场景,即服务提供商期望收集到的数据与原始数据有类似的可用性而不是仅仅针对某一特定任务有效,因此需要提出一种有效的隐私保护方式来抵御推断攻击同时保障数据在后续任务上可用性。
发明内容
本发明就是针对现有技术的不足,提供一种面向深度学习的数据敏感属性脱敏系统及方法,有效防御来自恶意攻击者的推断攻击,同时保障数据在模型训练中的可用性。
为了实现本发明的目的,本发明是通过以下技术方法实现的:
本发明公开了一种面向深度学习的数据敏感属性脱敏系统,系统包括特征提取器和隐私对抗训练模块;特征提取器的输入端连接训练数据集,输出端连有隐私对抗训练模块;特征提取器由卷积神经网络组成,是训练的核心模块,由数据中心训练,训练完成后分发给个人用户用于后续的本地端数据预处理;隐私对抗训练模块包含代理攻击分类器,由卷积神经网络及全连接神经网络组成,用于优化特征提取器,使其产生有效的隐私保护能力。
作为进一步地改进,本发明所述的系统还包含条件重构模块,条件重构模块包含隐私编码模型和条件重构网络,条件重构网络由反卷积神经网络组成,条件重构网络分别与特征提取器与隐私编码模型的输出端相连,条件重构网络用于优化特征提取器,使其产生的特征数据保持与原始数据类似的可用性,隐私编码模型由卷积神经网络组成,用于参与条件重构优化流程。
作为进一步地改进,本发明所述的隐私编码模型由隐私编码器与辅助预测模型构成,辅助预测模型与隐私编码器的输出端相连,用于监督隐私编码器的效果,隐私对抗训练模块包括代理攻击分类器。
本发明还公开了一种使用面向深度学习的数据敏感属性脱敏方法,包括如下步骤:用户预先定义其敏感属性信息,由数据中心训练一个用于脱敏的特征提取器,用户共享数据之前,利用的特征提取器在本地端将原始数据转换为脱敏后的特征向量,并将脱敏后的特征向量上传,恶意攻击者即使能访问到该特征向量无法从中获取到任何用户方的隐私信息,训练一个用于脱敏的特征提取器的训练方法如下:
1)训练数据集输入到特征提取器产生特征向量,隐私对抗训练模块接收来自特征提取器产生的特征向量,基于交叉熵损失,产生梯度回传至特征提取器;
2)训练数据集输入到特征提取器与隐私编码模型,分别产生特征向量与隐私编码向量,条件重构模块中的条件重构网络接收来自特征提取器以及隐私编码模型产生的特征向量,计算重构损失,回传梯度至特征提取器;
3)通过联合学习策略对步骤1)与步骤2)中产生的梯度回传信息进行权衡,引入超参数,提高步骤1)中隐私对抗训练模块的权重则提升隐私保护效果,提升步骤2)中条件重构网络梯度则提升数据可用性效果。
作为进一步地改进,本发明所述的步骤1)具体算法为:
1)首先对用户隐私泄漏情况进行定义;
2)模拟攻击方行为进行代理攻击分类器优化;
3)对特征提取器进行优化防止隐私泄漏。
作为进一步地改进,所述的步骤1)具体为,对于隐私属性
Figure 493983DEST_PATH_IMAGE001
Figure 918011DEST_PATH_IMAGE002
个可观测的类别标签,其中
Figure 708244DEST_PATH_IMAGE003
代表第
Figure 917639DEST_PATH_IMAGE004
个类别标签,对某个用户该隐私属性的真值为
Figure 649972DEST_PATH_IMAGE005
,攻击者的目标是成功从用户上传的特征中推断出
Figure 653307DEST_PATH_IMAGE006
,其隐私泄露程度由对数条件分布
Figure 247230DEST_PATH_IMAGE007
Figure 294820DEST_PATH_IMAGE008
则是一个典型的预测模型用于判别真值
Figure 948787DEST_PATH_IMAGE005
的概率大小,则对于用户上传数据,整体隐私泄露情况衡量如下:
Figure 643946DEST_PATH_IMAGE009
其中
Figure 838299DEST_PATH_IMAGE010
为用户上传的特征向量,
Figure 287866DEST_PATH_IMAGE011
是用户上传的特征向量的分布,
Figure 362001DEST_PATH_IMAGE012
则是一个典型的预测模型用于判别真值
Figure 733070DEST_PATH_IMAGE013
的概率大小,
Figure 931446DEST_PATH_IMAGE014
代表隐私泄露期望值,其值越大,隐私泄露程度越严重。
作为进一步地改进,本发明所述的步骤2)具体为,在博弈论框架下,模拟攻击方训练一个代理攻击分类器,通过最大化隐私泄露期望
Figure 969940DEST_PATH_IMAGE015
,来揭露用户上传数据的隐私泄露程度,代理攻击分类器的表现用如下的交叉熵损失函数来描述,损失函数是负的
Figure 214977DEST_PATH_IMAGE016
Figure 870080DEST_PATH_IMAGE017
其中
Figure 343918DEST_PATH_IMAGE018
是模型参数为
Figure 239849DEST_PATH_IMAGE019
的攻击分类器网络,
Figure 655786DEST_PATH_IMAGE020
Figure 1448DEST_PATH_IMAGE021
则表示该攻击分类器网络对于真值标签的预测值,
Figure 544556DEST_PATH_IMAGE022
是典型的交叉熵损失,衡量攻击分类器网络推断效果。
在训练过程中,该代理攻击分类模型的优化目标通过更新模型参数
Figure 541331DEST_PATH_IMAGE023
来最小化上述的交叉熵损失函数:
Figure 613323DEST_PATH_IMAGE024
作为进一步地改进,本发明所述的步骤3)中,特征提取器的训练目标是最小化隐私泄露程度,即使得攻击方的预测成为一致分布,为了实现该目标,在特征空间中将隐私属性置于决策超平面上,给定代理攻击分类器防御方用如下的损失函数描述到决策超平面距离:
Figure 708931DEST_PATH_IMAGE025
其中
Figure 773839DEST_PATH_IMAGE026
代表隐私属性
Figure 375853DEST_PATH_IMAGE027
Figure 133593DEST_PATH_IMAGE028
个标签中的一个,
Figure 188268DEST_PATH_IMAGE029
则代表对于隐私属性
Figure 807599DEST_PATH_IMAGE027
中第
Figure 513387DEST_PATH_IMAGE030
个类别的预测,
Figure 652814DEST_PATH_IMAGE031
是对于隐私属性所有标签上的交叉熵误差的期望值,代理攻击器模型对于隐私信息预测的不确定性需要被最大化,可以通过优化特征提取器来最小化上述损失函数来实现:
Figure 444052DEST_PATH_IMAGE032
在对抗学习过程中,特征提取器与代理攻击分类器交替优化,最终收敛使得攻击者在推断隐私的过程只能以随即猜测的方式进行。
作为进一步地改进,本发明所述的步骤2)如下算法流程构成:
1).获得隐私编码向量作为条件重构网络输入;
2).度量重构损失,产生回传梯度;
步骤1)具体为,隐私编码模型产生的隐私编码向量的精确程度利用辅助预测模型由以下损失函数来衡量:
Figure 70337DEST_PATH_IMAGE033
其中
Figure 630631DEST_PATH_IMAGE034
为隐私编码模型,参数为
Figure 933436DEST_PATH_IMAGE035
Figure 962703DEST_PATH_IMAGE036
为辅助预测模型,参数为
Figure 907526DEST_PATH_IMAGE037
Figure 73059DEST_PATH_IMAGE038
代表对于隐私信息的预测置信度,
Figure 812345DEST_PATH_IMAGE039
用来衡量隐私编码模型
Figure 60399DEST_PATH_IMAGE034
产生的隐私特征向量
Figure 808912DEST_PATH_IMAGE040
是否完整保留了隐私信息,最终由
Figure 94531DEST_PATH_IMAGE041
产生隐私编码向量
Figure 4718DEST_PATH_IMAGE042
步骤2)具体为,采用 Mean Square error(MSE)作为度量函数,利用欧式距离上的期望值,即
Figure 742998DEST_PATH_IMAGE043
,作为重构误差值:
Figure 45935DEST_PATH_IMAGE044
其中
Figure 435328DEST_PATH_IMAGE045
代表由
Figure 535658DEST_PATH_IMAGE046
Figure 10501DEST_PATH_IMAGE047
拼接所产生的重构数据,
Figure 569659DEST_PATH_IMAGE048
为条件重构模型,为模型参数,
Figure 829870DEST_PATH_IMAGE049
为模型参数,MSE均方误差是用于衡量原始数据
Figure 98171DEST_PATH_IMAGE050
以及由
Figure 60311DEST_PATH_IMAGE048
重构数据
Figure 439471DEST_PATH_IMAGE051
间信息相似度的函数。
作为进一步地改进,本发明所述的步骤3)具体为,设计了联合学习策略,引入超参数
Figure 537877DEST_PATH_IMAGE052
,进行联合建模训练,用于权衡数据隐私与数据可用性,训练过程中关键的特征提取器交替参与进行条件重构模块与隐私对抗训练模块训练,用于训练特征提取网络的最终优化目标如下:
Figure 239729DEST_PATH_IMAGE053
在联合学习模型中,首先在不进行对抗学习和条件重构学习的情况下,预训练特征提取器与代理攻击分类器模型使得攻击者在最开始时能够对隐私属性的判别达到一个较好的水平;然后,在随后的每一个训练批次中,交替执行隐私对抗训练模块和条件重构模块,同时使用权衡超参数
Figure 689165DEST_PATH_IMAGE052
来更新特征提取器的参数
Figure 606436DEST_PATH_IMAGE054
本发明的有益技术效果如下:
本发明提出了一种面向深度学习的数据敏感属性脱敏系统及方法,提升深度学习模型的性能往往需要从个人用户手中收集海量的信息,这些被收集的数据往往包含大量的隐私信息,以往隐私保护方案,通常在原始数据产生不可忽视的扰动,导致训练出来的深度学习模型精度下降,或者隐私保护效果不佳,攻击者能通过公开数据集上训练的模型从上传的特征中推断出原始数据中的隐私信息,此外难以达到与原始数据接近的可用性。为解决上述问题,能够有效的保障个人用户上传数据的隐私安全,同时保障数据在下游任务保持可用性。本发明提出了隐私对抗训练模块,通过将隐私属性至于决策超平面上,能够有效使得攻击者的隐私推断攻击失效,保护个人用户的隐私安全。本发明同时提出了条件重构模块,不同于当前方法仅能保障对于特定数据有效性,还能够有效保障数据达到在下游任务上相同的泛化性。本发明提出了联合学习方法,有效实现对于数据隐私与数据可用性间的权衡,使得二者能够同时达到最优效果。
附图说明
图1为本发明技术方法数据处理流程图;
图2为本发明的总体技术框架图;
图3为隐私对抗训练模块框架图;
图4为条件重构模块框架图。
具体实施方式
本发明公开了一种面向深度学习的数据敏感属性脱敏系统,图2为本发明的总体技术框架图;系统包括特征提取器和隐私对抗训练模块;特征提取器的输入端连接训练数据集,输出端连有隐私对抗训练模块;特征提取器由卷积神经网络组成,是训练的核心模块,由数据中心训练,训练完成后分发给个人用户用于后续的本地端数据预处理;隐私对抗训练模块包含代理攻击分类器,由卷积神经网络及全连接神经网络组成,用于优化特征提取器,使其产生有效的隐私保护能力。
系统还包含条件重构模块,条件重构模块包含隐私编码模型和条件重构网络,条件重构网络由反卷积神经网络组成,条件重构网络分别与特征提取器与隐私编码模型的输出端相连,条件重构网络用于优化特征提取器,使其产生的特征数据保持与原始数据类似的可用性,所述的隐私编码模型由卷积神经网络组成,用于参与条件重构优化流程;隐私编码模型由隐私编码器与辅助预测模型构成,辅助预测模型与隐私编码器的输出端相连,用于监督隐私编码器的效果,隐私对抗训练模块包括代理攻击分类器。
图1为本发明数据处理过程流程图;整个过程主要为两方参与,数据中心以及提供数据的个人用户,考虑到可能存在的恶意第三方窃取用户信息,同时为兼顾数据可用性,整个流程包括如下步骤:用户预先定义其敏感属性信息,由数据中心训练一个用于脱敏的特征提取器,用户共享数据之前,利用的特征提取器在本地端将原始数据转换为脱敏后的特征向量,并将所述的脱敏后的特征向量上传,恶意攻击者即使能访问到该特征向量无法从中获取到任何用户方的隐私信息,所述的训练一个用于脱敏的特征提取器的训练方法如下:
一、隐私对抗训练模块构建过程:训练数据集输入到特征提取器产生特征向量,隐私对抗训练模块接收来自特征提取器产生的特征向量,基于交叉熵损失,产生梯度回传至特征提取器;
二、条件重构模块构建过程:训练数据集输入到特征提取器与隐私编码模型,分别产生特征向量与隐私编码向量,条件重构模块中的条件重构网络接收来自特征提取器以及隐私编码模型产生的特征向量,计算重构损失,回传梯度至特征提取器;
三、通过联合学习策略对步骤1)与步骤2)中产生的梯度回传信息进行权衡,引入超参数,提高步骤1)中隐私对抗训练模块的权重则提升隐私保护效果,提升步骤2)中条件重构网络梯度则提升数据可用性效果。
步骤一中隐私对抗训练模块构建过程具体可分为如下几个步骤:
1):对用户属性隐私泄漏进行形式化定义,衡量用户的隐私泄漏程度。攻击者的目标是利用在公开数据集上的预训练模型从用户上传的特征中推断出用户某一特定隐私属性的真值,即对于隐私属性
Figure 90507DEST_PATH_IMAGE001
Figure 966191DEST_PATH_IMAGE002
个可观测的类别标签,其中
Figure 653655DEST_PATH_IMAGE003
代表第
Figure 623885DEST_PATH_IMAGE004
个类别标签,对某个用户该隐私属性的真值为
Figure 696883DEST_PATH_IMAGE005
,攻击者的目标是成功从用户上传的特征中推断出
Figure 492537DEST_PATH_IMAGE005
。对于推断攻击的攻击策略,最佳的防御效果是使得攻击对于隐私属性的推断分布成为一个一致分布。需要训练一个特征提取器
Figure 650986DEST_PATH_IMAGE055
,其中
Figure 910060DEST_PATH_IMAGE056
为模型参数,使得攻击者的推断网络对于隐私属性的推断满足以下范式:
Figure 103144DEST_PATH_IMAGE057
其中
Figure 55051DEST_PATH_IMAGE058
为攻击者的推断网络,
Figure 435216DEST_PATH_IMAGE059
为模型参数。为训练满足此范式的特征提取器,基于对抗博弈框架,防御方首先模拟攻击方行为,执行推断攻击,用于从特征提取器产生的特征中分析其隐私泄露程度。对于隐私属性
Figure 497982DEST_PATH_IMAGE027
,其隐私泄露程度可以由对数条件分布
Figure 545572DEST_PATH_IMAGE060
来衡量,
Figure 665450DEST_PATH_IMAGE012
则是一个典型的预测模型用于判别真值
Figure 798491DEST_PATH_IMAGE013
的概率大小,则对于用户上传数据,整体隐私泄露情况可衡量如下:
Figure 196106DEST_PATH_IMAGE009
其中
Figure 848935DEST_PATH_IMAGE011
是用户上传的特征向量的分布,
Figure 391912DEST_PATH_IMAGE061
为用户上传的特征向量,
Figure 762981DEST_PATH_IMAGE012
则是一个典型的预测模型用于判别真值
Figure 682396DEST_PATH_IMAGE013
的概率大小。
Figure 927082DEST_PATH_IMAGE014
代表隐私泄露期望值,其值越大,隐私泄露程度越严重。
2):基于对用户隐私泄漏的衡量,在博弈论框架下,模拟攻击方训练一个代理攻击分类器通过最大化隐私泄露期望
Figure 640960DEST_PATH_IMAGE062
,来揭露用户上传数据的隐私泄露程度,图3为隐私对抗训练模块框架图。给定训练输入图像数据
Figure 499326DEST_PATH_IMAGE050
,用户指定需要保护的隐私属性
Figure 222431DEST_PATH_IMAGE027
,构建随机初始化的特征提取器
Figure 584274DEST_PATH_IMAGE063
,以及模拟攻击方行为构建的代理攻击分类器模型
Figure 734632DEST_PATH_IMAGE064
,其中
Figure 814715DEST_PATH_IMAGE065
Figure 810353DEST_PATH_IMAGE023
分别为二者的模型参数。该攻击分类器网络的表现可以用如下的交叉熵损失函数来描述,该损失函数是负的
Figure 289351DEST_PATH_IMAGE066
Figure 610611DEST_PATH_IMAGE017
其中
Figure 912411DEST_PATH_IMAGE067
则表示该攻击分类器网络对于真值标签的预测值。
Figure 977319DEST_PATH_IMAGE068
是典型的交叉熵损失,衡量攻击分类器网络推断效果。
在训练过程中,该代理攻击分类模型的优化目标通过更新模型参数
Figure 48174DEST_PATH_IMAGE023
来最小化上述的交叉熵损失函数:
Figure 274756DEST_PATH_IMAGE024
3):基于训练好的代理攻击分类器,优化特征提取器。训练目标是最小化隐私泄露程度,即使得攻击者的预测成为一致分布,为了实现该目标,在特征空间中将隐私属性置于决策超平面上。给定攻击分类器网络,可以用如下的损失函数描述到决策超平面距离:
Figure 329431DEST_PATH_IMAGE025
其中
Figure 932450DEST_PATH_IMAGE026
代表隐私属性
Figure 380181DEST_PATH_IMAGE027
Figure 777665DEST_PATH_IMAGE028
个标签中的一个,
Figure 54056DEST_PATH_IMAGE029
则代表对于隐私属性
Figure 726346DEST_PATH_IMAGE027
中第
Figure 771794DEST_PATH_IMAGE030
个类别的预测。
Figure 481124DEST_PATH_IMAGE031
是对于隐私属性所有标签上的交叉熵误差的期望值。在抵御隐私信息泄露的过程中,代理攻击器模型对于隐私信息预测的不确定性需要被最大化,可以通过优化特征提取器来最小化上述损失函数来实现:
Figure 507461DEST_PATH_IMAGE032
基于上述的优化目标,迭代优化特征提取器网络以及代理攻击分类器模型,直到两方训练收敛,此时攻击者只能以随机猜测水平去推断用户隐私信息。
为了保障数据与原始数据达到几乎一致的可用性的同时保障数据的隐私,需要将原始数据中的可判别信息完整的保留到特征向量中,设计了由隐私编码模型与条件重构网络组成的条件重构模块来实现这个目标,隐私编码模型由隐私编码器与辅助预测模型构成,图4为条件重构模块框架图。在保留原始数据可判别信息的过程中,需要最小化条件重构误差。
步骤二中条件重构模块构建过程分为一下几个步骤:
1):为衡量条件重构误差,首先需要获得与特征向量同维度的隐私属性信息作为条件重构网络的输入,利用隐私编码器来产生这样的特征,隐私编码器产生的特征向量的精确程度可以利用辅助预测模型来约束,给定原始数据
Figure 452283DEST_PATH_IMAGE069
,以及构建的好隐私保护特征提取器
Figure 617817DEST_PATH_IMAGE070
,首先需要构建隐私编码器
Figure 622682DEST_PATH_IMAGE071
用于产生条件重构模型的输入,利用辅助预测模型
Figure 873666DEST_PATH_IMAGE072
来度量隐私编码模型产生的隐私特征向量的准确程度,该度量函数可以用如下损失函数描述::
Figure 887758DEST_PATH_IMAGE033
其中
Figure 173377DEST_PATH_IMAGE034
为隐私编码器,
Figure 83564DEST_PATH_IMAGE036
为辅助预测模型参数为
Figure 90353DEST_PATH_IMAGE037
Figure 127710DEST_PATH_IMAGE038
代表对于隐私信息的预测置信度。
Figure 782683DEST_PATH_IMAGE039
用来衡量隐私特征向量
Figure 145662DEST_PATH_IMAGE040
是否完整保留了隐私信息。该模型可以最小上述损失函数来更新辅助模型及隐私编码模型参数,如下:
Figure 636817DEST_PATH_IMAGE073
2):进一步地,给定由隐私编码模型产生的隐私特征向量
Figure 992712DEST_PATH_IMAGE074
与特征提取器产生的特征向量
Figure 249994DEST_PATH_IMAGE075
,设计条件重构网络按照如下范式来衡量重构误差:
Figure 767563DEST_PATH_IMAGE076
其中
Figure 480435DEST_PATH_IMAGE077
代表由
Figure 108862DEST_PATH_IMAGE010
Figure 223580DEST_PATH_IMAGE040
拼接所产生的重构数据,
Figure 912050DEST_PATH_IMAGE048
为条件重构模型,为模型参数,
Figure 846639DEST_PATH_IMAGE078
为模型参数。
Figure 122218DEST_PATH_IMAGE079
是用于衡量原始数据
Figure 340710DEST_PATH_IMAGE050
以及由
Figure 950814DEST_PATH_IMAGE048
重构数据
Figure 621966DEST_PATH_IMAGE051
间信息相似度的函数。考虑到度量的便捷性,采用 Mean Square error(MSE)作为度量函数,利用欧式距离上的期望值,即
Figure 342929DEST_PATH_IMAGE080
,作为重构误差值:
Figure 415927DEST_PATH_IMAGE044
其中
Figure 462512DEST_PATH_IMAGE045
代表由
Figure 620961DEST_PATH_IMAGE046
Figure 142684DEST_PATH_IMAGE047
拼接所产生的重构数据。
为最大化保留除开隐私属性的之外的可判别信息,特征提取网络及条件重构网络可通过优化参数最小化上述损失函数来实现,优化范式如下:
Figure 335768DEST_PATH_IMAGE081
当特征提取器训练收敛到最小化如上重构误差,则原始数据中除隐私属性外的可判别信息被最大化保留。
在对数据进行隐私保护的同时往往难以保障数据可用性,保障数据有较好的可用的同时往往难以保障数据的隐私安全,因此,设计了一种联合学习方法,对条件重构模块以及隐私对抗训练模块分配权重,用于对数据的隐私及数据可用性进行权衡,使得二者能够同时达到最优效果。通过联合学习策略对隐私对抗训练模块与条件重构模块中产生的梯度回传信息进行权衡,引入超参数,提高隐私对抗训练模块中权重则提升隐私保护效果,提升条件重构模块中的梯度则提升数据可用性效果。
步骤三中具体为,引入超参数
Figure 553254DEST_PATH_IMAGE082
,进行联合建模训练,用于权衡数据隐私与数据可用性,训练过程中关键的特征提取器交替参与进行条件重构模块与隐私对抗学习模块训练,用于训练特征提取网络的最终优化目标如下:
Figure 198999DEST_PATH_IMAGE083
在联合学习模型中,首先在不进行对抗学习和条件重构学习的情况下,预训练特征提取器与代理攻击分类器模型使得攻击者在最开始时能够对隐私属性的判别达到一个较好的水平。然后,在随后的每一个训练批次中,交替的执行隐私对抗学习和条件重构,同时使用权衡超参数
Figure 527343DEST_PATH_IMAGE052
来更新特征提取器的参数。
本发明提出了对用户属性隐私的形式化描述,用户定于用户属性隐私的泄漏情况,提供了用户属性隐私衡量标准。
本发明利用对抗学习来将隐私属性在特征空间中置于决策的超平面,使得攻击方所能获取到的隐私信息最小化,利用条件重构学习来保障除了隐私属性之外的其他信息被尽可能的保留,使得下游训练任务的数据可用性最大化,最终利用联合学习模型保证数据隐私与数据可用性间的权衡,本方法在下游任务未知的深度学习数据收集已能达到较好的效果。
表1为本发明与现有方法在隐私保护与数据可用性上的比较。
Figure 591245DEST_PATH_IMAGE084
第一列表示当前不同的隐私保护方法,第二列表示各种方法的参数设定,第三列及第六列为用户需要保护的隐私信息。表格中隐私属性所在列表示攻击利用模型推断隐私属性的精度,其他行表示在其他下游任务下的精度。本实验对比当前最先进的隐私保护方法,如 DP、DPFE等进行对比,所有方法均收集其在不同参数设定下的平均结果,如DP,其隐私预算参数
Figure 963321DEST_PATH_IMAGE085
有三组参数设定,分别为0.9、0.5、0.1,则分别取其三组参数下的平均隐私保护效果与平均任务精度。可以明显看出,本方法TF-ARL在大部分情况下隐私保护效果与数据可用性均高于其他方法,同时该实验还展示了本方法在隐私保护与数据可用性上达到了更好的权衡。
本发明所设计的面向深度学习的数据敏感属性脱敏方法,给定训练数据集,利用联合学习训练,构建代理攻击分类器模型,构建隐私编码模型,产生特征向量表示,隐私编码向量表示,计算抵御隐私推断攻击损失,产生梯度,计算条件重构损失,产生梯度,利用超参数,权衡两个梯度大小,进行梯度回传,使得隐私属性在特征空间中置于决策的超平面,攻击者无法推断隐私,同时数据可用性得到保障。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种面向深度学习的数据敏感属性脱敏系统,其特征在于,所述的系统包括特征提取器和隐私对抗训练模块;所述的特征提取器的输入端连接训练数据集,输出端连有隐私对抗训练模块;所述的特征提取器由卷积神经网络组成,是训练的核心模块,由数据中心训练,训练完成后分发给个人用户用于后续的本地端数据预处理;所述的隐私对抗训练模块包含代理攻击分类器,由卷积神经网络及全连接神经网络组成,用于优化特征提取器,使其产生有效的隐私保护能力。
2.如权利要求1所述的面向深度学习的数据敏感属性脱敏系统,其特征在于,所述的系统还包含条件重构模块,所述的条件重构模块包含隐私编码模型和条件重构网络,所述的条件重构网络由反卷积神经网络组成,所述的条件重构网络分别与特征提取器与隐私编码模型的输出端相连,所述的条件重构网络用于优化特征提取器,使其产生的特征数据保持与原始数据类似的可用性,所述的隐私编码模型由卷积神经网络组成,用于参与条件重构优化流程。
3.如权利要求1所述的面向深度学习的数据敏感属性脱敏系统,其特征在于,所述的隐私编码模型由隐私编码器与辅助预测模型构成,所述的辅助预测模型与隐私编码器的输出端相连,用于监督隐私编码器的效果,所述的隐私对抗训练模块包括代理攻击分类器。
4.一种使用如权利要求1或2或3所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,包括如下步骤:用户预先定义其敏感属性信息,由数据中心训练一个用于脱敏的特征提取器,用户共享数据之前,利用的特征提取器在本地端将原始数据转换为脱敏后的特征向量,并将所述的脱敏后的特征向量上传,恶意攻击者即使能访问到该特征向量无法从中获取到任何用户方的隐私信息,所述的训练一个用于脱敏的特征提取器的训练方法如下:
1)训练数据集输入到特征提取器产生特征向量,隐私对抗训练模块接收来自特征提取器产生的特征向量,基于交叉熵损失,产生梯度回传至特征提取器;
2)训练数据集输入到特征提取器与隐私编码模型,分别产生特征向量与隐私编码向量,条件重构模块中的条件重构网络接收来自特征提取器以及隐私编码模型产生的特征向量,计算重构损失,回传梯度至特征提取器;
3)通过联合学习策略对步骤1)与步骤2)中产生的梯度回传信息进行权衡,引入超参数,提高步骤1)中隐私对抗训练模块的权重则提升隐私保护效果,提升步骤2)中条件重构网络梯度则提升数据可用性效果。
5.如权利要求4所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,所述的步骤1)具体算法为:
1)首先对用户隐私泄漏情况进行定义;
2)模拟攻击方行为进行代理攻击分类器优化;
3)对特征提取器进行优化防止隐私泄漏。
6.如权利要求5所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,所述的步骤1)具体为,对于隐私属性
Figure 163345DEST_PATH_IMAGE001
Figure 819716DEST_PATH_IMAGE002
个可观测的类别标签,其中
Figure 587952DEST_PATH_IMAGE003
代表第
Figure 424190DEST_PATH_IMAGE004
个类别标签,对某个用户该隐私属性的真值为
Figure 240443DEST_PATH_IMAGE005
,攻击者的目标是成功从用户上传的特征中推断出
Figure 582562DEST_PATH_IMAGE006
,其隐私泄露程度由对数条件分布
Figure 352941DEST_PATH_IMAGE007
Figure 274761DEST_PATH_IMAGE008
则是一个典型的预测模型用于判别真值
Figure 948450DEST_PATH_IMAGE005
的概率大小,则对于用户上传数据,整体隐私泄露情况衡量如下:
Figure 195891DEST_PATH_IMAGE009
其中
Figure 453566DEST_PATH_IMAGE010
为用户上传的特征向量,
Figure 179077DEST_PATH_IMAGE011
是用户上传的特征向量的分布,
Figure 710202DEST_PATH_IMAGE008
则是一个典型的预测模型用于判别真值
Figure 128545DEST_PATH_IMAGE005
的概率大小,
Figure 607937DEST_PATH_IMAGE012
代表隐私泄露期望值,其值越大,隐私泄露程度越严重。
7.如权利要求5所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,所述的步骤2)具体为,在博弈论框架下,模拟攻击方训练一个代理攻击分类器,通过最大化隐私泄露期望
Figure 402718DEST_PATH_IMAGE013
,来揭露用户上传数据的隐私泄露程度,代理攻击分类器的表现用如下的交叉熵损失函数来描述,所述的损失函数是负的
Figure 785420DEST_PATH_IMAGE014
Figure 374664DEST_PATH_IMAGE015
其中
Figure 606931DEST_PATH_IMAGE016
是模型参数为
Figure 156468DEST_PATH_IMAGE017
的攻击分类器网络,
Figure 642944DEST_PATH_IMAGE018
Figure 652357DEST_PATH_IMAGE019
则表示该攻击分类器网络对于真值标签的预测值,
Figure 591494DEST_PATH_IMAGE020
是典型的交叉熵损失,衡量攻击分类器网络推断效果。
8.如权利要求5所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,所述的步骤3)中,特征提取器的训练目标是最小化隐私泄露程度,即使得攻击方的预测成为一致分布,为了实现该目标,在特征空间中将隐私属性置于决策超平面上,给定代理攻击分类器防御方用如下的损失函数描述到决策超平面距离:
Figure 213231DEST_PATH_IMAGE021
其中
Figure 819792DEST_PATH_IMAGE022
代表隐私属性
Figure 265686DEST_PATH_IMAGE023
Figure 692119DEST_PATH_IMAGE002
个标签中的一个,
Figure 397774DEST_PATH_IMAGE024
则代表对于隐私属性
Figure 858843DEST_PATH_IMAGE023
中第
Figure 210059DEST_PATH_IMAGE004
个类别的预测,
Figure 389367DEST_PATH_IMAGE025
是对于隐私属性所有标签上的交叉熵误差的期望值,在对抗学习过程中,特征提取器与代理攻击分类器交替优化,最终收敛使得攻击者在推断隐私的过程只能以随即猜测的方式进行。
9.如权利要求4所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于,所述的步骤2)如下算法流程构成:
1).获得隐私编码向量作为条件重构网络输入;
2).度量重构损失,产生回传梯度;
所述的步骤1)具体为,隐私编码模型产生的隐私编码向量的精确程度利用辅助预测模型由以下损失函数来衡量:
Figure 618485DEST_PATH_IMAGE026
其中
Figure 917749DEST_PATH_IMAGE027
为隐私编码模型,参数为
Figure 456177DEST_PATH_IMAGE028
Figure 605006DEST_PATH_IMAGE029
为辅助预测模型,参数为
Figure 887082DEST_PATH_IMAGE030
Figure 572010DEST_PATH_IMAGE031
代表对于隐私信息的预测置信度,
Figure 15761DEST_PATH_IMAGE032
用来衡量隐私编码模型
Figure 920394DEST_PATH_IMAGE027
产生的隐私特征向量
Figure 740583DEST_PATH_IMAGE033
是否完整保留了隐私信息,最终由
Figure 14438DEST_PATH_IMAGE034
产生隐私编码向量
Figure 894670DEST_PATH_IMAGE035
所述的步骤2)具体为,采用 Mean Square error作为度量函数,利用欧式距离上的期望值,即
Figure 23949DEST_PATH_IMAGE036
,作为重构误差值:
Figure 647829DEST_PATH_IMAGE037
其中
Figure 41770DEST_PATH_IMAGE038
代表由
Figure 92903DEST_PATH_IMAGE039
Figure 706549DEST_PATH_IMAGE040
拼接所产生的重构数据,
Figure 868540DEST_PATH_IMAGE041
为条件重构模型,为模型参数,
Figure 116987DEST_PATH_IMAGE042
为模型参数,MSE均方误差是用于衡量原始数据
Figure 339021DEST_PATH_IMAGE043
以及由
Figure 171455DEST_PATH_IMAGE041
重构数据
Figure 402716DEST_PATH_IMAGE044
间信息相似度的函数。
10.如权利要求4所述的面向深度学习的数据敏感属性脱敏系统的脱敏方法,其特征在于:所述的步骤3)具体为,设计了联合学习策略,引入超参数
Figure 771249DEST_PATH_IMAGE045
,进行联合建模训练,用于权衡数据隐私与数据可用性,训练过程中关键的特征提取器交替参与进行条件重构模块与隐私对抗训练模块训练,用于训练特征提取网络的最终优化目标如下:
Figure 164184DEST_PATH_IMAGE046
在联合学习模型中,首先在不进行对抗学习和条件重构学习的情况下,预训练特征提取器与代理攻击分类器模型使得攻击者在最开始时能够对隐私属性的判别达到一个较好的水平;然后,在随后的每一个训练批次中,交替执行隐私对抗训练模块和条件重构模块,同时使用权衡超参数
Figure 267270DEST_PATH_IMAGE047
来更新特征提取器的参数
Figure 256217DEST_PATH_IMAGE048
CN202210320910.2A 2022-03-30 2022-03-30 一种面向深度学习的数据敏感属性脱敏系统及方法 Active CN114417427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210320910.2A CN114417427B (zh) 2022-03-30 2022-03-30 一种面向深度学习的数据敏感属性脱敏系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210320910.2A CN114417427B (zh) 2022-03-30 2022-03-30 一种面向深度学习的数据敏感属性脱敏系统及方法

Publications (2)

Publication Number Publication Date
CN114417427A true CN114417427A (zh) 2022-04-29
CN114417427B CN114417427B (zh) 2022-08-02

Family

ID=81264361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210320910.2A Active CN114417427B (zh) 2022-03-30 2022-03-30 一种面向深度学习的数据敏感属性脱敏系统及方法

Country Status (1)

Country Link
CN (1) CN114417427B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495578A (zh) * 2022-09-02 2022-12-20 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质
CN115952854A (zh) * 2023-03-14 2023-04-11 杭州太美星程医药科技有限公司 文本脱敏模型的训练方法、文本脱敏方法及应用
CN116994309A (zh) * 2023-05-06 2023-11-03 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN117610080A (zh) * 2024-01-24 2024-02-27 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法
CN117835246A (zh) * 2023-12-29 2024-04-05 山东大学 一种面向任务的隐私语义通信方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108304359A (zh) * 2018-02-06 2018-07-20 中国传媒大学 无监督学习统一特征提取器构建方法
US20200311540A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
CN113298268A (zh) * 2021-06-11 2021-08-24 浙江工业大学 一种基于对抗噪声注入的垂直联邦学习方法和装置
CN113609521A (zh) * 2021-07-27 2021-11-05 广州大学 一种基于对抗训练的联邦学习隐私保护方法及系统
CN113761557A (zh) * 2021-09-02 2021-12-07 积至(广州)信息技术有限公司 一种基于全同态加密算法的多方深度学习隐私保护方法
CN113918814A (zh) * 2021-10-12 2022-01-11 北京交通大学 一种基于对抗学习的高鲁棒隐私保护推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108304359A (zh) * 2018-02-06 2018-07-20 中国传媒大学 无监督学习统一特征提取器构建方法
US20200311540A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
CN113298268A (zh) * 2021-06-11 2021-08-24 浙江工业大学 一种基于对抗噪声注入的垂直联邦学习方法和装置
CN113609521A (zh) * 2021-07-27 2021-11-05 广州大学 一种基于对抗训练的联邦学习隐私保护方法及系统
CN113761557A (zh) * 2021-09-02 2021-12-07 积至(广州)信息技术有限公司 一种基于全同态加密算法的多方深度学习隐私保护方法
CN113918814A (zh) * 2021-10-12 2022-01-11 北京交通大学 一种基于对抗学习的高鲁棒隐私保护推荐方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QIUCHEN ZHANG: "Broadening Differential Privacy for Deep Learning Against Model Inversion Attacks", 《IEEE》 *
ZHIBO WANG: "Privacy-preserving Streaming Truth Discovery in Crowdsourcing with Differential Privacy", 《IEEE》 *
任奎: "深度学习中的对抗性攻击和防御", 《ENGINEERING》 *
张煜等: "基于生成对抗网络的文本序列数据集脱敏", 《网络与信息安全学报》 *
郭鹏: "差分隐私GAN梯度裁剪阈值的自适应选取方法", 《网络与信息安全学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495578A (zh) * 2022-09-02 2022-12-20 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质
CN115495578B (zh) * 2022-09-02 2023-12-22 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质
CN115952854A (zh) * 2023-03-14 2023-04-11 杭州太美星程医药科技有限公司 文本脱敏模型的训练方法、文本脱敏方法及应用
CN116994309A (zh) * 2023-05-06 2023-11-03 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN116994309B (zh) * 2023-05-06 2024-04-09 浙江大学 一种公平性感知的人脸识别模型剪枝方法
CN117835246A (zh) * 2023-12-29 2024-04-05 山东大学 一种面向任务的隐私语义通信方法
CN117610080A (zh) * 2024-01-24 2024-02-27 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法
CN117610080B (zh) * 2024-01-24 2024-04-19 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法

Also Published As

Publication number Publication date
CN114417427B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
Song et al. Analyzing user-level privacy attack against federated learning
Luo et al. Feature inference attack on model predictions in vertical federated learning
Zhang et al. Gan enhanced membership inference: A passive local attack in federated learning
CN114417427B (zh) 一种面向深度学习的数据敏感属性脱敏系统及方法
Amin et al. Android malware detection through generative adversarial networks
Ma et al. Learn to forget: Machine unlearning via neuron masking
Li et al. Deepobfuscator: Adversarial training framework for privacy-preserving image classification
CN111400754A (zh) 保护用户隐私的用户分类系统的构建方法及装置
Parisot et al. Property inference attacks on convolutional neural networks: Influence and implications of target model's complexity
Liu et al. Membership inference attacks against machine learning models via prediction sensitivity
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN114513337B (zh) 一种基于邮件数据的隐私保护链接预测方法及系统
CN114863226A (zh) 一种网络物理系统入侵检测方法
Wang et al. More than enough is too much: Adaptive defenses against gradient leakage in production federated learning
CN115795406A (zh) 一种可逆的人脸匿名化处理系统
CN115238827A (zh) 保护隐私的样本检测系统训练方法及装置
Kunar et al. DTGAN: Differential private training for tabular GANs
CN111222583A (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
CN113850399A (zh) 一种基于预测置信度序列的联邦学习成员推断方法
Shen et al. Analysis of application examples of differential privacy in deep learning
Yu et al. Security and Privacy in Federated Learning
CN115719085B (zh) 一种深度神经网络模型反演攻击防御方法及设备
CN115834251A (zh) 基于超图Transformer威胁狩猎模型建立方法
Li et al. Online alternate generator against adversarial attacks
CN112668401B (zh) 一种基于特征解耦合的人脸隐私保护方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant