CN117171766A - 基于深度神经网络模型的数据保护方法、系统及介质 - Google Patents
基于深度神经网络模型的数据保护方法、系统及介质 Download PDFInfo
- Publication number
- CN117171766A CN117171766A CN202310955526.4A CN202310955526A CN117171766A CN 117171766 A CN117171766 A CN 117171766A CN 202310955526 A CN202310955526 A CN 202310955526A CN 117171766 A CN117171766 A CN 117171766A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- deep neural
- operator
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims description 41
- 238000004220 aggregation Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000002955 isolation Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 238000001994 activation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- LPEPZBJOKDYZAD-UHFFFAOYSA-N flufenamic acid Chemical compound OC(=O)C1=CC=CC=C1NC1=CC=CC(C(F)(F)F)=C1 LPEPZBJOKDYZAD-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于深度神经网络模型的数据保护方法、系统及介质，其中，所述方法包括：获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。本发明提出了一种基于深度神经网络模型的数据保护方法，旨在解决现有技术中完全加密的私有推理的延迟问题以及部分加密的私有推理的安全泄露问题，具体通过安全子图约束和位置加密的方法在防止安全泄露的前提下大大减少了延迟，达到良好的性能效果。
Description
技术领域
本发明涉及数据处理及神经网络模型技术领域，特别是涉及一种基于深度神经网络模型的数据保护方法、系统及介质。
背景技术
随着深度神经网络的不断进步,尤其是基于Transformer结构的网络出现后它们被更加广泛的应用到现实生活中的各个领域，例如图像处理、语音处理、文字处理等，用户访问各种智能应用程序的主要方式是通过机器学习即服务(Machine Learning as aservices，MLaaS)。在MLaaS中，用户上传他们的输入并收到推理的结果，然而，当智能应用需要进一步与更多应用耦合时，用户和服务提供商的隐私问题成为了最大的阻碍。
用户希望在不泄露其私密输入的情况下使用智能应用，而服务提供商希望可以保护网络模型和训练数据集，现有的基于密码学原语的隐私推理是一种非常有潜力的解决方案，具体用到的密码学原语包括全同态加密，加性秘密共享，混淆电路，不经意传输等。但是该方法对隐私输入和模型参数进行加密，并完全在加密数据上执行推理，得到只有用户知道的推理结果，基于安全原语的隐私推理对硬件依赖程度低、安全设置容易、对隐私数据保护能力强，非常适用于MLaaS场景，同时最大的缺点是密码学原语对于神经网络中的非线性计算并不相容，会带来高昂的推理时间。
发明内容
本发明的目的在于提供一种基于深度神经网络模型的数据保护方法、系统及介质，用于解决现有技术中隐私推理存在延迟以及安全泄露的问题。
第一方面，本申请提供了一种基于深度神经网络模型的数据保护方法，所述方法包括：
获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
在本申请一个可能的实现方式中，所述方法还包括基于所述初始深度神经网络模型进行子图分割，具体包括：
基于所述初始神经网络模型建立支配节点树，其中，所述初始神经网络模型的输入为所述支配节点树的根节点，输出为所述支配节点树的结束节点；
基于节点属性进行识别，以识别所述支配节点树中除去所述根节点以及所述结束节点以外的其余节点，其中，所述其余节点包括线性算子、非线性算子以及聚合算子；
基于所述支配节点树利用数据流截断原则识别分割节点，基于所述分割节点将所述支配节点树进行节点分割得到所述分割子图，其中，所述分割节点包括聚合算子。
在本申请一个可能的实现方式中，所述基于所述支配节点树利用数据流截断原则识别分割节点，具体包括：
获取所述支配节点树中的聚合算子；
基于所述聚合算子作数据流截断原则推理以识别所述分割节点，其中，当移除一个目标聚合算子导致所述初始神经网络模型推理数据流被截断时，判断当前目标聚合算子为所述分割节点。
在本申请一个可能的实现方式中，所述基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型，具体包括：
基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离；
基于预设距离与不同分支对应的安全距离进行比较，其中，若所述安全距离小于所述预设距离，则表明当前分支不安全，若所述安全距离大于或者等于所述预设距离，则表明当前分支安全；
筛选掉不安全的分支，保留安全分支以得到全安全子图的所述目标深度神经网络模型。
在本申请一个可能的实现方式中，所述基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离，具体包括：
获取当前分支的输入运算符得到对应运算符的安全距离，其中，线性运算符的安全距离为第一参数，非线性运算符的安全距离为第二参数，聚合运算符的安全距离为第三参数；
基于所述第一参数以及所述第二参数结合当前分支的数据流向进行安全距离计算，以得到对应分支数据流在到达非线性运算符前的安全距离。
在本申请一个可能的实现方式中，所述基于预设距离与不同分支对应的安全距离进行比较，具体包括：
分支数据流在到达非线性运算符前，分支仅存在所述线性运算符，则判断所述线性运算符对应的数量值，其中，若所述数量值大于或者等于所述预设数量，则表明当前分支安全；否则表明当前分支不安全；
分支数据流在到达非线性运算符前，分支包括所述线性运算符和/或所述聚合运算符，则基于所述聚合运算符对应的第三参数进行判断，其中，若所述第三参数大于或者等于所述预设距离，则表明当前分支安全；否则表明当前分支不安全。
在本申请一个可能的实现方式中，所述在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对所述中间处理数据进行加密作业，具体包括：
在输入数据基于所述目标深度神经网络模型处理过程中，每经过一次运算符计算后得到一次中间处理数据，其中，
当识别到所述中间处理数据经过非线性运算符运算时，利用位置加密对所述中间处理数据进行加密，其中，具体通过乱序矩阵对所述中间处理数据进行加密。
第二方面，本申请提供了一种基于深度神经网络模型的数据保护系统，所述系统包括：
获取模块，用于获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
筛选模块，用于基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
加密模块，用于在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
第三方面，本申请提供了一种上述的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于深度神经网络模型的数据保护方法。
第四方面，本申请提供了一种上述的电子设备，所述电子设备包括：处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的基于深度神经网络模型的数据保护方法。
如上所述，本发明的基于深度神经网络模型的数据保护方法、系统及介质，解决现有技术中完全加密的私有推理的延迟问题以及部分加密的私有推理的安全泄露问题，具体通过安全子图约束和位置加密的方法在防止安全泄露的前提下大大减少了延迟，达到良好的性能效果。
附图说明
图1显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图2显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图3显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图4显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图5显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图6(a)和(b)显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的安全子图的示意图；
图7显示为本发明的基于深度神经网络模型的数据保护方法于一实施例中的方法步骤示意图；
图8显示为本发明的基于深度神经网络模型的数据保护系统于一实施例中的结构示意图；
图9显示为本发明一实施例中电子设备的结构示意图。
元件标号说明
S102～S106 步骤
S202～S206 步骤
S302～S304 步骤
S402～S406 步骤
S502～S504 步骤
S702～S704 步骤
80 基于深度神经网络模型的数据保护系统
81 获取模块
82 筛选模块
83 加密模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
现有技术的技术方案中，完全加密的私有推理(Fully Encrypted PrivateInference，FEPI)是一种旨在运行机器学习模型时保护数据所有者(客户端)和推理提供者(服务器)隐私的方法，在FEPI中，私有输入和模型权重在发送到服务器进行推理之前会被加密，服务器对加密数据进行计算，并将加密的结果返回给客户端，客户端然后解密结果以获得最终的推理预测，但是完全加密私有推理这一法的主要缺点是其广泛的延迟，其延迟主要受到非线性操作的限制，这些操作需要多轮通信和大量的传输数据。例如，ResNet-50在本地区域网络上对图像进行分类可能需要数十秒的时间，其中非线性层的计算时间占据了超过“90％”，随着像Transformer这样的DNN深度神经网络模型在大型语言模型中的使用，引入了更复杂的非线性操作，如GELU和Softmax，这一瓶颈变得更加明显。
对此，部分加密的私有推理(Partially Encrypted Private Inference，PEPI)减少了完全加密私有推理(FEPI)中引入的延迟问题，在PEPI中，私有输入和模型权重仍然被加密，但部分非线性操作被外包给客户端进行明文计算，与FEPI不同，PEPI中的非线性操作不再在加密数据上执行，而是在客户端解密的中间结果上进行计算，这样一来，PEPI通过减少对加密数据的操作次数和通信量，显著减少了计算的延迟。虽然部分加密私有推理(PEPI)是一种替代方案，将所有非线性操作外包给客户端进行明文计算，这有效地消除了基准，但是在PEPI方法中，服务器将其份额发送给客户端，以便客户端可以解密中间激活并对非线性操作进行明文评估，结果激活被重新加密并发送给服务器，虽然在推理过程中仍然确保了客户端输入和模型权重的安全性，特别是新披露的中间激活，但对抗性客户端可以利用推理结果执行更强大的黑盒攻击，PEFI的研究表明，客户端甚至可以窃取所有权重，因此存在漏洞。
因此，鉴于当前已有的隐私推理方法存在诸多问题，无法在保证推理双方的隐私的同时实现高效的推理，本申请提出了一种基于深度神经网络模型的数据保护方法，旨在解决FEPI的延迟问题以及PEPI的安全泄露问题，具体通过安全子图约束和位置加密的方法在防止安全泄露的前提下大大减少了延迟，达到良好的性能效果。
请参阅图1，于发明一实施例中，本发明的基于深度神经网络模型的数据保护方法包括如下步骤：
步骤S102，获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
步骤S104，基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
步骤S106，在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
需要说明的是，于本实施例中，获取到所述初始深度神经网络模型后，需要基于所述初始深度神经网络模型进行子图分割，于发明一实施例中，如图2所示，具体包括如下步骤：
步骤S202，基于所述初始神经网络模型建立支配节点树，其中，所述初始神经网络模型的输入为所述支配节点树的根节点，输出为所述支配节点树的结束节点；
步骤S204，基于节点属性进行识别，以识别所述支配节点树中除去所述根节点以及所述结束节点以外的其余节点，其中，所述其余节点包括线性算子、非线性算子以及聚合算子；
步骤S206，基于所述支配节点树利用数据流截断原则识别分割节点，基于所述分割节点将所述支配节点树进行节点分割得到所述分割子图，其中，所述分割节点包括聚合算子。
需要说明的是，于本实施例中，首先对初始神经网络模型建立一个支配节点树，在此树中输入为根节点，输出作为结束节点，而其余节点则包括有线性算子、非线性算子以及聚合算子，其中，满足数据流截断原则的聚合算子被识别成分割节点，从而可以基于分割节点将所述支配节点树进行节点分割得到对应的分割子图，具体地，基于所述支配节点树利用数据流截断原则识别分割节点，于发明一实施例中，如图3所示，具体包括如下步骤：
步骤S302，获取所述支配节点树中的聚合算子；
步骤S304，基于所述聚合算子作数据流截断原则推理以识别所述分割节点，其中，当移除一个目标聚合算子导致所述初始神经网络模型推理数据流被截断时，判断当前目标聚合算子为所述分割节点。
需要说明的是，对一个子图而言，其内部的分支都会在一个聚合算子处汇合，但并不是所有的聚合算子都可以被作为分割节点，因此需要对聚合算子进行分析以识别可以作为分割节点的聚合算子，其中，具体基于所述支配节点树利用数据流截断原则来识别分割节点，当移除一个目标聚合算子导致所述初始神经网络模型推理数据流被截断时，判断当前目标聚合算子为所述分割节点，显然，只有符合对应的数据流截断原则的聚合算子才可以被识别成分割节点，不满足数据流截断原则的聚合算子则被划分至对应的分割子图中。
进一步地，于发明一实施例中，如图4所示，所述基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型，具体包括如下步骤：
步骤S402，基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离；
步骤S404，基于预设距离与不同分支对应的安全距离进行比较，其中，若所述安全距离小于所述预设距离，则表明当前分支不安全，若所述安全距离大于或者等于所述预设距离，则表明当前分支安全；
步骤S406，筛选掉不安全的分支，保留安全分支以得到全安全子图的所述目标深度神经网络模型。
需要说明的是，于本实施例中，通过距离正则化机制获取全安全子图的目标深度神经网络模型可以确保数据传输的安全，其中，不同运算符对应有自己的安全距离，相应地，每个分割子图内对应有多路分支，因此，为了确保分割子图的安全，需要确保安全子图内的分支都是安全的，因此，可以基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离，进而可以基于预设距离与不同分支对应的安全距离进行比较，具体地，若所述安全距离小于所述预设距离，则表明当前分支不安全，若所述安全距离大于或者等于所述预设距离，则表明当前分支安全，最后筛选掉不安全的分支，保留安全分支可以得到对应安全的分割子图，即安全子图，进而对所有分割子图进行同样操作能够得到全安全子图的所述目标深度神经网络模型。
进一步地，于发明一实施例中，如图5所示，所述基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离，具体包括如下步骤：
步骤S502，获取当前分支的输入运算符得到对应运算符的安全距离，其中，线性运算符的安全距离为第一参数，非线性运算符的安全距离为第二参数，聚合运算符的安全距离为第三参数；
步骤S504，基于所述第一参数以及所述第二参数结合当前分支的数据流向进行安全距离计算，以得到对应分支数据流在到达非线性运算符前的安全距离。
进一步地，于发明一实施例中，所述基于预设距离与不同分支对应的安全距离进行比较，具体包括如下步骤：分支数据流在到达非线性运算符前，分支仅存在所述线性运算符，则判断所述线性运算符对应的数量值，其中，若所述数量值大于或者等于所述预设数量，则表明当前分支安全；否则表明当前分支不安全；分支数据流在到达非线性运算符前，分支包括所述线性运算符和/或所述聚合运算符，则基于所述聚合运算符对应的第三参数进行判断，其中，若所述第三参数大于或者等于所述预设距离，则表明当前分支安全；否则表明当前分支不安全。
需要说明的是，于本实施例中，所述线性运算符本身就具有一个安全距离，对应的第一参数可为“1”，所述非线性运算符由于是明文计算，因此不安全，对应的第二参数可为“0”，对应聚合运算符而言，所述第三参数存在条件判断，其中，如果至少有两个输入是密文，则表明安全，对应的安全距离为“2”，即第三参数在安全的条件下为“2”，例如，如果两个输入无法从它们的和中恢复，则表明是安全的，否则，即为不安全，对应的安全距离为零，即第三参数在不安全的条件下位“0”，此外，单射型激活函数(如Sigmoid和GELU)不隔离数据流，因此安全距离为“0”，则不安全，其他激活函数(如LayerNorm和SoftMax)对输入进行归一化，原始输入无法被推断，则表明安全。
进一步地，基于所述第一参数以及所述第二参数结合当前分支的数据流向进行安全距离计算，以得到对应分支数据流在到达非线性运算符前的安全距离，从而可以基于安全距离与对应的预设距离进行计算以识别当前分支是否安全，其中，所述预设距离为“2”，所述预设数量为“2”，具体地，如图6中(a)和(b)所示，显示为安全子图的示意图，其中，“Linear”表示线性算子，“Aggr.”表示聚合算子，“Relu”表示激活函数，“NLinear”表示非线性算子，“S”表示密文，“C”表示明文，具体地，图6(a)显示了分支数据流在到达非线性运算符前，分支包括所述线性运算符和/或所述聚合运算符的情形，其中，聚合算子的输入存在一个是“Linear”线性算子，另一个是侧边输入，相应地，除了加密的线性输出外，只要至少有一个侧边输入是加密的，即侧边输入对应的第三参数等于对应的预设距离，为“2”，进而图6(a)中的分支安全距离为“2”，满足安全需要，其次，图6(b)显示为分支数据流在到达非线性运算符前，分支仅存在所述线性运算符的情形，其中，在抵达“NLinear”非线性算子时，之前的输入包括了两个线性算子，即对应两次线性运算符计算，因此，对应的数量值为“2”，相应地，所述数量值等于所述预设数量，因此表明当前分支安全。
进一步地，于发明一实施例中，如图7所示，所述在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对所述中间处理数据进行加密作业，具体包括如下步骤：
步骤S702，在输入数据基于所述目标深度神经网络模型处理过程中，每经过一次运算符计算后得到一次中间处理数据；
步骤S704，当识别到所述中间处理数据经过非线性运算符运算时，利用位置加密对所述中间处理数据进行加密，其中，具体通过乱序矩阵对所述中间处理数据进行加密。
需要说明的是，上述实施例中说明了利用距离正则化来筛选安全子图得到全安全子图的所述目标深度神经网络模型，于本实施例中，具体说明了利用位置加密的方法来对中间处理数据进行加密，其中，参考图6中的图(a)和图(b)，数据流在到达非线性算子前，会进行一次加密处理，对应的处理方式即为本实施例中的位置加密，具体地，假设外包的非线性运算符是h(·)，那么其推理的正确性可以用下式表示：
其中，乱序矩阵π为一个恒等矩阵，但是行或列被乱序了，所有的乱序操作都在可以自动随机生成，对于每个用户查询需求，在将处理数据“X”透露给客户端之前，选择一个新鲜的乱序对(πl，πr)，并将它们左乘和右乘到“X”上，分别乱序其行和列，h(πl*X*πr)保持了每个激活值(非线性层的计算结果)的正确性，因为它们不依赖于位置，一些需要行信息的运算符，如SoftMax和LayerNorm，也是兼容的，因此乱序矩阵加密的方式具备通用性，可应用于多种场景，同时加密后，利用逆矩阵和/>可以恢复原有数据的顺序。
本申请实施例还提供一种基于深度神经网络模型的数据保护系统，所述基于深度神经网络模型的数据保护系统可以实现本申请所述的基于深度神经网络模型的数据保护方法，但本申请所述的基于深度神经网络模型的数据保护方法的实现装置包括但不限于本实施例列举的基于深度神经网络模型的数据保护系统的结构，凡是根据本申请的原理所做的现有技术的结构变形和替换，都包括在本申请的保护范围内。
请参阅图8，在一实施例中，本实施例提供的一种基于深度神经网络模型的数据保护系统80，所述系统包括：
获取模块81，用于获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
筛选模块82，用于基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
加密模块83，用于在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
由于本实施例的具体实现方式与前述方法实施例对应，因而于此不再对同样的细节做重复赘述，本领域技术人员也应当理解，图8实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上，且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。
参阅图9，本实施例提供一种电子设备，详细的，电子设备至少包括通过总线连接的：存储器、处理器，其中，存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
综上所述，本发明解决现有技术中完全加密的私有推理的延迟问题以及部分加密的私有推理的安全泄露问题，具体通过安全子图约束和位置加密的方法在防止安全泄露的前提下大大减少了延迟，达到良好的性能效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例还可以提供一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
所述计算机程序产品被计算机执行时，所述计算机执行前述方法实施例所述的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种基于深度神经网络模型的数据保护方法，其特征在于，包括：
获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
2.根据权利要求1所述的基于深度神经网络模型的数据保护方法，其特征在于，所述方法还包括基于所述初始深度神经网络模型进行子图分割，具体包括：
基于所述初始神经网络模型建立支配节点树，其中，所述初始神经网络模型的输入为所述支配节点树的根节点，输出为所述支配节点树的结束节点；
基于节点属性进行识别，以识别所述支配节点树中除去所述根节点以及所述结束节点以外的其余节点，其中，所述其余节点包括线性算子、非线性算子以及聚合算子；
基于所述支配节点树利用数据流截断原则识别分割节点，基于所述分割节点将所述支配节点树进行节点分割得到所述分割子图，其中，所述分割节点包括聚合算子。
3.根据权利要求2所述的基于深度神经网络模型的数据保护方法，其特征在于，所述基于所述支配节点树利用数据流截断原则识别分割节点，具体包括：
获取所述支配节点树中的聚合算子；
基于所述聚合算子作数据流截断原则推理以识别所述分割节点，其中，当移除一个目标聚合算子导致所述初始神经网络模型推理数据流被截断时，判断当前目标聚合算子为所述分割节点。
4.根据权利要求2所述的基于深度神经网络模型的数据保护方法，其特征在于，所述基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型，具体包括：
基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离；
基于预设距离与不同分支对应的安全距离进行比较，其中，若所述安全距离小于所述预设距离，则表明当前分支不安全，若所述安全距离大于或者等于所述预设距离，则表明当前分支安全；
筛选掉不安全的分支，保留安全分支以得到全安全子图的所述目标深度神经网络模型。
5.根据权利要求4所述的基于深度神经网络模型的数据保护方法，其特征在于，所述基于不同运算符的隔离属性得到每个分割子图内对应分支的安全距离，具体包括：
获取当前分支的输入运算符得到对应运算符的安全距离，其中，线性运算符的安全距离为第一参数，非线性运算符的安全距离为第二参数，聚合运算符的安全距离为第三参数；
基于所述第一参数以及所述第二参数结合当前分支的数据流向进行安全距离计算，以得到对应分支数据流在到达非线性运算符前的安全距离。
6.根据权利要求5所述的基于深度神经网络模型的数据保护方法，其特征在于，所述基于预设距离与不同分支对应的安全距离进行比较，具体包括：
分支数据流在到达非线性运算符前，分支仅存在所述线性运算符，则判断所述线性运算符对应的数量值，其中，若所述数量值大于或者等于所述预设数量，则表明当前分支安全；否则表明当前分支不安全；
分支数据流在到达非线性运算符前，分支包括所述线性运算符和/或所述聚合运算符，则基于所述聚合运算符对应的第三参数进行判断，其中，若所述第三参数大于或者等于所述预设距离，则表明当前分支安全；否则表明当前分支不安全。
7.根据权利要求6所述的基于深度神经网络模型的数据保护方法，其特征在于，所述在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对所述中间处理数据进行加密作业，具体包括：
在输入数据基于所述目标深度神经网络模型处理过程中，每经过一次运算符计算后得到一次中间处理数据，其中，
当识别到所述中间处理数据经过非线性运算符运算时，利用位置加密对所述中间处理数据进行加密，其中，具体通过乱序矩阵对所述中间处理数据进行加密。
8.一种基于深度神经网络模型的数据保护系统，其特征在于，包括：
获取模块，用于获取初始深度神经网络模型，其中，所述初始深度神经网络模型包括多个分割子图；
筛选模块，用于基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支，以得到全安全子图的目标深度神经网络模型；
加密模块，用于在输入数据基于所述目标深度神经网络模型处理过程中，利用位置加密对中间处理数据进行加密作业。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述基于深度神经网络模型的数据保护方法。
10.一种电子设备，其特征在于，所述电子设备包括：处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至7中任一项所述基于深度神经网络模型的数据保护方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955526.4A CN117171766B (zh) | 2023-07-31 | 2023-07-31 | 基于深度神经网络模型的数据保护方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955526.4A CN117171766B (zh) | 2023-07-31 | 2023-07-31 | 基于深度神经网络模型的数据保护方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117171766A true CN117171766A (zh) | 2023-12-05 |
| CN117171766B CN117171766B (zh) | 2024-04-05 |
Family
ID=88936585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310955526.4A Active CN117171766B (zh) | 2023-07-31 | 2023-07-31 | 基于深度神经网络模型的数据保护方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171766B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050355A1 (en) * | 2003-08-29 | 2005-03-03 | Graunke Gary L. | Securing distributable content against hostile attacks |
| WO2006115219A1 (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Industrial Co., Ltd. | プログラム難読化装置及び難読化方法 |
| WO2016077731A1 (en) * | 2014-11-14 | 2016-05-19 | Schlumberger Canada Limited | Image feature alignment |
| JP2018116194A (ja) * | 2017-01-19 | 2018-07-26 | 日本電信電話株式会社 | ペアリング型変換装置、ペアリング型変換方法、プログラム |
| WO2019200264A1 (en) * | 2018-04-12 | 2019-10-17 | Georgia Tech Research Corporation | Privacy preserving face-based authentication |
| US20200301898A1 (en) * | 2018-06-25 | 2020-09-24 | BigStream Solutions, Inc. | Systems and methods for accelerating data operations by utilizing dataflow subgraph templates |
| CN111833273A (zh) * | 2020-07-17 | 2020-10-27 | 华东师范大学 | 基于长距离依赖的语义边界增强方法 |
| WO2021066816A1 (en) * | 2019-10-01 | 2021-04-08 | Visa International Service Association | Graph learning and automated behavior coordination platform |
| CN114841323A (zh) * | 2022-05-17 | 2022-08-02 | 北京灵汐科技有限公司 | 神经网络计算图的处理方法及处理装置 |
-
2023
- 2023-07-31 CN CN202310955526.4A patent/CN117171766B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050050355A1 (en) * | 2003-08-29 | 2005-03-03 | Graunke Gary L. | Securing distributable content against hostile attacks |
| WO2006115219A1 (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Industrial Co., Ltd. | プログラム難読化装置及び難読化方法 |
| WO2016077731A1 (en) * | 2014-11-14 | 2016-05-19 | Schlumberger Canada Limited | Image feature alignment |
| JP2018116194A (ja) * | 2017-01-19 | 2018-07-26 | 日本電信電話株式会社 | ペアリング型変換装置、ペアリング型変換方法、プログラム |
| WO2019200264A1 (en) * | 2018-04-12 | 2019-10-17 | Georgia Tech Research Corporation | Privacy preserving face-based authentication |
| US20200301898A1 (en) * | 2018-06-25 | 2020-09-24 | BigStream Solutions, Inc. | Systems and methods for accelerating data operations by utilizing dataflow subgraph templates |
| WO2021066816A1 (en) * | 2019-10-01 | 2021-04-08 | Visa International Service Association | Graph learning and automated behavior coordination platform |
| CN111833273A (zh) * | 2020-07-17 | 2020-10-27 | 华东师范大学 | 基于长距离依赖的语义边界增强方法 |
| CN114841323A (zh) * | 2022-05-17 | 2022-08-02 | 北京灵汐科技有限公司 | 神经网络计算图的处理方法及处理装置 |
Non-Patent Citations (2)
| Title |
|---|
| NAIXUE KUANG；YANZHI ZUO；YONGHUA HUO: "Network Link Connectivity Prediction Based on GCN and Differentiable Pooling Model", 2022 IEEE 14TH INTERNATIONAL CONFERENCE ON ADVANCED INFOCOMM TECHNOLOGY, 11 July 2022 (2022-07-11), pages 1 - 6, XP034185354, DOI: 10.1109/ICAIT56197.2022.9862715 * |
| 杨洪伟: "基于数据特征对齐的迁移学习方法研究", 信息科技, 1 June 2022 (2022-06-01), pages 20 - 34 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117171766B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11196541B2 (en) | Secure machine learning analytics using homomorphic encryption | |
| Zhou et al. | Quantum image encryption scheme with iterative generalized Arnold transforms and quantum image cycle shift operations | |
| TWI769753B (zh) | 保護資料隱私的圖片分類方法及裝置 | |
| CN111275202A (zh) | 一种面向数据隐私保护的机器学习预测方法及系统 | |
| Chi et al. | Privacy partitioning: Protecting user data during the deep learning inference phase | |
| EP4270266A1 (en) | Method and apparatus for updating machine learning model | |
| CN113792890B (zh) | 一种基于联邦学习的模型训练方法及相关设备 | |
| CN111767411A (zh) | 知识图谱表示学习优化方法、设备及可读存储介质 | |
| Cheng et al. | SecureAD: A secure video anomaly detection framework on convolutional neural network in edge computing environment | |
| Shankar et al. | Secure image transmission in wireless sensor network (WSN) applications | |
| Sultan et al. | A novel image-based homomorphic approach for preserving the privacy of autonomous vehicles connected to the cloud | |
| CN112380404B (zh) | 数据过滤方法、装置及系统 | |
| CN117349685A (zh) | 一种通信数据的聚类方法、系统、终端及介质 | |
| CN117171766B (zh) | 基于深度神经网络模型的数据保护方法、系统及介质 | |
| CN117034304A (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 | |
| Shankar et al. | An optimal lightweight cryptographic hash function for secure image transmission in wireless sensor networks | |
| CN115643105A (zh) | 一种基于同态加密和深度梯度压缩的联邦学习方法及装置 | |
| CN116796338A (zh) | 隐私保护的在线深度学习系统及方法 | |
| Koppaka et al. | ElGamal algorithm with hyperchaotic sequence to enhance security of cloud data | |
| Fitwi et al. | Lightweight frame scrambling mechanisms for end‐to‐end privacy in edge smart surveillance | |
| Jiang et al. | Anomaly Detection and Access Control for Cloud-Edge Collaboration Networks. | |
| CN117749527B (zh) | 基于大数据分析和云计算的安全防护方法及系统 | |
| CN117177017B (zh) | 一种视频处理方法、装置、设备及介质 | |
| Kumar et al. | Integrating machine learning algorithms with an advanced encryption scheme: enhancing data security and privacy | |
| CN112183612B (zh) | 一种基于参数扩充的联合学习方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |