CN116824281B - 一种隐私保护的图像分类方法及装置 - Google Patents
一种隐私保护的图像分类方法及装置 Download PDFInfo
- Publication number
- CN116824281B CN116824281B CN202311104681.1A CN202311104681A CN116824281B CN 116824281 B CN116824281 B CN 116824281B CN 202311104681 A CN202311104681 A CN 202311104681A CN 116824281 B CN116824281 B CN 116824281B
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- relu
- image classification
- activation layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004913 activation Effects 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000013138 pruning Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010429 evolutionary process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种隐私保护的图像分类方法及装置，该方法包括：基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。
Description
技术领域
本发明属于多方安全计算、隐私保护推理、图像分类技术领域，尤其涉及一种隐私保护的图像分类方法及装置。
背景技术
VGG19、ResNet152等大模型的出现促进了神经网络推导在图像分类领域更为流行和火爆。但这一过程中也产生了新的隐私问题，一方面用户不希望模型提供者获取他输入图像里的私人信息；另一方面模型提供者也不希望其模型数据被用户或其他竞争者获取。因此隐私保护神经网络推理应运而生，利用多方安全计算可以实现隐私保护的神经网络推理，在图像分类领域也即隐私保护的图像分类。即利用多方安全计算的各种协议加密用户输入的图像和服务提供者的神经网络，再对用户的输入运行神经网络的推理功能。在协议执行结束时，用户和服务提供者都得到最终的图像分类结果，并且本方的输入都未泄露给对方。但本身用于图像分类的大模型的训练和部署就非常耗时，并且安全多方计算的执行性能也比较低，因此导致隐私保护图像分类的性能十分低效。
发明内容
针对现有技术存在的问题，本申请实施例的目的是提供一种隐私保护的图像分类方法及装置。
根据本申请实施例的第一方面，提供一种隐私保护的图像分类方法，包括：
基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。
进一步地，所述激活层的替换具体为：
分别将每个Relu激活层替换为平方激活层并进行预定轮次的微调，获得准确度下降的数值，利用各个层的准确度下降的数值对该层赋一个权重；
利用二分算法进行被替换层的查找，从而完成Relu激活层到平方激活层的替换，在每一轮二分查找中：
根据每个Relu激活层的权重，随机挑选特定数量的Relu激活层作为被替换层；
将被替换层的Relu函数替换为Relu函数和平方函数的叠加态，其中平方线的系数由0变化到1，从而使得Relu激活层逐渐过渡为平方激活层。
进一步地，所述权重，其中Dj为Relu激活层Layerj准确度下降的数值，N为所述预训练图像分类模型中激活层的总数。
进一步地，所述Relu函数和平方函数的叠加态为：
其中，取自函数/>，其中T为微调阶段的总迭代次数，t为当前迭代次数。
进一步地，利用k叉-树状进化算法进行超参数的调整。
进一步地，所述k叉-树状进化算法具体为：
每个节点产生多个随机进化方向作为其孩子节点，若该孩子节点使得准确度下降过大则剪枝；每个父节点的孩子节点按准确度进行排序，最多保留k个孩子节点，其余孩子节点被剪枝；若该孩子节点触发衰退事件则导致回溯，将其父节点的状态拷贝为其孩子节点的状态。
进一步地，通过动态规划进行安全多方计算协议的分配，具体为：
从开始层向下依次遍历所有网络层，对第i网络层，计算其以每一种协议进行执行时，从开始层到第i层这个子网络的最小执行开销，从而得到所有网络层的协议类型。
进一步地，将所述平方激活层及其前面的卷积层或全连接层固定为算术共享协议类型，利用平方激活层将模型划分为若干区间的特性，在各区间内并行通过动态规划进行安全多方计算协议的分配。
根据本申请实施例的第二方面，提供一种隐私保护的图像分类装置，包括：
模型调整模块：基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
协议分配模块：模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
图像分类模块：客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请可以在保证图像分类精度满足用户给定阈值的前提下，进行优化神经网络的结构、选择合适的超参数、给各个网络层分配适当的协议类型，以实现高效地执行隐私保护图像分类的过程。并且整个流程不需要重新训练完整的神经网络，只需要对已经训练好的神经网络进行微调。大大提升了隐私保护图像分类的执行效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种隐私保护的图像分类方法的框架图。
图2是根据一示例性实施例示出的激活层替换策略流程图。
图3是根据一示例性实施例示出的k叉-树状进化算法流程图。
图4是根据一示例性实施例示出的神经网络混合协议分配策略示意图。
图5是根据一示例性实施例示出的一种隐私保护的图像分类装置的框图。
图6是根据一示例性实施例示出的电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
名词解释：
1）大模型（Foundation Models）
大模型（Foundation Models）指的是具有巨大参数量的深度学习神经网络模型，这些模型的参数量通常达到数千万或数亿，因此一般来说大模型的神经网络层数都比较高。这些大模型通常需要使用比较先进的硬件设施（如GPU等）和高度优化的算法才能进行合理的训练和部署。
大模型的优点在于其表现能力通常比小模型会更强，使得其可以从数据中学到更为复杂和更为海量的模式特征。许多目前最先进的模型，如GPT-3。ResNet152等，都是大模型。然而，大模型也存在一些缺点。首先是计算和存储成本巨大，其需要最为先进和昂贵的设备进行运行和部署。其次是大模型学习过程容易发生过拟合，需要使用更加复杂的训练技巧使得模型的训练开销很大。
2）安全多方计算（Multi party computation, MPC）
安全多方计算可以使得各参与方共同秘密且安全地计算一个函数得到函数运算的结果，并且是在不泄露各方隐私输入给其他参与方的前提下，最终各协议参与方除了计算结果以及自己本身的输入数据之外对其他信息都一无所知。安全多方计算常常用于实现隐私保护深度学习。
3）秘密共享（Secret Sharing, SS）
秘密共享协议要求数据拥有方计算秘密数据的份额并将其分给各个协议参与方，协议参与方对不同的秘密共享份额进行计算，并得到最终计算结果的一定份额，将这些计算结果的份额结合在一起即可得到最终的计算结果。在实际应用中，大多数秘密共享协议都是阈值协议，即任何少于阈值的协议参与方集合都不能揭示秘密值的任何信息，任何大小至少为阈值的参与方集合都能重建秘密值。常见的秘密共享协议有算数共享和布尔共享，在后续用A代表算数共享协议用B代表布尔共享协议。
混乱电路是一种两方的安全计算协议，它要求MPC函数表示为由布尔门连接而成的电路网表，安全计算双方分为混淆方与评估方，混乱方负责生成并加密电路真值表、生成双方所有可能输入对应的密钥、并将真值表混淆后与自己输入对应的密钥发送给评估方；评估方则通过OT协议从混淆方处选择自己输入的密钥，并尝试逐行解密真值表得到当前门的输出。混乱电路可以视为一种不对称的秘密共享形式，因此在安全多方计算编译器中常常存在姚氏共享类型，在后续用Y代表姚氏混乱电路共享协议。
图1是根据一示例性实施例示出的一种隐私保护的图像分类方法的流程图，如图1所示，该方法应用于终端中，可以包括以下步骤：
（1）基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
（2）模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
（3）客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。
需要说明的是，本申请中的图像分类模型可以是VGG19，ResNet152，DenseNet等大模型，以下结合采用ResNet-152进行隐私保护的图像分类应用场景进行描述。
（1）基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
此步骤是通过一些轮次的训练过程进行超参数和网络结构的微调。具体地，Relu是神经网络中简单好用的激活层，但在采用安全多方计算进行隐私保护推理时Relu因为涉及布尔运算因此其只能选择布尔共享或姚氏共享等协议，而卷积层或全连接层因为不涉及布尔操作并且包含大量的算术运算，因此更适宜采用算术共享协议。一方面相邻网络层采用不同协议类型会涉及协议转换的开销；另一方面用布尔协议类型（布尔共享，姚氏共享等）来实现的Relu激活层本身的执行开销也很大。
因此，可以将一部分Relu激活层替换为平方激活层，这样即提高了激活层本身的执行效率又避免了不同协议之间进行转换的频率，这将大大提高隐私保护神经网络推理的执行效率。
首先，由于平方激活层容易导致梯度爆炸等问题导致神经网络的准确度性能下降，因此需要用户端提供给模型拥有者一个对准确度的最小阈值，以作为后续对Relu激活层进行替换的阈值。在不低于准确度阈值的前提下，将尽可能多的Relu激活层替换为平方激活层。
本申请采用二分算法来进行整体搜索过程，二分的左右端点left和right分别设为0和N-2（N为神经网络中激活层的总数）。这里需要将第一个和最后一个激活层固定为Relu，因为这两个激活层是前向传播和反向传播的第一个激活层，如果替换掉会严重影响网络的性能。随后进行激活层替换过程，每一轮次选取多个候选网络，在每个候选网络中随机选取mid个Relu激活层被替换为平方激活层，其中mid=（left+right）/2。其后验证替换后的神经网络是否可以达到准确度阈值，如果至少一个候选网络的准确度可以达到阈值，则left=mid，否则right=mid-1。当left和right相遇时，得到的left就是最大可被替换的Relu激活层数，并将此时保存的模型进行保存。
如图2所示，激活层的替换策略具体为：
首先在进入流程之前先进行预处理，分别将每个Relu激活层Layeri替换为平方激活层并进行一定轮次的微调，获得准确度下降的数值Di。利用各个层的D值对该层赋一个权重，这个权重即是该层被选取进行替换的概率。因为每个层对准确度的影响能力是不同的，对于使得准确度下降较多的Relu层应该以比较低的概率被选到替换为平方激活层。该步骤为二分算法前的全局步骤。
得到各个层被选取的概率后，即可通过二分算法来进行激活层替换过程。在每一轮二分查找中根据权重Wi随机选取mid个Relu激活层替换为平方激活层。如果直接将Relu层替换为平方激活层，则之前训练好的网络参数就将失效，需要重新利用训练集进行完整的网络训练过程，这会导致激活层替换流程的开销大大增加。因此可以将Relu层替换为，其只需要进行少数次的微调。其中/>取自函数/>，X2表示平方激活层，因为采用这种渐进式的激活层替换策略，因此替换过程是高效的，只需要在训练集上进行有限次数的微调即可完成激活层替换过程，微调阶段即指代激活层替换的阶段。其中T为微调阶段的总迭代次数，t为当前迭代次数。由于/>是从0逐渐增加到1，则最开始的时候网络中激活层仍然是Relu层，因此之前训练好的网络中的参数仍然有效，不需要重新进行训练过程。在微调的过程中，/>逐渐增加到1使得最终的激活层变为平方激活层完成Relu层到平方激活层的替换过程。并且这个过程中由于/>是凹函数，其变化率逐渐增大，即在最开始的阶段只添加少量的平方激活层的因素，而当神经网络中的参数适应了平方激活层之后再不断增加平方激活层的占比加速微调阶段的完成。
在本实施例中，依次将ResNet-152中的各个Relu激活层替换成平方激活层，并进行少批次的训练过程得到准确度的下降值，利用这个下降值给该激活层添加一个权重。基于这个权重随机抽取M个（M为0到 N-2范围内的一个整数）的Relu激活层替换为平方激活层。即保证每个层都有概率被选取到替换为平方激活层，但这个概率是不均等的。对每个激活层添加权重进行非等概率的随机抽取的好处是可以减小搜索空间提高效率，避免等概率随机选取可能导致的性能瓶颈。这是因为某些激活层如果被替换可能导致准确率下降很多，因此对这种激活层应该以比较小的概率被替换为平方激活层，但也不能完全不被取到，因为可能多个层互相作用会导致准确率下降的总幅度减缓。因此，这种非等概率随机抽取的选取方案，既减小了整体搜索空间排除了大量表现不好的激活层替换情况，又保留了小概率突变使得整体性能提升的这种情况的出现。
完成Relu激活层的替换后还需对神经网络中的一些超参数进行调整以获得最终的神经网络模型。本申请设计了k叉-树状进化算法对神经网络的各种超参数进行自动调整并得到性能较优的网络，其流程如图3所示（图3中斜线越密表示该节点所代表的网络结构的预测准确度越高）。每个节点产生多个随机进化方向作为其孩子节点，随后进行一些剪枝和回溯逻辑，这里的节点指的是一个网络模型结构，根节点是初始网络模型，针对该网络中的某些超参数进行调整（进化）即可得到一些新的网络模型结构，这些新的网络结构就作为该节点的孩子节点，每个节点都包含所有的超参数。1）若该孩子节点使得准确度下降过大则剪枝。2）每个父节点的孩子节点按准确度进行排序，最多保留k个孩子节点，其余孩子节点被剪枝。3）若该孩子节点触发衰退事件则导致回溯，将其父节点的状态拷贝为其孩子节点的状态，将该节点的父节点的超参数信息拷贝一个副本到一个新的节点中，并将这个新节点作为该节点的孩子节点，衰退事件以一个小概率触发。在这个过程中，若某个节点的准确度达到阈值要求，则可以终止流程，并返回该网络结构。k叉-树状进化算法不仅保留了传统进化算法通过变异来优化种群性能的优点，同时其限制每个节点最多k个孩子节点，这避免了种群规模过快增长的同时使得优质基因更为有效地遗传。本算法还提出衰退事件，这使得该算法可以更好的模拟种群进化的实际过程，避免种群进化的过程陷入局部最优解而无法修正的情况出现。
在本实施例中，将激活层替换后的ResNet-152进行超参数调优以得到网络推理的准确度的最优值。超参数调优采用k叉-树状进化算法。初始根节点为当前模型的网络结构，选取一定数量的超参数进行修改，修改后的网络结构即为孩子节点，每个节点会产生多个孩子节点。在产生孩子节点的过程中会进行一定的剪枝。如果该孩子节点导致模型预测准确度下降过多则剪枝该孩子节点；如果某节点有超过k个孩子节点，则将准确度排名前k的孩子节点进行保留，剪枝其他孩子节点；在生成孩子节点的过程中可能以一很小的概率触发衰退事件，将该节点的父节点的网络结构拷贝到这个孩子节点中。在该过程中如果出现满足准确度阈值要求的网络结构则可以直接退出。剪枝操作保证了进化树的规模不至于增长的过快，保证可以进行更多轮次的进化过程以获得更优的超参数方案。衰退事件赋予进化算法以修正自身搜索路径的机会，可以避免落入局部最优解。
通过上述操作即可知道是否存在替换M个Relu激活层为平方激活层并且满足准确度阈值要求的网络结构。找到最大的M值并将对应的网络结构进行保存。寻找最大的M值的过程可以采用二分查找算法来提升效率。
（2）模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
此步骤是针对用多方安全计算实现隐私推理的执行效率的优化，给每个层分配适合的协议类型以高效进行后续的多方安全计算。具体地，神经网络中有不同的层，如卷积层、全连接层、Relu激活层、平方激活层、Softmax层等。每种层采用不同安全多方计算协议进行执行会产生不同的开销，并且不同协议之间进行转换也有额外的开销，因此对神经网络的各个层分配不同的协议以优化神经网络推理的整体性能。大模型的神经网络是长且直的结构，因此可以采用动态规划的办法来进行混合协议分配的实现。
本申请所提供的混合协议分配策略实际上并不限制协议类型。但为方便说明，因此本申请假设协议类型仅有布尔共享、姚氏共享和算术共享三种协议类型，并分别由B、Y、A三个字母来表示。在实际应用场景则可以根据安全多方计算后端框架灵活选择其所支持的协议类型。如图4所示，是混合协议分配策略的整体流程描述。
利用动态规划进行混合协议分配的流程如下，维护一个二维动态规划数组DP[N][3]，其中N为总层数，3为安全多方计算的协议类型个数，0表示布尔共享，1表示姚氏共享，2表示算术共享。DP[i][[j]表示第i层网络以第j种协议进行执行时，从开始层到第i层这个子网络的最小执行开销，转移方程为。其中，/>表示第i层采用第j种协议的执行开销，/>表示从第i-1层协议k到第i层的协议j类型之间的转换开销。依次遍历所有网络层，达到末尾时选择最小的开销/>，其中/>，即为整个网络采用混合协议进行执行的最小开销，并可确定第N层所采用的协议类型。随后根据这些信息即可根据这些信息确定第N-1层网络层的协议类型，不断进行上述回溯过程即可得到所有网络层的协议类型，即可得到神经网络混合协议分配的最优解。该算法的时间复杂度是O(NK2)，空间复杂度为O(NK)。其中N为网络层数，K为协议类型数。
在本实施例中，得到网络结构优化后的 ResNet-152网络模型，对其各个网络层进行多方安全计算混合协议的分配过程。采用动态规划的协议分配策略，维护一个动态规划数组DP[i][[j]表示第i层网络以第j种协议进行执行时，从开始层到第i层的最小执行开销，当执行到第N个网络层时，即可得到整体网络的最小执行开销以及此时第N层所选用的协议类型。当得知第N层的协议类型后，即可反推出第N-1层的协议类型，以此类推不断进行反向回溯即可得到 ResNet-152所有网络层所分配的协议类型。动态规划进行混合协议分配保证在线性时间复杂度情况下完成协议分配流程并可得到最优分配方案。
由于上述动态规划的过程是一个串行执行的过程因此无法进行并行加速，当协议数量过大或者网络层数过多时，整体算法执行的时间的空间开销会比较大。为提升协议分配阶段的执行效率，本申请考虑了两个优化手段。
其一，由于在前序处理过程中部分Relu激活层已经被替换为平方激活层。利用这一先验知识进行协议预分配，将平方激活层及其前面的卷积层或全连接层固定为算术共享协议类型，因为这些层都涉及大量的算术运算，因此采用算术共享协议执行效率比较高同时又避免了不同协议之间进行转换的过程，大概率采用算术共享协议会比采用其他协议类型更为高效。采用预处理的方式简化混合协议分配搜索空间的整体大小以加速算法的执行过程。
其二，被替换的平方激活层天然的将整个神经网络分为一些区间，因此本申请提出可以在这些区间内并发地执行上述协议分配过程，这样使得整体运行效率大大提升。同时由于每个区间内进行协议分配仍然能得到该区间内的最优解，因此整个神经网络只在平方激活层处可能产生非最优分配，这样尽可能保证通过该算法最终得到的协议分配方案接近最优解。
（3）客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果；
客户端提供隐私推理的输入即一张照片，模型提供端提供优化后的ResNet-152网络，二者共同执行多方安全计算即可得到隐私推理的结果即该照片的分类结果，将该分类结果返回给用户端。
综上所述，由于安全多方计算存在多种协议类型，并且不同程序采用不同协议类型的执行性能差别较大，因此本申请考虑对图像分类网络的各个层分配不同的协议类型以实现混合协议分配优化整体神经网络推导的性能，本申请提出了一种面向神经网络的高效协议分配策略。同时如果相邻网络层采用不同协议类型时会导致协议转换的开销，因此本申请提出可以考虑将神经网络中的某些激活层替换为平方激活层并让平方激活层和其相邻的矩阵计算层都采用算术共享协议进行评估，这样一方面平方激活层的执行效率更高，另一方面可以避免协议转换的产生，本申请提供了一种高效的替换层查找策略。
与前述的隐私保护的图像分类方法的实施例相对应，本申请还提供了隐私保护的图像分类装置的实施例。
图5是根据一示例性实施例示出的一种隐私保护的图像分类装置框图。参照图5，该装置可以包括：
模型调整模块21，用于基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
协议分配模块22，用于模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
图像分类模块23，用于客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的面向大模型的隐私保护模型推理方法。如图6所示，为本发明实施例提供的一种面向大模型的隐私保护模型推理方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的面向大模型的隐私保护模型推理方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。
Claims (9)
1.一种隐私保护的图像分类方法，其特征在于，包括：
基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果；
其中，所述激活层的替换具体为：
分别将每个Relu激活层替换为平方激活层并进行预定轮次的微调，获得准确度下降的数值，利用各个层的准确度下降的数值对该层赋一个权重；
利用二分算法进行被替换层的查找，从而完成Relu激活层到平方激活层的替换，在每一轮二分查找中：
根据每个Relu激活层的权重，随机挑选特定数量的Relu激活层作为被替换层，其中所述特定数量为二分查找中的左右端点的平均值；
将被替换层的Relu函数替换为Relu函数和平方函数的叠加态，其中平方函数的系数由0变化到1，从而使得Relu激活层逐渐过渡为平方激活层。
2.根据权利要求1所述的方法，其特征在于，所述权重，其中Dj为Relu激活层Layerj准确度下降的数值，N为所述预训练图像分类模型中激活层的总数。
3.根据权利要求1所述的方法，其特征在于，所述Relu函数和平方函数的叠加态为：
,
其中，取自函数/>，其中T为微调阶段的总迭代次数，t为当前迭代次数。
4.根据权利要求1所述的方法，其特征在于，利用k叉-树状进化算法进行超参数的调整。
5.根据权利要求4所述的方法，其特征在于，所述k叉-树状进化算法具体为：
每个节点产生多个随机进化方向作为其孩子节点，若该孩子节点使得准确度下降过大则剪枝；每个父节点的孩子节点按准确度进行排序，最多保留k个孩子节点，其余孩子节点被剪枝；若该孩子节点触发衰退事件则导致回溯，将其父节点的状态拷贝为其孩子节点的状态。
6.根据权利要求1所述的方法，其特征在于，通过动态规划进行安全多方计算协议的分配，具体为：
从开始层向下依次遍历所有网络层，对第i网络层，计算其以每一种协议进行执行时，从开始层到第i层这个子网络的最小执行开销，从而得到所有网络层的协议类型。
7.根据权利要求6所述的方法，其特征在于，将所述平方激活层及其前面的卷积层或全连接层固定为算术共享协议类型，利用平方激活层将模型划分为若干区间的特性，在各区间内并行通过动态规划进行安全多方计算协议的分配。
8.一种隐私保护的图像分类装置，其特征在于，包括：
模型调整模块：基于客户端提供的模型准确度阈值，模型提供端对预训练图像分类模型进行激活层的替换和超参数的调整，其中所述激活层的替换为将所述预训练图像分类模型中的Relu激活层替换为平方激活层；
协议分配模块：模型提供端对调整后的模型中的不同层进行安全多方计算协议的分配，从而完成模型的优化；
图像分类模块：客户端获取待分类的图像，并与持有已优化模型的模型提供端通过多方安全计算协议进行隐私保护的图像分类，得到图像分类结果；
其中，所述激活层的替换具体为：
分别将每个Relu激活层替换为平方激活层并进行预定轮次的微调，获得准确度下降的数值，利用各个层的准确度下降的数值对该层赋一个权重；
利用二分算法进行被替换层的查找，从而完成Relu激活层到平方激活层的替换，在每一轮二分查找中：
根据每个Relu激活层的权重，随机挑选特定数量的Relu激活层作为被替换层，其中所述特定数量为二分查找中的左右端点的平均值；
将被替换层的Relu函数替换为Relu函数和平方函数的叠加态，其中平方函数的系数由0变化到1，从而使得Relu激活层逐渐过渡为平方激活层。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311104681.1A CN116824281B (zh) | 2023-08-30 | 2023-08-30 | 一种隐私保护的图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311104681.1A CN116824281B (zh) | 2023-08-30 | 2023-08-30 | 一种隐私保护的图像分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824281A CN116824281A (zh) | 2023-09-29 |
| CN116824281B true CN116824281B (zh) | 2023-11-14 |
Family
ID=88127776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311104681.1A Active CN116824281B (zh) | 2023-08-30 | 2023-08-30 | 一种隐私保护的图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824281B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132270A (zh) * | 2020-11-24 | 2020-12-25 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的神经网络模型训练方法、装置及系统 |
| CN114118357A (zh) * | 2021-10-13 | 2022-03-01 | 上海交通大学 | 计算机视觉神经网络中替换激活函数的重训练方法及系统 |
| CN115331053A (zh) * | 2022-08-11 | 2022-11-11 | 厦门大学 | 一种基于l2nu激活函数的图像分类模型生成方法及装置 |
| CN116091844A (zh) * | 2023-03-01 | 2023-05-09 | 芜湖市湾沚区陈婉琴网络科技有限责任公司 | 一种基于边缘计算的图像数据处理方法及系统 |
| CN116561787A (zh) * | 2023-07-04 | 2023-08-08 | 北京数牍科技有限公司 | 视觉图像分类模型的训练方法、装置及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190378009A1 (en) * | 2018-06-12 | 2019-12-12 | Nokia Technologies Oy | Method and electronic device for classifying an input |
| CN110111885B (zh) * | 2019-05-09 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
| CN112597540B (zh) * | 2021-01-28 | 2021-10-01 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的多重共线性检测方法、装置及系统 |
-
2023
- 2023-08-30 CN CN202311104681.1A patent/CN116824281B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132270A (zh) * | 2020-11-24 | 2020-12-25 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的神经网络模型训练方法、装置及系统 |
| CN114118357A (zh) * | 2021-10-13 | 2022-03-01 | 上海交通大学 | 计算机视觉神经网络中替换激活函数的重训练方法及系统 |
| CN115331053A (zh) * | 2022-08-11 | 2022-11-11 | 厦门大学 | 一种基于l2nu激活函数的图像分类模型生成方法及装置 |
| CN116091844A (zh) * | 2023-03-01 | 2023-05-09 | 芜湖市湾沚区陈婉琴网络科技有限责任公司 | 一种基于边缘计算的图像数据处理方法及系统 |
| CN116561787A (zh) * | 2023-07-04 | 2023-08-08 | 北京数牍科技有限公司 | 视觉图像分类模型的训练方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| iPrivJoin: An ID-Private Data Join Framework for Privacy-Preserving Machine Learning;Yang Liu等;IEEE Transactions on Information Forensics and Security;全文 * |
| Privacy-Preserving Machine Learning With Fully Homomorphic Encryption for Deep Neural Network;Joon-Woo Lee等;IEEE Access;全文 * |
| 隐私保护的加密流量检测研究;张心语等;网络与信息安全学报;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824281A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Van de Ven et al. | Generative replay with feedback connections as a general strategy for continual learning | |
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| Deb et al. | A taxonomy for metamodeling frameworks for evolutionary multiobjective optimization | |
| Kang et al. | Forget-free continual learning with winning subnetworks | |
| Shah et al. | Model compression for communication efficient federated learning | |
| CN114422382B (zh) | 网络流量预测方法、计算机装置、产品及存储介质 | |
| Ma et al. | Effective model sparsification by scheduled grow-and-prune methods | |
| He et al. | Filter pruning by switching to neighboring CNNs with good attributes | |
| Li et al. | Energy-based models for continual learning | |
| Olmschenk et al. | Crowd counting with minimal data using generative adversarial networks for multiple target regression | |
| Lu et al. | Automating deep neural network model selection for edge inference | |
| WO2023279674A1 (en) | Memory-augmented graph convolutional neural networks | |
| CN113822315A (zh) | 属性图的处理方法、装置、电子设备及可读存储介质 | |
| CN113011529A (zh) | 文本分类模型的训练方法、装置、设备及可读存储介质 | |
| US20230006980A1 (en) | Systems and methods for securely training a decision tree | |
| WO2022195494A1 (en) | A computer implemented method for real time quantum compiling based on artificial intelligence | |
| Márquez et al. | A scalable evolutionary linguistic fuzzy system with adaptive defuzzification in big data | |
| CN111656365A (zh) | 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 | |
| CN116824281B (zh) | 一种隐私保护的图像分类方法及装置 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| Martin et al. | Probabilistic program neurogenesis | |
| CN114662148A (zh) | 一种保护隐私的多方联合训练方法及装置 | |
| Pragnesh et al. | Compression of convolution neural network using structured pruning | |
| US20230289563A1 (en) | Multi-node neural network constructed from pre-trained small networks | |
| Guo et al. | Network pruning via annealing and direct sparsity control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |