CN116994309A - 一种公平性感知的人脸识别模型剪枝方法 - Google Patents
一种公平性感知的人脸识别模型剪枝方法 Download PDFInfo
- Publication number
- CN116994309A CN116994309A CN202310504150.5A CN202310504150A CN116994309A CN 116994309 A CN116994309 A CN 116994309A CN 202310504150 A CN202310504150 A CN 202310504150A CN 116994309 A CN116994309 A CN 116994309A
- Authority
- CN
- China
- Prior art keywords
- pruning
- network
- fairness
- training
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 123
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008485 antagonism Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000006872 improvement Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种公平性感知的人脸识别模型剪枝方法，包括获取数据集，数据集包括训练图像数据，训练图像数据的目标标签，训练图像数据的敏感属性，在获取的数据集上训练一个在目标标签上分类准确率高的神经网络模型，构建网络公平性的判别器，用于公平性感知的网络剪枝训练等步骤，本方法旨在提升网络剪枝算法的公平性，在保持网络效率的前提下，不损伤剪枝后网络的准确率，提升剪枝后网络的公平性。本发明设计判别器消除剪枝后模型的预测与敏感属性之间的关联，搜索存在公平性偏见与参数多余的联结进行剪枝，从而实现公平性感知的网络剪枝算法，本发明可以剪枝模型80％，90％，最多可达95％的参数，同时提升模型在敏感属性。
Description
技术领域
本发明涉及人工智能(AI)安全领域，具体涉及一种公平性感知的人脸识别模型剪枝方法。
背景技术
随着人工智能算法被广泛的应用于金融、反恐、征税、司法、医疗、保险等公共领域，人工智能模型的决策公平性与模型效率得到越来越多的关注。人工智能模型在信用评分，犯罪预测，贷款评估等社会公共领域上由于种种原因导致决策不公平甚至是歧视现象的出现。模型算法的公平性引起了国家、社会和公众的广泛关注，如IEEE(国际电气电子工程师学会)于2017年底发布的《人工智能设计的伦理准则》(第2版)、欧盟于2018年发布的《人工智能、机器人与自动系统宣言》、国家新一代人工智能治理专业委员会于2020年发布的《新一代人工智能治理原则——发展负责任的人工智能》。在以上宣言或者原则中，都不同程度强调了模型算法的公平性问题。人工智能的模型从最早2012年问世以来，模型的深度和广度一直在逐级扩升。得益于数据量的上涨，运算力的提升，人工智能大模型驱动人工智能全面提速。OpenAI研究表明人工智能模型的增速已经超过摩尔定律。大模型所带来的算力吃紧也一定程度阻碍了应用范畴。
如何确保人工智能模型决策不会受到特定属性的干扰，以及在保证模型性能不损失的前提下提升降低模型的规模，该问题引起了广泛的公众关注和大量的研究兴趣。本发明利用模型剪枝与公平性进行对抗训练的方法，从而定位模型中参数多余与产生歧义的连接，最终剪枝这些连接来提升模型的公平性和效率。
现有技术存在的技术问题在于：
模型公平性提升是通过一定的方法，提升模型的公平性指标，消除模型决策对于某行特定属性的歧视。模型剪枝是消除模型部分多余的参数之后，减小模型的参数量以及规模，尽可能减少模型性能的下降。目前的模型公平性提升方法可以按照模型训练的不同阶段分为：预处理，处理中，后处理，三种主要类型。然而，现有模型公平性提升方法没有考虑模型效率，单纯将公平性指标提升作为首要目标。部分方法甚至会增加模型复杂与计算开销。目前的模型剪枝方法没有考虑模型的公平性。虽然现有方法在模型剪枝后准确率不会有明显退化，但是模型的公平性没有得到提升，甚至部分方法会加剧模型的不公平性。
人脸识别的应用在各行各业日益增加。在实际的应用场景中，人脸识别模型常被部署在各类端设备上。端设备的计算资源要求苛刻，部署在设备上的模型参数量有所限制。随着深度学习的发展，模型的性能与模型的参数量呈线性增长。网络剪枝成为减少模型参数的主要方法之一。除此之外，人脸识别模型存在对于某些属性的歧视行为。研究表明，女性相较于男性更容易被识别为具有吸引力，白人相较于黑人更容易被识别为金发。这些歧视行为不仅会引起社会的纷争，同时也阻碍人脸识别模型的广泛引用。因此，如何减少人脸识别模型的参数，同时提升人脸识别模型的公平性，成为一个具有实际应用价值，也具有挑战性的题目。
发明内容
本发明就是针对现有技术的不足，提出一种公平性感知的人脸识别模型剪枝方法。将模型剪枝与公平性提升通过对抗的方式进行训练，有效地定位模型中参数多余与产生歧视的连接，通过网络剪枝的方法将其消除，可以有效的提升模型的效率与公平性，并且在多个数据集上具有良好的泛化性与表现。
为了实现上述目的，本申请提供了以下技术方案：
本发明公开了一种公平性感知的人脸识别模型剪枝方法，包括：
1)获取数据集，数据集包括训练图像数据，训练图像数据的目标标签，训练图像数据的敏感属性；
2)在获取的数据集上训练一个在目标标签上分类准确率高的神经网络模型；
3)构建网络公平性的判别器，用于公平性感知的网络剪枝训练；
4)利用上个步骤的判别器，消除剪枝网络对训练图像的预测结果与图像的敏感属性之间的依赖性，来提升剪枝网络的统计公平性与预测公平性；
5)通过优化剪枝网络在数据集的目标标签上的分类准确率，来提升剪枝网络的分类准确性；
6)通过对抗学习的方式，将4)与5)交替训练，来同步提升剪枝网络的公平性与分类准确率。
作为进一步地改进，本发明所述的数据集中的训练数据，其训练图像数据的目标标签和训练图像数据的敏感属性之间存在强关联，会导致神经网络模型对图像数据的预测结果在敏感属性上产生歧视与偏见。
作为进一步地改进，本发明所述的数据集为CelebA数据集，其包括的训练图像数据是人脸图像，目标标签是：人脸是否具有吸引力，或人脸是否在微笑，或人脸是否是金色头发，敏感属性是：人脸图像的性别，或人脸图像的种族。
作为进一步地改进，本发明所述的神经网络模型，使得模型在训练图像数据的目标标签上具有高的分类准确率，神经网络模型的输入是训练图像数据，输出是网络预测的图像数据的目标标签，神经网络模型的损失函数是：其中/>是交叉熵函数，y是训练数据的目标标签，/>是神经网络预测的目标标签，神经网络模型训练的特定优化算法为SGD或ADAM；所述的优化更新流程包含N个循环；每个循环中，将所有的数据集中的训练数据图像输入到神经网络模型中，以神经网络模型输出的预测目标标签与数据的目标标签的差别作为优化目标，优化的损失函数是前述损失函数，以此来提升神经网络模型在数据集目标标签上的分类准确率。
作为进一步地改进，本发明所述的构建网络公平性的判别器，用于公平性感知的网络剪枝训练来判别剪枝模型是否公平，所述的判别器的结构是网络层数为1的神经网络模型，中间层的神经网络节点数是8，判别器的输出通道数量为训练图像数据的敏感属性的类别数量。
作为进一步地改进，本发明所述的判别器的输入是剪枝网络预测的目标标签，训练图像数据的目标标签与敏感属性，所述的利用上个步骤的判别器，消除剪枝网络对训练图像的预测结果与图像的敏感属性之间的依赖性，来提升剪枝网络的统计公平性与预测公平性，包括：
统计公平性提升单元：用于提升剪枝网络的统计公平性，将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签，将训练数据的敏感属性与剪枝网络预测的目标标签组成数据对，输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性的依赖程度作为优化目标，单元的优化函数如下：
其中D是判别器，z是敏感属性，
是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数；
预测公平性提升单元：用于提升剪枝网络的预测公平性，将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签，将训练数据的目标标签，敏感属性与剪枝网络预测的目标标签组成数据对输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性，在给定目标标签的情况下，依赖程度作为优化目标，单元的目标函数如下：其中D是判别器，z是敏感属性，y是目标标签，/>是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数。
作为进一步地改进，本发明所述的通过优化剪枝网络在数据集的目标标签上的分类准确率，来提升剪枝网络的分类准确性具体为：
将训练数据图像输入剪枝网络，得到剪枝网络预测目标标签，以降低剪枝网络预测的目标标签与训练数据的目标标签的差异作为优化目标来进行网络剪枝，优化的损失函数如下：其中/>是交叉熵函数，x是训练图像数据，y是训练图像数据的目标标签，/>是神经网络f经过剪枝后的网络，θ是剪枝前的神经网络参数，m是根据网络剪枝参数量k定义的0-1二值掩膜，定义方式如下：
k越大，网络剪去的参数越多，网络越高效，所述的网络的剪枝方法利用现有的基于梯度的剪枝方法，或基于基数的剪枝方法。
作为进一步地改进，本发明所述的对抗训练包括：
公平性提升单元：利用所述的统计公平性提升单元，预测公平性提升单元，来训练网络公平性判别器，优化的损失函数为：
α＝1时，判别器用于提升剪枝网络的统计公平性，α＝0时，判别器用于提升剪枝网络的预测公平性，判别器的优化算法为SGD或ADAM，输出为经过公平性提升单元训练更新的判别器；
网络剪枝单元：利用所述的统计公平性提升单元及所述的网络剪枝方法，来进行网络剪枝，优化的损失函数为：α＝0时，判别器用于提升剪枝网络的统计公平性，α＝1时，判别器用于提升剪枝网络的预测公平性，输出是公平性感知剪枝后的神经网络模型；对抗训练单元：利用上述所述的公平性提升单元，网络剪枝单元，交替进行判别器的训练与神经网络模型的剪枝，所述的对抗训练流程为包括M个循环；每个循环中，固定剪枝网络的参数，利用公平性提升单元，训练判别器；然后，固定判别器的参数，利用网络剪枝单元，进行神经网络模型的剪枝，在循环的训练流程中，通过对抗训练的方式，输出公平性优异，分类准确率高的剪枝网络。
本发明的有益效果如下：
本发明涉及人工智能安全中的模型公平性，公开了一种公平性感知的人脸识别模型剪枝方法。相较于现有的网络剪枝方法，剪枝后的网络效率大幅提升，但是公平性没有改善甚至更差，本方法旨在提升网络剪枝算法的公平性，在保持网络效率的前提下，不损伤剪枝后网络的准确率，提升剪枝后网络的公平性。本方法提出基于对抗训练的网络剪枝方法，设计判别器消除剪枝后模型的预测与敏感属性之间的关联，搜索存在公平性偏见与参数多余的联结进行剪枝，从而实现公平性感知的网络剪枝算法。
本发明通过对抗训练的方式来提升模型剪枝后的公平性，因此可以得到高效且公平的子模型。本发明提出了一种基于对抗训练的网络剪枝训练算法，能够有效的定位模型中导致公平性偏见与参数多余的联结。本发明具有高扩展性，可以适用于多种大规模人脸数据集。
针对于常用的人脸识别模型ResNet18，本发明可以剪枝模型80％，90％，最多可达95％的参数，同时提升模型在敏感属性：性别上的统计公平性与预测公平性50％以上，模型在目标属性：人脸是否具有吸引力，是否是金发，是否微笑等任务上的分类准确率下降不超过5％。本发明能够有效减少人脸识别模型的参数量，同时提升人脸识别模型的公平性，对人脸识别模型在真实场景中的应用具有意义。
附图说明
图1为本发明的系统框架图；
图2为本发明的算法流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明公开了一种公平性感知的人脸识别模型剪枝方法，图1为本发明的系统框架图；图2为本发明的算法流程图。
S1:构建训练数据集，数据集中的训练数据，其目标标签与敏感属性之间存在强关联，会导致神经网络模型对图像数据的预测结果在敏感属性上产生歧视与偏见。符合上述条件的数据集可为CelebA数据集，训练图像数据是人脸图像，目标标签是：人脸是否具有吸引力，或人脸是否在微笑，或人脸是否是金色头发，敏感属性是：人脸图像的性别，或人脸图像的种族。
S2:训练一个神经网络模型，使得模型可以在训练图像数据的目标标签上具有高的分类准确率。神经网络模型的输入是训练图像数据，输出是网络预测的图像数据的目标标签。神经网络模型的损失函数是：其中/>是交叉熵函数，y是训练数据的目标标签，/>是神经网络预测的目标标签。神经网络模型训练的特定优化算法为SGD或ADAM等；所述的优化更新流程包含N个循环；每个循环中，将所有的数据集中的训练数据图像输入到神经网络模型中，以神经网络模型输出的预测目标标签与数据的目标标签的差别作为优化目标，优化的损失函数是前述损失函数，以此来提升神经网络模型在数据集目标标签上的分类准确率。
S3:构建一个神经网络模型公平性的判别器，用于公平性感知的网络剪枝训练来判别剪枝模型是否公平。判别器的结构是网络层数为1的神经网络模型，中间层的神经网络节点数是8，判别器的输出通道数量为训练图像数据的敏感属性的类别数量。
S4:利用所述步骤S3中的判别器，消除剪枝网络对训练图像的预测结果与图像的敏感属性之间的依赖性，来提升剪枝网络的统计公平性与预测公平性，包括：
统计公平性提升单元：用于提升剪枝网络的统计公平性。将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签。将训练数据的敏感属性与剪枝网络预测的目标标签组成数据对，输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性的依赖程度作为优化目标。单元的优化函数如下：
其中D是判别器，z是敏感属性，是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数。
预测公平性提升单元：用于提升剪枝网络的预测公平性。将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签。将训练数据的目标标签，敏感属性与剪枝网络预测的目标标签组成数据对输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性，在给定目标标签的情况下，的依赖程度作为优化目标。单元的目标函数如下：
其中D是判别器，z是敏感属性，y是目标标签，是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数。
S5：将训练数据图像输入剪枝网络，得到剪枝网络预测目标标签。以降低剪枝网络预测的目标标签与训练数据的目标标签的差异作为优化目标来进行网络剪枝，优化的损失函数如下：
其中是交叉熵函数，x是训练图像数据，y是训练图像数据的目标标签，/>是神经网络f经过剪枝后的网络，θ是剪枝前的神经网络参数，m是根据网络剪枝参数量k定义的0-1二值掩膜，定义方式如下：
k越大，网络剪去的参数越多，网络越高效。网络的剪枝方法可以利用现有的基于梯度的剪枝方法，或基于基数的剪枝方法。
S6：对抗训练的方式进行公平性感知的网络剪枝包括：
公平性提升单元：利用上述步骤S5中所述的统计公平性提升单元，预测公平性提升单元，来训练网络公平性判别器，优化的损失函数为：
其中α＝1时，判别器用于提升剪枝网络的统计公平性，α＝0时，判别器用于提升剪枝网络的预测公平性。判别器的优化算法为SGD或ADAM等，输出为经过公平性提升单元训练更新的判别器。
网络剪枝单元：利用上述S5中所述的统计公平性提升单元，上述步骤6中所述的网络剪枝方法，来进行网络剪枝，优化的损失函数为：
其中α＝0时，判别器用于提升剪枝网络的统计公平性，α＝1时，判别器用于提升剪枝网络的预测公平性。输出是公平性感知剪枝后的神经网络模型。
对抗训练单元：利用上述所述的公平性提升单元，网络剪枝单元，交替进行判别器的训练与神经网络模型的剪枝。所述的对抗训练流程为包括M个循环；每个循环中，固定剪枝网络的参数，利用公平性提升单元，训练判别器；然后，固定判别器的参数，利用网络剪枝单元，进行神经网络模型的剪枝。在循环的训练流程中，通过对抗训练的方式，输出公平性优异，分类准确率高的剪枝网络。
针对于常用的人脸识别模型ResNet18，本发明可以剪枝模型80％，90％，最多可达95％的参数，同时提升模型在敏感属性：性别上的统计公平性与预测公平性50％以上，模型在目标属性：人脸是否具有吸引力，是否是金发，是否微笑等任务上的分类准确率下降不超过5％。本发明能够有效减少人脸识别模型的参数量，同时提升人脸识别模型的公平性，对人脸识别模型在真实场景中的应用具有意义。
本申请的优点和达到的技术效果：
本发明通过对抗训练的方式来提升模型剪枝后的公平性，因此可以得到高效且公平的子模型。本发明提出了一种基于对抗训练的网络剪枝训练算法，能够有效的定位模型中导致公平性偏见与参数多余的联结。本发明具有高扩展性，可以适用于多种大规模人脸数据集。
为了验证本发明的有效性，在人脸数据集CelebA和LFW上训练和验证了本发明。在CelebA数据集上将Gender作为敏感属性，Attractive以及Blond Hair作为目标属性；在LFW数据集上将Gender作为敏感属性，Smiling以及Young作为目标属性。的判别器结构是一个单层，节点数为512的，二分类神经网络判别器，网络剪枝时的学习率设置为1e-2，判别器的学习率设置为1e-3。采用如下指标评估本发明的性能：1)分类准确率(Accuracy)：网络分类标签依照真实标签的准确率。2)统计均等DI(Disparate impact)： 其中/>是剪枝网络预测标签，y是数据样本的真实标签，z是数据样本的敏感属性。DI越高表示不同群体的样本被预测为正例的概率相同，模型满足统计均等。3)概率均等DEO(Equalized Odds)：/> y＝{-1,1}.，其中/>是剪枝网络预测标签，y是数据样本的真实标签，z是数据样本的敏感属性。DEO越小表示模型同时满足预测均等和机会均等，模型满足概率均等。
模型公平性与效率评估。如表1和表2所示
表1本发明对于预测公平性指标DEO与网络剪枝率的提升效果
表2本发明对于统计公平性指标DI与网络剪枝率的提升效果
将本发明与领域最新的两种网络剪枝方法SGDP和LMW进行了对比，可以看出在相同的网络剪枝率下，本发明相比SGDP在实现相近的Acuracy同时DI和DEO平均提升40％以上，相比LMW在实现相近的Accuracy同时DI和DEO平行提升45％以上。本发明相比于模型在100％参数量下的公平性提升方法Adversarial Debiasing的效果相近，充分证明了本发明在提升模型公平性和模型效率上的有效性。
模型剪枝率泛化性评估。选择70％，80％，90％，95％四个剪枝率进行实验，网络的结构选择的是ResNet-18，最终得到如表3所示的实验结果。
表3本发明对于不同网络剪枝率的泛化性
可以看出本发明在四种不同的剪枝率下，公平性指标DI和DEO都有明显的提升，准确率Accuracy没有明显的下降。如表3所示，在四种不同的模型剪枝率下，DI分别提升56％，54％，35％，24％，DEO分别提升59％，60％，42％，40％，可以看出本发明在不同的模型剪枝率下都达到了良好的表现。
模型结构泛化性评估。选择ResNet18，ShffuleNet v2，MobileNet v2三种不同的网络结构进行实验，网络剪枝率为80％，最终得到如表4所示的实验结果。
表4本发明对于不同网络结构的泛化性
可以看出本发明在三种不同的模型结构下，公平性指标DI和DEO都有明显的提升，准确率Accuracy相较于未进行剪枝的情况没有明显的下降。如表4所示，在三种不同的模型结构下，DI分别提升54％，37％，59％，DEO分别提升60％，30％，37％，可以看出本发明在不同的模型结构下达到了良好的表现。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种公平性感知的人脸识别模型剪枝方法，其特征在于，包括：
1)获取数据集，数据集包括训练图像数据，训练图像数据的目标标签，训练图像数据的敏感属性；
2)在获取的数据集上训练一个在目标标签上分类准确率高的神经网络模型；
3)构建网络公平性的判别器，用于公平性感知的网络剪枝训练；
4)利用上个步骤的判别器，消除剪枝网络对训练图像的预测结果与图像的敏感属性之间的依赖性，来提升剪枝网络的统计公平性与预测公平性；
5)通过优化剪枝网络在数据集的目标标签上的分类准确率，来提升剪枝网络的分类准确性；
6)通过对抗学习的方式，将4)与5)交替训练，来同步提升剪枝网络的公平性与分类准确率。
2.根据权利要求1所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的数据集中的训练数据，其训练图像数据的目标标签和训练图像数据的敏感属性之间存在强关联，会导致神经网络模型对图像数据的预测结果在敏感属性上产生歧视与偏见。
3.根据权利要求2所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的数据集为CelebA数据集，其包括的训练图像数据是人脸图像，目标标签是：人脸是否具有吸引力，或人脸是否在微笑，或人脸是否是金色头发，敏感属性是：人脸图像的性别，或人脸图像的种族。
4.根据权利要求1或2或3所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的神经网络模型，使得模型在训练图像数据的目标标签上具有高的分类准确率，神经网络模型的输入是训练图像数据，输出是网络预测的图像数据的目标标签，神经网络模型的损失函数是：其中/>是交叉熵函数，y是训练数据的目标标签，/>是神经网络预测的目标标签，神经网络模型训练的特定优化算法为SGD或ADAM；所述的优化更新流程包含N个循环；每个循环中，将所有的数据集中的训练数据图像输入到神经网络模型中，以神经网络模型输出的预测目标标签与数据的目标标签的差别作为优化目标，优化的损失函数是前述损失函数，以此来提升神经网络模型在数据集目标标签上的分类准确率。
5.根据权利要求1所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的构建网络公平性的判别器，用于公平性感知的网络剪枝训练来判别剪枝模型是否公平，所述的判别器的结构是网络层数为1的神经网络模型，中间层的神经网络节点数是8，判别器的输出通道数量为训练图像数据的敏感属性的类别数量。
6.根据权利要求1或2或3或5所述的公平性感知的人脸识别模型剪枝方法，判别器的输入是剪枝网络预测的目标标签，训练图像数据的目标标签与敏感属性，其特征在于，所述的利用上个步骤的判别器，消除剪枝网络对训练图像的预测结果与图像的敏感属性之间的依赖性，来提升剪枝网络的统计公平性与预测公平性，包括：
统计公平性提升单元：用于提升剪枝网络的统计公平性，将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签，将训练数据的敏感属性与剪枝网络预测的目标标签组成数据对，输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性的依赖程度作为优化目标，单元的优化函数如下：其中D是判别器，z是敏感属性，/>是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数；
预测公平性提升单元：用于提升剪枝网络的预测公平性，将训练图像数据输入剪枝网络，得到剪枝网络预测的目标标签，将训练数据的目标标签，敏感属性与剪枝网络预测的目标标签组成数据对输入判别器中，以降低剪枝网络预测的目标标签与训练数据的敏感属性，在给定目标标签的情况下，依赖程度作为优化目标，单元的目标函数如下： 其中D是判别器，z是敏感属性，y是目标标签，/>是剪枝网络的预测目标标签，i是敏感属性的类别序号，m是训练数据的总数。
7.根据权利要求6所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的通过优化剪枝网络在数据集的目标标签上的分类准确率，来提升剪枝网络的分类准确性具体为：
将训练数据图像输入剪枝网络，得到剪枝网络预测目标标签，以降低剪枝网络预测的目标标签与训练数据的目标标签的差异作为优化目标来进行网络剪枝，优化的损失函数如下：其中/>是交叉熵函数，x是训练图像数据，y是训练图像数据的目标标签，/>是神经网络f经过剪枝后的网络，θ是剪枝前的神经网络参数，m是根据网络剪枝参数量k定义的0-1二值掩膜，定义方式如下：/>k越大，网络剪去的参数越多，网络越高效，所述的网络的剪枝方法利用现有的基于梯度的剪枝方法，或基于基数的剪枝方法。
8.根据权利要求1或2或3或5或7所述的公平性感知的人脸识别模型剪枝方法，其特征在于，所述的对抗训练包括：
公平性提升单元：利用所述的统计公平性提升单元，预测公平性提升单元，来训练网络公平性判别器，优化的损失函数为：α＝1时，判别器用于提升剪枝网络的统计公平性，α＝0时，判别器用于提升剪枝网络的预测公平性，判别器的优化算法为SGD或ADAM，输出为经过公平性提升单元训练更新的判别器；
网络剪枝单元：利用所述的统计公平性提升单元及所述的网络剪枝方法，来进行网络剪枝，优化的损失函数为：α＝0时，判别器用于提升剪枝网络的统计公平性，α＝1时，判别器用于提升剪枝网络的预测公平性，输出是公平性感知剪枝后的神经网络模型；
对抗训练单元：利用上述所述的公平性提升单元，网络剪枝单元，交替进行判别器的训练与神经网络模型的剪枝，所述的对抗训练流程为包括M个循环；每个循环中，固定剪枝网络的参数，利用公平性提升单元，训练判别器；然后，固定判别器的参数，利用网络剪枝单元，进行神经网络模型的剪枝，在循环的训练流程中，通过对抗训练的方式，输出公平性优异，分类准确率高的剪枝网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504150.5A CN116994309B (zh) | 2023-05-06 | 2023-05-06 | 一种公平性感知的人脸识别模型剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504150.5A CN116994309B (zh) | 2023-05-06 | 2023-05-06 | 一种公平性感知的人脸识别模型剪枝方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116994309A true CN116994309A (zh) | 2023-11-03 |
| CN116994309B CN116994309B (zh) | 2024-04-09 |
Family
ID=88532845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310504150.5A Active CN116994309B (zh) | 2023-05-06 | 2023-05-06 | 一种公平性感知的人脸识别模型剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116994309B (zh) |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
| CN111340901A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
| CN111368699A (zh) * | 2020-02-28 | 2020-07-03 | 交叉信息核心技术研究院(西安)有限公司 | 基于图案的卷积神经网络剪枝方法及图案感知加速器 |
| US20200302524A1 (en) * | 2019-03-18 | 2020-09-24 | Zestfinance, Inc. | Systems and methods for model fairness |
| WO2020233709A1 (zh) * | 2019-05-22 | 2020-11-26 | 华为技术有限公司 | 模型压缩方法及装置 |
| CN112287852A (zh) * | 2020-11-02 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
| CN112465111A (zh) * | 2020-11-17 | 2021-03-09 | 大连理工大学 | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 |
| CN112887937A (zh) * | 2021-01-10 | 2021-06-01 | 之江实验室 | 一种基于路侧设备辅助的终端设备视频信息协作上传方法 |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN113128478A (zh) * | 2021-05-18 | 2021-07-16 | 电子科技大学中山学院 | 模型训练方法、行人分析方法、装置、设备及存储介质 |
| CN113344089A (zh) * | 2021-06-17 | 2021-09-03 | 北京百度网讯科技有限公司 | 模型训练方法、装置及电子设备 |
| US20210358178A1 (en) * | 2020-05-15 | 2021-11-18 | Amazon Technologies, Inc. | Iterative media object compression algorithm optimization using decoupled calibration of perceptual quality algorithms |
| US20220019855A1 (en) * | 2019-03-31 | 2022-01-20 | Huawei Technologies Co., Ltd. | Image generation method, neural network compression method, and related apparatus and device |
| CN114037844A (zh) * | 2021-11-18 | 2022-02-11 | 西安电子科技大学 | 基于滤波器特征图的全局秩感知神经网络模型压缩方法 |
| CN114091668A (zh) * | 2021-11-22 | 2022-02-25 | 广东工业大学 | 基于可微决策器和知识蒸馏的神经网络剪枝方法及系统 |
| CN114170332A (zh) * | 2021-11-27 | 2022-03-11 | 北京工业大学 | 一种基于对抗蒸馏技术的图像识别模型压缩方法 |
| US20220083855A1 (en) * | 2020-09-15 | 2022-03-17 | Samsung Electronics Co., Ltd. | Method and apparatus for data-free post-training network quantization and generating synthetic data based on a pre-trained machine learning model |
| CN114417427A (zh) * | 2022-03-30 | 2022-04-29 | 浙江大学 | 一种面向深度学习的数据敏感属性脱敏系统及方法 |
| CN114419379A (zh) * | 2022-03-30 | 2022-04-29 | 浙江大学 | 一种基于对抗性扰动的深度学习模型公平性提升系统及方法 |
| WO2022141754A1 (zh) * | 2020-12-31 | 2022-07-07 | 之江实验室 | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 |
| CN114997378A (zh) * | 2022-07-28 | 2022-09-02 | 中国科学技术大学 | 归纳式图神经网络剪枝方法、系统、设备及存储介质 |
| CN115144900A (zh) * | 2021-03-30 | 2022-10-04 | 中国石油天然气股份有限公司 | 一种基于地震多属性聚类融合的碳酸盐岩储层厚度识别方法、系统、装置及存储介质 |
| CN115170926A (zh) * | 2022-09-08 | 2022-10-11 | 南京邮电大学 | 轻量化目标图像识别方法、装置及存储介质 |
| CN115168210A (zh) * | 2022-07-13 | 2022-10-11 | 浙江大学 | 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法 |
| WO2022227886A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| WO2022251317A1 (en) * | 2021-05-27 | 2022-12-01 | Rutgers, The State University Of New Jersey | Systems of neural networks compression and methods thereof |
| CN115796262A (zh) * | 2022-11-17 | 2023-03-14 | 中国科学院信息工程研究所 | 一种基于相似度正则的神经网络剪枝方法 |
-
2023
- 2023-05-06 CN CN202310504150.5A patent/CN116994309B/zh active Active
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200302524A1 (en) * | 2019-03-18 | 2020-09-24 | Zestfinance, Inc. | Systems and methods for model fairness |
| US20220019855A1 (en) * | 2019-03-31 | 2022-01-20 | Huawei Technologies Co., Ltd. | Image generation method, neural network compression method, and related apparatus and device |
| CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
| WO2020233709A1 (zh) * | 2019-05-22 | 2020-11-26 | 华为技术有限公司 | 模型压缩方法及装置 |
| CN111340901A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
| CN111368699A (zh) * | 2020-02-28 | 2020-07-03 | 交叉信息核心技术研究院(西安)有限公司 | 基于图案的卷积神经网络剪枝方法及图案感知加速器 |
| US20210358178A1 (en) * | 2020-05-15 | 2021-11-18 | Amazon Technologies, Inc. | Iterative media object compression algorithm optimization using decoupled calibration of perceptual quality algorithms |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| US20220083855A1 (en) * | 2020-09-15 | 2022-03-17 | Samsung Electronics Co., Ltd. | Method and apparatus for data-free post-training network quantization and generating synthetic data based on a pre-trained machine learning model |
| CN112287852A (zh) * | 2020-11-02 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 人脸图像的处理方法、显示方法、装置及设备 |
| CN112465111A (zh) * | 2020-11-17 | 2021-03-09 | 大连理工大学 | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 |
| WO2022141754A1 (zh) * | 2020-12-31 | 2022-07-07 | 之江实验室 | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 |
| CN112887937A (zh) * | 2021-01-10 | 2021-06-01 | 之江实验室 | 一种基于路侧设备辅助的终端设备视频信息协作上传方法 |
| CN115144900A (zh) * | 2021-03-30 | 2022-10-04 | 中国石油天然气股份有限公司 | 一种基于地震多属性聚类融合的碳酸盐岩储层厚度识别方法、系统、装置及存储介质 |
| WO2022227886A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| CN113128478A (zh) * | 2021-05-18 | 2021-07-16 | 电子科技大学中山学院 | 模型训练方法、行人分析方法、装置、设备及存储介质 |
| WO2022251317A1 (en) * | 2021-05-27 | 2022-12-01 | Rutgers, The State University Of New Jersey | Systems of neural networks compression and methods thereof |
| CN113344089A (zh) * | 2021-06-17 | 2021-09-03 | 北京百度网讯科技有限公司 | 模型训练方法、装置及电子设备 |
| CN114037844A (zh) * | 2021-11-18 | 2022-02-11 | 西安电子科技大学 | 基于滤波器特征图的全局秩感知神经网络模型压缩方法 |
| CN114091668A (zh) * | 2021-11-22 | 2022-02-25 | 广东工业大学 | 基于可微决策器和知识蒸馏的神经网络剪枝方法及系统 |
| CN114170332A (zh) * | 2021-11-27 | 2022-03-11 | 北京工业大学 | 一种基于对抗蒸馏技术的图像识别模型压缩方法 |
| CN114419379A (zh) * | 2022-03-30 | 2022-04-29 | 浙江大学 | 一种基于对抗性扰动的深度学习模型公平性提升系统及方法 |
| CN114417427A (zh) * | 2022-03-30 | 2022-04-29 | 浙江大学 | 一种面向深度学习的数据敏感属性脱敏系统及方法 |
| CN115168210A (zh) * | 2022-07-13 | 2022-10-11 | 浙江大学 | 一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法 |
| CN114997378A (zh) * | 2022-07-28 | 2022-09-02 | 中国科学技术大学 | 归纳式图神经网络剪枝方法、系统、设备及存储介质 |
| CN115170926A (zh) * | 2022-09-08 | 2022-10-11 | 南京邮电大学 | 轻量化目标图像识别方法、装置及存储介质 |
| CN115796262A (zh) * | 2022-11-17 | 2023-03-14 | 中国科学院信息工程研究所 | 一种基于相似度正则的神经网络剪枝方法 |
Non-Patent Citations (4)
| Title |
|---|
| XIAOFENG LIN等: ""FairGRAPE: Fairness-aware GRAdient Pruning mEthod for Face Attribute Classification"", 《ARXIV》, 22 June 2022 (2022-06-22), pages 1 - 19 * |
| YAWEN WU: ""FairPrune: Achieving Fairness Through Pruning for Dermatological Disease Diagnosis"", 《ARXIV》, 4 March 2022 (2022-03-04), pages 1 - 10 * |
| ZHIBO WANG等: ""Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models"", 《ARXIV》, 3 March 2022 (2022-03-03), pages 1 - 10 * |
| 石鑫盛等: ""公平性机器学习中基于分类间隔的歧视样本发现和消除算法"", 《中国科学》, vol. 50, no. 8, 31 December 2020 (2020-12-31), pages 1255 - 1266 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116994309B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | Deep-learning-enabled security issues in the internet of things | |
| CN109858390B (zh) | 基于端到端时空图学习神经网络的人体骨架行为识别方法 | |
| Wang et al. | HAST-IDS: Learning hierarchical spatial-temporal features using deep neural networks to improve intrusion detection | |
| CN109034264B (zh) | 交通事故严重性预测csp-cnn模型及其建模方法 | |
| CN113572742B (zh) | 基于深度学习的网络入侵检测方法 | |
| CN110555989B (zh) | 一种基于Xgboost算法的交通量预测方法 | |
| CN111538741B (zh) | 一种面向警情大数据的深度学习分析方法及系统 | |
| CN113420294A (zh) | 基于多尺度卷积神经网络的恶意代码检测方法 | |
| Liu et al. | Adversaries or allies? Privacy and deep learning in big data era | |
| Huang | Network intrusion detection based on an improved long-short-term memory model in combination with multiple spatiotemporal structures | |
| CN112330158A (zh) | 基于自回归差分移动平均-卷积神经网络的识别交通指数时间序列的方法 | |
| CN111259264B (zh) | 一种基于生成对抗网络的时序评分预测方法 | |
| CN116205482A (zh) | 重点人员风险等级评估方法及相关设备 | |
| Zhang et al. | An intrusion detection method based on stacked sparse autoencoder and improved gaussian mixture model | |
| CN116994309B (zh) | 一种公平性感知的人脸识别模型剪枝方法 | |
| CN114005004B (zh) | 一种基于图片实例级特征的诈骗网站识别方法及系统 | |
| CN116028803A (zh) | 一种基于敏感属性再平衡的去偏方法 | |
| Du | Complex environment image recognition algorithm based on GANs and transfer learning | |
| Hui et al. | Analysis of decision tree classification algorithm based on attribute reduction and application in criminal behavior | |
| CN113537339A (zh) | 一种基于多标签图像分类的识别共生或伴生矿物的方法与系统 | |
| CN112926670A (zh) | 一种基于迁移学习的垃圾分类系统及方法 | |
| CN113435190A (zh) | 一种融合多层次信息抽取和降噪的篇章关系抽取方法 | |
| Jeyaboopathiraja | BINNING AND IMPROVED DEEP LEARNING FOR CRIME TRENDS PREDICTION | |
| CN112069392A (zh) | 涉网犯罪防控方法、装置、计算机设备及存储介质 | |
| Mao et al. | Research on the popularity prediction of multimedia network information based on fast K neighbor algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |