CN114419712A - 保护个人数据隐私的特征提取方法、模型训练方法及硬件 - Google Patents
保护个人数据隐私的特征提取方法、模型训练方法及硬件 Download PDFInfo
- Publication number
- CN114419712A CN114419712A CN202210067114.2A CN202210067114A CN114419712A CN 114419712 A CN114419712 A CN 114419712A CN 202210067114 A CN202210067114 A CN 202210067114A CN 114419712 A CN114419712 A CN 114419712A
- Authority
- CN
- China
- Prior art keywords
- image sequence
- frame image
- sample object
- data
- characteristic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 title claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000011176 pooling Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 74
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/44—Secrecy systems
Abstract
本说明书实施例提供一种保护个人数据隐私的特征提取方法、模型训练方法及硬件。其中，特征提取方法包括：获取呈现有样本对象的多帧图像序列；以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
Description
本文件是“保护个人数据隐私的特征提取方法、模型训练方法及硬件”的分案申请，母案的申请号为“202010409389.0”，申请日为“2020-05-14”。
技术领域
本文件涉及数据处理技术领域，尤其涉及一种保护个人数据隐私的特征提取方法、模型训练方法及硬件。
背景技术
深度学习模型凭借具有机械化处理信息的能力，已得到了越来越广泛的使用。而人脸识别就是深度学习领域中常见的一种业务形态。人脸识别原理是基于深度学习模型对待识别用户的人脸特征与样本人脸特征进行近似匹配，从而确定待识别用户的身份。显然，属于个人数据的样本人脸特征留底会存在泄漏风险，无法对隐私起到有效的保护。
有鉴于此，当前急需一种在深度学习领域中，能够保护个人数据隐私的技术方案。
发明内容
本说明书实施例目的是提供一种保护个人数据隐私的特征提取方法、模型训练方法及硬件，能够在深度学习领域中，保护个人数据隐私。
为了实现上述目的，本说明书实施例是这样实现的：
第一方面，提供一种保护个人数据隐私的特征提取方法，包括：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
第二方面，提供一种保护个人数据隐私的模型训练方法，包括：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
第三方面，一种保护隐私数据的特征提取装置，包括：
图像序列获取模块，获取呈现有样本对象的多帧图像序列；
特征加密表示模块，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
第四方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
第五方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
第六方面，提供一种保护个人数据隐私的模型训练装置，包括：
图像序列获取模块，获取呈现有样本对象的多帧图像序列；
特征加密表示模块，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
特征集成学习模块，基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
第七方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
本说明书实施例的方案采用非线性转换的加密方式，对呈现有样本对象的多帧图像序列进行特征加密提取，得到样本对象对应多帧图像序列的初始加密特征数据。由于整个方案依赖的是加密后的图像特征数据，因此在对加密后的图像特征数据留样后如果发生泄漏，也不会暴露出样本对象的个人数据，从而实现了隐私保护作用。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的特征提取方法的流程示意图。
图2为本说明书实施例提供的模型训练方法的流程示意图。
图3为本说明书实施例提供的特征提取装置的结构示意图。
图4为本说明书实施例提供的模型训练装置的结构示意图。
图5为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如前所述，人脸识别原理是基于深度学习模型对待识别用户的人脸特征与样本人脸特征进行近似匹配，从而确定待识别用户的身份。其中，深度学习模型的训练依赖于样本人脸图像。而这些样本人脸图像属于用户的个人数据，留底会存在隐私泄漏的风险。为此，本文件旨在提出一种在深度学习领域中能够保护个人数据隐私的技术方案。
图1是本说明书实施例保护个人数据隐私的特征提取方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括：
步骤S102，获取呈现有样本对象的多帧图像序列。
具体地，本步骤可以从呈现有样本对象的视频中截取多帧图像序列。比如，通过终端设备的摄像公开对样本对象进行视频拍摄，并按照预先设置的帧率截取出呈现有样本对象的多帧图像序列。
步骤S104，以非线性转换作为加密方式，对获得的多帧图像序列进行特征表示，得到样本对象对应多帧图像序列的初始加密特征数据，其中，多帧图像序列呈现的样本对象的特征数据属于样本对象的个人数据。
基于非线性转换，输出值(初始加密特征数据)的变化量与其相应的输入值(多帧图像序列)的变化量之比不是常数的转换，具有加密作用。
在实际应用中，实现非线性转换的方式并不唯一，本说明书不作具体限定。作为示例性介绍：
本步骤可以采用局部敏感哈希算法，对获得的多帧图像序列进行哈希转换，得到样本对象对应所述多帧图像序列的初始加密特征数据。
或者，
也可以利用卷积神经网络模型对多帧图像序列进行特征加密提取。其中，卷积神经网络模型可以包括：卷积层，对获得所述多帧图像序列进行卷积处理，得到卷积层输出特征集；池化层，基于最大值池化算法和/或均值池化算法，对所述卷积层输出特征集进行池化处理，得到池化层输出特征集；全连接层，将池化层输出特征集转换为指定维度的初始加密特征数据。显然，通过将获得的多帧图像序列输入至卷积神经网络模型，即可得到由卷积神经网络模型输出的样本对象对应的初始加密特征数据。
步骤S106，对样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到样本对象对应的目标加密特征数据。
其中，集成学习(ensemble learning)是现有的机器学习方法了。它本身是通过构建并结合多个个体学习器来完成学习任务。个体学习器通常由一个现有的学习算法从训练数据中产生，例如C4.5决策算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中全是神经网络，这样的集成是“同质”的。同质集成中的个体学习器亦称为“基学习器”。相应的学习算法称为“基学习算法”。集成也可包含不同类型的个体学习器，例如，同时包含决策树和神经网络，这样的集成称为“异质”的。异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法，常称为“组件学习器”或直接称为个体学习器。本说明书实施例可以通过常规的集合学习策略(例如平均法、投票法和学习法)将个体学习器集合起来，实现对初始加密特征数据的选取集成，以得到更高阶的目标加密特征数据。
应理解，本步骤中获得的初始加密特征数据和/或目标加密特征数据可以作为模型训练数据。因此，仅需用对初始加密特征数据和/或目标加密特征数据进行留样。而之前获得多帧图像序列可以在特征表示完成后删除，也就是“用后即焚”。
本说明书实施例的特征方法采用非线性转换的加密方式，对呈现有样本对象的多帧图像序列进行特征加密提取，得到样本对象对应多帧图像序列的初始加密特征数据，之后通过集成学习方式将多帧图像序列的进行初始加密特征数据集成，获得高阶的目标加密特征数据。由于整个方案依赖的是加密后的图像特征数据，因此在对加密后的图像特征数据留样后如果发生泄漏，也不会暴露出样本对象的个人数据，实现了隐私保护作用。同时，目标加密特征数据是对多帧图像序列的初始加密特征数据集成得到，可以有效修正图像特征加密带来的损失，后续用于模型训练时可以得到更好的模型性能。
下面结合实际的应用场景对本说明书实施例的方法进行示例介绍。
本应用场景中用于获取人脸识别所需要的特征数据，流程包括以下步骤：
步骤一，对样本对象人脸进行视频拍摄，从视频中截取呈现有样本对象面部的多帧人脸图像序列。
步骤二，以非线性转换作为加密方式，对获得的多帧人脸图像序列进行特征表示，得到初始加密特征数据。
步骤三，删除从视频中截取到的样本对象的多帧人脸图像序列。
步骤四，将样本对象对应的初始加密特征数据关联存储至特征库。
步骤五，对样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到样本对象对应的目标加密特征数据。
步骤六，将样本对象对应的目标加密特征数据关联存储至特征库。
基于上述流程，后续在训练用户识别模型的过程中，可以从特征库中调取样本对象对应的初始加密特征数据和/或目标加密特征数据，并对用户识别模型进行训练。
对应地，本说明书实施例还提供一种保护个人数据隐私的模型训练方法。图2是本说明书实施例模型训练方法的流程图。图2所示的方法可以由下文相对应的装置执行，包括：
步骤S202，获取呈现有样本对象的多帧图像序列。
步骤S204，以非线性转换作为加密方式，对获得的多帧图像序列进行特征表示，得到样本对象对应多帧图像序列的初始加密特征数据，其中，多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。
步骤S206，对样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到样本对象对应的目标加密特征数据。
步骤S208，基于样本对象对应的目标加密特征数据和样本对象的模型分类标签，对预设学习模型进行训练。
在具体的训练过程中，样本对象对应的目标加密特征数据作为预设学习模型的输入数据，样本用户对应的模型分类标签作预设为学习模型的输出数据。在将目标加密特征数据输入至预设学习模型后，可以得到预设学习模型给出的训练结果。这个训练结果是预设学习模型针对样本用户的预测分类结果，可能与样本用户的模型分类标签所指示的真值分类结果存在差异。本说明书实施例可以基于最大似然估计所推导出的损失函数，计算出预测分类结果与真值分类结果之间的误差值，并以降低误差值为目的，对预设学习模型中的参数进行调整(例如底层向量的权重值)，从而达到训练效果。
本说明书实施例的模型训练方法采用非线性转换的加密方式，对呈现有样本对象的多帧图像序列进行特征加密提取，得到样本对象对应多帧图像序列的初始加密特征数据，之后通过集成学习方式将多帧图像序列的进行初始加密特征数据集成，获得高阶的目标加密特征数据。由于整个方案依赖的是加密后的图像特征数据，因此在对加密后的图像特征数据留样后如果发生泄漏，也不会暴露出样本对象的个人数据，实现了隐私保护作用。同时，目标加密特征数据是对多帧图像序列的初始加密特征数据集成得到，可以有效修正图像特征加密带来的损失，在训练预设学习模型后，可以获得更好的模型性能。
应理解，训练完成的预设学习模型可以用于进行预测、识别，从而为相关业务决策提供数据支持。
比如，本说明书实施例的预设学习模型可以应用在人脸支付业务中。在进行人脸支付的用户身份验证过程中，可以采集得到呈现有待验证的支付对象的多帧图像序列；之后，以上述同样的非线性转换作为加密方式，对支付对象的多帧图像序列进行特征表示，得到支付对象的初始加密特征数据。同理，对支付对象的初始加密特征数据进行集成学习，获得支付对象的目标加密特征数据，并将支付对象的目标加密特征数据输入至预设学习模型，由预设学习模型来判断支付对象是否为支付授权用户(目标用户)。最终，通过预设学习模型的识别结果来决定是否发起人脸支付。
与上述特征提取方法相对应地，本说明书实施例还提供一种保护隐私数据的特征提取装置。图3是本说明书实施例的特征提取装置300的结构示意图，包括：
图像序列获取模块310，获取呈现有样本对象的多帧图像序列；
特征加密表示模块320，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据；
特征集成学习模块330，对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。
本说明书实施例的特征提取装置在采用非线性转换的加密方式，对呈现有样本对象的多帧图像序列进行特征加密提取，得到样本对象对应多帧图像序列的初始加密特征数据，之后通过集成学习方式将多帧图像序列的进行初始加密特征数据集成，获得高阶的目标加密特征数据。由于整个方案依赖的是加密后的图像特征数据，因此在对加密后的图像特征数据留样后如果发生泄漏，也不会暴露出样本对象的个人数据，实现了隐私保护作用。同时，目标加密特征数据是对多帧图像序列的初始加密特征数据集成得到，可以有效修正图像特征加密带来的损失，后续用于模型训练时可以得到更好的模型性能。
可选地，所述特征加密表示模块320具体将获得的所述多帧图像序列输入至预设的卷积神经网络模型，得到所述样本对象对应所述多帧图像序列的初始加密特征数据。这里，所述卷积神经网络模型包括：卷积层，对获得所述多帧图像序列进行卷积处理，得到卷积层输出特征集；池化层，基于最大值池化算法和/或均值池化算法，对所述卷积层输出特征集进行池化处理，得到池化层输出特征集；全连接层，将池化层输出特征集转换为指定维度的初始加密特征数据。
可选地，特征加密表示模块320还可以基于局部敏感哈希算法，对获得的所述多帧图像序列进行哈希转换，得到所述样本对象对应所述多帧图像序列的初始加密特征数据。
可选地，本说明书实施例的特征提取装置300还可以包括：
存储模块，将所述样本对象、对应的初始加密特征数据和/或目标加密特征数据进行关联存储。
可选地，本说明书实施例的特征提取装置300还可以包括：
删除模块，在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列。
与上述特征提取方法相对应地，本说明书实施例还提供一种保护个人数据隐私的模型训练装置。图4是本说明书实施例的模型训练装置400的结构示意图，包括：
图像序列获取模块410，获取呈现有样本对象的多帧图像序列；
特征加密表示模块420，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据；
特征集成学习模块430，对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据；
模型训练模块440，基于所述样本对象对应的目标加密特征数据和样本对象的模型分类标签，对预设学习模型进行训练。
图5是本说明书的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
可选地，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述特征提取装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取呈现有样本对象的多帧图像序列。
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。
对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。
或者，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述模型训练装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取呈现有样本对象的多帧图像序列。
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。
对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。
基于所述样本对象对应的目标加密特征数据和样本对象的模型分类标签，对预设学习模型进行训练。
上述如本说明书图1所示实施例揭示的特征提取方法或者图2所示实施例揭示的模型训练方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
应理解，本说明书实施例的电子设备可以实现上述特征提取装置在图1所示的实施例的功能，或者实现上述模型训练装置在图2所示的实施例的功能。由于原理相同，本文不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
此外，本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令。
其中，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下步骤：
获取呈现有样本对象的多帧图像序列。
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。
对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。
或者，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下步骤：
获取呈现有样本对象的多帧图像序列。
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，其中，所述多帧图像序列呈现的样本对象的特征数据属于所述样本对象的个人数据。
对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据。
基于所述样本对象对应的目标加密特征数据和样本对象的模型分类标签，对预设学习模型进行训练。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
Claims (10)
1.一种保护个人数据隐私的特征提取方法，包括：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
2.根据权利要求1所述的方法，
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，包括：
将获得的所述多帧图像序列输入至预设的卷积神经网络模型，得到所述样本对象对应所述多帧图像序列的初始加密特征数据；其中，所述卷积神经网络模型包括：
卷积层，对获得所述多帧图像序列进行卷积处理，得到卷积层输出特征集；
池化层，基于最大值池化算法和/或均值池化算法，对所述卷积层输出特征集进行池化处理，得到池化层输出特征集；
全连接层，将池化层输出特征集转换为指定维度的初始加密特征数据。
3.根据权利要求1中所述的方法，
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，包括：
基于局部敏感哈希算法，对获得的所述多帧图像序列进行哈希转换，得到所述样本对象对应所述多帧图像序列的初始加密特征数据。
4.根据权利要求1-3中任一项所述的方法，还包括：
对所述样本对象对应多帧图像序列的初始加密特征数据进行集成学习，得到所述样本对象对应的目标加密特征数据，所述目标加密特征数据作为模型训练数据。
5.一种保护个人数据隐私的模型训练方法，包括：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
6.一种保护隐私数据的特征提取装置，包括：
图像序列获取模块，获取呈现有样本对象的多帧图像序列；
特征加密表示模块，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
7.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，其中，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列，所述样本对象对应多帧图像序列的初始加密特征数据用于生成模型训练数据。
9.一种保护个人数据隐私的模型训练装置，包括：
图像序列获取模块，获取呈现有样本对象的多帧图像序列；
特征加密表示模块，以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
特征集成学习模块，基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
10.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取呈现有样本对象的多帧图像序列；
以非线性转换作为加密方式，对获得的所述多帧图像序列进行特征表示，得到所述样本对象对应多帧图像序列的初始加密特征数据，并在得到所述样本对象对应所述多帧图像序的初始加密特征数据后，删除获得的所述多帧图像序列；
基于所述样本对象对应多帧图像序列的初始加密特征数据，对预设学习模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210067114.2A CN114419712A (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010409389.0A CN111553320B (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| CN202210067114.2A CN114419712A (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010409389.0A Division CN111553320B (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114419712A true CN114419712A (zh) | 2022-04-29 |
Family
ID=72006412
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210067114.2A Pending CN114419712A (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| CN202010409389.0A Active CN111553320B (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010409389.0A Active CN111553320B (zh) | 2020-05-14 | 2020-05-14 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN114419712A (zh) |
| WO (1) | WO2021228148A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419712A (zh) * | 2020-05-14 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| CN114676396B (zh) * | 2022-05-30 | 2022-08-30 | 山东极视角科技有限公司 | 深度神经网络模型的保护方法、装置、电子设备和介质 |
| CN116055651B (zh) * | 2023-01-06 | 2023-11-10 | 广东电网有限责任公司 | 多中心能源经济数据的共享访问方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958244A (zh) * | 2018-01-12 | 2018-04-24 | 成都视观天下科技有限公司 | 一种基于视频多帧人脸特征融合的人脸识别方法及装置 |
| CN108898191A (zh) * | 2018-09-26 | 2018-11-27 | 苏州米特希赛尔人工智能有限公司 | 卷积神经网络特征提取图像传感器 |
| CN108960207A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
| CN108960119A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的多角度视频融合的商品识别算法 |
| CN109359210A (zh) * | 2018-08-09 | 2019-02-19 | 中国科学院信息工程研究所 | 双盲隐私保护的人脸检索方法与系统 |
| CN110363183A (zh) * | 2019-07-30 | 2019-10-22 | 贵州大学 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
| CN110378092A (zh) * | 2019-07-26 | 2019-10-25 | 北京积加科技有限公司 | 身份识别系统及客户端、服务器和方法 |
| CN111080593A (zh) * | 2019-12-07 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
| CN111091102A (zh) * | 2019-12-20 | 2020-05-01 | 华中科技大学 | 一种视频分析装置、服务器、系统及保护身份隐私的方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100097861A (ko) * | 2009-02-27 | 2010-09-06 | 홍익대학교 산학협력단 | 자동 배경 제거를 이용한 얼굴 인식 시스템 성능 향상 |
| US9396354B1 (en) * | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
| CN105631296B (zh) * | 2015-12-30 | 2018-07-31 | 北京工业大学 | 一种基于cnn特征提取器的安全人脸认证系统设计方法 |
| CN106447625A (zh) * | 2016-09-05 | 2017-02-22 | 北京中科奥森数据科技有限公司 | 基于人脸图像序列的属性识别方法及装置 |
| CN106682650A (zh) * | 2017-01-26 | 2017-05-17 | 北京中科神探科技有限公司 | 基于嵌入式深度学习技术的移动终端人脸识别方法和系统 |
| CN108596056A (zh) * | 2018-04-10 | 2018-09-28 | 武汉斑马快跑科技有限公司 | 一种出租车运营行为动作识别方法及系统 |
| CN108681698B (zh) * | 2018-04-28 | 2021-03-16 | 武汉大学 | 一种具有隐私保护功能的大规模虹膜识别方法 |
| CN108764486A (zh) * | 2018-05-23 | 2018-11-06 | 哈尔滨工业大学 | 一种基于集成学习的特征选择方法及装置 |
| CN110110120B (zh) * | 2018-06-11 | 2021-05-25 | 北方工业大学 | 一种基于深度学习的图像检索方法和装置 |
| US10915995B2 (en) * | 2018-09-24 | 2021-02-09 | Movidius Ltd. | Methods and apparatus to generate masked images based on selective privacy and/or location tracking |
| CN109871749B (zh) * | 2019-01-02 | 2021-07-16 | 上海高重信息科技有限公司 | 一种基于深度哈希的行人重识别方法和装置、计算机系统 |
| CN110087099B (zh) * | 2019-03-11 | 2020-08-07 | 北京大学 | 一种保护隐私的监控方法和系统 |
| CN110427972B (zh) * | 2019-07-09 | 2022-02-22 | 众安信息技术服务有限公司 | 证件视频特征提取方法、装置、计算机设备和存储介质 |
| CN110633650A (zh) * | 2019-08-22 | 2019-12-31 | 首都师范大学 | 基于隐私保护的卷积神经网络人脸识别方法及装置 |
| CN110598606B (zh) * | 2019-09-02 | 2022-05-27 | 南京邮电大学 | 一种具有视觉隐私保护优势的室内跌倒行为检测方法 |
| CN110991462B (zh) * | 2019-10-31 | 2023-04-07 | 福建师范大学 | 基于隐私保护cnn的密态图像识别方法及系统 |
| CN114419712A (zh) * | 2020-05-14 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
-
2020
- 2020-05-14 CN CN202210067114.2A patent/CN114419712A/zh active Pending
- 2020-05-14 CN CN202010409389.0A patent/CN111553320B/zh active Active
-
2021
- 2021-05-12 WO PCT/CN2021/093367 patent/WO2021228148A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958244A (zh) * | 2018-01-12 | 2018-04-24 | 成都视观天下科技有限公司 | 一种基于视频多帧人脸特征融合的人脸识别方法及装置 |
| CN108960119A (zh) * | 2018-06-28 | 2018-12-07 | 武汉市哈哈便利科技有限公司 | 一种用于无人售货柜的多角度视频融合的商品识别算法 |
| CN108960207A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种图像识别的方法、系统及相关组件 |
| CN109359210A (zh) * | 2018-08-09 | 2019-02-19 | 中国科学院信息工程研究所 | 双盲隐私保护的人脸检索方法与系统 |
| CN108898191A (zh) * | 2018-09-26 | 2018-11-27 | 苏州米特希赛尔人工智能有限公司 | 卷积神经网络特征提取图像传感器 |
| CN110378092A (zh) * | 2019-07-26 | 2019-10-25 | 北京积加科技有限公司 | 身份识别系统及客户端、服务器和方法 |
| CN110363183A (zh) * | 2019-07-30 | 2019-10-22 | 贵州大学 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
| CN111080593A (zh) * | 2019-12-07 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
| CN111091102A (zh) * | 2019-12-20 | 2020-05-01 | 华中科技大学 | 一种视频分析装置、服务器、系统及保护身份隐私的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553320B (zh) | 2021-12-21 |
| WO2021228148A1 (zh) | 2021-11-18 |
| CN111553320A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553320B (zh) | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 | |
| CN112084946B (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN107818301B (zh) | 更新生物特征模板的方法、装置和电子设备 | |
| CN111862035B (zh) | 光斑检测模型的训练方法、光斑检测方法、设备及介质 | |
| CN109040594B (zh) | 拍照方法及装置 | |
| CN112949545B (zh) | 识别人脸图像的方法、装置、计算设备和介质 | |
| CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
| CN113505682A (zh) | 活体检测方法及装置 | |
| CN113343295B (zh) | 基于隐私保护的图像处理方法、装置、设备和存储介质 | |
| CN111125713A (zh) | 一种水平越权漏洞的检测方法、装置及电子设备 | |
| CN113850211A (zh) | 注入视频攻击检测方法和装置 | |
| CN111539382A (zh) | 一种图像识别模型隐私风险的评估方法、装置及电子设备 | |
| CN111428740A (zh) | 网络翻拍照片的检测方法、装置、计算机设备及存储介质 | |
| CN115314268B (zh) | 基于流量指纹和行为的恶意加密流量检测方法和系统 | |
| CN109461201A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112016057B (zh) | 代码文件的隐私保护方法、评估方法及装置及电子设备 | |
| CN115830668A (zh) | 基于面部识别的用户认证方法、装置、计算设备和介质 | |
| CN111898529B (zh) | 脸部检测方法、装置、电子设备和计算机可读介质 | |
| CN113553469B (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| CN111783742A (zh) | 一种防御对抗攻击的图像分类方法、业务决策方法及装置 | |
| CN111539022B (zh) | 一种特征匹配方法、目标对象的识别方法及相关硬件 | |
| CN114596638A (zh) | 人脸活体检测方法、装置及存储介质 | |
| CN113052045A (zh) | 识别指静脉图像的方法、装置、计算设备和介质 | |
| CN113763283B (zh) | 图像是否去雾的检测方法、装置和智能设备 | |
| CN110489592B (zh) | 视频分类方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |