CN111680676A - 训练人脸识别模型、图像注册、人脸识别方法和装置 - Google Patents

训练人脸识别模型、图像注册、人脸识别方法和装置 Download PDF

Info

Publication number
CN111680676A
CN111680676A CN202010820143.2A CN202010820143A CN111680676A CN 111680676 A CN111680676 A CN 111680676A CN 202010820143 A CN202010820143 A CN 202010820143A CN 111680676 A CN111680676 A CN 111680676A
Authority
CN
China
Prior art keywords
feature
encrypted
model
sub
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010820143.2A
Other languages
English (en)
Other versions
CN111680676B (zh
Inventor
郑龙飞
陈超超
周俊
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010820143.2A priority Critical patent/CN111680676B/zh
Publication of CN111680676A publication Critical patent/CN111680676A/zh
Application granted granted Critical
Publication of CN111680676B publication Critical patent/CN111680676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书实施例提供一种训练人脸识别模型、图像注册、人脸识别方法和装置，用于防止隐私泄露。方法包括：终端设备将人脸训练图像输入第一子模型，得到初始隐层特征；利用第一公钥对初始隐层特征进行同态加密得到加密隐层特征；向服务器发送加密隐层特征和第一公钥；服务器基于加密隐层特征和第二子模型，得到第一加密输出特征；从服务器接收第一加密输出特征；利用第一私钥对第一加密输出特征解密，得到第一解密输出特征；向服务器发送第一解密输出特征，服务器根据第一解密输出特征和人脸训练图像的标签，更新第二子模型，确定反向传播到第一子模型的梯度；从服务器接收梯度，根据梯度更新第一子模型。能够提高人脸识别的安全性。

Description

训练人脸识别模型、图像注册、人脸识别方法和装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及训练人脸识别模型、图像注册、人脸识别方法和装置。
背景技术
随着人工智能和计算机视觉技术的发展，人脸识别技术作为一种快捷方便的新型认证方式，在各个领域得到了广泛的应用，例如金融场景中的刷脸支付、民航场景中的刷脸认证、办公场景下的刷脸门禁，酒店住宿场景下的刷脸认证等。相比于传统的基于刷卡或密码的身份认证方式，人脸识别具有无接触、快捷有效、难以伪造等优点，因此逐渐成为身份认证的主流方式。
基于服务器或者云计算的人脸识别技术需要用户将本地人脸数据上传至远程计算平台，这些人脸数据不可避免地泄漏给了服务器提供商。此外，人脸的生物特征具有唯一性，一旦泄漏很难更改，因此保护数据隐私，对数据进行加密处理就显得尤为重要。目前的人脸识别方法，被攻击导致数据泄漏的风险仍然较高，安全性较低。
因此，希望能有改进的方案，能够提高人脸识别的安全性。
发明内容
本说明书一个或多个实施例描述了一种训练人脸识别模型、图像注册、人脸识别方法和装置，能够提高人脸识别的安全性。
第一方面，提供了一种训练人脸识别模型的方法，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述方法由所述多个终端设备中的任一终端设备执行，所述方法包括：
将人脸训练图像输入所述第一子模型，得到初始隐层特征；
利用第一公钥对所述初始隐层特征进行同态加密得到加密隐层特征；
向所述服务器发送所述加密隐层特征和所述第一公钥；以使所述服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
从所述服务器接收所述第一加密输出特征；
利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
向所述服务器发送所述第一解密输出特征，以使所述服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
从所述服务器接收所述梯度，并根据所述梯度更新所述第一子模型。
在一种可能的实施方式中，所述根据所述梯度更新所述第一子模型之后，所述方法还包括：
基于联邦学习的方式，对于所述任一终端设备与其他终端设备中的各第一子模型的模型参数进行聚合，以更新所述任一终端设备中的所述第一子模型的模型参数。
第二方面，提供了一种训练人脸识别模型的方法，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述多个终端设备中的任一终端设备接收加密隐层特征和第一公钥；所述加密隐层特征为所述任一终端设备利用所述第一公钥对初始隐层特征进行同态加密得到的，所述初始隐层特征为将人脸训练图像输入所述第一子模型得到的；
基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
向所述任一终端设备发送所述第一加密输出特征；以使所述任一终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
从所述任一终端设备接收所述第一解密输出特征；
根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
向所述任一终端设备发送所述梯度，以使所述任一终端设备根据所述梯度更新所述第一子模型。
在一种可能的实施方式中，所述基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征，包括：
将所述加密隐层特征输入所述第二子模型，得到第二加密输出特征；
在所述第二加密输出特征上添加加密随机特征，得到所述第一加密输出特征；所述加密随机特征为初始随机特征经过所述第一公钥进行同态加密后得到的。
进一步地，所述根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，包括：
在所述第一解密输出特征上减去所述初始随机特征，得到第二解密输出特征；
根据所述第二解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型。
在一种可能的实施方式中，所述第二子模型包括池化层，所述池化层采用平均池化。
在一种可能的实施方式中，所述第二子模型包括激活层，所述激活层通过多项式拟合非线性激活函数。
第三方面，提供了一种人脸图像注册方法，所述方法基于第一方面所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述方法由所述第一终端设备执行，所述方法包括：
将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征；
利用第二公钥对所述初始注册隐层特征进行同态加密得到加密注册隐层特征；
向所述服务器发送所述加密注册隐层特征和所述第二公钥；以使所述服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
从所述服务器接收所述第一加密注册输出特征；
利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
向所述服务器发送所述第一解密注册输出特征，以使所述服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
第四方面，提供了一种人脸图像注册方法，所述方法基于第二方面所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述第一终端设备接收加密注册隐层特征和第二公钥；所述加密注册隐层特征为所述第一终端设备利用所述第二公钥对初始注册隐层特征进行同态加密得到的；所述初始注册隐层特征为将人脸注册图像输入所述第一子模型得到的；
基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
向所述第一终端设备发送所述第一加密注册输出特征；以使所述第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
从所述第一终端设备接收所述第一解密注册输出特征；
根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
在一种可能的实施方式中，所述基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征，包括：
将所述加密注册隐层特征输入所述第二子模型，得到第二加密注册输出特征；
在所述第二加密注册输出特征上添加加密注册随机特征，得到所述第一加密注册输出特征；所述加密注册随机特征为初始注册随机特征经过所述第二公钥进行同态加密后得到的。
进一步地，所述根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板，包括：
在所述第一解密注册输出特征上减去所述初始注册随机特征，得到第二解密注册输出特征，作为所述目标用户的人脸特征模板。
第五方面，提供了一种人脸识别方法，所述方法基于第一方面所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述方法由所述第二终端设备执行，所述方法包括：
将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征；
利用第三公钥对所述初始目标隐层特征进行同态加密得到加密目标隐层特征；
向所述服务器发送所述加密目标隐层特征和所述第三公钥；以使所述服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
从所述服务器接收所述第一加密目标输出特征；
利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
向所述服务器发送所述第一解密目标输出特征，以使所述服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
第六方面，提供了一种人脸识别方法，所述方法基于第二方面所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述第二终端设备接收加密目标隐层特征和第三公钥；所述加密目标隐层特征为所述第二终端设备利用所述第三公钥对初始目标隐层特征进行同态加密得到的；所述初始目标隐层特征为将所述待识别人脸图像输入所述第一子模型得到的；
基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
向所述第二终端设备发送所述第一加密目标输出特征；以使所述第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
从所述第二终端设备接收所述第一解密目标输出特征；
基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
在一种可能的实施方式中，所述基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征，包括：
将所述加密目标隐层特征输入所述第二子模型，得到第二加密目标输出特征；
在所述第二加密目标输出特征上添加加密目标随机特征，得到所述第一加密目标输出特征；所述加密目标随机特征为初始目标随机特征经过所述第三公钥进行同态加密后得到的。
进一步地，所述基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功，包括：
在所述第一解密目标输出特征上减去所述初始目标随机特征，得到第二解密目标输出特征；
基于所述第二解密目标输出特征与人脸特征模板之间的距离，确定是否匹配成功。
第七方面，提供了一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述多个终端设备中的任一终端设备，所述装置包括：
特征提取单元，用于将人脸训练图像输入所述第一子模型，得到初始隐层特征；
加密单元，用于利用第一公钥对所述特征提取单元得到的初始隐层特征进行同态加密得到加密隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密隐层特征和所述第一公钥；以使所述服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
接收单元，用于从所述服务器接收所述第一加密输出特征；
解密单元，用于利用与所述第一公钥对应的第一私钥对所述接收单元接收的第一加密输出特征进行解密，得到第一解密输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密输出特征，以使所述服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
更新单元，用于从所述服务器接收所述梯度，并根据所述梯度更新所述第一子模型。
第八方面，提供了一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述多个终端设备中的任一终端设备接收加密隐层特征和第一公钥；所述加密隐层特征为所述任一终端设备利用所述第一公钥对初始隐层特征进行同态加密得到的，所述初始隐层特征为将人脸训练图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密隐层特征和所述第二子模型，得到第一加密输出特征；
发送单元，用于向所述任一终端设备发送所述特征提取单元得到的第一加密输出特征；以使所述任一终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
所述接收单元，还用于从所述任一终端设备接收所述第一解密输出特征；
更新单元，用于根据所述接收单元接收的第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
所述发送单元，还用于向所述任一终端设备发送所述更新单元确定的梯度，以使所述任一终端设备根据所述梯度更新所述第一子模型。
第九方面，提供了一种人脸图像注册装置，所述装置基于第七方面所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述第一终端设备，所述装置包括：
特征提取单元，用于将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征；
加密单元，用于利用第二公钥对所述特征提取单元得到的初始注册隐层特征进行同态加密得到加密注册隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密注册隐层特征和所述第二公钥；以使所述服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
接收单元，用于从所述服务器接收所述第一加密注册输出特征；
解密单元，用于利用与所述第二公钥对应的第二私钥对所述接收单元接收的第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密注册输出特征，以使所述服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
第十方面，提供了一种人脸图像注册装置，所述装置基于第八方面所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述第一终端设备接收加密注册隐层特征和第二公钥；所述加密注册隐层特征为所述第一终端设备利用所述第二公钥对初始注册隐层特征进行同态加密得到的；所述初始注册隐层特征为将人脸注册图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
发送单元，用于向所述第一终端设备发送所述特征提取单元得到的第一加密注册输出特征；以使所述第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述接收单元，还用于从所述第一终端设备接收所述第一解密注册输出特征；
注册单元，用于根据所述接收单元接收的第一解密注册输出特征，得到所述目标用户的人脸特征模板。
第十一方面，提供了一种人脸识别装置，所述装置基于第七方面所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述第二终端设备，所述装置包括：
特征提取单元，用于将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征；
加密单元，用于利用第三公钥对所述特征提取单元得到的初始目标隐层特征进行同态加密得到加密目标隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密目标隐层特征和所述第三公钥；以使所述服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
接收单元，用于从所述服务器接收所述第一加密目标输出特征；
解密单元，用于利用与所述第三公钥对应的第三私钥对所述接收单元接收的第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密目标输出特征，以使所述服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
第十二方面，提供了一种人脸识别装置，所述装置基于第八方面所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述第二终端设备接收加密目标隐层特征和第三公钥；所述加密目标隐层特征为所述第二终端设备利用所述第三公钥对初始目标隐层特征进行同态加密得到的；所述初始目标隐层特征为将所述待识别人脸图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
发送单元，用于向所述第二终端设备发送所述特征提取单元得到的第一加密目标输出特征；以使所述第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述接收单元，还用于从所述第二终端设备接收所述第一解密目标输出特征；
识别单元，用于基于所述接收单元接收的第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
第十三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一至六方面中任一方面的方法。
第十四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一至六方面中任一方面的方法。
通过本说明书实施例提供的方法和装置，由于人脸识别模型被拆分成第一子模型和第二子模型两部分，第一子模型部署于终端设备，第二子模型部署于服务器，因此在训练人脸识别模型的方法中，在人脸图像注册方法中，以及在人脸识别方法中，终端设备与服务器的交互过程中，服务器只能得到密文的隐层数据，无法得到明文的人脸数据，也无法得到上述第一子模型，提高了人脸数据的安全性，相应地，能够提高人脸识别的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的训练人脸识别模型的方法流程图；
图3示出根据一个实施例的人脸图像注册方法流程图；
图4示出根据一个实施例的人脸识别方法流程图；
图5示出根据一个实施例的训练人脸识别模型的装置的示意性框图；
图6示出根据另一个实施例的训练人脸识别模型的装置的示意性框图；
图7示出根据一个实施例的人脸图像注册装置的示意性框图；
图8示出根据另一个实施例的人脸图像注册装置的示意性框图；
图9示出根据一个实施例的人脸识别装置的示意性框图；
图10示出根据另一个实施例的人脸识别装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及人脸识别。参照图1，在人脸识别时，将待识别人脸图像输入人脸识别模型得到目标输出特征，将目标输出特征与人脸特征模板进行匹配，也就是确定二者之间的相似度分数，该分数给出了两者属于同一个主体的可能性，进而判断该待识别人脸图像所对应的用户身份。可以理解的是，在人脸识别之前，还包括对人脸识别模型进行训练的过程，以及人脸图像注册的过程。人脸图像注册，就是将已知用户身份的人脸图像经过训练好的人脸识别模型，转换成紧凑且可判别的特征向量，这也被称为人脸特征模板。
通常地，人脸识别、训练人脸识别模型和人脸图像注册过程中，均涉及终端设备与服务器的交互。以人脸识别过程为例，终端设备通过摄像头采集人脸图像，然后将采集的人脸图像传输给服务器，由服务器利用具有的人脸识别模型得到目标输出特征，再基于该目标输出特征确定该人脸图像的用户身份。
其中，人脸图像属于用户隐私，要保护人脸图像不会泄露，提高人脸识别的安全性。
本说明书实施例，将人脸识别模型拆分为第一子模型和第二子模型，第一子模型部署于终端设备，第二子模型部署于服务器，分别从人脸识别、训练人脸识别模型和人脸图像注册三个不同的阶段进行说明，在各阶段均有利于提高安全性。
在一个示例中，人脸识别模型为卷积神经网络（convolutional neuralnetworks，CNN），为了处理二维输入数据而特殊设计的多层人工神经网络，网络中的每层都由多个二维平面组成，每个平面由多个独立的神经元组成，相邻两层的神经元之间互相连接，同一层的神经元之间没有连接。CNN的基本结构由输入层、卷积层、池化层、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用交替设置的形式，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。
进一步地，可以根据基本的CNN神经网络架构，确定卷积层、池化层、全连接层的个数和相互间的连接形式，选择合适的卷积滤波器，构建CNN作为人脸识别模型。以ResNet为例，将网络分成两部分，其中前n层（假设n=3）网络部署在终端设备，这前n层网络即前述第一子模型，后34-n层网络部署在服务器，这后34-n层网络即前述第二子模型。
需要说明的是，本说明书实施例，对于人脸识别模型的具体网络结构不做限定，上述示例仅为了便于理解。
图2示出根据一个实施例的训练人脸识别模型的方法流程图，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述方法由所述多个终端设备中的任一终端设备和服务器交互执行，该方法可以基于图1所示的实施场景。如图2所示，该实施例中训练人脸识别模型的方法包括以下步骤：
首先在步骤21，终端设备将人脸训练图像输入所述第一子模型，得到初始隐层特征。可以理解的是，上述人脸训练图像具有对应的标签，该标签用于标识该人脸训练图像的用户身份。
本说明书实施例中，第一子模型直接对人脸训练图像的明文进行计算，得到初始隐层特征。
在一个示例中，在步骤21之前，终端设备利用摄像头采集人脸信息，获得人脸图像，并对人脸图像进行检测和对齐，进行数据预处理，获取人脸训练图像。
然后在步骤22，终端设备利用第一公钥对所述初始隐层特征进行同态加密得到加密隐层特征。可以理解的是，终端设备还具有第一公钥对应的第一私钥，第一公钥和第一私钥构成一组秘钥对。
在一个示例中，在步骤22之前，终端设备可以生成第一公钥和第一私钥构成的一组秘钥对。
接着在步骤23，终端设备向所述服务器发送所述加密隐层特征和所述第一公钥。可以理解的是，终端设备保留与第一公钥对应的第一私钥。
相应地，服务器从终端设备接收所述加密隐层特征和所述第一公钥。
其中，所述加密隐层特征为密文的隐层数据，第一子模型部署于终端设备，有利于提高人脸数据的安全性。
再在步骤24，服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征。可以理解的是，所述加密隐层特征为密文的隐层数据，相应地，第二子模型针对密文进行同态运算。
本说明书实施例中，可以将所述加密隐层特征输入所述第二子模型，将第二子模型的输出直接作为第一加密输出特征，或者，对第二子模型的输出再进行处理后得到第一加密输出特征。
在一个示例中，所述基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征，包括：
将所述加密隐层特征输入所述第二子模型，得到第二加密输出特征；
在所述第二加密输出特征上添加加密随机特征，得到所述第一加密输出特征；所述加密随机特征为初始随机特征经过所述第一公钥进行同态加密后得到的。
举例来说，加密隐层特征为<Ln>1，将<Ln>1输入第二子模型，得到第二加密输出特征<X>1；服务器根据<X>1的数据维度，生成相同维度的随机矩阵mask，再根据第二加密输出特征<X>1、随机矩阵mask和第一公钥pk1，得到第一加密输出特征<X+mask>1。
本说明书实施例中，针对同态加密只能进行加法和乘法运算，因此可以对第二子模型中的非线性运算进行多项式拟合，对各个连接层进行如下处理：
卷积层处理：卷积层将输入层矩阵点乘滤波器矩阵得到输出层矩阵，点乘是乘法和加法的组合，因此无需进行特殊处理。
池化层优化：池化一般分为最大池化和平均池化，最大池化涉及元素之间数值大小的比较，因此不适用于同态加密后的密文，用平均池化替代最大池化。
激活层的激活函数优化：由于激活函数为非线性函数，无法实现同态加密，因此利用多项式拟合激活函数，上述多项式具体可以为线性多项式。
本说明书实施例中，将人脸识别模型拆分为第一子模型和第二子模型，从而减少了同态加密模型中多项式拟合的次数，提高了模型精度和训练效率。
接着在步骤25，服务器向所述终端设备发送所述第一加密输出特征。可以理解的是，第一加密输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
相应地，终端设备从所述服务器接收所述第一加密输出特征。
再在步骤26，终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征。可以理解的是，第一加密输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
若第一加密输出特征为对第二子模型的输出再进行处理后得到的，终端设备对第一加密输出特征解密后也无法获知真正的输出层特征，能够防止终端设备对服务器上的第二子模型的攻击，提高了模型的安全性。
举例来说，第一加密输出特征<X+mask>1，解密后得到第一解密输出特征X+mask。
再在步骤27，终端设备向所述服务器发送所述第一解密输出特征。相应地，服务器从所述终端设备接收所述第一解密输出特征。
再在步骤28，服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度。可以理解的是，利用反向传播算法可以计算各层梯度并进行权重更新。
在一个示例中，所述根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，包括：
在所述第一解密输出特征上减去所述初始随机特征，得到第二解密输出特征；
根据所述第二解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型。
举例来说，第一解密输出特征X+mask减去初始随机特征mask，得到第二解密输出特征X，利用全联接层和softmax损失函数，得到预测损失，以最小化该预测损失为目标，更新所述第二子模型。
再在步骤29，服务器向所述终端设备发送所述梯度。相应地，终端设备从所述服务器接收所述梯度。
最后在步骤210，终端设备根据所述梯度更新所述第一子模型。可以理解的是，可以重复上述步骤21至210，当达到设定的训练轮数或其它终止条件时，结束训练，得到最终的人脸识别模型。
在一个示例中，所述根据所述梯度更新所述第一子模型之后，所述方法还包括：
基于联邦学习的方式，对于所述任一终端设备与其他终端设备中的各第一子模型的模型参数进行聚合，以更新所述任一终端设备中的所述第一子模型的模型参数。
该示例中，第一子模型通过联邦学习，提高了模型的鲁棒性。
图3示出根据一个实施例的人脸图像注册方法流程图，该方法基于图2所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述方法由所述第一终端设备和服务器交互执行。如图3所示，该实施例中人脸图像注册方法包括以下步骤：
首先在步骤31，第一终端设备将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征。可以理解的是，目标用户的用户身份为可信的。
本说明书实施例中，第一终端设备可以是执行过训练人脸识别模型的方法的终端设备，也可以是未执行过训练人脸识别模型的方法的终端设备。
本说明书实施例中，第一子模型直接对人脸注册图像的明文进行计算，得到初始注册隐层特征。
在一个示例中，在步骤31之前，第一终端设备利用摄像头采集人脸信息，获得人脸图像，并对人脸图像进行检测和对齐，进行数据预处理，获取人脸注册图像。
然后在步骤32，第一终端设备利用第二公钥对所述初始注册隐层特征进行同态加密得到加密注册隐层特征。可以理解的是，终端设备还具有第二公钥对应的第二私钥，第二公钥和第二私钥构成一组秘钥对。
在一个示例中，在步骤32之前，终端设备可以生成第二公钥和第二私钥构成的一组秘钥对。
接着在步骤33，第一终端设备向所述服务器发送所述加密注册隐层特征和所述第二公钥。可以理解的是，第一终端设备保留与第二公钥对应的第二私钥。
相应地，服务器从第一终端设备接收所述加密注册隐层特征和所述第二公钥。
其中，所述加密注册隐层特征为密文的隐层数据，第一子模型部署于终端设备，有利于提高人脸数据的安全性。
再在步骤34，服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征。可以理解的是，所述加密注册隐层特征为密文的隐层数据，相应地，第二子模型针对密文进行同态运算。
本说明书实施例中，可以将所述加密注册隐层特征输入所述第二子模型，将第二子模型的输出直接作为第一加密注册输出特征，或者，对第二子模型的输出再进行处理后得到第一加密注册输出特征。
在一个示例中，所述基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征，包括：
将所述加密注册隐层特征输入所述第二子模型，得到第二加密注册输出特征；
在所述第二加密注册输出特征上添加加密注册随机特征，得到所述第一加密注册输出特征；所述加密注册随机特征为初始注册随机特征经过所述第二公钥进行同态加密后得到的。
接着在步骤35，服务器向所述第一终端设备发送所述第一加密注册输出特征。可以理解的是，第一加密注册输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
相应地，终端设备从所述服务器接收所述第一加密注册输出特征。
再在步骤36，第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征。可以理解的是，第一加密注册输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
再在步骤37，第一终端设备向所述服务器发送所述第一解密注册输出特征。相应地，服务器从所述第一终端设备接收所述第一解密注册输出特征。
最后在步骤38，服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。可以理解的是，服务器可以将第一解密注册输出特征直接作为所述目标用户的人脸特征模板；或者，对第一解密注册输出特征进行处理后，再作为所述目标用户的人脸特征模板。
在一个示例中，所述根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板，包括：
在所述第一解密注册输出特征上减去所述初始注册随机特征，得到第二解密注册输出特征，作为所述目标用户的人脸特征模板。
本说明书实施例中，服务器存储明文的人脸特征模板，从而实现了通过与注册时不同的终端设备进行人脸识别。
图4示出根据一个实施例的人脸识别方法流程图，该方法基于图2所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述方法由所述第二终端设备和服务器交互执行。如图4所示，该实施例中人脸识别方法包括以下步骤：
首先在步骤41，第二终端设备将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征。可以理解的是，目标用户的用户身份为待识别的，服务器中存储有目标用户的人脸特征模板。
本说明书实施例中，第二终端设备可以与第一终端设备相同，也可以与第一终端设备不同，也就是说，用户可以通过一个终端设备进行人脸图像注册，再通过另一个终端设备进行人脸识别。
本说明书实施例中，第一子模型直接对待识别人脸图像的明文进行计算，得到初始目标隐层特征。
在一个示例中，在步骤41之前，第二终端设备利用摄像头采集人脸信息，获得人脸图像，并对人脸图像进行检测和对齐，进行数据预处理，获取待识别人脸图像。
然后在步骤42，第二终端设备利用第三公钥对所述初始目标隐层特征进行同态加密得到加密目标隐层特征。可以理解的是，终端设备还具有第三公钥对应的第三私钥，第三公钥和第三私钥构成一组秘钥对。
在一个示例中，在步骤42之前，终端设备可以生成第三公钥和第三私钥构成的一组秘钥对。
接着在步骤43，第二终端设备向所述服务器发送所述加密目标隐层特征和所述第三公钥。可以理解的是，第二终端设备保留与第三公钥对应的第三私钥。
相应地，服务器从第二终端设备接收所述加密目标隐层特征和所述第三公钥。
其中，所述加密目标隐层特征为密文的隐层数据，第一子模型部署于终端设备，有利于提高人脸数据的安全性。
再在步骤44，服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征。可以理解的是，所述加密目标隐层特征为密文的隐层数据，相应地，第二子模型针对密文进行同态运算。
本说明书实施例中，可以将所述加密目标隐层特征输入所述第二子模型，将第二子模型的输出直接作为第一加密目标输出特征，或者，对第二子模型的输出再进行处理后得到第一加密目标输出特征。
在一个示例中，所述基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征，包括：
将所述加密目标隐层特征输入所述第二子模型，得到第二加密目标输出特征；
在所述第二加密目标输出特征上添加加密目标随机特征，得到所述第一加密目标输出特征；所述加密目标随机特征为初始目标随机特征经过所述第三公钥进行同态加密后得到的。
接着在步骤45，服务器向所述第二终端设备发送所述第一加密目标输出特征。可以理解的是，第一加密目标输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
相应地，终端设备从所述服务器接收所述第一加密目标输出特征。
再在步骤46，第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征。可以理解的是，第一加密目标输出特征可以为第二子模型的输出，或者，对第二子模型的输出再进行处理后得到的。
再在步骤47，第二终端设备向所述服务器发送所述第一解密目标输出特征。相应地，服务器从所述第二终端设备接收所述第一解密目标输出特征。
最后在步骤48，服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。可以理解的是，服务器可以将第一解密目标输出特征直接与人脸特征模板进行匹配；或者，对第一解密目标输出特征进行处理后，再与人脸特征模板进行匹配。
在一个示例中，所述基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功，包括：
在所述第一解密目标输出特征上减去所述初始目标随机特征，得到第二解密目标输出特征；
基于所述第二解密目标输出特征与人脸特征模板之间的距离，确定是否匹配成功。
举例来说，当所述第二解密目标输出特征与人脸特征模板之间的距离小于判断门限时，即确定为一个人，匹配成功，继续执行后续其它操作。
通过本说明书实施例提供的方法，由于人脸识别模型被拆分成第一子模型和第二子模型两部分，第一子模型部署于终端设备，第二子模型部署于服务器，因此在训练人脸识别模型的方法中，在人脸图像注册方法中，以及在人脸识别方法中，终端设备与服务器的交互过程中，服务器只能得到密文的隐层数据，无法得到明文的人脸数据，也无法得到上述第一子模型，提高了人脸数据的安全性，相应地，能够提高人脸识别的安全性。
根据另一方面的实施例，还提供一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述多个终端设备中的任一终端设备，该装置用于执行本说明书实施例提供的训练人脸识别模型的方法中终端设备执行的动作。图5示出根据一个实施例的训练人脸识别模型的装置的示意性框图。如图5所示，该装置500包括：
特征提取单元51，用于将人脸训练图像输入所述第一子模型，得到初始隐层特征；
加密单元52，用于利用第一公钥对所述特征提取单元51得到的初始隐层特征进行同态加密得到加密隐层特征；
发送单元53，用于向所述服务器发送所述加密单元52得到的加密隐层特征和所述第一公钥；以使所述服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
接收单元54，用于从所述服务器接收所述第一加密输出特征；
解密单元55，用于利用与所述第一公钥对应的第一私钥对所述接收单元54接收的第一加密输出特征进行解密，得到第一解密输出特征；
所述发送单元53，还用于向所述服务器发送所述解密单元55得到的第一解密输出特征，以使所述服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
更新单元56，用于从所述服务器接收所述梯度，并根据所述梯度更新所述第一子模型。
可选地，作为一个实施例，所述装置还包括：
聚合单元，用于在所述更新单元56根据所述梯度更新所述第一子模型之后，基于联邦学习的方式，对于所述任一终端设备与其他终端设备中的各第一子模型的模型参数进行聚合，以更新所述任一终端设备中的所述第一子模型的模型参数。
根据另一方面的实施例，还提供一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，该装置用于执行本说明书实施例提供的训练人脸识别模型的方法中服务器执行的动作。图6示出根据另一个实施例的训练人脸识别模型的装置的示意性框图。如图6所示，该装置600包括：
接收单元61，用于从所述多个终端设备中的任一终端设备接收加密隐层特征和第一公钥；所述加密隐层特征为所述任一终端设备利用所述第一公钥对初始隐层特征进行同态加密得到的，所述初始隐层特征为将人脸训练图像输入所述第一子模型得到的；
特征提取单元62，用于基于所述接收单元61接收的加密隐层特征和所述第二子模型，得到第一加密输出特征；
发送单元63，用于向所述任一终端设备发送所述特征提取单元62得到的第一加密输出特征；以使所述任一终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
所述接收单元61，还用于从所述任一终端设备接收所述第一解密输出特征；
更新单元64，用于根据所述接收单元61接收的第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
所述发送单元63，还用于向所述任一终端设备发送所述更新单元64确定的梯度，以使所述任一终端设备根据所述梯度更新所述第一子模型。
可选地，作为一个实施例，所述特征提取单元62包括：
特征提取子单元，用于将所述加密隐层特征输入所述第二子模型，得到第二加密输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密输出特征上添加加密随机特征，得到所述第一加密输出特征；所述加密随机特征为初始随机特征经过所述第一公钥进行同态加密后得到的。
进一步地，所述更新单元64包括：
解密子单元，用于在所述第一解密输出特征上减去所述初始随机特征，得到第二解密输出特征；
更新子单元，用于根据所述解密子单元得到的第二解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型。
可选地，作为一个实施例，所述第二子模型包括池化层，所述池化层采用平均池化。
可选地，作为一个实施例，所述第二子模型包括激活层，所述激活层通过多项式拟合非线性激活函数。
根据另一方面的实施例，还提供一种人脸图像注册装置，所述装置基于图5所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述第一终端设备，该装置用于执行本说明书实施例提供的人脸图像注册方法中终端设备执行的动作。图7示出根据一个实施例的人脸图像注册装置的示意性框图。如图7所示，该装置700包括：
特征提取单元71，用于将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征；
加密单元72，用于利用第二公钥对所述特征提取单元71得到的初始注册隐层特征进行同态加密得到加密注册隐层特征；
发送单元73，用于向所述服务器发送所述加密单元72得到的加密注册隐层特征和所述第二公钥；以使所述服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
接收单元74，用于从所述服务器接收所述第一加密注册输出特征；
解密单元75，用于利用与所述第二公钥对应的第二私钥对所述接收单元74接收的第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述发送单元73，还用于向所述服务器发送所述解密单元75得到的第一解密注册输出特征，以使所述服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
根据另一方面的实施例，还提供一种人脸图像注册装置，所述装置基于图6所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，该装置用于执行本说明书实施例提供的人脸图像注册方法中服务器执行的动作。图8示出根据另一个实施例的人脸图像注册装置的示意性框图。如图8所示，该装置800包括：
接收单元81，用于从所述第一终端设备接收加密注册隐层特征和第二公钥；所述加密注册隐层特征为所述第一终端设备利用所述第二公钥对初始注册隐层特征进行同态加密得到的；所述初始注册隐层特征为将人脸注册图像输入所述第一子模型得到的；
特征提取单元82，用于基于所述接收单元81接收的加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
发送单元83，用于向所述第一终端设备发送所述特征提取单元82得到的第一加密注册输出特征；以使所述第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述接收单元81，还用于从所述第一终端设备接收所述第一解密注册输出特征；
注册单元84，用于根据所述接收单元81接收的第一解密注册输出特征，得到所述目标用户的人脸特征模板。
可选地，作为一个实施例，所述特征提取单元82包括：
特征提取子单元，用于将所述加密注册隐层特征输入所述第二子模型，得到第二加密注册输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密注册输出特征上添加加密注册随机特征，得到所述第一加密注册输出特征；所述加密注册随机特征为初始注册随机特征经过所述第二公钥进行同态加密后得到的。
进一步地，所述注册单元84，具体用于在所述第一解密注册输出特征上减去所述初始注册随机特征，得到第二解密注册输出特征，作为所述目标用户的人脸特征模板。
根据另一方面的实施例，还提供一种人脸识别装置，所述装置基于图5所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述第二终端设备，该装置用于执行本说明书实施例提供的人脸识别方法中终端设备执行的动作。图9示出根据一个实施例的人脸识别装置的示意性框图。如图9所示，该装置900包括：
特征提取单元91，用于将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征；
加密单元92，用于利用第三公钥对所述特征提取单元91得到的初始目标隐层特征进行同态加密得到加密目标隐层特征；
发送单元93，用于向所述服务器发送所述加密单元92得到的加密目标隐层特征和所述第三公钥；以使所述服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
接收单元94，用于从所述服务器接收所述第一加密目标输出特征；
解密单元95，用于利用与所述第三公钥对应的第三私钥对所述接收单元94接收的第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述发送单元93，还用于向所述服务器发送所述解密单元95得到的第一解密目标输出特征，以使所述服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
根据另一方面的实施例，还提供一种人脸识别装置，所述装置基于图6所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，该装置用于执行本说明书实施例提供的人脸识别方法中服务器执行的动作。图10示出根据另一个实施例的人脸识别装置的示意性框图。如图10所示，该装置1000包括：
接收单元101，用于从所述第二终端设备接收加密目标隐层特征和第三公钥；所述加密目标隐层特征为所述第二终端设备利用所述第三公钥对初始目标隐层特征进行同态加密得到的；所述初始目标隐层特征为将所述待识别人脸图像输入所述第一子模型得到的；
特征提取单元102，用于基于所述接收单元101接收的加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
发送单元103，用于向所述第二终端设备发送所述特征提取单元102得到的第一加密目标输出特征；以使所述第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述接收单元101，还用于从所述第二终端设备接收所述第一解密目标输出特征；
识别单元104，用于基于所述接收单元101接收的第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
可选地，作为一个实施例，所述特征提取单元102包括：
特征提取子单元，用于将所述加密目标隐层特征输入所述第二子模型，得到第二加密目标输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密目标输出特征上添加加密目标随机特征，得到所述第一加密目标输出特征；所述加密目标随机特征为初始目标随机特征经过所述第三公钥进行同态加密后得到的。
进一步地，所述识别单元104包括：
解密子单元，用于在所述第一解密目标输出特征上减去所述初始目标随机特征，得到第二解密目标输出特征；
识别子单元，用于基于所述解密子单元得到的第二解密目标输出特征与人脸特征模板之间的距离，确定是否匹配成功。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2至4所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2至4所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (32)

1.一种训练人脸识别模型的方法，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述方法由所述多个终端设备中的任一终端设备执行，所述方法包括：
将人脸训练图像输入所述第一子模型，得到初始隐层特征；
利用第一公钥对所述初始隐层特征进行同态加密得到加密隐层特征；
向所述服务器发送所述加密隐层特征和所述第一公钥；以使所述服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
从所述服务器接收所述第一加密输出特征；
利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
向所述服务器发送所述第一解密输出特征，以使所述服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
从所述服务器接收所述梯度，并根据所述梯度更新所述第一子模型。
2.如权利要求1所述的方法，其中，所述根据所述梯度更新所述第一子模型之后，所述方法还包括：
基于联邦学习的方式，对于所述任一终端设备与其他终端设备中的各第一子模型的模型参数进行聚合，以更新所述任一终端设备中的所述第一子模型的模型参数。
3.一种训练人脸识别模型的方法，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述多个终端设备中的任一终端设备接收加密隐层特征和第一公钥；所述加密隐层特征为所述任一终端设备利用所述第一公钥对初始隐层特征进行同态加密得到的，所述初始隐层特征为将人脸训练图像输入所述第一子模型得到的；
基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
向所述任一终端设备发送所述第一加密输出特征；以使所述任一终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
从所述任一终端设备接收所述第一解密输出特征；
根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
向所述任一终端设备发送所述梯度，以使所述任一终端设备根据所述梯度更新所述第一子模型。
4.如权利要求3所述的方法，其中，所述基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征，包括：
将所述加密隐层特征输入所述第二子模型，得到第二加密输出特征；
在所述第二加密输出特征上添加加密随机特征，得到所述第一加密输出特征；所述加密随机特征为初始随机特征经过所述第一公钥进行同态加密后得到的。
5.如权利要求4所述的方法，其中，所述根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，包括：
在所述第一解密输出特征上减去所述初始随机特征，得到第二解密输出特征；
根据所述第二解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型。
6.如权利要求3所述的方法，其中，所述第二子模型包括池化层，所述池化层采用平均池化。
7.如权利要求3所述的方法，其中，所述第二子模型包括激活层，所述激活层通过多项式拟合非线性激活函数。
8.一种人脸图像注册方法，所述方法基于权利要求1所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述方法由所述第一终端设备执行，所述方法包括：
将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征；
利用第二公钥对所述初始注册隐层特征进行同态加密得到加密注册隐层特征；
向所述服务器发送所述加密注册隐层特征和所述第二公钥；以使所述服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
从所述服务器接收所述第一加密注册输出特征；
利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
向所述服务器发送所述第一解密注册输出特征，以使所述服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
9.一种人脸图像注册方法，所述方法基于权利要求3所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述第一终端设备接收加密注册隐层特征和第二公钥；所述加密注册隐层特征为所述第一终端设备利用所述第二公钥对初始注册隐层特征进行同态加密得到的；所述初始注册隐层特征为将人脸注册图像输入所述第一子模型得到的；
基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
向所述第一终端设备发送所述第一加密注册输出特征；以使所述第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
从所述第一终端设备接收所述第一解密注册输出特征；
根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
10.如权利要求9所述的方法，其中，所述基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征，包括：
将所述加密注册隐层特征输入所述第二子模型，得到第二加密注册输出特征；
在所述第二加密注册输出特征上添加加密注册随机特征，得到所述第一加密注册输出特征；所述加密注册随机特征为初始注册随机特征经过所述第二公钥进行同态加密后得到的。
11.如权利要求10所述的方法，其中，所述根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板，包括：
在所述第一解密注册输出特征上减去所述初始注册随机特征，得到第二解密注册输出特征，作为所述目标用户的人脸特征模板。
12.一种人脸识别方法，所述方法基于权利要求1所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述方法由所述第二终端设备执行，所述方法包括：
将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征；
利用第三公钥对所述初始目标隐层特征进行同态加密得到加密目标隐层特征；
向所述服务器发送所述加密目标隐层特征和所述第三公钥；以使所述服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
从所述服务器接收所述第一加密目标输出特征；
利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
向所述服务器发送所述第一解密目标输出特征，以使所述服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
13.一种人脸识别方法，所述方法基于权利要求3所述的方法训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述方法由所述服务器执行，所述方法包括：
从所述第二终端设备接收加密目标隐层特征和第三公钥；所述加密目标隐层特征为所述第二终端设备利用所述第三公钥对初始目标隐层特征进行同态加密得到的；所述初始目标隐层特征为将所述待识别人脸图像输入所述第一子模型得到的；
基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
向所述第二终端设备发送所述第一加密目标输出特征；以使所述第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
从所述第二终端设备接收所述第一解密目标输出特征；
基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
14.如权利要求13所述的方法，其中，所述基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征，包括：
将所述加密目标隐层特征输入所述第二子模型，得到第二加密目标输出特征；
在所述第二加密目标输出特征上添加加密目标随机特征，得到所述第一加密目标输出特征；所述加密目标随机特征为初始目标随机特征经过所述第三公钥进行同态加密后得到的。
15.如权利要求14所述的方法，其中，所述基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功，包括：
在所述第一解密目标输出特征上减去所述初始目标随机特征，得到第二解密目标输出特征；
基于所述第二解密目标输出特征与人脸特征模板之间的距离，确定是否匹配成功。
16.一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述多个终端设备中的任一终端设备，所述装置包括：
特征提取单元，用于将人脸训练图像输入所述第一子模型，得到初始隐层特征；
加密单元，用于利用第一公钥对所述特征提取单元得到的初始隐层特征进行同态加密得到加密隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密隐层特征和所述第一公钥；以使所述服务器基于所述加密隐层特征和所述第二子模型，得到第一加密输出特征；
接收单元，用于从所述服务器接收所述第一加密输出特征；
解密单元，用于利用与所述第一公钥对应的第一私钥对所述接收单元接收的第一加密输出特征进行解密，得到第一解密输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密输出特征，以使所述服务器根据所述第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
更新单元，用于从所述服务器接收所述梯度，并根据所述梯度更新所述第一子模型。
17.如权利要求16所述的装置，其中，所述装置还包括：
聚合单元，用于在所述更新单元根据所述梯度更新所述第一子模型之后，基于联邦学习的方式，对于所述任一终端设备与其他终端设备中的各第一子模型的模型参数进行聚合，以更新所述任一终端设备中的所述第一子模型的模型参数。
18.一种训练人脸识别模型的装置，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于多个终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述多个终端设备中的任一终端设备接收加密隐层特征和第一公钥；所述加密隐层特征为所述任一终端设备利用所述第一公钥对初始隐层特征进行同态加密得到的，所述初始隐层特征为将人脸训练图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密隐层特征和所述第二子模型，得到第一加密输出特征；
发送单元，用于向所述任一终端设备发送所述特征提取单元得到的第一加密输出特征；以使所述任一终端设备利用与所述第一公钥对应的第一私钥对所述第一加密输出特征进行解密，得到第一解密输出特征；
所述接收单元，还用于从所述任一终端设备接收所述第一解密输出特征；
更新单元，用于根据所述接收单元接收的第一解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型，并确定反向传播到所述第一子模型的梯度；
所述发送单元，还用于向所述任一终端设备发送所述更新单元确定的梯度，以使所述任一终端设备根据所述梯度更新所述第一子模型。
19.如权利要求18所述的装置，其中，所述特征提取单元包括：
特征提取子单元，用于将所述加密隐层特征输入所述第二子模型，得到第二加密输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密输出特征上添加加密随机特征，得到所述第一加密输出特征；所述加密随机特征为初始随机特征经过所述第一公钥进行同态加密后得到的。
20.如权利要求19所述的装置，其中，所述更新单元包括：
解密子单元，用于在所述第一解密输出特征上减去所述初始随机特征，得到第二解密输出特征；
更新子单元，用于根据所述解密子单元得到的第二解密输出特征和所述人脸训练图像对应的标签，更新所述第二子模型。
21.如权利要求18所述的装置，其中，所述第二子模型包括池化层，所述池化层采用平均池化。
22.如权利要求18所述的装置，其中，所述第二子模型包括激活层，所述激活层通过多项式拟合非线性激活函数。
23.一种人脸图像注册装置，所述装置基于权利要求16所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述第一终端设备，所述装置包括：
特征提取单元，用于将目标用户的人脸注册图像输入所述第一子模型，得到初始注册隐层特征；
加密单元，用于利用第二公钥对所述特征提取单元得到的初始注册隐层特征进行同态加密得到加密注册隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密注册隐层特征和所述第二公钥；以使所述服务器基于所述加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
接收单元，用于从所述服务器接收所述第一加密注册输出特征；
解密单元，用于利用与所述第二公钥对应的第二私钥对所述接收单元接收的第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密注册输出特征，以使所述服务器根据所述第一解密注册输出特征，得到所述目标用户的人脸特征模板。
24.一种人脸图像注册装置，所述装置基于权利要求18所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第一终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述第一终端设备接收加密注册隐层特征和第二公钥；所述加密注册隐层特征为所述第一终端设备利用所述第二公钥对初始注册隐层特征进行同态加密得到的；所述初始注册隐层特征为将人脸注册图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密注册隐层特征和所述第二子模型，得到第一加密注册输出特征；
发送单元，用于向所述第一终端设备发送所述特征提取单元得到的第一加密注册输出特征；以使所述第一终端设备利用与所述第二公钥对应的第二私钥对所述第一加密注册输出特征进行解密，得到第一解密注册输出特征；
所述接收单元，还用于从所述第一终端设备接收所述第一解密注册输出特征；
注册单元，用于根据所述接收单元接收的第一解密注册输出特征，得到所述目标用户的人脸特征模板。
25.如权利要求24所述的装置，其中，所述特征提取单元包括：
特征提取子单元，用于将所述加密注册隐层特征输入所述第二子模型，得到第二加密注册输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密注册输出特征上添加加密注册随机特征，得到所述第一加密注册输出特征；所述加密注册随机特征为初始注册随机特征经过所述第二公钥进行同态加密后得到的。
26.如权利要求25所述的装置，其中，所述注册单元，具体用于在所述第一解密注册输出特征上减去所述初始注册随机特征，得到第二解密注册输出特征，作为所述目标用户的人脸特征模板。
27.一种人脸识别装置，所述装置基于权利要求16所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述第二终端设备，所述装置包括：
特征提取单元，用于将目标用户的待识别人脸图像输入所述第一子模型，得到初始目标隐层特征；
加密单元，用于利用第三公钥对所述特征提取单元得到的初始目标隐层特征进行同态加密得到加密目标隐层特征；
发送单元，用于向所述服务器发送所述加密单元得到的加密目标隐层特征和所述第三公钥；以使所述服务器基于所述加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
接收单元，用于从所述服务器接收所述第一加密目标输出特征；
解密单元，用于利用与所述第三公钥对应的第三私钥对所述接收单元接收的第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述发送单元，还用于向所述服务器发送所述解密单元得到的第一解密目标输出特征，以使所述服务器基于所述第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
28.一种人脸识别装置，所述装置基于权利要求18所述的装置训练后的人脸识别模型，所述人脸识别模型包括第一子模型和第二子模型，所述第一子模型部署于第二终端设备，所述第二子模型部署于服务器，所述装置设置于所述服务器，所述装置包括：
接收单元，用于从所述第二终端设备接收加密目标隐层特征和第三公钥；所述加密目标隐层特征为所述第二终端设备利用所述第三公钥对初始目标隐层特征进行同态加密得到的；所述初始目标隐层特征为将所述待识别人脸图像输入所述第一子模型得到的；
特征提取单元，用于基于所述接收单元接收的加密目标隐层特征和所述第二子模型，得到第一加密目标输出特征；
发送单元，用于向所述第二终端设备发送所述特征提取单元得到的第一加密目标输出特征；以使所述第二终端设备利用与所述第三公钥对应的第三私钥对所述第一加密目标输出特征进行解密，得到第一解密目标输出特征；
所述接收单元，还用于从所述第二终端设备接收所述第一解密目标输出特征；
识别单元，用于基于所述接收单元接收的第一解密目标输出特征与人脸特征模板，确定是否匹配成功。
29.如权利要求28所述的装置，其中，所述特征提取单元包括：
特征提取子单元，用于将所述加密目标隐层特征输入所述第二子模型，得到第二加密目标输出特征；
加密子单元，用于在所述特征提取子单元得到的第二加密目标输出特征上添加加密目标随机特征，得到所述第一加密目标输出特征；所述加密目标随机特征为初始目标随机特征经过所述第三公钥进行同态加密后得到的。
30.如权利要求29所述的装置，其中，所述识别单元包括：
解密子单元，用于在所述第一解密目标输出特征上减去所述初始目标随机特征，得到第二解密目标输出特征；
识别子单元，用于基于所述解密子单元得到的第二解密目标输出特征与人脸特征模板之间的距离，确定是否匹配成功。
31.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-15中任一项的所述的方法。
32.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-15中任一项的所述的方法。
CN202010820143.2A 2020-08-14 2020-08-14 训练人脸识别模型、图像注册、人脸识别方法和装置 Active CN111680676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820143.2A CN111680676B (zh) 2020-08-14 2020-08-14 训练人脸识别模型、图像注册、人脸识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820143.2A CN111680676B (zh) 2020-08-14 2020-08-14 训练人脸识别模型、图像注册、人脸识别方法和装置

Publications (2)

Publication Number Publication Date
CN111680676A true CN111680676A (zh) 2020-09-18
CN111680676B CN111680676B (zh) 2020-11-03

Family

ID=72438631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820143.2A Active CN111680676B (zh) 2020-08-14 2020-08-14 训练人脸识别模型、图像注册、人脸识别方法和装置

Country Status (1)

Country Link
CN (1) CN111680676B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152806A (zh) * 2020-09-25 2020-12-29 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN113673476A (zh) * 2021-09-02 2021-11-19 京东科技控股股份有限公司 人脸识别模型训练方法、装置、存储介质与电子设备
CN114117386A (zh) * 2021-11-26 2022-03-01 京东方科技集团股份有限公司 会议管理方法及装置、计算机可读存储介质、电子设备
CN116206355A (zh) * 2023-04-25 2023-06-02 鹏城实验室 人脸识别模型训练、图像注册、人脸识别方法及装置
CN117155569A (zh) * 2023-10-30 2023-12-01 天清数安(天津)科技有限公司 一种用于微调预训练模型的隐私计算方法和系统
CN117852071A (zh) * 2023-12-01 2024-04-09 羚羊工业互联网股份有限公司 基于大模型的隐私保护方法及相关装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145829A (zh) * 2018-08-24 2019-01-04 中共中央办公厅电子科技学院 一种基于深度学习和同态加密的安全高效的人脸识别方法
US20200044852A1 (en) * 2018-03-07 2020-02-06 Open Inference Holdings LLC Systems and methods for privacy-enabled biometric processing
CN111178547A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200044852A1 (en) * 2018-03-07 2020-02-06 Open Inference Holdings LLC Systems and methods for privacy-enabled biometric processing
CN109145829A (zh) * 2018-08-24 2019-01-04 中共中央办公厅电子科技学院 一种基于深度学习和同态加密的安全高效的人脸识别方法
CN111178547A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUKUN MA 等: "Secure Face-Verification Scheme Based on Homomorphic Encryption and Deep Neural Networks", 《IEEE ACCESS》 *
陈耀丹 等: "基于卷积神经网络的人脸识别方法", 《东北师大学报(自然科学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152806A (zh) * 2020-09-25 2020-12-29 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN112152806B (zh) * 2020-09-25 2023-07-18 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN113673476A (zh) * 2021-09-02 2021-11-19 京东科技控股股份有限公司 人脸识别模型训练方法、装置、存储介质与电子设备
CN113673476B (zh) * 2021-09-02 2023-11-07 京东科技控股股份有限公司 人脸识别模型训练方法、装置、存储介质与电子设备
CN114117386A (zh) * 2021-11-26 2022-03-01 京东方科技集团股份有限公司 会议管理方法及装置、计算机可读存储介质、电子设备
CN116206355A (zh) * 2023-04-25 2023-06-02 鹏城实验室 人脸识别模型训练、图像注册、人脸识别方法及装置
CN117155569A (zh) * 2023-10-30 2023-12-01 天清数安(天津)科技有限公司 一种用于微调预训练模型的隐私计算方法和系统
CN117155569B (zh) * 2023-10-30 2024-01-09 天清数安(天津)科技有限公司 一种用于微调预训练模型的隐私计算方法和系统
CN117852071A (zh) * 2023-12-01 2024-04-09 羚羊工业互联网股份有限公司 基于大模型的隐私保护方法及相关装置、设备和存储介质

Also Published As

Publication number Publication date
CN111680676B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111680676B (zh) 训练人脸识别模型、图像注册、人脸识别方法和装置
CN111738238B (zh) 人脸识别方法和装置
Bringer et al. Privacy-preserving biometric identification using secure multiparty computation: An overview and recent trends
Gaddam et al. Efficient Cancelable Biometric Key Generation Scheme for Cryptography.
Im et al. Practical privacy-preserving face authentication for smartphones secure against malicious clients
JP6238867B2 (ja) 逐次バイオメトリック暗号システムおよび逐次バイオメトリック暗号処理方法
CN115336223A (zh) 经优化私人生物特征匹配
Barni et al. SEMBA: secure multi‐biometric authentication
Falmari et al. Privacy preserving biometric authentication using chaos on remote untrusted server
CN111475690B (zh) 字符串的匹配方法和装置、数据检测方法、服务器
CN114596639B (zh) 一种生物特征识别方法、装置、电子设备及存储介质
CN102710417A (zh) 一种基于指纹特征与密钥交换协议的模糊金库方法
CN115456766A (zh) 信用风险预测方法及装置
Agrawal et al. Game-set-MATCH: Using mobile devices for seamless external-facing biometric matching
Chitra et al. Security analysis of prealigned fingerprint template using fuzzy vault scheme
CN113946858A (zh) 一种基于数据隐私计算的身份安全认证方法及系统
Jasmine et al. A privacy preserving based multi-biometric system for secure identification in cloud environment
CN117675270A (zh) 面向纵向联邦学习的多模态数据加密传输方法及系统
Selimović et al. Authentication based on the image encryption using delaunay triangulation and catalan objects
Kim et al. PCA-CIA Ensemble-based Feature Extraction for Bio-Key Generation.
Abiega-L’Eglisse et al. A new fuzzy vault based biometric system robust to brute-force attack
CN116865938A (zh) 基于秘密共享和同态加密的多服务器联邦学习方法
JP2007188194A (ja) 認証システム、変換関数生成装置、変換関数生成方法、この変換関数生成方法をコンピュータに実行させることが可能なプログラム、及び、このプログラムをコンピュータが実行することが可能にて記録した記録媒体
Abdullahi et al. The reversibility of cancelable biometric templates based on iterative perturbation stochastic approximation strategy
Hernández-Álvarez et al. How to attack a galaxy: from Star Wars to Star Trek

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037386

Country of ref document: HK