CN110598464B - 一种人脸识别系统的数据与模型安全保护方法 - Google Patents

一种人脸识别系统的数据与模型安全保护方法 Download PDF

Info

Publication number
CN110598464B
CN110598464B CN201910957343.XA CN201910957343A CN110598464B CN 110598464 B CN110598464 B CN 110598464B CN 201910957343 A CN201910957343 A CN 201910957343A CN 110598464 B CN110598464 B CN 110598464B
Authority
CN
China
Prior art keywords
data
user
model
face recognition
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957343.XA
Other languages
English (en)
Other versions
CN110598464A (zh
Inventor
高岩
郝虹
姜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201910957343.XA priority Critical patent/CN110598464B/zh
Publication of CN110598464A publication Critical patent/CN110598464A/zh
Application granted granted Critical
Publication of CN110598464B publication Critical patent/CN110598464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种人脸识别系统的数据与模型安全保护方法，属于工智能算法在应用中的安全保护技术领域，本发明该技术通过分离模型输入端和输出端，达到保护用户隐私数据的安全性和系统自身的模型不被侵权使用的目的。本发明合理利用了神经网络模型计算的有序性，解决了人脸识别模型提供商和客户隐私保护的问题。

Description

一种人脸识别系统的数据与模型安全保护方法
技术领域
本发明涉及工智能算法在应用中的安全保护技术，尤其涉及一种人脸识别系统的数据与模型安全保护方法。
背景技术
神经网络人脸识别模型将人脸图像作为输入，经过多层前向传播得到人脸特征向量，同一个人的人脸特征向量距离较小或相似度高，否则向量距离较大或相似度低。人脸识别模型一般为解决方案的核心资产，在部署时一般采用完全在线或离线方式。在线方式时，图像传递给服务商，特征向量的计算在服务商一侧完成；如果采用离线方式，服务商将模型部署在客户现场，图像在本地完成计算。前者存在客户隐私数据泄露的风险，后者对服务商核心资产存在被破译侵权的可能性。
发明内容
为了解决以上技术问题，本发明提出了一种针对神经网络人脸识别模型在应用过程中的用户数据隐私保护和模型提供商算法知识产权保护的方法，合理利用了神经网络模型计算的有序性，解决了人脸识别模型提供商和客户隐私保护的问题。
本发明的技术方案是：
一种人脸识别系统的数据与模型安全保护方法，
通过分离模型输入端和输出端，达到保护用户隐私数据的安全性和系统自身的模型不被侵权使用，主要包括：
1)对用户数据的隐私保护；
2)对算法提供商的人脸识别模型的知识产权保护。
其中，
对用户数据的隐私保护。
直接发送用户脸部图像给第三方非常容易造成用户数据泄露，本方法首先将用户图像输入到卷积神经网络模型中，对用户图像进行编码压缩，将压缩后的数据发送到人脸识别算法的提供商。
由于采用卷积神经网络模型进行压缩，压缩后的数据几乎不可能被还原。为了保持数据运算的高效一致，本方法直接使用人脸识别算法模型的输入端的神经网络作为编码压缩图像的模型。
对算法提供商的人脸识别模型的知识产权保护方法。
将一个模型划分为前、后两部分，前半部分为输入端，后半部分为输出端，且输出端至少包含三层神经网络。
输入端部署到用户侧，输出端部署到安全可信的服务侧，服务侧只接收经过输出端编码压缩后的数据作为输入，经过输出端的计算之后返回人脸特征给服务请求者。
人脸识别算法提供商将模型按照发明内容中的方法将模型M划分成输入端Min和输出端Mout，分别将Min提供给用户并由用户部署到具体的应用环境，将Mout部署到服务侧等待请求。
用户将需要识别的人脸图像批量输入到Min，得到编码压缩后的数据，然后将数据批量发送给服务侧；在服务侧，将接收到的批量数据输入到Mout，得到用户所有的人脸特征向量V，发送给用户；用户将所有的人脸特征向量V与对应的身份信息存入数据库。
将待验证人员的人脸图像输入到Min，得到该人员编码压缩后的数据，将该数据发送到服务侧，服务侧将接收到的数据输入到Mout，得到该人员的人脸特征向量
Figure BDA0002227770170000031
并返回给用户；在用户一侧，计算特征向量
Figure BDA0002227770170000032
与数据库中所有人脸特征向量V的相似度或距离，相似度最高者或者距离最小者判定为候选人；如果相似度高于阈值或距离低于阈值，则判定待验证人员为候选人，否则判定待验证人员不存在。
本发明的有益效果是
通过分离模型输入端和输出端，达到保护用户隐私数据的安全性和系统自身的模型不被侵权使用的目的。本发明合理利用了神经网络模型计算的有序性，解决了人脸识别模型提供商和客户隐私保护的问题。
附图说明
图1是人脸识别模型部署方式示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种人脸识别系统的数据与模型安全保护方法，包括：
对用户数据的隐私保护。直接发送用户脸部图像给第三方非常容易造成用户数据泄露，本方法首先将用户图像输入到卷积神经网络模型中，对用户图像进行编码压缩，将压缩后的数据发送到人脸识别算法的提供商。
由于采用卷积神经网络模型进行压缩，压缩后的数据几乎不可能被还原。为了保持数据运算的高效一致，本方法直接使用人脸识别算法模型的输入端的神经网络作为编码压缩图像的模型。
对算法提供商的人脸识别模型的知识产权保护。将一个模型划分为前、后两部分，前半部分为输入端，后半部分为输出端，且输出端至少包含三层神经网络。输入端部署到用户侧，输出端部署到安全可信的服务侧，服务侧只接收经过输出端编码压缩后的数据作为输入，经过输出端的计算之后返回人脸特征给服务请求者。
具体操作如下：
1)划分并部署人脸识别模型
人脸识别算法提供商将模型按照发明内容中的方法将模型M划分成输入端Min和输出端Mout，分别将Min提供给用户并由用户部署到具体的应用环境，将Mout部署到服务侧等待请求。
2)批量生成用户人脸特征
用户将需要识别的人脸图像批量输入到Min，得到编码压缩后的数据，然后将数据批量发送给服务侧。在服务侧，将接收到的批量数据输入到Mout，得到用户所有的人脸特征向量V，发送给用户。用户将所有的人脸特征向量V与对应的身份信息存入数据库。
3)用户身份验证
将待验证人员的人脸图像输入到Min，得到该人员编码压缩后的数据，将该数据发送到服务侧，服务侧将接收到的数据输入到Mout，得到该人员的人脸特征向量
Figure BDA0002227770170000041
并返回给用户。在用户一侧，计算特征向量
Figure BDA0002227770170000042
与数据库中所有人脸特征向量V的相似度或距离，相似度最高者或者距离最小者判定为候选人。如果相似度高于阈值或距离低于阈值，则判定待验证人员为候选人，否则判定待验证人员不存在。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (1)

1.一种人脸识别系统的数据与模型安全保护方法，其特征在于，
通过分离模型输入端和输出端，达到保护用户隐私数据的安全性和系统自身的模型不被侵权使用，主要包括：
1）对用户数据的隐私保护；
2）对算法提供商的人脸识别模型的知识产权保护；
对用户数据的隐私保护，首先将用户图像输入到卷积神经网络模型中，对用户图像进行编码压缩，将压缩后的数据发送到人脸识别算法的提供商；
直接使用人脸识别算法模型的输入端的神经网络作为编码压缩图像的模型；
对算法提供商的人脸识别模型的知识产权保护，即将一个模型划分为前、后两部分，前半部分为输入端，后半部分为输出端，且输出端至少包含三层神经网络；
输入端部署到用户侧，输出端部署到服务侧，服务侧只接收经过输出端编码压缩后的数据作为输入，经过输出端的计算之后返回人脸特征给服务请求者；
人脸识别算法提供商将模型按照发明内容中的方法将模型M划分成输入端Min和输出端Mout，分别将Min提供给用户并由用户部署到具体的应用环境，将Mout部署到服务侧等待请求；
用户将需要识别的人脸图像批量输入到Min，得到编码压缩后的数据，然后将数据批量发送给服务侧；在服务侧，将接收到的批量数据输入到Mout，得到用户所有的人脸特征向量
Figure DEST_PATH_IMAGE002
，发送给用户；用户将所有的人脸特征向量
Figure 437771DEST_PATH_IMAGE002
与对应的身份信息存入数据库；
将待验证人员的人脸图像输入到Min，得到该人员编码压缩后的数据，将该数据发送到服务侧，服务侧将接收到的数据输入到Mout，得到该人员的人脸特征向量
Figure DEST_PATH_IMAGE004
并返回给用户；在用户一侧，计算特征向量
Figure 495857DEST_PATH_IMAGE004
与数据库中所有人脸特征向量
Figure 72332DEST_PATH_IMAGE002
的相似度或距离，相似度最高者或者距离最小者判定为候选人；如果相似度高于阈值或距离低于阈值，则判定待验证人员为候选人，否则判定待验证人员不存在。
CN201910957343.XA 2019-10-10 2019-10-10 一种人脸识别系统的数据与模型安全保护方法 Active CN110598464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957343.XA CN110598464B (zh) 2019-10-10 2019-10-10 一种人脸识别系统的数据与模型安全保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957343.XA CN110598464B (zh) 2019-10-10 2019-10-10 一种人脸识别系统的数据与模型安全保护方法

Publications (2)

Publication Number Publication Date
CN110598464A CN110598464A (zh) 2019-12-20
CN110598464B true CN110598464B (zh) 2021-04-27

Family

ID=68866201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957343.XA Active CN110598464B (zh) 2019-10-10 2019-10-10 一种人脸识别系统的数据与模型安全保护方法

Country Status (1)

Country Link
CN (1) CN110598464B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368795B (zh) * 2020-03-19 2023-04-18 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN113704808B (zh) * 2020-05-20 2024-05-24 中国移动通信集团浙江有限公司 用户信息处理方法、装置及计算设备
CN112597861B (zh) * 2020-12-16 2022-03-18 南京甄视智能科技有限公司 支持高频使用缓冲机制的混合模式人脸识别方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446680A (zh) * 2018-05-07 2018-08-24 西安电子科技大学 一种基于边缘计算的人脸认证系统中的隐私保护方法
CN109359210A (zh) * 2018-08-09 2019-02-19 中国科学院信息工程研究所 双盲隐私保护的人脸检索方法与系统
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法
CN109918881A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 隐私保护的在线人脸认证方法及系统、移动智能设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6223634B2 (ja) * 2015-09-11 2017-11-01 三菱電機株式会社 情報処理システム及び情報処理方法及び情報処理プログラム
US9934397B2 (en) * 2015-12-15 2018-04-03 International Business Machines Corporation Controlling privacy in a face recognition application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446680A (zh) * 2018-05-07 2018-08-24 西安电子科技大学 一种基于边缘计算的人脸认证系统中的隐私保护方法
CN109359210A (zh) * 2018-08-09 2019-02-19 中国科学院信息工程研究所 双盲隐私保护的人脸检索方法与系统
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法
CN109918881A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 隐私保护的在线人脸认证方法及系统、移动智能设备

Also Published As

Publication number Publication date
CN110598464A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598464B (zh) 一种人脸识别系统的数据与模型安全保护方法
WO2021223663A1 (zh) 基于差分隐私的数据生成系统的训练
CN105471575B (zh) 一种信息加密、解密方法及装置
CN106612172B (zh) 云存储中一种可验证还原数据真实性的数据篡改恢复算法
Duan et al. Compact descriptors for visual search
US11151660B1 (en) Intelligent routing control
CN106059753B (zh) 一种用于数字签名的指纹密钥生成新方法
CN109146524A (zh) 一种采用区块链技术的农产品溯源信息安全解决方法
CN111784556A (zh) 在图像中添加数字水印的方法、装置、终端及存储介质
CN110210237A (zh) 基于云雾协同的工业互联网敏感数据保护方法
Бараннік et al. Method of indirect information hiding in the process of video compression
CN102420994A (zh) 电子数据完整性保护装置和方法以及数据监控系统
US11501470B2 (en) Geometric encoding of data
CN103326822A (zh) 基于数据分片的参与式感知系统隐私保护方法及系统
CN113537400B (zh) 一种基于分支神经网络的边缘计算节点的分配与退出方法
CN113962402A (zh) 联邦学习防御方法、装置、计算机设备和计算机存储介质
CN115426101A (zh) 一种云互通平台的数据传输方法
CN116760528B (zh) 一种基于多密钥同态共享下的多方资产交付方法和装置
Shi et al. Hiding message using a cycle generative adversarial network
CN105164665A (zh) 层级词典的创建
Shi et al. A robust and secure zero-watermarking copyright authentication scheme based on visual cryptography and block GH feature
KR20190029800A (ko) 개인정보 보호가 가능한, 영상 인식을 위한 단말 장치, 서버 장치 및 시스템
Lee et al. Polyline curvatures based robust vector data hashing
CN110619229A (zh) 基于神经网络拆分的数据加密传输方法及系统
CN109561236A (zh) 图像加密、识别方法装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210407

Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant after: INSPUR GROUP Co.,Ltd.

Address before: North 6th floor, S05 building, Langchao Science Park, 1036 Langchao Road, hi tech Zone, Jinan City, Shandong Province, 250100

Applicant before: SHANDONG INSPUR ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant