CN111881437A - 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 - Google Patents
基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 Download PDFInfo
- Publication number
- CN111881437A CN111881437A CN202010773424.7A CN202010773424A CN111881437A CN 111881437 A CN111881437 A CN 111881437A CN 202010773424 A CN202010773424 A CN 202010773424A CN 111881437 A CN111881437 A CN 111881437A
- Authority
- CN
- China
- Prior art keywords
- face
- face recognition
- data set
- sample
- black box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 60
- 238000002372 labelling Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 235000000332 black box Nutrition 0.000 claims 8
- 230000008569 process Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于黑盒对抗样本攻击实现人脸识别安全测评的方法，包括收集测试库人脸数据集；将编码后的测试库人脸数据集与对应底库人脸数据集进行人脸比对；构建四个最终的底库人脸数据集以及测试库人脸数据集；对测试库人脸数据集中的每一张生活照制作对抗样本以及编码；将经过编码后的对抗样本与对应底库人脸数据集进行人脸比对；计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。本发明还涉及一种基于黑盒对抗样本攻击实现人脸识别安全测评的系统。采用了本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统，极大地简化测试操作过程，确保结果公平数据真实有效，在人脸识别安全领域有广阔的应用前景。
Description
技术领域
本发明涉及信息安全领域，尤其涉及人脸识别安全技术领域，具体是指一种基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统。
背景技术
目前，人脸识别身份认证技术已经覆盖到刷脸支付、入住登记、身份核验、人证比对等等生活场景中，使用者只需站在人脸识别终端前，通过人脸识别摄像头完成身份校验。人脸识别系统大多采用的是第三方开放SDK或者API接口，通过提取图片中的人脸特征并进行比对，来判断是否为同一个人并且通过系统核验。而这些新兴技术发展的同时，对应的漏洞也逐渐显露，以对抗样本攻击为主的人脸识别系统欺骗方法已成为了最为突出的问题，利用对抗样本可使得人脸识别系统得出错误的结果，进而会严重影响人脸识别安全。而现在大部分人脸识别设备都是黑盒封装、只提供简单输入输出接口，无法知悉具体的模型结构和参数，此时各类人脸识别产品检验检测机构需要进一步研究基于黑盒对抗样本攻击的人脸识别安全测评手段以及方法。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足安全性好、效率高、学习成本低的基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统。
为了实现上述目的，本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统如下：
该基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其主要特点是，所述的方法包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
较佳地，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
较佳地，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
较佳地，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
较佳地，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
较佳地，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
较佳地，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
较佳地，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
较佳地，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
该基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其主要特点是，所述的系统包括：
人脸处理单元，用于人脸图片数据收集、预处理、标注；
结果比对单元，与所述的人脸处理单元相连接，用于利用待测人脸识别系统进行人脸比对；
数据集构建单元，与所述的结果比对单元相连接，用于分别构建四种不同量级的人脸底库以及对应的测试数据集；
对抗样本制作单元，与所述的数据集构建单元相连接，用于以测试数据集为基础制作细微噪声扰动对抗样本、眼镜贴片对抗样本和自动生成对抗样本；
安全评估单元，与所述的对抗样本制作单元相连接，用于根据错误接受率FAR和错误拒绝率FRR得出待测人脸识别系统安全评估等级；
人脸识别安全测评程序，所述的人脸识别安全测评程序根据人脸图片数据构建四种不同量级的人脸底库以及对应的测试数据集，计算并得出待测人脸识别系统安全评估等级，具体包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
较佳地，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
较佳地，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
较佳地，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
较佳地，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
较佳地，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
较佳地，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
较佳地，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
较佳地，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
采用了本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统，通过黑盒对抗样本攻击方式，无需知道待测人脸识别系统的具体模型参数以及结构，只需与待测人脸识别系统的SDK或API接口对接来对系统安全进行测评。本发明的核心就在于只需提供相应的数据即可完成对人脸识别类产品的安全测评，学习成本低、效率高，极大地简化了测试操作过程，确保结果公平数据真实有效，对人脸识别类产品质量提升以及在不同实际应用场景下指导性使用具有重要意义，在人脸识别安全领域都有广阔的应用前景。
附图说明
图1为本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的方法的流程示意图。
图2为本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的系统的模块图。
图3为本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的系统的安全等级评估计算示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其中包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
作为本发明的优选实施方式，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
作为本发明的优选实施方式，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
作为本发明的优选实施方式，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
作为本发明的优选实施方式，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
作为本发明的优选实施方式，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
作为本发明的优选实施方式，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
作为本发明的优选实施方式，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
作为本发明的优选实施方式，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
本发明的该基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其中包括：
人脸处理单元，用于人脸图片数据收集、预处理、标注；
结果比对单元，与所述的人脸处理单元相连接，用于利用待测人脸识别系统进行人脸比对；
数据集构建单元，与所述的结果比对单元相连接，用于分别构建四种不同量级的人脸底库以及对应的测试数据集；
对抗样本制作单元，与所述的数据集构建单元相连接，用于以测试数据集为基础制作细微噪声扰动对抗样本、眼镜贴片对抗样本和自动生成对抗样本；
安全评估单元，与所述的对抗样本制作单元相连接，用于根据错误接受率FAR和错误拒绝率FRR得出待测人脸识别系统安全评估等级；
人脸识别安全测评程序，所述的人脸识别安全测评程序根据人脸图片数据构建四种不同量级的人脸底库以及对应的测试数据集，计算并得出待测人脸识别系统安全评估等级，具体包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
较佳地，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
作为本发明的优选实施方式，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
作为本发明的优选实施方式，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
作为本发明的优选实施方式，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
作为本发明的优选实施方式，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
作为本发明的优选实施方式，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
作为本发明的优选实施方式，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
作为本发明的优选实施方式，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
本发明的具体实施方式中，提供了一种能够针对无法知悉人脸识别系统的具体模型结构和参数的基于黑盒对抗样本攻击的人脸识别安全测评方法及系统。
基于黑盒对抗样本攻击的人脸识别安全测评方法包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，同时收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注，同一人的证件照以及生活照编码相同；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)利用已注册的待测人脸识别系统对测试库人脸数据集进行人脸识别，根据编码信息统计识别成功数；
(4)选取100、1000、10000、50000个人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对上述测试库人脸数据集中的每一张生活照制作对抗样本以及编码，对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
步骤(1)中的编码标注为可代表测试人员的唯一标识，如身份ID等。
步骤(2)需将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
步骤(3)需将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
步骤(4)需在待测人脸识别系统中分别建立四个底库，底库量级分别为100、1000、10000、50000。
步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本以及基于黑盒的自动生成对抗样本。
步骤(7)中的安全等级与错误接受率FAR和错误拒绝率FRR相关。
步骤(5)中制作的对抗样本包括用于计算错误拒绝率(FRR)的基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本以及计算错误接受率(FAR)的基于黑盒的自动生成对抗样本，基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本以及基于黑盒的自动生成对抗样本数相等且均为N。
步骤(5)中对抗样本中噪声扰动对抗样本为对原始测试库中人脸图片添加了细微的、不可察觉的对抗噪声，噪声扰动对抗样本不影响人眼判断；对抗样本中眼镜贴片对抗样本为对原始测试库中人脸图片添加了对抗眼镜贴片，其他地方不做任何修改，眼镜贴片对抗样本不影响人眼判断；对抗样本中自动生成对抗样本为利用生成对抗网络生成的与测试库中的人脸图片特征一致的欺骗图片，人眼可极易区分自动生成对抗样本与对应的测试库中的人脸图片。
步骤(7)中的安全等级与错误接受率FAR和错误拒绝率FRR相关。
错误接受率FAR计算表达式如下：
其中N对抗样本集中对抗样本数量，为NA为非底库人员识别为底库人员数。
错误拒绝率FRR计算表达式如下：
其中N对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
安全等级SLA评估方式如下：
A级：错误接受率FAR小于等于1％且错误拒绝率FRR小于等于2％；
B级：错误接受率FAR小于等于2％且错误拒绝率FRR小于等于5％；
C级：错误接受率FAR小于等于5％且错误拒绝率FRR小于等于5％。
如图2所示，基于黑盒对抗样本攻击的人脸识别安全测评系统包括：
人脸处理单元，用于人脸图片数据收集、预处理、标注；
结果比对单元，用于利用待测人脸识别系统进行人脸比对；
数据集构建单元，用于分别构建四种不同量级的人脸底库以及对应的测试数据集；
对抗样本制作单元，用于以测试数据集为基础制作细微噪声扰动对抗样本、眼镜贴片对抗样本以及自动生成对抗样本；
安全评估单元，用于根据错误接受率FAR和错误拒绝率FRR得出待测人脸识别系统安全评估等级。
在实施例中，如前述的基于黑盒对抗样本攻击的人脸识别安全测评系统，安全等级评估计算示意图如图3所示，所述安全评估单元具体工作流程如下：
(1)按照测试量级需求准备好对应数量大小的对抗样本集，对抗样本集分为基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本以及基于黑盒的自动生成对抗样本数相等且均为N；
(2)将上述三个对抗样本集输入待测人脸识别系统与系统内对应底库进行人脸比对，利用编码信息对比对结果进行统计，若基于黑盒的细微噪声扰动对抗样本以及基于黑盒的眼镜贴片对抗样本二者中有一个未识别或识别为非底库人员，则NR加1；若基于黑盒的自动生成对抗样本识别为底库人员，则NA加1；
(3)根据最终的NR以及NA计算错误接受率FAR和错误拒绝率FRR，并且按照安全等级SLA评估方式得出最终的测评结果。
采用了本发明的基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统，通过黑盒对抗样本攻击方式，无需知道待测人脸识别系统的具体模型参数以及结构，只需与待测人脸识别系统的SDK或API接口对接来对系统安全进行测评。本发明的核心就在于只需提供相应的数据即可完成对人脸识别类产品的安全测评，学习成本低、效率高，极大地简化了测试操作过程，确保结果公平数据真实有效，对人脸识别类产品质量提升以及在不同实际应用场景下指导性使用具有重要意义，在人脸识别安全领域都有广阔的应用前景。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (18)
1.一种基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的方法包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
2.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
3.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
4.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
5.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
6.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
7.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
8.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
9.根据权利要求1所述的基于黑盒对抗样本攻击实现人脸识别安全测评的方法，其特征在于，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
10.一种基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的系统包括：
人脸处理单元，用于人脸图片数据收集、预处理、标注；
结果比对单元，与所述的人脸处理单元相连接，用于利用待测人脸识别系统进行人脸比对；
数据集构建单元，与所述的结果比对单元相连接，用于分别构建四种不同量级的人脸底库以及对应的测试数据集；
对抗样本制作单元，与所述的数据集构建单元相连接，用于以测试数据集为基础制作细微噪声扰动对抗样本、眼镜贴片对抗样本和自动生成对抗样本；
安全评估单元，与所述的对抗样本制作单元相连接，用于根据错误接受率FAR和错误拒绝率FRR得出待测人脸识别系统安全评估等级；
人脸识别安全测评程序，所述的人脸识别安全测评程序根据人脸图片数据构建四种不同量级的人脸底库以及对应的测试数据集，计算并得出待测人脸识别系统安全评估等级，具体包括以下步骤：
(1)收集不同人员的证件照作为底库人脸数据集，并收集每个人对应的生活照作为测试库人脸数据集，对每个人的证件照以及生活照进行编码标注；
(2)将底库人脸数据集注册至待测人脸识别系统；
(3)将编码后的测试库人脸数据集输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(4)选取不同量级的人脸识别成功的成对人脸证件照以及生活照，构建四个最终的底库人脸数据集以及测试库人脸数据集；
(5)对测试库人脸数据集中的每一张生活照制作对抗样本以及编码，所述的对抗样本编码与生活照编码一致；
(6)将经过编码后的对抗样本输入待测人脸识别系统，与对应底库人脸数据集进行人脸比对，根据编码信息统计识别结果；
(7)根据识别统计结果，计算错误接受率FAR和错误拒绝率FRR，并且给出待测人脸识别系统的安全等级。
11.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(4)中分别选取100、1000、10000和50000个人脸识别成功的成对人脸证件照以及生活照。
12.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(1)中的编码标注为可代表测试人员的唯一标识。
13.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(2)还包括以下步骤：
将底库人脸数据集通过待测人脸识别系统的SDK或API接口进行注册。
14.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(3)还包括以下步骤：
将测试库人脸数据集通过待测人脸识别系统的SDK或API接口进行人脸比对。
15.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(4)还包括以下步骤：
在待测人脸识别系统中分别建立四个底库，底库量级分别为选取人脸识别成功的成对人脸证件照以及生活照的不同量级。
16.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(5)中制作的对抗样本包括基于黑盒的细微噪声扰动对抗样本、基于黑盒的眼镜贴片对抗样本和基于黑盒的自动生成对抗样本。
17.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(7)中计算错误接受率FAR，具体为：
根据以下公式计算错误接受率FAR：
其中，N为对抗样本集中对抗样本数量，NA为非底库人员识别为底库人员数。
18.根据权利要求10所述的基于黑盒对抗样本攻击实现人脸识别安全测评的系统，其特征在于，所述的步骤(7)中计算错误拒绝率FRR，具体为：
根据以下公式计算错误拒绝率FRR：
其中，N为对抗样本集中对抗样本数量，NR为底库人员未识别或识别为非底库人员数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773424.7A CN111881437B (zh) | 2020-08-04 | 2020-08-04 | 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773424.7A CN111881437B (zh) | 2020-08-04 | 2020-08-04 | 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881437A true CN111881437A (zh) | 2020-11-03 |
| CN111881437B CN111881437B (zh) | 2024-03-08 |
Family
ID=73210519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010773424.7A Active CN111881437B (zh) | 2020-08-04 | 2020-08-04 | 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881437B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343247A (zh) * | 2021-06-17 | 2021-09-03 | 公安部第三研究所 | 生物特征识别对抗样本攻击安全测评方法、系统、装置、处理器及其计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
| CN110163093A (zh) * | 2019-04-15 | 2019-08-23 | 浙江工业大学 | 一种基于遗传算法的路牌识别对抗防御方法 |
| CN110516619A (zh) * | 2019-08-29 | 2019-11-29 | 河南中原大数据研究院有限公司 | 一种cos-attack人脸识别攻击算法 |
| CN110633655A (zh) * | 2019-08-29 | 2019-12-31 | 河南中原大数据研究院有限公司 | 一种attention-attack人脸识别攻击算法 |
-
2020
- 2020-08-04 CN CN202010773424.7A patent/CN111881437B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
| CN110163093A (zh) * | 2019-04-15 | 2019-08-23 | 浙江工业大学 | 一种基于遗传算法的路牌识别对抗防御方法 |
| CN110516619A (zh) * | 2019-08-29 | 2019-11-29 | 河南中原大数据研究院有限公司 | 一种cos-attack人脸识别攻击算法 |
| CN110633655A (zh) * | 2019-08-29 | 2019-12-31 | 河南中原大数据研究院有限公司 | 一种attention-attack人脸识别攻击算法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343247A (zh) * | 2021-06-17 | 2021-09-03 | 公安部第三研究所 | 生物特征识别对抗样本攻击安全测评方法、系统、装置、处理器及其计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111881437B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109766872B (zh) | 图像识别方法和装置 | |
| US10417532B2 (en) | Offline identity authentication method and apparatus | |
| CN105468760B (zh) | 对人脸图片进行标注的方法和装置 | |
| CN107220590A (zh) | 一种基于活体检测的防作弊网络调研方法、装置及系统 | |
| CN110851835A (zh) | 图像模型检测方法、装置、电子设备及存储介质 | |
| CN105844206A (zh) | 身份认证方法及设备 | |
| KR20190053917A (ko) | 아이덴티티 인식 방법 및 장치 | |
| CN102890776A (zh) | 通过面部表情调取表情图释的方法 | |
| CN108470003A (zh) | 模糊测试方法、装置和系统 | |
| CN108809992A (zh) | 一种人脸识别验证系统及其与目标系统的关联方法 | |
| CN111783663A (zh) | 一种用于人证核验设备性能检测的算法测评系统及检测方法 | |
| Raghavendra et al. | Novel presentation attack detection algorithm for face recognition system: Application to 3D face mask attack | |
| CN112560989B (zh) | 一种基于大数据的人工智能防伪图像识别方法及系统 | |
| CN107026731A (zh) | 一种用户身份验证的方法及装置 | |
| CN104852916A (zh) | 一种基于社会工程学的网页验证码识别方法及系统 | |
| CN108629259A (zh) | 身份认证方法和装置及存储介质 | |
| CN106604281A (zh) | 一种确定手机号码稳定性的方法及设备 | |
| CN111881437B (zh) | 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统 | |
| Krishnan et al. | Finite automata for fake profile identification in online social networks | |
| Rufai et al. | A biometric model for examination screening and attendance monitoring in Yaba College of Technology | |
| CN116896452B (zh) | 基于数据处理的计算机网络信息安全管理方法及系统 | |
| CN105678157B (zh) | 一种基于应用环境识别的数据产权保护系统和方法 | |
| CN111160263B (zh) | 一种获取人脸识别阈值的方法及系统 | |
| CN111159698B (zh) | 基于九宫格密码的终端隐式身份认证方法 | |
| CN107370769A (zh) | 用户认证方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |