CN112115833B - 一种图片的活体检测及分类方法 - Google Patents
一种图片的活体检测及分类方法 Download PDFInfo
- Publication number
- CN112115833B CN112115833B CN202010949540.XA CN202010949540A CN112115833B CN 112115833 B CN112115833 B CN 112115833B CN 202010949540 A CN202010949540 A CN 202010949540A CN 112115833 B CN112115833 B CN 112115833B
- Authority
- CN
- China
- Prior art keywords
- pictures
- classification
- biopsy
- picture
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001574 biopsy Methods 0.000 claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000036961 partial effect Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000009966 trimming Methods 0.000 claims abstract description 6
- 238000013145 classification model Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000001727 in vivo Methods 0.000 claims 6
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本发明公开了一种图片的活体检测及分类方法，方法包括：步骤S1：根据应用场景下的图片内容，生成部分图像，并形成有效图像集；步骤S2：将有效图像集中的图片提取特征向量，并将图片的活检分类以及特征向量用于训练神经网络模型，使得训练后的神经网络模型能够根据输入的图片自动对图片进行活检分类；步骤S3：将需要活检检测的图片进行修剪后形成多幅待检图片，并将待检图片分别送入训练后的神经网络模型，从而得到每幅待检图片的输出结果；步骤S4：对多个输出结果进行数据融合并归一化后，与预设阈值对比，从而根据对比结果判断需要活检检测的图片的活检分类。本发明的方法提高了人像图像活检检测的准确度。
Description
技术领域
本发明涉及图像中人脸的活体检测领域，具体地说，涉及一种图片的活体检测及分类方法。
背景技术
随着科技的发展与普及，人脸识别技术已经广泛应用到我们生活中各个场景，比如手机登录、小区门禁、签到打卡等。为了防止他人使用照片、屏幕、模型等伪造人脸，检测当前用户是否为真实用户就很重要，即活体检测技术。而当前流行的活体检测技术，主要是基于双目摄像头的，在单目摄像头下成熟的技术不多，比如根据亮度、纹理等特征判断，或者让用户做出指定动作，或者用一序列不同颜色的光照来模拟结构光，这些技术在手机端可能有一定效果，但是其他非手机端的公共场景，由于人脸距离远，成像不够清晰，现有方法的活体检测效果就会急剧下降，使得算法无法使用。
传统场景下的活体检测技术一般是通过两个摄像头(结合来判断，为了减少成本，提高应用的通用性，越来越多的厂商开始关注单目摄像头活体检测技术，即只使用一个普通彩色摄像头。
目前流行的方案主要有：
1.让用户做出指定动作(点头、转头等)；
2.直接提取人脸图像特征(亮度、纹理、边缘等)；
3.彩色光照序列模拟结构光。
方案1要求用户配合做出动作，用户体验不好，不适用于公共场合。
而方案2和3主要应用于手机端，因为手机端人脸离摄像头距离很近，手机摄像头清晰度也很高，采集的人脸图片就可以很好的提取相应特征。而在非手机端的一些公共设备上，这些条件往往不能满足，比如架设位置较高的摄像头，或者交互式大屏终端，这些场景下的人脸图片往往不够清晰，且由于人脸距离较远，亮度、颜色光照等信息也基本丢失，或者精度受限误差很大，这些拍摄的图片在经过后端的神经网络后判断的活体准确度低，难以应用。
发明内容
本发明的目的在于提供一种图片的活体检测及分类方法，用于解决现有技术中活体检测准确度低技术问题。
本发明公开的图片的活体检测及分类方法包括步骤S1：根据应用场景下的图片内容，生成部分图像，并形成有效图像集，所述有效图像集中的每个图像标记有活检分类，所述活检分类包括活体和非活体；
步骤S22：将所述有效图像集中的图片利用卷积神经网络提取特征向量，并将图片的活检分类以及所述特征向量用于训练神经网络模型，使得训练后的所述神经网络模型能够根据输入的图片自动对图片进行活检分类；
步骤S23：将需要活检检测的图片进行修剪后形成多幅待检图片，并将所述待检图片分别送入训练后的所述神经网络模型，从而得到每幅待检图片的输出结果；
步骤S24：对多个所述输出结果进行数据融合并归一化后，与预设阈值对比，从而根据对比结果判断所述需要活检检测的图片的活检分类。
在本发明提出的一种公共场景下的单目活体检测技术，除普通彩色摄像头以外，无需布置其他辅助设备，无需测距离/角度等信息，检测效果好，成本较低。本发明能够在复杂的室外公共环境中较为精确地进行活体检测，满足很多安防服务的要求。
其中，基于应用场景下的图片中的人像图片形成用于对神经网络模型进行训练的有效图像集，从而可以使的神经网络模型的训练更贴近于应用场景，也可以提高神经网络模型的判断准确率；再有，在训练后实际检测时，将检测的图像修剪后形成多附待检图片，将多附待检图片输入神经网络模型后，在对得到的多个结果进行融合处理，准确度进一步地提高。
附图说明
图1是本发明流程示意图；
图2是本发明应用过程示意图；
图3是本发明步骤S3中的流程示意图。
具体实施方式
下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:
请参考图1及图2，办法买给你公开了一种图片的活体检测及分类方法，所述方法包括：
步骤S1：根据应用场景下的图片内容，生成部分图像，并形成有效图像集，所述有效图像集中的每个图像标记有活检分类，所述活检分类包括活体和非活体。
在本发明中，将应用场景下拍摄的图片进行人像范围截取，并将人像截取范围的数据粘贴至另外的别的具有背景的图片中，再将背景图片粘贴至应用场景下的图片中，这样形成大量含有应用场景下的人像有效图像集，这样的有效图像集有利于人像数据的集中，关联度高；另外，通过生成图像的方法能够自由组合获得大量的图像，从而能够提高图像的数据量，有利于后端对神经网络模型的训练。
在本发明中，所述有效图像集中的图片包括活体样本区以及对比样本区，所述活体样本区为人脸截图区域；所述有效图像集中的图片至少有部分属于所述活体样本区位于所述图片中心的位置。
在本发明中对有效图像集中的图片进行活检分类辨别，将每个图片人像图片分类为活体和非活体两种标记，并将分类标记和有效图像集一起保存。
步骤S2：将所述有效图像集中的图片利用卷积神经网络提取特征向量，并将图片的活检分类以及所述特征向量用于训练神经网络模型，使得训练后的所述神经网络模型能够根据输入的图片自动对图片进行活检分类。
在本发明中训练神经网络主要包括分类模型训练，即让神经网络模型根据训练后的算法智能化的自动对输入图片中的人像进行辨别分类，从而输出活体和非活体两种分类结果。
在本发明中分类模型训练的包括采用中心损失函数进行训练，具体的中心损失函数为：
其中m代表类别数量，xi代表隐藏层的输出特征，cyi代表第yi类的隐藏层特征的中心值。
在本发明中，传统的分类模型训练所使用的损失函数一般是使用交叉熵损失函数，但它训练的精度有限。交叉熵损失函数为了减少类内距离，实际增大了类间距离，训练效果不佳。
本申请中的中心损失函数，当i＝1时，代表自适应范围截取后的活体样本，这些活体样本人脸大小一致，且位置始终居于截取图像中心，特征一致，可以有效的应用中心损失函数。
在本发明的另一实施方式中，所述分类模型训练使用部分中心损失函数，
所述部分中心损失函数为：
其中m代表类别数量，xi代表隐藏层的输出特征，cyi代表第yi类的隐藏层特征的中心值。
利用本部分中心损失函数能够消除输入的有效图像中的非活体对象，例如图像中的手机、纸张、宣传画。部分中心损失函数可以只对指定的类别应用中心损失函数，如：人像特征，而对非指定类别使用交叉熵损失函数，从而达到只对活体这一类进行减少类内距离的操作。
因为在本专利场景，一共两类。第一类为非活体，即书本等图像内容，当i＝1时，通过乘以(1-1＝0)时，被消去了；第二类为活体，当i＞1时，即人像图像，通过乘以保留。即实现了只计算活体类的中心损失。
参阅图3，步骤S3：将需要活检检测的图片进行修剪后形成多幅待检图片，并将所述待检图片分别送入训练后的所述神经网络模型，从而得到每幅待检图片的输出结果。其中的输出结果为具体的某一数值，例如0.7，3这样的具体数值。
将需要活检检测的图片进行修剪后形成多幅待检图片的方法包括：
利用预先确定的人像截取范围对图片进行多次截取，并在每次截取的时候调整一个截取范围系数截取出不同大小的人像图像，对截取的不同大小的人像图像随机增减像素值，再将增减像素后的多个所述人像图像缩放至人像截取范围的大小，从而得到多个带人脸的待检图片。
步骤S4：对多个所述输出结果进行数据融合并归一化后，与预设阈值对比，从而根据对比结果判断所述需要活检检测的图片的活检分类。
在本发明中，对输出结果进行数据融合的方法包括对输出的结果进行加权求和取均值。
在本发明中，所述归一化的方法包括：
在多个输出结果中取最小值与最大值，分别对应于0以及1，并将多个输出结果映射至0-1的区间；所述均值也映射至0-1区间中，并将映射后的数值与预设阈值比较。
在本发明提出的一种公共场景下的单目活体检测技术，除普通彩色摄像头以外，无需布置其他辅助设备，无需测距离/角度等信息，检测效果好，成本较低。本发明能够在复杂的室外公共环境中较为精确地进行活体检测，满足很多安防服务的要求。
其中，基于应用场景下的图片中的人像图片形成用于对神经网络模型进行训练的有效图像集，从而可以使的神经网络模型的训练更贴近于应用场景，也可以提高神经网络模型的判断准确率；再有，在训练后实际检测时，将检测的图像修剪后形成多附待检图片，将多附待检图片输入神经网络模型后，在对得到的多个结果进行融合处理，准确度进一步地提高。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (6)
1.一种图片的活体检测及分类方法，其特征在于，所述方法包括：
步骤S1：根据应用场景下的图片内容，生成部分图像，并形成有效图像集，所述有效图像集中的每个图像标记有活检分类，所述活检分类包括活体和非活体；
步骤S2：将所述有效图像集中的图片利用卷积神经网络提取特征向量，并将图片的活检分类以及所述特征向量用于训练神经网络模型，使得训练后的所述神经网络模型能够根据输入的图片自动对图片进行活检分类，其中，所述有效图像集形成过程为：将应用场景下拍摄的图片进行人像范围截取，并将人像截取范围的数据粘贴至另外的别的具有背景的图片中，再将背景图片粘贴至应用场景下的图片中，形成大量含有应用场景下的有效图像集；
步骤S3：将需要活检检测的图片进行修剪后形成多幅待检图片，并将所述待检图片分别送入训练后的所述神经网络模型，从而得到每幅待检图片的输出结果，其中，将需要活检检测的图片进行修剪后形成多幅待检图片包括：
利用预先确定的人像截取范围对图片进行多次截取，并在每次截取的时候调整一个截取范围系数截取出不同大小的人像图像，对截取的不同大小的人像图像随机增减像素值，再将增减像素后的多个所述人像图像缩放至人像截取范围的大小，从而得到多个带人脸的待检图片；
步骤S4：对多个所述输出结果进行数据融合并归一化后，与预设阈值对比，从而根据对比结果判断所述需要活检检测的图片的活检分类。
2.如权利要求1所述的图片的活体检测及分类方法，其特征在于，所述有效图像集中的图片包括活体样本区，所述活体样本区为人脸截图区域；所述有效图像集中的图片至少有部分属于所述活体样本区位于所述图片中心的位置。
3.如权利要求2所述的图片的活体检测及分类方法，其特征在于，对所述神经网络模型的训练包括分类模型训练，所述分类模型训练使用中心损失函数，所述中心损失函数为：
其中m代表类别数量，xi代表隐藏层的输出特征，cyi代表第yi类的隐藏层特征的中心值。
4.如权利要求2所述的图片的活体检测及分类方法，其特征在于，对所述神经网络模型的训练包括分类模型训练，所述分类模型训练使用部分中心损失函数，所述部分中心损失函数为：
其中m代表类别数量，xi代表隐藏层的输出特征，cyi代表第yi类的隐藏层特征的中心值。
5.如权利要求1所述的图片的活体检测及分类方法，其特征在于，对输出结果进行数据融合的方法包括对输出的结果进行加权求和取均值。
6.如权利要求5所述的图片的活体检测及分类方法，其特征在于，所述归一化的方法包括：
在多个输出结果中取最小值与最大值，分别对应于0以及1，并将多个输出结果映射至0-1的区间；所述均值也映射至0-1区间中，并将映射后的数值与预设阈值比较。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949540.XA CN112115833B (zh) | 2020-09-10 | 2020-09-10 | 一种图片的活体检测及分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949540.XA CN112115833B (zh) | 2020-09-10 | 2020-09-10 | 一种图片的活体检测及分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112115833A CN112115833A (zh) | 2020-12-22 |
| CN112115833B true CN112115833B (zh) | 2024-03-29 |
Family
ID=73802527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010949540.XA Active CN112115833B (zh) | 2020-09-10 | 2020-09-10 | 一种图片的活体检测及分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112115833B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684925A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 一种基于深度图像的人脸活体检测方法及设备 |
| CN110569808A (zh) * | 2019-09-11 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置及计算机设备 |
| CN111523438A (zh) * | 2020-04-20 | 2020-08-11 | 支付宝实验室(新加坡)有限公司 | 一种活体识别方法、终端设备和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016147272A1 (ja) * | 2015-03-13 | 2016-09-22 | 日本電気株式会社 | 生体検知装置、生体検知方法、および、記録媒体 |
-
2020
- 2020-09-10 CN CN202010949540.XA patent/CN112115833B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684925A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 一种基于深度图像的人脸活体检测方法及设备 |
| CN110569808A (zh) * | 2019-09-11 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置及计算机设备 |
| CN111523438A (zh) * | 2020-04-20 | 2020-08-11 | 支付宝实验室(新加坡)有限公司 | 一种活体识别方法、终端设备和电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection;Debidatta Dwibedi.et al;《2017 IEEE International Conference on Computer Vision》;1310-1319 * |
| Learning Generalized Deep Feature Representation for Face Anti-Spoofing;Haoliang Li.et al;《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》;第13卷(第10期);2639-2652 * |
| 基于Gabor小波和动态LBP的人脸活体检测;李莉;《电子世界》;第3卷(第01期);105-107 * |
| 基于微调策略的多线索融合人脸活体检测;胡斐等;《计算机工程》;第45卷(第5期);256-260 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112115833A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
| CN109543714B (zh) | 数据特征的获取方法、装置、电子设备及存储介质 | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| WO2020258667A1 (zh) | 图像识别方法及装置、非易失性可读存储介质、计算机设备 | |
| Ajmal et al. | A comparison of RGB and HSV colour spaces for visual attention models | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN111325271B (zh) | 图像分类方法及装置 | |
| CN111860316B (zh) | 一种驾驶行为的识别方法、装置及存储介质 | |
| CN111507416B (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
| WO2022156214A1 (zh) | 一种活体检测方法及装置 | |
| CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| CN113781408A (zh) | 一种图像拍摄智能指导系统及方法 | |
| CN111797694A (zh) | 一种车牌检测方法及装置 | |
| CN110110742B (zh) | 多特征融合方法、装置、电子设备及存储介质 | |
| CN112115833B (zh) | 一种图片的活体检测及分类方法 | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN107563362B (zh) | 进行评价操作的方法、客户端及系统 | |
| CN115330610A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN112036277B (zh) | 一种人脸识别方法、电子设备以及计算机可读存储介质 | |
| CN114283087A (zh) | 一种图像去噪方法及相关设备 | |
| CN114067275A (zh) | 监控场景中目标物体提醒方法、系统与电子设备 | |
| CN114565918A (zh) | 一种基于多特征提取模块的人脸静默活体检测方法与系统 | |
| CN113343889A (zh) | 基于静默活体检测的人脸识别系统 | |
| CN112101387A (zh) | 显著性元素识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |