CN111967293A - 结合声纹识别和注意力检测的人脸认证方法及系统 - Google Patents
结合声纹识别和注意力检测的人脸认证方法及系统 Download PDFInfo
- Publication number
- CN111967293A CN111967293A CN202010576059.0A CN202010576059A CN111967293A CN 111967293 A CN111967293 A CN 111967293A CN 202010576059 A CN202010576059 A CN 202010576059A CN 111967293 A CN111967293 A CN 111967293A
- Authority
- CN
- China
- Prior art keywords
- face
- voiceprint
- authentication
- information
- current object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008859 change Effects 0.000 claims abstract description 77
- 230000001815 facial effect Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 26
- 210000000697 sensory organ Anatomy 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了结合声纹识别和注意力检测的人脸认证方法及系统，其在现有的人脸认证和声纹认证的基础上，再结合注意力检测这一认证方式，在人脸图像、声音声纹和视线变化轨迹这三个方面同时进行认证，从而使得该认证方式能够适用于任何场合和防止冒认者通过其他方式进行欺骗，以提高人脸认证的安全性和有效性；此外，该人脸认证方法即系统并不需要用户做出一系列生硬与不友好的动作来进行活体检测，其只需要用户进行相应的视线轨迹改变及可实现相应的活体检测，从而大大地改善人脸验证的用户体验。
Description
技术领域
本发明涉及工业生产仿真设计的技术领域，特别涉及结合声纹识别和注意力检测的人脸认证方法及系统。
背景技术
目前，人脸检测技术广泛应用于身份安全验证场合中，人脸检测技术通常先进行人脸照片采集，然后指示用户做出眨眼、张嘴、摇头和点头等一系列动作以此验证采集到的图像是否为活体，再通过活体验证进行后续的人脸比对，但是这种人脸检测技术仅适用人脸这个单一的生物特征，其在确保足够低的误纳率(即冒认人脸通过认证的比例)的前提下，其认证成功率是存在一定上限的，特别是在光照条件较差或者人脸被口罩灯物体遮挡的场合下，其认证成功率会明显下降，并且在活体检测过程中需要用户做出眨眼、张嘴、摇头和点头等生硬的动作，其对用户并不友好。可见，现有技术的人脸检测方式在特定场合的认证成功率较低，并且还容易发生冒认者以照片或者视频欺骗认证的情况。
发明内容
针对现有技术存在的缺陷，本发明提供结合声纹识别和注意力检测的人脸认证方法及系统，该结合声纹识别和注意力检测的人脸认证方法及系统通过对预定对象进行人脸注册和声纹注册，对当前对象的面部区域进行拍摄后以此进行人脸认证，记录该当前对象进行位置随机显示的文字的跟读时对应的语音信息，同时记录识别该当前对象在所述跟读过程中的视线变化轨迹以及根据人脸认证的结果、关于该语音信息的声纹认证结果、关于该视线变化轨迹信息与该文字随机显示的位置信息之间比对结果，确定当前对象的身份认证结果；可见，该人脸认证方法及系统在现有的人脸认证和声纹认证的基础上，再结合注意力检测这一认证方式，在人脸图像、声音声纹和视线变化轨迹这三个方面同时进行认证，从而使得该认证方式能够适用于任何场合和防止冒认者通过其他方式进行欺骗，以提高人脸认证的安全性和有效性；此外，该人脸认证方法即系统并不需要用户做出一系列生硬与不友好的动作来进行活体检测，其只需要用户进行相应的视线轨迹改变即可实现相应的活体检测，从而大大地改善人脸验证的用户体验。
本发明提供结合声纹识别和注意力检测的人脸认证方法，其特征在于，所述结合声纹识别和注意力检测的人脸认证方法包括如下步骤：
步骤S1，对预定对象进行人脸注册和声纹注册；
步骤S2，对当前对象的面部区域进行拍摄后以此进行人脸认证；
步骤S3，记录所述当前对象进行位置随机显示的文字的跟读时对应的语音信息，同时记录识别所述当前对象在所述跟读过程中的视线变化轨迹；
步骤S4，根据人脸认证的结果、关于所述语音信息的声纹认证结果、关于所述视线变化轨迹信息与所述文字随机显示的位置信息之间比对结果，确定所述当前对象的身份认证结果；
进一步，在所述步骤S1中，对预定对象进行人脸注册和声纹注册具体包括，
步骤S101，录入所述预定对象的原始身份信息，从而生成相应的身份属性信息；
步骤S102，拍摄所述预定对象的面部区域的面部图像，并从所述面部图像中提取得到相应的五官特征信息，再构建所述身份属性信息与所述五官特征信息之间的关联映射关系，从而完成所述人脸注册以及形成人脸注册数据库；
步骤S103，采集来自所述预定对象的一段实际语音信号，并从所述实际语音信号中提取得到相应的声纹特征信息，再构建所述身份属性信息与所述五官声纹特征信息之间的关联映射关系，从而完成所述声纹注册以及形成声纹注册数据库；
进一步，在所述步骤S2中，对当前对象的面部区域进行拍摄后以此进行人脸认证具体包括，
步骤S201，拍摄所述当前对象的面部区域，从而获得至少一张面部图像；
步骤S202，从所述至少一张面部图像中提取关于所述当前对象的实际五官特征信息；
步骤S203，将所述实际五官特征信息与所述人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行比对，以此实现所述人脸认证，其中，当所述比对结果指示所述两者相匹配，则对所述当前对象的所述人脸认证通过；
进一步，在所述步骤S3中，记录所述当前对象进行位置随机显示的文字的跟读时对应的语音信息具体包括，
步骤S301A，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字；
步骤S302A，记录所述当前对象按照所述随机顺序跟读所述文字时的语音信息；
进一步，在所述步骤S301A中，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字具体包括
在所述预定屏幕的四个角落位置处以随机顺序依次显示不同的数字、字母、英文单词或者中文文字；
或者，
在所述步骤S302A中，记录所述当前对象按照所述随机顺序跟读所述文字时的语音信息具体包括，
通过相对于所述当前对象布置在不同位置处的阵列麦克风，采集所述当前对象按照所述随机顺序跟读所述文字时的语音信息，并对采集得到的语音信息进行降噪预处理；
进一步，在所述步骤S3中，记录识别所述当前对象在所述跟读过程中的视线变化轨迹具体包括，
步骤S301B，对所述当前对象进行单目拍摄或者多目拍摄，从而得到所述当前对象在所述跟读过程中的实际面部图像；
步骤S302B，根据预设注意力检测算法，从所述实际面部图像中分析得到所述当前对象在所述跟读过程中的视线变化轨迹；
进一步，在所述步骤S301B中，对所述当前对象进行单目拍摄或者多目拍摄，从而得到所述当前对象在所述跟读过程中的实际面部图像后，还包括对所述实际面部图像依次进行降噪处理和像素锐化处理；
或者，
在所述步骤S302B中，根据预设注意力检测算法，从所述实际面部图像中分析得到所述当前对象在所述跟读过程中的视线变化轨迹具体包括，
对所述实际面部图像进行图像识别，从而得到所述当前对象的眼睑和瞳孔各自对应的关键像素点；
根据所述眼睑对应的关键像素点与所述瞳孔的关键像素点两者的中心点之间的相对位置关系，计算所述瞳孔偏离预设参考点的角度和幅度；
根据所述角度和所述幅度，计算得到所述视线变化轨迹；
进一步，在所述步骤S4中，根据人脸认证的结果、关于所述语音信息的声纹认证结果、关于所述视线变化轨迹信息与所述文字随机显示的位置信息之间比对结果，确定所述当前对象的身份认证结果具体包括，
步骤S401，将所述当前对象的实际五官特征信息与所述人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行匹配比对，从而生成所述人脸认证结果；
步骤S402，将所述当前对象的所述语音信息的实际声纹特征信息与所述声纹注册形成的声纹注册数据库中的注册声纹特征信息两者进行匹配比对，从而生成所述声纹认证结果；
步骤S403，将所述视线变化轨迹信息与所述文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，从而生成所述比对结果；
步骤S404，当所述人脸认证结果指示所述当前对象满足预设人脸认证条件，所述声纹认证结果指示所述当前对象满足预设声纹认证条件，以及所述比对结果指示所述视线变化方向与所述文字位置变化方向相一致，则确定所述当前对象通过相应的身份认证；
进一步，在所述步骤S403中，将所述视线变化轨迹信息与所述文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，具体包括
判断所述视线轨迹变化的顺序方向与所述文字位置变化的顺序方向是否相一致，以及判断所述视线轨迹变化时间与所述文字位置变化的时间是否相一致；
本发明还提供结合声纹识别和注意力检测的人脸认证系统，所述结合声纹识别和注意力检测的人脸认证系统包括人脸注册模块、声纹注册模块、人脸认证模块、声纹认证模块、注意力检测模块和身份认证模块；其中，
所述人脸注册模块和所述声纹注册模块用于分别对预定对象进行人脸注册和声纹注册；
所述人脸认证模块用于根据对当前对象的面部区域的拍摄图像，进行人脸认证；
所述声纹认证模块用于根据所述当前对象进行位置随机显示的文字的跟读时对应的语音信息，进行声纹认证；
所述注意力检测模块用于根据所述当前对象在所述跟读过程中的视线变化轨迹信息与所述文字随机显示的位置信息，进行关于所述当前对象的注意力检测；
所述身份认证模块用于根据所述人脸认证的结果、关于所述语音信息的声纹认证结果以及所述注意检测的结果，确定所述当前对象的身份认证结果。
相比于现有技术，该结合声纹识别和注意力检测的人脸认证方法及系统通过对预定对象进行人脸注册和声纹注册，对当前对象的面部区域进行拍摄后以此进行人脸认证，记录该当前对象进行位置随机显示的文字的跟读时对应的语音信息，同时记录识别该当前对象在所述跟读过程中的视线变化轨迹以及根据人脸认证的结果、关于该语音信息的声纹认证结果、关于该视线变化轨迹信息与该文字随机显示的位置信息之间比对结果，确定当前对象的身份认证结果；可见，该人脸认证方法及系统在现有的人脸认证和声纹认证的基础上，再结合注意力检测这一认证方式，在人脸图像、声音声纹和视线变化轨迹这三个方面同时进行认证，从而使得该认证方式能够适用于任何场合和防止冒认者通过其他方式进行欺骗，以提高人脸认证的安全性和有效性；此外，该人脸认证方法即系统并不需要用户做出一系列生硬与不友好的动作来进行活体检测，其只需要用户进行相应的视线轨迹改变即可实现相应的活体检测，从而大大地改善人脸验证的用户体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的结合声纹识别和注意力检测的人脸认证方法的流程示意图。
图2为本发明提供的结合声纹识别和注意力检测的人脸认证系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的结合声纹识别和注意力检测的人脸认证方法的流程示意图。该结合声纹识别和注意力检测的人脸认证方法包括如下步骤：
步骤S1，对预定对象进行人脸注册和声纹注册；
步骤S2，对当前对象的面部区域进行拍摄后以此进行人脸认证；
步骤S3，记录该当前对象进行位置随机显示的文字的跟读时对应的语音信息，同时记录识别该当前对象在该跟读过程中的视线变化轨迹；
步骤S4，根据人脸认证的结果、关于该语音信息的声纹认证结果、关于该视线变化轨迹信息与该文字随机显示的位置信息之间比对结果，确定该当前对象的身份认证结果。
该结合声纹识别和注意力检测的人脸认证方法有别于现有技术需要用户做出张嘴和摇头等一些生硬奇怪的动作进行活体验证，其以检测用户视线变化的方式代替以往的活体验证方式，从而降低用户进行活体验证的繁复性和不适应性；此外，该结合声纹识别和注意力检测的人脸认证方法通过人脸认证、声纹认证和视线变化轨迹匹配比对这三重验证手段来进行身份验证，从而大大地提高用户身份验证的安全性以及有效地避免发生误识别或者欺骗认证成功情况的发生。
优选地，在该步骤S1中，对预定对象进行人脸注册和声纹注册具体包括，步骤S101，录入该预定对象的原始身份信息，从而生成相应的身份属性信息；
步骤S102，拍摄该预定对象的面部区域的面部图像，并从该面部图像中提取得到相应的五官特征信息，再构建该身份属性信息与该五官特征信息之间的关联映射关系，从而完成该人脸注册以及形成人脸注册数据库；
步骤S103，采集来自该预定对象的一段实际语音信号，并从该实际语音信号中提取得到相应的声纹特征信息，再构建该身份属性信息与该五官声纹特征信息之间的关联映射关系，从而完成该声纹注册以及形成声纹注册数据库。
上述人脸注册和声纹注册主要是通过对具备授权资格的预定对象进行相应的人脸信息和声纹信息采集，从而构建形成关于该预定对象的人脸注册数据库和声纹注册数据库，以用于后续人脸认证和声纹认证比对匹配。
优选地，在该步骤S2中，对当前对象的面部区域进行拍摄后以此进行人脸认证具体包括，
步骤S201，拍摄该当前对象的面部区域，从而获得至少一张面部图像；
步骤S202，从该至少一张面部图像中提取关于该当前对象的实际五官特征信息；
步骤S203，将该实际五官特征信息与该人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行比对，以此实现该人脸认证，其中，当该比对结果指示该两者相匹配，则对该当前对象的该人脸认证通过。
上述基于五官形貌的人脸认证操作，以当前对象的实际五官特征信息与人脸注册数据中的注册五官特征信息进行相应的图像比对处理，并在图像比对处理通过的情况下，将当前对象认定为具备授权资格的用户。
优选地，在该步骤S3中，记录该当前对象进行位置随机显示的文字的跟读时对应的语音信息具体包括，
步骤S301A，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字；
步骤S302A，记录该当前对象按照该随机顺序跟读该文字时的语音信息。
优选地，在该步骤S301A中，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字具体包括
在该预定屏幕的四个角落位置处以随机顺序依次显示不同的数字、字母、英文单词或者中文文字。
以随机顺序依次显示相应的文字能够提高声纹认证的安全性，并且采用数字、字母、英文单词或者中文文字作为跟读对象能够便于不同用户进行跟读，从而提高跟读的简便性。
优选地，在该步骤S302A中，记录该当前对象按照该随机顺序跟读该文字时的语音信息具体包括，
通过相对于该当前对象布置在不同位置处的阵列麦克风，采集该当前对象按照该随机顺序跟读该文字时的语音信息，并对采集得到的语音信息进行降噪预处理。
采用阵列麦克风进行语音信息的采集能够提高语音采集的准确性和降低背景噪声的干扰。
优选地，在该步骤S3中，记录识别该当前对象在该跟读过程中的视线变化轨迹具体包括，
步骤S301B，对该当前对象进行单目拍摄或者多目拍摄，从而得到该当前对象在该跟读过程中的实际面部图像；
步骤S302B，根据预设注意力检测算法，从该实际面部图像中分析得到该当前对象在该跟读过程中的视线变化轨迹。
由于用户在对随机出现在不同位置处的文字进行跟读的过程中，其注意力也会相应地改变，具体表现就是用户视线会下意识地跟随该文字出现的位置发生变化，通过检测用户视线变化轨迹就能够同样地对用户进行活体检测，从而在不需要用户执行生硬动作的情况下，也能够快速地和便捷地对用户进行识别。
优选地，在该步骤S301B中，对该当前对象进行单目拍摄或者多目拍摄，从而得到该当前对象在该跟读过程中的实际面部图像后，还包括对该实际面部图像依次进行降噪处理和像素锐化处理。
通过对该实际面部图像进行降噪处理和像素锐化处理能够提高后续视线变化轨迹的计算准确性。
优选地，在该步骤S302B中，根据预设注意力检测算法，从该实际面部图像中分析得到该当前对象在该跟读过程中的视线变化轨迹具体包括，
对该实际面部图像进行图像识别，从而得到该当前对象的眼睑和瞳孔各自对应的关键像素点；
根据该眼睑对应的关键像素点与该瞳孔的关键像素点两者的中心点之间的相对位置关系，计算该瞳孔偏离预设参考点的角度和幅度；
根据该角度和该幅度，计算得到该视线变化轨迹。
由于用户是通过眼睑和瞳孔的运动位移来实现视线方向的变化转移，因此通过提取面部图像中眼睑和瞳孔对应的关键像素点，并计算对应关键像素点之间的相对位置关系，能够简化视线变化轨迹的计算难度和提高计算精度。
优选地，在该步骤S4中，根据人脸认证的结果、关于该语音信息的声纹认证结果、关于该视线变化轨迹信息与该文字随机显示的位置信息之间比对结果，确定该当前对象的身份认证结果具体包括，
步骤S401，将该当前对象的实际五官特征信息与该人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行匹配比对，从而生成该人脸认证结果；
步骤S402，将该当前对象的该语音信息的实际声纹特征信息与该声纹注册形成的声纹注册数据库中的注册声纹特征信息两者进行匹配比对，从而生成该声纹认证结果；
步骤S403，将该视线变化轨迹信息与该文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，从而生成该比对结果；
步骤S404，当该人脸认证结果指示该当前对象满足预设人脸认证条件，该声纹认证结果指示该当前对象满足预设声纹认证条件，以及该比对结果指示该视线变化方向与该文字位置变化方向相一致，则确定该当前对象通过相应的身份认证。
可见，该人脸认证方法通过人脸图像、声音声纹和视线变化轨迹这三个方面同时进行认证，能够最大限度地保证身份识别结果的有效性和准确性，从而避免误识别情况的发生。
优选地，在该步骤S403中，将该视线变化轨迹信息与该文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，具体包括
判断该视线轨迹变化的顺序方向与该文字位置变化的顺序方向是否相一致，以及判断该视线轨迹变化时间与该文字位置变化的时间是否相一致。
通过比对该视线轨迹变化与该文字位置变化在变化顺序方向和变化时间这两方面的一致性，能够最大限度地提高注意力检测的准确性。
参阅图2，为本发明提供的结合声纹识别和注意力检测的人脸认证系统的结构示意图。该结合声纹识别和注意力检测的人脸认证系统包括人脸注册模块、声纹注册模块、人脸认证模块、声纹认证模块、注意力检测模块和身份认证模块；其中，
该人脸注册模块和该声纹注册模块用于分别对预定对象进行人脸注册和声纹注册；
该人脸认证模块用于根据对当前对象的面部区域的拍摄图像，进行人脸认证；
该声纹认证模块用于根据该当前对象进行位置随机显示的文字的跟读时对应的语音信息，进行声纹认证；
该注意力检测模块用于根据该当前对象在该跟读过程中的视线变化轨迹信息与该文字随机显示的位置信息，进行关于该当前对象的注意力检测；
该身份认证模块用于根据该人脸认证的结果、关于该语音信息的声纹认证结果以及该注意检测的结果，确定该当前对象的身份认证结果。
该结合声纹识别和注意力检测的人脸认证系统与前述结合声纹识别和注意力检测的人脸认证方法的具体实现过程是相同的，这里就不再做进一步的累述了。
从上述实施例的内容可知，该人脸认证方法及系统在现有的人脸认证和声纹认证的基础上，再结合注意力检测这一认证方式，在人脸图像、声音声纹和视线变化轨迹这三个方面同时进行认证，从而使得该认证方式能够适用于任何场合和防止冒认者通过其他方式进行欺骗，以提高人脸认证的安全性和有效性；此外，该人脸认证方法即系统并不需要用户做出一系列生硬与不友好的动作来进行活体检测，其只需要用户进行相应的视线轨迹改变即可实现相应的活体检测，从而大大地改善人脸验证的用户体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.结合声纹识别和注意力检测的人脸认证方法，其特征在于，所述结合声纹识别和注意力检测的人脸认证方法包括如下步骤：
步骤S1，对预定对象进行人脸注册和声纹注册；
步骤S2，对当前对象的面部区域进行拍摄后以此进行人脸认证；
步骤S3，记录所述当前对象进行位置随机显示的文字的跟读时对应的语音信息，同时记录识别所述当前对象在所述跟读过程中的视线变化轨迹；
步骤S4，根据人脸认证的结果、关于所述语音信息的声纹认证结果、关于所述视线变化轨迹信息与所述文字随机显示的位置信息之间比对结果，确定所述当前对象的身份认证结果。
2.如权利要求1所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S1中，对预定对象进行人脸注册和声纹注册具体包括，
步骤S101，录入所述预定对象的原始身份信息，从而生成相应的身份属性信息；
步骤S102，拍摄所述预定对象的面部区域的面部图像，并从所述面部图像中提取得到相应的五官特征信息，再构建所述身份属性信息与所述五官特征信息之间的关联映射关系，从而完成所述人脸注册以及形成人脸注册数据库；
步骤S103，采集来自所述预定对象的一段实际语音信号，并从所述实际语音信号中提取得到相应的声纹特征信息，再构建所述身份属性信息与所述五官声纹特征信息之间的关联映射关系，从而完成所述声纹注册以及形成声纹注册数据库。
3.如权利要求1所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S2中，对当前对象的面部区域进行拍摄后以此进行人脸认证具体包括，
步骤S201，拍摄所述当前对象的面部区域，从而获得至少一张面部图像；
步骤S202，从所述至少一张面部图像中提取关于所述当前对象的实际五官特征信息；
步骤S203，将所述实际五官特征信息与所述人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行比对，以此实现所述人脸认证，其中，当所述比对结果指示所述两者相匹配，则对所述当前对象的所述人脸认证通过。
4.如权利要求1所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S3中，记录所述当前对象进行位置随机显示的文字的跟读时对应的语音信息具体包括，
步骤S301A，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字；
步骤S302A，记录所述当前对象按照所述随机顺序跟读所述文字时的语音信息。
5.如权利要求4所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S301A中，在预定屏幕的若干不同位置处以随机顺序依次显示相应的文字具体包括
在所述预定屏幕的四个角落位置处以随机顺序依次显示不同的数字、字母、英文单词或者中文文字；
或者，
在所述步骤S302A中，记录所述当前对象按照所述随机顺序跟读所述文字时的语音信息具体包括，
通过相对于所述当前对象布置在不同位置处的阵列麦克风，采集所述当前对象按照所述随机顺序跟读所述文字时的语音信息，并对采集得到的语音信息进行降噪预处理。
6.如权利要求4所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S3中，记录识别所述当前对象在所述跟读过程中的视线变化轨迹具体包括，
步骤S301B，对所述当前对象进行单目拍摄或者多目拍摄，从而得到所述当前对象在所述跟读过程中的实际面部图像；
步骤S302B，根据预设注意力检测算法，从所述实际面部图像中分析得到所述当前对象在所述跟读过程中的视线变化轨迹。
7.如权利要求6所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S301B中，对所述当前对象进行单目拍摄或者多目拍摄，从而得到所述当前对象在所述跟读过程中的实际面部图像后，还包括对所述实际面部图像依次进行降噪处理和像素锐化处理；
或者，
在所述步骤S302B中，根据预设注意力检测算法，从所述实际面部图像中分析得到所述当前对象在所述跟读过程中的视线变化轨迹具体包括，
对所述实际面部图像进行图像识别，从而得到所述当前对象的眼睑和瞳孔各自对应的关键像素点；
根据所述眼睑对应的关键像素点与所述瞳孔的关键像素点两者的中心点之间的相对位置关系，计算所述瞳孔偏离预设参考点的角度和幅度；根据所述角度和所述幅度，计算得到所述视线变化轨迹。
8.如权利要求1所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S4中，根据人脸认证的结果、关于所述语音信息的声纹认证结果、关于所述视线变化轨迹信息与所述文字随机显示的位置信息之间比对结果，确定所述当前对象的身份认证结果具体包括，
步骤S401，将所述当前对象的实际五官特征信息与所述人脸注册形成的人脸注册数据库中的注册五官特征信息两者进行匹配比对，从而生成所述人脸认证结果；
步骤S402，将所述当前对象的所述语音信息的实际声纹特征信息与所述声纹注册形成的声纹注册数据库中的注册声纹特征信息两者进行匹配比对，从而生成所述声纹认证结果；
步骤S403，将所述视线变化轨迹信息与所述文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，从而生成所述比对结果；
步骤S404，当所述人脸认证结果指示所述当前对象满足预设人脸认证条件，所述声纹认证结果指示所述当前对象满足预设声纹认证条件，以及所述比对结果指示所述视线变化方向与所述文字位置变化方向相一致，则确定所述当前对象通过相应的身份认证。
9.如权利要求8所述的结合声纹识别和注意力检测的人脸认证方法，其特征在于：
在所述步骤S403中，将所述视线变化轨迹信息与所述文字随机显示的位置信息进行视线轨迹变化方向与文字位置变化方向的一致性比对，具体包括
判断所述视线轨迹变化的顺序方向与所述文字位置变化的顺序方向是否相一致，以及判断所述视线轨迹变化时间与所述文字位置变化的时间是否相一致。
10.结合声纹识别和注意力检测的人脸认证系统，其特征在于：
所述结合声纹识别和注意力检测的人脸认证系统包括人脸注册模块、声纹注册模块、人脸认证模块、声纹认证模块、注意力检测模块和身份认证模块；其中，
所述人脸注册模块和所述声纹注册模块用于分别对预定对象进行人脸注册和声纹注册；
所述人脸认证模块用于根据对当前对象的面部区域的拍摄图像，进行人脸认证；
所述声纹认证模块用于根据所述当前对象进行位置随机显示的文字的跟读时对应的语音信息，进行声纹认证；
所述注意力检测模块用于根据所述当前对象在所述跟读过程中的视线变化轨迹信息与所述文字随机显示的位置信息，进行关于所述当前对象的注意力检测；
所述身份认证模块用于根据所述人脸认证的结果、关于所述语音信息的声纹认证结果以及所述注意检测的结果，确定所述当前对象的身份认证结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576059.0A CN111967293A (zh) | 2020-06-22 | 2020-06-22 | 结合声纹识别和注意力检测的人脸认证方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576059.0A CN111967293A (zh) | 2020-06-22 | 2020-06-22 | 结合声纹识别和注意力检测的人脸认证方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967293A true CN111967293A (zh) | 2020-11-20 |
Family
ID=73361867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010576059.0A Pending CN111967293A (zh) | 2020-06-22 | 2020-06-22 | 结合声纹识别和注意力检测的人脸认证方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967293A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763965A (zh) * | 2021-08-26 | 2021-12-07 | 江苏大学 | 一种多重注意力特征融合的说话人识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN105184277A (zh) * | 2015-09-29 | 2015-12-23 | 杨晴虹 | 活体人脸识别方法以及装置 |
| CN105426827A (zh) * | 2015-11-09 | 2016-03-23 | 北京市商汤科技开发有限公司 | 活体验证方法、装置和系统 |
| CN108537103A (zh) * | 2018-01-19 | 2018-09-14 | 东北电力大学 | 基于瞳孔轴测量的活体人脸检测方法及其设备 |
| JP2018181256A (ja) * | 2017-04-21 | 2018-11-15 | 株式会社ミクシィ | 頭部装着ディスプレイ装置、認証方法、及び認証プログラム |
| CN109165829A (zh) * | 2018-08-10 | 2019-01-08 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 一种铁路值班人员交接班系统及交接班方法 |
-
2020
- 2020-06-22 CN CN202010576059.0A patent/CN111967293A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN105184277A (zh) * | 2015-09-29 | 2015-12-23 | 杨晴虹 | 活体人脸识别方法以及装置 |
| CN105426827A (zh) * | 2015-11-09 | 2016-03-23 | 北京市商汤科技开发有限公司 | 活体验证方法、装置和系统 |
| JP2018181256A (ja) * | 2017-04-21 | 2018-11-15 | 株式会社ミクシィ | 頭部装着ディスプレイ装置、認証方法、及び認証プログラム |
| CN108537103A (zh) * | 2018-01-19 | 2018-09-14 | 东北电力大学 | 基于瞳孔轴测量的活体人脸检测方法及其设备 |
| CN109165829A (zh) * | 2018-08-10 | 2019-01-08 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 一种铁路值班人员交接班系统及交接班方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763965A (zh) * | 2021-08-26 | 2021-12-07 | 江苏大学 | 一种多重注意力特征融合的说话人识别方法 |
| CN113763965B (zh) * | 2021-08-26 | 2023-12-19 | 江苏大学 | 一种多重注意力特征融合的说话人识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10992666B2 (en) | Identity verification method, terminal, and server | |
| Diaz et al. | A perspective analysis of handwritten signature technology | |
| CN104361276B (zh) | 一种多模态生物特征身份认证方法及系统 | |
| Tolosana et al. | BioTouchPass2: Touchscreen password biometrics using time-aligned recurrent neural networks | |
| CN106850648B (zh) | 身份验证方法、客户端和服务平台 | |
| Bhattacharyya et al. | Biometric authentication: A review | |
| US20140341440A1 (en) | Identity caddy: a tool for real-time determination of identity in the mobile environment | |
| CN105426723A (zh) | 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统 | |
| US11494474B2 (en) | Brain activity-based authentication | |
| KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
| KR20210155303A (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| KR102615709B1 (ko) | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| CN112330322A (zh) | 用于用户身份验证的设备、方法和系统 | |
| RU2316051C2 (ru) | Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности | |
| CN111967293A (zh) | 结合声纹识别和注意力检测的人脸认证方法及系统 | |
| Lumini et al. | When Fingerprints Are Combined with Iris-A Case Study: FVC2004 and CASIA. | |
| KR20220016529A (ko) | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| CN103700151A (zh) | 一种晨跑签到方法 | |
| KR20230013236A (ko) | 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| Chen et al. | An Identity Authentication Method Based on Multi-modal Feature Fusion | |
| Ennaama et al. | Comparative and analysis study of biometric systems | |
| Genovese et al. | Advanced biometric technologies: emerging scenarios and research trends | |
| CN108319830A (zh) | 一种身份验证方法及装置 | |
| CN114120386A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| Hlongwane et al. | Facial recognition for effective transactions in E-business |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |