CN112633201A - 一种多模态活体检测方法、装置、计算机设备及存储介质 - Google Patents

一种多模态活体检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112633201A
CN112633201A CN202011591009.6A CN202011591009A CN112633201A CN 112633201 A CN112633201 A CN 112633201A CN 202011591009 A CN202011591009 A CN 202011591009A CN 112633201 A CN112633201 A CN 112633201A
Authority
CN
China
Prior art keywords
voiceprint
verification
information
face
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011591009.6A
Other languages
English (en)
Inventor
任建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of Communications Co Ltd
Original Assignee
Bank of Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of Communications Co Ltd filed Critical Bank of Communications Co Ltd
Priority to CN202011591009.6A priority Critical patent/CN112633201A/zh
Publication of CN112633201A publication Critical patent/CN112633201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种多模态活体检测方法、装置、计算机设备及存储介质，多模态活体检测方法包括如下步骤：S1、获取人脸图像；S2、生成声纹验证信息，发送声纹验证请求；S3、采集待验证的声纹信息，采集声纹信息过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤S1，声纹信息采集完毕后执行步骤S4；S4、对上述步骤中获取的图像进行人脸识别验证，同步对获取的声纹信息进行声纹验证；S5、根据人脸识别验证和声纹验证结果生成活体检测结果。与现有技术相比，本发明具有检测方便、安全性高等优点。

Description

一种多模态活体检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及生物识别活体检测结技术领域，尤其是涉及一种多模态活体检测方法、装置、计算机设备及存储介质。
背景技术
近年来人脸识别技术发展迅速，已经应用到各行各业之中。随着人脸识别技术的应用，相应的攻击手段也是层出不穷，如使用照片、视频、图像合成等技术对人脸识别算法进行攻击来欺骗算法。通过在人脸识别过程中嵌入活体检测功能，可以有效的阻止此类攻击形式。现阶段人脸识别活体检测常用方式为动作检测：客户端提示眨眼、张嘴、点头、摇头等动作组合，并通过人脸识别算法定位人脸面部特征，捕捉客户是否按要求做了提示动作，以便确认客户是否为真人。该模式存在以下几个缺陷：
1)动作检测模式对翻拍视频攻击识别效果较差，需要依赖后台算法进行加固识别。
2)动作检测的目的是后续的人脸比对，动作检测基于客户端，而人脸比对服务由后台提供，该模式下，动作检测与人脸比对流程是脱节的，存在一定的安全隐患。
3)动作检测需要使用手机摄像头进行拍摄，存在不法分子通过入侵手机操作系统后通过技术手段欺骗摄像头进行攻击的可能性。
声纹识别是通过人的声音特征进行身份鉴权的一种生物识别技术：用户首先通过阅读一段文本进行声纹的注册，后续验证环节再次阅读一段文本。通过比较两次文本的声纹特征，以确定客户的身份。相较更为成熟的人脸识别技术，声纹识别算法的误识率与拒真率表现较差。同时声纹算法在活体检测功能方面表现较弱，容易受到音频采样率、噪声等各类设备及环境方面的影响。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种多模态活体检测方法、装置、计算机设备及存储介质。
本发明的目的可以通过以下技术方案来实现：
一种多模态活体检测方法，该方法包括如下步骤：
S1、获取人脸图像；
S2、生成声纹验证信息，发送声纹验证请求；
S3、采集待验证的声纹信息，采集声纹信息过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤S1，声纹信息采集完毕后执行步骤S4；
S4、对上述步骤中获取的图像进行人脸识别验证，同步对获取的声纹信息进行声纹验证；
S5、根据人脸识别验证和声纹验证结果生成活体检测结果。
优选地，获取人脸图像的过程具体为：获取图像，通过人脸检测算法检测是否为人脸，若是则保存人脸图像，否则重新获取图像。
优选地，获取图像过程通过调用摄像头获得。
优选地，所述的声纹验证信息包括动态数字验证码。
优选地，所述的人脸识别验证具体为：将步骤S1～S3中获取的所有图像与预先存储的人脸注册图像一一比对，若均保持一致，则人脸识别验证通过。
优选地，所述的声纹验证具体为：同步获取声纹信息以及对应的数字验证码，将声纹信息的内容与数字验证码进行比对，若一致，则进行步将声纹信息与预先存储的声纹注册信息进行比对，若一致，则声纹验证通过。
优选地，步骤S5具体为：若人脸识别验证和声纹验证均通过，则判定活体检测通过，否则判定活体检测不通过。
一种多模态活体检测装置，该装置包括：
人脸图像获取模块：该模块用于获取人脸图像；
声纹验证请求模块：该模块生成声纹验证信息，发送声纹验证请求；
声纹采集模块：该模块采集待验证的声纹信息，并在声纹采集过程中调用人脸图像获取模块持续获取人脸图像确保声纹采集过程中始终采集到人脸图像；
多模态验证模块：该模块同步进行人脸识别验证和声纹验证；
检测结果生成模块：该模块根据人脸识别验证和声纹验证结果生成活体检测结果。
一种计算机设备，所述的计算机设备包括处理器和存储器，所述的所述存储器用于存储计算机程序，所述的处理器用于当执行所述计算机程序时，实现所述的多模态活体检测方法。
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行所述的多模态活体检测方法。
与现有技术相比，本发明具有如下优点：
1)本发明人脸识别验证和声纹验证相结合实现多模态活体检测，提升了算法安全性，解决单一算法认证短板。
2)本发明完成生物信息(人脸图像及声纹信息)采集后，结合预注册信息(人脸注册图像及声纹注册信息)直接完成身份认证，活检、认证环节统一。
3)本发明通过动态数字验证码方式，彻底解决通过劫持摄像头等操作系统底层安全漏洞欺骗客户端进行活体检测的行为。
附图说明
图1为本发明一种多模态活体检测方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例1
如图1所示，本实施例提供一种多模态活体检测方法，该方法包括如下步骤：
S1、获取人脸图像；
S2、生成声纹验证信息，发送声纹验证请求；
S3、采集待验证的声纹信息，采集声纹信息过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤S1，声纹信息采集完毕后执行步骤S4；
S4、对上述步骤中获取的图像进行人脸识别验证，同步对获取的声纹信息进行声纹验证；
S5、根据人脸识别验证和声纹验证结果生成活体检测结果。
获取人脸图像的过程具体为：获取图像，通过人脸检测算法检测是否为人脸，若是则保存人脸图像，否则重新获取图像。
获取图像过程通过调用摄像头获得。
声纹验证信息包括动态数字验证码。
人脸识别验证具体为：将步骤S1～S3中获取的所有图像与预先存储的人脸注册图像一一比对，若均保持一致，则人脸识别验证通过。
声纹验证具体为：同步获取声纹信息以及对应的数字验证码，将声纹信息的内容与数字验证码进行比对，若一致，则进行步将声纹信息与预先存储的声纹注册信息进行比对，若一致，则声纹验证通过。
步骤S5具体为：若人脸识别验证和声纹验证均通过，则判定活体检测通过，否则判定活体检测不通过。
以手机银行App为例，若客户已预先完成人脸及声纹的注册，在鉴权流程中确认客户身份主要有如下几个步骤：
1)手机银行APP打开摄像头，提示客户“请正对手机屏幕”，并开始倒计时。APP检测镜头中是否存在人脸，若不存在则持续提示话术直至倒计时结束。
2)检测到人脸后，APP随机生成一串6位数字验证码，并提示“请读出屏幕中的数字”。读数过程中持续检测人脸，若检测到客户人脸移出镜头，则流程视为失败并退出。
3)获取用户操作过程中的人脸照片，读数音频，并与验证码一并上送后台生物识别系统进行认证。
4)后台接口提供人脸+声纹的多模态验证算法，比对上送信息与注册信息，判断客户是否本人并返回给手机银行。
5)手机银行将认证结果提示给客户。
本发明将人脸识别验证和声纹验证相结合，需要说明的是：人脸识别验证和声纹验证结合只是多模态技术应用的一类，根据采集设备、应用形式的不同，指纹、虹膜、指静脉、唇语等其他生物识别算法相互结合，亦可实现类似效果。
实施例2
本实施例提供一种多模态活体检测装置，该装置包括：
人脸图像获取模块：该模块用于获取人脸图像，获取人脸图像的过程具体为：获取图像，通过人脸检测算法检测是否为人脸，若是则保存人脸图像，否则重新获取图像，获取图像过程通过调用摄像头获得。
声纹验证请求模块：该模块生成声纹验证信息，发送声纹验证请求，声纹验证信息包括动态数字验证码。
声纹采集模块：该模块采集待验证的声纹信息，并在声纹采集过程中调用人脸图像获取模块持续获取人脸图像确保声纹采集过程中始终采集到人脸图像。
其中，多模态验证模块：该模块同步进行人脸识别验证和声纹验证，人脸识别验证具体为：将获取的所有图像与预先存储的人脸注册图像一一比对，若均保持一致，则人脸识别验证通过。
声纹验证具体为：同步获取声纹信息以及对应的数字验证码，将声纹信息的内容与数字验证码进行比对，若一致，则进行步将声纹信息与预先存储的声纹注册信息进行比对，若一致，则声纹验证通过。
检测结果生成模块：该模块根据人脸识别验证和声纹验证结果生成活体检测结果，若人脸识别验证和声纹验证均通过，则判定活体检测通过，否则判定活体检测不通过。
本实施例一种多模态活体检测装置进行活体检测的具体方法与实施例1相同，在本实施例中不再赘述。
实施例3
本实施例提供一种计算机设备，计算机设备包括处理器和存储器，所述存储器用于存储计算机程序，处理器用于当执行所述计算机程序时，实现多模态活体检测方法。本实施中多模态活体检测方法与实施例1相同，在本实施例中不再赘述。
实施例4
本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行多模态活体检测方法。本实施中多模态活体检测方法与实施例1相同，在本实施例中不再赘述。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种多模态活体检测方法，其特征在于，该方法包括如下步骤：
S1、获取人脸图像；
S2、生成声纹验证信息，发送声纹验证请求；
S3、采集待验证的声纹信息，采集声纹信息过程中持续获取人脸图像，一旦获取不到人脸图像则返回步骤S1，声纹信息采集完毕后执行步骤S4；
S4、对上述步骤中获取的图像进行人脸识别验证，同步对获取的声纹信息进行声纹验证；
S5、根据人脸识别验证和声纹验证结果生成活体检测结果。
2.根据权利要求1所述的一种多模态活体检测方法，其特征在于，获取人脸图像的过程具体为：获取图像，通过人脸检测算法检测是否为人脸，若是则保存人脸图像，否则重新获取图像。
3.根据权利要求2所述的一种多模态活体检测方法，其特征在于，获取图像过程通过调用摄像头获得。
4.根据权利要求1所述的一种多模态活体检测方法，其特征在于，所述的声纹验证信息包括动态数字验证码。
5.根据权利要求1所述的一种多模态活体检测方法，其特征在于，所述的人脸识别验证具体为：将步骤S1～S3中获取的所有图像与预先存储的人脸注册图像一一比对，若均保持一致，则人脸识别验证通过。
6.根据权利要求4所述的一种多模态活体检测方法，其特征在于，所述的声纹验证具体为：同步获取声纹信息以及对应的数字验证码，将声纹信息的内容与数字验证码进行比对，若一致，则进行步将声纹信息与预先存储的声纹注册信息进行比对，若一致，则声纹验证通过。
7.根据权利要求1所述的一种多模态活体检测方法，其特征在于，步骤S5具体为：若人脸识别验证和声纹验证均通过，则判定活体检测通过，否则判定活体检测不通过。
8.一种多模态活体检测装置，其特征在于，该装置包括：
人脸图像获取模块：该模块用于获取人脸图像；
声纹验证请求模块：该模块生成声纹验证信息，发送声纹验证请求；
声纹采集模块：该模块采集待验证的声纹信息，并在声纹采集过程中调用人脸图像获取模块持续获取人脸图像确保声纹采集过程中始终采集到人脸图像；
多模态验证模块：该模块同步进行人脸识别验证和声纹验证；
检测结果生成模块：该模块根据人脸识别验证和声纹验证结果生成活体检测结果。
9.一种计算机设备，其特征在于，所述的计算机设备包括处理器和存储器，所述的所述存储器用于存储计算机程序，所述的处理器用于当执行所述计算机程序时，实现权利要求1～7任意一项所述的多模态活体检测方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1～7任意一项所述的多模态活体检测方法。
CN202011591009.6A 2020-12-29 2020-12-29 一种多模态活体检测方法、装置、计算机设备及存储介质 Pending CN112633201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011591009.6A CN112633201A (zh) 2020-12-29 2020-12-29 一种多模态活体检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011591009.6A CN112633201A (zh) 2020-12-29 2020-12-29 一种多模态活体检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112633201A true CN112633201A (zh) 2021-04-09

Family

ID=75285973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011591009.6A Pending CN112633201A (zh) 2020-12-29 2020-12-29 一种多模态活体检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112633201A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743196A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 活体检测方法、装置及存储介质
CN113762227A (zh) * 2021-11-09 2021-12-07 环球数科集团有限公司 一种多姿态人脸识别算法
CN118071359A (zh) * 2024-04-17 2024-05-24 交通银行股份有限公司江西省分行 一种金融虚拟身份验证方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN110110513A (zh) * 2019-04-24 2019-08-09 上海迥灵信息技术有限公司 基于人脸和声纹的身份认证方法、装置和存储介质
CN110390948A (zh) * 2019-07-24 2019-10-29 厦门快商通科技股份有限公司 一种快速语音识别的方法及系统
CN110503958A (zh) * 2019-08-30 2019-11-26 厦门快商通科技股份有限公司 语音识别方法、系统、移动终端及存储介质
CN110738114A (zh) * 2019-01-24 2020-01-31 中铁三局集团有限公司 一种用于在线教育的学员身份安全验证系统
CN110866234A (zh) * 2019-09-29 2020-03-06 南京大学 一种基于多生物特征的身份验证系统
CN111611437A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种防止人脸声纹验证替换攻击的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN110738114A (zh) * 2019-01-24 2020-01-31 中铁三局集团有限公司 一种用于在线教育的学员身份安全验证系统
CN110110513A (zh) * 2019-04-24 2019-08-09 上海迥灵信息技术有限公司 基于人脸和声纹的身份认证方法、装置和存储介质
CN110390948A (zh) * 2019-07-24 2019-10-29 厦门快商通科技股份有限公司 一种快速语音识别的方法及系统
CN110503958A (zh) * 2019-08-30 2019-11-26 厦门快商通科技股份有限公司 语音识别方法、系统、移动终端及存储介质
CN110866234A (zh) * 2019-09-29 2020-03-06 南京大学 一种基于多生物特征的身份验证系统
CN111611437A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种防止人脸声纹验证替换攻击的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743196A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 活体检测方法、装置及存储介质
CN113762227A (zh) * 2021-11-09 2021-12-07 环球数科集团有限公司 一种多姿态人脸识别算法
CN118071359A (zh) * 2024-04-17 2024-05-24 交通银行股份有限公司江西省分行 一种金融虚拟身份验证方法及系统
CN118071359B (zh) * 2024-04-17 2024-07-05 交通银行股份有限公司江西省分行 一种金融虚拟身份验证方法及系统

Similar Documents

Publication Publication Date Title
CN112633201A (zh) 一种多模态活体检测方法、装置、计算机设备及存储介质
EP3460697B1 (en) Identity authentication method and apparatus
US8184866B2 (en) Living body guidance control method for a biometrics authentication device, and biometrics authentication device
JP3356144B2 (ja) バイオメトリクスを用いるユーザ認証装置及びそれに用いるユーザ認証方法
US8542095B2 (en) Biometric authentication device, biometric authentication method, and storage medium
US9262615B2 (en) Methods and systems for improving the security of secret authentication data during authentication transactions
JP5287868B2 (ja) 生体認証装置及び生体認証方法
US11503021B2 (en) Mobile enrollment using a known biometric
CN111881726A (zh) 一种活体检测方法、装置及存储介质
JP2006235718A (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP2007193656A (ja) 本人認証装置
Kumar et al. Analysis of various biometric techniques
JP2006309562A (ja) 生体情報登録装置
JP2007219731A (ja) 個人認証方法及び個人認証装置
Ibrahim et al. Trends in Biometric Authentication: A review
JP2007052534A (ja) 掌紋認証装置、掌紋認証プログラム、及び掌紋認証方法、並びに掌紋画像の抽出方法、並びに掌紋認証装置を備えた携帯電話端末
JP2011118680A (ja) 生体認証装置
Bigun et al. Combining biometric evidence for person authentication
Arora et al. Multimodal biometrics for improvised security
JP2005196516A (ja) 顔認識によるセキュリティ方法
JP5233152B2 (ja) 生体認証装置及び生体認証方法
KR20110070516A (ko) 동작 기반 개인 식별 시스템 및 방법
JP2006085265A (ja) 認証装置および方法並びにプログラム
JP7248348B2 (ja) 顔認証装置、顔認証方法、及びプログラム
Melin et al. Human Recognition using Face, Fingerprint and Voice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination