CN107404381A - 一种身份认证方法和装置 - Google Patents

一种身份认证方法和装置 Download PDF

Info

Publication number
CN107404381A
CN107404381A CN201610340549.4A CN201610340549A CN107404381A CN 107404381 A CN107404381 A CN 107404381A CN 201610340549 A CN201610340549 A CN 201610340549A CN 107404381 A CN107404381 A CN 107404381A
Authority
CN
China
Prior art keywords
audio
video flow
destination object
vocal print
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610340549.4A
Other languages
English (en)
Inventor
李鹏
孙逸鹏
谢永祥
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610340549.4A priority Critical patent/CN107404381A/zh
Priority to TW106108380A priority patent/TWI706268B/zh
Priority to PCT/CN2017/080196 priority patent/WO2017198014A1/zh
Priority to EP17798578.5A priority patent/EP3460697B1/en
Priority to BR112018073635-0A priority patent/BR112018073635A2/pt
Priority to RU2018144787A priority patent/RU2738325C2/ru
Priority to MYPI2018001981A priority patent/MY192351A/en
Priority to KR1020187036914A priority patent/KR102196686B1/ko
Priority to MX2018014147A priority patent/MX2018014147A/es
Priority to AU2017266971A priority patent/AU2017266971B2/en
Priority to CA3024565A priority patent/CA3024565C/en
Priority to SG11201810131VA priority patent/SG11201810131VA/en
Priority to JP2018560844A priority patent/JP2019522840A/ja
Publication of CN107404381A publication Critical patent/CN107404381A/zh
Priority to US16/192,401 priority patent/US10789343B2/en
Priority to PH12018502437A priority patent/PH12018502437A1/en
Priority to ZA2018/07860A priority patent/ZA201807860B/en
Priority to JP2021123330A priority patent/JP7109634B2/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供一种身份认证方法和装置，其中方法包括：获取采集到的由待认证的目标对象产生的音视频流，判断音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对音视频流中的音频流进行语音识别得到的语音内容，作为目标对象的对象标识；若预存储的对象注册信息中包括对象标识，在对象注册信息中获取对象标识对应的模版生理特征；对音视频流进行生理识别，得到目标对象的生理特征；将目标对象的生理特征与模版生理特征比对，得到比对结果，若比对结果满足认证条件，则确认目标对象通过认证。本申请提高了身份认证的效率和可靠性。

Description

一种身份认证方法和装置
技术领域
本申请涉及网络技术，特别涉及一种身份认证方法和装置。
背景技术
互联网技术的发展使得人们对网络的使用越发广泛，例如，可以通过邮箱收发邮件，网络购物，甚至网上办公等，部分应用要求较高的安全性，需要对用户的身份进行验证，比如，在网络购物时用户需要验证身份才能付款，或者在登录某个安全性要求较高的应用时，当用户通过身份验证后才允许登录。相关技术中，用于互联网的身份认证方式也有多种，例如，人脸识别、声纹识别等，但是通常使用的认证方式的操作比较繁琐，比如，用户需要输入自己的标识ID再验证声纹；并且，现有的认证方式的可靠性较低，比如，攻击者可以通过模拟的视频或录像通过人脸识别，即使结合人脸和声纹等至少一种认证方式进行验证，各个认证方式之间比较独立，攻击者可以各个攻破。身份认证方式的上述缺陷对应用的安全性造成了风险。
发明内容
有鉴于此，本申请提供一种身份认证方法和装置，以提高身份认证的效率和可靠性。
具体地，本申请是通过如下技术方案实现的：
第一方面，提供一种身份认证方法，所述方法包括：
获取采集到的音视频流，所述音视频流由待认证的目标对象产生；
判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
若预存储的对象注册信息中包括所述对象标识，在所述对象注册信息中获取所述对象标识对应的模版生理特征；
对所述音视频流进行生理识别，得到所述目标对象的生理特征；
将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认所述目标对象通过认证。
第二方面，提供一种身份认证装置，所述装置包括：
信息获取模块，用于获取采集到的音视频流，所述音视频流由待认证的目标对象产生；
标识确定模块，用于判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
信息管理模块，用于若预存储的对象注册信息中包括所述对象标识，在所述对象注册信息中获取所述对象标识对应的模版生理特征；
特征识别模块，用于对所述音视频流进行生理识别，得到所述目标对象的生理特征；
认证处理模块，用于将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认目标对象通过认证。
本申请提供的身份认证方法和装置，通过根据用户在认证时的音视频流识别得到用户标识，并且还可以通过该同一个音视频流校验人脸特征和声纹特征，这种方式简化了用户操作，提高了认证效率，并且也保持了1：1的认证方式，保证了识别的精度；此外，还方法还通过唇语和语音的一致性判断保证了目标对象是活体，防止了攻击者伪造的视频录像，提高了认证的安全性和可靠性。
附图说明
图1是本申请一示例性实施例示出的一种身份注册流程；
图2是本申请一示例性实施例示出的一种唇语和语音一致性判断流程；
图3是本申请一示例性实施例示出的一种人脸特征识别的流程；
图4是本申请一示例性实施例示出的一种声纹特征识别的流程；
图5是本申请一示例性实施例示出的一种身份认证流程；
图6是本申请一示例性实施例示出的一种身份认证装置的结构图；
图7是本申请一示例性实施例示出的一种身份认证装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提供的身份认证方法，可以应用于互联网身份认证，例如，在登录一个网络应用时，经过该方法的身份认证才允许登录，以此保证应用使用的安全性。
如下以登录一个具有较高安全性要求的应用为例，假设该应用可以运行在用户的智能设备，例如，智能手机、智能平板等设备。当用户要在自己的智能设备上登录该应用时，可以通过该智能设备上的摄像头和麦克风采集音视频流，比如，用户可以对着自己手机的摄像头和麦克风读出自己的应用ID，该应用ID可以是用户在该应用注册的账号“123456”，当用户朗读完毕，手机可以采集到用户的音视频流，包括用户的视频图像和朗读的语音。
本申请实施例的身份认证方法，可以基于该采集到的音视频流进行处理，在进行认证之前，用户还需要进行身份注册流程，后续根据注册的信息进行身份认证，注册流程也是基于如上述的采集音视频流。如下将分别描述身份注册流程和身份认证流程，此外，该身份注册或认证的处理，本实施例不限制实际应用时的执行设备，比如，智能手机采集到用户的音视频流后，可以将音视频流传输至应用后端的服务器处理，或者一部分处理在智能手机的客户端侧，另一部分处理在服务器侧，或者还可以采用其他方式。
身份注册
本实施例的方法中，用户在进行身份注册时，可以包括两类信息，其中，一类信息是：对象标识，例如，以用户登录某应用的例子，该用户可以称为目标对象，当用户在该应用注册时，该用户在应用中用于与其他用户区分的信息即为对象标识，比如可以是用户在应用的账号123456，该账号123456即为目标对象的对象标识。另一类信息是能够唯一标识用户的生理性信息，比如，用户的声纹特征，或者用户的人脸特征等，通常不同人的声纹和人脸是不同的，可以将标识各个用户的生理性信息称为模版生理特征。
将上述的对象标识和模版生理特征这两类信息建立对应关系，并进行存储，可以将对应存储的目标对象的对象标识和模版生理特征，称为“对象注册信息”。例如，用户小张可以存储其对象注册信息为“123456——模版生理特征A”，其中，为了更准确的标识用户，本例子采用的模版生理特征中包括的生理性信息的类型可以为至少两种，比如，人脸和声纹。
图1示例了一个例子中的身份注册流程，包括如下处理：
在步骤101中，获取目标对象的待注册音视频流。
例如，以一个用户注册某应用为例，用户可以对着自己的智能设备如手机读出自己在应用的账号“123456”。本例子中，可以将正在注册的用户称为目标对象，智能设备的摄像头和麦克风可以采集到该用户朗读时的音视频流，可以将注册时采集的该音视频流称为待注册音视频流，包括音频流和视频流，音频流即用户朗读的语音，视频流即用户朗读时的视频图像。
在获取到本步骤的音视频流后，如果要完成用户的注册，可以执行三个方面的处理，请继续参见图1：
一个方面的处理是，在步骤102中，判断待注册音视频流中的唇语和语音是否满足一致性。
这里的一致性指的是，唇部的运动和语音所表示的运动能否对应，比如，假设一个语音是“今天的天气晴朗”，该语音是缓缓慢速的朗读，语速较慢，而一个唇部运动是快速朗读“今天的天气晴朗”所使用的运动，显然这两个是对不上的，当唇部运动已经停止(内容已经读完)时，语音却还在继续(….天气晴朗)。这种情况可能出现在，比如，当攻击者要设法通过用户ID和人脸检测时，可以通过一个该用户(被攻击的用户)以前的视频录像来攻击人脸检测，并且攻击者自己读用户ID来攻击对语音内容ID的识别，如果这样分别攻击，有可能通过认证，但是通常这种攻击方式中，唇语和语音是不一致的，可以通过一致性判断识别出并不是本人在朗读。
如步骤102所示，如果判断结果为待注册音视频流中的唇语和语音不满足一致性，可以提示用户注册失败，或者如图1所示，转至步骤101重新采集音视频流，以防处理失误。
否则，如果判断结果为两者满足一致性，则可以执行步骤103，将根据采集的音视频流中的音频流进行语音识别得到的语音内容，作为目标对象的对象标识。语音识别即使用计算机技术自动识别人所说语音的内容，即由语音到内容的识别过程。比如，对于待注册用户朗读“123456”的音频进行语音识别后，得到该音频流中的语音内容即“123456”，可以将识别得到的内容作为用户的标识，即用户ID。
上述的对音频流进行语音识别，可以是在确定唇语和语音满足一致性后，对语音的音频流识别得到对象标识；或者，还可以是在判断唇语和语音是否满足一致性的过程中，对音频流识别得到对象标识。
另一个方面的处理是，对待注册音视频流进行生理识别，得到所述待注册音视频流的模版生理特征。本例子中，生理特征以人脸特征和声纹特征为例，但不局限于这两种特征，只要是能够唯一标识用户、能够区分不同用户的生理性特征都可以。本方面中，参见步骤104所示，可以对待注册音视频流中的音频流进行声纹识别，得到目标对象的声纹特征。
再一个方面的处理是，对待注册音视频流中的视频流进行人脸检测，得到目标对象的人脸特征。
在该注册流程中，可以将上述检测得到的人脸特征称为模版人脸特征，作为后续认证过程中的标准，同样，将检测得到的声纹特征称为模版声纹特征，而模版声纹特征和模版人脸特征可以统称为模版生理特征。
本实施例还将模版生理特征和目标对象的对象标识，称为对象注册信息，在确定对象注册信息中的数据完整后，在步骤106中，将目标对象的对象标识及对应的模版生理特征，作为对象注册信息存储入数据库中。
此外，在图1所示的三个方面的处理中，这三个方面的执行顺序不做限制，比如，在步骤101获取到待注册音视频流后，可以并列执行上述三方面处理，如果唇语和语音不一致，可以将识别的声纹特征和人脸特征不存储；或者，也可以先执行唇语和语音一致性的判断，在通过一致性确定后，再执行声纹特征和人脸特征的检测识别。
图2示例了图1中的唇语和语音一致性判断的流程，可以包括：
在步骤201中，根据待注册音视频流中的音频流，进行端点检测。本步骤可以从连续的音频流中检测出这段音频流的起始时间和终止时间。
在步骤202中，根据音频流进行连续语音特征提取，所述特征包括但不限于MFCC特征、LPCC特征。本步骤提取的特征可以用于语音识别。
在步骤203中，识别音频流中的语音单字符及对应时间点。本步骤中，可以根据步骤202中提取的语音特征识别出音频流中的各个单字符，并且确定其对应的出现和消失的时间点。所述语音识别的方法，包括但不限于隐马尔可夫模型(Hidden Markov Mode,HMM)、深度神经网络(Deep NeuralNetwor,DNN)和长短时记忆模型(Long Short Time Model,LSTM)等方法。
在步骤204中，根据待注册音视频流中的视频流检测唇部所在的位置。本步骤可以从视频图像中检测出唇部所在位置。
在步骤205中，对检测出的唇部图像的质量进行判断，例如，可以判断唇部位置的清晰度和曝光度等参数，若清晰度不够或者曝光度过高，则判断为质量不合格，可以返回重新采集待注册音视频流。若质量合格则继续执行步骤206，继续进行唇语识别。
在步骤206中，进行唇部连续特征提取，本步骤可以从连续的唇部图像中提取特征，所述特征包括但不限于裸像素、或者LBP、Gabor、SIFT、Surf等局部图像描述子。
在步骤207中，识别视频流中的唇语单字符及对应时间点。本步骤的唇语字符识别可以使用隐马尔可夫(HMM)或者长短时记忆模型等方法，单个唇语字符在视频时间序列中对应的时间点也由该模型在进行唇语识别时确定。
在步骤208中，判断唇语和语音的单字符及对应时间点是否满足一致性。例如，本步骤可以将语音单字符的时间点信息与唇语单字符的时间点信息进行比对，如果比对结果一致，则认为该音频流是真人所说，继续执行步骤209；若不一致，则怀疑为攻击行为，则返回重新开始注册流程。本实施例的对唇语和语音的字符和对应时间点的一致性检测方式，这种方式更加细化，可以对真人语音的判断有更高的准确性。
在步骤209中，可以根据步骤202中提取的语音特征进行语音识别，得到用户ID即对象标识。所述语音识别的方法，包括但不限于隐马尔可夫模型(Hidden Markov Mode,HMM)、深度神经网络(Deep Neural Networ,DNN)和长短时记忆模型(Long Short Time Model,LSTM)等方法。
此外，在上述图2所示的例子中，对音频流的语音识别可以在确定唇语和语音满足一致性之后的步骤209中执行；或者，还可以是在步骤203中识别音频流中的单字符时间点时，同时根据语音特征进行语音识别得到用户ID，那么这种情况下，当在步骤208确定唇语和语音满足一致性之后，就可以直接将前面识别到的用户ID作为对象标识。
图3示例了图1中的人脸特征识别的流程，可以包括：
在步骤301中，根据待注册音视频流中的视频流检测人脸图像。本步骤可以从音视频流中的视频流中提取视频帧图像，并检测其中是否出现人脸，如出现则继续执行302，否则返回继续判断。
在步骤302中，检测人脸图像的质量。本步骤可以对步骤301中检测到的人脸进行人脸特征点检测，根据特征点检测的结果判断人脸在水平方向和竖直方向的角度，若都在一定的倾角范围内，则满足质量要求，否则，不满足质量要求；同时判断人脸区域的清晰度和曝光度等参数，也需要在一定的阈值范围内满足要求。如果人脸图像的质量较好，可以更好识别到人脸特征。
在步骤303中，对于满足质量要求的人脸图像，可以由人脸图像中提取特征向量，所述特征向量包括但不限于：局部二值模式特征(Local BinaryPattern,LBP)、Gabor特征、卷积神经网络特征(Convolutional Neural Network,CNN)等。
在步骤304中，将在步骤303中提取的多个人脸特征向量进行融合或者组合，构成用户的唯一人脸特征，即模版人脸特征。
图4示例了图1中的声纹特征识别的流程，可以包括：
在步骤401中，获取待注册音视频流中的音频流。
本例子的声纹特征识别可以根据待注册音视频流中的音频流执行。
在步骤402中，确定音频流的音频质量满足质量标准条件。
本步骤中，可以对音频质量进行判断，采集的音频流的质量较好时，对音频进行声纹识别的效果就更好，因此，可以在进行后续的声纹识别之前，先对音频流的质量进行判定。比如，可以计算音频流中的人声信号强度、信噪比等信息，来判断这段语音是否符合质量标准条件，比如，该质量标准条件可以是设定信噪比在一定的范围内，人声信号强度高于一定的强度阈值等。如果质量通过，可以继续执行步骤403；否则可以重新采集待注册音视频流。
在步骤403中，由音频流中提取声纹特征向量。
本例子中，待注册音视频流的数量可以有多条，比如，用户可以读两次自己的用户ID，对应采集到两条音视频流。本步骤中，可以提取其中的每一条音视频流中的音频流的声纹特征向量，该特征向量的提取可以采用多种常规方式，不再详述，比如，可以从音频流的语音信号中提取语音特征参数MFCC(Mel Frequency Cepstrum Coefficient，梅尔频率倒谱系数)特征，然后使用i-vector(一种说话人识别算法)和PLDA(Probabilistic Linear DiscriminantAnalysis，声纹识别的信道补偿算法)等方法计算特征向量。
在步骤404中，判断多条音频流的声纹特征向量是否满足一致性。
例如，当用户在注册时朗读了至少两次自己的用户ID时，采集到的音频流是对应的至少两条。为了保证该多条音频流之间的声纹特征的差别不会过大，所以可以进行多条音频流之间的声纹一致性判断。比如，可以根据在步骤403中由每条音频流提取的声纹特征向量，计算该多条音频流之间的相似度分数。
若该相似度分数在一定的分数阈值范围内，表示音频流之间满足相似要求，可以继续执行步骤405；否则，表明用户输入的这多次音频差别太大，可以指示正在注册的用户重新朗读其用户ID，即重新采集音频流。
在步骤405中，根据多条音频流的声纹特征向量生成模版声纹特征。
本步骤中，可以根据在前面步骤中分别对各条音频流提取的声纹特征向量进行加权求和，得到模版声纹特征。
在完成上述的注册流程后，在数据库中已经存储了目标对象的对象注册信息，该对象注册信息可以包括对象标识和对应的模版生理特征，该模版生理特征可以包括模版声纹特征和模版人脸特征，如下可以根据该对象注册信息执行对象的身份认证处理。
身份认证
图5示例了一个例子中的身份认证流程，该流程中，认证所使用的生理特征以综合人脸特征和声纹特征为例来说明，并且，可以在确定正在认证的目标对象是活体对象而非录像视频后，再进行生理特征的比对。如图5所示，该认证流程包括如下处理：
在步骤501中，获取采集到的音视频流，所述音视频流由待认证的目标对象产生。
例如，假设用户要登录某个安全性要求较高的应用，需要通过该应用的身份认证才能登录。本步骤中，用户可以在自己的智能设备例如智能手机上打开应用的客户端，并且用户可以通过智能手机的摄像头和麦克风采集待认证的音视频流，该音视频流可以是用户朗读自己的应用ID。
在步骤502中，判断音视频流中的唇语和语音是否满足一致性。
本例子中，可以先判断音视频流中的唇语和语音是否满足一致性，具体判断一致性的流程可以参见图2，不再详述。
如果满足一致性，表明正在认证的目标对象是活体而非录像视频等，则继续执行步骤503；否则，可以返回执行501重新采集。
在步骤503中，对音视频流中的音频流进行语音识别，得到音频流的语音内容。例如，识别到的语音内容可以是用户ID“123456”。
在步骤504中，将语音内容作为目标对象的对象标识，判断预存储的对象注册信息中是否包括该对象标识。
例如，若预存储的对象注册信息中包括所述对象标识，可以在对象注册信息中获取所述对象标识对应的模版生理特征，例如模版人脸特征和模板声纹特征，并继续对待认证的音视频流进行生理识别，得到目标对象的生理特征，以与模版生理特征进行比对。如果预存储的对象注册信息中未包括对象标识，可以提示用户未注册。
在步骤505中，对音视频流进行声纹识别，得到目标对象的声纹特征。本步骤的声纹特征的提取可以参见图4。
在步骤506中，对音视频流进行人脸识别，得到目标对象的人脸特征。
然后可以将目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认所述目标对象通过认证。例如包括如下的步骤507至步骤509。
在步骤507中，将目标对象的声纹特征与模版声纹特征比对，得到声纹比对分数。
在步骤508中，将目标对象的人脸特征与模版人脸特征比对，得到人脸比对分数。
在步骤509中，判断声纹比对分数和人脸比对分数是否满足认证条件。
例如，若所述声纹比对分数和人脸比对分数满足如下至少一种，则确认所述目标对象通过认证：所述声纹比对分数大于声纹分数阈值，且人脸比对分数大于人脸分数阈值；或者，所述声纹比对分数和人脸比对分数的乘积大于对应的乘积阈值；或者，所述声纹比对分数和人脸比对分数的加权和大于对应的加权阈值。
若本步骤中确定声纹比对分数和人脸比对分数满足认证条件，则确认目标对象通过认证；否则，确定目标对象未通过认证。
此外，在本身份认证的例子中，与前面的身份注册流程类似，对音频流进行语音识别得到用户ID的处理，既可以在确定唇语和语音满足一致性之后执行，也可以在识别音频流中的单字符时间点时同时获得用户ID。上面的例子中，是以在确定唇语和语音满足一致性之后再识别用户ID为例。
本申请实施例的身份认证方法，使得用户在认证时，只需要产生一次音视频流即可，比如用户读一次自己的用户ID即可，该方法就可以根据该音频音视频流进行语音识别得到用户ID，并且还可以通过该同一个音视频流校验人脸特征和声纹特征，这种方式不仅简化了用户操作，提高了认证效率，并且也保持了1：1的认证方式，即识别到的生理特征只与数据库中的对象标识对应的特征比较，保证了识别的精度；此外，还方法还通过唇语和语音的一致性判断保证了目标对象是活体，防止了攻击者伪造的视频录像，提高了认证的安全性和可靠性；该方法中的用户ID、识别得到的生理特征，都是基于同一个音视频流得到，能够在一定程度上识别攻击者的伪造音视频流。
为了实现上述的身份认证方法，本申请实施例还提供了一种身份认证装置，如图6所示，该装置可以包括：信息获取模块61、标识确定模块62、信息管理模块63、特征识别模块64和认证处理模块65。
信息获取模块61，用于获取采集到的音视频流，所述音视频流由待认证的目标对象产生；
标识确定模块62，用于判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
信息管理模块63，用于若预存储的对象注册信息中包括所述对象标识，在所述对象注册信息中获取所述对象标识对应的模版生理特征；
特征识别模块64，用于对所述音视频流进行生理识别，得到所述目标对象的生理特征；
认证处理模块65，用于将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认目标对象通过认证。
参见图7，在一个例子中，特征识别模块64可以包括：声纹识别子模块641和人脸识别子模块642。
所述声纹识别子模块641，用于对所述音视频流进行声纹识别，得到所述目标对象的声纹特征；
所述人脸识别子模块642，用于对所述音视频流进行人脸识别，得到所述目标对象的人脸特征；
所述认证处理模块65，用于将所述目标对象的声纹特征与模版声纹特征比对，得到声纹比对分数，并将所述目标对象的人脸特征与模版人脸特征比对，得到人脸比对分数，若所述声纹比对分数和人脸比对分数满足认证条件，则确认所述目标对象通过认证。
在一个例子中，若所述声纹比对分数和人脸比对分数满足如下至少一种，则确认所述目标对象通过认证：所述声纹比对分数大于声纹分数阈值，且人脸比对分数大于人脸分数阈值；或者，所述声纹比对分数和人脸比对分数的乘积大于对应的乘积阈值；或者，所述声纹比对分数和人脸比对分数的加权和大于对应的加权阈值。
在一个例子中，如图7所示，标识确定模块62可以包括：
字符识别子模块621，用于对音视频流中的音频流进行语音单字符及对应时间点识别，对音视频流中的视频流进行唇语单字符及对应时间点识别；
一致判断子模块622，用于若所述语音和唇语的单字符及对应时间点一致，则确定满足一致性。
在一个例子中，所述信息获取模块61，还用于获取所述目标对象的待注册音视频流；
所述标识确定模块62，还用于在所述待注册音视频流中的唇语和语音满足一致性时，将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
所述特征识别模块64，还用于对所述待注册音视频流进行生理识别，得到所述待注册音视频流的所述模版生理特征；
所述信息管理模块63，还用于将所述目标对象的对象标识及对应的所述模版生理特征，对应存储在所述对象注册信息中。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种身份认证方法，其特征在于，所述方法包括：
获取采集到的音视频流，所述音视频流由待认证的目标对象产生；
判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
若预存储的对象注册信息中包括所述对象标识，在所述对象注册信息中获取所述对象标识对应的模版生理特征；
对所述音视频流进行生理识别，得到所述目标对象的生理特征；
将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认所述目标对象通过认证。
2.根据权利要求1所述的方法，其特征在于，所述生理特征包括：声纹特征和人脸特征；所述模版生理特征包括：模版人脸特征和模版声纹特征；
所述对所述音视频流进行生理识别得到所述目标对象的生理特征，包括：
对所述音视频流进行声纹识别，得到所述目标对象的声纹特征；
对所述音视频流进行人脸识别，得到所述目标对象的人脸特征；
所述将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认所述目标对象通过认证，包括：
将所述目标对象的声纹特征与模版声纹特征比对，得到声纹比对分数；并将所述目标对象的人脸特征与模版人脸特征比对，得到人脸比对分数；
若所述声纹比对分数和人脸比对分数满足认证条件，则确认所述目标对象通过认证。
3.根据权利要求2所述的方法，其特征在于，若所述声纹比对分数和人脸比对分数满足如下至少一种，则确认所述目标对象通过认证：
所述声纹比对分数大于声纹分数阈值，且人脸比对分数大于人脸分数阈值；或者，所述声纹比对分数和人脸比对分数的乘积大于对应的乘积阈值；或者，所述声纹比对分数和人脸比对分数的加权和大于对应的加权阈值。
4.根据权利要求1所述的方法，其特征在于，所述判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，包括：
对所述音视频流中的音频流进行语音单字符及对应时间点识别；
对所述音视频流中的视频流进行唇语单字符及对应时间点识别；
若所述语音和唇语的单字符及对应时间点一致，则确定满足一致性。
5.根据权利要求1所述的方法，其特征在于，所述获取采集到的音视频流之前，所述方法还包括：
获取所述目标对象的待注册音视频流；
在所述待注册音视频流中的唇语和语音满足一致性时，将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
对所述待注册音视频流进行生理识别，得到所述待注册音视频流的所述模版生理特征；
将所述目标对象的对象标识及对应的所述模版生理特征，对应存储在所述对象注册信息中。
6.一种身份认证装置，其特征在于，所述装置包括：
信息获取模块，用于获取采集到的音视频流，所述音视频流由待认证的目标对象产生；
标识确定模块，用于判断所述音视频流中的唇语和语音是否满足一致性，若满足一致性，则将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
信息管理模块，用于若预存储的对象注册信息中包括所述对象标识，在所述对象注册信息中获取所述对象标识对应的模版生理特征；
特征识别模块，用于对所述音视频流进行生理识别，得到所述目标对象的生理特征；
认证处理模块，用于将所述目标对象的生理特征与模版生理特征比对，得到比对结果，若所述比对结果满足认证条件，则确认目标对象通过认证。
7.根据权利要求6所述的装置，其特征在于，所述特征识别模块，包括：声纹识别子模块和人脸识别子模块；
所述声纹识别子模块，用于对所述音视频流进行声纹识别，得到所述目标对象的声纹特征；
所述人脸识别子模块，用于对所述音视频流进行人脸识别，得到所述目标对象的人脸特征；
所述认证处理模块，用于将所述目标对象的声纹特征与模版声纹特征比对，得到声纹比对分数，并将所述目标对象的人脸特征与模版人脸特征比对，得到人脸比对分数，若所述声纹比对分数和人脸比对分数满足认证条件，则确认所述目标对象通过认证。
8.根据权利要求7所述的装置，其特征在于，若所述声纹比对分数和人脸比对分数满足如下至少一种，则确认所述目标对象通过认证：
所述声纹比对分数大于声纹分数阈值，且人脸比对分数大于人脸分数阈值；或者，所述声纹比对分数和人脸比对分数的乘积大于对应的乘积阈值；或者，所述声纹比对分数和人脸比对分数的加权和大于对应的加权阈值。
9.根据权利要求6所述的装置，其特征在于，所述标识确定模块包括：
字符识别子模块，用于对所述音视频流中的音频流进行语音单字符及对应时间点识别，对音视频流中的视频流进行唇语单字符及对应时间点识别；
一致判断子模块，用于若所述语音和唇语的单字符及对应时间点一致，则确定满足一致性。
10.根据权利要求6所述的装置，其特征在于，
所述信息获取模块，还用于获取所述目标对象的待注册音视频流；
所述标识确定模块，还用于在所述待注册音视频流中的唇语和语音满足一致性时，将对所述音视频流中的音频流进行语音识别得到的语音内容，作为所述目标对象的对象标识；
所述特征识别模块，还用于对所述待注册音视频流进行生理识别，得到所述待注册音视频流的所述模版生理特征；
所述信息管理模块，还用于将所述目标对象的对象标识及对应的所述模版生理特征，对应存储在所述对象注册信息中。
CN201610340549.4A 2016-05-19 2016-05-19 一种身份认证方法和装置 Pending CN107404381A (zh)

Priority Applications (17)

Application Number Priority Date Filing Date Title
CN201610340549.4A CN107404381A (zh) 2016-05-19 2016-05-19 一种身份认证方法和装置
TW106108380A TWI706268B (zh) 2016-05-19 2017-03-14 身份認證方法和裝置
AU2017266971A AU2017266971B2 (en) 2016-05-19 2017-04-12 Identity authentication method and apparatus
SG11201810131VA SG11201810131VA (en) 2016-05-19 2017-04-12 Identity authentication method and apparatus
BR112018073635-0A BR112018073635A2 (pt) 2016-05-19 2017-04-12 método de autenticação de identidade e aparelho de autenticação de identidade
RU2018144787A RU2738325C2 (ru) 2016-05-19 2017-04-12 Способ и устройство аутентификации личности
MYPI2018001981A MY192351A (en) 2016-05-19 2017-04-12 Identity authentication method and apparatus
KR1020187036914A KR102196686B1 (ko) 2016-05-19 2017-04-12 신원 인증 방법 및 장치
MX2018014147A MX2018014147A (es) 2016-05-19 2017-04-12 Metodo y aparato de autentificacion de identidad.
PCT/CN2017/080196 WO2017198014A1 (zh) 2016-05-19 2017-04-12 一种身份认证方法和装置
CA3024565A CA3024565C (en) 2016-05-19 2017-04-12 Identity authentication method and apparatus
EP17798578.5A EP3460697B1 (en) 2016-05-19 2017-04-12 Identity authentication method and apparatus
JP2018560844A JP2019522840A (ja) 2016-05-19 2017-04-12 アイデンティティ認証方法及び装置
US16/192,401 US10789343B2 (en) 2016-05-19 2018-11-15 Identity authentication method and apparatus
PH12018502437A PH12018502437A1 (en) 2016-05-19 2018-11-19 Identity authentication method and apparatus
ZA2018/07860A ZA201807860B (en) 2016-05-19 2018-11-21 Identity authentication method and apparatus
JP2021123330A JP7109634B2 (ja) 2016-05-19 2021-07-28 アイデンティティ認証方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610340549.4A CN107404381A (zh) 2016-05-19 2016-05-19 一种身份认证方法和装置

Publications (1)

Publication Number Publication Date
CN107404381A true CN107404381A (zh) 2017-11-28

Family

ID=60324817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610340549.4A Pending CN107404381A (zh) 2016-05-19 2016-05-19 一种身份认证方法和装置

Country Status (16)

Country Link
US (1) US10789343B2 (zh)
EP (1) EP3460697B1 (zh)
JP (2) JP2019522840A (zh)
KR (1) KR102196686B1 (zh)
CN (1) CN107404381A (zh)
AU (1) AU2017266971B2 (zh)
BR (1) BR112018073635A2 (zh)
CA (1) CA3024565C (zh)
MX (1) MX2018014147A (zh)
MY (1) MY192351A (zh)
PH (1) PH12018502437A1 (zh)
RU (1) RU2738325C2 (zh)
SG (1) SG11201810131VA (zh)
TW (1) TWI706268B (zh)
WO (1) WO2017198014A1 (zh)
ZA (1) ZA201807860B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052813A (zh) * 2017-11-30 2018-05-18 广东欧珀移动通信有限公司 终端设备的解锁方法、装置及移动终端
CN108074575A (zh) * 2017-12-14 2018-05-25 广州势必可赢网络科技有限公司 一种基于循环神经网络的身份验证方法及装置
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技（深圳）有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN108597523A (zh) * 2018-03-23 2018-09-28 平安科技（深圳）有限公司 说话人认证方法、服务器及计算机可读存储介质
CN108682424A (zh) * 2018-07-13 2018-10-19 广州势必可赢网络科技有限公司 一种音频采集设备及方法
CN108712381A (zh) * 2018-04-16 2018-10-26 出门问问信息科技有限公司 一种身份验证方法及装置
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109344703A (zh) * 2018-08-24 2019-02-15 深圳市商汤科技有限公司 对象检测方法及装置、电子设备和存储介质
CN109461437A (zh) * 2018-11-28 2019-03-12 平安科技（深圳）有限公司 唇语识别的验证内容生成方法及相关装置
CN109801638A (zh) * 2019-01-24 2019-05-24 平安科技（深圳）有限公司 语音验证方法、装置、计算机设备及存储介质
CN109872714A (zh) * 2019-01-25 2019-06-11 广州富港万嘉智能科技有限公司 一种提高语音识别准确性的方法、电子设备及存储介质
CN110110513A (zh) * 2019-04-24 2019-08-09 上海迥灵信息技术有限公司 基于人脸和声纹的身份认证方法、装置和存储介质
CN110113319A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN110223710A (zh) * 2019-04-18 2019-09-10 深圳壹账通智能科技有限公司 多重联合认证方法、装置、计算机装置及存储介质
CN110288349A (zh) * 2018-03-16 2019-09-27 杭州海康威视数字技术股份有限公司 用户信息管理方法、装置及系统、存储介质
CN110288286A (zh) * 2019-05-21 2019-09-27 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
CN110348378A (zh) * 2019-07-10 2019-10-18 北京旷视科技有限公司 一种认证方法、装置和存储介质
CN110491413A (zh) * 2019-08-21 2019-11-22 中国传媒大学 一种基于孪生网络的音频内容一致性监测方法及系统
CN110517106A (zh) * 2019-07-24 2019-11-29 合肥善达信息科技有限公司 一种用于评标的专家身份认证系统及其实时监测方法
CN110569707A (zh) * 2019-06-25 2019-12-13 深圳和而泰家居在线网络科技有限公司 一种身份识别方法和电子设备
CN110602405A (zh) * 2019-09-26 2019-12-20 上海盛付通电子支付服务有限公司 拍摄方法和装置
CN110738159A (zh) * 2019-10-11 2020-01-31 中国建设银行股份有限公司 用于实现变更企业实际控制人的在线股东大会方法、装置
CN111542810A (zh) * 2017-12-08 2020-08-14 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
CN111667835A (zh) * 2020-06-01 2020-09-15 马上消费金融股份有限公司 语音识别方法、活体检测方法、模型训练方法及装置
CN111684459A (zh) * 2019-07-18 2020-09-18 深圳海付移通科技有限公司 一种身份验证方法、终端设备、存储介质
CN111814732A (zh) * 2020-07-23 2020-10-23 上海优扬新媒信息技术有限公司 一种身份验证方法及装置
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN112102546A (zh) * 2020-08-07 2020-12-18 浙江大华技术股份有限公司 一种人机交互控制方法、对讲呼叫方法及相关装置
CN112133311A (zh) * 2020-09-18 2020-12-25 科大讯飞股份有限公司 说话人识别方法、相关设备及可读存储介质
CN112348527A (zh) * 2020-11-17 2021-02-09 上海桂垚信息科技有限公司 一种基于语音识别在银行交易系统中的身份认证方法
CN112397072A (zh) * 2021-01-18 2021-02-23 深圳市声扬科技有限公司 语音检测方法、装置、电子设备及存储介质
CN112491844A (zh) * 2020-11-18 2021-03-12 西北大学 一种基于可信执行环境的声纹及面部识别验证系统及方法
WO2021051602A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于唇语密码的人脸识别方法、系统、装置及存储介质
US11823704B2 (en) 2017-12-08 2023-11-21 Google Llc Signal processing coordination among digital voice assistant computing devices

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6778010B2 (ja) * 2016-04-13 2020-10-28 キヤノン株式会社 画像識別システム、画像識別方法
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
WO2018108263A1 (en) * 2016-12-14 2018-06-21 Telefonaktiebolaget Lm Ericsson (Publ) Authenticating a user subvocalizing a displayed text
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10795979B2 (en) 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
KR20190046063A (ko) * 2017-10-25 2019-05-07 현대자동차주식회사 사용자 인증 시스템, 사용자 인증 방법 및 서버
US10565432B2 (en) * 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
TWI661329B (zh) * 2017-12-15 2019-06-01 鴻海精密工業股份有限公司 身份資訊關聯系統與方法、電腦存儲介質及使用者設備
US10678899B2 (en) * 2018-05-24 2020-06-09 Nice Ltd. System and method for performing voice biometrics analysis
CN109409204B (zh) * 2018-09-07 2021-08-06 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
JP7299708B2 (ja) * 2019-01-15 2023-06-28 グローリー株式会社 認証システム、管理装置及び認証方法
CN110324314B (zh) * 2019-05-23 2023-04-18 深圳壹账通智能科技有限公司 用户注册方法及装置、存储介质、电子设备
CN110364163A (zh) * 2019-07-05 2019-10-22 西安交通大学 一种语音和唇语相融合的身份认证方法
TWI801647B (zh) * 2019-08-07 2023-05-11 華南商業銀行股份有限公司 基於動態影像的身分驗證裝置及方法
TWI822646B (zh) * 2019-08-07 2023-11-11 華南商業銀行股份有限公司 基於唇部動態影像的身分驗證裝置及方法
CN111160928A (zh) * 2019-12-16 2020-05-15 深圳前海微众银行股份有限公司 一种验证身份的方法及装置
CN116797971A (zh) * 2019-12-31 2023-09-22 支付宝实验室(新加坡)有限公司 一种视频流识别方法及装置
CN111178287A (zh) * 2019-12-31 2020-05-19 云知声智能科技股份有限公司 一种声像融合的端对端身份识别方法及装置
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11403369B2 (en) 2020-01-21 2022-08-02 Disney Enterprises, Inc. Secure content processing pipeline
US11425120B2 (en) 2020-02-11 2022-08-23 Disney Enterprises, Inc. Systems for authenticating digital contents
US20220318349A1 (en) * 2020-03-24 2022-10-06 Rakuten Group, Inc. Liveness detection using audio-visual inconsistencies
GB202014436D0 (en) * 2020-09-14 2020-10-28 Voice Biometrics Limted Multifactor voice and face authentication systems and methods
CN112435653A (zh) * 2020-10-14 2021-03-02 北京地平线机器人技术研发有限公司 语音识别方法、装置和电子设备
KR20220138669A (ko) * 2021-04-06 2022-10-13 삼성전자주식회사 개인화 오디오 정보를 제공하기 위한 전자 장치 및 방법
CN113347608B (zh) * 2021-06-11 2023-05-12 焦作大学 一种用于车辆的物联网可信认证方法
CN114677634B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 面签识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206724A1 (en) * 2005-02-16 2006-09-14 David Schaufele Biometric-based systems and methods for identity verification
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
CN105141619A (zh) * 2015-09-15 2015-12-09 北京云知声信息技术有限公司 一种帐号登录方法及装置
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI326427B (en) 2005-06-22 2010-06-21 Egis Technology Inc Biometrics signal input device, computer system having the biometrics signal input device, and control method thereof
JP2007156974A (ja) * 2005-12-07 2007-06-21 Kddi Corp 個人認証・識別システム
KR101092820B1 (ko) * 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
JP2011203992A (ja) 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011215942A (ja) 2010-03-31 2011-10-27 Nec Personal Products Co Ltd ユーザ認証装置、ユーザ認証システム、ユーザ認証方法及びプログラム
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
JP5492274B2 (ja) * 2012-10-25 2014-05-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 認証装置、認証方法及び認証プログラム
US20140143551A1 (en) * 2012-11-21 2014-05-22 Leigh M. Rothschild Encoding biometric identification information into digital files
US9218813B2 (en) * 2013-03-14 2015-12-22 Intel Corporation Voice and/or facial recognition based service provision
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
RU2543958C2 (ru) * 2013-05-14 2015-03-10 Российская Федерация, от имени которой выступает Федеральная служба по техническому и экспортному контролю (ФСТЭК России) Способ контроля исполнения домашнего ареста с биометрической аутентификацией контролируемого
US9406295B2 (en) 2013-11-22 2016-08-02 Intel Corporation Apparatus and method for voice based user enrollment with video assistance
US9721079B2 (en) * 2014-01-15 2017-08-01 Steve Y Chen Image authenticity verification using speech
CN103841108B (zh) * 2014-03-12 2018-04-27 北京天诚盛业科技有限公司 用户生物特征的认证方法和系统
US9615224B2 (en) * 2015-02-19 2017-04-04 Cisco Technology, Inc. Zero touch deployment over a wireless wide area network
WO2016139655A1 (en) * 2015-03-01 2016-09-09 I Am Real Ltd. Method and system for preventing uploading of faked photos
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
US9686238B1 (en) * 2016-07-07 2017-06-20 Oceus Networks Inc. Secure network enrollment
US11868995B2 (en) * 2017-11-27 2024-01-09 Nok Nok Labs, Inc. Extending a secure key storage for transaction confirmation and cryptocurrency

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206724A1 (en) * 2005-02-16 2006-09-14 David Schaufele Biometric-based systems and methods for identity verification
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
CN105141619A (zh) * 2015-09-15 2015-12-09 北京云知声信息技术有限公司 一种帐号登录方法及装置
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052813A (zh) * 2017-11-30 2018-05-18 广东欧珀移动通信有限公司 终端设备的解锁方法、装置及移动终端
US11705127B2 (en) 2017-12-08 2023-07-18 Google Llc Signal processing coordination among digital voice assistant computing devices
US11823704B2 (en) 2017-12-08 2023-11-21 Google Llc Signal processing coordination among digital voice assistant computing devices
CN111542810A (zh) * 2017-12-08 2020-08-14 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
CN111542810B (zh) * 2017-12-08 2023-12-01 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
CN108074575A (zh) * 2017-12-14 2018-05-25 广州势必可赢网络科技有限公司 一种基于循环神经网络的身份验证方法及装置
CN110288349A (zh) * 2018-03-16 2019-09-27 杭州海康威视数字技术股份有限公司 用户信息管理方法、装置及系统、存储介质
CN108597523B (zh) * 2018-03-23 2019-05-17 平安科技（深圳）有限公司 说话人认证方法、服务器及计算机可读存储介质
CN108597523A (zh) * 2018-03-23 2018-09-28 平安科技（深圳）有限公司 说话人认证方法、服务器及计算机可读存储介质
WO2019179033A1 (zh) * 2018-03-23 2019-09-26 平安科技（深圳）有限公司 说话人认证方法、服务器及计算机可读存储介质
CN108712381A (zh) * 2018-04-16 2018-10-26 出门问问信息科技有限公司 一种身份验证方法及装置
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技（深圳）有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN108682424A (zh) * 2018-07-13 2018-10-19 广州势必可赢网络科技有限公司 一种音频采集设备及方法
CN109344703B (zh) * 2018-08-24 2021-06-25 深圳市商汤科技有限公司 对象检测方法及装置、电子设备和存储介质
CN109344703A (zh) * 2018-08-24 2019-02-15 深圳市商汤科技有限公司 对象检测方法及装置、电子设备和存储介质
CN109271915B (zh) * 2018-09-07 2021-10-08 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109461437B (zh) * 2018-11-28 2023-05-09 平安科技（深圳）有限公司 唇语识别的验证内容生成方法及相关装置
CN109461437A (zh) * 2018-11-28 2019-03-12 平安科技（深圳）有限公司 唇语识别的验证内容生成方法及相关装置
CN109801638B (zh) * 2019-01-24 2023-10-13 平安科技（深圳）有限公司 语音验证方法、装置、计算机设备及存储介质
CN109801638A (zh) * 2019-01-24 2019-05-24 平安科技（深圳）有限公司 语音验证方法、装置、计算机设备及存储介质
CN109872714A (zh) * 2019-01-25 2019-06-11 广州富港万嘉智能科技有限公司 一种提高语音识别准确性的方法、电子设备及存储介质
CN110113319A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN110223710A (zh) * 2019-04-18 2019-09-10 深圳壹账通智能科技有限公司 多重联合认证方法、装置、计算机装置及存储介质
CN110110513A (zh) * 2019-04-24 2019-08-09 上海迥灵信息技术有限公司 基于人脸和声纹的身份认证方法、装置和存储介质
CN110288286A (zh) * 2019-05-21 2019-09-27 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
WO2020233076A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
CN110569707A (zh) * 2019-06-25 2019-12-13 深圳和而泰家居在线网络科技有限公司 一种身份识别方法和电子设备
CN110348378A (zh) * 2019-07-10 2019-10-18 北京旷视科技有限公司 一种认证方法、装置和存储介质
CN111684459A (zh) * 2019-07-18 2020-09-18 深圳海付移通科技有限公司 一种身份验证方法、终端设备、存储介质
CN110517106A (zh) * 2019-07-24 2019-11-29 合肥善达信息科技有限公司 一种用于评标的专家身份认证系统及其实时监测方法
CN110491413A (zh) * 2019-08-21 2019-11-22 中国传媒大学 一种基于孪生网络的音频内容一致性监测方法及系统
CN110491413B (zh) * 2019-08-21 2022-01-04 中国传媒大学 一种基于孪生网络的音频内容一致性监测方法及系统
WO2021051602A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于唇语密码的人脸识别方法、系统、装置及存储介质
CN110602405A (zh) * 2019-09-26 2019-12-20 上海盛付通电子支付服务有限公司 拍摄方法和装置
CN110738159A (zh) * 2019-10-11 2020-01-31 中国建设银行股份有限公司 用于实现变更企业实际控制人的在线股东大会方法、装置
CN111667835A (zh) * 2020-06-01 2020-09-15 马上消费金融股份有限公司 语音识别方法、活体检测方法、模型训练方法及装置
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN111814732A (zh) * 2020-07-23 2020-10-23 上海优扬新媒信息技术有限公司 一种身份验证方法及装置
CN111814732B (zh) * 2020-07-23 2024-02-09 度小满科技(北京)有限公司 一种身份验证方法及装置
CN112102546A (zh) * 2020-08-07 2020-12-18 浙江大华技术股份有限公司 一种人机交互控制方法、对讲呼叫方法及相关装置
CN112133311A (zh) * 2020-09-18 2020-12-25 科大讯飞股份有限公司 说话人识别方法、相关设备及可读存储介质
CN112348527A (zh) * 2020-11-17 2021-02-09 上海桂垚信息科技有限公司 一种基于语音识别在银行交易系统中的身份认证方法
CN112491844A (zh) * 2020-11-18 2021-03-12 西北大学 一种基于可信执行环境的声纹及面部识别验证系统及方法
CN112397072A (zh) * 2021-01-18 2021-02-23 深圳市声扬科技有限公司 语音检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW201741921A (zh) 2017-12-01
JP2021182420A (ja) 2021-11-25
BR112018073635A2 (pt) 2019-02-26
JP7109634B2 (ja) 2022-07-29
EP3460697A1 (en) 2019-03-27
US20190102531A1 (en) 2019-04-04
SG11201810131VA (en) 2018-12-28
RU2738325C2 (ru) 2020-12-11
KR20190009361A (ko) 2019-01-28
ZA201807860B (en) 2019-08-28
MX2018014147A (es) 2019-08-12
CA3024565C (en) 2022-09-06
US10789343B2 (en) 2020-09-29
EP3460697B1 (en) 2021-12-08
RU2018144787A3 (zh) 2020-06-19
AU2017266971A1 (en) 2018-12-06
EP3460697A4 (en) 2019-05-08
RU2018144787A (ru) 2020-06-19
AU2017266971B2 (en) 2021-05-13
MY192351A (en) 2022-08-17
TWI706268B (zh) 2020-10-01
JP2019522840A (ja) 2019-08-15
PH12018502437A1 (en) 2019-05-15
CA3024565A1 (en) 2017-11-23
KR102196686B1 (ko) 2020-12-31
WO2017198014A1 (zh) 2017-11-23

Similar Documents

Publication Publication Date Title
CN107404381A (zh) 一种身份认证方法和装置
Frischholz et al. BiolD: a multimodal biometric identification system
KR102239129B1 (ko) 심층신경망을 이용하는 종단 간 화자 인식
Bigun et al. Multimodal biometric authentication using quality signals in mobile communications
JP6141388B2 (ja) 声紋認証方法および装置
Das et al. Development of multi-level speech based person authentication system
JPH08314491A (ja) ミックスチャ分解識別による話者検証方法と装置
CN107346568A (zh) 一种门禁系统的认证方法和装置
Folorunso et al. A review of voice-base person identification: state-of-the-art
CN110364163A (zh) 一种语音和唇语相融合的身份认证方法
Dalila et al. Feature level fusion of face and voice biometrics systems using artificial neural network for personal recognition
Shen et al. Secure mobile services by face and speech based personal authentication
Bigun et al. Combining biometric evidence for person authentication
Kartik et al. Multimodal biometric person authentication system using speech and signature features
Varchol et al. Multimodal biometric authentication using speech and hand geometry fusion
Akingbade et al. Voice-based door access control system using the mel frequency cepstrum coefficients and gaussian mixture model
Kartik et al. Noise robust multimodal biometric person authentication system using face, speech and signature features
Memon Multi-layered multimodal biometric authentication for smartphone devices
CN113469002A (zh) 基于区块链互证和生物多特征识别及多源数据融合的身份识别方法
Czyz et al. Scalability analysis of audio-visual person identity verification
Beritelli et al. Performance evaluation of multimodal biometric systems based on mathematical models and probabilistic neural networks
Rani et al. Genetic algorithm using speech and signature of biometrics
Ozkaya et al. Intelligent face border generation system from fingerprints
Bendris et al. Introduction of quality measures in audio-visual identity verification
Alharbi et al. Face-voice based multimodal biometric authentication system via FaceNet and GMM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1247461

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128