CN106790054A - 基于人脸识别和声纹识别的交互式认证系统及方法 - Google Patents

基于人脸识别和声纹识别的交互式认证系统及方法 Download PDF

Info

Publication number
CN106790054A
CN106790054A CN201611181543.3A CN201611181543A CN106790054A CN 106790054 A CN106790054 A CN 106790054A CN 201611181543 A CN201611181543 A CN 201611181543A CN 106790054 A CN106790054 A CN 106790054A
Authority
CN
China
Prior art keywords
recognition
face
terminal
user
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611181543.3A
Other languages
English (en)
Inventor
刘�东
李晓冬
杨震泉
彭世伟
孙云松
孟庆康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201611181543.3A priority Critical patent/CN106790054A/zh
Publication of CN106790054A publication Critical patent/CN106790054A/zh
Priority to PCT/CN2017/114928 priority patent/WO2018113526A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Collating Specific Patterns (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及认证技术。本发明是要解决现有人脸识别认证其检测结果易被冒名顶替的问题，提供了一种基于人脸识别和声纹识别的交互式认证系统及方法，其技术方案可概括为：基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其中，终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。本发明的有益效果是，提升安全性，适用于认证系统。

Description

基于人脸识别和声纹识别的交互式认证系统及方法
技术领域
本发明涉及认证技术，特别涉及人脸识别及声纹识别的认证技术。
背景技术
随着互联网+时代的来临，网络化管理、无纸化办公及电子交易等已经渗透于日常生活的各个部位。虚拟生活和虚拟市场等逐渐成为上班族购物休闲的主要渠道，但互联网在方便人们生活的同时，它也是一把双刃剑，因为一切活动或者交易都在虚拟的网络中进行，没有人与人之间直接的接触，甚至都无须有文字的交流，彼此的信任和凭证都依靠口令、密钥或者短信验证码去实现，而互联网是一个开放网络、一个平等的平台，同时它也是一个不受控制的孩子。凡事在网络中传输的东西都有可能被人窃取，网民平时为了便于记忆方便使用，通常是一个密钥，处处使用，可使用的平台的好坏与安全性却是千差万别，可谓是一处被泄漏，处处被攻破，目前逐渐提出用手机随机验证码来取代传统的固定密钥，然后据统计手机却是最易遗失的个人财产之一。
硬件技术的发展，智能手机、个人电脑的普及，近来生物特征识别技术成为人们日益关注的焦点，生物特征识别技术通过人体的生理特征或行为特征来进行合法身份的认证，比如说指纹、虹膜、面部图像识别及脱氧核糖核酸(DNA)排序匹配识别等。
其中，指纹识别，因为容易被伪造，只需要简单的从被伪造者日常生活用品中获取对方的指纹，就可以进行指纹的伪造，所以指纹识别适用领域也只是安全程度要求不高的日常考勤记录中。
而虹膜识别技术是通过摄像器材采集识别者位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹及隐窝等细节特征，所以对摄像硬件设备要求比较高，不易于大规模商用或者向普通用户推广。
单一的图像识别验证(人脸识别验证)，也容易用静态图像(照片)来冒名顶替，而脱氧核糖核酸(DNA)排序匹配识别的门槛较高，需要人体的直接接触所以并不适合“短、平、快”的互联网平台。
人的声音富含了多个维度的信息，如说话内容、说话语气及声音特征等，声纹识别是一种通过人的声音特征来辨别不同说话人的技术，不同的声道结构决定了声纹的唯一性。
发明内容
本发明的目的是要解决目前人脸识别认证其检测结果易被冒名顶替的问题，提供了一种基于人脸识别和声纹识别的交互式认证系统及方法。
本发明解决其技术问题，采用的技术方案是，基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其特征在于，
所述终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；
所述服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。
进一步的，所述进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配是指：服务器从接收到的被检测用户的面部视频获取用户面部特征参数，将获取的用户面部特征参数与服务器预先存储的所有用户面部特征参数进行匹配，匹配成功则得到人脸识别结果，然后向终端发送预设声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，匹配成功则提取该语音音频数据中的声纹特征向量，将其与服务器预先存储的所有用户声纹特征向量进行匹配，匹配成功则得到声纹识别结果。
具体的，所述终端包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块，服务器包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块，所述显示模块、人脸视频采集模块、语音采集模块分别与第一通讯模块连接，人脸识别模块、语音识别模块、验证模块分别与第二通讯模块连接，人脸识别模块、语音识别模块分别与验证模块连接，数据库模块分别与人脸识别模块、语音识别模块及验证模块连接，第一通讯模块与第二通讯模块通过网络连接，
所述人脸视频采集模块用于获取被检测用户的面部视频将其通过第一通讯模块及第二通讯模块发送至人脸识别模块；
所述语音采集模块用于采集用户输入的语音音频数据将其通过第一通讯模块及第二通讯模块发送至语音识别模块；
所述显示模块用于显示服务器发送来的显示提示信息，包括人脸识别失败信息、声音口令输入不正确信息、验证失败信息、声音口令文本及验证成功信息；
所述第一通讯模块及第二通讯模块用于终端与服务器之间的信息交互；
所述人脸识别模块用于接收到被检测用户的面部视频后对其进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为人脸识别结果，若匹配失败则将返回终端人脸识别失败信息；
所述语音识别模块用于在接收到验证模块发送来的语音识别请求后，向终端发送预设声音口令文本，令终端通过显示模块显示声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，若匹配成功则提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为声纹识别结果；
所述验证模块用于接收到人脸识别模块发送来的匹配成功结果后，向语音识别模块发送语音识别请求，在接收到语音识别模块发送来的匹配成功结果后，将其与人脸识别模块发送来的匹配成功结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，向语音识别模块重新发送语音识别请求，若此时已发送过预设数量的语音识别请求则认为本次用户验证失败，返回终端验证失败信息。
再进一步的，所述人脸视频采集模块为摄像模块，所述语音采集模块为拾音器。
具体的，所述人脸识别模块中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。
再进一步的，所述人脸识别模块的匹配成功结果中包括用户信息，所述用户信息中包括用户年龄信息。
具体的，所述验证模块向语音识别模块发送的语音识别请求中，包含用户年龄信息或请求发送注册时的声音口令文本。
再进一步的，所述验证模块向语音识别模块发送的语音识别请求中，若此次是第预设数量次向语音识别模块发送语音识别请求，则该语音识别请求中包括请求发送注册时的声音口令文本。
具体的，所述语音识别模块中，预设声音口令文本为一段易读文字或一段数字或一段新闻类文字或与用户信息对应的注册时的声音口令文本。
再进一步的，所述语音识别模块中，在向终端发送预设声音口令文本前还根据语音识别请求进行判断，若语音识别请求中有请求发送注册时的声音口令文本则语音识别模块选择的预设声音口令文本为与用户信息对应的注册时的声音口令文本，若语音识别请求中有用户年龄信息，则根据用户年龄信息判断用户年龄，若用户为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字。
具体的，所述语音识别模块中，在向终端发送预设声音口令文本后，还开始计时，判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到判断是否在预设时间内接收到终端发送来的语音音频数据那一步。
基于人脸识别和声纹识别的交互式认证方法，应用于上述基于人脸识别和声纹识别的交互式认证系统，其特征在于，包括以下步骤；
步骤1、用户采用终端向服务器进行用户注册，服务器在数据库中存储用户信息、该用户面部特征参数及该用户声纹特征向量；
步骤2、认证时，终端获取被检测用户的面部视频并发送至服务器；
步骤3、服务器对接收到被检测用户的面部视频进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则得到人脸识别结果并进入步骤5，若匹配失败则进入步骤4；
步骤4、服务器返回终端人脸识别失败信息，终端显示人脸识别失败并提示用户，回到步骤2；
步骤5、服务器生成并向终端发送预设声音口令文本；
步骤6、终端显示声音口令文本，并采集用户输入的语音音频数据上传至服务器；
步骤7、服务器将接收到的语音音频数据后转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，进入步骤8，若匹配成功则进入步骤9；
步骤8、终端显示声音口令输入不正确信息，回到步骤2；
步骤9、服务器提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，进入步骤10，若匹配成功则得到语音识别结果并进入步骤11；
步骤10、终端显示语音识别失败信息，回到步骤2；
步骤11、服务器将人脸识别结果与语音识别结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，判断本次认证是否已发送预设数量的声音口令文本，若是则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，否则重新生成并向终端发送预设声音口令文本，回到步骤6；
步骤12，终端显示验证失败信息，回到步骤2。
具体的，步骤1包括以下步骤：
步骤101、用户向终端输入用户信息，并通过终端采集人脸视频或多张人脸图像，终端将用户信息及人脸视频或多张人脸图像上传至服务器；
步骤102、服务器从人脸视频中截取多张人脸图像或将接收到的多张图像作为人脸样本，得到该用户面部特征参数，并进行人脸建模，并将其与用户信息关联后存储于数据库中，并随机生成声音口令文本发送给终端；
步骤103、终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器；
步骤104、服务器对语音音频数据进行声纹特征向量提取，将提取的声纹特征向量、语音音频数据及对应的声音口令文本与用户信息关联后存储于数据库中。
进一步的，步骤102中，所述随机生成声音口令文本发送给终端中，随机生成至少一段声音口令文本，并按顺序发送给终端；
步骤103中，所述终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器中，终端按顺序显示声音口令文本，当一个声音口令文本采集了三次对应的用户的语音音频数据后，再显示下一个声音口令文本，得到所有声音口令文本对应的各三个语音音频数据后，发送给服务器。
具体的，步骤104中，服务器接收到所有语音音频数据后，分别对其进行声纹特征向量提取，针对每一个声音口令文本，选择出其中声纹特征向量最明显的一个语音音频数据，将声音口令文本、所选择的语音音频数据及其声纹特征向量与用信息系关联后存储于数据库中。
再进一步的，步骤11中，所述重新生成并向终端发送预设声音口令文本中，所重新生成的预设声音口令文本为与用户信息对应的注册时的声音口令文本中的一个
具体的，步骤3中，服务器中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。
再进一步的，步骤5中，所述预设声音口令文本为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字或与用户信息对应的注册时的声音口令文本。
具体的，步骤1中，所述用户信息包括用户年龄信息；
步骤3中，所述人脸识别结果中包括用户信息；
步骤5中，所述服务器生成并向终端发送预设声音口令文本时，若人脸识别结果中的用户信息显示为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字。
再进一步的，步骤9中，若匹配失败时，还判断是否已生成过预设数量减一个声音口令文本，若是则认为识别失败，返回终端语音识别失败信息，进入步骤10，否则重新生成并向终端发送预设声音口令文本，回到步骤6，该重新生成并向终端发送的预设声音口令文本为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字，其长度大于上一次生成的预设声音口令文本。
再进一步的，步骤9中，服务器中设置有声纹相似度预设值，在服务器将提取的语音音频数据中的声纹特征向量与数据库中所存储的所有用户声纹特征向量进行匹配时，若匹配出的结果中各用户用户声纹特征向量相似度阈值小于声纹相似度预设值时，判定为匹配成功，否则判定为匹配失败。
具体的，步骤5中，在服务器生成并向终端发送预设声音口令文本后，还开始计时；
和/或，步骤9中，在服务器重新生成并向终端发送预设声音口令文本后，还开始计时；
和/或，步骤11中，在服务器重新生成并向终端发送预设声音口令文本后，还开始计时；
步骤5与步骤7之间，还包括以下步骤：
步骤A、服务器判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则进入步骤A，否则进入步骤7；
步骤B、服务器更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到步骤A，所述更换后的预设声音口令文本为重新随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字。
再进一步的，步骤9中，若匹配失败，返回终端语音识别失败信息后，服务器还进入步骤13；
步骤11中，若认为验证成功，返回终端验证成功信息后，服务器还进入步骤13，若认为本次用户验证失败，返回终端验证失败信息后，服务器还进入步骤13；
步骤13、服务器利用本次认证中接收到的人脸图像对人脸识别结果中的用户信息对应的人脸建模进行优化。
本发明的有益效果是，在本发明方案中，通过上述基于人脸识别和声纹识别的交互式认证系统及方法，利用人脸识别及声纹识别，达到安全性更高的认证，提升安全性。
附图说明
图1为本发明实施例中基于人脸识别和声纹识别的交互式认证系统的系统框图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
本发明所述基于人脸识别和声纹识别的交互式认证系统，其系统框图参见图1，包括终端及服务器，终端与服务器通过网络连接，其中，终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。
本发明所述的基于人脸识别和声纹识别的交互式认证方法，应用于上述基于人脸识别和声纹识别的交互式认证系统中，首先用户采用终端向服务器进行用户注册，服务器在数据库中存储用户信息、该用户面部特征参数及该用户声纹特征向量，在认证时，终端获取被检测用户的面部视频并发送至服务器，服务器对接收到被检测用户的面部视频进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配失败则服务器返回终端人脸识别失败信息，终端显示人脸识别失败并提示用户，回到认证时那一步重新认证，若匹配成功则得到人脸识别结果，生成并向终端发送预设声音口令文本，然后终端显示声音口令文本，并采集用户输入的语音音频数据上传至服务器，服务器再将接收到的语音音频数据后转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，终端显示声音口令输入不正确信息，回到认证时那一步重新认证，若匹配成功则服务器提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，终端显示语音识别失败信息，回到认证时那一步重新认证，若匹配成功则得到语音识别结果，服务器将人脸识别结果与语音识别结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，终端显示验证失败信息，回到认证时那一步重新认证，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，判断本次认证是否已发送预设数量的声音口令文本，若是则认为本次用户验证失败，返回终端验证失败信息，终端显示验证失败信息，回到认证时那一步重新认证，否则重新生成并向终端发送预设声音口令文本，回到终端显示声音口令文本那一步。
实施例
本发明实施例的基于人脸识别和声纹识别的交互式认证系统，其系统框图参见图1，包括终端及服务器，终端与服务器通过网络连接，终端可包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块，服务器可包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块，显示模块、人脸视频采集模块、语音采集模块分别与第一通讯模块连接，人脸识别模块、语音识别模块、验证模块分别与第二通讯模块连接，人脸识别模块、语音识别模块分别与验证模块连接，数据库模块分别与人脸识别模块、语音识别模块及验证模块连接，第一通讯模块与第二通讯模块通过网络连接。
其中，终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息。
终端可包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块。
人脸视频采集模块用于获取被检测用户的面部视频将其通过第一通讯模块及第二通讯模块发送至人脸识别模块；其可以为摄像头等摄像模块。
语音采集模块用于采集用户输入的语音音频数据将其通过第一通讯模块及第二通讯模块发送至语音识别模块；其可以为麦克风等拾音器。
显示模块用于显示服务器发送来的显示提示信息，包括人脸识别失败信息、声音口令输入不正确信息、验证失败信息、声音口令文本及验证成功信息等。
第一通讯模块用于终端与服务器之间的信息交互。
服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。这里，进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配优选为：服务器从接收到的被检测用户的面部视频获取用户面部特征参数，将获取的用户面部特征参数与服务器预先存储的所有用户面部特征参数进行匹配，匹配成功则得到人脸识别结果，然后向终端发送预设声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，匹配成功则提取该语音音频数据中的声纹特征向量，将其与服务器预先存储的所有用户声纹特征向量进行匹配，匹配成功则得到声纹识别结果。
服务器可包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块。
第二通讯模块用于终端与服务器之间的信息交互。
人脸识别模块用于接收到被检测用户的面部视频后对其进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为人脸识别结果，若匹配失败则将返回终端人脸识别失败信息。人脸识别模块中可以设置图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。人脸识别模块的匹配成功结果中可以包括用户信息，而用户信息中包括用户年龄信息。
语音识别模块用于在接收到验证模块发送来的语音识别请求后，向终端发送预设声音口令文本，令终端通过显示模块显示声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，若匹配成功则提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为声纹识别结果。语音识别模块中，预设声音口令文本为一段易读文字或一段数字或一段新闻类文字或与用户信息对应的注册时的声音口令文本等；语音识别模块中，在向终端发送预设声音口令文本前还可以根据语音识别请求进行判断，若语音识别请求中有请求发送注册时的声音口令文本则语音识别模块选择的预设声音口令文本为与用户信息对应的注册时的声音口令文本，若语音识别请求中有用户年龄信息，则根据用户年龄信息判断用户年龄，若用户为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字；另外，在语音识别模块中，还可以在向终端发送预设声音口令文本后，还开始计时，判断是否在预设时间(如10秒)内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到判断是否在预设时间内接收到终端发送来的语音音频数据那一步。
验证模块用于接收到人脸识别模块发送来的匹配成功结果后，向语音识别模块发送语音识别请求，在接收到语音识别模块发送来的匹配成功结果后，将其与人脸识别模块发送来的匹配成功结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，向语音识别模块重新发送语音识别请求，若此时已发送过预设数量的语音识别请求则认为本次用户验证失败，返回终端验证失败信息。验证模块向语音识别模块发送的语音识别请求中，包含用户年龄信息或请求发送注册时的声音口令文本等，且还可以在验证模块向语音识别模块发送的语音识别请求中，若此次是第预设数量次(如预设数量为3，此时为第3次时)向语音识别模块发送语音识别请求，则该语音识别请求中包括请求发送注册时的声音口令文本。
使用时，其处理方法如下：
步骤1、用户采用终端向服务器进行用户注册，服务器在数据库中存储用户信息、该用户面部特征参数及该用户声纹特征向量。
本步骤中，用户信息优选包括用户年龄信息，本步骤具体可包括以下步骤：
步骤101、用户向终端输入用户信息，并通过终端采集人脸视频或多张人脸图像，终端将用户信息及人脸视频或多张人脸图像上传至服务器。
步骤102、服务器从人脸视频中截取多张人脸图像或将接收到的多张图像作为人脸样本，得到该用户面部特征参数，并进行人脸建模，并将其与用户信息关联后存储于数据库中，并随机生成声音口令文本发送给终端。
这里，随机生成声音口令文本发送给终端中，可随机生成至少一段声音口令文本，并按顺序发送给终端，例如随机生成三段声音口令文本，随机对其排序后按顺序发送给终端。其中，随机生成多少段声音口令文本根据业务认证的安全度来确定，一般来说，安全度需求越高的业务认证，在注册时，随机生成的声音口令文本的数量越多。
步骤103、终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器。
这里，终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器中，若终端是按顺序接收到多段声音口令文本时，按顺序显示声音口令文本，当一个声音口令文本采集了三次对应的用户的语音音频数据后，再显示下一个声音口令文本，得到所有声音口令文本对应的各三个语音音频数据后，发送给服务器。例如终端按顺序接收到两段声音口令文本时，则先显示第一段声音口令文本，采集三次用户按照第一段声音口令文本输入的用户语音音频数据后，再显示第二段声音口令文本，再次采集三次用户按照第二段声音口令文本输入的用户语音音频数据，然后将对应第一段声音口令文本的三个用户语音音频数据及对应第二段声音口令文本的三个用户语音音频数据一起发送给服务器，总共六个用户语音音频数据。
步骤104、服务器对语音音频数据进行声纹特征向量提取，将提取的声纹特征向量、语音音频数据及对应的声音口令文本与用户信息关联后存储于数据库中。
这里，若服务器接收到多个语音音频数据，则服务器在接收到所有语音音频数据后，分别对其进行声纹特征向量提取，针对每一个声音口令文本，选择出其中声纹特征向量最明显的一个语音音频数据，将声音口令文本、所选择的语音音频数据及其声纹特征向量与用信息系关联后存储于数据库中。即一个声音口令文本对应一个语音音频数据，可删除另两个语音音频数据。
步骤2、认证时，终端获取被检测用户的面部视频并发送至服务器。
步骤3、服务器对接收到被检测用户的面部视频进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则得到人脸识别结果并进入步骤5，若匹配失败则进入步骤4。
本步骤中，服务器中可以设置图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。这里，人脸识别结果优选包括用户信息，而用户信息由步骤1可见，其优选包括用户年龄信息。
步骤4、服务器返回终端人脸识别失败信息，终端显示人脸识别失败并提示用户，回到步骤2。
步骤5、服务器生成并向终端发送预设声音口令文本。
本步骤中，预设声音口令文本可以为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字或与用户信息对应的注册时的声音口令文本等。
这里，服务器生成并向终端发送预设声音口令文本时，若人脸识别结果中的用户信息(可根据用户年龄信息判断)显示为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，其目的就在于保证用户能够看懂且读出声音口令文本，否则选择的预设声音口令文本为一段新闻类文字，此处否则即是指用户信息显示用户为成年人，而成年人一般都能够看懂且读出声音口令文本，因此选择一段新闻类文字，以增加识别精准度。
步骤6、终端显示声音口令文本，并采集用户输入的语音音频数据上传至服务器。
步骤7、服务器将接收到的语音音频数据后转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，进入步骤8，若匹配成功则进入步骤9。
步骤8、终端显示声音口令输入不正确信息，回到步骤2。
步骤9、服务器提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，进入步骤10，若匹配成功则得到语音识别结果并进入步骤11。
本步骤中，若匹配失败时，还可以判断是否已生成过预设数量减一个(例如预设数量为3，则此时即是判断是否已生成过2个声音口令文本)声音口令文本，若是则认为识别失败，返回终端语音识别失败信息，进入步骤10，否则重新生成并向终端发送预设声音口令文本，回到步骤6，该重新生成并向终端发送的预设声音口令文本为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字，其长度大于上一次生成的预设声音口令文本，可见，其可与步骤5中的生成方法相对应。
本步骤中，服务器中还可以设置声纹相似度预设值，在服务器将提取的语音音频数据中的声纹特征向量与数据库中所存储的所有用户声纹特征向量进行匹配时，若匹配出的结果中各用户用户声纹特征向量相似度阈值小于声纹相似度预设值时，判定为匹配成功，否则判定为匹配失败。
步骤10、终端显示语音识别失败信息，回到步骤2。
步骤11、服务器将人脸识别结果与语音识别结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，判断本次认证是否已发送预设数量的声音口令文本，若是则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，否则重新生成并向终端发送预设声音口令文本，回到步骤6。
本步骤中，重新生成并向终端发送预设声音口令文本中，所重新生成的预设声音口令文本为与用户信息对应的注册时的声音口令文本中的一个，即本例中步骤102中随机生成的声音口令文本中的一个，当其只有一个时，则就直接选择该声音口令文本，若之前未如步骤102那样生成了随机声音口令文本，而是直接采集的用户语音音频数据，再通过用户语音音频数据获取到用户的声纹特征向量，则此时可选择该用户语音音频数据对应的声音口令文本(可通过转换用户语音音频数据为文本数据的方法得到)。
步骤12，终端显示验证失败信息，回到步骤2。
本例中，在服务器生成并向终端发送预设声音口令文本后，还开始计时，这里，服务器可以是本次认证时首次生成并向终端发送预设声音口令文本，也可以是服务器在本次认证时重新生成并向终端发送预设声音口令文本，即是指只要服务器生成并向终端发送预设声音口令文本后，就开始计时。
则步骤5与步骤7之间，还可以包括以下步骤：
步骤A、服务器判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则进入步骤A，否则进入步骤7；
步骤B、服务器更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到步骤A，所述更换后的预设声音口令文本为重新随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字。
本例中，步骤9中，若匹配失败，返回终端语音识别失败信息后，服务器还可以进入步骤13，此时终端仍然进入步骤10；
步骤11中，若认为验证成功，返回终端验证成功信息后，服务器还可以进入步骤13，若认为本次用户验证失败，返回终端验证失败信息后，服务器还可以进入步骤13，此时终端仍然进入步骤12。
则步骤13可以为：服务器利用本次认证中接收到的人脸图像对人脸识别结果中的用户信息对应的人脸建模进行优化。其目的在于：由于人脸识别成功，则说明所用于识别的人脸图像或所采集的人脸视频是正确的，则可利用这些正确的人脸图像信息对人脸建模进行优化，提高人脸识别时的精确度，删除其中无效的用户面部特征参数等，以提高运算效率。
同理，在步骤11中，若认为验证成功，返回终端验证成功信息后，服务器还可利用本次认证中接收到的语音音频数据对人脸识别结果中的用户信息对应的声纹特征数据进行优化。
本例中，参见上述处理可知，优选为人脸识别步骤在前，而声纹识别在后，其原因是：首先，人脸识别经过目前几十年的发展，其技术较为成熟，算法效率高、处理速度快，且声纹识别与其他生理特征识别不同，声纹识别的特征必须是“个性化”特征，而说话人(即需要声纹识别的用户)需要识别的特征针对该说话人必须是有“共性特征”的。虽然目前大部分声纹识别系统采用的都是声学层面的特征，但是表征一个人特点的特征应该是多层面的，包括：1)与人类的发音机制的解剖学结构有关的声学特征(如频谱、倒频谱、共振峰、基音、反射系数等等)、鼻音、带深呼吸音、沙哑音、笑声等；2)受社会经济状况、受教育水平、出生地等影响的语义、修辞、发音、言语习惯等；3)个人特点或受父母影响的韵律、节奏、速度、语调、音量等特征。从利用数学方法可以建模的角度出发，声纹自动识别模型目前可以使用的特征包括：1)声学特征(倒频谱)；2)词法特征(说话人相关的词n-gram，音素n-gram)；3)韵律特征(利用n-gram描述的基音和能量“姿势”)；4)语种、方言和口音信息；5)通道信息(使用何种通道)等。因此，在本发明方案中，其预设声音口令文本可以是基于用户信息来随机生成的。而又由于本发明中提到的人脸识别及声纹识别的具体方式为现有较为成熟的技术，因此本案不再详述。

Claims (22)

1.基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其特征在于，
所述终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；
所述服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。
2.如权利要求1所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，
所述进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配是指：服务器从接收到的被检测用户的面部视频获取用户面部特征参数，将获取的用户面部特征参数与服务器预先存储的所有用户面部特征参数进行匹配，匹配成功则得到人脸识别结果，然后向终端发送预设声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，匹配成功则提取该语音音频数据中的声纹特征向量，将其与服务器预先存储的所有用户声纹特征向量进行匹配，匹配成功则得到声纹识别结果。
3.如权利要求2所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述终端包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块，服务器包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块，所述显示模块、人脸视频采集模块、语音采集模块分别与第一通讯模块连接，人脸识别模块、语音识别模块、验证模块分别与第二通讯模块连接，人脸识别模块、语音识别模块分别与验证模块连接，数据库模块分别与人脸识别模块、语音识别模块及验证模块连接，第一通讯模块与第二通讯模块通过网络连接，
所述人脸视频采集模块用于获取被检测用户的面部视频将其通过第一通讯模块及第二通讯模块发送至人脸识别模块；
所述语音采集模块用于采集用户输入的语音音频数据将其通过第一通讯模块及第二通讯模块发送至语音识别模块；
所述显示模块用于显示服务器发送来的显示提示信息，包括人脸识别失败信息、声音口令输入不正确信息、验证失败信息、声音口令文本及验证成功信息；
所述第一通讯模块及第二通讯模块用于终端与服务器之间的信息交互；
所述人脸识别模块用于接收到被检测用户的面部视频后对其进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为人脸识别结果，若匹配失败则将返回终端人脸识别失败信息；
所述语音识别模块用于在接收到验证模块发送来的语音识别请求后，向终端发送预设声音口令文本，令终端通过显示模块显示声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，若匹配成功则提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为声纹识别结果；
所述验证模块用于接收到人脸识别模块发送来的匹配成功结果后，向语音识别模块发送语音识别请求，在接收到语音识别模块发送来的匹配成功结果后，将其与人脸识别模块发送来的匹配成功结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，向语音识别模块重新发送语音识别请求，若此时已发送过预设数量的语音识别请求则认为本次用户验证失败，返回终端验证失败信息。
4.如权利要求3所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述人脸识别模块中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。
5.如权利要求3所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述人脸识别模块的匹配成功结果中包括用户信息，所述用户信息中包括用户年龄信息。
6.如权利要求5所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述验证模块向语音识别模块发送的语音识别请求中，包含用户年龄信息或请求发送注册时的声音口令文本。
7.如权利要求6所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述验证模块向语音识别模块发送的语音识别请求中，若此次是第预设数量次向语音识别模块发送语音识别请求，则该语音识别请求中包括请求发送注册时的声音口令文本。
8.如权利要求6所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，预设声音口令文本为一段易读文字或一段数字或一段新闻类文字或与用户信息对应的注册时的声音口令文本。
9.如权利要求8所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，在向终端发送预设声音口令文本前还根据语音识别请求进行判断，若语音识别请求中有请求发送注册时的声音口令文本则语音识别模块选择的预设声音口令文本为与用户信息对应的注册时的声音口令文本，若语音识别请求中有用户年龄信息，则根据用户年龄信息判断用户年龄，若用户为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字。
10.如权利要求3-9任一项所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，在向终端发送预设声音口令文本后，还开始计时，判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到判断是否在预设时间内接收到终端发送来的语音音频数据那一步。
11.基于人脸识别和声纹识别的交互式认证方法，应用于如权利要求1-10任一项所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，包括以下步骤；
步骤1、用户采用终端向服务器进行用户注册，服务器在数据库中存储用户信息、该用户面部特征参数及该用户声纹特征向量；
步骤2、认证时，终端获取被检测用户的面部视频并发送至服务器；
步骤3、服务器对接收到被检测用户的面部视频进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则得到人脸识别结果并进入步骤5，若匹配失败则进入步骤4；
步骤4、服务器返回终端人脸识别失败信息，终端显示人脸识别失败并提示用户，回到步骤2；
步骤5、服务器生成并向终端发送预设声音口令文本；
步骤6、终端显示声音口令文本，并采集用户输入的语音音频数据上传至服务器；
步骤7、服务器将接收到的语音音频数据后转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，进入步骤8，若匹配成功则进入步骤9；
步骤8、终端显示声音口令输入不正确信息，回到步骤2；
步骤9、服务器提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，进入步骤10，若匹配成功则得到语音识别结果并进入步骤11；
步骤10、终端显示语音识别失败信息，回到步骤2；
步骤11、服务器将人脸识别结果与语音识别结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，判断本次认证是否已发送预设数量的声音口令文本，若是则认为本次用户验证失败，返回终端验证失败信息，进入步骤12，否则重新生成并向终端发送预设声音口令文本，回到步骤6；
步骤12，终端显示验证失败信息，回到步骤2。
12.如权利要求11所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤1包括以下步骤：
步骤101、用户向终端输入用户信息，并通过终端采集人脸视频或多张人脸图像，终端将用户信息及人脸视频或多张人脸图像上传至服务器；
步骤102、服务器从人脸视频中截取多张人脸图像或将接收到的多张图像作为人脸样本，得到该用户面部特征参数，并进行人脸建模，并将其与用户信息关联后存储于数据库中，并随机生成声音口令文本发送给终端；
步骤103、终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器；
步骤104、服务器对语音音频数据进行声纹特征向量提取，将提取的声纹特征向量、语音音频数据及对应的声音口令文本与用户信息关联后存储于数据库中。
13.如权利要求12所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤102中，所述随机生成声音口令文本发送给终端中，随机生成至少一段声音口令文本，并按顺序发送给终端；
步骤103中，所述终端显示声音口令文本，并采集用户的语音音频数据，将所采集的语音音频数据上传给服务器中，终端按顺序显示声音口令文本，当一个声音口令文本采集了三次对应的用户的语音音频数据后，再显示下一个声音口令文本，得到所有声音口令文本对应的各三个语音音频数据后，发送给服务器。
14.如权利要求13所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤104中，服务器接收到所有语音音频数据后，分别对其进行声纹特征向量提取，针对每一个声音口令文本，选择出其中声纹特征向量最明显的一个语音音频数据，将声音口令文本、所选择的语音音频数据及其声纹特征向量与用信息系关联后存储于数据库中。
15.如权利要求14所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤11中，所述重新生成并向终端发送预设声音口令文本中，所重新生成的预设声音口令文本为与用户信息对应的注册时的声音口令文本中的一个。
16.如权利要求11所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤3中，服务器中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。
17.如权利要求11所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤5中，所述预设声音口令文本为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字或与用户信息对应的注册时的声音口令文本。
18.如权利要求17所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤1中，所述用户信息包括用户年龄信息；
步骤3中，所述人脸识别结果中包括用户信息；
步骤5中，所述服务器生成并向终端发送预设声音口令文本时，若人脸识别结果中的用户信息显示为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字。
19.如权利要求11所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤9中，若匹配失败时，还判断是否已生成过预设数量减一个声音口令文本，若是则认为识别失败，返回终端语音识别失败信息，进入步骤10，否则重新生成并向终端发送预设声音口令文本，回到步骤6，该重新生成并向终端发送的预设声音口令文本为随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字，其长度大于上一次生成的预设声音口令文本。
20.如权利要求11所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤9中，服务器中设置有声纹相似度预设值，在服务器将提取的语音音频数据中的声纹特征向量与数据库中所存储的所有用户声纹特征向量进行匹配时，若匹配出的结果中各用户用户声纹特征向量相似度阈值小于声纹相似度预设值时，判定为匹配成功，否则判定为匹配失败。
21.如权利要求11-20任一项所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤5中，在服务器生成并向终端发送预设声音口令文本后，还开始计时；
和/或，步骤9中，在服务器重新生成并向终端发送预设声音口令文本后，还开始计时；
和/或，步骤11中，在服务器重新生成并向终端发送预设声音口令文本后，还开始计时；
步骤5与步骤7之间，还包括以下步骤：
步骤A、服务器判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则进入步骤A，否则进入步骤7；
步骤B、服务器更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到步骤A，所述更换后的预设声音口令文本为重新随机生成的一段易读文字或随机生成的一段数字或随机生成的一段新闻类文字。
22.如权利要求11-20任一项所述的基于人脸识别和声纹识别的交互式认证方法，其特征在于，步骤9中，若匹配失败，返回终端语音识别失败信息后，服务器还进入步骤13；
步骤11中，若认为验证成功，返回终端验证成功信息后，服务器还进入步骤13，若认为本次用户验证失败，返回终端验证失败信息后，服务器还进入步骤13；
步骤13、服务器利用本次认证中接收到的人脸图像对人脸识别结果中的用户信息对应的人脸建模进行优化。
CN201611181543.3A 2016-12-20 2016-12-20 基于人脸识别和声纹识别的交互式认证系统及方法 Pending CN106790054A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611181543.3A CN106790054A (zh) 2016-12-20 2016-12-20 基于人脸识别和声纹识别的交互式认证系统及方法
PCT/CN2017/114928 WO2018113526A1 (zh) 2016-12-20 2017-12-07 基于人脸识别和声纹识别的交互式认证系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611181543.3A CN106790054A (zh) 2016-12-20 2016-12-20 基于人脸识别和声纹识别的交互式认证系统及方法

Publications (1)

Publication Number Publication Date
CN106790054A true CN106790054A (zh) 2017-05-31

Family

ID=58890935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611181543.3A Pending CN106790054A (zh) 2016-12-20 2016-12-20 基于人脸识别和声纹识别的交互式认证系统及方法

Country Status (2)

Country Link
CN (1) CN106790054A (zh)
WO (1) WO2018113526A1 (zh)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878344A (zh) * 2017-04-25 2017-06-20 北京洋浦伟业科技发展有限公司 一种生物特征认证、注册方法及装置
CN107358699A (zh) * 2017-07-17 2017-11-17 深圳市斑点猫信息技术有限公司 一种安全验证方法及系统
CN107481449A (zh) * 2017-08-25 2017-12-15 南京真格邦软件有限公司 一种基于人脸识别和语音识别的vtm机
CN107564541A (zh) * 2017-09-04 2018-01-09 南方医科大学南方医院 一种便携式婴儿啼哭声识别器及其识别方法
CN107832720A (zh) * 2017-11-16 2018-03-23 北京百度网讯科技有限公司 基于人工智能的信息处理方法和装置
CN108074310A (zh) * 2017-12-21 2018-05-25 广东汇泰龙科技有限公司 基于语音识别模块的语音交互方法及智能锁管理系统
CN108154884A (zh) * 2017-12-07 2018-06-12 浙江海洋大学 一种防替考的身份识别系统
CN108171137A (zh) * 2017-12-22 2018-06-15 深圳市泛海三江科技发展有限公司 一种人脸识别方法及系统
WO2018113526A1 (zh) * 2016-12-20 2018-06-28 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法
CN108600627A (zh) * 2018-04-25 2018-09-28 东莞职业技术学院 一种智慧校园视频处理系统
CN108734114A (zh) * 2018-05-02 2018-11-02 浙江工业大学 一种结合面部和声纹的宠物识别方法
CN108965341A (zh) * 2018-09-28 2018-12-07 北京芯盾时代科技有限公司 登录认证的方法、装置及系统
CN109147770A (zh) * 2017-06-16 2019-01-04 阿里巴巴集团控股有限公司 声音识别特征的优化、动态注册方法、客户端和服务器
CN109450850A (zh) * 2018-09-26 2019-03-08 深圳壹账通智能科技有限公司 身份验证方法、装置、计算机设备和存储介质
CN109542216A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 人机交互方法、系统、计算机设备及存储介质
CN109560941A (zh) * 2018-12-12 2019-04-02 深圳市沃特沃德股份有限公司 会议记录方法、装置、智能终端及存储介质
CN109658579A (zh) * 2019-02-28 2019-04-19 中新智擎科技有限公司 一种门禁控制方法、系统、设备及存储介质
CN109767335A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 双录质检方法、装置、计算机设备及存储介质
CN109769099A (zh) * 2019-01-15 2019-05-17 三星电子（中国）研发中心 通话人物异常的检测方法和装置
CN109815806A (zh) * 2018-12-19 2019-05-28 平安科技（深圳）有限公司 人脸识别方法及装置、计算机设备、计算机存储介质
CN109829691A (zh) * 2019-01-16 2019-05-31 北京影谱科技股份有限公司 基于位置和深度学习多重生物特征的c/s打卡方法和装置
CN110210935A (zh) * 2019-05-22 2019-09-06 未来（北京）黑科技有限公司 安全认证方法及装置、存储介质、电子装置
CN110349583A (zh) * 2019-07-15 2019-10-18 高磊 一种基于语音识别的游戏教育方法及系统
CN110472485A (zh) * 2019-07-03 2019-11-19 华为技术有限公司 识别身份的方法和装置
WO2019228091A1 (zh) * 2018-06-01 2019-12-05 杭州海康威视数字技术股份有限公司 考勤管理的方法和考勤管理设备
CN110599325A (zh) * 2019-08-27 2019-12-20 杭州深景数据技术有限公司 一种告知书读取的方法、装置、设备及存储介质
CN110634472A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种语音识别方法、服务器及计算机可读存储介质
CN110647729A (zh) * 2018-06-27 2020-01-03 深圳联友科技有限公司 一种登录验证方法及系统
CN110875905A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 账号管理方法、装置及存储介质
CN110963382A (zh) * 2019-12-31 2020-04-07 界首市迅立达电梯有限公司 一种基于语音助手的电梯选层控制系统及方法
CN111083278A (zh) * 2018-10-21 2020-04-28 内蒙古龙腾睿昊智能有限公司 基于智能手机监测呼吸、步伐及定位人员信息的采集识别
CN111124109A (zh) * 2019-11-25 2020-05-08 北京明略软件系统有限公司 一种交互方式的选择方法、智能终端、设备及存储介质
CN111401218A (zh) * 2020-03-12 2020-07-10 高宽友 一种智慧城市监控方法及系统
CN111417018A (zh) * 2020-04-29 2020-07-14 苏州思必驰信息科技有限公司 用于智能视频播放设备的智能遥控注册和使用方法及装置
CN111882739A (zh) * 2020-07-21 2020-11-03 中国工商银行股份有限公司 门禁验证方法、门禁装置、服务器及系统
CN112016452A (zh) * 2020-08-27 2020-12-01 四川卫宁软件有限公司 一种医疗行为分析方法及其分析系统、计算机终端
CN112214298A (zh) * 2020-09-30 2021-01-12 国网江苏省电力有限公司信息通信分公司 基于声纹识别的动态优先级调度方法及系统
CN112446395A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 网络摄像机、视频监控系统及方法
CN112466057A (zh) * 2020-12-01 2021-03-09 上海旷日网络科技有限公司 基于人脸识别和语音识别的交互式认证取件系统
CN112491844A (zh) * 2020-11-18 2021-03-12 西北大学 一种基于可信执行环境的声纹及面部识别验证系统及方法
CN112819061A (zh) * 2021-01-27 2021-05-18 北京小米移动软件有限公司 口令信息识别方法、装置、设备及存储介质
CN112863513A (zh) * 2021-01-21 2021-05-28 中国南方电网有限责任公司超高压输电公司柳州局 一种通过面部语音识别结合身份验证下达控制指令的方法
CN113160826A (zh) * 2021-03-01 2021-07-23 特斯联科技集团有限公司 一种基于人脸识别的家庭成员通联方法和系统
CN113271587A (zh) * 2021-06-11 2021-08-17 焦作大学 一种用于车辆的物联网可信认证系统
CN113329013A (zh) * 2021-05-28 2021-08-31 南京国网电瑞系统工程有限公司 基于数字证书的电力调度数据网安全加密方法及系统
CN113658357A (zh) * 2021-08-11 2021-11-16 四川长虹电器股份有限公司 基于声音和图像识别的远程控制智能门锁的方法
WO2021257000A1 (en) * 2020-06-19 2021-12-23 National University Of Singapore Cross-modal speaker verification
CN114710328A (zh) * 2022-03-18 2022-07-05 中国建设银行股份有限公司 一种身份识别处理方法和装置
CN115981184A (zh) * 2023-03-20 2023-04-18 太原重工股份有限公司 基于人脸和语音双重认证的远程急停控制系统及方法
CN116416726A (zh) * 2023-04-10 2023-07-11 深圳智慧空间信息技术有限公司 基于多重特征验证的高安全性门禁识别方法和系统
US11914691B2 (en) 2018-01-10 2024-02-27 Huawei Technologies Co., Ltd. Method for recognizing identity in video conference and related device

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751471A (zh) * 2018-07-06 2020-02-04 上海博泰悦臻网络技术服务有限公司 基于声纹识别的车内支付方法与云端服务器
CN108694767A (zh) * 2018-07-13 2018-10-23 北京工业职业技术学院 身份认证装置和智能门禁系统
CN108846676B (zh) * 2018-08-02 2023-07-11 平安科技（深圳）有限公司 生物特征辅助支付方法、装置、计算机设备及存储介质
CN109067883B (zh) * 2018-08-10 2021-06-29 珠海格力电器股份有限公司 信息推送方法及装置
CN109543377A (zh) * 2018-10-17 2019-03-29 深圳壹账通智能科技有限公司 身份验证方法、装置、计算机设备和存储介质
CN111103966A (zh) * 2018-10-25 2020-05-05 安徽黑洞科技有限公司 一种智能展品统筹控制系统
CN109842805B (zh) * 2019-01-04 2022-10-21 平安科技（深圳）有限公司 视频看点的生成方法、装置、计算机设备及存储介质
CN110074519A (zh) * 2019-04-10 2019-08-02 南京启诺信息技术有限公司 一种语言识别手环
CN111803955A (zh) * 2019-04-12 2020-10-23 奇酷互联网络科技（深圳）有限公司 通过可穿戴设备管理账号的方法及系统、存储装置
CN110163630B (zh) * 2019-04-15 2024-04-05 中国平安人寿保险股份有限公司 产品监管方法、装置、计算机设备及存储介质
CN110287363A (zh) * 2019-05-22 2019-09-27 深圳壹账通智能科技有限公司 基于深度学习的资源推送方法、装置、设备及存储介质
CN110309570B (zh) * 2019-06-21 2022-11-04 济南大学 一种具有认知能力的多模态仿真实验容器及方法
CN110427468A (zh) * 2019-07-10 2019-11-08 深圳市一恒科电子科技有限公司 一种基于儿童云服务的学习方法及学习机
CN110363278B (zh) * 2019-07-23 2023-01-17 广东小天才科技有限公司 一种亲子互动方法、机器人、服务器及亲子互动系统
CN110442033A (zh) * 2019-07-30 2019-11-12 恒大智慧科技有限公司 家居设备的权限控制方法、装置、计算机设备及存储介质
CN110807630B (zh) * 2019-09-19 2022-06-17 平安科技（深圳）有限公司 基于人脸识别的支付方法、装置、计算机设备和存储介质
CN111128144A (zh) * 2019-10-16 2020-05-08 国网浙江省电力有限公司金华供电公司 一种语音电网调度系统及方法
CN111063358A (zh) * 2019-12-18 2020-04-24 浙江中辰城市应急服务管理有限公司 一种具有生命体识别功能的早期火灾预警和逃生指示系统
CN111368737A (zh) * 2020-03-04 2020-07-03 开放智能机器（上海）有限公司 一种自动分析员工工作行为的系统及方法
CN111341464A (zh) * 2020-03-25 2020-06-26 北京金和网络股份有限公司 疫情信息采集与分析方法及系统
CN111767805A (zh) * 2020-06-10 2020-10-13 云知声智能科技股份有限公司 多模态数据自动清洗与标注方法与系统
CN114038087B (zh) * 2020-07-20 2024-03-15 阜阳万瑞斯电子锁业有限公司 一种用于电子锁语音识别的开锁系统及方法
CN112000939B (zh) * 2020-08-04 2023-10-27 叶兵 一种基于数字证书认证的律师远程法律服务系统及方法
CN112202912B (zh) * 2020-10-12 2022-08-09 安徽兴安电气设备股份有限公司 一种二次供水远程自动监控系统
CN112185363B (zh) * 2020-10-21 2024-02-13 北京猿力未来科技有限公司 音频处理方法及装置
CN112069484A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于多模态交互式的信息采集方法及系统
CN112235682B (zh) * 2020-11-17 2023-01-20 歌尔科技有限公司 耳机通话保密方法以及通话装置
CN112651610B (zh) * 2020-12-17 2024-02-02 韦福瑞 一种基于声音判断与识别模拟环境适应能力的检查方法和系统
CN114979543B (zh) * 2021-02-24 2024-07-02 中国联合网络通信集团有限公司 一种智能家居控制方法及装置
CN113032758B (zh) * 2021-03-26 2023-06-16 平安银行股份有限公司 视讯问答流程的身份识别方法、装置、设备及存储介质
CN113034110B (zh) * 2021-03-30 2023-12-22 泰康保险集团股份有限公司 基于视频审核的业务处理方法、系统、介质与电子设备
CN113221672A (zh) * 2021-04-22 2021-08-06 国网安徽省电力有限公司 一种用于电力仪表库房的面部识别设备
CN113127827B (zh) * 2021-05-08 2024-03-08 上海日羲科技有限公司 一种基于ai系统的用户指令处理方法
CN113239041A (zh) * 2021-05-13 2021-08-10 大连交通大学 一种计算机大数据处理的采集系统及方法
CN113343211B (zh) * 2021-06-24 2023-04-07 工银科技有限公司 数据处理方法、处理系统、电子设备及存储介质
CN113469012B (zh) * 2021-06-28 2024-05-03 广州云从鼎望科技有限公司 用户刷脸验证的方法、系统、介质及装置
CN114007043B (zh) * 2021-10-27 2023-09-26 北京鼎普科技股份有限公司 基于视频数据指纹特征的视频解码方法、装置及系统
CN113890736B (zh) * 2021-11-22 2023-02-28 国网四川省电力公司成都供电公司 一种基于国密sm9算法的移动终端身份认证方法及系统
CN114168722B (zh) * 2021-11-23 2022-06-14 安徽经邦软件技术有限公司 基于人工智能技术的财务问答机器人
CN114187630A (zh) * 2021-11-29 2022-03-15 华人运通(上海)云计算科技有限公司 一种人脸特征的比对方法及系统
CN114511941A (zh) * 2022-02-16 2022-05-17 中国工商银行股份有限公司 防作弊签到方法、装置、设备、介质和程序产品
CN114580034B (zh) * 2022-03-10 2024-06-18 合肥工业大学 一种基于fpga的ro puf双重身份认证系统及其控制方法
CN114876321A (zh) * 2022-05-23 2022-08-09 江苏德普尔门控科技有限公司 一种智能化自动感应式带家居系统的入户门
CN115189911A (zh) * 2022-05-30 2022-10-14 平安科技（深圳）有限公司 面签文件的生成方法、装置、设备及存储介质
CN115641105B (zh) * 2022-12-01 2023-08-08 中网道科技集团股份有限公司 一种监控社区矫正对象请假外出的数据处理方法
CN116259095A (zh) * 2023-03-31 2023-06-13 南京审计大学 一种基于计算机的识别系统及方法
CN116189680B (zh) * 2023-05-04 2023-09-26 北京水晶石数字科技股份有限公司 一种展演智能设备的语音唤醒方法
CN117273747B (zh) * 2023-09-28 2024-04-19 广州佳新智能科技有限公司 基于人脸图像识别的支付方法、装置、存储介质和设备
CN117376854B (zh) * 2023-10-30 2024-07-09 深圳中网讯通技术有限公司 多媒体短信内容的生成方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708867A (zh) * 2012-05-30 2012-10-03 北京正鹰科技有限责任公司 一种基于声纹和语音的防录音假冒身份识别方法及系统
CN103634118A (zh) * 2013-12-12 2014-03-12 山东神思电子技术股份有限公司 基于证卡和复合生物特征识别的生存认证方法
CN103841108A (zh) * 2014-03-12 2014-06-04 北京天诚盛业科技有限公司 用户生物特征的认证方法和系统
KR20140093459A (ko) * 2013-01-18 2014-07-28 한국전자통신연구원 자동 통역 방법
CN103973441A (zh) * 2013-01-29 2014-08-06 腾讯科技（深圳）有限公司 基于音视频的用户认证方法和装置
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790054A (zh) * 2016-12-20 2017-05-31 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708867A (zh) * 2012-05-30 2012-10-03 北京正鹰科技有限责任公司 一种基于声纹和语音的防录音假冒身份识别方法及系统
KR20140093459A (ko) * 2013-01-18 2014-07-28 한국전자통신연구원 자동 통역 방법
CN103973441A (zh) * 2013-01-29 2014-08-06 腾讯科技（深圳）有限公司 基于音视频的用户认证方法和装置
CN103634118A (zh) * 2013-12-12 2014-03-12 山东神思电子技术股份有限公司 基于证卡和复合生物特征识别的生存认证方法
CN103841108A (zh) * 2014-03-12 2014-06-04 北京天诚盛业科技有限公司 用户生物特征的认证方法和系统
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN105426723A (zh) * 2015-11-20 2016-03-23 北京得意音通技术有限责任公司 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113526A1 (zh) * 2016-12-20 2018-06-28 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法
CN106878344A (zh) * 2017-04-25 2017-06-20 北京洋浦伟业科技发展有限公司 一种生物特征认证、注册方法及装置
CN109147770B (zh) * 2017-06-16 2023-07-28 阿里巴巴集团控股有限公司 声音识别特征的优化、动态注册方法、客户端和服务器
CN109147770A (zh) * 2017-06-16 2019-01-04 阿里巴巴集团控股有限公司 声音识别特征的优化、动态注册方法、客户端和服务器
CN107358699A (zh) * 2017-07-17 2017-11-17 深圳市斑点猫信息技术有限公司 一种安全验证方法及系统
CN107481449A (zh) * 2017-08-25 2017-12-15 南京真格邦软件有限公司 一种基于人脸识别和语音识别的vtm机
CN107564541A (zh) * 2017-09-04 2018-01-09 南方医科大学南方医院 一种便携式婴儿啼哭声识别器及其识别方法
CN107564541B (zh) * 2017-09-04 2018-11-02 南方医科大学南方医院 一种便携式婴儿啼哭声识别器及其识别方法
CN107832720B (zh) * 2017-11-16 2022-07-08 北京百度网讯科技有限公司 基于人工智能的信息处理方法和装置
CN107832720A (zh) * 2017-11-16 2018-03-23 北京百度网讯科技有限公司 基于人工智能的信息处理方法和装置
CN108154884A (zh) * 2017-12-07 2018-06-12 浙江海洋大学 一种防替考的身份识别系统
CN108074310A (zh) * 2017-12-21 2018-05-25 广东汇泰龙科技有限公司 基于语音识别模块的语音交互方法及智能锁管理系统
CN108171137A (zh) * 2017-12-22 2018-06-15 深圳市泛海三江科技发展有限公司 一种人脸识别方法及系统
US11914691B2 (en) 2018-01-10 2024-02-27 Huawei Technologies Co., Ltd. Method for recognizing identity in video conference and related device
CN108600627A (zh) * 2018-04-25 2018-09-28 东莞职业技术学院 一种智慧校园视频处理系统
CN108734114A (zh) * 2018-05-02 2018-11-02 浙江工业大学 一种结合面部和声纹的宠物识别方法
WO2019228091A1 (zh) * 2018-06-01 2019-12-05 杭州海康威视数字技术股份有限公司 考勤管理的方法和考勤管理设备
CN110634472A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种语音识别方法、服务器及计算机可读存储介质
CN110634472B (zh) * 2018-06-21 2024-06-04 中兴通讯股份有限公司 一种语音识别方法、服务器及计算机可读存储介质
CN110647729A (zh) * 2018-06-27 2020-01-03 深圳联友科技有限公司 一种登录验证方法及系统
CN110875905A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 账号管理方法、装置及存储介质
CN109450850A (zh) * 2018-09-26 2019-03-08 深圳壹账通智能科技有限公司 身份验证方法、装置、计算机设备和存储介质
CN108965341A (zh) * 2018-09-28 2018-12-07 北京芯盾时代科技有限公司 登录认证的方法、装置及系统
CN109542216A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 人机交互方法、系统、计算机设备及存储介质
US11842574B2 (en) 2018-10-11 2023-12-12 Ping An Technology (Shenzhen) Co., Ltd. Man-machine interaction method and system, computer device, and storage medium
CN111083278A (zh) * 2018-10-21 2020-04-28 内蒙古龙腾睿昊智能有限公司 基于智能手机监测呼吸、步伐及定位人员信息的采集识别
CN109560941A (zh) * 2018-12-12 2019-04-02 深圳市沃特沃德股份有限公司 会议记录方法、装置、智能终端及存储介质
CN109767335A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 双录质检方法、装置、计算机设备及存储介质
CN109815806B (zh) * 2018-12-19 2024-06-28 平安科技（深圳）有限公司 人脸识别方法及装置、计算机设备、计算机存储介质
CN109815806A (zh) * 2018-12-19 2019-05-28 平安科技（深圳）有限公司 人脸识别方法及装置、计算机设备、计算机存储介质
US11178275B2 (en) 2019-01-15 2021-11-16 Samsung Electronics Co., Ltd. Method and apparatus for detecting abnormality of caller
CN109769099A (zh) * 2019-01-15 2019-05-17 三星电子（中国）研发中心 通话人物异常的检测方法和装置
CN109829691A (zh) * 2019-01-16 2019-05-31 北京影谱科技股份有限公司 基于位置和深度学习多重生物特征的c/s打卡方法和装置
CN113947376A (zh) * 2019-01-16 2022-01-18 北京影谱科技股份有限公司 基于多重生物特征的c/s打卡方法和装置
CN109829691B (zh) * 2019-01-16 2021-11-23 北京影谱科技股份有限公司 基于位置和深度学习多重生物特征的c/s打卡方法和装置
CN109658579A (zh) * 2019-02-28 2019-04-19 中新智擎科技有限公司 一种门禁控制方法、系统、设备及存储介质
CN110210935B (zh) * 2019-05-22 2022-05-17 未来（北京）黑科技有限公司 安全认证方法及装置、存储介质、电子装置
CN110210935A (zh) * 2019-05-22 2019-09-06 未来（北京）黑科技有限公司 安全认证方法及装置、存储介质、电子装置
CN110472485A (zh) * 2019-07-03 2019-11-19 华为技术有限公司 识别身份的方法和装置
CN110349583A (zh) * 2019-07-15 2019-10-18 高磊 一种基于语音识别的游戏教育方法及系统
CN110599325A (zh) * 2019-08-27 2019-12-20 杭州深景数据技术有限公司 一种告知书读取的方法、装置、设备及存储介质
CN112446395B (zh) * 2019-08-29 2023-07-25 杭州海康威视数字技术股份有限公司 网络摄像机、视频监控系统及方法
US11750776B2 (en) 2019-08-29 2023-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Network camera, video monitoring system and method
CN112446395A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 网络摄像机、视频监控系统及方法
CN111124109A (zh) * 2019-11-25 2020-05-08 北京明略软件系统有限公司 一种交互方式的选择方法、智能终端、设备及存储介质
CN110963382A (zh) * 2019-12-31 2020-04-07 界首市迅立达电梯有限公司 一种基于语音助手的电梯选层控制系统及方法
CN110963382B (zh) * 2019-12-31 2022-03-15 界首市迅立达电梯有限公司 一种基于语音助手的电梯选层控制系统及方法
CN111401218B (zh) * 2020-03-12 2023-05-26 上海虹点智能科技有限公司 一种智慧城市监控方法及系统
CN111401218A (zh) * 2020-03-12 2020-07-10 高宽友 一种智慧城市监控方法及系统
CN111417018A (zh) * 2020-04-29 2020-07-14 苏州思必驰信息科技有限公司 用于智能视频播放设备的智能遥控注册和使用方法及装置
WO2021257000A1 (en) * 2020-06-19 2021-12-23 National University Of Singapore Cross-modal speaker verification
CN111882739A (zh) * 2020-07-21 2020-11-03 中国工商银行股份有限公司 门禁验证方法、门禁装置、服务器及系统
CN112016452A (zh) * 2020-08-27 2020-12-01 四川卫宁软件有限公司 一种医疗行为分析方法及其分析系统、计算机终端
CN112214298A (zh) * 2020-09-30 2021-01-12 国网江苏省电力有限公司信息通信分公司 基于声纹识别的动态优先级调度方法及系统
CN112214298B (zh) * 2020-09-30 2023-09-22 国网江苏省电力有限公司信息通信分公司 基于声纹识别的动态优先级调度方法及系统
CN112491844A (zh) * 2020-11-18 2021-03-12 西北大学 一种基于可信执行环境的声纹及面部识别验证系统及方法
CN112466057B (zh) * 2020-12-01 2022-07-29 上海旷日网络科技有限公司 基于人脸识别和语音识别的交互式认证取件系统
CN112466057A (zh) * 2020-12-01 2021-03-09 上海旷日网络科技有限公司 基于人脸识别和语音识别的交互式认证取件系统
CN112863513A (zh) * 2021-01-21 2021-05-28 中国南方电网有限责任公司超高压输电公司柳州局 一种通过面部语音识别结合身份验证下达控制指令的方法
CN112819061B (zh) * 2021-01-27 2024-05-10 北京小米移动软件有限公司 口令信息识别方法、装置、设备及存储介质
CN112819061A (zh) * 2021-01-27 2021-05-18 北京小米移动软件有限公司 口令信息识别方法、装置、设备及存储介质
CN113160826B (zh) * 2021-03-01 2022-09-02 特斯联科技集团有限公司 一种基于人脸识别的家庭成员通联方法和系统
CN113160826A (zh) * 2021-03-01 2021-07-23 特斯联科技集团有限公司 一种基于人脸识别的家庭成员通联方法和系统
CN113329013A (zh) * 2021-05-28 2021-08-31 南京国网电瑞系统工程有限公司 基于数字证书的电力调度数据网安全加密方法及系统
CN113271587B (zh) * 2021-06-11 2023-12-26 北京白龙马云行科技有限公司 一种用于车辆的物联网可信认证系统
CN113271587A (zh) * 2021-06-11 2021-08-17 焦作大学 一种用于车辆的物联网可信认证系统
CN113658357A (zh) * 2021-08-11 2021-11-16 四川长虹电器股份有限公司 基于声音和图像识别的远程控制智能门锁的方法
CN114710328A (zh) * 2022-03-18 2022-07-05 中国建设银行股份有限公司 一种身份识别处理方法和装置
CN115981184A (zh) * 2023-03-20 2023-04-18 太原重工股份有限公司 基于人脸和语音双重认证的远程急停控制系统及方法
CN116416726A (zh) * 2023-04-10 2023-07-11 深圳智慧空间信息技术有限公司 基于多重特征验证的高安全性门禁识别方法和系统
CN116416726B (zh) * 2023-04-10 2024-06-25 深圳智慧空间信息技术有限公司 基于多重特征验证的高安全性门禁识别方法和系统

Also Published As

Publication number Publication date
WO2018113526A1 (zh) 2018-06-28

Similar Documents

Publication Publication Date Title
CN106790054A (zh) 基于人脸识别和声纹识别的交互式认证系统及方法
CN104834849B (zh) 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN105868695B (zh) 一种人脸识别方法及系统
CN101467204B (zh) 用于生物计量声纹认证的方法和系统
US8812319B2 (en) Dynamic pass phrase security system (DPSS)
CN106373575B (zh) 一种用户声纹模型构建方法、装置及系统
WO2017197953A1 (zh) 基于声纹的身份识别方法及装置
CN109473108A (zh) 基于声纹识别的身份验证方法、装置、设备及存储介质
WO2016123900A1 (zh) 基于动态密码语音的具有自学习功能的身份认证系统及方法
CN108429619A (zh) 身份认证方法和系统
CN110169014A (zh) 用于认证的装置、方法和计算机程序产品
WO2016015687A1 (zh) 声纹验证方法及装置
CN101697514A (zh) 一种身份验证的方法及系统
CN107886958A (zh) 一种基于声纹的快递柜取件方法及装置
CN106529379A (zh) 一种活体识别方法及设备
JP2007004796A (ja) 各セキュリティチャレンジを特徴付ける１つ以上の誤り率を使用する遂次認証のための方法、システム、およびプログラム
CN102413100A (zh) 声纹密码图片提示的声纹认证系统及其实现方法
CN108985776A (zh) 基于多重信息验证的信用卡安全监测方法
CN104835497A (zh) 一种基于动态口令的声纹打卡系统及方法
CN109146492A (zh) 一种车端移动支付的装置和方法
CN108074577A (zh) 身份认证方法及身份认证系统
CN109920435A (zh) 一种声纹识别方法及声纹识别装置
CN106911630A (zh) 终端及身份认证方法、终端和认证中心的认证方法及系统
CN113886792A (zh) 一种声纹识别和人脸识别相结合的印控仪应用方法和系统
CN110866234A (zh) 一种基于多生物特征的身份验证系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531