CN104834900A - 一种联合声像信号进行活体检测的方法和系统 - Google Patents

一种联合声像信号进行活体检测的方法和系统 Download PDF

Info

Publication number
CN104834900A
CN104834900A CN201510178898.6A CN201510178898A CN104834900A CN 104834900 A CN104834900 A CN 104834900A CN 201510178898 A CN201510178898 A CN 201510178898A CN 104834900 A CN104834900 A CN 104834900A
Authority
CN
China
Prior art keywords
lip
frame
image
identifying code
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510178898.6A
Other languages
English (en)
Other versions
CN104834900B (zh
Inventor
李继伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
CHANGZHOU FEIXUN VIDEO INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANGZHOU FEIXUN VIDEO INFORMATION TECHNOLOGY Co Ltd filed Critical CHANGZHOU FEIXUN VIDEO INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510178898.6A priority Critical patent/CN104834900B/zh
Publication of CN104834900A publication Critical patent/CN104834900A/zh
Application granted granted Critical
Publication of CN104834900B publication Critical patent/CN104834900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种联合声像信号进行活体检测的方法，包括步骤：S1、为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；S2、收集用户阅读验证码时的音频信号和唇形影像；S3、通过上下文模型从唇形影像中检出唇语，比较该唇语与验证码是否一致，如果一致则通过语音识别从音频信号中获得用户阅读验证码时的时序信息；S4、基于用户阅读验证码时的时序信息，对唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。本发明还提供一种活体检测系统。本发明基本上避免因用户视频被窃取所带来的认证风险，提供更为自然友好的交互方式。

Description

一种联合声像信号进行活体检测的方法和系统
技术领域
本发明属于身份认证技术领域，具体涉及一种联合声像信号进行活体检测的方法和系统。
背景技术
随着电子商务的发展，互联网交易的安全性成为了被日益关注的问题。特别是虚拟银行，虚拟证券等一系列金融平台的陆续推出，对互联网用户的身份认证，提出了更高的要求。
传统的身份认证技术包括“指纹识别”，“声纹识别”，“人脸识别”等等，这些技术能够精确地辨别出用户的静态生物特征；但是一旦用户的指纹，声纹，脸部图像等信息被窃取，在虚拟的交易平台上，这些技术将无法甄别出是被窃取的用户信息。
而活体检测，为传统的身份认证技术，提供了有利的补充。现有的活体检测技术包括“验证码输入”和“表情识别”。具体地：
在基于“验证码输入”的活体检测系统中，系统随机分发一幅验证码(如字符串)图像，用户在辨认图像中的验证码之后，从键盘输入一串和该验证码一致的字符文本，然后提交给系统，进行活体验证。这项技术在其面世初期，因其简单有效，被广泛使用，但是随着“光学字符识别(OCR)”的日益成熟，该技术已被逐渐破解。
在基于“表情识别”的活体检测系统中，系统随机分发一个表情，用户需要完成一个相同的表情，通过网络摄像头，然后提交给系统，系统自动辨别用户的脸部表情，进行活体验证。这项技术和人脸识别相结合，通过交互性的视屏认证，提供了更为安全的身份甄别。但是，本发明的发明人经过研究发现，具有显著区分性的表情(即能被系统自动区分的表情)，并且用户容易完成的表情数目是有限的，通常这些表情也是经常出现在用户的日常生活之中的，因此一旦用户的一段视屏被窃取，这项技术被破解的风险将大为提高；此外，如果使用“表情串识别”，减少因视频被窃取所带来的风险，对用户而言，连续输入多个表情也是不自然的，因而这种方式明显降低了用户界面的友好性。
发明内容
针对现有技术中“表情识别”技术存在的因用户视频被窃取所带来的认证风险和连续输入多个表情会降低用户界面友好性的技术问题，本发明提供一种联合声像信号进行活体检测的方法，为当前的互联网交易提供了一个安全性能高且用户界面友好的身份认证技术。
为了实现上述目的，本发明采用如下技术方案：
一种联合声像信号进行活体检测的方法，该方法包括以下步骤：
S1、为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
S2、收集用户阅读验证码时的音频信号和唇形影像；
S3、通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致，如果一致，则通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
S4、基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
本发明提供的联合声像信号进行活体检测的方法，只需用户读出由活体检测系统随机分发的验证码(如字符串)，然后借助于语音识别得到的用户阅读验证码时的阅读时序信息，准确识别出用户阅读验证码时的唇语，通过比较唇语与验证码的一致性，进行活体验证。和现有技术“表情识别”相比，在本发明提供的活体检测方法中，用户阅读的字符串，具有“表情”无法达到的多样性，基本上避免了因用户视频被窃取所带来的认证风险；此外，和“表情识别”相比，阅读字符串，对用户而言，提供了更为自然和友好的交互方式。
进一步，所述步骤S2中收集用户阅读验证码时的唇形影像包括如下步骤：
S21、获取用户在阅读验证码时的视频信号；
S22、从每一帧视频信号中检测出用户的脸部区域，从检测出的脸部区域中使用SDM算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。
进一步，所述步骤S3中通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致包括如下步骤：
S311、从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
S312、计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征；
S313、运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；
S314、判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致。
进一步，所述步骤S3中通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息包括如下步骤：
S321、从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；
S322、运用连续隐马尔科夫时间序列模型，逐帧解析语音信号的静态特征及动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别；
S323、判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为步骤S4中唇语验证的辅助信息并执行步骤S324；
S324、将步骤S322中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。
进一步，所述步骤S4具体包括如下步骤：
S41、基于语音识别获得的时序信息，根据每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段；
S42、就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
S43、计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征；
S44、运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行步骤S45；
S45、联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测。
本发明还提供一种联合声像信号进行活体检测的系统，该系统包括:
验证码显示模块，用于为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
音频收集模块，用于收集用户阅读验证码时的音频信号；
唇形收集模块，用于收集用户阅读验证码时的唇形影像；
一级唇语验证模块，用于通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致；如果一致，则执行语音识别模块；
语音识别模块，用于通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
二级唇语验证模块，用于基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
本发明提供的联合声像信号进行活体检测的系统，只需用户读出由活体检测系统随机分发的验证码(如字符串)，然后借助于语音识别得到的用户阅读验证码时的阅读时序信息，准确识别出用户阅读验证码时的唇语，通过比较唇语与验证码的一致性，进行活体验证。和现有技术“表情识别”相比，在本发明提供的活体检测系统中，用户阅读的字符串，具有“表情”无法达到的多样性，基本上避免了因用户视频被窃取所带来的认证风险；此外，和“表情识别”相比，阅读字符串，对用户而言，提供了更为自然和友好的交互方式。
进一步，所述唇形收集模块包括：
视频信号获取单元，用于获取用户在阅读验证码时的视频信号；
唇形影像获得单元，用于从每一帧视频信号中检测出用户的脸部区域，从检测出的脸部区域中使用SDM算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。
进一步，所述一级唇语验证模块包括：
第一唇部关键点处理单元，用于从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
第一唇部关键点计算单元，用于计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征；
唇形影像唇语获得单元，用于运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；
唇语判断单元，用于判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致。
进一步，所述语音识别模块包括：
语音特征提取单元，用于从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；
语音识别获得单元，用于运用连续隐马尔科夫时间序列模型，逐帧解析语音信号的静态特征及动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别；
语音识别判断单元，用于判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为所述二级唇语验证模块中唇语验证的辅助信息并执行时序信息获得单元；
时序信息获得单元，用于将所述语音识别获得单元中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。
进一步，所述二级唇语验证模块包括：
唇形影像片段获得单元，用于基于语音识别获得的时序信息，根据每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段；
第二唇部关键点处理单元，用于就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
第二唇部关键点计算单元，用于计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征；
第一相似度计算单元，用于运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行第二相似度计算单元；
第二相似度计算单元，用于联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测。
附图说明
图1是本发明提供的联合声像信号进行活体检测的方法流程示意图。
图2是本发明提供的运用SDM算法检测出的唇部关键点示意图。
图3是本发明提供的单字(语音)“隐马尔科夫”模型的拓扑结构示意图。
图4是本发明提供的字符串(语音)“隐马尔科夫”模型的拓扑结构示意图。
图5是本发明提供的用户在t1～t24时间段阅读验证码“4203”的语音信号及各帧语音解析结果示意图。
图6是本发明提供的单字(唇语)级别的“独立词隐马尔科夫”模型的拓扑结构示意图。
图7是本发明提供的背景(唇语)“隐马尔科夫”模型的拓扑结构示意图。
图8是本发明提供的双字(唇语)级别的“独立词隐马尔科夫”模型的拓扑结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1所示，一种联合声像信号进行活体检测的方法，该方法包括以下步骤：
S1、为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
S2、收集用户阅读验证码时的音频信号和唇形影像；
S3、通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致，如果一致，则通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
S4、基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
本发明提供的联合声像信号进行活体检测的方法，只需用户读出由活体检测系统随机分发的验证码(如字符串)，然后借助于语音识别得到的用户阅读验证码时的阅读时序信息，准确识别出用户阅读验证码时的唇语，通过比较唇语与验证码的一致性，进行活体验证。和现有技术“表情识别”相比，在本发明提供的活体检测方法中，用户阅读的字符串，具有“表情”无法达到的多样性，基本上避免了因用户视频被窃取所带来的认证风险；此外，和“表情识别”相比，阅读字符串，对用户而言，提供了更为自然和友好的交互方式。
作为具体实施例，所述步骤S1中具体包括：为在互联网交易中(如网上支付)的用户，随机显示一幅验证码图像，所述验证码图像具体可以是由任意4个数字随机组合而成，如为“4203”，并提示用户阅读该验证码。
作为具体实施例，所述步骤S2中收集用户阅读验证码时的音频信号，具体可以通过麦克风进行获取后收集。
作为具体实施例，所述步骤S2中收集用户阅读验证码时的唇形影像包括如下步骤：
S21、获取用户在阅读验证码时的视频信号，具体可以通过网络摄像头来进行获取；
S22、从每一帧视频信号中，使用基于维奥拉-琼斯人脸检测框架，检测出用户的脸部区域，从每一帧视频信号检测出的脸部区域中，使用SDM(Supervised Descent Method)算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。其中，所述SDM算法为本领域技术人员公知的技术手段，在此不再赘述。
作为具体实施例，所述步骤S3中通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致包括如下步骤：
S311、从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；具体地，请参考图2所示，图中的圆点即为使用SDM算法检测出的唇部关键点，其所述SDM算法为本领域技术人员的公知技术手段，在此不再赘述。其中，对唇部关键点进行旋转校正具体包括：以水平方向的两个唇角关键点为基准做旋转变换，以图2为例，取最左边及最右边两个关键点之间的连线，进行旋转，直到该连线的方向为水平方向，而唇部中的其他关键点，随之也进行相同角度的旋转；对唇部关键点进行尺度归一化具体包括：以用户的眼间距做尺度归一化，取两个唇角关键点间的中心点为唇部坐标的中心，以用户的眼间距和标准眼间距间的比值为缩放基准，将唇部关键点与唇部坐标中心之间的相对位移，进行尺度缩放。
S312、计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征。
S313、运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；具体地，如前所述，“连续隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述该步骤所采用的模型拓扑结构，不再赘述该模型内在的数学表达；该步骤所采用的“连续隐马尔科夫”时间序列模型，为两级结构：第一级是字符级别的“隐马尔科夫”时间序列模型，每个字符的标准唇形由一个包含五个唇形状态的一阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化只和前一个唇形状态相关，如图3所示，其中S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；第二级是字符串级别的“隐马尔科夫”时间序列模型，字符串的标准唇形由任意串联字符级别的模型所构成，如图4所示，其中①～⑨表示0～9的单字模型。
S314、判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致，那么用户提供的视频影像将通过“第一级的唇语活体验证”；反之，该用户提供的视频影像中存在与预期不符的虚假唇形，无法通过活体验证。
作为具体实施例，所述步骤S3中通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息包括如下步骤：
S321、从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；其中，所述语音信号的MFCC特征为本领域技术人员公知的技术手段，在此不再赘述。
S322、运用“连续隐马尔科夫”时间序列模型，逐帧解析语音，根据每帧语音的静态特征以及相对于前一帧的动态变化即动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别。请参考图5所示，显示了用户在t1～t24这个时间段阅读验证码“4203”的语音信号，以及各帧语音的解析结果；例如，t1～t7这个时间段被解析为字符4，对应的时间状态序列为“41414243444445”。
其中，所述“连续隐马尔科夫”时间序列模型为本领域技术人员公知的技术手段，在此只描述步骤S322所采用的模型拓扑结构，不再赘述该模型内在的数学表达。
和步骤S313所采用的“连续隐马尔科夫”时间序列模型类似，步骤S322所采用的“连续隐马尔科夫”时间序列模型，为两级结构：第一级是字符级别的“隐马尔科夫”时间序列模型，每个字符的标准语音由一个包含五个语音状态的一阶时间序列模型表示，每一个语音状态的变化只和前一个语音状态相关，如图3所示，其中S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；第二级是字符串级别的“隐马尔科夫”时间序列模型，字符串的标准语音由任意串联字符“隐马尔科夫”级别的模型所构成，如图4所示，其中①～⑨表示0～9的单字模型。
S323、判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为步骤S4中唇语验证的辅助信息并执行步骤S324。具体地，判断从“隐马尔科夫”模型获得的置信度最高的字符串，如果该字符串和验证码一致，那么用户音频信号的语音识别将作为步骤S4中唇语验证的辅助信息，用作提供用户阅读验证码时的时序信息，并继续执行步骤S324；反之，该用户提供的音频信号存在与预期不符的虚假语音，则无法通过活体验证。
S324、将步骤S322中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。具体地，在步骤S322中，当运用连续隐马尔科夫时间序列模型对语音信号进行逐帧解析时，获得了每帧语音所对应的标准字符和在标准字符中所处的时间状态，并串联了每帧的解析结果；针对在串联每帧组成的时间状态序列中，检测每个字符起始状态的起始语音帧，以及终止状态的终止语音帧，即可获得用户在阅读该字符时的起止时间信息，如图5所示，用户在阅读验证码“4203”时，字符4的起止时间为t1/t7，字符2的起止时间为t9/t13，字符0的起止时间为t14/t18，字符4的起止时间为t19/t24。
作为具体实施例，所述步骤S4具体包括如下步骤：
S41、基于语音识别获得的时序信息，根据从语音识别获得的每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段。
S42、就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；具体地，采用和步骤S311相同的方法，在每帧唇形影像中，检测出唇部轮廓以及唇部上的关键点，并对唇部关键点进行旋转校正和尺度归一化；其中，对唇部关键点进行旋转校正具体包括：以水平方向的两个唇角关键点为基准做旋转变换，以图2为例，取最左边及最右边两个关键点之间的连线，进行旋转，直到该连线的方向为水平方向，而唇部中的其他关键点，随之也进行相同角度的旋转；对唇部关键点进行尺度归一化具体包括：以用户的眼间距做尺度归一化，取两个唇角关键点间的中心点为唇部坐标的中心，以用户的眼间距和标准眼间距间的比值为缩放基准，将唇部关键点与唇部坐标中心之间的相对位移，进行尺度缩放。
S43、计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征。
S44、运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行步骤S45；具体地，所述“独立词隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述本步骤所采用的模型拓扑结构，不再赘述该模型内在的数学表达。本步骤所采用的“独立词隐马尔科夫”时间序列模型，包含前景模型和背景模型：前景模型是单个字符的“隐马尔科夫”时间序列模型，每个字符的标准唇形由一个包含五个唇形状态的一阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化和前两个唇形状态相关，如图6所示，S1～S5为单字模型的五个状态，S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；背景模型是“非字符”的“隐马尔科夫”时间序列模型，代表了所有非字符的唇形影像，如图7所示，该模型是综合所有单字符的阅读数据作为训练数据，所获得的背景模型，所述背景“隐马尔科夫”模型只包含一个自循环的状态，其高斯混合度为32。
对于每个分割字符的唇形影像片段，通过比较其单字“隐马尔科夫”和背景“隐马尔科夫”的模型匹配度，获得各帧唇形影像片段与该片段期望字符标准唇形间的相似度，记为“唇形片段相似度一”，如公式(1)：
进一步，通过公式(2)，综合各个唇形影像片段的相似度，得到在单字级别的“唇形分离相似度”，记为“唇形分离相似度一”：
如果“唇形分离相似度一”大于指定的第一阈值例如60,该用户提供的视频影像，则通过单字级别的唇形片段验证；如果“唇形分离相似度一”小于指定的第一阈值例如60,则该用户提供的视频影像中存在与预期不符的虚假唇形，无法通过活体验证。
S45、联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测；具体地，所述“独立词隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述本步骤所采用的模型拓扑结构，不再赘述该模型内在的数学表达。本步骤所采用的“独立词隐马尔科夫”时间序列模型，包含前景模型和背景模型：前景模型是双字符的“隐马尔科夫”时间序列模型，每个双字符的标准唇形由一个包含八个语音状态的二阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化只和前一个唇形状态相关，如图8所示，S1～S8为双字模型的8个状态，S1为起始状态，S8为终止状态；背景模型是“非双字符”的“隐马尔科夫”时间序列模型，代表了所有“非双字符”的唇形影像，它和“非字符”的背景“隐马尔科夫”具有相同的拓扑结构，如图7所示，该模型是综合所有双字符的阅读数据作为训练数据，所获得的背景模型，所述背景“隐马尔科夫”模型只包含一个自循环的状态，其高斯混合度为32。
和计算单字级别的“分离唇形相似度”类似，对于每个相邻双字符的唇形影像片段，通过比较其双字“隐马尔科夫”和背景“隐马尔科夫”的模型匹配度，通过公式(3),获得各帧唇形影像片段与该片段所期望双字符标准唇形间的相似度，记为“唇形片段相似度二”：
进一步，通过公式(4)，综合各个唇形影像片段的相似度，得到在双字级别的“分离唇形相似度”，记为“唇形分离相似度二”：
如果“唇形分离相似度二”大于指定的第二阈值例如60,该用户提供的视频影像，则通过双字级别的唇形片段验证；如果该“唇形分离相似度二”小于指定的第二阈值例如60,该用户提供的视频影像中则存在与预期不符的虚假唇形，无法通过活体验证。
本发明还提供一种联合声像信号进行活体检测的系统，该系统包括:
验证码显示模块，用于为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
音频收集模块，用于收集用户阅读验证码时的音频信号；
唇形收集模块，用于收集用户阅读验证码时的唇形影像；
一级唇语验证模块，用于通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致；如果一致，则执行语音识别模块；
语音识别模块，用于通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
二级唇语验证模块，用于基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
本发明提供的联合声像信号进行活体检测的系统，只需用户读出由活体检测系统随机分发的验证码(如字符串)，然后借助于语音识别得到的用户阅读验证码时的阅读时序信息，准确识别出用户阅读验证码时的唇语，通过比较唇语与验证码的一致性，进行活体验证。和现有技术“表情识别”相比，在本发明提供的活体检测系统中，用户阅读的字符串，具有“表情”无法达到的多样性，基本上避免了因用户视频被窃取所带来的认证风险；此外，和“表情识别”相比，阅读字符串，对用户而言，提供了更为自然和友好的交互方式。
作为具体实施例，所述验证码显示模块具体用于：为在互联网交易中(如网上支付)的用户，随机显示一幅验证码图像，所述验证码图像具体可以是由任意4个数字随机组合而成，如为“4203”，并提示用户阅读该验证码。
作为具体实施例，所述音频收集模块用于收集用户阅读验证码时的音频信号，具体可以通过麦克风进行获取后收集。
作为具体实施例，所述唇形收集模块包括：
视频信号获取单元，用于获取用户在阅读验证码时的视频信号，具体可以通过网络摄像头来进行获取；
唇形影像获得单元，用于从每一帧视频信号中，使用基于维奥拉-琼斯人脸检测框架，检测出用户的脸部区域，从每一帧视频信号检测出的脸部区域中，使用SDM(Supervised Descent Method)算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。其中，所述SDM算法为本领域技术人员公知的技术手段，在此不再赘述。
作为具体实施例，所述一级唇语验证模块包括：
第一唇部关键点处理单元，用于从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；具体地，请参考图2所示，图中的圆点即为使用SDM算法检测出的唇部关键点，其所述SDM算法为本领域技术人员的公知技术手段，在此不再赘述。其中，对唇部关键点进行旋转校正具体包括：以水平方向的两个唇角关键点为基准做旋转变换，以图2为例，取最左边及最右边两个关键点之间的连线，进行旋转，直到该连线的方向为水平方向，而唇部中的其他关键点，随之也进行相同角度的旋转；对唇部关键点进行尺度归一化具体包括：以用户的眼间距做尺度归一化，取两个唇角关键点间的中心点为唇部坐标的中心，以用户的眼间距和标准眼间距间的比值为缩放基准，将唇部关键点与唇部坐标中心之间的相对位移，进行尺度缩放。
第一唇部关键点计算单元，用于计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征。
唇形影像唇语获得单元，用于运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；具体地，如前所述，“连续隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述该单元所采用的模型拓扑结构，不再赘述该模型内在的数学表达；该单元所采用的“连续隐马尔科夫”时间序列模型，为两级结构：第一级是字符级别的“隐马尔科夫”时间序列模型，每个字符的标准唇形由一个包含五个唇形状态的一阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化只和前一个唇形状态相关，如图3所示，其中S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；第二级是字符串级别的“隐马尔科夫”时间序列模型，字符串的标准唇形由任意串联字符级别的模型所构成，如图4所示，其中①～⑨表示0～9的单字模型。
唇语判断单元，用于判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致，那么用户提供的视频影像将通过“第一级的唇语活体验证”；反之，该用户提供的视频影像中存在与预期不符的虚假唇形，无法通过活体验证。
作为具体实施例，所述语音识别模块包括：
语音特征提取单元，用于从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；其中，所述语音信号的MFCC特征为本领域技术人员公知的技术手段，在此不再赘述。
语音识别获得单元，用于运用“连续隐马尔科夫”时间序列模型，逐帧解析语音，根据每帧语音的静态特征以及相对于前一帧的动态变化即动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别。请参考图5所示，显示了用户在t1～t24这个时间段阅读验证码“4203”的语音信号，以及各帧语音的解析结果；例如，t1～t7这个时间段被解析为字符4，对应的时间状态序列为“41414243444445”。
其中，所述“连续隐马尔科夫”时间序列模型为本领域技术人员公知的技术手段，在此只描述语音识别获得单元所采用的模型拓扑结构，不再赘述该模型内在的数学表达。
和所述唇形影像唇语获得单元所采用的“连续隐马尔科夫”时间序列模型类似，语音识别获得单元所采用的“连续隐马尔科夫”时间序列模型，为两级结构：第一级是字符级别的“隐马尔科夫”时间序列模型，每个字符的标准语音由一个包含五个语音状态的一阶时间序列模型表示，每一个语音状态的变化只和前一个语音状态相关，如图3所示，其中S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；第二级是字符串级别的“隐马尔科夫”时间序列模型，字符串的标准语音由任意串联字符“隐马尔科夫”级别的模型所构成，如图4所示，其中①～⑨表示0～9的单字模型。
语音识别判断单元，用于判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为所述二级唇语验证模块中唇语验证的辅助信息并执行时序信息获得单元。具体地，判断从“隐马尔科夫”模型获得的置信度最高的字符串，如果该字符串和验证码一致，那么用户音频信号的语音识别将作为所述二级唇语验证模块中唇语验证的辅助信息，用作提供用户阅读验证码时的时序信息，并继续执行后续的时序信息获得单元；反之，该用户提供的音频信号存在与预期不符的虚假语音，则无法通过活体验证。
时序信息获得单元，用于将所述语音识别获得单元中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。具体地，在所述语音识别获得单元中，当运用连续隐马尔科夫时间序列模型对语音信号进行逐帧解析时，获得了每帧语音所对应的标准字符和在标准字符中所处的时间状态，并串联了每帧的解析结果；针对在串联每帧组成的时间状态序列中，检测每个字符起始状态的起始语音帧，以及终止状态的终止语音帧，即可获得用户在阅读该字符时的起止时间信息，如图5所示，用户在阅读验证码“4203”时，字符4的起止时间为t1/t7，字符2的起止时间为t9/t13，字符0的起止时间为t14/t18，字符4的起止时间为t19/t24。
作为具体实施例，所述二级唇语验证模块包括：
唇形影像片段获得单元，用于基于语音识别获得的时序信息，根据每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段。
第二唇部关键点处理单元，用于就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；具体地，采用和所述第一唇部关键点处理单元相同的方法，在每帧唇形影像片段中，检测出唇部轮廓以及唇部上的关键点，并对唇部关键点进行旋转校正和尺度归一化；其中，对唇部关键点进行旋转校正具体包括：以水平方向的两个唇角关键点为基准做旋转变换，以图2为例，取最左边及最右边两个关键点之间的连线，进行旋转，直到该连线的方向为水平方向，而唇部中的其他关键点，随之也进行相同角度的旋转；对唇部关键点进行尺度归一化具体包括：以用户的眼间距做尺度归一化，取两个唇角关键点间的中心点为唇部坐标的中心，以用户的眼间距和标准眼间距间的比值为缩放基准，将唇部关键点与唇部坐标中心之间的相对位移，进行尺度缩放。
第二唇部关键点计算单元，用于计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征。
第一相似度计算单元，用于运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行第二相似度计算单元；具体地，所述“独立词隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述本单元所采用的模型拓扑结构，不再赘述该模型内在的数学表达。本单元所采用的“独立词隐马尔科夫”时间序列模型，包含前景模型和背景模型：前景模型是单个字符的“隐马尔科夫”时间序列模型，每个字符的标准唇形由一个包含五个唇形状态的一阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化和前两个唇形状态相关，如图6所示，S1～S5为单字模型的五个状态，S1为起始状态，S5为终止状态，每个状态的高斯混合度为4；背景模型是“非字符”的“隐马尔科夫”时间序列模型，代表了所有非字符的唇形影像，如图7所示，该模型是综合所有单字符的阅读数据作为训练数据，所获得的背景模型，所述背景“隐马尔科夫”模型只包含一个自循环的状态，其高斯混合度为32。
对于每个分割字符的唇形影像片段，通过比较其单字“隐马尔科夫”和背景“隐马尔科夫”的模型匹配度，获得唇形影像片段与该片段期望字符标准唇形间的相似度，记为“唇形片段相似度一”，如公式(1)：
进一步，通过公式(2)，综合各个唇形影像片段的相似度，得到在单字级别的“唇形分离相似度”，记为“唇形分离相似度一”：
如果“唇形分离相似度一”大于指定的第一阈值例如60,该用户提供的视频影像，则通过单字级别的唇形片段验证；如果“唇形分离相似度一”小于指定的第一阈值例如60,则该用户提供的视频影像中存在与预期不符的虚假唇形，无法通过活体验证。
第二相似度计算单元，用于联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测；具体地，所述“独立词隐马尔科夫”时间序列模型为本领域技术人员的公知技术手段，在此只描述本单元所采用的模型拓扑结构，不再赘述该模型内在的数学表达。本单元所采用的“独立词隐马尔科夫”时间序列模型，包含前景模型和背景模型：前景模型是双字符的“隐马尔科夫”时间序列模型，每个双字符的标准唇形由一个包含八个语音状态的二阶“隐马尔科夫”时间序列模型表示，每一个唇形状态的变化只和前一个唇形状态相关，如图8所示，S1～S8为双字模型的8个状态，S1为起始状态，S8为终止状态；背景模型是“非双字符”的“隐马尔科夫”时间序列模型，代表了所有“非双字符”的唇形影像，它和“非字符”的背景“隐马尔科夫”具有相同的拓扑结构，如图7所示，该模型是综合所有双字符的阅读数据作为训练数据，所获得的背景模型，所述背景“隐马尔科夫”模型只包含一个自循环的状态，其高斯混合度为32。
和计算单字级别的“分离唇形相似度”类似，对于每个相邻双字符的唇形影像片段，通过比较其双字“隐马尔科夫”和背景“隐马尔科夫”的模型匹配度，通过公式(3),获得唇形影像片段与该片段所期望双字符标准唇形间的相似度，记为“唇形片段相似度二”：
进一步，通过公式(4)，综合各个唇形影像片段的相似度，得到在双字级别的“分离唇形相似度”，记为“唇形分离相似度二”：
如果“唇形分离相似度二”大于指定的第二阈值例如60,该用户提供的视频影像，则通过双字级别的唇形片段验证；如果该“唇形分离相似度二”小于指定的第二阈值例如60,该用户提供的视频影像中则存在与预期不符的虚假唇形，无法通过活体验证。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。

Claims (10)

1.一种联合声像信号进行活体检测的方法，其特征在于，该方法包括以下步骤：
S1、为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
S2、收集用户阅读验证码时的音频信号和唇形影像；
S3、通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致，如果一致，则通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
S4、基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
2.根据权利要求1所述的联合声像信号进行活体检测的方法，其特征在于，所述步骤S2中收集用户阅读验证码时的唇形影像包括如下步骤：
S21、获取用户在阅读验证码时的视频信号；
S22、从每一帧视频信号中检测出用户的脸部区域，从检测出的脸部区域中使用SDM算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。
3.根据权利要求1所述的联合声像信号进行活体检测的方法，其特征在于，所述步骤S3中通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致包括如下步骤：
S311、从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
S312、计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征；
S313、运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；
S314、判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致。
4.根据权利要求1所述的联合声像信号进行活体检测的方法，其特征在于，所述步骤S3中通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息包括如下步骤：
S321、从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；
S322、运用连续隐马尔科夫时间序列模型，逐帧解析语音信号的静态特征及动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别；
S323、判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为步骤S4中唇语验证的辅助信息并执行步骤S324；
S324、将步骤S322中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。
5.根据权利要求1所述的联合声像信号进行活体检测的方法，其特征在于，所述步骤S4具体包括如下步骤：
S41、基于语音识别获得的时序信息，根据每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段；
S42、就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
S43、计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征；
S44、运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行步骤S45；
S45、联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测。
6.一种联合声像信号进行活体检测的系统，其特征在于，该系统包括:
验证码显示模块，用于为在互联网交易中的用户，随机显示一幅验证码图像，提示用户阅读验证码；
音频收集模块，用于收集用户阅读验证码时的音频信号；
唇形收集模块，用于收集用户阅读验证码时的唇形影像；
一级唇语验证模块，用于通过上下文模型从所述唇形影像中检出唇语，比较该唇语与验证码是否一致；如果一致，则执行语音识别模块；
语音识别模块，用于通过语音识别从所述音频信号中获得用户阅读验证码时的时序信息；
二级唇语验证模块，用于基于所述用户阅读验证码时的时序信息，对所述唇形影像进行分割，获得用户阅读验证码时的唇形影像片段，比较该唇形影像片段与验证码标准唇形片段的相似度，如果该相似度大于指定的阈值，则通过活体检测。
7.根据权利要求6所述的联合声像信号进行活体检测的系统，其特征在于，所述唇形收集模块包括：
视频信号获取单元，用于获取用户在阅读验证码时的视频信号；
唇形影像获得单元，用于从每一帧视频信号中检测出用户的脸部区域，从检测出的脸部区域中使用SDM算法进行人脸对齐及关键点提取，检测出用户的唇部区域，从而获得用户在阅读验证码时的唇形影像。
8.根据权利要求6所述的联合声像信号进行活体检测的系统，其特征在于，所述一级唇语验证模块包括：
第一唇部关键点处理单元，用于从每帧唇形影像中，使用SDM算法检测出唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
第一唇部关键点计算单元，用于计算每帧唇形影像中，唇部关键点的位置坐标，作为描述当前帧唇形的静态特征；并计算每帧唇形影像中，唇部关键点在当前帧与前一帧的位移变化，作为描述当前帧唇形变化的动态特征；
唇形影像唇语获得单元，用于运用连续隐马尔科夫时间序列模型，逐帧解析每帧唇形影像，根据每帧唇形影像的静态特征及动态特征，判断出当前帧所对应的标准字符唇形以及在标准字符唇形中所处的时间状态，串联每帧的解析结果，即获得唇形影像所代表的唇语；
唇语判断单元，用于判断从连续隐马尔科夫时间序列模型获得的置信度最高的前三条候补字符串是否与验证码一致，如果前三条候补字符串中任意一条与验证码一致，则所述唇形影像中检出的唇语与验证码一致。
9.根据权利要求6所述的联合声像信号进行活体检测的系统，其特征在于，所述语音识别模块包括：
语音特征提取单元，用于从所述音频信号中提取每帧语音信号的MFCC特征以及MFCC特征在当前帧与前一帧的差分，分别作为描述每帧语音信号的静态特征及动态特征；
语音识别获得单元，用于运用连续隐马尔科夫时间序列模型，逐帧解析语音信号的静态特征及动态特征，判断出当前帧所对应的字符以及在该字符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音识别；
语音识别判断单元，用于判断从连续隐马尔科夫时间序列模型获得的语音识别结果是否与验证码一致，如果一致，将用户音频信号的语音识别作为所述二级唇语验证模块中唇语验证的辅助信息并执行时序信息获得单元；
时序信息获得单元，用于将所述语音识别获得单元中运用连续隐马尔科夫时间序列模型逐帧解析过程中获取的时间状态序列进行检测，获得用户在阅读每个字符时的起止时间信息，将以此作为用户阅读验证码时的时序信息。
10.根据权利要求6所述的联合声像信号进行活体检测的系统，其特征在于，所述二级唇语验证模块包括：
唇形影像片段获得单元，用于基于语音识别获得的时序信息，根据每个验证码阅读时的起止时间信息，对唇形影像进行分割，获得用户阅读验证码时各字符对应的唇形影像片段；
第二唇部关键点处理单元，用于就各个分割的唇形影像片段，使用SDM算法检测出分割片段中每帧唇形影像的唇部关键点，并对唇部关键点进行旋转校正和尺度归一化；
第二唇部关键点计算单元，用于计算分割片段中每帧唇部关键点的位置坐标，作为描述该分割片段中每帧唇形的静态特征；并计算分割片段中每帧唇部关键点相对于前一帧的位移变化，作为描述该分割片段中每帧唇形变化的动态特征；
第一相似度计算单元，用于运用单字级别的独立词隐马尔科夫时间序列模型，计算各个分割的唇形影像片段中，各帧唇形的静态特征和动态特征与该片段期望字符标准唇形间的相似度，如果该相似度大于指定的第一阈值，则执行第二相似度计算单元；
第二相似度计算单元，用于联合所有两个相邻的分割唇形影像片段，作为双字符的唇形影像片段，运用双字级别的独立词隐马尔科夫时间序列模型，计算各个双字符唇形影像片段中，各帧唇形的静态特征和动态特征与该片段所期望双字符标准唇形间的相似度，如果该相似度大于指定的第二阈值，则通过活体检测。
CN201510178898.6A 2015-04-15 2015-04-15 一种联合声像信号进行活体检测的方法和系统 Active CN104834900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510178898.6A CN104834900B (zh) 2015-04-15 2015-04-15 一种联合声像信号进行活体检测的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510178898.6A CN104834900B (zh) 2015-04-15 2015-04-15 一种联合声像信号进行活体检测的方法和系统

Publications (2)

Publication Number Publication Date
CN104834900A true CN104834900A (zh) 2015-08-12
CN104834900B CN104834900B (zh) 2017-12-19

Family

ID=53812778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510178898.6A Active CN104834900B (zh) 2015-04-15 2015-04-15 一种联合声像信号进行活体检测的方法和系统

Country Status (1)

Country Link
CN (1) CN104834900B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450664A (zh) * 2015-12-29 2016-03-30 腾讯科技（深圳）有限公司 一种信息处理方法及终端
CN105512632A (zh) * 2015-12-09 2016-04-20 北京旷视科技有限公司 活体检测方法及装置
CN106529379A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种活体识别方法及设备
CN106599765A (zh) * 2015-10-20 2017-04-26 深圳市商汤科技有限公司 基于对象连续发音的视-音频判断活体的方法及系统
CN106599764A (zh) * 2015-10-20 2017-04-26 深圳市商汤科技有限公司 基于唇形特征的活体判断方法及设备
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN107004073A (zh) * 2015-10-31 2017-08-01 华为技术有限公司 一种面部验证的方法和电子设备
CN107087133A (zh) * 2017-03-24 2017-08-22 宇龙计算机通信科技(深圳)有限公司 一种安全控制方法、及终端设备
CN107273794A (zh) * 2017-04-28 2017-10-20 北京建筑大学 一种人脸识别过程中的活体鉴别方法及装置
WO2017198014A1 (zh) * 2016-05-19 2017-11-23 阿里巴巴集团控股有限公司 一种身份认证方法和装置
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN107832714A (zh) * 2017-11-14 2018-03-23 腾讯科技（上海）有限公司 活体鉴别方法、装置及存储设备
CN108573131A (zh) * 2017-03-09 2018-09-25 腾讯科技（深圳）有限公司 控制终端设备中验证的方法和装置
CN108805047A (zh) * 2018-05-25 2018-11-13 北京旷视科技有限公司 一种活体检测方法、装置、电子设备和计算机可读介质
CN108830153A (zh) * 2018-05-07 2018-11-16 平安普惠企业管理有限公司 用于人脸识别的身份验证方法、装置、设备及存储介质
CN109146915A (zh) * 2018-08-01 2019-01-04 浙江深眸科技有限公司 判断异常活动物体的低计算量运动检测方法
CN109146480A (zh) * 2018-08-23 2019-01-04 交通银行股份有限公司 一种支付方法、装置、电子设备及存储介质
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109409204A (zh) * 2018-09-07 2019-03-01 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109509177A (zh) * 2018-10-22 2019-03-22 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109840406A (zh) * 2017-11-29 2019-06-04 百度在线网络技术（北京）有限公司 活体验证方法、装置和计算机设备
CN110032924A (zh) * 2019-02-21 2019-07-19 百度在线网络技术（北京）有限公司 人脸识别活体检测方法、终端设备、存储介质及电子设备
CN110415701A (zh) * 2019-06-18 2019-11-05 平安科技（深圳）有限公司 唇语的识别方法及其装置
CN110544270A (zh) * 2019-08-30 2019-12-06 上海依图信息技术有限公司 结合语音识别且实时预测人脸追踪轨迹方法及装置
CN110807356A (zh) * 2019-09-15 2020-02-18 成都恒道智融信息技术有限公司 一种基于图像唇语识别验证码的活体检测方法
CN110853646A (zh) * 2019-11-20 2020-02-28 深圳前海微众银行股份有限公司 会议发言角色的区分方法、装置、设备及可读存储介质
CN111079791A (zh) * 2019-11-18 2020-04-28 京东数字科技控股有限公司 人脸识别方法、设备及计算机可读存储介质
CN111163974A (zh) * 2017-10-05 2020-05-15 宁波吉利汽车研究开发有限公司 用于车辆的显示系统和方法
CN111259875A (zh) * 2020-05-06 2020-06-09 中国人民解放军国防科技大学 一种基于自适应语义时空图卷积网络的唇读方法
CN111401134A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
CN111597531A (zh) * 2020-04-07 2020-08-28 北京捷通华声科技股份有限公司 一种身份认证方法、装置、电子设备及可读存储介质
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN111968628A (zh) * 2020-08-22 2020-11-20 彭玲玲 一种用于语音指令捕捉的信号精确度调节系统及方法
CN112560554A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 基于唇语的活体检测方法、装置以及存储介质
CN112733636A (zh) * 2020-12-29 2021-04-30 北京旷视科技有限公司 活体检测方法、装置、设备和存储介质
CN112861791A (zh) * 2021-03-11 2021-05-28 河北工业大学 一种结合图神经网络和多特征融合的唇语识别方法
CN113569740A (zh) * 2021-07-27 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 视频识别模型训练方法与装置、视频识别方法与装置
CN113743160A (zh) * 2020-05-29 2021-12-03 北京中关村科金技术有限公司 活体检测的方法、装置以及存储介质
CN114167993A (zh) * 2022-02-10 2022-03-11 北京优幕科技有限责任公司 信息处理方法及装置
CN114780932A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备
CN114780940A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 跨系统数据共享交互的项目运行监控及预警方法、系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046959A (zh) * 2007-04-26 2007-10-03 上海交通大学 基于唇语特征的身份认证方法
CN101101752A (zh) * 2007-07-19 2008-01-09 华中科技大学 基于视觉特征的单音节语言唇读识别系统
US20090018831A1 (en) * 2005-01-28 2009-01-15 Kyocera Corporation Speech Recognition Apparatus and Speech Recognition Method
CN102117115A (zh) * 2009-12-31 2011-07-06 上海量科电子科技有限公司 一种利用唇语进行文字输入选择的系统及实现方法
CN104376250A (zh) * 2014-12-03 2015-02-25 优化科技（苏州）有限公司 基于音型像特征的真人活体身份验证方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090018831A1 (en) * 2005-01-28 2009-01-15 Kyocera Corporation Speech Recognition Apparatus and Speech Recognition Method
CN101046959A (zh) * 2007-04-26 2007-10-03 上海交通大学 基于唇语特征的身份认证方法
CN101101752A (zh) * 2007-07-19 2008-01-09 华中科技大学 基于视觉特征的单音节语言唇读识别系统
CN102117115A (zh) * 2009-12-31 2011-07-06 上海量科电子科技有限公司 一种利用唇语进行文字输入选择的系统及实现方法
CN104376250A (zh) * 2014-12-03 2015-02-25 优化科技（苏州）有限公司 基于音型像特征的真人活体身份验证方法

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529379A (zh) * 2015-09-15 2017-03-22 阿里巴巴集团控股有限公司 一种活体识别方法及设备
CN106599764A (zh) * 2015-10-20 2017-04-26 深圳市商汤科技有限公司 基于唇形特征的活体判断方法及设备
CN106599765B (zh) * 2015-10-20 2020-02-21 深圳市商汤科技有限公司 基于对象连续发音的视-音频判断活体的方法及系统
CN106599765A (zh) * 2015-10-20 2017-04-26 深圳市商汤科技有限公司 基于对象连续发音的视-音频判断活体的方法及系统
CN107004073A (zh) * 2015-10-31 2017-08-01 华为技术有限公司 一种面部验证的方法和电子设备
US10552593B2 (en) 2015-10-31 2020-02-04 Huawei Technologies Co., Ltd. Face verification method and electronic device
CN107004073B (zh) * 2015-10-31 2021-03-05 华为技术有限公司 一种面部验证的方法和电子设备
US10339402B2 (en) 2015-12-09 2019-07-02 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for liveness detection
CN105512632B (zh) * 2015-12-09 2019-04-05 北京旷视科技有限公司 活体检测方法及装置
CN105512632A (zh) * 2015-12-09 2016-04-20 北京旷视科技有限公司 活体检测方法及装置
CN105450664A (zh) * 2015-12-29 2016-03-30 腾讯科技（深圳）有限公司 一种信息处理方法及终端
US10789343B2 (en) 2016-05-19 2020-09-29 Alibaba Group Holding Limited Identity authentication method and apparatus
WO2017198014A1 (zh) * 2016-05-19 2017-11-23 阿里巴巴集团控股有限公司 一种身份认证方法和装置
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN108573131B (zh) * 2017-03-09 2020-12-08 腾讯科技（深圳）有限公司 控制终端设备中验证的方法和装置
CN108573131A (zh) * 2017-03-09 2018-09-25 腾讯科技（深圳）有限公司 控制终端设备中验证的方法和装置
CN107087133A (zh) * 2017-03-24 2017-08-22 宇龙计算机通信科技(深圳)有限公司 一种安全控制方法、及终端设备
CN107087133B (zh) * 2017-03-24 2020-07-03 宇龙计算机通信科技(深圳)有限公司 一种安全控制方法、及终端设备
CN107273794A (zh) * 2017-04-28 2017-10-20 北京建筑大学 一种人脸识别过程中的活体鉴别方法及装置
CN111163974A (zh) * 2017-10-05 2020-05-15 宁波吉利汽车研究开发有限公司 用于车辆的显示系统和方法
CN111163974B (zh) * 2017-10-05 2023-08-15 宁波吉利汽车研究开发有限公司 用于车辆的显示系统和方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN107832714B (zh) * 2017-11-14 2020-07-07 腾讯科技（上海）有限公司 活体鉴别方法、装置及存储设备
CN107832714A (zh) * 2017-11-14 2018-03-23 腾讯科技（上海）有限公司 活体鉴别方法、装置及存储设备
CN109840406B (zh) * 2017-11-29 2022-05-17 百度在线网络技术（北京）有限公司 活体验证方法、装置和计算机设备
CN109840406A (zh) * 2017-11-29 2019-06-04 百度在线网络技术（北京）有限公司 活体验证方法、装置和计算机设备
CN108830153A (zh) * 2018-05-07 2018-11-16 平安普惠企业管理有限公司 用于人脸识别的身份验证方法、装置、设备及存储介质
US10832069B2 (en) 2018-05-25 2020-11-10 Beijing Kuangshi Technology Co., Ltd. Living body detection method, electronic device and computer readable medium
CN108805047A (zh) * 2018-05-25 2018-11-13 北京旷视科技有限公司 一种活体检测方法、装置、电子设备和计算机可读介质
CN109146915A (zh) * 2018-08-01 2019-01-04 浙江深眸科技有限公司 判断异常活动物体的低计算量运动检测方法
CN109146480A (zh) * 2018-08-23 2019-01-04 交通银行股份有限公司 一种支付方法、装置、电子设备及存储介质
CN109409204A (zh) * 2018-09-07 2019-03-01 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109271915A (zh) * 2018-09-07 2019-01-25 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN109509177B (zh) * 2018-10-22 2021-02-23 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109509177A (zh) * 2018-10-22 2019-03-22 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN110032924A (zh) * 2019-02-21 2019-07-19 百度在线网络技术（北京）有限公司 人脸识别活体检测方法、终端设备、存储介质及电子设备
CN110415701A (zh) * 2019-06-18 2019-11-05 平安科技（深圳）有限公司 唇语的识别方法及其装置
CN110544270A (zh) * 2019-08-30 2019-12-06 上海依图信息技术有限公司 结合语音识别且实时预测人脸追踪轨迹方法及装置
CN110807356A (zh) * 2019-09-15 2020-02-18 成都恒道智融信息技术有限公司 一种基于图像唇语识别验证码的活体检测方法
CN112560554A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 基于唇语的活体检测方法、装置以及存储介质
CN111079791A (zh) * 2019-11-18 2020-04-28 京东数字科技控股有限公司 人脸识别方法、设备及计算机可读存储介质
CN110853646A (zh) * 2019-11-20 2020-02-28 深圳前海微众银行股份有限公司 会议发言角色的区分方法、装置、设备及可读存储介质
CN110853646B (zh) * 2019-11-20 2023-11-03 深圳前海微众银行股份有限公司 会议发言角色的区分方法、装置、设备及可读存储介质
CN111401134A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
CN111597531A (zh) * 2020-04-07 2020-08-28 北京捷通华声科技股份有限公司 一种身份认证方法、装置、电子设备及可读存储介质
CN111259875B (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 一种基于自适应语义时空图卷积网络的唇读方法
CN111259875A (zh) * 2020-05-06 2020-06-09 中国人民解放军国防科技大学 一种基于自适应语义时空图卷积网络的唇读方法
CN113743160A (zh) * 2020-05-29 2021-12-03 北京中关村科金技术有限公司 活体检测的方法、装置以及存储介质
CN111881726A (zh) * 2020-06-15 2020-11-03 马上消费金融股份有限公司 一种活体检测方法、装置及存储介质
CN111968628A (zh) * 2020-08-22 2020-11-20 彭玲玲 一种用于语音指令捕捉的信号精确度调节系统及方法
CN111968628B (zh) * 2020-08-22 2021-06-25 南京硅基智能科技有限公司 一种用于语音指令捕捉的信号精确度调节系统及方法
CN112733636A (zh) * 2020-12-29 2021-04-30 北京旷视科技有限公司 活体检测方法、装置、设备和存储介质
CN112861791A (zh) * 2021-03-11 2021-05-28 河北工业大学 一种结合图神经网络和多特征融合的唇语识别方法
CN113569740A (zh) * 2021-07-27 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 视频识别模型训练方法与装置、视频识别方法与装置
CN113569740B (zh) * 2021-07-27 2023-11-21 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 视频识别模型训练方法与装置、视频识别方法与装置
CN114167993A (zh) * 2022-02-10 2022-03-11 北京优幕科技有限责任公司 信息处理方法及装置
CN114780932A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备
CN114780940A (zh) * 2022-06-21 2022-07-22 中铁电气化局集团有限公司 跨系统数据共享交互的项目运行监控及预警方法、系统
CN114780932B (zh) * 2022-06-21 2022-09-02 中铁电气化局集团有限公司 管理三化平台的跨区块链数据交互验证方法、系统及设备

Also Published As

Publication number Publication date
CN104834900B (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN104834900A (zh) 一种联合声像信号进行活体检测的方法和系统
Harwath et al. Jointly discovering visual objects and spoken words from raw sensory input
Yang et al. Preventing deepfake attacks on speaker authentication by dynamic lip movement analysis
CN104361276B (zh) 一种多模态生物特征身份认证方法及系统
KR101908711B1 (ko) 인공 지능을 기반으로 하는 성문 로그인 방법 및 장치
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
CN112997186A (zh) “存活性”检测系统
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
US9159321B2 (en) Lip-password based speaker verification system
CN105426723A (zh) 基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统
TW201907330A (zh) 身份認證的方法、裝置、設備及資料處理方法
CN113343826A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN109785846B (zh) 单声道的语音数据的角色识别方法及装置
WO2014169835A1 (zh) 一种基于手指信息的在线笔迹认证方法及系统
CN111862990B (zh) 说话者身份验证方法及系统
WO2021007857A1 (zh) 一种身份验证方法、终端设备、存储介质
WO2014169837A1 (zh) 一种基于手掌侧表面信息的在线笔迹认证方法及系统
CN109635625B (zh) 智能身份核验方法、设备、存储介质及装置
CN108564067B (zh) 人脸比对的阈值确定方法及系统
WO2023088448A1 (zh) 语音处理方法、设备及存储介质
CN115512259A (zh) 一种基于多模态的短视频审核方法
CN111027987A (zh) 自助实时音视频远程面签方法、系统、装置及可存储介质
Akoum et al. Hand gesture recognition approach for asl language using hand extraction algorithm
CN112069898A (zh) 基于迁移学习人脸族群属性的识别方法及装置
CN116645683A (zh) 基于提示学习的签名笔迹鉴别方法、系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 213164 Jiangsu city of Changzhou province Chang Wu Road No. 801, Changzhou science and Technology City Tianrun tower A 3 floor

Patentee after: Changzhou cloud from Mdt InfoTech Ltd

Address before: 213164 Jiangsu city of Changzhou province Chang Wu Road No. 801, Changzhou science and Technology City Tianrun tower A 3 floor

Patentee before: CHANGZHOU FEIXUN VIDEO INFORMATION TECHNOLOGY CO., LTD.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20191010

Address after: 511457 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306

Patentee after: GUANGZHOU YUNCONG INFORMATION TECHNOLOGY CO., LTD.

Address before: 213164 Jiangsu city of Changzhou province Chang Wu Road No. 801, Changzhou science and Technology City Tianrun tower A 3 floor

Patentee before: Changzhou cloud from Mdt InfoTech Ltd

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 511457 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306 (only for office use)

Patentee after: Yuncong Technology Group Co., Ltd

Address before: 511457 Guangdong city of Guangzhou province Nansha District Golden Road No. 26 room 1306

Patentee before: GUANGZHOU YUNCONG INFORMATION TECHNOLOGY CO., LTD.

CP03 Change of name, title or address