CN104966053B - 人脸识别方法及识别系统 - Google Patents

人脸识别方法及识别系统 Download PDF

Info

Publication number
CN104966053B
CN104966053B CN201510319470.9A CN201510319470A CN104966053B CN 104966053 B CN104966053 B CN 104966053B CN 201510319470 A CN201510319470 A CN 201510319470A CN 104966053 B CN104966053 B CN 104966053B
Authority
CN
China
Prior art keywords
face recognition
voice
module
sentence
lip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510319470.9A
Other languages
English (en)
Other versions
CN104966053A (zh
Inventor
汪铖杰
李季檩
倪辉
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510319470.9A priority Critical patent/CN104966053B/zh
Publication of CN104966053A publication Critical patent/CN104966053A/zh
Priority to PCT/CN2016/081170 priority patent/WO2016197765A1/zh
Priority to US15/644,043 priority patent/US10650259B2/en
Application granted granted Critical
Publication of CN104966053B publication Critical patent/CN104966053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种人脸识别方法及识别系统，包括：获取人脸识别请求，并根据所述人脸识别请求随机生成一语句；获取用户对所述语句进行响应的音频数据和视频数据；根据所述音频数据获取对应的语音信息；根据所述视频数据获取对应的唇部动作信息；当所述唇部动作信息与所述语音信息满足预定规则时，通过所述人脸识别请求。本发明通过对视频中唇部动作信息和语音信息进行吻合度匹配，进行动态的人脸识别，可以有效的避免采用真人照片来进行人脸识别进行攻击，安全性更高。

Description

人脸识别方法及识别系统
技术领域
本发明属于网络安全领域，尤其涉及一种人脸识别方法及识别系统。
背景技术
人脸识别系统，通常是指利用分析对比人脸视觉特征信息进行身份鉴别的计算机技术，它属于生物特征识别技术范畴。人脸识别系统，相对于通过钥匙、射频信号识别、蓝牙识别等传统的识别方式，具有便携、不易改变、且不易丢失的优势。
然而，随着人脸识别系统的推广和应用，越来越多的伪造人像的攻击手段也相继出现。比如，通过仿造用户的真人照片来进行攻击。这些攻击手段，导致了人脸识别系统易受攻击、且安全性低。
发明内容
有鉴于此，本发明的目的在于提供一种人脸识别方法及识别系统，可以解决现有技术中不易区分真人与照片、及易受到攻击所导致的安全性能低的技术问题。
为解决上述技术问题，本发明的实施例提供了一种人脸识别方法，其中所述方法包括：
获取人脸识别请求，并根据所述人脸识别请求随机生成一语句；
获取用户对所述语句进行响应的音频数据和视频数据；
根据所述音频数据获取对应的语音信息；
根据所述视频数据获取对应的唇部动作信息；以及
当所述唇部动作信息与所述语音信息满足预定规则时，通过所述人脸识别请求。
为解决上述技术问题，本发明实施例提供了一种人脸识别系统，其中所述系统包括：
语句生成模块，用于获取人脸识别请求，并根据所述人脸识别请求随机生成一语句；
响应获取模块，用于获取用户对所述语句进行响应的音频数据和视频数据；
语音获取模块，用于根据所述音频数据获取对应的语音信息；
唇动获取模块，用于根据所述视频数据获取对应的唇部动作信息；
吻合度判断模块，用于判断所述唇部动作信息与所述语音信息是否满足预定规则；以及
请求响应模块，用于当所述唇部动作信息与所述语音信息满足预定规则时，通过所述人脸识别请求。
相对于现有技术，本发明的人脸识别方法及识别系统，通过对视频中唇部动作信息和语音信息进行分别提取及吻合度匹配，来实现动态的人脸识别，可以有效的避免采用真人照片来进行人脸识别进行攻击的行为，具有更高的安全性能更高。
附图说明
图1是本发明实施例提供的人脸识别方法及识别系统的应用环境示意图；
图2是本发明实施例一提供的人脸识别方法的工作流程示意图；
图3是本发明实施例二提供的人脸识别方法的工作流程示意图；
图4是本发明实施例三提供的人脸识别系统的模块示意图。
具体实施方式
请参照附图中的图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所示例的本发明的具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。
请参阅图1，为本发明中提供的人脸识别方法及识别系统的应用环境示意图。所述应用环境，包括人脸识别服务器10、人脸识别系统20、以及通信网络30。
人脸识别服务器10，用于随机生成一语句作为鉴权规则，并发送所述语句至所述人脸识别系统进行鉴权。
其中，语句通常为文字、单词、和/或拼音的组合，并通过文字、图片、或语音的形式展示所述语句的内容。
可以理解的是，所述人脸识别服务器10每隔一预设时间间隔，对所述语句进行更新，以避免用户的鉴权视频被偷录而导致攻击。
所述人脸识别系统20，可以下载并安装于各种类型的识别终端中。比如，笔记本电脑01、台式电脑02、智能手机03、或门禁系统04等。
可以理解的是：所述人脸识别系统20根据人脸识别服务器10所发送的鉴权规则，进行人脸识别，并当完成人脸识别后开启对应的权限。
通信网络30，连接于所述人脸识别系统10与所述识别服务器20之间，包括无线网络及有线网络。其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。
本案可应用于基于人脸识别系统，用于独立、辅助或弥补对人脸进行识别。请参照以下多个实施例，实施例一侧重于人脸识别方法的基本步骤，实施例二侧重于人脸识别方法的优化步骤，而实施例三侧重于人脸识别系统的模块的优化示意图。可以理解的是：虽然各实施例的侧重不同，但其设计思想是一致的。且，在某个实施例中没有详述的部分，可以参见说明书全文的详细描述，不再赘述。
实施例一
请参阅图2，所示为本发明实施例提供的一种人脸识别方法的流程示意图，所述人脸识别方法，应用于各类识别终端设备中。
在步骤S201中，获取人脸识别请求，并根据所述人脸识别请求随机生成一语句。
具体而言，所述生成的步骤，包括：(1)获取人脸识别请求；(2)基于预设的语句生成规则响应所述人脸识别请求，以随机生成所述语句；(3)以文字、图片、或语音的形式展示所述语句的内容。
其中，步骤(2)的步骤还可以替代为：根据所述人脸识别请求，向服务器获取由服务器随机生成的最新语句，其中服务器中的语句，每隔一预设时间间隔后自动更新，并通过减小时间间隔，可以降低因被偷录视频数据而导致攻击的可能性。
采用文字、图片、语言等多种形式展现，亦可防御采用机器识别方式进行的攻击。
在步骤S202中，获取用户对所述语句进行响应的音频数据和视频数据。
其中，在所述获取的步骤之前，还包括：对用户的脸部、尤其是唇部进行定位的步骤，以确保视频数据的准确性。
在步骤S203中，根据所述音频数据获取对应的语音信息。
在步骤S204中，根据所述视频数据获取对应的唇部动作信息。
在步骤S205中，判断所述唇部动作信息与所述语音信息是否满足预定规则。
其中，判断的步骤具体为：
(1)设置所述预定规则，包括吻合度阈值；
(2)判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值；以及
(3)当所述唇部动作信息与所述语音信息的吻合度大于所述吻合度阈值时，通过所述人脸识别请求。
所述吻合度阈值，可以基于语言区间和唇动区间的重合长度占整个视频长度的百分比。
在步骤S206中，当所述唇部动作信息与所述语音信息满足预定规则时，通过所述人脸识别请求。
在步骤S207中，当所述唇部动作信息与所述语音信息不满足预定规则时，拒绝所述人脸识别请求，即人脸识别失败。
其中，所述吻合度阈值，通常在60％～90％之间，优选为75％左右即可。因为若所述吻合度阈值设定过高，会导致在识别分析的步骤中，消耗过多的内存，而设置过低，则导致分析结果不准确。因此，选择一个适宜的区间，对于识别的效果而言事半功倍。
本发明的人脸识别方法，通过对视频中唇部动作信息和语音信息进行吻合度匹配，进行动态的人脸识别，可以有效的避免采用真人照片来进行人脸识别进行攻击，安全性更高。
实施例二
请参阅图3，所示为本发明实施例提供的一种人脸识别方法的流程示意图，所述人脸识别方法，应用于各类识别终端设备中。
其中，图3所示的人脸识别方法，是对图2所示的人脸识别方法的基础步骤所进行的优化。其中为了更好的区分基础步骤与优化步骤，图3中与图2相同的步骤，作为基础步骤采用S20进行标号；图3中与图2不同的步骤，作为优化步骤采用S30进行标号。
在步骤S201中，获取人脸识别请求，并根据所述人脸识别请求随机生成一语句。
具体而言，所述生成的步骤，包括：
(1)获取人脸识别请求；(2)基于预设的语句生成规则响应所述人脸识别请求，以随机生成所述语句；(3)以文字、图片、或语音的形式展示所述语句的内容，其中所述语句为文字、单词、和/或拼音的组合。
其中，步骤(2)的步骤还可以替代为：根据所述人脸识别请求，向服务器获取由服务器随机生成的最新语句，其中服务器中的语句，每隔一预设时间间隔后自动更新，并通过减小时间间隔，可以降低因被偷录视频数据而导致攻击的可能性。采用文字、图片、语言等多种形式展现，亦可防御采用机器识别方式进行的攻击。
在步骤S301中，对用户的脸部进行定位，以确保视频数据的准确性。
具体而言，包括：使用人脸检测和人脸匹配方法，定位用户的脸部区域，尤其是嘴部区域。
在步骤S202中，获取用户对所述语句进行响应的音频数据和视频数据。
在步骤S203中，根据所述音频数据获取对应的语音信息。
在步骤S302中，判断语句的内容与所述语音信息是否一致。其中，若上述一致，则执行步骤S303，若上述不一致，则执行步骤S207。
具体而言，所述判断的步骤，也可以细化为：
(1)预设一语音阈值；(2)判断所述语句的内容与所述语音信息的一致性是否大于所述语音阈值；(3)当所述一致性大于所述语音阈值时，确定所述语句的内容与所述语音信息一致；(4)当所述一致性不大于所述语音阈值时，确定所述语句的内容与所述语音信息不一致。
在步骤S303中，进行唇动检测，以确定唇部变化幅度值是否大于预设的唇动值。
具体而言，所述唇动检测，可以细化为：
(1)提取用户的嘴部区域的特征；(2)根据所述嘴部区域的特征，对张嘴和闭嘴状态进行分类，以生成分类结果；(3)计算所述分类结果中张嘴状态与闭嘴状态的变化幅度差值；(4)判断所述变化幅度值是否大于预设的唇动阈值；(5)当所述变化幅度值大于预设的唇动阈值时，通过唇动检测，并执行步骤S204进行后续判断；(6)当所述变化幅度值不大于预设的唇动阈值时，不通过唇动检测，并执行步骤S207，即，提示人脸识别失败。
在步骤S204中，根据所述视频数据获取对应的唇部动作信息。
在步骤S205中，判断所述唇部动作信息与所述语音信息是否满足预定规则。
其中，判断的步骤具体为：
(1)设置所述预定规则，包括吻合度阈值；(2)判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值；(3)当所述唇部动作信息与所述语音信息的吻合度大于所述吻合度阈值时，通过所述人脸识别请求。
所述吻合度阈值，可以基于语言区间和唇动区间的重合长度占整个视频长度的百分比。
在步骤S206中，当所述唇部动作信息与所述语音信息满足预定规则时，通过所述人脸识别请求。
在步骤S207中，当所述唇部动作信息与所述语音信息不满足预定规则时，拒绝所述人脸识别请求，即人脸识别失败。
其中，所述预设吻合度阈值，通常在60％～90％之间，优选为75％左右即可。因为若所述预设吻合度阈值设定过高，会导致在识别分析的步骤中，消耗过多的内存，而设置过低，则导致分析结果不准确。因此，选择一个适宜的区间，对于识别的效果而言事半功倍。
本发明的人脸识别方法，通过对视频中唇部动作信息和语音信息进行吻合度匹配，进行动态的人脸识别，可以有效的避免采用真人照片来进行人脸识别进行攻击，安全性更高。
实施例三
请参阅图4，所示为本发明实施例提供的一种人脸识别系统的模块示意图，所述人脸识别系统，应用于各类识别终端设备中。
所述人脸识别系统20，包括：语句生成模块21、响应获取模块22、语音获取模块23、唇动获取模块24、存储模块25、一致性判断模块26、唇动检测模块27、吻合度判断模块28、以及请求响应模块29。
其中，所述语句生成模块21，用于获取人脸识别请求，并根据所述人脸识别请求随机生成一语句。
可以理解的是，所述语句生成模块21，可以是通过内置的语法规则进行随机生成、也可以是接收服务器所发送的语句。
在一实施例中，语句生成模块21，包括获取子模块211、生成子模块212、和展示子模块213。
其中，所述获取子模块211，用于获取人脸识别请求。所述生成子模块212，用于基于预设的语句生成规则响应所述人脸识别请求，以随机生成所述语句。所述展示子模块213，用于以文字、图片、或语音的形式展示所述语句的内容，其中所述语句为文字、单词、和/或拼音的组合。
响应获取模块22，用于获取用户对所述语句进行响应的视频数据。
其中，所述响应获取模块22通常为摄像头，包括独立或内置型的。所述响应获取模块22的触发，可以在生成所述语句之后的预设时间内进行触发，也可以由用户进行主动触发，如通过手机按键、门禁按钮等。并通过使用音视频处理工具来实现音频数据和视频数据的分离，如FFMPEG(Fast Forward MPEG)。
语音获取模块23，用于根据所述音频数据获取对应的语音信息。
唇动获取模块24，用于根据所述视频数据获取对应的唇部动作信息。
存储模块25，连接于所述语音获取模块23和所述唇动获取模块24，用于存储所述音频数据和视频数据。
具体而言，所述存储模块25包括：语音存储子模块251、以唇动存储子模块252。其中，语音存储子模块251，用于存储所述语音信息。唇动存储子模块252，用于存储所述唇部动作信息。
一致性判断模块26，用于判断所获取的用户语音是否与用于识别的语句的内容一致。
具体而言，所述一致性判断模块26，连接于所述存储模块25、所述语句生成模块21、以及所述请求响应模块29。
所述一致性判断模块26，用于利用语言识别技术判断来自于所述语句生成模块21的语句的内容与来自于所述存储模块25的语音信息是否一致，并当所述语句的内容与所述语音信息不一致时，将所述不一致的结果发送至所述请求响应模块29。
所述一致性判断模块26，具体包括：语音阈值子模块261、一致判断子模块262、结果子模块263、以及发送子模块264。
其中，语音阈值子模块261，用于预设一语音阈值。一致判断子模块262，用于判断所述语句的内容与所述语音信息的一致性是否大于所述语音阈值。结果子模块263，用于当所述一致性大于所述语音阈值时，确定所述语句的内容与所述语音信息一致；以及当所述一致性不大于所述语音阈值时，确定所述语句的内容与所述语音信息不一致。发送子模块264，用于当所述语句的内容与所述语音信息不一致时，将所述不一致的结果发送至所述请求响应模块29。
唇动检测模块27，连接于所述存储模块25与所述请求响应模块29，用于接收所述唇部动作信息，并判断唇动的变化幅度是否大于预设的唇动阈值，并当所述变化幅度不大于所述唇动阈值时，通知所述请求响应模块29。
可以理解的是，所述唇动检测模块27的细化，亦可包括：唇动阈值设置子模块、唇动判断子模块、唇动结果子模块、唇动发送子模块，其细化如一致性判断模块26，故，未在图中进行标示。
其中，唇动检测模块27，可以使用人脸检测和人脸匹配方法定位嘴部区域，提取嘴部区域的特征HOG(Histogram of Oriented Gradient)，使用SVM(Support VectorMachine)进行置信度的张嘴、闭嘴的分类。当SVM输出的张嘴闭嘴的变化幅度的最大差值大于预设的唇动阈值时，认为唇动测试通过。
吻合度判断模块28，用于判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值。
所述吻合判断模块28，具体包括：规则子模块281、第一区间子模块282、第二区间子模块283、吻合度生成子模块284、以及吻合判断子模块285。
其中，规则子模块281，用于设置所述预设规则，所述预设规则包括吻合阈值。第一区间子模块282，用于通过所述唇部动作信息，生成唇动区间。第二区间子模块283，用于通过所述语音识别技术识别对所述语音进行识别，生成语音区间。吻合度生成子模块284，用于对比所述唇动区间与所述语音区间，生成所述唇部动作信息与所述语音信息的吻合度。吻合判断子模块285，用于判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值。
请求响应模块29，连接于所述一致性判断模块26、唇动检测模块27、吻合度判断模块28，并当接收到所述三个判断模块之一的判断结果为：未通过时，拒绝所述人脸识别请求；当三个模块的判断结果为：通过时，通过所述人脸识别请求。
其中，所述请求响应模块29至少连接于所述吻合度判断模块28，还可以选择性的连接所述一致性判断模块26、和/或唇动检测模块27，并可以调节三个判断模块之间的连接关系，以达到最节省时间和内存。
本发明的人脸识别系统，通过对视频中唇部动作信息和语音信息进行吻合度匹配，进行动态的人脸识别，可以有效的避免采用真人照片来进行人脸识别进行攻击，安全性更高。
本发明实施例提供的人脸识别方法及识别系统属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通测试人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (12)

1.一种人脸识别方法，其特征在于，包括：
获取人脸识别请求，并根据所述人脸识别请求随机生成一语句；
使用人脸检测和人脸匹配方法，定位用户的嘴部区域；
获取用户对所述语句进行响应的音频数据和视频数据；
根据所述音频数据获取对应的语音信息；
根据所述视频数据获取对应的唇部动作信息；
提取嘴部区域的特征；
根据所述嘴部区域的特征，对张嘴和闭嘴状态进行分类；
判断所述张嘴状态与闭嘴状态的变化幅度差值，是否大于预设的唇动阈值；
当所述变化幅度值大于预设的唇动阈值时，通过唇动检测，并判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值；以及
当所述唇部动作信息与所述语音信息的吻合度大于所述吻合度阈值时，通过所述人脸识别请求。
2.如权利要求1所述的人脸识别方法，其特征在于，获取用户对所述语句进行响应的音频数据和视频数据，之后还包括：
判断语句的内容与所述语音信息是否一致；其中，
若所述语句的内容与所述语音信息一致，则进行唇动检测，以确定变化幅度差值，是否大于预设的唇动阈值；或
若所述语句的内容与所述语音信息不一致，则提示未通过所述人脸识别请求。
3.如权利要求2所述的人脸识别方法，其特征在于，判断所述语句的内容与所述语音信息是否一致，具体包括：
预设一语音阈值；
判断所述语句的内容与所述语音信息的一致性是否大于所述语音阈值；以及
当所述一致性大于所述语音阈值时，确定所述语句的内容与所述语音信息一致；或
当所述一致性不大于所述语音阈值时，确定所述语句的内容与所述语音信息不一致。
4.如权利要求1所述的人脸识别方法，其特征在于，获取人脸识别请求，并根据所述人脸识别请求随机生成一语句，具体包括：
获取人脸识别请求；
基于预设的语句生成规则响应所述人脸识别请求，以随机生成所述语句；以及
以文字、图片、或语音的形式展示所述语句的内容，其中所述语句为文字、单词、和/或拼音的组合。
5.如权利要求1或4所述的人脸识别方法，其特征在于，判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值，之前还包括：
通过所述唇部动作信息，生成唇动区间；
通过所述语音识别技术识别对所述语音信息进行识别，生成语音区间；
对比所述唇动区间与所述语音区间，生成所述唇部动作信息与所述语音信息的吻合度。
6.如权利要求5所述的人脸识别方法，其特征在于，判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值，之后还包括：
当所述变化幅度值不大于预设的唇动阈值时，不通过唇动检测，并生成未通过所述人脸识别的提示。
7.一种人脸识别系统，其特征在于，包括：
语句生成模块，用于获取人脸识别请求，并根据所述人脸识别请求随机生成一语句；
响应获取模块，用于获取用户对所述语句进行响应的音频数据和视频数据；
语音获取模块，用于根据所述音频数据获取对应的语音信息；
唇动获取模块，用于根据所述视频数据获取对应的唇部动作信息；
唇动检测模块，用于使用人脸检测和人脸匹配方法，定位用户的嘴部区域，提取嘴部区域的特征；根据所述嘴部区域的特征，对张嘴和闭嘴状态进行分类；判断所述张嘴状态与闭嘴状态的变化幅度差值，是否大于预设的唇动阈值；当所述变化幅度值大于预设的唇动阈值时，通过唇动检测；
吻合度判断模块，用于判断所述唇部动作信息与所述语音信息的吻合度是否大于所述吻合度阈值；以及
请求响应模块，用于当所述唇部动作信息与所述语音信息的吻合度大于所述吻合度阈值时，通过所述人脸识别请求。
8.如权利要求7所述的人脸识别系统，其特征在于，还包括：
一致性判断模块，连接于所述语音获取模块、所述语句生成模块、以及所述请求响应模块，用于判断语句的内容与所述语音信息是否一致，并当所述语句的内容与所述语音信息不一致时，发送识别失败的通知至所述请求响应模块；以及
所述请求响应模块，用于接收所述识别失败的通知，并拒绝所述人脸识别请求。
9.如权利要求8所述的人脸识别系统，其特征在于，所述一致性判断模块，具体包括：
语音阈值子模块，用于预设一语音阈值；
一致判断子模块，用于判断所述语句的内容与所述语音信息的一致性是否大于所述语音阈值；以及
结果子模块，用于当所述一致性不大于所述语音阈值时，确定所述语句的内容与所述语音信息不一致；以及
发送子模块，用于当所述语句的内容与所述语音信息不一致时，将所述不一致的结果发送至所述请求响应模块。
10.如权利要求7所述的人脸识别系统，其特征在于，语句生成模块，具体包括：
获取子模块，用于获取人脸识别请求；
生成子模块，用于基于预设的语句生成规则响应所述人脸识别请求，以随机生成所述语句；以及
展示子模块，用于以文字、图片、或语音的形式展示所述语句的内容，其中所述语句为文字、单词、和/或拼音的组合。
11.如权利要求8或10所述的人脸识别系统，其特征在于，所述吻合度判断模块，具体包括：
第一区间子模块，用于通过所述唇部动作，生成唇动区间；
第二区间子模块，用于通过所述语音识别技术识别对所述语音信息进行识别，生成语音区间；
吻合度生成子模块，用于对比所述唇动区间与所述语音区间，生成所述唇部动作信息与所述语音信息的吻合度。
12.如权利要求11所述的人脸识别系统，其特征在于，
所述唇动检测模块，还用于接收所述唇部动作信息，并当所述变化幅度值不大于所述唇动阈值时，发送识别失败的通知至所述请求响应模块；以及
所述请求响应模块，还用于接收所述识别失败的通知，并拒绝所述人脸识别请求。
CN201510319470.9A 2015-06-11 2015-06-11 人脸识别方法及识别系统 Active CN104966053B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510319470.9A CN104966053B (zh) 2015-06-11 2015-06-11 人脸识别方法及识别系统
PCT/CN2016/081170 WO2016197765A1 (zh) 2015-06-11 2016-05-05 人脸识别方法及识别系统
US15/644,043 US10650259B2 (en) 2015-06-11 2017-07-07 Human face recognition method and recognition system based on lip movement information and voice information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510319470.9A CN104966053B (zh) 2015-06-11 2015-06-11 人脸识别方法及识别系统

Publications (2)

Publication Number Publication Date
CN104966053A CN104966053A (zh) 2015-10-07
CN104966053B true CN104966053B (zh) 2018-12-28

Family

ID=54220091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510319470.9A Active CN104966053B (zh) 2015-06-11 2015-06-11 人脸识别方法及识别系统

Country Status (3)

Country Link
US (1) US10650259B2 (zh)
CN (1) CN104966053B (zh)
WO (1) WO2016197765A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966053B (zh) * 2015-06-11 2018-12-28 腾讯科技（深圳）有限公司 人脸识别方法及识别系统
CN105139503A (zh) * 2015-10-12 2015-12-09 北京航空航天大学 一种唇动口型识别门禁系统及识别方法
CN106599765B (zh) * 2015-10-20 2020-02-21 深圳市商汤科技有限公司 基于对象连续发音的视-音频判断活体的方法及系统
CN106809121A (zh) * 2015-11-27 2017-06-09 比亚迪股份有限公司 一种外后视镜调节方法和外后视镜调节装置及车辆
CN105450664B (zh) * 2015-12-29 2019-04-12 腾讯科技（深圳）有限公司 一种信息处理方法及终端
WO2018108263A1 (en) 2016-12-14 2018-06-21 Telefonaktiebolaget Lm Ericsson (Publ) Authenticating a user subvocalizing a displayed text
DE102017205458A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh System und ein Verfahren zur Erkennung von Augen und Händen, insbesondere für ein Kraftfahrzeug
US10586368B2 (en) * 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10936705B2 (en) * 2017-10-31 2021-03-02 Baidu Usa Llc Authentication method, electronic device, and computer-readable program medium
CN109754817A (zh) * 2017-11-02 2019-05-14 北京三星通信技术研究有限公司 信号处理方法及终端设备
CN110097368B (zh) * 2018-01-30 2024-07-26 财付通支付科技有限公司 人脸图像的识别方法、服务器、终端及服务设备
CN108427874A (zh) * 2018-03-12 2018-08-21 平安科技（深圳）有限公司 身份认证方法、服务器及计算机可读存储介质
CN110276230A (zh) * 2018-03-14 2019-09-24 阿里巴巴集团控股有限公司 用户认证、唇语识别的方法、装置和电子设备
CN108491708B (zh) * 2018-03-21 2019-12-27 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN110021297A (zh) * 2019-04-13 2019-07-16 上海影隆光电有限公司 一种基于音视频识别的智能显示方法及其装置
CN110544491A (zh) * 2019-08-30 2019-12-06 上海依图信息技术有限公司 一种实时关联说话人及其语音识别结果的方法及装置
CN110750152B (zh) * 2019-09-11 2023-08-29 云知声智能科技股份有限公司 一种基于唇部动作的人机交互方法和系统
CN110827823A (zh) * 2019-11-13 2020-02-21 联想(北京)有限公司 语音辅助识别方法、装置、存储介质及电子设备
CN111341350A (zh) * 2020-01-18 2020-06-26 南京奥拓电子科技有限公司 人机交互控制方法、系统、智能机器人及存储介质
CN111325139B (zh) * 2020-02-18 2023-08-04 浙江大华技术股份有限公司 一种唇语识别方法及装置
WO2021191659A1 (en) * 2020-03-24 2021-09-30 Rakuten, Inc. Liveness detection using audio-visual inconsistencies
CN111552833A (zh) * 2020-03-30 2020-08-18 深圳壹账通智能科技有限公司 智能双录方法、装置及存储介质
GB202014436D0 (en) * 2020-09-14 2020-10-28 Voice Biometrics Limted Multifactor voice and face authentication systems and methods
US11715330B2 (en) * 2020-12-29 2023-08-01 Nec Corporation Of America Liveness detection in an interactive video session
CN112822219A (zh) * 2021-03-01 2021-05-18 浙江大华技术股份有限公司 多媒体数据的验证方法、装置、系统及存储介质
CN113641980A (zh) * 2021-08-23 2021-11-12 北京百度网讯科技有限公司 认证方法及装置，电子设备和介质
CN113918131B (zh) * 2021-12-09 2022-07-19 成都泰盟软件有限公司 一种人脸识别方法及系统
CN115205949B (zh) * 2022-09-05 2022-12-06 腾讯科技（深圳）有限公司 图像生成方法以及相关设备
CN116259100B (zh) * 2022-09-28 2024-09-03 北京中关村科金技术有限公司 基于唇动跟踪的识别方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886301A (zh) * 2014-03-28 2014-06-25 中国科学院自动化研究所 一种人脸活体检测方法
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统
CN104951730A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种唇动检测方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
KR20130022607A (ko) * 2011-08-25 2013-03-07 삼성전자주식회사 입술 이미지를 이용한 음성 인식 장치 및 이의 음성 인식 방법
CN104683302A (zh) * 2013-11-29 2015-06-03 国际商业机器公司 认证方法、认证装置、终端设备、认证服务器及系统
CN104376250A (zh) * 2014-12-03 2015-02-25 优化科技（苏州）有限公司 基于音型像特征的真人活体身份验证方法
US10049287B2 (en) * 2015-05-22 2018-08-14 Oath Inc. Computerized system and method for determining authenticity of users via facial recognition
CN104966053B (zh) * 2015-06-11 2018-12-28 腾讯科技（深圳）有限公司 人脸识别方法及识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951730A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种唇动检测方法、装置及电子设备
CN103886301A (zh) * 2014-03-28 2014-06-25 中国科学院自动化研究所 一种人脸活体检测方法
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN104598796A (zh) * 2015-01-30 2015-05-06 科大讯飞股份有限公司 身份识别方法及系统

Also Published As

Publication number Publication date
US20170308739A1 (en) 2017-10-26
CN104966053A (zh) 2015-10-07
WO2016197765A1 (zh) 2016-12-15
US10650259B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN104966053B (zh) 人脸识别方法及识别系统
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
WO2019134246A1 (zh) 基于人脸识别的安全监控方法、装置及存储介质
KR101759859B1 (ko) 전자 디바이스들 사이의 접속을 확립하기 위한 방법 및 장치
US20200134954A1 (en) Access control methods and apparatuses, systems, electronic devices, programs, and medium
EP3059733A2 (en) Automatic alerts for video surveillance systems
WO2017088727A1 (zh) 一种图像处理方法和装置
EP3890333A1 (en) Video cutting method and apparatus, computer device and storage medium
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN111240482B (zh) 一种特效展示方法及装置
EP3872652A2 (en) Method and apparatus for processing video, electronic device, medium and product
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
JP2015529354A (ja) 顔認識のための方法および装置
US10255487B2 (en) Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
US10839210B2 (en) Iris recognition method, electronic device and computer-readable storage medium
US20180341824A1 (en) Recognizing biological feature
US20190116310A1 (en) Method of processing object in image and apparatus for same
CN105975554B (zh) 基于移动终端的大数据搜索方法及装置
US20230410221A1 (en) Information processing apparatus, control method, and program
Salunkhe et al. Android-based object recognition application for visually impaired
CN107992872B (zh) 一种对图片进行文本识别的方法及移动终端
US20220343617A1 (en) Image analysis device, control method, and program
CN108734099A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN103984415A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210929

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.