CN110807356A - 一种基于图像唇语识别验证码的活体检测方法 - Google Patents

一种基于图像唇语识别验证码的活体检测方法 Download PDF

Info

Publication number
CN110807356A
CN110807356A CN201910867915.5A CN201910867915A CN110807356A CN 110807356 A CN110807356 A CN 110807356A CN 201910867915 A CN201910867915 A CN 201910867915A CN 110807356 A CN110807356 A CN 110807356A
Authority
CN
China
Prior art keywords
lip
verification code
image
sequence
language identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910867915.5A
Other languages
English (en)
Inventor
张成伟
吴明浩
吴巧巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Hengdao Zhirong Information Technology Co Ltd
Original Assignee
Chengdu Hengdao Zhirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Hengdao Zhirong Information Technology Co Ltd filed Critical Chengdu Hengdao Zhirong Information Technology Co Ltd
Priority to CN201910867915.5A priority Critical patent/CN110807356A/zh
Publication of CN110807356A publication Critical patent/CN110807356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

提供一种基于图像唇语识别验证码的活体检测方法，通过采集鉴别对象读取随机验证码的视频图像，依次对该视频图像进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列；根据训练的唇语识别模型识别嘴唇图像序列的对应的唇语信息，检测所述唇语信息与随机验证码中字符是否一致，根据结果是否完全一致确定鉴别对象是否为活体。鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值用于解决现有技术中无法确定检测对象的人脸是否为活体，导致身份识别系统的防伪能力弱，安全性低的问题。

Description

一种基于图像唇语识别验证码的活体检测方法
技术领域
本申请涉及深度学习与人工智能能技术领域，是一种基于图像唇语识别验证码的活体检测方法。
背景技术
随着生物特征识别技术的发展，人脸识别方法已经成为一种确认用户身份的常用方法。现有技术中，一些人脸识别方法中增加了人脸活体鉴别的方法，可以较好的进行人脸检测与识。
然而，现有人脸识别过程，特别是基于面部识别的过程中，非法登录者可以通过伪造人脸来“欺骗”摄像头或者其他图像采集设备，使得图像采集设备获取的照片并非是活体人脸照片。例如使用注册者的人脸照片或者人脸视频片段置于图像采集设备之前，图像采集设备所获取的当前用户的面部照片实则是来自于照片或者视频片段，或者，非法登录者还可以伪造三维人脸模型，将该三维人脸模型置于图像采集设备之前，此时图像采集设备所获取的人脸照片为三维人脸模型的照片，但是在进行基于五官的特征和分布的比对时，是无法察觉这一点的，这就造成了身份识别系统的防伪能力弱，安全性低的问题。
发明内容
本发明的目的在于提供一种活体检测方法，用于解决现有技术中无法确定检测对象的人脸是否为活体，导致身份识别系统的防伪能力弱，安全性低的问题。
本发明的实施例是这样实现的：
一种基于图像唇语识别验证码的活体检测方法，其特征在于：包括如下步骤：
采集鉴别对象读取随机验证码的视频图像；
获取每帧所述视频图像中嘴唇区域的嘴唇图像序列；
根据连续多帧所述嘴唇序列调用预先训练的唇语识别模型识别鉴别验证码信息；
检测模型预测验证码与随机验证码中字符是否一致；当预测验证码与随机验证码中字符一致时，鉴别对象为活体。
在本发明的一些实施例中，所述随机验证码是根据预先的训练集中随机生成的，通过图像采集设备采集鉴别对象读取随机验证码的视频图像。
在本发明的一些实施例中，所采集到的图像具有即时性，保证所采集到的图像是当前出于图像采集区域的人的图像。
在本发明的一些实施例中，所述的嘴唇区域所对应嘴唇变化包含唇部形状、唇部纹理与唇部颜色中任意一种。
在本发明的一些实施例中，所述的嘴唇图像序列包含唇部形状序列、唇部纹理序列与唇部颜色序列中任意一种，嘴唇变化与嘴唇图像序列一一对应。
在本发明的一些实施例中，对所述嘴唇趋于的提取，采用dlib库提取视频图像帧中的人脸关键点，根据嘴唇的关键点，经过仿射变换，得到以嘴唇为中心的嘴唇图像序列。
在本发明的一些实施例中，所述的唇语识别模型采用3D卷积神经网络对嘴唇图像序列进行卷积，通过3层3D卷积神经网络提取图像序列的特征，并将该特征送入双向GRU循环神经网络，最后将输出的特征序列经过softmax进行分类判断口型。
在本发明的一些实施例中，所述的唇语识别模型在使用前，用收集的读数字验证码的视频作为训练集对所述唇语识别模型进行训练，从而识别出嘴唇读取随机验证码的信息。
在本发明的一些实施例中，所述的唇语识别模型采用CTC损失来解决输入序列和输出序列不对应的问题。
在本发明的一些实施例中，所采集到的随机验证码的视频图像，依次对该视频进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列。
本发明实施例至少具有如下优点或有益效果：
1、可以解决现有技术中，无法确定活体检测对象的人脸是否为活体，导致身份识别系统防卫能力弱，安全性低的问题。
2、通过CTC损失，可以有效的解决视频中各个时刻的嘴型和验证码不是一一对应的问题，减少了手动对嘴唇序列和验证码各位依次对齐的操作，节省了操作时间。
3、即时通过图像采集设备进行获取，可以保证所获取的图像是当前处于图像采集设备的图像采集区域的人的图像。
4、鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例基于图像唇语识别验证码的活体检测方法的结构示意图。
图2是本发明实施例唇语识别模型处理流程神经网络结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，“多个”代表至少2个。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
提供一种基于图像春雨识别验证码的活体检测方法，用于检测鉴别对象的人脸图像以识别其是否为活人，所述活体检测方法包括：
步骤1，采集鉴别对象读取随机验证码的视频图像；
具体地，所述随机验证码是根据预先的训练集中随机生成的，通过图像采集设备采集鉴别对象读取随机验证码的视频图像，其中，需要通过相关的图像采集设备进行人脸图像的获取；即时通过图像采集设备进行获取，这样，可以保证所获取的图像是当前处于图像采集设备的图像采集区域的人的图像。
步骤2，获取每帧所述视频图像中嘴唇区域的嘴唇图像序列；
具体地，本申请中嘴唇区域所对应嘴唇变化包含唇部形状、唇部纹理与唇部颜色中任意一种，其中，嘴唇图像序列包含唇部形状序列、唇部纹理序列与唇部颜色序列中任意一种，而嘴唇变化与嘴唇图像序列一一对应。
步骤3，根据连续多帧所述嘴唇序列调用预先训练的唇语识别模型识别鉴别验证码信息；
具体地，在使用唇语识别模型之前，用10万个收集的读数字验证码的视频作为训练集对所述唇语识别模型进行训练，然后，识别出嘴唇读取随机验证码的信息，读数字验证码视频是线上运行的数字验证码活检的产品，主要是指先生成4位数的验证码，然后用手机等设备录制用户朗读验证码等过程，就得到了视频文件，此类文件可以作为唇语识别训练数据的训练模型。
步骤4，检测模型预测验证码与随机验证码中字符是否一致；当预测验证码与随机验证码中字符一致时，鉴别对象为活体。
具体地，检测模型预测验证码与随机验证码中字符是否一致；当检测模型预测验证码与随机验证码中字符一致时，鉴别对象为活体；检测模型预测验证码与随机验证码中字符不一致时，鉴别对象不为活体。
对于步骤2中的嘴唇区域的的提取，本申请使用dlib库提取视频图像帧中的人脸关键点，根据嘴唇的关键点，经过仿射变换，得到以嘴唇为中心的嘴唇图像序列。
对于步骤3中的唇语识别模型，网络结构如图2所示。本申请先运用3D卷积神经网络对嘴唇图像序列进行卷积，通过3层的3D卷积神经网络提取图像序列的特征，然后将特征送入双向的GRU循环神经网络，进一步学习时间维度的相关信息，最后将输出的特征序列经过softmax进行分类判断口型。对网络的训练本申请采用了CTC loss，此loss相对于交叉熵损失在该问题上有较大的优势。
CTC，Connectionist Temporal Classification，用来解决输入序列和输出序列难以一一对应的问题。在该问题中，视频中各个时刻的嘴型和验证码不是一一对应的，有人说块，有人说话慢，每个人说话快慢不同，不可能手动地对嘴唇序列和验证码各位依次对齐，这样太耗时。
综上所述，本申请通过采集鉴别对象读取随机验证码的视频图像，依次对该视频图像进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列；根据训练的唇语识别模型识别嘴唇图像序列的对应的唇语信息，检测所述唇语信息与随机验证码中字符是否一致，根据结果是否完全一致确定鉴别对象是否为活体。
鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像唇语识别验证码的活体检测方法，其特征在于：包括如下步骤：
采集鉴别对象读取随机验证码的视频图像；
获取每帧所述视频图像中嘴唇区域的嘴唇图像序列；
根据连续多帧所述嘴唇序列调用预先训练的唇语识别模型识别鉴别验证码信息；
检测模型预测验证码与随机验证码中字符是否一致；当预测验证码与随机验证码中字符一致时，鉴别对象为活体。
2.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述随机验证码是根据预先的训练集中随机生成的，通过图像采集设备采集鉴别对象读取随机验证码的视频图像。
3.根据权利要求1或2所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所采集到的图像具有即时性，保证所采集到的图像是当前出于图像采集区域的人的图像。
4.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述的嘴唇区域所对应嘴唇变化包含唇部形状、唇部纹理与唇部颜色中任意一种。
5.根据权利要求4所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述的嘴唇图像序列包含唇部形状序列、唇部纹理序列与唇部颜色序列中任意一种，嘴唇变化与嘴唇图像序列一一对应。
6.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，对所述嘴唇趋于的提取，采用dlib库提取视频图像帧中的人脸关键点，根据嘴唇的关键点，经过仿射变换，得到以嘴唇为中心的嘴唇图像序列。
7.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述的唇语识别模型采用3D卷积神经网络对嘴唇图像序列进行卷积，通过3层3D卷积神经网络提取图像序列的特征，并将该特征送入双向GRU循环神经网络，最后将输出的特征序列经过softmax进行分类判断口型。
8.根据权利要求7所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述的唇语识别模型在使用前，用收集的读数字验证码的视频作为训练集对所述唇语识别模型进行训练，从而识别出嘴唇读取随机验证码的信息。
9.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所述的唇语识别模型采用CTC损失来解决输入序列和输出序列不对应的问题。
10.根据权利要求1所述的基于图像唇语识别验证码的活体检测方法，其特征在于，所采集到的随机验证码的视频图像，依次对该视频进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列。
CN201910867915.5A 2019-09-15 2019-09-15 一种基于图像唇语识别验证码的活体检测方法 Pending CN110807356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867915.5A CN110807356A (zh) 2019-09-15 2019-09-15 一种基于图像唇语识别验证码的活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867915.5A CN110807356A (zh) 2019-09-15 2019-09-15 一种基于图像唇语识别验证码的活体检测方法

Publications (1)

Publication Number Publication Date
CN110807356A true CN110807356A (zh) 2020-02-18

Family

ID=69487515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867915.5A Pending CN110807356A (zh) 2019-09-15 2019-09-15 一种基于图像唇语识别验证码的活体检测方法

Country Status (1)

Country Link
CN (1) CN110807356A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401134A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
CN112395963A (zh) * 2020-11-04 2021-02-23 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN113313231A (zh) * 2021-04-28 2021-08-27 上海淇玥信息技术有限公司 基于LipNet算法的反欺诈方法及系统、电子设备
CN113657135A (zh) * 2020-05-12 2021-11-16 北京中关村科金技术有限公司 基于深度学习的活体检测方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN108831463A (zh) * 2018-06-28 2018-11-16 广州华多网络科技有限公司 唇语合成方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统
CN106778496A (zh) * 2016-11-22 2017-05-31 重庆中科云丛科技有限公司 活体检测方法及装置
CN108831463A (zh) * 2018-06-28 2018-11-16 广州华多网络科技有限公司 唇语合成方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨明敏: ""基于深度学习的唇语识别数据库构建和算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401134A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113657135A (zh) * 2020-05-12 2021-11-16 北京中关村科金技术有限公司 基于深度学习的活体检测方法、装置及存储介质
CN112395963A (zh) * 2020-11-04 2021-02-23 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN112395963B (zh) * 2020-11-04 2021-11-12 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN113313231A (zh) * 2021-04-28 2021-08-27 上海淇玥信息技术有限公司 基于LipNet算法的反欺诈方法及系统、电子设备
CN113313231B (zh) * 2021-04-28 2024-05-24 上海淇玥信息技术有限公司 基于LipNet算法的身份识别方法及系统、电子设备

Similar Documents

Publication Publication Date Title
CN110807356A (zh) 一种基于图像唇语识别验证码的活体检测方法
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN107798281B (zh) 一种基于lbp特征的人脸活体检测方法和装置
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN108229427A (zh) 一种基于身份证件和人脸识别的身份安全验证方法及系统
CN106529414A (zh) 一种通过图像比对实现结果认证的方法
CN106339702A (zh) 一种基于多特征融合的人脸识别方法
CN110516649B (zh) 基于人脸识别的校友认证方法及系统
CN101329735A (zh) 一种手写签名鉴定设备及其方法
CN109685018A (zh) 一种人证校验方法、系统及相关设备
CN112215043A (zh) 一种人脸活体检测方法
CN108764096B (zh) 一种行人重识别系统和方法
CN105335691A (zh) 笑脸识别鼓励系统
CN107609515B (zh) 一种基于飞腾平台的双重验证的人脸比对系统及方法
WenJuan et al. A real-time lip localization and tacking for lip reading
CN113591747A (zh) 一种基于深度学习的多场景虹膜识别方法
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
CN112541432A (zh) 一种基于深度学习的视频牲畜身份认证系统及方法
CN114218543A (zh) 一种基于多场景表情识别的加密解锁系统及方法
CN112200001A (zh) 一种指定场景下深度伪造视频识别方法
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
CN113011544A (zh) 基于二维码的人脸生物信息识别方法、系统、终端、介质
CN106650363A (zh) 一种身份识别方法与系统
CN111008601A (zh) 一种基于视频的打架斗殴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination