CN106874857B - 一种基于视频分析的活体判别方法及系统 - Google Patents

一种基于视频分析的活体判别方法及系统 Download PDF

Info

Publication number
CN106874857B
CN106874857B CN201710044150.6A CN201710044150A CN106874857B CN 106874857 B CN106874857 B CN 106874857B CN 201710044150 A CN201710044150 A CN 201710044150A CN 106874857 B CN106874857 B CN 106874857B
Authority
CN
China
Prior art keywords
video
information
calculation
characteristic information
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710044150.6A
Other languages
English (en)
Other versions
CN106874857A (zh
Inventor
赵凌
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN201710044150.6A priority Critical patent/CN106874857B/zh
Publication of CN106874857A publication Critical patent/CN106874857A/zh
Priority to PCT/CN2018/072973 priority patent/WO2018133791A1/zh
Application granted granted Critical
Publication of CN106874857B publication Critical patent/CN106874857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了基于视频分析的活体判别方法及系统,应用于信息处理技术领域。在本实施例的方法中,基于视频分析的活体判别系统会通过待分析视频的第一特征信息及预置的分类模型得到待分析视频的类型判别参数值,然后根据类型判别参数值确定待分析视频是否属于活体视频。这样不需要与用户进行交互,也不需要配备双摄像头,只需录制一段视频,则基于视频分析的活体判别系统就会根据预置的机器学习模型(包括分类模型和特征提取模型)确定该段视频是否属于活体视频,简化了活体判别过程,方便了活体判别方法在各个领域的应用。

Description

一种基于视频分析的活体判别方法及系统
技术领域
本发明涉及信息处理技术领域,特别涉及一种基于视频分析的活体判别方法及系统。
背景技术
活体判别技术可以应用于越来越多的领域,比如人脸门禁、闸机、网络银行远程开户等领域的应用。具体地,在人脸门禁、闸机的应用中,需要验证当前用户确实是本栋楼层的合法用户,能够有效抵挡非法用户借用合法用户的照片通过系统的检测。
一种现有的活体判别方法,需要在实际应用场景中结合一定的交互,如摇头、眨眼等,当用户按照提示做出正确的交互后,才能通过活体检测,整个活体判别过程较繁琐,且存在用户不配合交互的情况,导致通过率较低,影响用户体验。而另一种基于双目视觉的活体判别方法,是通过双摄像头重建视频中的活体,计算重建三维模型是否在一个平面内,从而判断是否为活体,该方法需要配备双摄像头,且计算量大,不适用于嵌入式和移动端的活体判别。
发明内容
本发明实施例提供一种基于视频分析的活体判别方法及系统,实现了根据训练的机器学习模型确定待分析视频是否为活体视频。
本发明实施例提供一种基于视频分析的活体判别方法,包括:
根据预置的特征提取模型提取待分析视频的第一特征信息;
根据预置的分类模型及所述第一特征信息,计算所述待分析视频对应的类型判别参数值,所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息;
根据所述类型判别参数值确定所述待分析视频是否属于活体视频。
本发明实施例提供一种基于视频分析的活体判别系统,包括:
特征提取单元,用于根据预置的特征提取模型提取待分析视频的第一特征信息;
参数值计算单元,用于根据预置的分类模型及所述第一特征信息,计算所述待分析视频对应的类型判别参数值,所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息;
类型确定单元,用于根据所述类型判别参数值确定所述待分析视频是否属于活体视频。
可见,在本实施例的方法中,基于视频分析的活体判别系统会通过待分析视频的第一特征信息及预置的分类模型得到待分析视频的类型判别参数值,然后根据类型判别参数值确定待分析视频是否属于活体视频。这样不需要与用户进行交互,也不需要配备双摄像头,只需录制一段视频,则基于视频分析的活体判别系统就会根据预置的机器学习模型(包括分类模型和特征提取模型)确定该段视频是否属于活体视频,简化了活体判别过程,方便了活体判别方法在各个领域的应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于视频分析的活体判别方法的流程图;
图2是本发明实施例中提取待分析视频的第一特征信息的方法流程图;
图3是本发明应用实施例中提取的特征提取模型和分类模型的结构示意图;
图4是本发明实施例提供的一种基于视频分析的活体判别系统的结构示意图;
图5是本发明实施例提供的另一种基于视频分析的活体判别系统的结构示意图;
图6是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排它的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种基于视频分析的活体判别方法,主要是基于视频分析的活体判别系统所执行的方法,流程图如图1所示,包括:
步骤101,根据预置的特征提取模型提取待分析视频的第一特征信息,这里的第一特征信息可以包括时间特征信息和空间特征信息,其中空间特征信息具体是待分析视频包含的多帧图像的像素特征信息。
步骤102,根据预置的分类模型及第一特征信息,计算待分析视频对应的类型判别参数值,其中,分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息,这里的计算信息可以是指在将特征信息作为输入计算类型判别参数值的过程中所用到的数学公式和固定参数值等。
在本实施例中,预置的特征提取模型和分类模型可以是基于视频分析的活体判别系统对多个已标记活体视频和非活体视频的视频训练样本进行训练得到并储存在系统中的。具体地,特征提取模型可以采用深度学习网络,包括多个参数计算层(比如卷积层,全连接层等),在系统中可以储存该特征提取模型的数据包括各个参数计算层的计算参数值(比如卷积核信息等)及关系信息(比如参数计算层之间的连接关系),其中,卷积层可以对视频所包含的多帧图像的时间信息和像素信息进行卷积运算,从而可以得到视频的时间特征信息和像素特征信息,全连接层可以得到卷积层获取的特征信息之间的关联关系。
分类模型可以是二分类器,在一种情况下,系统中储存的分类模型的数据可以包括活体视频和非活体视频分别对应的基于特征信息的概率计算信息,包括概率计算公式和固定参数值,这样在执行本步骤102时,可以根据第一特征信息及概率计算信息计算待分析视频属于活体视频的第一概率和属于非活体视频的第二概率。该分类模型具体可以是softmax分类器等,其中,softmax分类器主要是将上述第一特征信息作为输入,并通过softmax函数计算待分析视频属于活体视频的第一概率和属于非活体视频的第二概率,且第一概率与第二概率之和为1。
在另一种情况下,系统中储存的分类模型的数据可以包括分别与活体视频和非活体视频的特征信息之间的距离计算信息,包括距离计算公式(可以是欧式距离计算公式等)及活体视频和非活体视频分别对应的特征信息等,这样在执行本步骤102时,可以根据距离计算信息计算上述第一特征信息分别与活体视频的特征信息的第一距离和非活体视频的特征信息的第二距离。该分类模型具体可以采用支持向量机(Support Vector Machines,SVM)分类器等。
步骤103,根据上述步骤102得到的类型判别参数值确定待分析视频是否属于活体视频。
一种情况下,如果上述步骤102计算的类型判别参数值为待分析视频属于活体视频的第一概率和属于非活体视频的第二概率,将第一概率和第二概率中较大概率的视频类型(活体视频或非活体视频)作为待分析视频的视频类型,比如属于活体视频的第一概率较大,则该待分析视频属于活体视频。另一种情况下,如果上述步骤102计算的类型判别参数值为第一特征信息分别与活体视频的特征信息的第一距离和非活体视频的特征信息的第二距离,则可以将第一距离和第二距离中较小距离对应的视频类型确定为待分析视频的类型,比如第一特征信息与活体视频的特征信息之间的第一距离较小,则该待分析视频属于活体视频。
可见,在本实施例的方法中,基于视频分析的活体判别系统会通过待分析视频的第一特征信息及预置的分类模型得到待分析视频的类型判别参数值,然后根据类型判别参数值确定待分析视频是否属于活体视频。这样不需要与用户进行交互,也不需要配备双摄像头,只需录制一段视频,则基于视频分析的活体判别系统就会根据预置的机器学习模型(包括分类模型和特征提取模型)确定该段视频是否属于活体视频,简化了活体判别过程,方便了活体判别方法在各个领域的应用。
参考图2所示,在一个具体的实施例中,基于视频分析的活体判别系统可以通过如下步骤来执行上述步骤101中的提取第一特征信息,具体包括:
步骤201,将待分析视频分为多段n帧的子视频,两段相邻的子视频之间有m帧的重叠图像,这里n为大于m的自然数。
可以理解,每段视频都包含多个帧的图像,每一帧的图像表示某个时间点的图像,本实施例中待分析视频划分的多段子视频中,每相邻的两段子视频之间具有重叠图像,这样使得子视频之间具有关联性。
步骤202,分别根据特征提取模型提取多段子视频的特征信息。
其中,如果特征提取模型可以包括卷积层,池化层和全连接层,则基于视频分析的活体判别系统在提取某一个子视频的特征信息时,可以通过如下步骤来实现,具体包括:
步骤A,通过卷积层对某一子视频的时间信息和像素信息进行卷积计算得到t个维度的时间特征信息和像素特征信息,具体是通过多个卷积核分别与子视频包含的多帧图像中相应位置的元素值(包括时间和像素)进行相乘,再将相乘的结果相加得到t个维度的时间特征信息和像素特征信息。
步骤B,通过池化层将t个维度的时间特征信息和像素特征信息进行降维处理得到p个维度的时间特征信息和像素特征信息,p为小于t的自然数。
步骤C,通过全连接层确定p个维度的时间特征信息和像素特征信息之间的关联关系,具体可以通过各个维度的时间特征信息和像素特征信息的权重值来表示该关联关系,则某一子视频的特征信息包括具有关联关系的p个维度的时间特征信息和像素特征信息。
步骤203,计算步骤202提取的多段子视频的特征信息的平均值作为待分析视频的第一特征信息。
进一步地,上述预置的特征提取模型可以采用如下方法进行训练得到:分别将多个视频训练样本包含的图像的元素值(包括时间信息和像素信息)输入到计算网络中计算得到对应的特征信息,这里计算网络包括多个串联的参数计算层,任一参数计算层根据输入信息与对应的计算参数值得到计算结果,并将计算结果输入到下一参数计算层,参数计算层包括卷积层,池化层和全连接层。在这个过程中,当得到一个视频训练样本对应的特征信息后,都会调整计算网络中的各个参数计算层对应的计算参数值,并基于调整后的计算网络得到另一视频训练样本的特征信息,使得另一视频训练样本的特征信息满足收敛条件,则特征提取模型为进行调整后的计算网络。在训练得到特征提取模型后,活体判别系统会储存该计算网络的结构信息及最终调整得到的各个参数计算层对应的计算参数值。
其中,计算网络可以是任意结构的计算网络,这里并不对该计算网络的具体结构进行限定,上述训练的过程是多计算网络中各个参数计算层的计算参数值进行训练。
在训练得到特征提取模型后,活体判别系统可以继续训练得到分类模型,具体地,根据多个视频训练样本中属于活体视频的第一视频训练样本对应的第二特征信息确定活体视频的基于特征信息的第一概率计算信息,使得根据该确定的第一概率计算信息得到的概率大于0.5;或者,根据多个视频训练样本中属于非活体视频的第二视频训练样本对应的第三特征信息确定非活体视频的基于特征信息的第二概率计算信息,使得根据该确定的第二概率计算信息得到的概率大于0.5。其中任一概率计算信息(第一概率计算信息或第二概率计算信息)可以包括概率计算公式和固定参数等信息。
以下以一个具体的应用实例说明本实施例的基于视频分析的活体判别方法,本实施例可以包括两个过程,即离线训练过程和在线预测过程,具体地:
(1)离线训练过程,主要是对多个已标记活体视频和非活体视频的视频训练样本进行训练得到特征提取模型和分类模型,包括前期训练(train)过程和微调(finetune)过程。
具体地,活体判别系统会对多个视频训练样本进行训练,得到如图3所示的计算网络中各个参数计算层的计算信息,具体训练过程见上述实施例中所述,在此不进行赘述。需要说明的是,在前期训练过程中,在提取得到多个视频训练样本对应的特征信息后,会使用分类器对视频的通用问题进行分类,即可将这多个视频训练样本分为多个类型,不限定于活体视频和非活体视频两种类型,这样通过前提训练过程训练出如图3所示的计算网络中各个参数计算层的初始计算信息;而在微调过程中,会对前期训练过程得到的计算网络中各个参数计算层的初始计算信息进行调整,使得分类器只对视频属于活体视频和非活体视频的两个类型进行训练,且通过微调过程训练得到的计算网络中各个参数计算层的最终计算信息作为以后在线预测过程的参数。实践证明,通过前期训练过程可以得到较好的初始计算信息,从而使得得到的最终计算信息在应用中效果比较好,即根据最终计算信息确定待分析视频的视频类型(活体视频或非活体视频)的效果比较好。
其中,该计算网络包括8个三维(three-dimensional,3D)卷积层,5个池化(pooling)层和2个全连接层,还包括Softmax分类器,其中Softmax分类器属于分类模型,其它都属于特征提取模型。各个卷积层包括3x3x3的卷积核,卷积跨度(stride)在空间和时间序列维度均为1,卷积层1a包括64个卷积核,卷积层2a的卷积核为128个,卷积层3a和3b的卷积核数量相同,均为256,卷积层4a,4b,5a和5b四个卷积层的卷积核数量相同,均为512;第一个池化层的核大小为1x2x2,其它池化层的核大小为2x2x2;全连接层的输出维度均为4096维。
需要说明的是,计算网络可以是任意结构,并不限定于如图3所示的结构,上述训练的过程是多计算网络中各个参数计算层的计算参数值进行训练。
(2)在线预测过程,主要是使用微调后得到的计算网络中各个参数计算层的计算信息对待分析视频是否属于活体视频。
具体地,活体判别系统会先将待分析视频分解为多个16帧的子视频,相邻的两段子视频之间有8帧重叠图像;然后将分解后的各个子视频所包含的16帧图像的元素值输入到上述训练得到的计算网络,通过全连接层6得到每段子视频分别对应的4096维特向量,通过全连接层7将这些特征向量进行平均,即得到得分析视频的特征向量,即待分析视频的特征信息;最后根据Softmax分类器和待分析视频的特征信息分别计算得到待分析视频属于活体视频和非活体视频的概率,并将较大概率对应的视频类型确定为待分析视频的视频类型。
本发明实施例还提供一种基于视频分析的活体判别系统,其结构示意图如图4所示,具体可以包括:
特征提取单元10,用于根据预置的特征提取模型提取待分析视频的第一特征信息;
参数值计算单元11,用于根据预置的分类模型及所述特征提取单元10提取的第一特征信息,计算所述待分析视频对应的类型判别参数值,所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息;
类型确定单元12,用于根据所述参数值计算单元11计算的类型判别参数值确定所述待分析视频是否属于活体视频。
在一种情况下,所述参数值计算单元11,具体用于如果所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的概率计算信息,根据所述第一特征信息及所述概率计算信息计算所述待分析视频属于活体视频的第一概率和属于非活体视频的第二概率;所述类型确定单元12,具体用于将所述第一概率和第二概率中较大概率的视频类型确定为所述待分析视频的类型。
在另一种情况下,所述参数值计算单元11,具体用于如果所述分类模型的数据包括分别与活体视频和非活体视频的特征信息之间的距离计算信息,根据所述距离计算信息计算所述第一特征信息分别与活体视频的特征信息的第一距离和非活体视频的特征信息的第二距离;所述类型确定单元12,具体用于将所述第一距离和第二距离中较小距离对应的视频类型确定为所述待分析视频的类型。
可见,在本实施例的系统中,参数值计算单元11会通过待分析视频的第一特征信息及预置的分类模型得到待分析视频的类型判别参数值,然后类型确定单元12根据类型判别参数值确定待分析视频是否属于活体视频。这样不需要与用户进行交互,也不需要配备双摄像头,只需录制一段视频,则基于视频分析的活体判别系统就会根据预置的机器学习模型(包括分类模型和特征提取模型)确定该段视频是否属于活体视频,简化了活体判别过程,方便了活体判别方法在各个领域的应用。
参考图5所示,在一个具体的实施例中,判别系统除了可以包括如图4所示的结构外,还可以包括提取模型训练单元13和分类模型训练单元14,且系统中的特征提取单元10可以通过划分单元110,提取单元120和确定单元130来实现,具体地:
划分单元110,用于将所述待分析视频分为多段n帧的子视频,两段相邻的所述子视频之间有m帧的重叠图像,所述n为大于m的自然数;
提取单元120,用于分别根据所述特征提取模型提取所述划分单元110划分的多段子视频的特征信息;
确定单元130,用于计算所述提取单元120得到的多段子视频的特征信息的平均值作为所述第一特征信息。这样参数计算单元11会根据确定单元130确定的第一特征信息
其中,所述提取单元120,具体用于如果所述特征提取模型包括卷积层,池化层和全连接层,通过所述卷积层对所述某一子视频的时间信息和像素信息进行卷积计算得到t个维度的时间特征信息和像素特征信息;通过所述池化层将所述t个维度的时间特征信息和像素特征信息进行降维处理得到p个维度的时间特征信息和像素特征信息;通过所述全连接层确定所述p个维度的时间特征信息和像素特征信息之间的关联关系,则所述某一子视频的特征信息包括具有所述关联关系的p个维度的时间特征信息和像素特征信息。
提取模型训练单元13,用于分别将多个视频训练样本包含的图像的元素值输入到计算网络中计算得到对应的特征信息,所述计算网络包括多个串联的参数计算层,任一参数计算层根据输入信息与对应的计算参数值得到计算结果,并将计算结果输入到下一参数计算层;其中,在得到一个视频训练样本对应的特征信息后,调整所述计算网络中的各个参数计算层对应的计算参数值,并基于调整后的计算网络得到另一视频训练样本的特征信息,使得另一视频训练样本的特征信息满足收敛条件,则所述特征提取模型为进行所述调整后的计算网络。这样特征提取单元10所包括的提取单元120在提取任一子视频的特征信息时,会根据该提取模型训练单元13训练得到的特征提取模型进行提取。
分类模型训练单元14,用于根据所述多个视频训练样本中属于活体视频的第一视频训练样本对应的第二特征信息确定活体视频的基于特征信息的第一概率计算信息,使得根据所述第一概率计算信息得到的概率大于0.5;或,根据所述多个视频训练样本中属于非活体视频的第二视频训练样本对应的第三特征信息确定非活体视频的基于特征信息的第二概率计算信息,使得根据所述第二概率计算信息得到的概率大于0.5。这样参数值计算单元11会根据该分类模型训练单元14训练得到的分类模型及上述特征提取单元10所包括的确定单元130确定的第一特征信息,计算待分析视频的类型判别参数值。
本发明实施例还提供一种终端设备,其结构示意图如图6所示,该终端设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)20(例如,一个或一个以上处理器)和存储器21,一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中,存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对终端设备中的一系列指令操作。更进一步地,中央处理器20可以设置为与存储介质22通信,在终端设备上执行存储介质22中的一系列指令操作。
具体地,在存储介质22中储存的应用程序221包括基于视频分析的活体判别的应用程序,且该程序可以包括上述基于视频分析的活体判别系统中的特征提取单元10,参数值计算单元11,类型确定单元12,提取模型训练单元13和分类模型训练单元14,在此不进行赘述。更进一步地,中央处理器20可以设置为与存储介质22通信,在终端设备上执行存储介质22中储存的基于视频分析的活体判别的应用程序对应的一系列操作。
终端设备还可以包括一个或一个以上电源23,一个或一个以上有线或无线网络接口24,一个或一个以上输入输出接口25,和/或,一个或一个以上操作系统223,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述方法实施例中所述的由基于视频分析的活体判别系统所执行的步骤可以基于该图6所示的终端设备的结构。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。
以上对本发明实施例所提供的基于视频分析的活体判别方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种基于视频分析的活体判别方法,其特征在于,包括:
根据预置的特征提取模型提取待分析视频的第一特征信息;所述待分析视频包括多段n帧的子视频,两段相邻的所述子视频之间有m帧的重叠图像,所述n为大于m的自然数;所述第一特征信息为多段子视频的特征信息的平均值;所述多段子视频中任一段子视频的特征信息中包括时间特征信息和像素特征信息;
根据预置的分类模型及所述第一特征信息,计算所述待分析视频对应的类型判别参数值,所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息;
根据所述类型判别参数值确定所述待分析视频是否属于活体视频;
所述根据预置的特征提取模型提取待分析视频的第一特征信息之前,还包括:在前期训练时,分别将多个视频训练样本包含的图像的元素值输入到计算网络中计算得到对应的特征信息,采用分类器根据所述特征信息对所述视频训练样本的通用问题进行分类,所述计算网络包括多个串联的参数计算层,任一参数计算层根据输入信息与对应的计算参数值得到计算结果,并输入到下一参数计算层;
其中,在得到一个视频训练样本对应的特征信息后,调整所述计算网络中的各个参数计算层对应的计算参数值,并基于调整后的计算网络得到另一视频训练样本的特征信息,使得另一视频训练样本的特征信息满足收敛条件,得到所述计算网络中各个参数计算层的初始计算信息;
在微调时,对所述计算网络中各个参数计算层的初始计算信息进行调整,得到计算网络中各个参数计算层的最终计算信息,则所述特征提取模型为包括所述最终计算信息的计算网络,其中,在微调时,所述分类器对所述视频训练样本属于活体视频或非活体视频的类型进行分类。
2.如权利要求1所述的方法,其特征在于,所述根据预置的特征提取模型提取待分析视频的第一特征信息,具体包括:
将所述待分析视频分为多段n帧的子视频;
分别根据所述特征提取模型提取所述多段子视频的特征信息;
计算所述多段子视频的特征信息的平均值作为所述第一特征信息。
3.如权利要求2所述的方法,其特征在于,所述特征提取模型包括卷积层,池化层和全连接层,根据所述特征提取模型提取所述多段子视频中某一子视频的特征信息,具体包括:
通过所述卷积层对所述某一子视频的时间信息和像素信息进行卷积计算得到t个维度的时间特征信息和像素特征信息;
通过所述池化层将所述t个维度的时间特征信息和像素特征信息进行降维处理得到p个维度的时间特征信息和像素特征信息;
通过所述全连接层确定所述p个维度的时间特征信息和像素特征信息之间的关联关系,则所述某一子视频的特征信息包括具有所述关联关系的p个维度的时间特征信息和像素特征信息。
4.如权利要求1至3任一项所述的方法,其特征在于,所述分类模型的数据包括活体视频和非活体视频分别对应的基于特征信息的概率计算信息,则所述根据预置的分类模型及第一特征信息,计算所述待分析视频对应的类型判别参数值,具体包括:
根据所述第一特征信息及所述概率计算信息计算所述待分析视频属于活体视频的第一概率和属于非活体视频的第二概率;
所述根据所述类型判别参数值确定所述待分析视频是否属于活体视频,具体包括:将所述第一概率和第二概率中较大概率的视频类型确定为所述待分析视频的类型。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述多个视频训练样本中属于活体视频的第一视频训练样本对应的第二特征信息确定活体视频的基于特征信息的第一概率计算信息,使得根据所述第一概率计算信息得到的概率大于0.5;或,
根据所述多个视频训练样本中属于非活体视频的第二视频训练样本对应的第三特征信息确定非活体视频的基于特征信息的第二概率计算信息,使得根据所述第二概率计算信息得到的概率大于0.5。
6.如权利要求1至3任一项所述的方法,其特征在于,所述分类模型的数据包括分别与活体视频和非活体视频的特征信息之间的距离计算信息,则所述根据预置的分类模型及第一特征信息,计算所述待分析视频对应的类型判别参数值,具体包括:
根据所述距离计算信息计算所述第一特征信息分别与活体视频的特征信息的第一距离和非活体视频的特征信息的第二距离;
所述根据所述类型判别参数值确定所述待分析视频是否属于活体视频,具体包括:将所述第一距离和第二距离中较小距离对应的视频类型确定为所述待分析视频的类型。
7.一种基于视频分析的活体判别系统,其特征在于,包括:
特征提取单元,用于根据预置的特征提取模型提取待分析视频的第一特征信息;所述待分析视频包括多段n帧的子视频,两段相邻的所述子视频之间有m帧的重叠图像,所述n为大于m的自然数;所述第一特征信息为多段子视频的特征信息的平均值;所述多段子视频中任一段子视频的特征信息中包括时间特征信息和像素特征信息;
参数值计算单元,用于根据预置的分类模型及所述第一特征信息,计算所述待分析视频对应的类型判别参数值,所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的类型判别参数的计算信息;
类型确定单元,用于根据所述类型判别参数值确定所述待分析视频是否属于活体视频;
提取模型训练单元,用于在前期训练时,分别将多个视频训练样本包含的图像的元素值输入到计算网络中计算得到对应的特征信息,采用分类器根据所述特征信息对所述视频训练样本的通用问题进行分类,所述计算网络包括多个串联的参数计算层,任一参数计算层根据输入信息与对应的计算参数值得到计算结果,并输入到下一参数计算层;
其中,在得到一个视频训练样本对应的特征信息后,调整所述计算网络中的各个参数计算层对应的计算参数值,并基于调整后的计算网络得到另一视频训练样本的特征信息,使得另一视频训练样本的特征信息满足收敛条件,得到所述计算网络中各个参数计算层的初始计算信息;
在微调时,对所述计算网络中各个参数计算层的初始计算信息进行调整,得到计算网络中各个参数计算层的最终计算信息,则所述特征提取模型为包括所述最终计算信息的计算网络,其中,在微调时,所述分类器对所述视频训练样本属于活体视频或非活体视频的类型进行分类。
8.如权利要求7所述的系统,其特征在于,所述特征提取单元具体包括:
划分单元,用于将所述待分析视频分为多段n帧的子视频;
提取单元,用于分别根据所述特征提取模型提取所述多段子视频的特征信息;
确定单元,用于计算所述多段子视频的特征信息的平均值作为所述第一特征信息。
9.如权利要求8所述的系统,其特征在于,
所述提取单元,具体用于如果所述特征提取模型包括卷积层,池化层和全连接层,通过所述卷积层对某一子视频的时间信息和像素信息进行卷积计算得到t个维度的时间特征信息和像素特征信息;通过所述池化层将所述t个维度的时间特征信息和像素特征信息进行降维处理得到p个维度的时间特征信息和像素特征信息;通过所述全连接层确定所述p个维度的时间特征信息和像素特征信息之间的关联关系,则所述某一子视频的特征信息包括具有所述关联关系的p个维度的时间特征信息和像素特征信息。
10.如权利要求7至9任一项所述的系统,其特征在于,
所述参数值计算单元,具体用于如果所述分类模型包括活体视频和非活体视频分别对应的基于特征信息的概率计算信息,根据所述第一特征信息及所述概率计算信息计算所述待分析视频属于活体视频的第一概率和属于非活体视频的第二概率;
所述类型确定单元,具体用于将所述第一概率和第二概率中较大概率的视频类型确定为所述待分析视频的类型。
11.如权利要求10所述的系统,其特征在于,还包括:
分类模型训练单元,用于根据所述多个视频训练样本中属于活体视频的第一视频训练样本对应的第二特征信息确定活体视频的基于特征信息的第一概率计算信息,使得根据所述第一概率计算信息得到的概率大于0.5;或,根据所述多个视频训练样本中属于非活体视频的第二视频训练样本对应的第三特征信息确定非活体视频的基于特征信息的第二概率计算信息,使得根据所述第二概率计算信息得到的概率大于0.5。
12.如权利要求7至9任一项所述的系统,其特征在于,
所述参数值计算单元,具体用于如果所述分类模型的数据包括分别与活体视频和非活体视频的特征信息之间的距离计算信息,根据所述距离计算信息计算所述第一特征信息分别与活体视频的特征信息的第一距离和非活体视频的特征信息的第二距离;
所述类型确定单元,具体用于将所述第一距离和第二距离中较小距离对应的视频类型确定为所述待分析视频的类型。
13.一种存储介质,其特征在于,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如权利要求1至6任一项所述的基于视频分析的活体判别方法。
14.一种终端设备,其特征在于,包括处理器和存储介质;
所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如权利要求1至6任一项所述的基于视频分析的活体判别方法;所述处理器,用于实现所述多条指令中的各条指令。
CN201710044150.6A 2017-01-19 2017-01-19 一种基于视频分析的活体判别方法及系统 Active CN106874857B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710044150.6A CN106874857B (zh) 2017-01-19 2017-01-19 一种基于视频分析的活体判别方法及系统
PCT/CN2018/072973 WO2018133791A1 (zh) 2017-01-19 2018-01-17 一种基于视频分析的活体判别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710044150.6A CN106874857B (zh) 2017-01-19 2017-01-19 一种基于视频分析的活体判别方法及系统

Publications (2)

Publication Number Publication Date
CN106874857A CN106874857A (zh) 2017-06-20
CN106874857B true CN106874857B (zh) 2020-12-01

Family

ID=59159164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710044150.6A Active CN106874857B (zh) 2017-01-19 2017-01-19 一种基于视频分析的活体判别方法及系统

Country Status (2)

Country Link
CN (1) CN106874857B (zh)
WO (1) WO2018133791A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874857B (zh) * 2017-01-19 2020-12-01 腾讯科技(上海)有限公司 一种基于视频分析的活体判别方法及系统
CN107992842B (zh) * 2017-12-13 2020-08-11 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN108133020A (zh) * 2017-12-25 2018-06-08 上海七牛信息技术有限公司 视频分类方法、装置、存储介质及电子设备
CN108182409B (zh) * 2017-12-29 2020-11-10 智慧眼科技股份有限公司 活体检测方法、装置、设备及存储介质
CN108509803B (zh) * 2018-03-15 2019-06-07 平安科技(深圳)有限公司 一种应用图标的显示方法及终端设备
CN108399401B (zh) * 2018-03-27 2022-05-03 百度在线网络技术(北京)有限公司 用于检测人脸图像的方法和装置
CN110443102B (zh) * 2018-05-04 2022-05-24 北京眼神科技有限公司 活体人脸检测方法及装置
CN109308719B (zh) * 2018-08-31 2022-03-15 电子科技大学 一种基于三维卷积的双目视差估计方法
CN109858381A (zh) * 2019-01-04 2019-06-07 深圳壹账通智能科技有限公司 活体检测方法、装置、计算机设备和存储介质
CN110147711B (zh) * 2019-02-27 2023-11-14 腾讯科技(深圳)有限公司 视频场景识别方法、装置、存储介质和电子装置
CN110110660B (zh) * 2019-05-07 2023-04-07 广东工业大学 手部操作行为的分析方法、装置及设备
WO2020243967A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的方法、装置和电子设备
CN110378219B (zh) * 2019-06-13 2021-11-19 北京迈格威科技有限公司 活体检测方法、装置、电子设备及可读存储介质
CN111091047B (zh) * 2019-10-28 2021-08-27 支付宝(杭州)信息技术有限公司 活体检测方法、装置、服务器和人脸识别设备
CN111178204B (zh) * 2019-12-20 2023-05-09 深圳大学 一种视频数据编辑识别方法、装置、智能终端及存储介质
CN113128258B (zh) * 2019-12-30 2022-10-04 杭州海康威视数字技术股份有限公司 活体检测方法、装置、电子设备及存储介质
CN112215133B (zh) * 2020-10-10 2023-09-08 中国平安人寿保险股份有限公司 基于人工智能的学员态度识别方法、装置、计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310590A (zh) * 2012-03-06 2013-09-18 上海骏聿数码科技有限公司 一种驾驶员疲劳度分析及预警系统及方法
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN104182735A (zh) * 2014-08-18 2014-12-03 厦门美图之家科技有限公司 训练优化的基于卷积神经网络的色情图像或视频检测方法
CN105095867A (zh) * 2015-07-21 2015-11-25 哈尔滨多智科技发展有限公司 基于深度学习的快速动态人脸提取、识别方法
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法
CN105930710A (zh) * 2016-04-22 2016-09-07 北京旷视科技有限公司 活体检测方法和装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101185525B1 (ko) * 2005-07-29 2012-09-24 텔레콤 이탈리아 소시에떼 퍼 아찌오니 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
CN104933414B (zh) * 2015-06-23 2018-06-05 中山大学 一种基于wld-top的活体人脸检测方法
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
CN106874857B (zh) * 2017-01-19 2020-12-01 腾讯科技(上海)有限公司 一种基于视频分析的活体判别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310590A (zh) * 2012-03-06 2013-09-18 上海骏聿数码科技有限公司 一种驾驶员疲劳度分析及预警系统及方法
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
CN104182735A (zh) * 2014-08-18 2014-12-03 厦门美图之家科技有限公司 训练优化的基于卷积神经网络的色情图像或视频检测方法
CN105095867A (zh) * 2015-07-21 2015-11-25 哈尔滨多智科技发展有限公司 基于深度学习的快速动态人脸提取、识别方法
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法
CN105930710A (zh) * 2016-04-22 2016-09-07 北京旷视科技有限公司 活体检测方法和装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法

Also Published As

Publication number Publication date
WO2018133791A1 (zh) 2018-07-26
CN106874857A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874857B (zh) 一种基于视频分析的活体判别方法及系统
Sabir et al. Recurrent convolutional strategies for face manipulation detection in videos
CN109145784B (zh) 用于处理视频的方法和装置
US10915741B2 (en) Time domain action detecting methods and system, electronic devices, and computer storage medium
CN110490078B (zh) 监控视频处理方法、装置、计算机设备和存储介质
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
US20170193286A1 (en) Method and device for face recognition in video
CN110909651A (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN109376696B (zh) 视频动作分类的方法、装置、计算机设备和存储介质
US20220292351A1 (en) Systems, methods, and storage media for generating synthesized depth data
US20170116481A1 (en) Method for video matting via sparse and low-rank representation
CN112381782A (zh) 人脸图像质量评估方法、装置、计算机设备及存储介质
CN108900788B (zh) 视频生成方法、视频生成装置、电子装置及存储介质
CN110287848A (zh) 视频的生成方法及装置
CN107437083B (zh) 一种自适应池化的视频行为识别方法
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
Ding et al. Frame-recurrent video inpainting by robust optical flow inference
CN105979283A (zh) 视频转码方法和装置
CN112084954A (zh) 视频目标的检测方法、装置、电子设备及存储介质
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN111612732A (zh) 图像质量评估方法、装置、计算机设备及存储介质
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
CN111062291A (zh) 一种机器人视觉跟踪方法及系统
CN104616323A (zh) 一种基于慢特征分析的时空显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant