CN113095272B - 活体检测方法、设备、介质及计算机程序产品 - Google Patents
活体检测方法、设备、介质及计算机程序产品 Download PDFInfo
- Publication number
- CN113095272B CN113095272B CN202110443737.0A CN202110443737A CN113095272B CN 113095272 B CN113095272 B CN 113095272B CN 202110443737 A CN202110443737 A CN 202110443737A CN 113095272 B CN113095272 B CN 113095272B
- Authority
- CN
- China
- Prior art keywords
- video
- living body
- face
- fake
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000004590 computer program Methods 0.000 title abstract description 12
- 238000013145 classification model Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种活体检测方法、设备、介质及计算机程序产品，所述活体检测方法包括：抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征；基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体。本申请解决了人脸识别系统安全性低的技术问题。
Description
技术领域
本申请涉及金融科技(Fintech)的人脸识别技术领域，尤其涉及一种活体检测方法、设备、介质及计算机程序产品。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能、大数据云服务应用的不断发展，人脸识别技术的应用也越来越广泛。由于人脸数据比较容易获取，通过利用他人的人脸照片、人脸视频等手段攻击人脸识别系统的情况正变得越来越常见，进而如何识别照片或者视频中的人脸是用户本人，也即验证用户是否为真实活体本人操作，在人脸识别系统中显得越来越重要，目前，通常通过分析人脸视频或者图像序列中人脸的动作变化(如动作活体)、语音信息及嘴部动作变化(数字活体)或者脸部的三维结构信息等方式进行活体检测，也即，基于人脸图像序列或者人脸视频的人脸特征进行活体检测，但是，随着视频和图像的编辑技术的日益发展，若恶意攻击者通过伪造的人脸图像序列或者人脸视频攻击人脸识别系统，当前的人脸识别系统越来越难以抵御恶意攻击者的非法攻击，进而导致当前的人脸识别系统的安全性难以得到保证。
发明内容
本申请的主要目的在于提供一种活体检测方法、设备、介质及计算机程序产品，旨在解决现有技术中人脸识别系统安全性低的技术问题。
为实现上述目的，本申请提供一种活体检测方法，所述活体检测方法应用于活体检测设备，所述活体检测方法包括：
抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征；
基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；
基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体。
可选地，所述视频数据描述特征包括视频特征、音频特征以及视频及音频匹配特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征；
基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果；
基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述视频文件元数据包括数据类别信息和数据数量信息，
所述在所述视频文件元数据中提取视频数据描述特征的步骤包括：
对所述数据类别信息进行类别编码，获得数据类别编码特征；
对所述数据数量信息进行正态化处理，获得数据数值特征；
将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征。
可选地，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
基于所述伪造视频判别结果，确定所述人脸视频是否为伪造视频；
若是，则判定所述人脸视频对应的待检测目标不为所述真实活体；
若否，则判定所述人脸视频对应的待检测目标为所述真实活体。
可选地，所述视频数据描述特征包括视频特征和音频特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征；
基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果；
基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述视频数据描述特征至少包括视频特征、音频特征和视频及音频匹配特征中的一种，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果；
基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体。
本申请还提供一种活体检测装置，所述活体检测装置为虚拟装置，且所述活体检测装置应用于活体检测设备，所述活体检测装置包括：
特征提取模块，用于抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征；
判别模块，用于基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；
活体检测模块，用于基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体。
可选地，所述视频数据描述特征包括视频特征、音频特征以及视频及音频匹配特征，所述判别模块还用于：
对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征；
基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果；
基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述视频文件元数据包括数据类别信息和数据数量信息，所述特征提取模块还用于：
对所述数据类别信息进行类别编码，获得数据类别编码特征；
对所述数据数量信息进行正态化处理，获得数据数值特征；
将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征。
可选地，所述活体检测模块还用于：
基于所述伪造视频判别结果，确定所述人脸视频是否为伪造视频；
若是，则判定所述人脸视频对应的待检测目标不为所述真实活体；
若否，则判定所述人脸视频对应的待检测目标为所述真实活体。
可选地，所述视频数据描述特征包括视频特征和音频特征，所述判别模块还用于：
对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征；
基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果；
基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述所述视频数据描述特征至少包括视频特征、音频特征和视频及音频匹配特征中的一种，所述判别模块还用于：
基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述活体检测模块还用于：
基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果；
基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体。
本申请还提供一种活体检测设备，所述活体检测设备为实体设备，所述活体检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述活体检测方法的程序，所述活体检测方法的程序被处理器执行时可实现如上述的活体检测方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现活体检测方法的程序，所述活体检测方法的程序被处理器执行时实现如上述的活体检测方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的活体检测方法的步骤。
本申请提供了一种活体检测方法、设备、介质及计算机程序产品，相比于现有技术采用的基于人脸图像序列或者人脸视频的人脸特征进行活体检测的技术手段，本申请首先抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征，进而基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果，进而实现了基于人脸视频的视频文件元数据，判别人脸视频是否为伪造视频的目的，可准确判别人脸视频是否为伪造视频，进而基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体，即可防止恶意攻击者通过伪造人脸视频的方式攻击人脸识别系统，而导致人脸识别系统的安全性降低的情况发生，所以，克服了随着视频和图像的编辑技术的日益发展，若恶意攻击者通过伪造的人脸图像序列或者人脸视频攻击人脸识别系统，当前的人脸识别系统越来越难以抵御恶意攻击者的非法攻击，进而导致当前的人脸识别系统的安全性难以得到保证的技术缺陷，所以，提升了人脸识别系统的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请活体检测方法第一实施例的流程示意图；
图2为本申请活体检测方法第二实施例的流程示意图；
图3为本申请活体检测方法第三实施例的流程示意图；
图4为本申请活体检测方法第四实施例的流程示意图；
图5为本申请实施例中活体检测方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种活体检测方法，在本申请活体检测方法的第一实施例中，参照图1，所述活体检测方法包括：
步骤S10，抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征；
在本实施例中，需要说明的是，所述视频文件元数据为描述视频文件的数据，用于描述视频文件的视频数据、音频数据和视频及音频匹配数据，其中，所述视频数据包括但不限于视频帧率、视频时长、视频分辨率和视频编码格式等，所述音频数据包括但不限于音频时长、音频编码格式和音频通道结构等，所述视频及音频匹配数据为人脸视频中表示音频数据和视频数据之间的匹配程度的数据，其中，所述视频文件元数据与生成视频文件的软件和硬件相关联，例如利用手机拍摄的视频文件的视频文件元数据与利用专业摄像机拍摄的视频文件的视频文件元数据通常不同。
另外地，需要说明的是，视频文件元数据中的视频数据、音频数据和视频及音频匹配数据在视频录制过程中通常是互相关联和影响的，恶意攻击者在伪造人脸视频时，通常是在后期对录制好的人脸视频进行修改，但后期对录制好的人脸视频进行修改则一定会改变或丢失原有的视频文件元数据，与录制好的人脸视频的原始的视频文件元数据存在明显不同，进而基于所述视频文件元数据，可检测人脸视频是否为伪造视频。
抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征，具体地，基于视频解码库，抽取人脸视频对应的视频文件元数据，并提取所述视频文件元数据中的数据类别信息和数据数量信息，进而对所述数据类别信息和所述数据数量信息进行特征编码，获得所述视频数据描述特征，其中，所述数据类别信息为所述视频文件元数据中描述类别信息的数据，所述数据类别信息至少包括一类别描述数据，例如视频编码格式、音频编码格式和音频通道结构等，所述数据数量信息为所述视频文件元数据中描述数量信息的数据，所述数据数量信息至少包括一描述数值，例如视频时长、视频分辨率和音频时长等。
其中，所述视频文件元数据包括数据类别信息和数据数量信息，
所述在所述视频文件元数据中提取视频数据描述特征的步骤包括：
步骤S11，对所述数据类别信息进行类别编码，获得数据类别编码特征；
在本实施例中，对所述数据类别信息进行类别编码，获得数据类别编码特征，具体地，分别对所述数据类别信息中各类别描述数据进行类别编码，获得各所述类别描述数据对应的类别编码值，进而将各所述类别编码值拼接所述数据类别编码特征，例如，将所述数据类别信息包括视频编码格式、音频编码格式和音频通道结构，进而对所述视频编码格式进行类别编码，生成类别编码值A；对所述音频编码格式进行类别编码，生成类别编码值B；对所述音频通道结构进行类别编码，生成类别编码值C，进而所述数据类别编码特征为向量(A，B，C)。
步骤S12，对所述数据数量信息进行正态化处理，获得数据数值特征；
在本实施例中，对所述数据数量信息进行正态化处理，获得数据数值特征，具体地，计算所述数据数量信息中各描述数值的统计均值和统计方差，进而分别将各所述描述数值减去统计均值并除以统计方差，以分别对各所述描述数值进行正态化处理，获得各所述描述数值对应的正态化数值，进而将各所述正态化数值拼接为数据数值特征，例如假设所述数据数量信息包括视频时长、视频分辨率和音频时长，进而对所述数据数量信息进行正态化处理后，视频时长对应的正态化值为t1，视频分辨率对应的正态化值为t2，音频时长对应的正态化值为t3，则所述数据数值特征为向量(t1，t2，t3)。
步骤S13，将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征。
在本实施例中，将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征，具体地，对所述所述数据类别编码特征和所述数据数值特征进行拼接，获得所述视频数据描述特征，例如，假设所述数据类别编码特征为(A，B，C)，所述数据数值特征为(t1，t2，t3)，则所述视频数据描述特征为(A，B，C，t1，t2，t3)。
步骤S20，基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；
在本实施例中，基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果，具体地，通过将所述视频数据描述特征输入预设分类模型，将所述视频数据描述特征映射为分类概率值，其中，所述分类概率值为所述人脸视频属于伪造视频的概率值，进而基于所述分类概率值和预设概率阈值，判别所述人脸视频是否为伪造视频，获得伪造视频判别结果。
其中，所述视频数据描述特征至少包括视频特征、音频特征和视频及音频匹配特征中的一种，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
步骤A10，基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；
在本实施例中，基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，具体地，通过将所述视频特征输入预设分类模型，将所述视频特征映射为分类概率值，其中，所述分类概率值为所述人脸视频属于伪造视频的概率值，进而基于所述分类概率值和预设概率阈值，判别所述人脸视频是否为伪造视频，获得伪造视频判别结果。
步骤B20，基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；
在本实施例中，基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，具体地，通过将所述音频特征输入预设分类模型，将所述音频特征映射为分类概率值，其中，所述分类概率值为所述人脸视频属于伪造视频的概率值，进而基于所述分类概率值和预设概率阈值，判别所述人脸视频是否为伪造视频，获得伪造视频判别结果。
步骤C10，基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
在本实施例中，基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，具体地，通过将所述视频及音频匹配特征输入预设分类模型，将所述视频及音频匹配特征映射为分类概率值，其中，所述分类概率值为所述人脸视频属于伪造视频的概率值，进而基于所述分类概率值和预设概率阈值，判别所述人脸视频是否为伪造视频，获得伪造视频判别结果。
另外地，在另一种实施方案中，可从视频特征、音频特征和视频及音频匹配特征中任意选取特征进行拼接后，生成拼接特征，进而基于拼接特征，对所述人脸视频进行伪造视频判别，即可获得所述伪造视频判别结果，其中，基于拼接特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果的具体过程可参照步骤A10、步骤B10和步骤C10中的具体内容，在此不在赘述。
步骤S30，基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体。
在本实施例中，基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体，具体地，通过基于所述伪造视频判别结果，判断所述人脸视频是否为伪造视频，判断所述人脸视频对应的待检测目标是否为真实活体。
其中，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
步骤S31，基于所述伪造视频判别结果，确定所述人脸视频是否为伪造视频；
步骤S32，若是，则判定所述人脸视频对应的待检测目标不为所述真实活体；
步骤S33，若否，则判定所述人脸视频对应的待检测目标为所述真实活体。
在本实施例中，具体地，若基于所述伪造视频判别结果判定人脸设备为伪造视频，则判定所述人脸视频对应的待检测目标不为所述真实活体，若基于所述伪造视频判别结果判定人脸设备不为伪造视频，则判定所述人脸视频对应的待检测目标为所述真实活体。
本申请实施例提供了一种活体检测方法，相比于现有技术采用的基于人脸图像序列或者人脸视频的人脸特征进行活体检测的技术手段，本申请实施例首先抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征，进而基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果，进而实现了基于人脸视频的视频文件元数据，判别人脸视频是否为伪造视频的目的，可准确判别人脸视频是否为伪造视频，进而基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体，即可防止恶意攻击者通过伪造人脸视频的方式攻击人脸识别系统，而导致人脸识别系统的安全性降低的情况发生，所以，克服了随着视频和图像的编辑技术的日益发展，若恶意攻击者通过伪造的人脸图像序列或者人脸视频攻击人脸识别系统，当前的人脸识别系统越来越难以抵御恶意攻击者的非法攻击，进而导致当前的人脸识别系统的安全性难以得到保证的技术缺陷，所以，提升了人脸识别系统的安全性。
进一步地，参照图2，基于本申请中第一实施例，在本申请另一实施例中，所述视频数据描述特征包括视频特征、音频特征以及视频及音频匹配特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
步骤S21，对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征；
在本实施例中，需要说明的是，所述视频特征为表示视频文件元数据中的视频数据的编码向量，所述音频特征为表示视频文件元数据中音频数据的编码向量，所述视频及音频匹配特征为表示视频文件元数据中视频及音频匹配数据的编码向量。
对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征，具体地，将所述视频特征、所述音频特征以及所述视频及音频匹配特征拼接为所述第一目标拼接特征。
步骤S22，基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果；
在本实施例中，基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果，具体地，通过将所述第一目标拼接特征输入预设分类模型，将所述第一目标拼接特征映射为第一分类概率值，其中，所述第一分类概率值为基于第一目标拼接特征生成的人脸视频属于伪造视频的概率值，进而将所述第一分类概率值作为所述第一视频分类结果。
步骤S23，基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
在本实施例中，基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，具体地，判断所述第一分类概率值是否大于第一预设分类概率阈值，若大于，则判定所述人脸视频为伪造视频，所述伪造视频判别结果为判定为伪造视频，若不大于，则判定所述人脸视频不为伪造视频，所述伪造视频判别结果为判定为正常视频。
本申请实施例提供一种伪造视频判别方法，也即，在获取视频文件元数据对应的视频特征、音频特征以及视频及音频匹配特征之后，对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征，进而基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果，进而基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，实现了同时基于视频文件元数据对应的视频特征、音频特征以及视频及音频匹配特征，判别人脸视频是否为伪造视频的目的，相比于单独基于视频特征、音频特征或者视频及音频匹配特征，判别人脸视频是否为伪造视频的方法，其判别依据更多，进而伪造视频判别的准确度更高，进而基于视频特征、音频特征以及视频及音频匹配特征生成的伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体，即可提升活体检测的准确性，进而进一步提升了人脸识别系统的安全性。
进一步地，参照图3，基于本申请中第一实施例，在本申请另一实施例中，所述视频数据描述特征包括视频特征和音频特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
步骤D10，对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征；
在本实施例中，需要说明的是，所述视频特征为表示视频文件元数据中的视频数据的编码向量，所述音频特征为表示视频文件元数据中音频数据的编码向量。
对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征，具体地，将所述视频特征和所述音频特征拼接为所述第二目标拼接特征。
步骤D20，基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果；
在本实施例中，基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果，具体地，通过将所述第二目标拼接特征输入预设分类模型，将所述第二目标拼接特征映射为第二分类概率值，其中，所述第二分类概率值为基于第二目标拼接特征生成的人脸视频属于伪造视频的概率值，进而将所述第二分类概率值作为所述第二视频分类结果。
步骤D30，基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
在本实施例中，基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，具体地，判断所述第二分类概率值是否大于第二预设分类概率阈值，若大于，则判定所述人脸视频为伪造视频，所述伪造视频判别结果为判定为伪造视频，若不大于，则判定所述人脸视频不为伪造视频，所述伪造视频判别结果为判定为正常视频。
本申请实施例提供一种伪造视频判别方法，也即，在获取视频文件元数据对应的视频特征和音频特征之后，对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征，进而基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果，进而基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果，实现了同时基于视频文件元数据对应的视频特征和音频特征，判别人脸视频是否为伪造视频的目的，相比于单独基于视频特征或者音频特征，判别人脸视频是否为伪造视频的方法，其判别依据更多，进而伪造视频判别的准确度更高，进而基于视频特征和音频特征生成的伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体，即可提升活体检测的准确性，进而进一步提升了人脸识别系统的安全性。
进一步地，参照图，基于本申请中第一实施例、第二实施例和第三实施例，在本申请另一实施例中，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
步骤E10，基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果；
在本实施例中，基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果，具体地，基于预设图像检测模型，对所述人脸视频中每一时间帧图像进行图像检测，以判断所述人脸视频中是否存在动作活体，进而若存在，则判定所述待检测目标为真实活体，若不存在，则判定所述待检测目标不为真实活体，进而获得视频活体检测结果，其中，所述动作活体为具备人脸的动作变化的活体，例如眨眼的活体等。
在另一种可实施的方式中，步骤S30还包括：
获得向所述待检测目标发射声波信号时对所述待检测目标拍摄的人脸视频，进而基于预设图像检测模型，对所述人脸视频中每一时间帧图像进行图像检测，以判断所述人脸视频中是否存在数字活体，进而若存在，则判定所述待检测目标为真实活体，若不存在，则判定所述待检测目标不为真实活体，进而获得视频活体检测结果，其中，所述数字活体为语音信息及嘴部动作对应的语义一致的活体，其中，若语音信息与嘴部动作对应的语义一致，则判定为真实活体，若语音信息与嘴部动作对应的语义不一致，则判定不为真实活体。
步骤E20，基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体。
在本实施例中，基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体，具体地，若基于所述视频活体检测结果和所述视频伪造判别结果均判别所述待检测目标为真实活体，则判定所述待检测目标为真实活体，若基于所述视频活体检测结果和所述视频伪造判别结果未均判别所述待检测目标为真实活体，则判定所述待检测目标不为真实活体。
本申请实施例提供一种活体检测方法，也即，在生成视频活体检测结果之后，基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果，进而基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体，实现了在基于人脸视频本身进行活体检测的基础上，同时基于视频文件元数据进行活体检测的目的，提升了现有的直接基于人脸视频本身进行活体检测的准确性，为现有的人脸识别系统增加了一层基于视频文件元数据进行活体检测的机制，所以，提升了人脸识别系统的安全性。
参照图5，图5是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图5所示，该活体检测设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该活体检测设备还可以包括矩形用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、Wi Fi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图5中示出的活体检测设备结构并不构成对活体检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及活体检测程序。操作系统是管理和控制活体检测设备硬件和软件资源的程序，支持活体检测程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与活体检测系统中其它硬件和软件之间通信。
在图5所示的活体检测设备中，处理器1001用于执行存储器1005中存储的活体检测程序，实现上述任一项所述的活体检测方法的步骤。
本申请活体检测设备具体实施方式与上述活体检测方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种活体检测装置，所述活体检测装置应用于活体检测设备，所述活体检测装置包括：
特征提取模块，用于抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征；
判别模块，用于基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；
活体检测模块，用于基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体。
可选地，所述视频数据描述特征包括视频特征、音频特征以及视频及音频匹配特征，所述判别模块还用于：
对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征；
基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得所述第一视频分类结果；
基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述视频文件元数据包括数据类别信息和数据数量信息，所述特征提取模块还用于：
对所述数据类别信息进行类别编码，获得数据类别编码特征；
对所述数据数量信息进行正态化处理，获得数据数值特征；
将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征。
可选地，所述活体检测模块还用于：
基于所述伪造视频判别结果，确定所述人脸视频是否为伪造视频；
若是，则判定所述人脸视频对应的待检测目标不为所述真实活体；
若否，则判定所述人脸视频对应的待检测目标为所述真实活体。
可选地，所述视频数据描述特征包括视频特征和音频特征，所述判别模块还用于：
对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征；
基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得所述第二视频分类结果；
基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述所述视频数据描述特征至少包括视频特征、音频特征和视频及音频匹配特征中的一种，所述判别模块还用于：
基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
可选地，所述活体检测模块还用于：
基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果；
基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体。
本申请活体检测装置的具体实施方式与上述活体检测方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的活体检测方法的步骤。
本申请可读存储介质具体实施方式与上述活体检测方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的活体检测方法的步骤。
本申请计算机程序产品具体实施方式与上述活体检测方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (8)
1.一种活体检测方法，其特征在于，所述活体检测方法包括：
抽取人脸视频对应的视频文件元数据，并在所述视频文件元数据中提取视频数据描述特征，所述视频文件元数据包括数据类别信息和数据数量信息，所述数据类别信息为所述视频文件元数据中描述类别信息的数据，所述数据类别信息至少包括一类别描述数据，所述数据数量信息为所述视频文件元数据中描述数量信息的数据，所述数据数量信息至少包括一描述数值；
基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果；
基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体；
所述在所述视频文件元数据中提取视频数据描述特征的步骤包括：
对所述数据类别信息进行类别编码，获得数据类别编码特征；
对所述数据数量信息进行正态化处理，获得数据数值特征；
将所述数据类别编码特征和所述数据数值特征共同作为所述视频数据描述特征。
2.如权利要求1所述活体检测方法，其特征在于，所述视频数据描述特征包括视频特征、音频特征以及视频及音频匹配特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
对所述视频特征、所述音频特征以及所述视频及音频匹配特征进行拼接，获得第一目标拼接特征；
基于预设分类模型和所述第一目标拼接特征，对所述人脸视频进行分类，获得第一视频分类结果；
基于所述第一视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
3.如权利要求1所述活体检测方法，其特征在于，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
基于所述伪造视频判别结果，确定所述人脸视频是否为伪造视频；
若是，则判定所述人脸视频对应的待检测目标不为所述真实活体；
若否，则判定所述人脸视频对应的待检测目标为所述真实活体。
4.如权利要求1所述活体检测方法，其特征在于，所述视频数据描述特征包括视频特征和音频特征，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
对所述视频特征和所述音频特征进行拼接，获得第二目标拼接特征；
基于预设分类模型和所述第二目标拼接特征，对所述人脸视频进行分类，获得第二视频分类结果；
基于所述第二视频分类结果，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
5.如权利要求1所述活体检测方法，其特征在于，所述视频数据描述特征至少包括视频特征、音频特征和视频及音频匹配特征中的一种，
所述基于所述视频数据描述特征，对所述人脸视频进行伪造视频判别，获得伪造视频判别结果的步骤包括：
基于所述视频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述音频特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果；和/或
基于所述视频及音频匹配特征，对所述人脸视频进行伪造视频判别，获得所述伪造视频判别结果。
6.如权利要求1所述活体检测方法，其特征在于，所述基于所述伪造视频判别结果，判断所述人脸视频对应的待检测目标是否为真实活体的步骤包括：
基于所述人脸视频，对所述待检测目标进行活体检测，获得视频活体检测结果；
基于所述视频活体检测结果和所述视频伪造判别结果，判断所述待检测目标是否为真实活体。
7.一种活体检测设备，其特征在于，所述活体检测设备包括：存储器、处理器以及存储在存储器上的用于实现所述活体检测方法的程序，
所述存储器用于存储实现活体检测方法的程序；
所述处理器用于执行实现所述活体检测方法的程序，以实现如权利要求1至6中任一项所述活体检测方法的步骤。
8.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现活体检测方法的程序，所述实现活体检测方法的程序被处理器执行以实现如权利要求1至6中任一项所述活体检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443737.0A CN113095272B (zh) | 2021-04-23 | 2021-04-23 | 活体检测方法、设备、介质及计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443737.0A CN113095272B (zh) | 2021-04-23 | 2021-04-23 | 活体检测方法、设备、介质及计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113095272A CN113095272A (zh) | 2021-07-09 |
| CN113095272B true CN113095272B (zh) | 2024-03-29 |
Family
ID=76679642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443737.0A Active CN113095272B (zh) | 2021-04-23 | 2021-04-23 | 活体检测方法、设备、介质及计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095272B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220051B (zh) * | 2021-12-10 | 2023-07-28 | 马上消费金融股份有限公司 | 视频处理方法、应用程序的测试方法及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609462A (zh) * | 2017-07-20 | 2018-01-19 | 北京百度网讯科技有限公司 | 待检测信息生成及活体检测方法、装置、设备及存储介质 |
| KR20180014524A (ko) * | 2016-08-01 | 2018-02-09 | 한화테크윈 주식회사 | 영상 제보 필터링 장치 |
| WO2018166515A1 (zh) * | 2017-03-16 | 2018-09-20 | 北京市商汤科技开发有限公司 | 人脸防伪检测方法和系统、电子设备、程序和介质 |
| CN108875509A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置和系统及存储介质 |
| CN110704683A (zh) * | 2019-09-27 | 2020-01-17 | 深圳市商汤科技有限公司 | 音视频信息处理方法及装置、电子设备和存储介质 |
| CN111985427A (zh) * | 2020-08-25 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 活体检测方法、设备及可读存储介质 |
| WO2021000415A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 活体用户检测方法、装置、计算机设备和存储介质 |
| CN112651319A (zh) * | 2020-12-21 | 2021-04-13 | 科大讯飞股份有限公司 | 一种视频检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-23 CN CN202110443737.0A patent/CN113095272B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180014524A (ko) * | 2016-08-01 | 2018-02-09 | 한화테크윈 주식회사 | 영상 제보 필터링 장치 |
| WO2018166515A1 (zh) * | 2017-03-16 | 2018-09-20 | 北京市商汤科技开发有限公司 | 人脸防伪检测方法和系统、电子设备、程序和介质 |
| CN107609462A (zh) * | 2017-07-20 | 2018-01-19 | 北京百度网讯科技有限公司 | 待检测信息生成及活体检测方法、装置、设备及存储介质 |
| CN108875509A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置和系统及存储介质 |
| WO2021000415A1 (zh) * | 2019-07-03 | 2021-01-07 | 平安科技（深圳）有限公司 | 活体用户检测方法、装置、计算机设备和存储介质 |
| CN110704683A (zh) * | 2019-09-27 | 2020-01-17 | 深圳市商汤科技有限公司 | 音视频信息处理方法及装置、电子设备和存储介质 |
| CN111985427A (zh) * | 2020-08-25 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 活体检测方法、设备及可读存储介质 |
| CN112651319A (zh) * | 2020-12-21 | 2021-04-13 | 科大讯飞股份有限公司 | 一种视频检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Face Forensics：A large-scale Video Dataset for Forgery Detection in Human Faces;Andreas Rossler等;《Arxiv》;全文 * |
| 人脸识别活体检测技术研究;张淑姚;李雅欣;陈欣乐;李晶;;信息记录材料(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113095272A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| AU2009243442B2 (en) | Detection of abnormal behaviour in video objects | |
| US7460689B1 (en) | System and method of detecting, recognizing, and tracking moving targets | |
| US8712047B2 (en) | Visual universal decryption apparatus and methods | |
| CN110991231B (zh) | 活体检测方法、装置、服务器和人脸识别设备 | |
| Pasquini et al. | A Benford-Fourier JPEG compression detector | |
| WO2023123924A1 (zh) | 目标识别方法、装置、电子设备及存储介质 | |
| CN113095272B (zh) | 活体检测方法、设备、介质及计算机程序产品 | |
| CN110895811B (zh) | 一种图像篡改检测方法和装置 | |
| CN116707965A (zh) | 一种威胁检测方法、装置、存储介质以及电子设备 | |
| KR102629848B1 (ko) | 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치 | |
| CN113518075B (zh) | 网络诈骗预警方法、装置、电子设备、及存储介质 | |
| CN112671724A (zh) | 一种终端安全检测分析方法、装置、设备及可读存储介质 | |
| US11755758B1 (en) | System and method for evaluating data files | |
| CN115223022B (zh) | 一种图像处理方法、装置、存储介质及设备 | |
| CN110874547B (zh) | 从视频中识别对象的方法和设备 | |
| CN111368128A (zh) | 目标图片的识别方法、装置和计算机可读存储介质 | |
| CN116030820A (zh) | 音频验证方法及装置、音频取证方法及装置 | |
| CN111985423A (zh) | 活体检测方法、装置、设备及可读存储介质 | |
| CN109426830B (zh) | 一种自动识别移动终端场景的方法和装置 | |
| Bhardwaj et al. | A method for detecting JPEG anti-forensics | |
| CN112995488B (zh) | 高解析度视频图像处理方法、装置及电子设备 | |
| Wang et al. | Detection of shifted double JPEG compression by an adaptive DCT coefficient model | |
| US20230162337A1 (en) | Real time local filtering of on-screen images | |
| CN117762543A (zh) | 远程桌面图像处理方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |