CN111797735A - 人脸视频识别方法、装置、设备及存储介质 - Google Patents
人脸视频识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111797735A CN111797735A CN202010576353.1A CN202010576353A CN111797735A CN 111797735 A CN111797735 A CN 111797735A CN 202010576353 A CN202010576353 A CN 202010576353A CN 111797735 A CN111797735 A CN 111797735A
- Authority
- CN
- China
- Prior art keywords
- face
- blood flow
- varying
- video
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000017531 blood circulation Effects 0.000 claims abstract description 143
- 210000000746 body region Anatomy 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000005314 correlation function Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008326 skin blood flow Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010048245 Yellow skin Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003205 diastolic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及生物识别，具体公开了一种人脸视频识别方法、装置、设备及存储介质，所述方法包括：读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。有效识别视频中的人脸为真实人脸或合成人脸。
Description
技术领域
本申请涉及生物识别技术领域，尤其涉及一种人脸视频识别方法、装置、计算机设备及存储介质。
背景技术
随着一种叫Deepfake的视频换脸技术的出现，制作包含合成人脸的视频变得轻而易举，配合计算机变声技术，制作假新闻的门槛大大降低，随之而来的是网络上出现了各式各样的假视频。无论是影视明星、政治人物还是商界要人都深受其害，此外，假新闻通过散布谣言或制造恐慌情绪，扰乱社会安定，影响经济稳定，具有极大的社会危害。
然而，目前的人脸识别模型对合成视频的检测基本束手无策，即使是性能最优的图像分类模型，分辨错误率也高达95％。基于唇形的检测方法，也基本检测不出说话和口型是否一致。因此，如何识别出合成人脸视频，成为生物认证中的一个重大挑战。
目前的人脸识别模型之所以对合成视频无效，是因为合成视频中的人脸也是通过“移花接木”的方法，用真实人脸和视频中本来的人身影像拼接出来的。因此，利用人脸表面的特征不足以识别出合成视频。
发明内容
本申请提供了一种生物识别的人脸视频识别方法、装置、计算机设备及存储介质，以识别视频中的人脸为真实人脸或合成人脸。
第一方面，本申请提供了一种人脸视频识别方法，所述方法包括：
读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；
基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；
提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；
基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；
根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
第二方面，本申请还提供了一种人脸视频识别装置，所述装置包括：
视频读取模块，用于读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；
肤色识别模块，用于基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；
提取模块，用于提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；
相似性确定模块，用于基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；
判断模块，用于根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的人脸视频识别方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的人脸视频识别方法。
本申请公开了一种人脸视频识别方法、装置、计算机设备及存储介质，在得到需要识别的带有人像的待识别视频后，读取待识别视频中的多帧图像，识别出人脸区域和人体区域；然后，基于人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；接着，提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；基于所述第一血流时变特征和第二血流时变特征，得到所述第一血流时变特征与所述第二血流时变特征之间的相似性；最后，根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。通过利用远程光体积变化描述法，从视频中提取随心率变化的血流变化特征，相比人脸的视觉特征，血流变化特征可从肤色的细微变化中反映出来，且只有真实的人脸具有这些特征。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种人脸视频识别方法的示意流程图；
图2是本申请的实施例提供的识别人脸区域和人体区域的示意流程图；
图3是本申请的实施例提供的灰度图像的第一示意图；
图4是本申请的实施例提供的灰度图像的第二示意图；
图5是本申请的实施例提供的灰度图像的第三示意图；
图6为本申请的实施例提供的另一种人脸视频识别装置的示意性框图；
图7为本申请的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种人脸视频识别方法、装置、计算机设备及存储介质。其中，该人脸视频识别方法可以应用于终端或服务器中，用于识别视频中的人脸为真实人脸或合成人脸。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的一种人脸视频识别方法的示意流程图。该人脸视频识别方法可应用于图1中的开发终端中，以识别视频中的人脸为真实人脸或合成人脸。
如图1所示，该人脸视频识别方法具体包括步骤S101至步骤S105。
S101、读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域。
在得到待识别视频时，待识别视频中包括有人脸图像，然后，读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域。
如图2所示，读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域可以具体包括：
S101a、读取待识别视频中的多帧图像，得到对应的多帧RGB图像。
具体地，读取待识别视频中的每一帧图像，每一帧图像对应一张 RGB图像，多帧图像对应多张RGB图像。
S101b、将所述RGB图像转换为灰度图像；
S101c、对所述灰度图像进行人脸识别及人体识别，得到人脸区域和整体区域，所述整体区域包括人脸区域和人体区域。
具体地，在得到多张RGB图像后，将RGB图像转换为灰度图像，然后，对灰度图像进行人脸识别，可以采用cascade正面人脸分类器，对灰度图像进行人脸区域的识别，cascade正面人脸分类器是基于 opencv的分类器，将人脸区域识别出来，并且，会分类器在识别出人脸区域后，会返回包含人脸的一个方框的坐标；并且，采用Yolo 物体识别器进行人体识别，识别器会返回一个包含人体的方框的坐标，从而得到人体区域。
S101d、将所述整体区域中的人脸区域剔除，得到人体区域。
具体地，出于提高计算效率的目的，可以在检测出人脸之后，采用dlib库中的算法进行人脸追踪，在后续的帧中迅速检测到人脸并返回人脸方框坐标。
然后，在得到人脸区域R1(n)和包括人脸区域R1(n)的整体区域R2(n)后，剔除人脸区域R1(n)，得到不包括人脸区域R1(n) 的人体区域R3(n)，例如人的手部区域。如图3-5所示，图中R1(n) 为人脸区域，R3(n)为人体区域，R2(n)整体区域为R1(n)与R3 (n)的集合。
在一些实施方式中，剔除人脸区域R1(n)，得到不包括人脸区域R1(n)的人体区域R3(n)具体为：
利用人脸方框坐标和人体方框坐标，计算出人体方框中不包含人脸方框的区域坐标，即两者的差集合。
在识别出人脸区域和人体区域后，以便于得到相应的人脸肤色区域和人体肤色区域。
S102、基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域。
真实人脸视频中包含因为心脏跳动所带来的血流变化引起的肤色的微弱且有心跳节律的变化，而合成人脸中则没有这种特征，而且是静态的，无法体现人体活体的随心率变化的血流的不同皮肤区域。由于心脏跳动带来的血流变化，即血流向身体各个部位的方向时的时间不一致，血流流到人脸的时间通常会比流到手部较为人体末梢快一点，人脸发生变化的规律与手部发生变化的规律是存在相关性的，即在真实人脸视频中，同一个人脸的血流体现的肤色变化规律与手部的血流体现的肤色变化规律是固定对应的，而合成视频不存在该对应关系。
远程光体积变化描述，remote photoplethysmography，是利用光照在人体表面时，肤色会呈现随心率变化的微小变化。心脏的收缩阶段，皮肤血流增加，对环境光线尤其是绿色光的吸收增加；心脏的舒张阶段，皮肤血流减小，对环境光线尤其是绿色光的吸收减小。也就是说，在一个心率周期中，皮肤的色调会有变化，但是该变化很微小，但是在视频中可以检测血流变化。
具体地，在标记出的区域R1(n)及R3(n)中，识别出肤色区域S1(n)和S3(n)，其中不包含毛发、眼睛以及阴影区域。
基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域可以包括：获取所述人脸区域对应的第一RGB图像，以及所述人体区域对应的第二RGB图像；将所述第一 RGB图像和第二RGB图像对应的RGB色彩空间分别转换到HSV色彩空间；根据所述第一RGB图像对应的HSV色彩空间上的颜色通道，确定人脸肤色区域，且根据所述第二RGB图像对应在HSV色彩空间上的颜色通道，确定人体肤色区域。
在一些实施方式中，将RGB色彩空间转换到HSV色彩空间，其中 H为色调通道。皮肤的颜色在色调通道上有典型的分布带，比如白色带黄或棕或红，如黄种人的肤色；但很少有绿色蓝色橙色的皮肤，通过限定H通道上的取值范围即可实现肤色识别，从而识别出人脸肤色区域S1(n)和人体肤色区域S3(n)。
例如，针对黄种人的典型肤色，肤色的H通道的典型取值范围是 0-50(单位为角度，对人眼能感知的各种颜色，H的标准取值范围为 0-359度)，对应的，根据不同人种，不同的光照环境，可以设置不同的取值范围。
S103、基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性。
具体地，基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性可以包括：基于所述人脸肤色区域，提取对应的第一色调特征；基于所述人体肤色区域，提取对应的第二色调特征；对所述第一色调特征和第二色调特征进行去噪处理，得到所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征。
在一些实施方式中，提取人脸肤色区域S1(n)中的第一血流时变特征V1(n)，且提取人体肤色区域S3(n)中的第二血流时变特征 V3(n)具体为：
通过对每一帧中的肤色区域提取色调特征，并进行去噪(去除信息中的噪音)和叠加，即可提取该区域的血流时变特征信号。
具体地，提取方法为：血流时变特征体现在每一帧提取出的色调信号中，不同帧的色调信息构成了色调随时间的变化。
S104、基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性。
基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性可以包括：对所述第一血流时变特征和第二血流时变特征进行互相关操作，得到所述第一血流时变特征与所述第二血流时变特征之间的相似性。
具体地，互相关操作是一个数学操作，两个向量信号的互相关操作是两个向量的夹角的余弦值。
互相关函数是信号分析里的概念，表示的是两个时间序列之间的相关程度，即描述信号x(t)，y(t)在任意两个不同时刻t1，t2的取值之间的相关程度。描述两个不同的信号之间的相关性时，这两个信号可以是随机信号，也可以是确知信号。
在本案中，第一血流时变特征和第二血流时变特征对应的两个信号，可以通过调用互相关函数，计算所述第一血流时变特征与所述第二血流时变特征之间的相似性，当然也可以采用第三方工具，比如调用MATLAB中的互相关函数，在matlab中互相关函数是xcorr(x，y)， x和y是输入信号，通过互相关计算公式能够计算出。
在matlab中，互相关系数是指归一化的互相关函数值，得到的结果可以看出，互相关系数的最大值为1，即第一血流时变特征和第二血流时变特征之间的差别越大，互相关系数越小，比如真人视频脸部的肤色变化和手部的肤色变化，互相关系数较高，且两个变化有个固定的相位差；如果有假视频的话，比如，假视频中人脸是合成到视频中的，那么，第一血流时变特征和第二血流时变特征之间的相位差不会固定，互相关系数变化不固定，或者说是随机的。
S105、根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
具体地，根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频可以包括：将所述第一血流时变特征和相似性作为特征变量，输入分类器，以供所述分类器对所述特征变量进行分类后输出样本，若所述输出样本为正样本，则判定所述待识别视频为真实人脸视频；若所述输出样本为负样本，则判定所述待识别视频为合成人脸视频。
其中，分类器为将历史真实人脸视频对应的正样本、历史合成人脸视频对应的负样本分别对应的特征向量及标签输入到模型中，进行训练得到的分类器。
在一些实施例中，分类器可采用各种二分类器，最简单的分类器就是逻辑回归模型，将正负样本的各种特征向量及标签输入模型，进行训练，得到二分类器，即可用于未知样本的分类，也可以根据需要选用支持向量机或者神经网络模型。本案中，不局限于特定的模型和训练方法。
例如，先将真实人脸视频作为正样本、合成人脸视频作为负样本分别对应的特征向量及标签输入到模型中，进行训练分类器，从而得到训练好的分类器。
当有待识别的视频时，经过步骤S101-S104得到的人脸血流时变特征和相似性，将人脸血流时变特征和相似性作为特征变量，输入训练好的分类器，通过该训练好的分类器对特征变量进行分类，输出样本，若样本为正样本，则判定当前待识别视频为真实人脸视频，若样本为负样本，则判定所述待识别视频为合成人脸视频。
上述实施例提供人脸视频识别方法，在得到需要识别的带有人像的待识别视频后，读取待识别视频中的多帧图像，识别出人脸区域和人体区域；然后，基于人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；接着，提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；基于所述第一血流时变特征和第二血流时变特征，得到所述第一血流时变特征与所述第二血流时变特征之间的相似性；最后，根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。通过利用远程光体积变化描述法，从视频中提取随心率变化的血流变化特征，相比人脸的视觉特征，血流变化特征可从肤色的细微变化中反映出来，且只有真实的人脸具有这些特征。
请参阅图6，图6是本申请的实施例提供一种人脸视频识别装置的示意性框图，该人脸视频识别装置用于执行前述的人脸视频识别方法。其中，该人脸视频识别装置可以配置于终端或服务器。
如图6所示，该人脸视频识别装置400，包括：视频读取模块401、肤色识别模块402、提取模块403、相似性确定模块404和判断模块 405。
视频读取模块401，用于读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域。
肤色识别模块402，用于基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域。
提取模块403，用于提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征。
相似性确定模块404，用于基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性。
判断模块405，用于根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种人脸视频识别方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种人脸视频识别方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
在一些实施例中，所述处理器实现所述读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域，包括：
读取待识别视频中的多帧图像，得到对应的多帧RGB图像；将所述RGB图像转换为灰度图像；对所述灰度图像进行人脸识别及人体识别，得到人脸区域和整体区域，所述整体区域包括人脸区域和人体区域；
将所述整体区域中的人脸区域剔除，得到人体区域。
在一些实施例中，所述处理器实现所述基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域，包括：
获取所述人脸区域对应的第一RGB图像，以及所述人体区域对应的第二RGB图像；将所述第一RGB图像和第二RGB图像对应的RGB色彩空间分别转换到HSV色彩空间；根据所述第一RGB图像对应的HSV 色彩空间上的颜色通道，确定人脸肤色区域，且根据所述第二RGB图像对应在HSV色彩空间上的颜色通道，确定人体肤色区域。
在一些实施例中，所述处理器实现所述提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征，包括：
基于所述人脸肤色区域，提取对应的第一色调特征；基于所述人体肤色区域，提取对应的第二色调特征；对所述第一色调特征和第二色调特征进行去噪处理，得到所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征。
在一些实施例中，所述处理器实现所述基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性，包括：
对所述第一血流时变特征和第二血流时变特征进行互相关操作，得到所述第一血流时变特征与所述第二血流时变特征之间的相似性。
在一些实施例中，所述处理器实现所述根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频，包括：
将所述第一血流时变特征和相似性作为特征变量，输入分类器，以供所述分类器对所述特征变量进行分类后输出样本，若所述输出样本为正样本，则判定所述待识别视频为真实人脸视频；若所述输出样本为负样本，则判定所述待识别视频为合成人脸视频。
在一些实施例中，所述分类器为将历史真实人脸视频对应的正样本、历史合成人脸视频对应的负样本分别对应的特征向量及标签输入到模型中，进行训练得到的分类器。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项人脸视频识别方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card， SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人脸视频识别方法，其特征在于，包括：
读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；
基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；
提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；
基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；
根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
2.根据权利要求1所述的方法，其特征在于，所述读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域，包括：
读取待识别视频中的多帧图像，得到对应的多帧RGB图像；
将所述RGB图像转换为灰度图像；
对所述灰度图像进行人脸识别及人体识别，得到人脸区域和整体区域，所述整体区域包括人脸区域和人体区域；
将所述整体区域中的人脸区域剔除，得到人体区域。
3.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域，包括：
获取所述人脸区域对应的第一RGB图像，以及所述人体区域对应的第二RGB图像；
将所述第一RGB图像和第二RGB图像对应的RGB色彩空间分别转换到HSV色彩空间；
根据所述第一RGB图像对应的HSV色彩空间上的颜色通道，确定人脸肤色区域，且根据所述第二RGB图像对应在HSV色彩空间上的颜色通道，确定人体肤色区域。
4.根据权利要求1所述的方法，其特征在于，所述提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征，包括：
基于所述人脸肤色区域，提取对应的第一色调特征；
基于所述人体肤色区域，提取对应的第二色调特征；
对所述第一色调特征和第二色调特征进行去噪处理，得到所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性，包括：
对所述第一血流时变特征和第二血流时变特征进行互相关操作，得到所述第一血流时变特征与所述第二血流时变特征之间的相似性。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频，包括：
将所述第一血流时变特征和相似性作为特征变量，输入分类器，以供所述分类器对所述特征变量进行分类后输出样本；
若所述输出样本为正样本，则判定所述待识别视频为真实人脸视频；
若所述输出样本为负样本，则判定所述待识别视频为合成人脸视频。
7.根据权利要求1所述的方法，其特征在于，所述分类器为将历史真实人脸视频对应的正样本、历史合成人脸视频对应的负样本分别对应的特征向量及标签输入到模型中，进行训练得到的分类器。
8.一种人脸视频识别装置，其特征在于，包括：
视频读取模块，用于读取待识别视频中的多帧图像，且从多帧所述图像中识别人脸区域和人体区域；
肤色识别模块，用于基于所述人脸区域和人体区域，利用远程光体积变化描述法识别人脸肤色区域和人体肤色区域；
提取模块，用于提取所述人脸肤色区域对应的第一血流时变特征和所述人体肤色区域对应的第二血流时变特征；
相似性确定模块，用于基于所述第一血流时变特征和第二血流时变特征，确定所述第一血流时变特征与所述第二血流时变特征之间的相似性；
判断模块，用于根据所述第一血流时变特征和相似性，判断所述待识别视频为真实人脸视频或合成人脸视频。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的人脸视频识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的人脸视频识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576353.1A CN111797735A (zh) | 2020-06-22 | 2020-06-22 | 人脸视频识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576353.1A CN111797735A (zh) | 2020-06-22 | 2020-06-22 | 人脸视频识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797735A true CN111797735A (zh) | 2020-10-20 |
Family
ID=72804704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010576353.1A Pending CN111797735A (zh) | 2020-06-22 | 2020-06-22 | 人脸视频识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797735A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023177125A1 (ko) * | 2022-03-14 | 2023-09-21 | 삼성전자 주식회사 | 생체 신호 기반의 동작 제어를 위한 전자 장치 및 그 동작 방법 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205939A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 利用者検知装置、方法、及びプログラム |
| CN107307848A (zh) * | 2017-05-27 | 2017-11-03 | 天津海仁医疗技术有限公司 | 一种基于高速大范围扫描光学微造影成像的人脸识别及皮肤检测系统 |
| DE202017106605U1 (de) * | 2017-10-30 | 2018-03-05 | Google Llc | Verwendung von maschinellem Lernen zur Erkennung eines Bildbestandteils in einem zusammengesetzten Bild |
| WO2018121428A1 (zh) * | 2016-12-30 | 2018-07-05 | 腾讯科技（深圳）有限公司 | 一种活体检测方法、装置及存储介质 |
| CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
| WO2019071739A1 (zh) * | 2017-10-13 | 2019-04-18 | 平安科技（深圳）有限公司 | 人脸活体检测方法、装置、可读存储介质及终端设备 |
| WO2020000908A1 (zh) * | 2018-06-29 | 2020-01-02 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
| CN110706826A (zh) * | 2019-10-29 | 2020-01-17 | 江苏大学 | 一种基于视频图像的非接触式的实时多人心率和血压测量方法 |
| CN110880172A (zh) * | 2019-11-12 | 2020-03-13 | 中山大学 | 基于循环卷积神经网络的视频人脸篡改检测方法及系统 |
| CN110929617A (zh) * | 2019-11-14 | 2020-03-27 | 北京神州绿盟信息安全科技股份有限公司 | 一种换脸合成视频检测方法、装置、电子设备及存储介质 |
| CN111248890A (zh) * | 2020-01-20 | 2020-06-09 | 深圳大学 | 一种基于面部视频的非接触式新生儿心率监测方法及系统 |
| CN111259757A (zh) * | 2020-01-13 | 2020-06-09 | 支付宝实验室(新加坡)有限公司 | 一种基于图像的活体识别方法、装置及设备 |
-
2020
- 2020-06-22 CN CN202010576353.1A patent/CN111797735A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205939A (ja) * | 2012-03-27 | 2013-10-07 | Fujitsu Ltd | 利用者検知装置、方法、及びプログラム |
| WO2018121428A1 (zh) * | 2016-12-30 | 2018-07-05 | 腾讯科技（深圳）有限公司 | 一种活体检测方法、装置及存储介质 |
| CN107307848A (zh) * | 2017-05-27 | 2017-11-03 | 天津海仁医疗技术有限公司 | 一种基于高速大范围扫描光学微造影成像的人脸识别及皮肤检测系统 |
| WO2019071739A1 (zh) * | 2017-10-13 | 2019-04-18 | 平安科技（深圳）有限公司 | 人脸活体检测方法、装置、可读存储介质及终端设备 |
| DE202017106605U1 (de) * | 2017-10-30 | 2018-03-05 | Google Llc | Verwendung von maschinellem Lernen zur Erkennung eines Bildbestandteils in einem zusammengesetzten Bild |
| WO2020000908A1 (zh) * | 2018-06-29 | 2020-01-02 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
| CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
| CN110706826A (zh) * | 2019-10-29 | 2020-01-17 | 江苏大学 | 一种基于视频图像的非接触式的实时多人心率和血压测量方法 |
| CN110880172A (zh) * | 2019-11-12 | 2020-03-13 | 中山大学 | 基于循环卷积神经网络的视频人脸篡改检测方法及系统 |
| CN110929617A (zh) * | 2019-11-14 | 2020-03-27 | 北京神州绿盟信息安全科技股份有限公司 | 一种换脸合成视频检测方法、装置、电子设备及存储介质 |
| CN111259757A (zh) * | 2020-01-13 | 2020-06-09 | 支付宝实验室(新加坡)有限公司 | 一种基于图像的活体识别方法、装置及设备 |
| CN111248890A (zh) * | 2020-01-20 | 2020-06-09 | 深圳大学 | 一种基于面部视频的非接触式新生儿心率监测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| H. RAHMAN ET AL.: "Real Time Heart Rate Monitoring from Facial RGB Color Video Using Webcam", 9TH ANNUAL WORKSHOP OF THE SWEDISH ARTIFICIAL INTELLIGENCE SOCIETY (SAIS) 2016 * |
| 张怡暄;李根;曹纭;赵险峰: "基于帧间差异的人脸篡改视频检测方法", 信息安全学报, no. 02 * |
| 方艳梅: "深度伪造对人脸识别支付系统安全性的挑战与应对", 金融科技时代, no. 03 * |
| 王蓉;李丽华;杨晓刚: "肤色信息在人脸检测中的应用研究", 中国人民公安大学学报(自然科学版), no. 03 * |
| 高逸飞等: "5 种流行假脸视频检测网络性能分析和比较", 应用科学学报, vol. 37, no. 5 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023177125A1 (ko) * | 2022-03-14 | 2023-09-21 | 삼성전자 주식회사 | 생체 신호 기반의 동작 제어를 위한 전자 장치 및 그 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633204B (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| US8401250B2 (en) | Detecting objects of interest in still images | |
| Kashem et al. | Face recognition system based on principal component analysis (PCA) with back propagation neural networks (BPNN) | |
| KR20120069922A (ko) | 얼굴 인식 장치 및 그 방법 | |
| Kalas | Real time face detection and tracking using OpenCV | |
| Alshamsi et al. | Real time facial expression recognition app development on mobile phones | |
| KR20130048076A (ko) | 얼굴 인식 장치 및 그 제어방법 | |
| Teja et al. | Face recognition using subspaces techniques | |
| Emeršič et al. | Pixel-wise ear detection with convolutional encoder-decoder networks | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| Monwar et al. | Pain recognition using artificial neural network | |
| CN107256543A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111814682A (zh) | 人脸活体检测方法及装置 | |
| Chin et al. | Facial skin image classification system using Convolutional Neural Networks deep learning algorithm | |
| Sharma et al. | An efficient partial occluded face recognition system | |
| Vasanthi et al. | A hybrid method for biometric authentication-oriented face detection using autoregressive model with Bayes Backpropagation Neural Network | |
| Rahman et al. | Human Age and Gender Estimation using Facial Image Processing | |
| CN111797735A (zh) | 人脸视频识别方法、装置、设备及存储介质 | |
| KR20130111021A (ko) | 영상처리장치 및 영상처리방법 | |
| Sharif et al. | Real time face detection | |
| Karamizadeh et al. | Race classification using gaussian-based weight K-nn algorithm for face recognition | |
| Fourati et al. | Face anti-spoofing with image quality assessment | |
| Hassanat et al. | Color-based lip localization method | |
| Gehrig et al. | Action unit intensity estimation using hierarchical partial least squares | |
| KR20080068959A (ko) | 활성형상모델과 가버 특징 벡터 기반 얼굴 인식 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201020 |