CN115719461A - 一种基于光流分析的人脸操控检测方法及其检测装置 - Google Patents
一种基于光流分析的人脸操控检测方法及其检测装置 Download PDFInfo
- Publication number
- CN115719461A CN115719461A CN202210929784.0A CN202210929784A CN115719461A CN 115719461 A CN115719461 A CN 115719461A CN 202210929784 A CN202210929784 A CN 202210929784A CN 115719461 A CN115719461 A CN 115719461A
- Authority
- CN
- China
- Prior art keywords
- face
- optical flow
- frame
- flow analysis
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 125
- 238000005206 flow analysis Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000008859 change Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 38
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims 4
- 238000007619 statistical method Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于光流分析的人脸操控检测和基于光流分析的人脸操控检测装置。该装置包括：人脸采集模块，用于采集人脸视频；光流分析模块，用于选取所述人脸视频中的多个相邻帧，并结合以下的人脸检测模块检测出的人脸区域，针对所述多个相邻帧，对于检测出的人脸区域之外区域的光流分布和像素变化进行统计分析，根据所述统计分析结果判断所述人脸视频是否存在被操控的可能性；以及人脸检测模块，用于检测光流分析模块选取的多个连续帧的图像中的人脸区域。根据本发明，能够有效检测采用PS或深度网络生成的面部操控视频，从而降低人脸识别系统使用的风险性。
Description
技术领域
本发明涉及计算机技术，具体地涉及一种基于光流分析的人脸操控检测方法及其检测装置。
背景技术
目前，人脸操控已经成为攻击人脸识别系统的一种主要方法，之前曾经流行的AI变脸特效就是基于人脸操控技术完成的，其对人脸识别相关的金融安全危害较大。另一方面，由于无法对基于人脸操控所伪造的人脸视频进行检测也导致了人脸识别的推广受到影响。而且，随着人脸操控技术的不断发展，未来会对基于人脸识别的支付应用产生较大危害。
发明内容
鉴于上述问题，本发明旨在提出一种能够有效检测采用PS或深度网络生成的面部操控视频的基于光流分析的人脸操控检测方法及其检测装置。
本发明一方面的基于光流分析的人脸操控检测方法，其特征在于，包括以下步骤：
人脸采集步骤，采集人脸视频，选取所述人脸视频中的能够用于人脸识别的多个相邻帧；
光流分布检测步骤，在所述多个相邻帧之中利用LK光流法检测相邻的第一帧和第二帧的光流向量集合；
人脸检测步骤，对于所述第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
像素变化判断步骤，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
可选地，在所述非零向量占比Pv大于预先设定的阈值的情况下进一步包括以下步骤：
像素处理步骤，对于所述第一帧和所述第二帧执行像素逆映射；
像素比对步骤，比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1；以及
判断步骤，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
可选地，在所述光流分布检测步骤中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
可选地，在所述人脸检测步骤中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
可选地，设置所述预先设定的阈值为a，其中，0<a<1。
可选地，将a设定为在0<a<1的范围内更靠近0的值。
可选地，所述像素比对步骤包括：
将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s；
判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集步骤，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
可选地，所述预先设定的规定范围为s＝1。
可选地，所述预先设定的规定范围为s<b，其中，0<b<1。
可选地，设定为s为在0<b<1的范围内更靠近1的值。
可选地，在所述判断步骤中，当所述异常帧数量大于预先设定的阈值的情况下，发出告警信息。
本发明一方面的基于光流分析的人脸操控检测装置，其特征在于，包括：
人脸采集模块，采集人脸视频，选取所述人脸视频中的能够用于进行人脸识别的多个相邻帧；
人脸检测模块，对于所述多个相邻帧中相邻的第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
光流分析模块，利用LK光流法检测所述第一帧和所述第二帧的光流向量集合，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
可选地，所述光流分析模块进一步对于所述第一帧和所述第二帧执行像素逆映射，并且比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
可选地，进一步包括：
人脸识别模块，用于从所述人脸采集模块采集的人脸视频中识别人脸特征并完成人脸比对。
可选地，在所述光流分析模块中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
可选地，在所述人脸检测模块中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
可选地，设置所述预先设定的阈值为a，其中，0<a<1。
可选地，将a设定为在0<a<1的范围内更靠近0的值。
可选地，在所述光流分析模块中，将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s，判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集模块，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
可选地，所述预先设定的规定范围为s＝1。
可选地，所述预先设定的规定范围为s<b，其中，0<b<1。
可选地，设定为s为在0<b<1的范围内更靠近1的值。
本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的基于光流分析的人脸操控检测方法。
本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的基于光流分析的人脸操控检测方法。
附图说明
图1是表示对于人脸图像进行操控而生成的效果图。
图2是表示人脸操控攻击的示意图。
图3是表示本发明的基于光流分析的人脸操控检测装置的结构框图。
图4是表示本发明的第一实施方式的基于光流分析的人脸操控检测方法的流程示意图。
图5是表示本发明的第二实施方式的基于光流分析的人脸操控检测方法的流程示意图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的基于光流分析的人脸操控检测方法及其检测装置，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元(模块)和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元(模块)和步骤的情形。
在说明本发明的了本发明的基于光流分析的人脸操控检测方法及其检测装置之前，先对于人脸操控以及LK光流法的原理进行介绍。
1.人脸操控介绍
人脸操控就是通过一张个人的面部图像，通过深度网络或其它方法生成出目标人的进行各种面部动作的动态视频。
图1是表示对于人脸图像进行操控而生成的效果图。
图1左侧为原始的人脸图像，右侧为自动生成的面部动作视频帧。人脸操控技术很容易破解基于执行配合的人脸识别系统。
2.脸操控攻击实例
图2是表示人脸操控攻击的示意图。
在图2中，左侧为攻击者，右侧为被攻击对象。当攻击者拿到被攻击者的单张面部图片后，可以通过合成软件制作出被攻击者的动态视频，从而在人脸识别系统进行活体检测时配合执行活检动作，如张嘴、眨眼等，最终骗过人脸检测系统，实现攻击目的。
3.LK光流法
LK光流法，即Lucas-Kanade光流法是一种两帧差分的光流估计算法。
一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置，LK光流会有一些假设：
(1)灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的；
(2)微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化；
(3)空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近。
基于(1)和(2)的两个假设，便有如下约束方程：
I(x，y，z)＝I(x+δx，y+δy，z+δz)
其中，I(x，y，z)是指在z时刻，坐标(x，y)的灰度值。
对约束方程做一阶泰勒展开可得：
其中，R是高阶余项，视为0易得：
两边除以δz，得到：
其中，
和
为像素点沿x和y方向的速度(位移对时间的导数)简写成：
Ixvx+Iyvy+Iz＝0
化作矩阵形式：
利用(3)的假设，可以假设在一个m×m的窗口内，光流是一个恒定的值，即：
…
利用最小二乘可以直接得到解。
在本发明中，基于上述LK光流法，提出一种利用它实现的人脸操控检测装置以及人脸操控检测方法。
图3是表示本发明的基于光流分析的人脸操控检测装置的结构框图。
如图3所示，本发明的基于光流分析的人脸操控检测装置包括：
人脸采集模块100，用于采集人脸数据，其中，包括人脸视频；
光流分析模块200，用于选取人脸视频中的多个连续帧，结合以下的人脸检测模块300检测出的人脸区域的位置信息，针对所述相邻帧的人脸区域之外的光流分布和像素变化情况进行统计，根据统计结果判定人脸视频是否为伪造；
人脸检测模块300，用于检测光流分析模块200选取的多个连续帧的图像中人脸区域的位置信息；以及
人脸识别模块400，用于从所述人脸采集模块100采集的人脸视频中识别人脸特征并完成人脸比对。
以下，参考第一实施方式和第二实施方式对于本发明的人脸操控检测装置的各个组成模块的具体功能以及本发明的基于光流分析的人脸操控检测方法进行说明。
图4是表示本发明的第一实施方式的基于光流分析的人脸操控检测方法的流程示意图。
参考图4，对于本发明的第一实施方式的基于光流分析的人脸操控检测方法以及基于光流分析的人脸操控检测装置的各个模块所实现的具体功能进行说明。
如图4所示，本发明的第一实施方式的基于光流分析的人脸操控检测方法包括以下步骤：
S1：人脸采集模块100采集人脸数据，包括人脸视频，选取人脸视频中包含人脸识别过程的N个相邻帧；
S2：光流分析模块200采用LK光流法计算选取的N个相邻帧中的第i帧(Zi)和第i+1帧(Zi+1)的光流向量集合V＝{v(x，y)}，其中，(x，y)为图像中的像素位置；
S3：人脸检测模块300检测第i帧(Zi)和第i+1帧(Zi+1)中的人脸区域的位置信息，分别记为Fi和Fi+1；
S4：光流分析模块200统计第i帧图像中人脸区域之外的光流向量集合
(即，在光流向量集合V中去除掉Fi和Fi+1所覆盖的人脸区域之后的向量集合)，并计算Vi中非零向量占比Pv；
S5：光流分析模块200判断是否若0＜Pv＜a(a为设定阈值0＜a＜1，由于正常拍摄视频中除人脸区域外只有少部分像素会发生明显移动，因此，a一般选取较小的值)，若0＜Pv＜a，则i＝i+1执行步骤S2，若Pv＞＝a，则执行步骤S6；
S6：异常帧数量q＝q+1；
S7：光流分析模块200判断异常帧数量q是否符合要求，若不符合要求，则执行步骤S8，若符合要求则执行步骤S9，具体地，若判异常帧数量q＞k(k为异常帧数告警阈值，k＜N)，则说明视频中多帧出现异常，存在伪造可能，则执行步骤S8，否则，则说明视频正常，则继续执行步骤S9；
S8：光流分析模块200发出告警信息；以及
S9：由人脸检测模块400完成后续的人脸比对过程并反馈比对结果。
在第一实施方式的基础上，为了更准确地对于伪造可能进行判断，提出了第二实施方式，第二实施方式主要是在第一实施方式的基础上增加了像素逆映射和像素值比对。
图5是表示本发明的第二实施方式的基于光流分析的人脸操控检测方法的流程示意图。
结合图5对于本发明的第二实施方式的基于光流分析的人脸操控检测方法以及基于光流分析的人脸操控检测装置的各个模块所实现的具体功能进行说明。
如图5所示，本发明的第二实施方式的基于光流分析的人脸操控检测方法包括以下步骤：
S1：人脸采集模块100采集人脸数据，包括人脸视频，选取人脸视频中包含人脸识别过程的N个相邻帧；
S2：光流分析模块200采用LK光流法计算选取的N个相邻帧中的第i帧(Zi)和第i+1帧(Zi+1)的光流向量集合V＝{v(x，y)}，其中，(x，y)为图像中的像素位置；
S3：人脸检测模块300检测第i帧(Zi)和第i+1帧(Zi+1)中的人脸区域的位置信息，分别记为Fi和Fi+1；
S4：光流分析模块200统计第i帧图像中人脸区域之外的光流向量集合
(即，在光流向量集合V中去除掉Fi和Fi+1所覆盖的人脸区域之后的向量集合)，并计算Vi中非零向量占比Pv；
S5：光流分析模块200判断是否若0<Pv<a(a为设定阈值0<a<1，由于正常拍摄视频中除人脸区域外只有少部分像素会发生明显移动，因此，a一般选取较小的值)，若0<Pv<a，则i＝i+1执行步骤S2，若Pv>＝a，则执行步骤S6；
S6：若Pv>＝a，则执行像素逆映射Zi+1＝Zi+1(x-vx，y-vy)，所谓像素逆映射是指，把移动后的像素回退到移动前的位置，这里进行像素逆映射是因为，若Pv>＝a，则表示像素发生了明显移动，可以认为目标视频有伪造可能。
例如，其中可能之一是因为图像中的背景部分可能被整体平移了，此时根据光流分析的结果无法判断背景是否是通过PS操作等进行了平移，因此，在第二实施方式中，为了更准确地对于伪造可能进行判断，进一步地将移动后的像素逆向映射到移动前的位置；
S7：光流分析模块200将Zi和Zi+1中的非人脸区域进行像素值比对，并统计两帧图像中像素值相同的占比s，判断是否s＝1，若判断为s＝1说明两帧图像背景完全相同，则继续步骤S8，否则返回步骤S2，若判断为S≠1，则继续判断是否s<b，若s<b(b设定阈值0<b<1，由于Pv＝0说明两帧图像大部分像素应该一样，所以b取接近1的值)，则继续步骤S8，否则返回步骤S2；
S8：则异常帧数量q＝q+1；
S9：光流分析模块200判断异常帧数量q是否符合要求，若不符合要求，则执行步骤S10，若符合要求则执行步骤S11，具体地，若判异常帧数量q>k(k为异常帧数告警阈值，k<N)，则说明视频中多帧出现异常，存在伪造可能，则执行步骤S10，否则，则说明视频正常，则继续执行步骤S11；
S10：光流分析模块200发出告警信息；以及
S11：由人脸检测模块400完成后续的人脸比对过程并反馈比对结果。
本发明的基于光流分析的人脸操控检测方法及其检测装置，通过选取视频中的多个连续帧，针对相邻帧中人脸区域之外的光流分布和像素变化情况进行统计，根据统计结果判定视频是否存在被操控伪造的可能性。
在本发明中，通过对人脸视频的光流分布进行统计分析能够有效检测采用PS或深度网络生成的面部操控视频，从而降低人脸识别系统使用的风险性。
以上例子主要说明了本发明的基于光流分析的人脸操控检测方法及其检测装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (24)
1.一种基于光流分析的人脸操控检测方法，其特征在于，包括以下步骤：
人脸采集步骤，采集人脸视频，选取所述人脸视频中的能够用于人脸识别的多个相邻帧；
光流分布检测步骤，在所述多个相邻帧之中利用LK光流法检测相邻的第一帧和第二帧的光流向量集合；
人脸检测步骤，对于所述第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
像素变化判断步骤，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
2.如权利要求1所述的基于光流分析的人脸操控检测方法，其特征在于，
在所述非零向量占比Pv大于预先设定的阈值的情况下进一步包括以下步骤：
像素处理步骤，对于所述第一帧和所述第二帧执行像素逆映射；
像素比对步骤，比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1；以及
判断步骤，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
3.如权利要求1或2所述的基于光流分析的人脸操控检测方法，其特征在于，
在所述光流分布检测步骤中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V={v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
4.如权利要求1或2所述的基于光流分析的人脸操控检测方法，其特征在于，
在所述人脸检测步骤中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
5.如权利要求3所述的基于光流分析的人脸操控检测方法，其特征在于，
设置所述预先设定的阈值为a，其中，0<a<1。
6.如权利要求5所述的基于光流分析的人脸操控检测方法，其特征在于，
将a设定为在0<a<1的范围内更靠近0的值。
7.如权利要求4所述的基于光流分析的人脸操控检测方法，其特征在于，
所述像素比对步骤包括：
将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s；
判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集步骤，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
8.如权利要求7所述的基于光流分析的人脸操控检测方法，其特征在于，
所述预先设定的规定范围为s=1。
9.如权利要求8所述的基于光流分析的人脸操控检测方法，其特征在于，
所述预先设定的规定范围为s<b，其中，0<b<1。
10.如权利要求8所述的基于光流分析的人脸操控检测方法，其特征在于，
设定为s为在0<b<1的范围内更靠近1的值。
11.如权利要求1所述的基于光流分析的人脸操控检测方法，其特征在于，
在所述判断步骤中，当所述异常帧数量大于预先设定的阈值的情况下，发出告警信息。
12.一种基于光流分析的人脸操控检测装置，其特征在于，包括：
人脸采集模块，采集人脸视频，选取所述人脸视频中的能够用于进行人脸识别的多个相邻帧；
人脸检测模块，对于所述多个相邻帧中相邻的第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
光流分析模块，利用LK光流法检测所述第一帧和所述第二帧的光流向量集合，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
13.如权利要求12所述的基于光流分析的人脸操控检测装置，其特征在于，
所述光流分析模块进一步对于所述第一帧和所述第二帧执行像素逆映射，并且比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
14.如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，进一步包括：
人脸识别模块，用于从所述人脸采集模块采集的人脸视频中识别人脸特征并完成人脸比对。
15.如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，
在所述光流分析模块中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V={v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
16.如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，
在所述人脸检测模块中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
17.如权利要求16所述的基于光流分析的人脸操控检测装置，其特征在于，
设置所述预先设定的阈值为a，其中，0<a<1。
18.如权利要求17所述的基于光流分析的人脸操控检测装置，其特征在于，
将a设定为在0<a<1的范围内更靠近0的值。
19.如权利要求15所述的基于光流分析的人脸操控检测装置，其特征在于，
在所述光流分析模块中，将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s，判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集模块，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
20.如权利要求19所述的基于光流分析的人脸操控检测装置，其特征在于，
所述预先设定的规定范围为s=1。
21.如权利要求20所述的基于光流分析的人脸操控检测装置，其特征在于，
所述预先设定的规定范围为s<b，其中，0<b<1。
22.如权利要求21所述的基于光流分析的人脸操控检测装置，其特征在于，
设定为s为在0<b<1的范围内更靠近1的值。
23.一种计算机可读介质，其上存储有计算机程序，其特征在于，
该计算机程序被处理器执行时实现权利要求1~11任意一项所述的基于光流分析的人脸操控检测方法。
24.一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，
所述处理器执行所述计算机程序时实现权利要求1~11任意一项所述的基于光流分析的人脸操控检测方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210929784.0A CN115719461A (zh) | 2022-08-03 | 2022-08-03 | 一种基于光流分析的人脸操控检测方法及其检测装置 |
| PCT/CN2022/135388 WO2024027052A1 (zh) | 2022-08-03 | 2022-11-30 | 一种基于光流分析的人脸操控检测方法及其检测装置 |
| TW111148885A TWI824892B (zh) | 2022-08-03 | 2022-12-20 | 一種基於光流分析的人臉操控檢測方法及其檢測裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210929784.0A CN115719461A (zh) | 2022-08-03 | 2022-08-03 | 一种基于光流分析的人脸操控检测方法及其检测装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115719461A true CN115719461A (zh) | 2023-02-28 |
Family
ID=85253915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210929784.0A Pending CN115719461A (zh) | 2022-08-03 | 2022-08-03 | 一种基于光流分析的人脸操控检测方法及其检测装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN115719461A (zh) |
| TW (1) | TWI824892B (zh) |
| WO (1) | WO2024027052A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3014519A4 (en) * | 2013-06-27 | 2017-02-15 | Intel Corporation | Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking |
| US10990808B2 (en) * | 2016-02-09 | 2021-04-27 | Aware, Inc. | Face liveness detection using background/foreground motion analysis |
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| TWI733420B (zh) * | 2020-04-22 | 2021-07-11 | 國立中央大學 | 動作辨識系統 |
| CN111611873B (zh) * | 2020-04-28 | 2024-07-16 | 平安科技（深圳）有限公司 | 人脸替换检测方法及装置、电子设备、计算机存储介质 |
| CN111985427A (zh) * | 2020-08-25 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 活体检测方法、设备及可读存储介质 |
| CN112488018A (zh) * | 2020-12-09 | 2021-03-12 | 巽腾(广东)科技有限公司 | 双目活体检测方法、装置、设备和存储介质 |
-
2022
- 2022-08-03 CN CN202210929784.0A patent/CN115719461A/zh active Pending
- 2022-11-30 WO PCT/CN2022/135388 patent/WO2024027052A1/zh unknown
- 2022-12-20 TW TW111148885A patent/TWI824892B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TW202407645A (zh) | 2024-02-16 |
| TWI824892B (zh) | 2023-12-01 |
| WO2024027052A1 (zh) | 2024-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10990191B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP7130368B2 (ja) | 情報処理装置および情報処理システム | |
| KR100455294B1 (ko) | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 | |
| KR100851981B1 (ko) | 비디오 영상에서 실 객체 판별 방법 및 장치 | |
| US6661907B2 (en) | Face detection in digital images | |
| JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
| JP2007265367A (ja) | 視線検出方法および装置ならびにプログラム | |
| JP2003317101A (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
| CN112232324B (zh) | 人脸验伪方法、装置、计算机设备和存储介质 | |
| CN101950448B (zh) | Atm的伪装与偷窥行为检测的方法和系统 | |
| US12131485B2 (en) | Object tracking device and object tracking method | |
| WO2019003973A1 (ja) | 顔認証装置、顔認証方法およびプログラム記録媒体 | |
| JP2004185611A (ja) | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| CN113496215B (zh) | 一种活体人脸检测的方法、装置及电子设备 | |
| Wang et al. | Face tracking using motion-guided dynamic template matching | |
| CN115719461A (zh) | 一种基于光流分析的人脸操控检测方法及其检测装置 | |
| Gottumukkal et al. | Real time face detection from color video stream based on PCA method | |
| Ernő et al. | Model-based human ear localization and feature extraction | |
| KR20140140953A (ko) | 얼굴 검출 방법 및 그 장치 | |
| Nanthini et al. | An Efficient Velocity Estimation Approach for Face Liveness Detection using Sparse Optical Flow Technique | |
| JP7374401B1 (ja) | 人物相関判定装置、人物相関判定方法および人物相関判定プログラム | |
| Lin et al. | Integrating bottom-up and top-down processes for accurate pedestrian counting | |
| WO2021260934A1 (ja) | 情報処理装置、情報処理方法およびプログラム記憶媒体 | |
| US20230410467A1 (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40088833 Country of ref document: HK |