CN111783608B - 一种换脸视频检测方法 - Google Patents

一种换脸视频检测方法 Download PDF

Info

Publication number
CN111783608B
CN111783608B CN202010592686.3A CN202010592686A CN111783608B CN 111783608 B CN111783608 B CN 111783608B CN 202010592686 A CN202010592686 A CN 202010592686A CN 111783608 B CN111783608 B CN 111783608B
Authority
CN
China
Prior art keywords
face
frame
changing
calculating
trace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010592686.3A
Other languages
English (en)
Other versions
CN111783608A (zh
Inventor
崔弘
庚嵩
曲宝珠
王康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Fiberhome Telecommunication Technologies Co ltd
Original Assignee
Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fiberhome Telecommunication Technologies Co ltd filed Critical Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority to CN202010592686.3A priority Critical patent/CN111783608B/zh
Publication of CN111783608A publication Critical patent/CN111783608A/zh
Application granted granted Critical
Publication of CN111783608B publication Critical patent/CN111783608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种换脸视频检测方法,并提取出若干连续的单帧人脸图像,将截取每一帧人脸图像按照帧序号对应编码,形成一组具有编码的连续的人脸图片;通过人脸检测工具对每一人脸图片进行计算,获得对应的人脸痕迹图;计算出人脸痕迹图的区域面积,并比对单帧图像的区域面积,计算出轮廓比;每一张编码的人脸图片获取一个独立的轮廓比值,多张连续的人脸图片所产生的轮廓比值形成一串离散数据。本发明相比于现存的换脸检测技术,准确率更高,训练更加简单,结果更加具有可解释性。不再受限于标注训练数据量的限制,可适用于多种换脸工具伪造的视频。

Description

一种换脸视频检测方法
技术领域
本发明涉及一种换脸视频检测方法。
背景技术
近年来,随着深度学习技术的兴起,产生了大量的相关技术应用,尽管某些应用可以使我们的生活更加智能化,但也会给不法分子带来可乘之机。换脸软件是一种可以把图像或者视频中的人物替换为目标人脸的软件,如何检测换脸后的视频成为当前研究的热点,目前市场普遍采用二分类深度卷积神经网络区分真假换脸图片。
二分类深度卷积神经网络区分真假换脸图片的手段存在以下缺憾,1.二分类卷积神经网络需要大量的训练样本来支撑其泛化能力,对样本进行标注意味着大量的人力物力消耗;2.单一的样本训练的网络可能只对部分的换脸软件有效,无法同时对多种换脸软件进行准确判断。
发明内容
为解决现有技术存在的生产效率低下、功能单一的缺陷,本发明提供一种换脸视频检测方法。
为了解决上述技术问题,本发明提供了如下的技术方案:
本发明一种换脸视频检测方法,其特征在于:
S1:将包含人脸视频数据解码,并提取出若干连续的单帧人脸图像,将截取每一帧人脸图像按照帧序号对应编码,形成一组具有编码的连续的人脸图片;
S2:通过人脸检测工具对每一人脸图片进行计算,获得对应的人脸痕迹图;
S3:计算出人脸痕迹图的区域面积,并比对单帧图像的区域面积,计算出轮廓比;每一张编码的人脸图片获取一个独立的轮廓比值,多张连续的人脸图片所产生的轮廓比值形成一串离散数据。
通过通用的opencv或者ffmpeg工具包,将包含人脸视频数据解码为一组连续的单帧人脸图像;通过python中开源的Dlib工具库,截取单帧人脸图像的人脸区域,不同帧图像中人脸区域的尺寸相同或者不同。
使用RetinaFace人脸检测器检测单帧人脸图像中的人脸,用于确定单帧人脸图像中的人脸位置和大小,并采集每一帧人脸图像中关键点检测。
对提取的每一帧人脸图片使用HRnet网络提取特征,并在尾部添加分类器,分类器由全局平局池化层、全连接层、Sigmoid激活层组成。
对采集的关键点数据进行处理,计算出被判定为换脸帧的总数量与输入痕迹检测模型帧数的比例P,
若P≥0.5,则认定该视频为换脸视频;
若P=0,则该视频与换脸无关。
与现有技术相比,本发明具有如下有益效果:相比于现存的换脸检测技术,准确率更高,训练更加简单,结果更加具有可解释性。不再受限于标注训练数据量的限制,可适用于多种换脸工具伪造的视频。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种换脸视频检测方法的流程图;
图2是本发明一种换脸视频检测方法的RetinaFace网络结构图;
图3是本发明一种换脸视频检测方法的HRnet网络结构图;
图4是本发明一种换脸视频检测方法的换脸痕迹检测网络结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1-4所示,一种换脸视频检测方法,具体步骤如下:
S1:将包含人脸视频数据解码,并提取出若干连续的单帧人脸图像,将截取每一帧人脸图像按照帧序号对应编码,形成一组具有编码的连续的人脸图片;
S2:通过人脸检测工具对每一人脸图片进行计算,获得对应的人脸痕迹图;
S3:计算出人脸痕迹图的区域面积,并比对单帧图像的区域面积,计算出轮廓比;每一张编码的人脸图片获取一个独立的轮廓比值,多张连续的人脸图片所产生的轮廓比值形成一串离散数据。
通过通用的opencv或者ffmpeg工具包,将包含人脸视频数据解码为一组连续的单帧人脸图像;通过python中开源的Dlib工具库,截取单帧人脸图像的人脸区域,不同帧图像中人脸区域的尺寸相同或者不同。
使用RetinaFace人脸检测器检测单帧人脸图像中的人脸,用于确定单帧人脸图像中的人脸位置和大小,并采集每一帧人脸图像中关键点检测。
对提取的每一帧人脸图片使用HRnet网络提取特征,并在尾部添加分类器,分类器由全局平局池化层、全连接层、Sigmoid激活层组成。语义分割任务使用的骨干网络与分类任务有所不同,分类任务为了使模型的参数量降低采用了大量的池化层,使得高层的特征图尺寸较小。过多的池化层会使得网络传递信息丢失,进而影响语义分割的效果。一些语义分割网络通过strided=2的卷积层降低网络参数量,然后采用反卷积的方式扩大特征图的尺寸。HRnet与先前的语义分割网络不同的是:1、高分辨率的特征图一直在网络中流通;2、不同分辨率的特征图是并联结合的而非串联;这种方式很好地保持了信息的传递。
以上所述的一种换脸视频检测方法,对采集的关键点数据进行处理,具体步骤包括:
1)准备一组人脸数据,人脸数据需带有至少68个以上关键点标注信息。
2)随机选取准备好人脸数据中的任一张人脸A,并计算其余人脸与该人脸的相似度,这里采用两者关键点间的欧氏距离作为相似度评价指标,并按照相似度大小升序排序,取前100张最相似的人脸信息,缓存该排序信息,从前100 张最相似人脸中随机选取1张人脸,设为B。
3)根据A的关键点位置,计算A的脸部轮廓凸包,将凸包内像素值设为1,凸包外的像素值设置为0,得到初始人脸掩膜。对初始人脸掩膜进行高斯模糊,将掩膜数据由int型转变为float32型,并软化掩膜。高斯核尺寸从随机选取,软化后得到最终的人脸掩膜M。
4)根据公式构造伪造人脸IM,
5)根据公式,得到最终的换脸痕迹S
6)循环2)~5)生成一组训练数据,N为batch size,损失函数由痕迹检测和分类两部分组成。其中痕迹检测损失函数为BCE损失,分类损失为交叉熵损失。为了加强对痕迹检测的监督,设置痕迹检测损失与分类损失的计算比例为100:1。
通过换脸痕迹检测模型得到每帧的结果,计算被判定为换脸帧的总数量与输入痕迹检测模型帧数的比例P;
P≥0.5,则认定该视频为换脸视频;
若P=0,则该视频与换脸无关。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种换脸视频检测方法,其特征在于:
S1:将包含人脸视频数据解码,并提取出若干连续的单帧人脸图像,将截取每一帧人脸图像按照帧序号对应编码,形成一组具有编码的连续的人脸图片;
S2:通过人脸检测工具对每一人脸图片进行计算,获得对应的人脸痕迹图;
S3:计算出人脸痕迹图的区域面积,并比对单帧图像的区域面积,计算出轮廓比;每一张编码的人脸图片获取一个独立的轮廓比值,多张连续的人脸图片所产生的轮廓比值形成一串离散数据;
通过通用的opencv 或者ffmpeg工具包,将包含人脸视频数据解码为一组连续的单帧人脸图像;通过python中开源的Dlib工具库,截取单帧人脸图像的人脸区域,不同帧图像中人脸区域的尺寸相同或者不同;
使用RetinaFace人脸检测器检测单帧人脸图像中的人脸,用于确定单帧人脸图像中的人脸位置和大小,并采集每一帧人脸图像中关键点检测;
对采集的关键点数据进行处理,具体步骤包括:
1)准备一组人脸数据,人脸数据需带有至少68个以上关键点标注信息;
2)随机选取准备好人脸数据中的任一张人脸A,并计算其余人脸与该人脸的相似度,这里采用两者关键点间的欧氏距离作为相似度评价指标,并按照相似度大小升序排序,取前100张最相似的人脸信息, 缓存该排序信息,从前100张最相似人脸中随机选取1张人脸,设为B;
3)根据A的关键点位置,计算A的脸部轮廓凸包,将凸包内像素值设为1,凸包外的像素值设置为0,得到初始人脸掩膜;对初始人脸掩膜进行高斯模糊,将掩膜数据由int型转变为float32型,并软化掩膜;高斯核尺寸从随机选取,软化后得到最终的人脸掩膜M;
4)根据公式构造伪造人脸IM;
5)根据公式,得到最终的换脸痕迹S;
6)循环2)~ 5)生成一组训练数据,N为batch size,损失函数由痕迹检测和分类两部分组成;其中痕迹检测损失函数为BCE损失,分类损失为交叉熵损失;为了加强对痕迹检测的监督,设置痕迹检测损失与分类损失的计算比例为100:1。
2.根据权利要求1所述的一种换脸视频检测方法,其特征在于:
通过换脸痕迹检测模型得到每帧的结果,计算被判定为换脸帧的总数量与输入痕迹检测模型帧数的比例P;
P≥0.5,则认定该视频为换脸视频;
若P=0,则该视频与换脸无关。
3.根据权利要求1所述的一种换脸视频检测方法,其特征在于:
对提取的每一帧人脸图片使用HRnet网络提取特征,并在尾部添加分类器,分类器由全局平局池化层、全连接层、Sigmoid激活层组成。
CN202010592686.3A 2020-06-24 2020-06-24 一种换脸视频检测方法 Active CN111783608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010592686.3A CN111783608B (zh) 2020-06-24 2020-06-24 一种换脸视频检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010592686.3A CN111783608B (zh) 2020-06-24 2020-06-24 一种换脸视频检测方法

Publications (2)

Publication Number Publication Date
CN111783608A CN111783608A (zh) 2020-10-16
CN111783608B true CN111783608B (zh) 2024-03-19

Family

ID=72760941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010592686.3A Active CN111783608B (zh) 2020-06-24 2020-06-24 一种换脸视频检测方法

Country Status (1)

Country Link
CN (1) CN111783608B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883902B (zh) * 2021-03-12 2023-01-24 百度在线网络技术(北京)有限公司 视频检测方法、装置、电子设备及存储介质
CN113486785B (zh) * 2021-07-01 2024-08-13 株洲霍普科技文化股份有限公司 基于深度学习的视频换脸方法、装置、设备及存储介质
CN113449657B (zh) * 2021-07-05 2022-08-30 中山大学 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2018043796A1 (ko) * 2016-09-01 2018-03-08 상명대학교서울산학협력단 위조 바이오 정보 검출 장치 및 방법
CN108363948A (zh) * 2017-12-29 2018-08-03 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的人脸信息结构化方法
CN109587518A (zh) * 2017-09-28 2019-04-05 三星电子株式会社 图像传输装置、操作图像传输装置的方法以及片上系统
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110674675A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种行人面部反欺诈方法
CN110929635A (zh) * 2019-11-20 2020-03-27 华南理工大学 基于信任机制下面部交并比的假脸视频检测方法及系统
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111079686A (zh) * 2019-12-25 2020-04-28 开放智能机器(上海)有限公司 一种单阶段的人脸检测和关键点定位方法及系统
CN111105544A (zh) * 2019-12-31 2020-05-05 深圳市哈希树科技有限公司 无人超市的人脸识别门禁系统及其控制方法
CN111144314A (zh) * 2019-12-27 2020-05-12 北京中科研究院 一种篡改人脸视频检测方法
CN113128271A (zh) * 2019-12-30 2021-07-16 微软技术许可有限责任公司 脸部图像的伪造检测

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2018043796A1 (ko) * 2016-09-01 2018-03-08 상명대학교서울산학협력단 위조 바이오 정보 검출 장치 및 방법
CN109587518A (zh) * 2017-09-28 2019-04-05 三星电子株式会社 图像传输装置、操作图像传输装置的方法以及片上系统
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108363948A (zh) * 2017-12-29 2018-08-03 武汉烽火众智数字技术有限责任公司 一种用于视频侦查的人脸信息结构化方法
CN110674675A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种行人面部反欺诈方法
CN110929635A (zh) * 2019-11-20 2020-03-27 华南理工大学 基于信任机制下面部交并比的假脸视频检测方法及系统
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111079686A (zh) * 2019-12-25 2020-04-28 开放智能机器(上海)有限公司 一种单阶段的人脸检测和关键点定位方法及系统
CN111144314A (zh) * 2019-12-27 2020-05-12 北京中科研究院 一种篡改人脸视频检测方法
CN113128271A (zh) * 2019-12-30 2021-07-16 微软技术许可有限责任公司 脸部图像的伪造检测
CN111105544A (zh) * 2019-12-31 2020-05-05 深圳市哈希树科技有限公司 无人超市的人脸识别门禁系统及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频篡改检测数据库的构建及测试;胡永健;Salman Al-hamidi;王宇飞;刘贝;李猛;;华南理工大学学报(自然科学版)(第12期);全文 *

Also Published As

Publication number Publication date
CN111783608A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783608B (zh) 一种换脸视频检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN108537157B (zh) 一种基于人工智能分类实现的视频场景判断方法与装置
CN105913070B (zh) 一种基于光场相机的多线索显著性提取方法
CN105608456A (zh) 一种基于全卷积网络的多方向文本检测方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN111899249A (zh) 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法
CN113128335B (zh) 微体古生物化石图像检测、分类及发现方法、系统及应用
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN111666842A (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN107977592A (zh) 一种图像文本检测方法及系统、用户终端及服务器
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN114998879A (zh) 一种基于事件相机的模糊车牌识别方法
CN114926826A (zh) 场景文本检测系统
CN110728214A (zh) 一种基于尺度匹配的弱小人物目标检测方法
CN117037049B (zh) 基于YOLOv5深度学习的图像内容检测方法及系统
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN117274907A (zh) 一种基于YOLOv5算法改进的烟火检测方法
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN114445726B (zh) 一种基于深度学习的样本库建立方法和装置
Tarhib et al. Multi Model CNN Based Gas Meter Characters Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant