CN112883890A - 基于ACBlock的深度卷积神经网络信息取证方法 - Google Patents

基于ACBlock的深度卷积神经网络信息取证方法 Download PDF

Info

Publication number
CN112883890A
CN112883890A CN202110230368.7A CN202110230368A CN112883890A CN 112883890 A CN112883890 A CN 112883890A CN 202110230368 A CN202110230368 A CN 202110230368A CN 112883890 A CN112883890 A CN 112883890A
Authority
CN
China
Prior art keywords
video
neural network
face
convolutional neural
tampered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110230368.7A
Other languages
English (en)
Other versions
CN112883890B (zh
Inventor
康显桂
俞建聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110230368.7A priority Critical patent/CN112883890B/zh
Publication of CN112883890A publication Critical patent/CN112883890A/zh
Application granted granted Critical
Publication of CN112883890B publication Critical patent/CN112883890B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于ACBlock的深度卷积神经网络信息取证方法，解决了现有取证检测方法在面对较差质量的视频片段时，提取到的特征较少、检测准确率不高的问题，将非对称卷积结构ACBlock引入到深度卷积神经网络之中，利用原始视频集和篡改视频集的人脸内容训练网络，由待测视频进行人脸提取得到的结果作为待测样本，将待测样本通过训练好的卷积神经网络进行分类，即可判断此帧图像是否经过了篡改，ACBlock以多个非对称卷积核组合的形式来替代原本的对称卷积核，能够加强卷积对于中心位置的特征提取，克服现有技术在视频质量较差时，因提取特征的能力较差而表现出的检测准确率不高的缺陷，从而提高检测取证的准确率。

Description

基于ACBlock的深度卷积神经网络信息取证方法
技术领域
本发明涉及人脸视频信息取证的技术领域，更具体地，涉及一种基于ACBlock的深度卷积神经网络信息取证方法。
背景技术
随着信息技术的快速发展，图像和视频成为了人们日常生活中重要的信息载体，各种数字图像处理工具也得到了普及，人们可以很轻易地篡改图像，使其原始性、真实性和可靠性受到挑战，尤其恶意针对名人或国家领导人生成的换脸视频产生了严重的信息误导和安全隐患。因此，有必要对信息取证尤其是对人脸视频信息取证进行研究。
卷积神经网络以其卓越的特征表达能力使其在图像分类领域上得到了大量的关注，而人脸视频信息取证作为图像分类的一种，在使用卷积神经网络的时候，同样有较好的表现。
Google在2016年发布的论文《Xception:Deep Learning with DepthwiseSeperable Convolutions》中提出了一种典型的卷积神经网络：Xception网络，其采用了深度可分离卷积的结构，在raw质量的视频上进行检测时，人脸视频取证的检测准确度高达99.26％，但当在低质量的视频上进行检测时，准确度大幅度降低到了81％。2020年3月13日，中国发明专利(公开号：CN110880172A)中公开了一种基于循环卷积神经网络的视频人脸篡改检测方法及系统，该专利中提出的技术方案即是基于Xception网络实现的，通过将循环神经网络模块直接接到卷积神经网络最后一层后面，构建出一个端到端的深度学习模型，实现了较高的视频人脸篡改检测率，但这种技术效果也通常是在视频质量较好的情况下实现的，此专利也并未考虑视频质量较差时的情况，而当视频质量较差时，卷积神经网络对于人脸特征的提取会比较困难，检测准确率降低，因此，视频质量对于应用卷积神经网络进行人脸视频信息取证有着非常大的影响。
非对称卷积块(AsymmetricConvolutionBlock，简称ACBlock)是一种特殊的卷积结构，其与普通的3*3或5*5的对称卷积核不同，是以多个非对称卷积核组合的形式来替代原本的对称卷积核，这种组合形式能够加强卷积对于中心位置的特征提取，提高检测的准确度。因此，研究如何基于ACBlock的深度卷积神经网络进行信息取证尤其人脸视频信息取证，具有重要意义。
发明内容
为解决现有人脸视频信息取证检测方法在面对较差质量的视频片段时，提取到的特征较少、检测准确率不高的问题，本发明提出一种基于ACBlock的深度卷积神经网络信息取证方法，增强提取特征的能力，提高检测准确率。
为了达到上述技术效果，本发明的技术方案如下：
一种基于ACBlock的深度卷积神经网络信息取证方法，用于确认视频片段中的人脸信息是否经过篡改，至少包括：
S1.构造原始视频集和篡改视频集；
S2.分别提取原始视频集和篡改视频中的人脸内容，得到原始人脸视频集和篡改人脸视频集；
S3.分别从原始人脸视频集和篡改人脸视频集中随机筛选出原始视频人脸信息样本和篡改视频人脸信息样本；
S4.构建基于ACBlock的深度卷积神经网络模型，利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练；
S5.保留预训练后基于ACBlock的深度卷积神经网络模型的权重参数，截取掉深度卷积神经网络模型末端的全连接层，替换为Capsule胶囊网络结构，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型；
S6.选取待取证视频，将待取证视频进行分帧，提取人脸内容，作为待测视频人脸样本；
S7.利用训练好的深度卷积神经网络模型对待测视频帧样本进行分类，确认视频中的人脸信息是否进行了篡改。
在本技术方案中，通过提取原始视频集和篡改视频中的人脸内容，得到原始人脸视频集和篡改人脸视频集，进一步得到原始视频人脸信息样本和篡改视频人脸信息样本，构建基于ACBlock的深度卷积神经网络模型，然后对模型进行预训练，保存训练后的权重参数，但截取掉深度卷积神经网络模型末端的全连接层，替换为Capsule胶囊网络结构，以原来的权重参数再次训练深度卷积神经网络模型，将每一帧待测视频的人脸内容通过训练好的深度卷积神经网络，即可判断此帧视频中的人脸是否经过了篡改，且通过判断待测视频中被篡改帧的位置可以定位视频被篡改的范围，一方面，ACBlock作为一种特殊的卷积结构，以多个非对称卷积核组合的形式来替代原本的对称卷积核，能够加强卷积对于中心位置的特征提取，提高检测的准确度，避免视频质量较差时，取证检测准确度降低的现象发生；另一方面，考虑Capsule胶囊网络结构比普通的全连接层有效更高，能提高最终的检测准确度，但网络结构复杂度更高，所以分预训练和再次训练，以节省内存，保证检测取证过程的顺利进行。
优选地，步骤S1所述构造原始视频集和篡改视频集的具体过程为：
S101.选取原始视频，将原始视频进行分帧处理，得到原始视频集；
S102.将分帧后的原始视频集进行两两配对，分别作为互换的源视频和目标视频；
S103.对原始视频集中已配对的视频使用篡改方法进行人脸替换，得到篡改视频集。
优选地，步骤S103中所述的篡改方法包括：Deepfakes，FaceSwap，Face2Face和Neural-Textures。
优选地，步骤S2中所述的原始人脸视频集是从原始视频集中使用Dlib工具提取出的人脸图像，篡改人脸视频集是从篡改视频集中使用Dlib工具提取出的人脸图像，Dlib工具使用时，提取框的大小扩大为原来的1.3倍。
在此，由于Dlib工具提取出的人脸仅为面部部分，为了保证提取出的图像中保留了篡改痕迹，需要在Dlib工具的基础上，将提取框的大小扩大为原来的1.3倍，确保整个头部内容完整的提取出来。
优选地，步骤S3中，从原始人脸视频集随机筛选出的原始视频人脸信息样本的数量和从篡改人脸视频集中随机筛选出的篡改视频人脸信息样本的数量相同。
优选地，步骤S4所述构建的基于ACBlock的深度卷积神经网络模型以Xception卷积神经网络为基础，在Xception卷积神经网络的基础上，将所有的3*3卷积层替换为ACBlock。
优选地，步骤S4中所述利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练的方法为梯度下降法。
优选地，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型时，预训练后基于ACBlock的深度卷积神经网络模型的权重参数不变，仅对Capsule胶囊网络结构进行训练，可以节省训练内存，有利于后续检测取证过程的顺利进行。
优选地，对Capsule胶囊网络结构进行训练的方法为梯度下降法。
优选地，步骤S7中，通过比较视频中经过篡改的帧数以及帧的位置确认视频中的人脸信息是否进行了篡改。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于ACBlock的深度卷积神经网络信息取证方法，将非对称卷积结构ACBlock引入到深度卷积神经网络之中，利用原始视频集和篡改视频集的人脸内容训练网络，由待测视频进行人脸提取得到的结果作为待测样本，将待测样本通过训练好的卷积神经网络进行分类，即可判断此帧图像是否经过了篡改，ACBlock以多个非对称卷积核组合的形式来替代原本的对称卷积核，能够加强卷积对于中心位置的特征提取，克服现有技术在视频质量较差时，因提取特征的能力较差而表现出的检测准确率不高的缺陷，从而提高检测取证的准确率。
附图说明
图1表示本发明实施例中提出的基于ACBlock的深度卷积神经网络信息取证方法的流程图；
图2表示本发明实施例中提出的基于ACBlock的深度卷积神经网络的整体结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示的基于ACBlock的深度卷积神经网络信息取证方法的流程图，参见图1，所述方法包括：
S1.构造原始视频集和篡改视频集；
具体过程为：
S101.选取原始视频，将原始视频进行分帧处理，得到原始视频集；
S102.将分帧后的原始视频集进行两两配对，分别作为互换的源视频和目标视频；
S103.对原始视频集中已配对的视频使用篡改方法进行人脸替换，得到篡改视频集；篡改方法包括：Deepfakes，FaceSwap，Face2Face和NeuralTextures。
S2.分别提取原始视频集和篡改视频中的人脸内容，得到原始人脸视频集和篡改人脸视频集；在本实施例中，所述的原始人脸视频集是从原始视频集中使用Dlib工具提取出的人脸图像，篡改人脸视频集是从篡改视频集中使用Dlib工具提取出的人脸图像，由于Dlib工具提取出的人脸仅为面部部分，为了保证提取出的图像中保留了篡改痕迹，需要在Dlib工具的基础上，将提取框的大小扩大为原来的1.3倍，确保整个头部内容完整的提取出来。
S3.分别从原始人脸视频集和篡改人脸视频集中随机筛选出原始视频人脸信息样本和篡改视频人脸信息样本；在本实施例中，从原始人脸视频集随机筛选出的原始视频人脸信息样本的数量和从篡改人脸视频集中随机筛选出的篡改视频人脸信息样本的数量相同；
S4.构建基于ACBlock的深度卷积神经网络模型，利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练；
S5.保留预训练后基于ACBlock的深度卷积神经网络模型的权重参数，截取掉深度卷积神经网络模型末端的全连接层，替换为Capsule胶囊网络结构，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型；
在本实施例中，构建的基于ACBlock的深度卷积神经网络模型以Xception卷积神经网络为基础，在Xception卷积神经网络的基础上，将所有的3*3卷积层替换为ACBlock，具体的网络连接结构参见图2，如图2所示，整体包括输入流、中间流、输出流、卷积层256，1×1以及Capsule胶囊网络结构，其中，输入流包含两个卷积核数目，分别为32和64的卷积层，以及3个三个可分离卷积块，所有的3x3卷积层均使用ACBlock替代，中间流包含8个相同的可分离卷积块，输出流包含一个可分离卷积块，以及一个卷积核数目为1536的卷积层，Capsule胶囊网络结构包含初级胶囊，动态路由以及输出胶囊结构，利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练及再次训练的方法为神经网络常规训练的方法，在本实施例中选取梯度下降法，以及在单次训练中，所有篡改视频人脸信息样本使用的是同一篡改方法，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型时，预训练后基于ACBlock的深度卷积神经网络模型的权重参数不变，仅对Capsule胶囊网络结构进行训练，可以节省训练内存，有利于后续检测取证过程的顺利进行。
S6.选取待取证视频，将待取证视频进行分帧，提取人脸内容，作为待测视频人脸样本；
S7.利用训练好的深度卷积神经网络模型对待测视频帧样本进行分类，确认视频中的人脸信息是否进行了篡改，通过比较视频中经过篡改的帧数以及帧的位置确认视频中的人脸信息是否进行了篡改。
下面结合具体的实施过程进一步说明。
采用一个包含1000段原始视文件的视频库，为每段原始视频选择另外一段视频进行配对，得到1000个视频对。然后，对每一视频对中的两段视频，使用4种不同的篡改方法(Deepfakes，FaceSwap，Face2Face和Neural-Textures)进行篡改，得到4组篡改视频集。
对上述得到的原始视频集和篡改视频集，分别做分帧处理并使用Dlib工具提取人脸内容，作为原始人脸视频集和篡改人脸视频集，原始人脸视频集和4组篡改人脸视频集各筛选出相同数量的样本，训练卷积神经网络。
在本实施实例中共进行了两组实验，包括：根据本申请提出的方案进行的实验和利用深度卷积神经网络进行视频人脸信息取证的比较实验。
第一组：在高压缩下的四种篡改类型的数据集上进行实验，得到的帧级别的实验结果如表1所示：
表1：本申请提出的方法的检测率
篡改方法 FaceSwap Deepfakes Face2Face NeuralTextures
准确率 93.97 95.36 89.37 97.07
在已有的深伪人脸视频检测方法的比较实验中，本实施例采用论文“A.
Figure BDA0002958913380000071
D.Cozzolino,L.Verdoliva,C.Riess,J.Thies and M.Niessner,"FaceForensics++:Learning to Detect Manipulated Facial Images,"2019IEEE/CVF InternationalConference on Computer Vision(ICCV),Seoul,Korea(South),2019,pp.1-11,doi:10.1109/ICCV.2019.00009.”中使用的Xception卷积神经网络以及论文”Huy H.Nguyenand Junichi Yamagishi and Isao Echizen,”Use of a Capsule Network to DetectFake Images and Videos,”arXiv preprint arXiv:1910.12467,2019”中提出的Capsule胶囊卷积神经网络作为对比实验，得到的帧级别的实验结果如表2所示：
表2：三种方法的检测率
篡改方式 本申请提出的方法 Xception Capsulenetwork
Deepfakes 95.36 91.01 95.03
FaceSwap 93.97 88.54 93.22
Face2Face 89.37 85.55 89.48
NeuralTextures 97.07 90.84 94.66
从表2中本申请的方案、Xception卷积神经网络和Capsule胶囊网络结构等三种检测方法的实验结果对比可知，本申请的方案进行四种篡改方式的检测的准确率均优于另外两种方法。
上述两组实验表明，本申请提出的方法在高压缩下四种篡改类型的人脸视频集中的信息取证方面均有很好的效果。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于ACBlock的深度卷积神经网络信息取证方法，用于确认视频片段中的人脸信息是否经过篡改，其特征在于，至少包括：
S1.构造原始视频集和篡改视频集；
S2.分别提取原始视频集和篡改视频中的人脸内容，得到原始人脸视频集和篡改人脸视频集；
S3.分别从原始人脸视频集和篡改人脸视频集中随机筛选出原始视频人脸信息样本和篡改视频人脸信息样本；
S4.构建基于ACBlock的深度卷积神经网络模型，利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练；
S5.保留预训练后基于ACBlock的深度卷积神经网络模型的权重参数，截取掉深度卷积神经网络模型末端的全连接层，替换为Capsule胶囊网络结构，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型；
S6.选取待取证视频，将待取证视频进行分帧，提取人脸内容，作为待测视频人脸样本；
S7.利用训练好的深度卷积神经网络模型对待测视频帧样本进行分类，确认视频中的人脸信息是否进行了篡改。
2.根据权利要求1所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S1所述构造原始视频集和篡改视频集的具体过程为：
S101.选取原始视频，将原始视频进行分帧处理，得到原始视频集；
S102.将分帧后的原始视频集进行两两配对，分别作为互换的源视频和目标视频；
S103.对原始视频集中已配对的视频使用篡改方法进行人脸替换，得到篡改视频集。
3.根据权利要求2所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S103中所述的篡改方法包括：Deepfakes，FaceSwap，Face2Face和Neural-Textures。
4.根据权利要求1所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S2中所述的原始人脸视频集是从原始视频集中使用Dlib工具提取出的人脸图像，所述篡改人脸视频集是从篡改视频集中使用Dlib工具提取出的人脸图像，Dlib工具使用时，提取框的大小扩大为原来的1.3倍。
5.根据权利要求1所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S3中，从原始人脸视频集随机筛选出的原始视频人脸信息样本的数量和从篡改人脸视频集中随机筛选出的篡改视频人脸信息样本的数量相同。
6.根据权利要求1所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S4所述构建的基于ACBlock的深度卷积神经网络模型以Xception卷积神经网络为基础，在Xception卷积神经网络的基础上，将所有的3*3卷积层替换为ACBlock。
7.根据权利要求6所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S4中所述利用原始视频人脸信息样本和篡改视频人脸信息样本对基于ACBlock的深度卷积神经网络模型进行预训练的方法为梯度下降法。
8.根据权利要求7所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，利用原始视频人脸信息样本和篡改视频人脸信息样本再次训练深度卷积神经网络模型时，预训练后基于ACBlock的深度卷积神经网络模型的权重参数不变，仅对Capsule胶囊网络结构进行训练。
9.根据权利要求8所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，对Capsule胶囊网络结构进行训练的方法为梯度下降法。
10.根据权利要求9所述的基于ACBlock的深度卷积神经网络信息取证方法，其特征在于，步骤S7中，通过比较视频中经过篡改的帧数以及帧的位置确认视频中的人脸信息是否进行了篡改。
CN202110230368.7A 2021-03-02 2021-03-02 基于ACBlock的深度卷积神经网络信息取证方法 Expired - Fee Related CN112883890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110230368.7A CN112883890B (zh) 2021-03-02 2021-03-02 基于ACBlock的深度卷积神经网络信息取证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110230368.7A CN112883890B (zh) 2021-03-02 2021-03-02 基于ACBlock的深度卷积神经网络信息取证方法

Publications (2)

Publication Number Publication Date
CN112883890A true CN112883890A (zh) 2021-06-01
CN112883890B CN112883890B (zh) 2022-08-12

Family

ID=76055219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110230368.7A Expired - Fee Related CN112883890B (zh) 2021-03-02 2021-03-02 基于ACBlock的深度卷积神经网络信息取证方法

Country Status (1)

Country Link
CN (1) CN112883890B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527337A (zh) * 2017-08-07 2017-12-29 杭州电子科技大学 一种基于深度学习的视频对象移除篡改检测方法
WO2018058554A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
CN110880172A (zh) * 2019-11-12 2020-03-13 中山大学 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN111212291A (zh) * 2020-01-14 2020-05-29 广东工业大学 基于dfl-cnn网络的视频帧内对象移除篡改检测方法
CN112070158A (zh) * 2020-09-08 2020-12-11 哈尔滨工业大学（威海） 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058554A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
CN107527337A (zh) * 2017-08-07 2017-12-29 杭州电子科技大学 一种基于深度学习的视频对象移除篡改检测方法
CN110880172A (zh) * 2019-11-12 2020-03-13 中山大学 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN111212291A (zh) * 2020-01-14 2020-05-29 广东工业大学 基于dfl-cnn网络的视频帧内对象移除篡改检测方法
CN112070158A (zh) * 2020-09-08 2020-12-11 哈尔滨工业大学（威海） 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUY H. NGUYEN 等: "Capsule-forensics: Using Capsule Networks to Detect Forged Images and Videos", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》, 17 April 2019 (2019-04-17) *
SHRADDHA SURATKAR 等: "Exposing DeepFakes Using Convolutional Neural Networks and Transfer Learning Approaches", 《IEEE》, 5 February 2021 (2021-02-05) *
朱映映等: "基于视频感知哈希的视频篡改检测与多粒度定位", 《中国图象图形学报》, vol. 18, no. 3, 31 December 2013 (2013-12-31) *
白珊山等: "基于双通道卷积神经网络的视频目标移除取证算法", 《信号处理》, vol. 36, no. 9, 30 September 2020 (2020-09-30) *

Also Published As

Publication number Publication date
CN112883890B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Zi et al. Wilddeepfake: A challenging real-world dataset for deepfake detection
Nguyen et al. Automatic image filtering on social networks using deep learning and perceptual hashing during crises
CN109614979B (zh) 一种基于选择与生成的数据增广方法及图像分类方法
CN103281473B (zh) 基于视频像素时空相关性的通用视频隐写分析方法
CN104679902A (zh) 一种结合跨媒体融合的信息摘要提取方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN107977592B (zh) 一种图像文本检测方法及系统、用户终端及服务器
CN110532911B (zh) 协方差度量驱动小样本gif短视频情感识别方法及系统
JP2017168057A (ja) 画像分類装置、画像分類システム及び画像分類方法
CN108241662B (zh) 数据标注的优化方法及装置
CN114694220A (zh) 一种基于Swin Transformer的双流人脸伪造检测方法
CN113762138A (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN111639185B (zh) 关系信息抽取方法、装置、电子设备和可读存储介质
CN108268875A (zh) 一种基于数据平滑的图像语义自动标注方法及装置
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
CN112508000B (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN112925905B (zh) 提取视频字幕的方法、装置、电子设备和存储介质
CN112883890B (zh) 基于ACBlock的深度卷积神经网络信息取证方法
Jin et al. Object-based video forgery detection via dual-stream networks
Zhang et al. Shallow-and Deep-fake Image Manipulation Localization Using Deep Learning
CN111601314A (zh) 预训练模型加短信地址双重判定不良短信的方法和装置
CN111767919A (zh) 一种多层双向特征提取与融合的目标检测方法
CN113704400B (zh) 虚假新闻识别方法、装置、设备及芯片
CN115393765A (zh) 一种视频字幕翻译方法、装置以及设备
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220812

CF01 Termination of patent right due to non-payment of annual fee