CN113537042A - 一种共享可更新的Deepfake视频内容监管方法及系统 - Google Patents
一种共享可更新的Deepfake视频内容监管方法及系统 Download PDFInfo
- Publication number
- CN113537042A CN113537042A CN202110792697.0A CN202110792697A CN113537042A CN 113537042 A CN113537042 A CN 113537042A CN 202110792697 A CN202110792697 A CN 202110792697A CN 113537042 A CN113537042 A CN 113537042A
- Authority
- CN
- China
- Prior art keywords
- sample
- training
- model
- data
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 title claims description 11
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000005284 excitation Effects 0.000 claims abstract description 9
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 241000219112 Cucumis Species 0.000 claims description 5
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 claims description 5
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
Abstract
本发明涉及一种共享可更新的Deepfake视频内容监管方法及系统，其方法包括：步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。本发明可以实现Deepfake视频内容检测方法的共享，并对其进行持续性更新，有效消除了Deepfake视频数据集样本不平衡问题，解决了过拟合问题，从而提高了内容监管模型的泛化能力。
Description
技术领域
本发明涉及机器学习和互联网内容监管领域，具体涉及一种共享可更新的Deepfake视频内容监管方法及系统。
背景技术
随着人工智能技术的发展，基于深度学习的深度伪造技术日趋成熟，通过多媒体篡改工具可以对视频中的人脸进行随意的篡改，并且几乎无法被肉眼察觉。伴随着短视频新型内容的传播方式的兴起，Deepfake视频传播速度加快、传播范围增大，可能被利用从事危害国家安全、侵犯他人合法权益等法律法规禁止的活动，对社会稳定造成不良影响。2019年12月，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发《网络音视频信息服务管理规定》，规定强调“网络音视频信息服务提供者应当部署应用非真实音视频鉴别技术，发现音视频信息服务基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播信息内容的，应采取警示整改、限制功能、暂停更新、关闭账号等处置措施，保存有关记录，并向网信、文化和旅游、广播电视等部门报告”。因此，网络音视频信息中存在的Deepfake视频成为互联网内容监管中不可或缺的重要部分。
目前，深度伪造人脸检测技术主流的研究方向大致分为两类：基于视频帧帧内差异的检测方法与基于视频帧帧间差异的检测方法。基于帧内差异的检测方法着重于从人脸面部的细节特征差异出发，而忽略了深度伪造视频的上下文信息；基于视频帧间差异的检测方法依赖于提取的关键帧数量，如果视频过短则检测效果大幅下降。同时，因未考虑到深度伪造生成技术也在不断地更新升级，当前已有的检测方法依赖特定的数据集和生成算法，当新的Deepfake视频内容来源于新型的深度伪造技术或者不包含特定数据集的样本时，部分检测方法准确率会降低甚至检测方法失效，即模型出现过拟合问题。
因此，在互联网环境下图像质量存在较大差异的现实境况，除了考虑内容监管模型检测准确率与检测效率，如何提高模型的泛化能力也成为Deepfake视频检测的重要研究方向。
发明内容
为了解决上述技术问题，本发明提供一种共享可更新的Deepfake视频内容监管方法及系统。
本发明技术解决方案为：一种共享可更新的Deepfake视频内容监管方法，包括：
步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；
步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；
步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。
本发明与现有技术相比，具有以下优点：
1、本发明利用片段的方法提取视频的关键帧，基于直方图差异进行边缘检测后，通过二次筛选进行自适应阈值的边界帧的判断，并依据片段内帧的变化程度来决定关键帧的数量；进而对关键帧进行人脸识别并裁剪出正方形人脸图像，从而在信息噪声较大的视频数据中获取集合程度更高的人脸图像样本。
2、本发明公开了一种Deepfake视频内容监管方法，利用图像空域特征与频域特征的互补性，通过离散傅里叶变换与n级小波变换提取训练样本的多维空域特征与一维频域特征级联融合为多维全局纹理特征，输入SVM分类模型进行训练，从而得到特征可解释程度高、检测准确率高且检测效率较快的初始内容监管模型。
3、本发明一种共享可更新的Deepfake视频内容监管方法，利用区块链技术提供的一种去中心化、不可篡改、可追溯的架构，通过动态截止时间和依据上传时间瓜分押金规则建立有效的激励机制激励样本贡献者贡献正确数据样本，减少恶意攻击者上传错误样本。收集的样本用于训练当前的内容监管模型，并且每次更新后的内容监管模型在区块链上进行公开共享。从而解决了传统机器学习模型易产生的过拟合问题，并得到泛化程度高的内容监管模型。
附图说明
图1为本发明实施例中一种共享可更新的Deepfake视频内容监管方法的流程图；
图2为本发明实施例中一种共享可更新的Deepfake视频内容监管方法的结构示意图；
图3为本发明实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本的流程图；
图4本发明实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型的流程图；
图5本发明实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S3：利用激励机制收集新的Deepfake视频数据，对有效的视频数据提取人脸图像，得到新的训练样本的流程图；
图6本发明实施例中激励机制的流程图；
图7本发明实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S4：收集样本数据数量达到阈值后，对初始的内容监管模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新的流程图；
图8本发明实施例中一种共享可更新的Deepfake视频内容监管系统的结构框图。
具体实施方式
本发明提供了一种共享可更新的Deepfake视频内容监管方法及系统，首先对样本视频进行操作预处理，过滤筛选后得到集合程度更高的正方形人脸图像样本，预处理数据集质量的提高有利于内容监管模型的训练；其次，利用图像空域与频域的互补性建立全局图像纹理特征，使得训练建立的初始内容监管模型的准确率得到提高。同时，现有的深度伪造技术的不断发展，Deepfake视频数据集本身存在样本不平衡的问题，本发明针对内容监管模型易产生的过拟合问题，提供了一种共享可更新架构，在构建的激励机制的运作下，正确的新的样本的不断补充训练有效提高了内容监管模型的泛化能力。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1、图2所示，在一个实施例中，本发明实施例提供的一一种共享可更新的Deepfake视频内容监管方法，包括下述步骤：
步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；
步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；
步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。
如图3所示，在一个实施例中，上述步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本，具体包括；
步骤S11：将样本视频逐帧进行直方图绘制，并按照下述公式(1)计算帧与帧之间的差值保存为D；
其中，d(i)表示为图像的直方图数据，i表示为当前帧内的像素块序号，k表示为帧内的像素块总数量，p，q表示为视频图像相邻帧帧序号；
步骤S12：依据两次筛选进行自适应阈值的边界帧的判断。首先，设定窗口重叠次数为3，其中窗口大小为13帧，步长为10。定义M帧为当前窗口内D最大的帧，并应同时满足与上一个M帧的距离大于最小片段长度；其次，M帧应同时满足下述公式(2)，match(M)＝true时，表示当前M帧为片段边界帧；
其中，M′表示为当前帧的上一M帧，
表示为两个帧之间帧的D的平均值，Multiplier被定义为预设期望倍数；
步骤S13：依据视频中边界帧划分片段，并计算所有片段内的帧的
找出片段内帧的D大于平均值的倍数的帧标记为关键帧，否则选择片段的中间帧作为关键帧；
步骤S14：对关键帧基于CNN网络shape_predictor_68_face_landmarks进行人脸识别，并裁剪调整出人脸及周边正方形区域作为训练样本数据。
本发明实施例中通过上述步骤S11、S12和S13利用片段的方法提取视频的关键帧，其中步骤S11利用直方图差异进行边缘检测，步骤S12通过二次筛选判断自适应阈值的边界帧，在此基础上步骤S13依据片段内帧的变化确定关键帧的数量；进而步骤S14对关键帧进行人脸识别并裁剪出正方形人脸图像。最终获得的预处理后数据集中的人脸图像样本信息集中于伪造人脸周围，更有利于步骤2中鉴别特征的选取。
如图4所示，在一个实施例中，上述步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型，包括：
步骤S21：对训练样本M*N按照二维离散傅里叶变换计算表示二维功率谱，并将其定义为P(u，v)；其次，将二维的傅里叶频谱图按照从低频到高频的顺序，由内向外划分为K个区间，依据公式(3)计算第i个矩形环内累加和。并按照公式(4)进行归一化处理，其结果为训练样本的频域特征；
其中，ζi表示第i个矩形环内能量，Ψi表示第i个矩形环内能量与总能量之比。因此，图像的二维频谱图能量特征向量定义为ζf＝[ζ1，ζ2，...，ζK]，频谱图能量占比特征向量定义为Ψf＝[Ψ1，Ψ2，...，ΨK]；
步骤S22：对训练样本M*N进行n级小波分解得到样本图像小波特征值，并依据每个特征值的频带信号进行分析，每个参数表示为一个特征向量空间，各参数值的维数即HSV空间的维数，即该特征空间的基，最终提取得到图像HSV模型的多维小波特征向量。依据公式(5)计算所有子带系数得到均值、方差和偏斜度，其结果为训练样本的空域特征；
其中μ，σ，ω分别表示全部子带系数的均值、方差和偏斜度；N表示全部计算机生成图像小波特征样本数量；x表示计算机生成图像的小波特征；
步骤S23：将一维频域特征与多维空域特征级联融合，并对其进行归一化处理，得到的多维全局纹理特征信息作为真伪图像的鉴别特征；
步骤S24：依据鉴别特征将样本数据集输入SVM分类器进行训练，得到初始的内容监管模型。
本发明实施例中步骤S21和S22利用图像空域特征于频域特征的互补性建立全局纹理特征，其中步骤S21利用二维离散傅里叶变换计算分析，对二维功率谱图划分区间并计算矩形环内能量与总能量的占比，得到一维频谱图能量占比特征向量，步骤S22利用图像的HSV空间模型，对三个通道分别进行n级小波分解得到样本的多维小波特征向量；通过步骤S23将空域特征与频域特征进行级联融合并归一化处理后，步骤S24通过SVM分类器训练得到初始的内容监管模型。
上述步骤S1与步骤S2建立的内容监管模型特征可解释程度高，检测准确率高于单一特征。但是，由于Deepfake视频数据集本身正负样本不平衡，从而导致初始的内容监管模型易存在过拟合问题，并且伴随着深度伪造技术的不断发展出新的鉴别图像纹理特征。因此模型需要不断地补充新的样本对其进行增量训练以维持检测性能，但新的深度伪造技术层出不穷，对应数据集的建立需要较长的时间与人力成本。因此，通过下述步骤，可以不断收集互联网中不断出现的新的深度伪造技术生成的视频样本，添加到样本数据集供内容监管模型进行增量训练。
如图5所示，在一个实施例中，上述步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据，包括：
步骤S31：在区块链上，样本贡献者提交数据样本(x，y)，并支付押金d，在截止时间T内，样本贡献者可以对样本数据x的标签y进行修改，每次修改后按照公式(7)对截止时间进行动态调整；
其中，T0为初始截至时间；
步骤S32：在截止时间T后，模型对贡献者提供的数据样本x预测值为y时，表示贡献者提供数据与模型预测值一致，该机制认为该贡献者提供的数据(x，y)为正确样本。依据规则，该机制退还全部押金，即r0＝＝d；
步骤S33：在截止时间T后，模型对贡献者提供的数据样本x预测值为y’时，表示贡献者提供数据与模型预测值不一致，该机制认为该贡献者提供的数据(x，y)为错误样本。依据规则，该机制按照公式(7)退还样本贡献者部分押金；
其中，r0表示样本贡献者退还的押金，n(x)表示其他贡献者x提交的的样本数量，cr表示预测值为y的其他贡献者，c表示其他贡献者；
其他样本贡献者则依据提交时间瓜分剩余押金，其他贡献者瓜分到的押金表示为，计算公式表示为公式(8)；
其中，t[p]表示所有y′样本提交的时间节点，αi表示每个样本瓜分押金的权重(提交时间越短，该权重越高)；
步骤S34：将有效的数据样本收集至更新样本数据集。
如图6所示在本发明实施例中，将初始的内容监管模型model上传至公共区块链环境中，共享协作的方式有利于样本贡献者在提交样本数据标签前进行初步验证，但同时存在恶意攻击者通过短时间内上传错误样本数据对内容监管模型进行恶意攻击的问题。为解决该问题，依据步骤S31利用提交样本押金进行限制，并依据修改次数设置动态截止时间，同时瓜分押金规则依照步骤S32和步骤S33建立。从而将将有效的数据样本收集至更新样本数据集。
本发明利用区块链环境去中心化、不可篡改、可追溯的特点，构建共享可更新模型环境，上述的激励机制作为数据上传机制中重要的组成部分鼓励互联网上的参与者提供健康的数据。同时共享可更新策略中其他模块的共同协作保证了该架构的稳健性、透明性以及可追溯性。
如图7所示，在一个实施例中，上述步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新，包括：
步骤S41：计算区块链上收集至样本集中数据标签比例，若正负样本数据标签比例达到预设的样本阈值，则将更新样本集数据经预处理模块处理为训练样本数据；
步骤S42：下载当前的内容监管模型model，将训练数据输入该模型进行训练，更新后的内容监管模型model’上传至区块链上公开共享。
本发明实施例中步骤中，计算区块链上获得的样本集中真实视频样本和虚假视频样本的比例，若二者数量不均衡，比例超过预设的阈值，则将当前视频数据加入区块链中视频样本数据集。从而对初始内容监管模型进行增量训练，更新后的内容监管模型泛化能力得到提高。
实施例二
如图8所示，本发明实施例提供了一种共享可更新的Deepfake视频内容监管系统，包括下述模块：
数据预处理模块，用于将区块链上的视频数据处理为适用于模型训练的样本数据，利用基于片段分类的方法提取视频关键帧，并在进行人脸识别后将帧图像裁剪为固定正方形大小的图像；
监管模型训练模块，用于得到初始内容监管模型model，通过分别提取样本数据图像的空域特征与频域特征，级联后归一化处理为全局鉴别特征，输入至SVM模型训练；
激励机制模块，用于激励样本贡献者上传优质的新的数据，同时通过设定动态截止时间与押金瓜分规则防止恶意攻击者对当前内容监管模型进行恶意攻击；
共享可更新模型模块，用于计算区块链上收集到的样本集中数据标签的比例，超过预设的样本阈值，则下载当前的内容监管模型model，输入新收集的样本至SVM进行增量训练，并在区块链上公开共享更新后的内容监管模型model。提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (6)
1.一种共享可更新的Deepfake视频内容监管方法，其特征在于，包括：
步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；
步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；
步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。
2.根据权利要求1所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S1，将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本，包括：
步骤S11：将样本视频逐帧进行直方图绘制，并按照下述公式(1)计算帧与帧之间的差值保存为D；
其中，d(i)表示为图像的直方图数据，i表示为当前帧内的像素块序号，k表示为帧内的像素块总数量，p，q表示为视频图像相邻帧帧序号；
步骤S12：依据两次筛选进行自适应阈值的边界帧的判断。首先，设定窗口重叠次数为3，其中窗口大小为13帧，步长为10。定义M帧为当前窗口内D最大的帧，并应同时满足与上一个M帧的距离大于最小片段长度；其次，M帧应同时满足下述公式(2)，match(M)＝true时，表示当前M帧为片段边界帧；
其中，M′表示为当前帧的上一M帧，
表示为两个帧之间帧的D的平均值，Multiplier被定义为预设期望倍数；
步骤S13：依据视频中边界帧划分片段，并计算所有片段内的帧的
找出片段内帧的D大于平均值的倍数的帧标记为关键帧，否则选择片段的中间帧作为关键帧；
步骤S14：对关键帧基于CNN网络shape_predictor_68_face_landmarks进行人脸识别，并裁剪调整出入脸及周边正方形区域作为训练样本数据。
3.根据权利要求2所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型，包括：
步骤S21：对训练样本M*N按照二维离散傅里叶变换计算表示二维功率谱，并将其定义为P(u，v)；其次，将二维的傅里叶频谱图按照从低频到高频的顺序，由内向外划分为K个区间，依据公式(3)计算第i个矩形环内累加和。并按照公式(4)进行归一化处理，其结果为训练样本的频域特征；
其中，ζi表示第i个矩形环内能量，Ψi表示第i个矩形环内能量与总能量之比。因此，图像的二维频谱图能量特征向量定义为ζf＝[ζ1，ζ2，...，ζK]，频谱图能量占比特征向量定义为Ψf＝[Ψ1，Ψ2，...，ΨK]；
步骤S22：对训练样本M*N进行n级小波分解得到样本图像小波特征值，并依据每个特征值的频带信号进行分析，每个参数表示为一个特征向量空间，各参数值的维数即HSV空间的维数，即该特征空间的基，最终提取得到图像HSV模型的多维小波特征向量。依据公式(5)计算所有子带系数得到均值、方差和偏斜度，其结果为训练样本的空域特征；
其中μ，σ，ω分别表示全部子带系数的均值、方差和偏斜度；N表示全部计算机生成图像小波特征样本数量；x表示计算机生成图像的小波特征；
步骤S23：将一维频域特征与多维空域特征级联融合，并对其进行归一化处理，得到的多维全局纹理特征信息作为真伪图像的鉴别特征；
步骤S24：依据鉴别特征将样本数据集输入SVM分类器进行训练，得到初始的内容监管模型。
4.根据权利要求3所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据，包括：
步骤S31：在区块链上，样本贡献者提交数据样本(x，y)，并支付押金d，在截止时间T内，样本贡献者可以对样本数据x的标签y进行修改，每次修改后按照公式(6)对截止时间进行动态调整；
其中，T0为初始截至时间；
步骤S32：在截止时间T后，模型对贡献者提供的数据样本x预测值为y时，表示贡献者提供数据与模型预测值一致，该机制认为该贡献者提供的数据(x，y)为正确样本。依据规则，该机制退还全部押金，即r0＝＝d；
步骤S33：在截止时间T后，模型对贡献者提供的数据样本x预测值为y’时，表示贡献者提供数据与模型预测值不一致，该机制认为该贡献者提供的数据(x，y)为错误样本。依据规则，该机制按照公式(7)退还样本贡献者部分押金；
其中，r0表示样本贡献者退还的押金，n(x)表示其他贡献者x提交的的样本数量，cr表示预测值为y的其他贡献者，c表示其他贡献者；
其他样本贡献者则依据提交时间瓜分剩余押金，其他贡献者瓜分到的押金表示为，计算公式表示为公式(8)；
其中，t[p]表示所有y′样本提交的时间节点，αi表示每个样本瓜分押金的权重(提交时间越短，该权重越高)；
步骤S34：将有效的数据样本收集至更新样本数据集。
5.根据权利要求4所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新，包括：
步骤S41：计算区块链上收集至样本集中数据标签比例，若正负样本数据标签比例达到预设的样本阈值，则将更新样本集数据经预处理模块处理为训练样本数据；
步骤S42：下载当前的内容监管模型，将训练数据输入该模型进行训练，更新后的内容监管模型上传至区块链上公开共享。
6.一种共享可更新的Deepfake视频的检测系统，其特征在于，包括下述模块：
数据预处理模块，用于将区块链上的视频数据处理为适用于模型训练的样本数据，利用基于片段分类的方法提取视频关键帧，并在进行人脸识别后将帧图像裁剪为固定正方形大小的图像；
监管模型训练模块，用于得到初始内容监管模型，通过分别提取样本数据图像的空域特征与频域特征，级联后归一化处理为全局鉴别特征，输入至SVM模型训练；
激励机制模块，用于激励样本贡献者上传优质的新的数据，同时通过设定动态截止时间与押金瓜分规则防止恶意攻击者对当前内容监管模型进行恶意攻击；
共享可更新模型模块，用于计算区块链上收集到的样本集中数据标签的比例，超过预设的样本阈值，则下载当前的内容监管模型，输入新收集的样本至SVM进行增量训练，并在区块链上公开共享更新后的内容监管模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792697.0A CN113537042A (zh) | 2021-07-14 | 2021-07-14 | 一种共享可更新的Deepfake视频内容监管方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792697.0A CN113537042A (zh) | 2021-07-14 | 2021-07-14 | 一种共享可更新的Deepfake视频内容监管方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537042A true CN113537042A (zh) | 2021-10-22 |
Family
ID=78098924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110792697.0A Pending CN113537042A (zh) | 2021-07-14 | 2021-07-14 | 一种共享可更新的Deepfake视频内容监管方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537042A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622489A (zh) * | 2017-10-11 | 2018-01-23 | 广东工业大学 | 一种图像篡改检测方法及装置 |
| CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
| CN109889738A (zh) * | 2019-04-02 | 2019-06-14 | 张鹏程 | 一种交互式视频处理方法及装置 |
| US20200351310A1 (en) * | 2019-05-03 | 2020-11-05 | Virtustream Ip Holding Company Llc | Adaptive distributive data protection system |
| CN112001429A (zh) * | 2020-08-06 | 2020-11-27 | 中山大学 | 一种基于纹理特征的深度伪造视频检测方法 |
| CN112540926A (zh) * | 2020-12-17 | 2021-03-23 | 杭州趣链科技有限公司 | 一种基于区块链的资源分配公平的联邦学习方法 |
-
2021
- 2021-07-14 CN CN202110792697.0A patent/CN113537042A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622489A (zh) * | 2017-10-11 | 2018-01-23 | 广东工业大学 | 一种图像篡改检测方法及装置 |
| CN108491266A (zh) * | 2018-03-09 | 2018-09-04 | 联想(北京)有限公司 | 基于区块链的数据处理方法、装置及电子设备 |
| CN109889738A (zh) * | 2019-04-02 | 2019-06-14 | 张鹏程 | 一种交互式视频处理方法及装置 |
| US20200351310A1 (en) * | 2019-05-03 | 2020-11-05 | Virtustream Ip Holding Company Llc | Adaptive distributive data protection system |
| CN112001429A (zh) * | 2020-08-06 | 2020-11-27 | 中山大学 | 一种基于纹理特征的深度伪造视频检测方法 |
| CN112540926A (zh) * | 2020-12-17 | 2021-03-23 | 杭州趣链科技有限公司 | 一种基于区块链的资源分配公平的联邦学习方法 |
Non-Patent Citations (5)
| Title |
|---|
| MOUSA TAYSEER JAFAR，等: "Digital Forensics and Analysis of Deepfake Videos", 2020 11TH INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION SYSTEMS * |
| 冯太锐, 等: "基于深度学习的化妆品塑料瓶缺陷检测", 东华大学学报, vol. 46, no. 2 * |
| 张怡暄;李根;曹纭;赵险峰;: "基于帧间差异的人脸篡改视频检测方法", 信息安全学报, no. 02 * |
| 李伟征;白光伟;涂秀梅;: "于局部相位量化的图像伪造检测算法", 计算机工程与设计, no. 02 * |
| 蒋翠玲: "一种基于遗传算法和BP 网络的鲁棒图像哈希方法", 应用科学学报, vol. 34, no. 5 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104113789B (zh) | 一种基于深度学习的视频摘要在线生成方法 | |
| CN109829443A (zh) | 基于图像增强与3d卷积神经网络的视频行为识别方法 | |
| CN106845415B (zh) | 一种基于深度学习的行人精细化识别方法及装置 | |
| CN104331450B (zh) | 基于多模式特征和张量分解的视频拷贝检测方法 | |
| CN103281473B (zh) | 基于视频像素时空相关性的通用视频隐写分析方法 | |
| CN102682298B (zh) | 基于图建模的视频指纹方法 | |
| CN112861671B (zh) | 一种对深度伪造人脸图像和视频的鉴别方法 | |
| CN102393900A (zh) | 基于鲁棒哈希的视频拷贝检测方法 | |
| CN111160110A (zh) | 基于人脸特征和声纹特征识别主播的方法及装置 | |
| CN104751485A (zh) | 一种基于gpu自适应的前景提取方法 | |
| CN114724060A (zh) | 基于掩码自编码器的无监督视频异常检测方法和装置 | |
| CN108596240A (zh) | 一种基于判别特征网络的图像语义分割方法 | |
| CN109684511A (zh) | 一种视频剪辑方法、视频聚合方法、装置以及系统 | |
| CN114842507A (zh) | 一种基于组优化奖励的强化行人属性识别方法 | |
| Oraibi et al. | Enhancement digital forensic approach for inter-frame video forgery detection using a deep learning technique | |
| Zhang et al. | SRTNet: a spatial and residual based two-stream neural network for deepfakes detection | |
| CN113537042A (zh) | 一种共享可更新的Deepfake视频内容监管方法及系统 | |
| CN110490053B (zh) | 一种基于三目摄像头深度估计的人脸属性识别方法 | |
| CN116631190A (zh) | 智能交通监控系统及其方法 | |
| CN113537173B (zh) | 一种基于面部补丁映射的人脸图像真伪识别方法 | |
| CN115909398A (zh) | 一种基于特征增强的跨域行人再识别方法 | |
| CN115331135A (zh) | 基于多域特征区域标准分数差异的Deepfake视频检测方法 | |
| CN114693607A (zh) | 基于多域块特征标志点配准的篡改视频检测方法及系统 | |
| CN114863191A (zh) | 基于区块链的防伪信息识别与传输方法 | |
| CN114565791A (zh) | 一种人物档案识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |