CN110807396B - 基于光照方向一致性的换脸视频篡改检测方法及系统 - Google Patents

基于光照方向一致性的换脸视频篡改检测方法及系统 Download PDF

Info

Publication number
CN110807396B
CN110807396B CN201911029276.1A CN201911029276A CN110807396B CN 110807396 B CN110807396 B CN 110807396B CN 201911029276 A CN201911029276 A CN 201911029276A CN 110807396 B CN110807396 B CN 110807396B
Authority
CN
China
Prior art keywords
image
video
frame
face
illumination direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911029276.1A
Other languages
English (en)
Other versions
CN110807396A (zh
Inventor
胡永健
李纪成
刘琲贝
李猛
林育仪
王宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911029276.1A priority Critical patent/CN110807396B/zh
Publication of CN110807396A publication Critical patent/CN110807396A/zh
Application granted granted Critical
Publication of CN110807396B publication Critical patent/CN110807396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种基于光照方向一致性的换脸视频篡改检测方法及系统，该方法包括下述步骤：进行视频分帧并选择检测区域；计算各帧图像检测区域对应的特征图像；将检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；选择各帧图像的目标区域；计算目标区域的二维光照方向；将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算得到各帧图像的二维光照方向；计算各帧图像二维光照方向的角度并构建光照角度集合；根据光照角度集合的标准差与设定判别门限的差值判断待测视频是否为换脸篡改视频。本发明基于视频光照特征进行快速准确的换脸视频篡改检测，具有良好的通用性和实时性。

Description

基于光照方向一致性的换脸视频篡改检测方法及系统
技术领域
本发明涉及数字视频的篡改检测技术领域，具体涉及一种基于光照方向一致性的换脸视频篡改检测方法及系统。
背景技术
随着人工智能和机器学习的快速发展，视频换脸的技术门槛变得越来越低，视频换脸技术的合成效果变得越来越逼真，换脸技术在为人类业余生活带来娱乐的同时，也给社会生活和舆论传播带来一定的安全隐患，因此针对换脸视频篡改检测技术的研究具有重要的意义。
现有技术中的换脸视频篡改检测技术主要通过深度神经网络来检测真实视频和换脸视频。基于深度神经网络的这些检测技术在库内的检测准确率通常可高达90％以上，然而其跨库测试时性能出现严重下降，泛化能力不强；有的检测技术均以视频帧为单位进行模型的训练，未考虑同一视频段中相邻帧之间的内在联系；也有的检测技术虽然考虑了连续若干帧在时域上的特征关联，但所提取的特征不直观，难以进行有效的理论分析，也存在泛化检测能力不理想的缺陷。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于光照方向一致性的换脸视频篡改检测方法及系统，本发明从视频生成的成像环境特征出发，将视频光照特征用于换脸视频篡改检测中，所提取的光照特征较为直观，便于进行有效的理论分析，具有良好的通用性和实时性能。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于光照方向一致性的换脸视频篡改检测方法，包括下述步骤：
将待测视频进行分帧并选择检测区域；
计算各帧图像检测区域对应的特征图像；
将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；
选择各帧图像的目标区域；
计算各帧图像中目标区域的二维光照方向；
将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；
计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合；
设定判别门限，根据光照角度集合的标准差进行判断，若满足标准差大于判别门限的条件，则判定待测视频为换脸篡改视频，若不满足所述条件，则判定待测视频为真实视频。
作为优选的技术方案，所述将待测视频进行分帧并选择检测区域，具体采用视频帧图像的人脸区域作为检测区域。
作为优选的技术方案，所述计算各帧图像检测区域对应的特征图像，具体步骤为：
将各帧图像检测区域转化到YCbCr图像空间，提取对应的图像灰度分量IG，然后采用Canny边缘检测算子对IG进行边缘滤波，得到二值边缘图像IC。
作为优选的技术方案，所述将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比，具体步骤为：
将各帧图像的检测区域、图像灰度分量IG和二值边缘图像IC分别等比例划分为多个互不重叠的子区域，子区域的序号k按逐行扫描顺序排列，然后使用图像灰度分量IG计算每个子区域图像的平均像素值Gk，使用二值边缘图像IC计算每个子区域图像的边缘信息百分比Pk，其中Gk和Pk计算公式如下：
Figure BDA0002249638040000031
Figure BDA0002249638040000032
其中，W和H分别为子区域图像的宽和高，
Figure BDA0002249638040000033
和
Figure BDA0002249638040000034
分别表示图像灰度分量IG和二值边缘图像IC中序号为k的子区域图像在(i,j)位置的灰度像素值，|·|表示计算集合中元素的数量。
作为优选的技术方案，所述选择各帧图像的目标区域，具体步骤为：
选择真实视频和对应的换脸视频，计算真实视频和对应的换脸视频光照方向的角度分布差异最大的目标区域数量Nb，确定各帧图像的目标区域数量N，在经过分块后的每个子区域图像中，根据平均像素值和边缘信息百分比的值选择各帧的N个目标区域；
所述真实视频和对应的换脸视频光照方向的角度分布差异最大的目标区域数量Nb的计算公式为：
Nb＝argmaxN{D(Nt)＝|stdo(Nt)-stdc(Nt)|
其中，Nt∈[1,16]，stdo(Nt)和stdc(Nt)分别表示在目标区域数量为Nt时真实视频和对应换脸视频光照方向的角度分布对应的标准差，D(Nt)表示stdo(Nt)和stdc(Nt)的差值绝对值。
作为优选的技术方案，所述计算各帧图像中目标区域的二维光照方向，所述各帧图像中目标区域的二维光照方向采用Lambert光照模型计算得到，具体计算公式为：
Figure BDA0002249638040000041
Figure BDA0002249638040000042
Figure BDA0002249638040000043
其中，
Figure BDA0002249638040000044
表示二维光照方向，ρ为环境光强度，Lx和Ly分别表示二维光照方向
Figure BDA0002249638040000045
在二维空间坐标系x和y方向上的分量，Nx(xi,yi)和Ny(xi,yi)分别表示二维法向矢量
Figure BDA0002249638040000046
在二维空间坐标系x和y方向上的分量，I(xi,yi)表示在第i个采样点处的光照强度值，p表示用于计算光照方向的采样点数。
作为优选的技术方案，所述将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向，具体步骤为：
将所述各帧图像的目标区域个数设置为3个，3个目标区域的二维光照方向向量设为
Figure BDA0002249638040000047
和
Figure BDA0002249638040000048
加权计算公式为：
Figure BDA0002249638040000049
其中，Pl、Pm和Pn分别为3个目标区域对应的边缘信息百分比。
作为优选的技术方案，所述计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合，具体步骤为：
计算视频第f帧图像二维光照方向矢量的X分量和Y分量正切值所对应的角度θf并逐帧保存，构建待测视频的光照角度集合：
θ＝{θ1，θ2，…，θF}，其中θ表示待测视频的光照角度集合，F表示待测视频的帧数，所述角度θf用于表示第f帧的二维光照方向。
作为优选的技术方案，所述设定判别门限，具体步骤为：
选择真实视频和对应的换脸视频，计算真实视频和对应的换脸视频光照角度分布的标准差，统计多对真实视频和换脸视频对应的标准差分布，根据所述标准差分布计算真实视频和换脸视频对应的概率密度分布曲线，通过真实视频和换脸视频对应的概率密度分布曲线的焦点构建垂直于X轴的直线，设为：x＝T，将T设为判别门限。
本发明还提供一种基于光照方向一致性的换脸视频篡改检测系统，包括：检测区域选择模块、检测区域特征图像计算模块、平均像素值和边缘信息百分比计算模块、目标区域选择模块、目标区域二维光照方向计算模块、加权计算模块、光照角度集合构建模块和判断模块；
所述检测区域选择模块用于将待测视频进行分帧并选择检测区域；
所述检测区域特征图像计算模块用于计算各帧图像检测区域对应的特征图像；
所述平均像素值和边缘信息百分比计算模块用于将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；
所述目标区域选择模块用于选择各帧图像的目标区域；
所述目标区域二维光照方向计算模块用于计算各帧图像中目标区域的二维光照方向；
所述加权计算模块用于将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；
所述光照角度集合构建模块用于计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合；
所述判断模块用于设定判别门限，根据光照角度集合的标准差与设定判别门限的差值判断待测视频是否为换脸篡改视频。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明将整段视频光照方向的一致性应用到换脸视频的篡改检测当中，充分利用真实视频和换脸视频在成像过程中的光照环境变化不同的特点，通过判断整段视频二维光照方向的角度变化是否平滑来确定视频的真假，为换脸视频的篡改检测提供了一种有效便捷的途径。
(2)本发明完全利用待检测视频自身在成像过程中包含的光照特征进行检测，便于进行有效的理论分析，具有较好的通用性。
(3)本发明在检测过程中使用的算法具有较低复杂度，能在普通计算机上快速地完成换脸视频的篡改检测，具有较好的实时性。
附图说明
图1为本实施例基于光照方向一致性的换脸视频篡改检测方法的流程示意框图；
图2为本实施例基于光照方向一致性的换脸视频篡改检测方法中不同大小检测区域的概率分布示意图；
图3为本实施例基于光照方向一致性的换脸视频篡改检测方法中第一帧图像各子区域图像对应的Gk分布示意图；
图4为本实施例基于光照方向一致性的换脸视频篡改检测方法中第一帧图像各子区域图像对应的Pk分布示意图；
图5为本实施例基于光照方向一致性的换脸视频篡改检测方法中不同目标区域数量的概率分布示意图；
图6为本实施例基于光照方向一致性的换脸视频篡改检测方法中光照方向矢量角度表示规则的示意图；
图7为本实施例基于光照方向一致性的换脸视频篡改检测方法中光照角度集合θ分布的示意图；
图8为本实施例基于光照方向一致性的换脸视频篡改检测方法中判别门限选取的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于光照方向一致性的换脸视频篡改检测方法，利用真实视频和换脸视频在成像环境上的差异性进行篡改检测，真实视频是通过实际的数码设备录制得到，而换脸视频则是通过将各帧换脸图像进行组合得到。光照条件是视频外部成像环境的一部分，光照特征可反映视频的成像环境是否自然。用于换脸的源视频一般只有数十秒时长，且通常为自然环境中拍摄的短视频，这类真实视频相邻帧之间的光照方向变化具有较好的一致性。换脸视频中所采用的单帧图像在制作时虽然进行了光照渲染，但由于单帧图像独立制作，很难保证相邻帧图像之间光照方向的匹配。因此，本实施例主要通过判断整段视频二维光照方向的变化是否平滑来确定视频的真假。
本实施例以一段AVI格式的换脸视频为例，详细介绍基于光照方向一致性的换脸视频篡改检测方法的具体实施过程，具体步骤包括：
S1：将视频进行分帧，并选择检测区域；
以上述AVI格式的换脸视频为例，首先使用FFmpeg工具将视频进行解码，得到视频各帧的图像，然后选择每帧图像中的人脸区域作为检测区域；
选择不同大小的检测区域会对检测结果产生不同影响，因此需要结合视频换脸篡改的特点确定合适的检测区域，对选择人脸区域作为检测区域的合理性进行验证，首先分别选择整帧区域、包含部分背景的人脸区域和人脸区域作为候选区域(分别记为类别1、类别2和类别3)，然后计算不同候选区域在真实视频和其对应换脸视频中光照方向角度的分布，最后选择在上述两个视频中分布差异最大的候选区域作为检测区域Ab，最后统计多段视频的Ab概率分布情况，Ab的选取可由公式(1)得到：
Ab＝argmaxA{D(A)＝|stdo(A-stdc(A|} (1)
其中，stdo(A)和stdc(A)分别表示在检测区域为A时真实视频和其对应换脸视频光照方向的角度分布对应的标准差，D(A)表示stdo(A)和stdc(A)的差值绝对值；
通过TIMIT数据库中200对原始视频和其对应的换脸视频给出Ab的统计分布情况，结果如图2所示，真实视频和换脸视频光照方向角度分布差异最大的Ab主要集中在类别3(即人脸区域)处，因此选择视频帧图像的人脸区域作为检测区域是合理的；
S2：计算各帧图像检测区域对应的特征图像；
将各帧图像检测区域转化到YCbCr图像空间，提取其对应的图像灰度分量IG，然后利用Canny边缘检测算子对IG进行边缘滤波，得到二值边缘图像IC；
S3：将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域的平均像素值和边缘信息百分比；
将各帧图像的检测区域、灰度分量IG和二值边缘图像IC分别等比例划分为4×4个互不重叠的子区域，子区域的序号k按照从左到右逐行扫描的顺序排列，然后使用图像灰度分量IG计算每个子区域图像的平均像素值Gk，使用二值边缘图像IC计算每个子区域图像的边缘信息百分比Pk，其中Gk和Pk计算如下：
Figure BDA0002249638040000091
Figure BDA0002249638040000092
其中，W和H分别为子区域图像的宽和高，
Figure BDA0002249638040000093
和
Figure BDA0002249638040000094
分别表示图像灰度分量IG和二值边缘图像IC中序号为k的子区域图像在(i,j)位置的灰度像素值，|·|表示计算集合中元素的数量；
如图3、图4所示，本实施例给出了其第一帧图像对应的Gk和Pk分布，利用Gk来分析子区域的图像亮度水平，利用Pk来分析子区域的纹理复杂度；
S4：通过每个子区域的图像亮度水平和纹理复杂度选择N个子区域作为各帧图像的目标区域；
不同数量的目标区域会对光照计算结果产生不同影响，因此在选择目标区域图像之前，首先需要确定合适的目标区域数量N，为了选择合适的目标区域数量，本实施例计算真实视频和其对应的换脸视频在目标区域数量取不同值时光照方向的角度分布，然后选择使得真实视频和换脸视频光照方向的角度分布差异最大的目标区域数量Nb，最后统计多段视频的Nb分布情况，Nb的选取由公式(4)得到：
Nb＝argmaxN{D(Nt)＝|stdo(Nt)-stdc(Nt)|} (4)
其中，Nt∈[1,16]，stdo(Nt)和stdc(Nt)分别表示在目标区域数量为Nt时真实视频和其对应换脸视频光照方向的角度分布对应的标准差，D(Nt)表示stdo(Nt)和stdc(Nt)的差值绝对值；
通过TIMIT数据库中200对原始视频和其对应的换脸视频给出Nb的统计分布情况，结果如图5所示，真实视频和换脸视频光照方向角度分布差异最大的Nb主要集中在3处，因此将目标区域数量N设置为3。
根据上述分析中所确定的目标区域数量等于3，接下来通过每个子区域图像的平均像素值Gk和边缘信息百分比Pk选择各帧的3个目标区域，首先根据每个子区域图像的边缘信息百分比Pk将16个子区域按照从小到大的顺序重新排列，选择前8个子区域的原始序号作为集合B；然后根据每个子区域图像的平均像素值Gk将16个子区域按照从大到小的顺序重新排列，选择前8个子区域的原始序号作为集合C；接下来遍历集合B中所有的元素，若当前元素同时属于集合C，则该子区域被挑选为目标区域；最后当目标区域的数量等于3时停止遍历，即各帧图像是通过选择低边缘信息百分比、高平均像素值的3个子区域作为目标区域；
在本实施例中，由图3、图4中对应的Gk和Pk分布结果所选择的3个目标区域分别为第8、第14和第15个子区域；
S5：计算各帧图像中目标区域的二维光照方向；
计算N个目标区域各自的二维光照方向矢量，得到含有N个矢量元素的二维光照方向向量
Figure BDA0002249638040000101
各帧图像中目标区域的二维光照方向通过Lambert光照模型计算得到，基于该模型的二维光照方向
Figure BDA0002249638040000102
计算公式如下：
Figure BDA0002249638040000103
Figure BDA0002249638040000104
Figure BDA0002249638040000111
其中，ρ为环境光强度，Lx和Ly分别表示二维光照方向矢量
Figure BDA0002249638040000112
在二维空间坐标系x和y方向上的分量，Nx(xi,yi)和Ny(xi,yi)分别表示二维法向矢量
Figure BDA0002249638040000113
在二维空间坐标系x和y方向上的分量，I(xi,yi)表示在第i个采样点处的光照强度值，实际中的光照强度一般用图像灰度值表示，p表示用于计算光照方向的采样点数；
通过上述(5)至(7)式，可以计算得到各帧图像中3个目标区域的二维光照方向矢量
Figure BDA0002249638040000114
和
Figure BDA0002249638040000115
和，其中l、m和n为视频第f帧图像中3个目标区域对应的子区域序号；
S6：对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；
将向量L中的N个矢量元素进行加权计算，得到该帧图像的光照方向矢量，将步骤S3中目标区域图像对应的边缘信息百分比作为权重，对上一步骤中各帧图像3个目标区域的二维光照方向矢量
Figure BDA0002249638040000116
和
Figure BDA0002249638040000117
进行加权计算，得到各帧图像最终的二维光照方向矢量
Figure BDA0002249638040000118
加权计算公式如下：
Figure BDA0002249638040000119
其中，Pl、Pm和Pn分别为3个目标区域对应的边缘信息百分比；
S7：计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合θ；
为了更好表示各帧图像的二维光照方向矢量，本实施例通过计算视频第f帧图像二维光照方向矢量的X分量和Y分量正切值所对应的角度θf来表示该帧的二维光照方向，其中角度θf的表示规则如图6所示，然后逐帧保存每帧图像的光照方向角度θf，组成待测视频的光照角度集合θ＝{θ1，θ2，…，θF}，其中F表示待测视频的帧数；
如图7所示，本实施例得到最终的光照角度集合θ；
S8：确定判别门限，根据光照角度集合的标准差进行判别，若标准差S大于判别门限T，则判定待测视频为换脸篡改视频，反之则为真实视频；
利用上一步骤得到的光照角度集合θ进行篡改检测，首先计算光照角度集合θ的标准差S，然后选取判别门限T，通过判别门限T对光照角度集合θ的标准差S进行检测，若S>T，则本实施例被判断为换脸视频，反之为真实视频；
判别门限T的选取通过TIMIT数据库中的统计结果得到，首先计算TIMIT数据库中真实视频和换脸视频光照方向角度分布的标准差，本实施例通过标准差来衡量整段视频光照方向角度变化情况，标准差越大，表明整段视频光照方向的角度变化越剧烈，并统计多对真实视频和换脸视频对应的标准差分布，根据标准差分布计算二者对应的概率密度分布曲线；接下来通过真实视频和换脸视频对应的概率密度分布曲线的交点Q作垂直于X轴的直线x＝T，此时T即为判别门限，如图8所示，本实施例通过真实视频和换脸视频对应的概率密度分布曲线选取判别门限T，在本实施例中，S＝89.06，T＝70，由上述分析可知，待测视频被判断为换脸视频，与实际情况相符，证明了本发明的有效性。
本实施例将整段视频光照方向的一致性应用到换脸视频的篡改检测当中，充分利用真实视频和换脸视频在成像过程中的光照环境变化不同的特点，通过判断整段视频二维光照方向的角度变化是否平滑来确定视频的真假，为换脸视频的篡改检测提供了一种有效途径；并且完全利用待检测视频自身在成像过程中包含的光照特征进行检测，便于进行有效的理论分析，具有较好的通用性；检测过程中使用的算法具有较低复杂度，能在普通计算机上快速地完成换脸视频的篡改检测，具有较好的实时性。
本实施例还提供一种基于光照方向一致性的换脸视频篡改检测系统，包括：检测区域选择模块、检测区域特征图像计算模块、平均像素值和边缘信息百分比计算模块、目标区域选择模块、目标区域二维光照方向计算模块、加权计算模块、光照角度集合构建模块和判断模块；
在本实施例中，检测区域选择模块用于将待测视频进行分帧并选择检测区域；检测区域特征图像计算模块用于计算各帧图像检测区域对应的特征图像；平均像素值和边缘信息百分比计算模块用于将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；目标区域选择模块用于选择各帧图像的目标区域；目标区域二维光照方向计算模块用于计算各帧图像中目标区域的二维光照方向；加权计算模块用于将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；光照角度集合构建模块用于计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合；判断模块用于设定判别门限，根据光照角度集合的标准差与设定判别门限的差值判断待测视频是否为换脸篡改视频。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于光照方向一致性的换脸视频篡改检测方法，其特征在于，包括下述步骤：
将待测视频进行分帧并选择检测区域；
计算各帧图像检测区域对应的特征图像；
将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；
选择各帧图像的目标区域，选择真实视频和对应的换脸视频，计算真实视频和对应的换脸视频光照方向的角度分布差异最大的目标区域数量Nb，确定各帧图像的目标区域数量N，在经过分块后的每个子区域图像中，根据平均像素值和边缘信息百分比的值选择各帧的N个子区域作为目标区域；
计算各帧图像中目标区域的二维光照方向；
将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；
计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合；
设定判别门限，根据光照角度集合的标准差进行判断，若满足标准差大于判别门限的条件，则判定待测视频为换脸篡改视频，若不满足所述条件，则判定待测视频为真实视频。
2.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述将待测视频进行分帧并选择检测区域，具体采用视频帧图像的人脸区域作为检测区域。
3.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述计算各帧图像检测区域对应的特征图像，具体步骤为：
将各帧图像检测区域转化到YCbCr图像空间，提取对应的图像灰度分量IG，然后采用Canny边缘检测算子对IG进行边缘滤波，得到二值边缘图像IC。
4.根据权利要求3所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比，具体步骤为：
将各帧图像的检测区域、图像灰度分量IG和二值边缘图像IC分别等比例划分为多个互不重叠的子区域，子区域的序号k按逐行扫描顺序排列，然后使用图像灰度分量IG计算每个子区域图像的平均像素值Gk，使用二值边缘图像IC计算每个子区域图像的边缘信息百分比Pk，其中Gk和Pk计算公式如下：
Figure FDA0003426671600000021
Figure FDA0003426671600000022
其中，W和H分别为子区域图像的宽和高，
Figure FDA0003426671600000023
和
Figure FDA0003426671600000024
分别表示图像灰度分量IG和二值边缘图像IC中序号为k的子区域图像在(i，j)位置的灰度像素值，|·|表示计算集合中元素的数量。
5.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，
所述真实视频和对应的换脸视频光照方向的角度分布差异最大的目标区域数量Nb的计算公式为：
Nb＝argmaxN{D(Nt)＝|stdo(Nt)-stdc(Nt)|}
其中，Nt∈[1，16]，stdo(Nt)和stdc(Nt)分别表示在目标区域数量为Nt时真实视频和对应换脸视频光照方向的角度分布对应的标准差，D(Nt)表示stdo(Nt)和stdc(Nt)的差值绝对值。
6.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述计算各帧图像中目标区域的二维光照方向，所述各帧图像中目标区域的二维光照方向采用Lambert光照模型计算得到，具体计算公式为：
Figure FDA0003426671600000031
Figure FDA0003426671600000032
Figure FDA0003426671600000033
其中，
Figure FDA0003426671600000034
表示二维光照方向，ρ为环境光强度，Lx和Ly分别表示二维光照方向
Figure FDA0003426671600000035
在二维空间坐标系x和y方向上的分量，Nx(xi,yi)和Ny(xi,yi)分别表示二维法向矢量
Figure FDA0003426671600000036
在二维空间坐标系x和y方向上的分量，I(xi,yi)表示在第i个采样点处的光照强度值，p表示用于计算光照方向的采样点数。
7.根据权利要求1-6任一项所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向，具体步骤为：
将所述各帧图像的目标区域个数设置为3个，3个目标区域的二维光照方向向量设为
Figure FDA0003426671600000037
和
Figure FDA0003426671600000038
加权计算公式为：
Figure FDA0003426671600000039
其中，Pl、Pm和Pn分别为3个目标区域对应的边缘信息百分比。
8.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合，具体步骤为：
计算视频第f帧图像二维光照方向矢量的X分量和Y分量正切值所对应的角度θf并逐帧保存，构建待测视频的光照角度集合：
θ＝{θ1，θ2，…，θF}，其中θ表示待测视频的光照角度集合，F表示待测视频的帧数，所述角度θf用于表示第f帧的二维光照方向。
9.根据权利要求1所述的基于光照方向一致性的换脸视频篡改检测方法，其特征在于，所述设定判别门限，具体步骤为：
选择真实视频和对应的换脸视频，计算真实视频和对应的换脸视频光照角度分布的标准差，统计多对真实视频和换脸视频对应的标准差分布，根据所述标准差分布计算真实视频和换脸视频对应的概率密度分布曲线，通过真实视频和换脸视频对应的概率密度分布曲线的焦点构建垂直于X轴的直线，设为：x＝T，将T设为判别门限。
10.一种基于光照方向一致性的换脸视频篡改检测系统，其特征在于，包括：检测区域选择模块、检测区域特征图像计算模块、平均像素值和边缘信息百分比计算模块、目标区域选择模块、目标区域二维光照方向计算模块、加权计算模块、光照角度集合构建模块和判断模块；
所述检测区域选择模块用于将待测视频进行分帧并选择检测区域；
所述检测区域特征图像计算模块用于计算各帧图像检测区域对应的特征图像；
所述平均像素值和边缘信息百分比计算模块用于将各帧图像的检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；
所述目标区域选择模块用于选择各帧图像的目标区域，选择真实视频和对应的换脸视频，计算真实视频和对应的换脸视频光照方向的角度分布差异最大的目标区域数量Nb，确定各帧图像的目标区域数量N，在经过分块后的每个子区域图像中，根据平均像素值和边缘信息百分比的值选择各帧的N个子区域作为目标区域；
所述目标区域二维光照方向计算模块用于计算各帧图像中目标区域的二维光照方向；
所述加权计算模块用于将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算，得到各帧图像的二维光照方向；
所述光照角度集合构建模块用于计算各帧图像二维光照方向的角度，得到待测视频的光照角度集合；
所述判断模块用于设定判别门限，根据光照角度集合的标准差与设定判别门限的差值判断待测视频是否为换脸篡改视频。
CN201911029276.1A 2019-10-28 2019-10-28 基于光照方向一致性的换脸视频篡改检测方法及系统 Active CN110807396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911029276.1A CN110807396B (zh) 2019-10-28 2019-10-28 基于光照方向一致性的换脸视频篡改检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911029276.1A CN110807396B (zh) 2019-10-28 2019-10-28 基于光照方向一致性的换脸视频篡改检测方法及系统

Publications (2)

Publication Number Publication Date
CN110807396A CN110807396A (zh) 2020-02-18
CN110807396B true CN110807396B (zh) 2022-04-22

Family

ID=69489230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911029276.1A Active CN110807396B (zh) 2019-10-28 2019-10-28 基于光照方向一致性的换脸视频篡改检测方法及系统

Country Status (1)

Country Link
CN (1) CN110807396B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449543B (zh) * 2020-03-24 2022-09-27 百度在线网络技术（北京）有限公司 视频检测方法、装置、设备、以及存储介质
CN111476189B (zh) * 2020-04-14 2023-10-13 北京爱笔科技有限公司 一种身份识别方法和相关装置
CN111914633B (zh) * 2020-06-22 2023-06-30 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111783644B (zh) * 2020-06-30 2023-07-14 百度在线网络技术（北京）有限公司 检测方法、装置、设备和计算机存储介质
CN114390200B (zh) * 2022-01-12 2023-04-14 平安科技（深圳）有限公司 相机作弊识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105374027A (zh) * 2015-10-09 2016-03-02 东华大学 一种基于三维重建估计光照方向的图像篡改检测算法
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法
CN107818322A (zh) * 2017-10-13 2018-03-20 上海眼控科技股份有限公司 一种用于车辆年检的车辆vin码篡改检测系统及方法
CN109344835A (zh) * 2018-09-20 2019-02-15 上海眼控科技股份有限公司 基于车辆vin码字符位置的篡改检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105374027A (zh) * 2015-10-09 2016-03-02 东华大学 一种基于三维重建估计光照方向的图像篡改检测算法
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法
CN107818322A (zh) * 2017-10-13 2018-03-20 上海眼控科技股份有限公司 一种用于车辆年检的车辆vin码篡改检测系统及方法
CN109344835A (zh) * 2018-09-20 2019-02-15 上海眼控科技股份有限公司 基于车辆vin码字符位置的篡改检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Digital Image Forgery Detection by Illumination Color Classification";Komal S.Jaisinghani et al.;《INTERNATIONAL JOURNAL OF SCIENTIFIC PROGRESS AND RESEARCH(IJSPR)》;20151231;第11卷(第4期);全文 *
"基于TCS-LBP算子的视频帧幅值篡改检测算法";李猛 等;《华南理工大学学报（自然科学版）》;20180531;第46卷(第5期);全文 *
"基于光强信息的视频插帧篡改检测";吴铁浩 等;《计算机工程》;20170731;第40卷(第7期);全文 *
"基于相似度分析的数字多媒体被动取证研究";杨健梅;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20160215(第02期);全文 *

Also Published As

Publication number Publication date
CN110807396A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807396B (zh) 基于光照方向一致性的换脸视频篡改检测方法及系统
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN104424634B (zh) 对象跟踪方法和装置
WO2019210555A1 (zh) 一种基于深度神经网络的人数统计方法及装置、存储介质
CN112734696B (zh) 基于多域特征融合的换脸视频篡改检测方法及系统
CN104978567B (zh) 基于场景分类的车辆检测方法
CN101482923A (zh) 视频监控中人体目标的检测与性别识别方法
CN105243356B (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
Yang et al. Spatiotemporal trident networks: detection and localization of object removal tampering in video passive forensics
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
Wang et al. Video key frame monitoring algorithm and virtual reality display based on motion vector
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN114724218A (zh) 视频检测方法、装置、设备及介质
Li et al. Image manipulation localization using multi-scale feature fusion and adaptive edge supervision
Mazumdar et al. Two-stream encoder–decoder network for localizing image forgeries
WO2022120996A1 (zh) 视觉位置识别方法及装置、计算机设备及可读存储介质
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
CN105741277A (zh) 基于ViBe算法与SLIC超像素的背景差分法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN109993128B (zh) 一种行人图像属性特征量化的方法
CN117011346A (zh) 鼓风机图像配准算法
CN112686105B (zh) 一种基于视频图像多特征融合的雾浓度等级识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant