CN117474741B - 一种基于人脸关键点水印的主动防御检测方法 - Google Patents

一种基于人脸关键点水印的主动防御检测方法 Download PDF

Info

Publication number
CN117474741B
CN117474741B CN202311561214.1A CN202311561214A CN117474741B CN 117474741 B CN117474741 B CN 117474741B CN 202311561214 A CN202311561214 A CN 202311561214A CN 117474741 B CN117474741 B CN 117474741B
Authority
CN
China
Prior art keywords
watermark
image
layer
cover
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311561214.1A
Other languages
English (en)
Other versions
CN117474741A (zh
Inventor
舒明雷
黄梦筱
周书旺
刘照阳
徐鹏摇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311561214.1A priority Critical patent/CN117474741B/zh
Publication of CN117474741A publication Critical patent/CN117474741A/zh
Application granted granted Critical
Publication of CN117474741B publication Critical patent/CN117474741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

一种基于人脸关键点水印的主动防御检测方法，涉及图像伪造检测领域，对于一张原始图像提取人脸关键点，将提取出来的人脸关键点转换成二进制的水印。随后二进制水印被嵌入到原始图像中得到水印图像，继而水印图像会经过非恶意/恶意操作得到操作图像或篡改图像，使得模型能够对这些非恶意/恶意操作具有鲁棒性，该方法引入了人脸关键点，既为每个人生成独有的水印也实现了溯源以及检测功能。

Description

一种基于人脸关键点水印的主动防御检测方法
技术领域
本发明涉及图像伪造检测领域，具体涉及一种基于人脸关键点水印的主动防御检测方法。
背景技术
近年来，随着学术界和工业界越来越多的领域专家涉足，深度伪造技术被广泛应用到视频、音频、图片等多媒体形式中用于产生“虚假”的多媒体产品，随之而产生的是各种法律、伦理层面的问题矛盾。为了对抗深度伪造的攻击性，一个被称为深度伪造检测的新研究分支应运而生。现有的深度伪造检测主要集中在被动检测，即利用假脸中的伪影在生成后对其进行检测。被动检测方法在发现深度伪造图片或视频后，通常只能采取被动防御和事后取证的方式。这意味着它们无法阻止深度伪造内容的生成和传播，并且无法避免虚假内容所造成的潜在伤害。目前基于半脆弱水印的方法，通过一个水印只能检测真假，而没有溯源功能。并且目前基于鲁棒水印的方法，向图像中嵌入的是随机生成或者固定不变的水印，不能为每个人生成独有且独特的水印。
发明内容
本发明为了克服以上技术的不足，提供了一种即为每个人生成独有的水印也实现了溯源及检测功能的基于人脸关键点水印的主动防御检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于人脸关键点水印的主动防御检测方法，包括如下步骤：
a)获取n张人脸图像，得到人脸图像集I，I＝{I1,I2,...,Ii,...,In}，Ii为第i张人脸图像i∈{1,...,n}，对第i张人脸图像i∈{1,...,n}Ii进行预处理，得到预处理后的第i张人脸图像Icover_i，得到预处理后人脸图像集Icover；
b)从预处理后的第i张人脸图像Icover_i中提取人脸关键点，将人脸关键点转换成水印Wm；
c)建立编码器，将第i张人脸图像Icover_i与水印Wm输入到编码器中，输出得到水印图像Iwm；
d)将水印图像Iwm注入噪声池中，得到操作图像Inoise，将水印图像Iwm注入篡改池中，得到恶意篡改图像Idep；
e)建立解码器，将操作图像Inoise或篡改图像Idep输入到解码器中，输出得到最终水印Wm1；
f)根据最终水印Wm1判断操作图像Inoise及篡改图像Idep为真图像或假图像。
进一步的，步骤a)包括如下步骤：
a-1)从CelebA-HQ数据集中获取n张人脸图像，得到人脸图像集I；
a-2)利用Python图像处理库PIL中的resize()函数将第i张人脸图像Ii调整成256×256的图像，得到预处理后的第i张人脸图像Icover_i，得到预处理后的人脸图像集Icover＝{Icover_1,Icover_2,...,Icover_i,...,Icover_n}。
进一步的，步骤b)包括如下步骤：
b-1)使用Dlib人脸关键点检测算法检测预处理后的第i张人脸图像Icover_i中的人脸关键点，得到m个人脸关键点构成的人脸关键点集Lm，Lm＝{l1,l2,...,lm}，m＝68，其中{l1,l2,...,l17}为人脸部轮廓的关键点，{l18,l19,...,l22}为右边眉毛的关键点，{l23,l24,...,l27}为左边眉毛的关键点，{l28,l29,...,l36}为鼻子的关键点，{l37,l38,...,l42}为右眼的关键点，{l43,l44,...,l48}为左眼的关键点，{l49,l50,...,l68}为嘴巴的关键点；b-2)第i个关键点li的横坐标为xi，纵坐标为yi，将横坐标xi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制将纵坐标yi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制将二进制/>与二进制/>进行拼接操作，得到长度为8的二进制/>将68个人脸关键点的二进制拼接在一起，得到长度为544的二进制W68，使用PCA主成分分析降维方法将二进制W68压缩至长度为256的二进制，该二进制为水印Wm。
进一步的，步骤c)包括如下步骤：
c-1)编码器由原始图像处理单元、水印处理单元、第一卷积层、批归一化层、激活函数层、第二卷积层构成；
c-2)编码器的原始图像处理单元由卷积层、批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将第i张人脸图像Icover_i依次输入到原始图像处理单元的卷积层、批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_1，将图像特征Fcover_1依次输入到原始图像处理单元的空洞卷积层、第二ReLU激活函数、Dropout层中，输出得到图像特征Fcover_2；
c-3)第一CPC模块、第二CPC模块、第三CPC模块均由第一分支、第二分支构成，第一分支依次由第一卷积层、第一批归一化层、第一ReLU激活函数、第二卷积层、第二批归一化层、第二ReLU激活函数、第三卷积层、第三批归一化层、第三ReLU激活函数构成，第二分支依次由平均池化层、第一卷积层、ReLU激活函数、第二卷积层构成，将图像特征Fcover_2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_2_1，将图像特征Fcover_2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_2_2，将图像特征Fcover_2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_2_3，将图像特征Fcover_2输入到第一CPC模块的第二分支中，输出得到图像特征Fcover_3，将图像特征Fcover_3与图像特征Fcover_2_3逐元素相乘得到图像特征Fcover_4，将图像特征Fcover_4与图像特征Fcover_2进行对应位置元素相加，得到图像特征Fcover_5，将图像特征Fcover_5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_5_1，将图像特征Fcover_5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_5_2，将图像特征Fcover_5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_5_3，将图像特征Fcover_5输入到第二CPC模块的第二分支中，输出得到图像特征Fcover_6，将图像特征Fcover_6与图像特征Fcover_5_3逐元素相乘得到图像特征Fcover_7，将图像特征Fcover_7与图像特征Fcover_5进行对应位置元素相加，得到图像特征Fcover_8，将图像特征Fcover_8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_8_1，将图像特征Fcover_8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_8_2，将图像特征Fcover_8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_8_3，将图像特征Fcover_8输入到第三CPC模块的第二分支中，输出得到图像特征Fcover_9，将图像特征Fcover_9与图像特征Fcover_8_3逐元素相乘得到图像特征Fcover_10，将图像特征Fcover_10与图像特征Fcover_8进行对应位置元素相加，得到图像特征Fcover_11；
c-4)编码器的水印处理单元由线性层、卷积层、第一批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、第一Dropout层、第一反卷积层、第二批归一化层、第三ReLU激活函数、第二反卷积层、第四ReLU激活函数、第二Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将水印Wm输入到水印处理单元的线性层中，输出得到水印特征f1，将水印特征f1依次输入到水印处理单元的卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征f2，将水印特征f2依次输入到水印处理单元的空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到水印特征f3，将水印特征f3依次输入到水印处理单元的第一反卷积层、第二批归一化层、第三ReLU激活函数中，输出得到水印特征f4，将水印特征f4依次输入到水印处理单元的第二反卷积层、第四ReLU激活函数、第二Dropout层中，输出得到水印特征f5，将水印特征f5依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_5_1，将水印特征fm_5_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_5_2，将水印特征fm_5_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_5_3，将水印特征f5输入到第一CPC模块的第二分支中，输出得到水印特征fm_6，将水印特征fm_6与水印特征fm_5_3逐元素相乘得到水印特征fm_7，将水印特征fm_7与水印特征f5进行对应位置元素相加，得到水印特征fm_8，将水印特征fm_8依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_8_1，将水印特征fm_8_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_8_2，将水印特征fm_8_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_8_3，将水印特征fm_8输入到第二CPC模块的第二分支中，输出得到水印特征fm_9，将水印特征fm_9与水印特征fm_8_3逐元素相乘得到水印特征fm_10，将水印特征fm_10与水印特征fm_8进行对应位置元素相加，得到水印特征fm_11，将水印特征fm_11依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_11_1，将水印特征fm_11_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_11_2，将水印特征fm_11_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_11_3，将水印特征fm_11输入到第三CPC模块的第二分支中，输出得到水印特征fm_12，将水印特征fm_12与水印特征fm_11_3逐元素相乘得到水印特征fm_13，将水印特征fm_13与水印特征fm_11进行对应位置元素相加，得到水印特征f6；
c-5)将图像特征Fcover_11与水印特征f6对应位置元素相加得到特征F1，将特征F1依次输入到编码器的第一卷积层、批归一化层、激活函数层中，输出得到特征F2，将特征F2输入到编码器的第二卷积层中，输出得到水印图像Iwm。
优选的，步骤c-2)中原始图像处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，原始图像处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1；步骤c-3)中第一分支的第一卷积层、第二卷积层、第三卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的第一卷积层、第二卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的平均池化层的窗口大小为4；步骤c-4)中水印处理单元的线性层的输入节点为256，输出节点为256，水印处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，水印处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，水印处理单元的第一反卷积层和第二反卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1；步骤c-5)中编码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，编码器的第二卷积层的通道数为3、卷积核大小为1、步长为1、填充为1。
进一步的，步骤d)包括如下步骤：
d-1)建立噪声池，噪声池中包括Identity噪声、Dropout噪声、Crop噪声、GaussianNoise噪声、SaltPepper噪声、GaussianBlur噪声、MedBlur噪声、JPEG噪声，将水印图像Iwm注入噪声池中，从噪声池中随机选择一个噪声对水印图像Iwm进行加噪，得到操作图像Inoise；
d-2)建立恶意篡改池，恶意篡改池中包括SimSwap模型、InfoSwap模型、UniFace模型、属性篡改算法，将水印图像Iwm注入恶意篡改池中，从恶意篡改池中随机选择一个模型或属性篡改算法对水印图像Iwm进行篡改，得到篡改图像Idep。进一步的，步骤e)包括如下步骤：
e-1)解码器由第一卷积层、第一批归一化层、第一ReLU激活函数、第一空洞卷积层、第二ReLU激活函数、第一Dropout层、第一CPC模块、第二CPC模块、第三CPC模块、第二卷积层、第二归一化层、第三ReLU激活函数、第二空洞卷积层、第四ReLU激活函数、第二Dropout层、展平层、全连接层构成，将操作图像Inoise或篡改图像Idep依次输入到解码器的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N1，将图像特征N1依次输入到解码器的第一空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到图像特征N2，将图像特征N2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N2_1，将图像特征N2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N2_2，将图像特征N2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N2_3，将图像特征N2输入到第一CPC模块的第二分支中，输出得到图像特征N3，将图像特征N3与图像特征N2_3逐元素相乘得到图像特征N4，将图像特征N4与图像特征N2进行对应位置元素相加，得到图像特征N5，将图像特征N5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N5_1，将图像特征N5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N5_2，将图像特征N5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N5_3，将图像特征N5输入到第二CPC模块的第二分支中，输出得到图像特征N6，将图像特征N6与图像特征N5_3逐元素相乘得到图像特征N7，将图像特征N7与图像特征N5进行对应位置元素相加，得到图像特征N8，将图像特征N8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N8_1，将图像特征N8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N8_2，将图像特征N8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N8_3，将图像特征N8输入到第三CPC模块的第二分支中，输出得到图像特征N9，将图像特征N9与图像特征N8_3逐元素相乘得到图像特征N10，将图像特征N10与图像特征N8进行对应位置元素相加，得到图像特征N11，将图像特征N11依次输入到解码器的第二卷积层、第二归一化层、第三ReLU激活函数中，输出得到图像特征N12，将图像特征N12依次输入到解码器的第二空洞卷积层、第四ReLU激活函数、第二Dropout层中，输出得到图像特征N13，将图像特征N13输入到解码器的展平层中，输出得到图像特征N14，将图像特征N14输入到解码器的全连接层中，输出得到最终水印Wm1。
优选的，步骤e-1)解码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第一空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的第二卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第二空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的展平层及全连接层的神经元个数均为256。
进一步的，步骤f)包括如下步骤：
f-1)定义常数count1，常数count1初始值为0，判断最终水印Wm1与水印Wm对应位置的二进制值是否相同，如果一个位上最终水印Wm1与水印Wm的二进制值不同，则常数count1加1，将最终的常数count1的值除以256得到位错误率Ebit；f-2)当位错误率Ebit小于0.5时，操作图像Inoise为真图像，当位错误率Ebit大于等于0.5时，操作图像Inoise为假图像；
f-3)将篡改图像Idep替代步骤b)中的第i张人脸图像Icover_i后重复执行步骤b)得到水印W′m；
f-4)定义常数count2，常数count2初始值为0，判断水印W′m与水印Wm对应位置的二进制值是否相同，如果一个位上水印W′m与水印Wm的二进制值不同，则常数count2加1，将最终的常数count2的值除以256得到位错误率E′bit；
f-5)当位错误率E′bit小于等于0.5时，篡改图像Idep为真图像，当位错误率E′bit大于0.5时，篡改图像Idep为假图像。
本发明的有益效果是：对于一张原始图像提取人脸关键点，将提取出来的人脸关键点转换成二进制的水印。随后二进制水印被嵌入到原始图像中得到水印图像，继而水印图像会经过非恶意/恶意操作得到操作图像或篡改图像，使得模型能够对这些非恶意/恶意操作具有鲁棒性，该方法引入了人脸关键点，既为每个人生成独有的水印也实现了溯源以及检测功能。
附图说明
图1为本发明的方法流程图；
图2为本发明的关键点提取结构图；
图3为本发明的编码器的结构图；
图4为本发明的解码器的结构图。
具体实施方式
下面结合附图1至附图4对本发明做进一步说明。
一种基于人脸关键点水印的主动防御检测方法，包括如下步骤：
a)获取n张人脸图像，得到人脸图像集I，I＝{I1,I2,...,Ii,...,In}，Ii为第i张人脸图像i∈{1,...,n}，对第i张人脸图像i∈{1,...,n}Ii进行预处理，得到预处理后的第i张人脸图像Icover_i，得到预处理后人脸图像集Icover。
b)从预处理后的第i张人脸图像Icover_i中提取人脸关键点，将人脸关键点转换成水印Wm。
c)建立编码器，将第i张人脸图像Icover_i与水印Wm输入到编码器中，输出得到水印图像Iwm。
d)将水印图像Iwm注入噪声池中，得到操作图像Inoise，将水印图像Iwm注入篡改池中，得到恶意篡改图像Idep。
e)建立解码器，将操作图像Inoise或篡改图像Idep输入到解码器中，输出得到最终水印Wm1。
f)根据最终水印Wm1判断操作图像Inoise及篡改图像Idep为真图像或假图像。
将提取出来的人脸关键点转换成二进制的水印。随后二进制水印被嵌入到原始图像中得到水印图像，继而水印图像会经过非恶意/恶意操作得到操作图像，使得模型能够对这些非恶意/恶意操作具有鲁棒性，既为每个人生成独有的水印也实现了溯源以及检测功能。该方法基于对抗攻击的思想，通常主动防御包括两种方法，通过给图片或视频添加对抗性扰动，扭曲深度伪造生成的内容，以达到“看一眼就知道是假的”的效果以及通过给图片或视频添加对抗性水印，与添加扰动不同，添加水印是通过训练水印的鲁棒程度来进行研究的。目前基于半脆弱水印的方法，通过一个水印只能检测真假，而没有溯源功能。并且目前基于鲁棒水印的方法，向图像中嵌入的是随机生成或者固定不变的水印，不能为每个人生成独有且独特的水印。
在本发明的一个实施例中，步骤a)包括如下步骤：
a-1)从CelebA-HQ数据集中获取n张人脸图像，得到人脸图像集I。CelebA-HQ数据集由30000张不同身份的人脸图像组成，每张图像的分辨率为1024*1024。a-2)利用Python图像处理库PIL中的resize()函数将第i张人脸图像Ii调整成256×256的图像，得到预处理后的第i张人脸图像Icover_i，得到预处理后的人脸图像集Icover＝{Icover_1,Icover_2,...,Icover_i,...,Icover_n}。
在本发明的一个实施例中，步骤b)包括如下步骤：
b-1)使用Dlib人脸关键点检测算法检测预处理后的第i张人脸图像Icover_i中的人脸关键点，得到m个人脸关键点构成的人脸关键点集Lm，Lm＝{l1,l2,...,lm}，m＝68，其中{l1,l2,...,l17}为人脸部轮廓的关键点，{l18,l19,...,l22}为右边眉毛的关键点，{l23,l24,...,l27}为左边眉毛的关键点，{l28,l29,...,l36}为鼻子的关键点，{l37,l38,...,l42}为右眼的关键点，{l43,l44,...,l48}为左眼的关键点，{l49,l50,...,l68}为嘴巴的关键点。
b-2)第i个关键点li的横坐标为xi，纵坐标为yi，将横坐标xi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制将纵坐标yi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制/>将二进制/>与二进制/>进行拼接操作，得到长度为8的二进制/>将68个人脸关键点的二进制拼接在一起，得到长度为544的二进制W68，使用PCA主成分分析降维方法将二进制W68压缩至长度为256的二进制，该二进制为水印Wm。
在本发明的一个实施例中，步骤c)包括如下步骤：
c-1)编码器由原始图像处理单元、水印处理单元、第一卷积层、批归一化层、激活函数层、第二卷积层构成。
c-2)编码器的原始图像处理单元由卷积层、批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将第i张人脸图像Icover_i依次输入到原始图像处理单元的卷积层、批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_1，将图像特征Fcover_1依次输入到原始图像处理单元的空洞卷积层、第二ReLU激活函数、Dropout层中，输出得到图像特征Fcover_2。
c-3)第一CPC模块、第二CPC模块、第三CPC模块均由第一分支、第二分支构成，第一分支依次由第一卷积层、第一批归一化层、第一ReLU激活函数、第二卷积层、第二批归一化层、第二ReLU激活函数、第三卷积层、第三批归一化层、第三ReLU激活函数构成，第二分支依次由平均池化层、第一卷积层、ReLU激活函数、第二卷积层构成，将图像特征Fcover_2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_2_1，将图像特征Fcover_2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_2_2，将图像特征Fcover_2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_2_3，将图像特征Fcover_2输入到第一CPC模块的第二分支中，输出得到图像特征Fcover_3，将图像特征Fcover_3与图像特征Fcover_2_3逐元素相乘得到图像特征Fcover_4，将图像特征Fcover_4与图像特征Fcover_2进行对应位置元素相加，得到图像特征Fcover_5，将图像特征Fcover_5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_5_1，将图像特征Fcover_5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_5_2，将图像特征Fcover_5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_5_3，将图像特征Fcover_5输入到第二CPC模块的第二分支中，输出得到图像特征Fcover_6，将图像特征Fcover_6与图像特征Fcover_5_3逐元素相乘得到图像特征Fcover_7，将图像特征Fcover_7与图像特征Fcover_5进行对应位置元素相加，得到图像特征Fcover_8，将图像特征Fcover_8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_8_1，将图像特征Fcover_8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_8_2，将图像特征Fcover_8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_8_3，将图像特征Fcover_8输入到第三CPC模块的第二分支中，输出得到图像特征Fcover_9，将图像特征Fcover_9与图像特征Fcover_8_3逐元素相乘得到图像特征Fcover_10，将图像特征Fcover_10与图像特征Fcover_8进行对应位置元素相加，得到图像特征Fcover_11。
c-4)编码器的水印处理单元由线性层、卷积层、第一批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、第一Dropout层、第一反卷积层、第二批归一化层、第三ReLU激活函数、第二反卷积层、第四ReLU激活函数、第二Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将水印Wm输入到水印处理单元的线性层中，输出得到水印特征f1，将水印特征f1依次输入到水印处理单元的卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征f2，将水印特征f2依次输入到水印处理单元的空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到水印特征f3，将水印特征f3依次输入到水印处理单元的第一反卷积层、第二批归一化层、第三ReLU激活函数中，输出得到水印特征f4，将水印特征f4依次输入到水印处理单元的第二反卷积层、第四ReLU激活函数、第二Dropout层中，输出得到水印特征f5，将水印特征f5依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_5_1，将水印特征fm_5_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_5_2，将水印特征fm_5_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_5_3，将水印特征f5输入到第一CPC模块的第二分支中，输出得到水印特征fm_6，将水印特征fm_6与水印特征fm_5_3逐元素相乘得到水印特征fm_7，将水印特征fm_7与水印特征f5进行对应位置元素相加，得到水印特征fm_8，将水印特征fm_8依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_8_1，将水印特征fm_8_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_8_2，将水印特征fm_8_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_8_3，将水印特征fm_8输入到第二CPC模块的第二分支中，输出得到水印特征fm_9，将水印特征fm_9与水印特征fm_8_3逐元素相乘得到水印特征fm_10，将水印特征fm_10与水印特征fm_8进行对应位置元素相加，得到水印特征fm_11，将水印特征fm_11依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_11_1，将水印特征fm_11_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_11_2，将水印特征fm_11_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_11_3，将水印特征fm_11输入到第三CPC模块的第二分支中，输出得到水印特征fm_12，将水印特征fm_12与水印特征fm_11_3逐元素相乘得到水印特征fm_13，将水印特征fm_13与水印特征fm_11进行对应位置元素相加，得到水印特征f6。
c-5)将图像特征Fcover_11与水印特征f6对应位置元素相加得到特征F1，将特征F1依次输入到编码器的第一卷积层、批归一化层、激活函数层中，输出得到特征F2，将特征F2输入到编码器的第二卷积层中，输出得到水印图像Iwm。在编码器中所有的卷积层、反卷积层、空洞卷积层都是二维的。
在该实施例中，优选的，步骤c-2)中原始图像处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，原始图像处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1；步骤c-3)中第一分支的第一卷积层、第二卷积层、第三卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的第一卷积层、第二卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的平均池化层的窗口大小为4；步骤c-4)中水印处理单元的线性层的输入节点为256，输出节点为256，水印处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，水印处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，水印处理单元的第一反卷积层和第二反卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1；步骤c-5)中编码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，编码器的第二卷积层的通道数为3、卷积核大小为1、步长为1、填充为1。
在本发明的一个实施例中，步骤d)包括如下步骤：
d-1)建立噪声池，噪声池中包括Identity噪声、Dropout噪声、Crop噪声、GaussianNoise噪声、SaltPepper噪声、GaussianBlur噪声、MedBlur噪声、JPEG噪声，将水印图像Iwm注入噪声池中，从噪声池中随机选择一个噪声对水印图像Iwm进行加噪，得到操作图像Inoise。Identity噪声、Dropout噪声、CropaussianNoise噪声、SaltPepper噪声、GaussianBlur噪声、MedBlur噪声、JPEG噪声采用论文《MBRS:Enhancing Robustness ofDNN-based Watermarking by Mini-Batch of Real and Simulated JPEG Compression》源码中的实现方式实现加噪。此为现有技术，这里不再赘述。
d-2)建立恶意篡改池，恶意篡改池中包括SimSwap模型、InfoSwap模型、UniFace模型、属性篡改算法(对鼻子、嘴巴、眼睛、脸部轮廓、眉毛属性进行篡改)，将水印图像Iwm注入恶意篡改池中，从恶意篡改池中随机选择一个模型或属性篡改算法对水印图像Iwm进行篡改，得到篡改图像Idep。其中SimSwap模型采用论文《SimSwap:An Efficient Framework ForHigh Fidelity Face Swapping》的源码实现换脸，InfoSwap模型采用论文《InfoSwap:Information Bottleneck Disentanglement for Identity Swapping》的源码实现换脸，UniFace模型采用论文《Designing One Unified Framework for High-Fidelity FaceReenactment and Swapping》的源码实现换脸。而对属性鼻子、嘴巴、眼睛、脸部轮廓、眉毛的形状篡改采用论文《StarGAN:Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation》的源码实现属性篡改。此为现有技术，这里不再赘述。
在本发明的一个实施例中，步骤e)包括如下步骤：
e-1)解码器由第一卷积层、第一批归一化层、第一ReLU激活函数、第一空洞卷积层、第二ReLU激活函数、第一Dropout层、第一CPC模块、第二CPC模块、第三CPC模块、第二卷积层、第二归一化层、第三ReLU激活函数、第二空洞卷积层、第四ReLU激活函数、第二Dropout层、展平层、全连接层构成，将操作图像Inoise或篡改图像Idep依次输入到解码器的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N1，将图像特征N1依次输入到解码器的第一空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到图像特征N2，将图像特征N2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N2_1，将图像特征N2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N2_2，将图像特征N2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N2_3，将图像特征N2输入到第一CPC模块的第二分支中，输出得到图像特征N3，将图像特征N3与图像特征N2_3逐元素相乘得到图像特征N4，将图像特征N4与图像特征N2进行对应位置元素相加，得到图像特征N5，将图像特征N5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N5_1，将图像特征N5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N5_2，将图像特征N5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N5_3，将图像特征N5输入到第二CPC模块的第二分支中，输出得到图像特征N6，将图像特征N6与图像特征N5_3逐元素相乘得到图像特征N7，将图像特征N7与图像特征N5进行对应位置元素相加，得到图像特征N8，将图像特征N8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N8_1，将图像特征N8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N8_2，将图像特征N8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N8_3，将图像特征N8输入到第三CPC模块的第二分支中，输出得到图像特征N9，将图像特征N9与图像特征N8_3逐元素相乘得到图像特征N10，将图像特征N10与图像特征N8进行对应位置元素相加，得到图像特征N11，将图像特征N11依次输入到解码器的第二卷积层、第二归一化层、第三ReLU激活函数中，输出得到图像特征N12，将图像特征N12依次输入到解码器的第二空洞卷积层、第四ReLU激活函数、第二Dropout层中，输出得到图像特征N13，将图像特征N13输入到解码器的展平层中，输出得到图像特征N14，将图像特征N14输入到解码器的全连接层中，输出得到最终水印Wm1。
在该实施例中，优选的，步骤e-1)解码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第一空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的第二卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第二空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的展平层及全连接层的神经元个数均为256。
在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)定义常数count1，常数count1初始值为0，判断最终水印Wm1与水印Wm对应位置的二进制值是否相同，如果一个位上最终水印Wm1与水印Wm的二进制值不同，说明最终水印Wm1与水印Wm对应位置的二进制不同，则证明这一位不匹配，此时常数count1加1，将最终的常数count1的值除以256得到位错误率Ebit。
f-2)当位错误率Ebit小于0.5时，说明最终水印Wm1为第i张人脸图像Icover_i的水印Wm，第i张人脸图像Icover_i中的人脸无变化实现了溯源，操作图像Inoise为真图像，当位错误率Ebit大于等于0.5时，操作图像Inoise为假图像。
f-3)由于篡改图像Idep中包含篡改的痕迹，因此将篡改图像Idep替代步骤b)中的第i张人脸图像Icover_i后重复执行步骤b)得到水印W′m。
f-4)定义常数count2，常数count2初始值为0，判断水印W′m与水印Wm对应位置的二进制值是否相同，如果一个位上水印W′m与水印Wm的二进制值不同，则常数count2加1，将最终的常数count2的值除以256得到位错误率E′bit。
f-5)当位错误率E′bit小于等于0.5时，篡改图像Idep为真图像，当位错误率E′bit大于0.5时，篡改图像Idep为假图像。由于可以从解码器中稳健的恢复出篡改图像Idep中的水印，可以通过人脸关键点和水印之间的匹配来追踪带有水印Wm的可信原始图像。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人脸关键点水印的主动防御检测方法，其特征在于，包括如下步骤：
a)获取n张人脸图像，得到人脸图像集I，I＝{I1,I2,...,Ii,...,In}，Ii为第i张人脸图像i∈{1,...,n}，对第i张人脸图像i∈{1,...,n}Ii进行预处理，得到预处理后的第i张人脸图像Icover_i，得到预处理后人脸图像集Icover；
b)从预处理后的第i张人脸图像Icover_i中提取人脸关键点，将人脸关键点转换成水印Wm；
c)建立编码器，将第i张人脸图像Icover_i与水印Wm输入到编码器中，输出得到水印图像Iwm；
d)将水印图像Iwm注入噪声池中，得到操作图像Inoise，将水印图像Iwm注入篡改池中，得到恶意篡改图像Idep；
e)建立解码器，将操作图像Inoise或篡改图像Idep输入到解码器中，输出得到最终水印Wm1；
f)根据最终水印Wm1判断操作图像Inoise及篡改图像Idep为真图像或假图像；
步骤b)包括如下步骤：
b-1)使用Dlib人脸关键点检测算法检测预处理后的第i张人脸图像Icover_i中的人脸关键点，得到m个人脸关键点构成的人脸关键点集Lm，Lm＝{l1,l2,...,lm}，m＝68，其中{l1,l2,...,l17}为人脸部轮廓的关键点，{l18,l19,...,l22}为右边眉毛的关键点，{l23,l24,...,l27}为左边眉毛的关键点，{l28,l29,...,l36}为鼻子的关键点，{l37,l38,...,l42}为右眼的关键点，{l43,l44,...,l48}为左眼的关键点，{l49,l50,...,l68}为嘴巴的关键点；
b-2)第i个关键点li的横坐标为xi，纵坐标为yi，将横坐标xi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制将纵坐标yi的值采用线性变换映射到0-15的整数范围内后通过Python中的bin()函数转换为长度为4的二进制/>将二进制/>与二进制/>进行拼接操作，得到长度为8的二进制/>将68个人脸关键点的二进制拼接在一起，得到长度为544的二进制W68，使用PCA主成分分析降维方法将二进制W68压缩至长度为256的二进制，该二进制为水印Wm。
2.根据权利要求1所述的基于人脸关键点水印的主动防御检测方法，其特征在于，步骤a)包括如下步骤：
a-1)从CelebA-HQ数据集中获取n张人脸图像，得到人脸图像集I；
a-2)利用Python图像处理库PIL中的resize()函数将第i张人脸图像Ii调整成256×256的图像，得到预处理后的第i张人脸图像Icover_i，得到预处理后的人脸图像集Icover＝{Icover_1,Icover_2,...,Icover_i,...,Icover_n}。
3.根据权利要求1所述的基于人脸关键点水印的主动防御检测方法，其特征在于，步骤c)包括如下步骤：
c-1)编码器由原始图像处理单元、水印处理单元、第一卷积层、批归一化层、激活函数层、第二卷积层构成；
c-2)编码器的原始图像处理单元由卷积层、批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将第i张人脸图像Icover_i依次输入到原始图像处理单元的卷积层、批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_1，将图像特征Fcover_1依次输入到原始图像处理单元的空洞卷积层、第二ReLU激活函数、Dropout层中，输出得到图像特征Fcover_2；
c-3)第一CPC模块、第二CPC模块、第三CPC模块均由第一分支、第二分支构成，第一分支依次由第一卷积层、第一批归一化层、第一ReLU激活函数、第二卷积层、第二批归一化层、第二ReLU激活函数、第三卷积层、第三批归一化层、第三ReLU激活函数构成，第二分支依次由平均池化层、第一卷积层、ReLU激活函数、第二卷积层构成，将图像特征Fcover_2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_2_1，将图像特征Fcover_2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_2_2，将图像特征Fcover_2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_2_3，将图像特征Fcover_2输入到第一CPC模块的第二分支中，输出得到图像特征Fcover_3，将图像特征Fcover_3与图像特征Fcover_2_3逐元素相乘得到图像特征Fcover_4，将图像特征Fcover_4与图像特征Fcover_2进行对应位置元素相加，得到图像特征Fcover_5，将图像特征Fcover_5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_5_1，将图像特征Fcover_5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_5_2，将图像特征Fcover_5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_5_3，将图像特征Fcover_5输入到第二CPC模块的第二分支中，输出得到图像特征Fcover_6，将图像特征Fcover_6与图像特征Fcover_5_3逐元素相乘得到图像特征Fcover_7，将图像特征Fcover_7与图像特征Fcover_5进行对应位置元素相加，得到图像特征Fcover_8，将图像特征Fcover_8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征Fcover_8_1，将图像特征Fcover_8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征Fcover_8_2，将图像特征Fcover_8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征Fcover_8_3，将图像特征Fcover_8输入到第三CPC模块的第二分支中，输出得到图像特征Fcover_9，将图像特征Fcover_9与图像特征Fcover_8_3逐元素相乘得到图像特征Fcover_10，将图像特征Fcover_10与图像特征Fcover_8进行对应位置元素相加，得到图像特征Fcover_11；
c-4)编码器的水印处理单元由线性层、卷积层、第一批归一化层、第一ReLU激活函数、空洞卷积层、第二ReLU激活函数、第一Dropout层、第一反卷积层、第二批归一化层、第三ReLU激活函数、第二反卷积层、第四ReLU激活函数、第二Dropout层、第一CPC模块、第二CPC模块、第三CPC模块构成，将水印Wm输入到水印处理单元的线性层中，输出得到水印特征f1，将水印特征f1依次输入到水印处理单元的卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征f2，将水印特征f2依次输入到水印处理单元的空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到水印特征f3，将水印特征f3依次输入到水印处理单元的第一反卷积层、第二批归一化层、第三ReLU激活函数中，输出得到水印特征f4，将水印特征f4依次输入到水印处理单元的第二反卷积层、第四ReLU激活函数、第二Dropout层中，输出得到水印特征f5，将水印特征f5依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_5_1，将水印特征fm_5_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_5_2，将水印特征fm_5_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_5_3，将水印特征f5输入到第一CPC模块的第二分支中，输出得到水印特征fm_6，将水印特征fm_6与水印特征fm_5_3逐元素相乘得到水印特征fm_7，将水印特征fm_7与水印特征f5进行对应位置元素相加，得到水印特征fm_8，将水印特征fm_8依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_8_1，将水印特征fm_8_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_8_2，将水印特征fm_8_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_8_3，将水印特征fm_8输入到第二CPC模块的第二分支中，输出得到水印特征fm_9，将水印特征fm_9与水印特征fm_8_3逐元素相乘得到水印特征fm_10，将水印特征fm_10与水印特征fm_8进行对应位置元素相加，得到水印特征fm_11，将水印特征fm_11依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到水印特征fm_11_1，将水印特征fm_11_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到水印特征fm_11_2，将水印特征fm_11_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到水印特征fm_11_3，将水印特征fm_11输入到第三CPC模块的第二分支中，输出得到水印特征fm_12，将水印特征fm_12与水印特征fm_11_3逐元素相乘得到水印特征fm_13，将水印特征fm_13与水印特征fm_11进行对应位置元素相加，得到水印特征f6；
c-5)将图像特征Fcover_11与水印特征f6对应位置元素相加得到特征F1，将特征F1依次输入到编码器的第一卷积层、批归一化层、激活函数层中，输出得到特征F2，将特征F2输入到编码器的第二卷积层中，输出得到水印图像Iwm。
4.根据权利要求3所述的基于人脸关键点水印的主动防御检测方法，其特征在于：步骤c-2)中原始图像处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，原始图像处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1；步骤c-3)中第一分支的第一卷积层、第二卷积层、第三卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的第一卷积层、第二卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1，第二分支的平均池化层的窗口大小为4；步骤c-4)中水印处理单元的线性层的输入节点为256，输出节点为256，水印处理单元的卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，水印处理单元的空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，水印处理单元的第一反卷积层和第二反卷积层的通道数均为64、卷积核大小均为3、步长均为1、填充均为1；步骤c-5)中编码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，编码器的第二卷积层的通道数为3、卷积核大小为1、步长为1、填充为1。
5.根据权利要求1所述的基于人脸关键点水印的主动防御检测方法，其特征在于，步骤d)包括如下步骤：
d-1)建立噪声池，噪声池中包括Identity噪声、Dropout噪声、Crop噪声、GaussianNoise噪声、SaltPepper噪声、GaussianBlur噪声、MedBlur噪声、JPEG噪声，将水印图像Iwm注入噪声池中，从噪声池中随机选择一个噪声对水印图像Iwm进行加噪，得到操作图像Inoise；
d-2)建立恶意篡改池，恶意篡改池中包括SimSwap模型、InfoSwap模型、UniFace模型、属性篡改算法，将水印图像Iwm注入恶意篡改池中，从恶意篡改池中随机选择一个模型或属性篡改算法对水印图像Iwm进行篡改，得到篡改图像Idep。
6.根据权利要求3所述的基于人脸关键点水印的主动防御检测方法，其特征在于，步骤e)包括如下步骤：
e-1)解码器由第一卷积层、第一批归一化层、第一ReLU激活函数、第一空洞卷积层、第二ReLU激活函数、第一Dropout层、第一CPC模块、第二CPC模块、第三CPC模块、第二卷积层、第二归一化层、第三ReLU激活函数、第二空洞卷积层、第四ReLU激活函数、第二Dropout层、展平层、全连接层构成，将操作图像Inoise或篡改图像Idep依次输入到解码器的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N1，将图像特征N1依次输入到解码器的第一空洞卷积层、第二ReLU激活函数、第一Dropout层中，输出得到图像特征N2，将图像特征N2依次输入到第一CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N2_1，将图像特征N2_1依次输入到第一CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N2_2，将图像特征N2_2依次输入到第一CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N2_3，将图像特征N2输入到第一CPC模块的第二分支中，输出得到图像特征N3，将图像特征N3与图像特征N2_3逐元素相乘得到图像特征N4，将图像特征N4与图像特征N2进行对应位置元素相加，得到图像特征N5，将图像特征N5依次输入到第二CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N5_1，将图像特征N5_1依次输入到第二CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N5_2，将图像特征N5_2依次输入到第二CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N5_3，将图像特征N5输入到第二CPC模块的第二分支中，输出得到图像特征N6，将图像特征N6与图像特征N5_3逐元素相乘得到图像特征N7，将图像特征N7与图像特征N5进行对应位置元素相加，得到图像特征N8，将图像特征N8依次输入到第三CPC模块的第一分支的第一卷积层、第一批归一化层、第一ReLU激活函数中，输出得到图像特征N8_1，将图像特征N8_1依次输入到第三CPC模块的第一分支的第二卷积层、第二批归一化层、第二ReLU激活函数中，输出得到图像特征N8_2，将图像特征N8_2依次输入到第三CPC模块的第一分支的第三卷积层、第三批归一化层、第三ReLU激活函数中，输出得到图像特征N8_3，将图像特征N8输入到第三CPC模块的第二分支中，输出得到图像特征N9，将图像特征N9与图像特征N8_3逐元素相乘得到图像特征N10，将图像特征N10与图像特征N8进行对应位置元素相加，得到图像特征N11，将图像特征N11依次输入到解码器的第二卷积层、第二归一化层、第三ReLU激活函数中，输出得到图像特征N12，将图像特征N12依次输入到解码器的第二空洞卷积层、第四ReLU激活函数、第二Dropout层中，输出得到图像特征N13，将图像特征N13输入到解码器的展平层中，输出得到图像特征N14，将图像特征N14输入到解码器的全连接层中，输出得到最终水印Wm1。
7.根据权利要求6所述的基于人脸关键点水印的主动防御检测方法，其特征在于：步骤e-1)解码器的第一卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第一空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的第二卷积层的通道数为64、卷积核大小为3、步长为1、填充为1，解码器的第二空洞卷积层的通道数为64、卷积核大小为3、膨胀率为2、步长为1、填充为1，解码器的展平层及全连接层的神经元个数均为256。
8.根据权利要求1所述的基于人脸关键点水印的主动防御检测方法，其特征在于，步骤f)包括如下步骤：
f-1)定义常数count1，常数count1初始值为0，判断最终水印Wm1与水印Wm对应位置的二进制值是否相同，如果一个位上最终水印Wm1与水印Wm的二进制值不同，则常数count1加1，将最终的常数count1的值除以256得到位错误率Ebit；
f-2)当位错误率Ebit小于0.5时，操作图像Inoise为真图像，当位错误率Ebit大于等于0.5时，操作图像Inoise为假图像；
f-3)将篡改图像Idep替代步骤b)中的第i张人脸图像Icover_i后重复执行步骤b)得到水印W′m；
f-4)定义常数count2，常数count2初始值为0，判断水印W′m与水印Wm对应位置的二进制值是否相同，如果一个位上水印W′m与水印Wm的二进制值不同，则常数count2加1，将最终的常数count2的值除以256得到位错误率E′bit；
f-5)当位错误率E′bit小于等于0.5时，篡改图像Idep为真图像，当位错误率E′bit大于0.5时，篡改图像Idep为假图像。
CN202311561214.1A 2023-11-22 2023-11-22 一种基于人脸关键点水印的主动防御检测方法 Active CN117474741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311561214.1A CN117474741B (zh) 2023-11-22 2023-11-22 一种基于人脸关键点水印的主动防御检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311561214.1A CN117474741B (zh) 2023-11-22 2023-11-22 一种基于人脸关键点水印的主动防御检测方法

Publications (2)

Publication Number Publication Date
CN117474741A CN117474741A (zh) 2024-01-30
CN117474741B true CN117474741B (zh) 2024-05-07

Family

ID=89627463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311561214.1A Active CN117474741B (zh) 2023-11-22 2023-11-22 一种基于人脸关键点水印的主动防御检测方法

Country Status (1)

Country Link
CN (1) CN117474741B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN113989140A (zh) * 2021-10-22 2022-01-28 长沙理工大学 一种基于自注意力机制的循环特征推理的图像修复方法
CN115546461A (zh) * 2022-10-28 2022-12-30 河北工业大学 一种基于掩膜去噪和特征选择的人脸属性编辑方法
CN116383793A (zh) * 2023-04-23 2023-07-04 上海万雍科技股份有限公司 人脸数据处理方法、装置、电子设备和计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN113989140A (zh) * 2021-10-22 2022-01-28 长沙理工大学 一种基于自注意力机制的循环特征推理的图像修复方法
CN115546461A (zh) * 2022-10-28 2022-12-30 河北工业大学 一种基于掩膜去噪和特征选择的人脸属性编辑方法
CN116383793A (zh) * 2023-04-23 2023-07-04 上海万雍科技股份有限公司 人脸数据处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN117474741A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN113222800B (zh) 一种基于深度学习的鲁棒图像水印嵌入与提取方法及系统
Bartolini et al. Image authentication techniques for surveillance applications
Swaminathan et al. Digital image forensics via intrinsic fingerprints
Mahmood et al. A survey on block based copy move image forgery detection techniques
Barani et al. A new digital image tamper detection algorithm based on integer wavelet transform and secured by encrypted authentication sequence with 3D quantum map
Han et al. Content-based image authentication: current status, issues, and challenges
CN110457996B (zh) 基于vgg-11卷积神经网络的视频运动对象篡改取证方法
Hakimi et al. Image-splicing forgery detection based on improved lbp and k-nearest neighbors algorithm
Kukreja et al. Cellular Automata Based Image Authentication Scheme Using Extended Visual Cryptography
El-Shafai et al. A comprehensive taxonomy on multimedia video forgery detection techniques: challenges and novel trends
CN115273247A (zh) 一种针对深度伪造的主动防御方法、系统
Wani et al. Deep learning based image steganography: A review
Conotter Active and passive multimedia forensics
Chang et al. Cyber Vaccine for Deepfake Immunity
CN117474741B (zh) 一种基于人脸关键点水印的主动防御检测方法
Joseph et al. Literature survey on image manipulation detection
Kumar et al. Towards recent developments in the field of digital image forgery detection
Zhang et al. Dual defense: Adversarial, traceable, and invisible robust watermarking against face swapping
Hu et al. Draw: Defending camera-shooted raw against image manipulation
Capasso et al. A Comprehensive Survey on Methods for Image Integrity
Dommeti et al. Comparative Stratification of Steganalysis Techniques to Interpret & Target Anomalies
Hashem et al. Passive aproaches for detecting image tampering: a review
El-Shafai et al. A hybrid security framework for medical image communication
Liang et al. Counterfeiting in Depth Synthesis based on Digital Watermarking
Salunkhe et al. Feature Extraction Based Image Steganalysis Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant