CN114998080A - 人脸防篡改水印生成方法、篡改检测方法及属性检测方法 - Google Patents

人脸防篡改水印生成方法、篡改检测方法及属性检测方法 Download PDF

Info

Publication number
CN114998080A
CN114998080A CN202210551930.0A CN202210551930A CN114998080A CN 114998080 A CN114998080 A CN 114998080A CN 202210551930 A CN202210551930 A CN 202210551930A CN 114998080 A CN114998080 A CN 114998080A
Authority
CN
China
Prior art keywords
face
face feature
feature vector
picture
verified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210551930.0A
Other languages
English (en)
Other versions
CN114998080B (zh
Inventor
曹仰杰
庄岩
李书领
魏君飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202210551930.0A priority Critical patent/CN114998080B/zh
Publication of CN114998080A publication Critical patent/CN114998080A/zh
Application granted granted Critical
Publication of CN114998080B publication Critical patent/CN114998080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0083—Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种人脸防篡改水印生成方法、篡改检测方法及属性检测方法，所述人脸防篡改水印生成方法包括以下步骤：步骤1，读取原始图片，检测原始图片中的人脸位置信息；步骤2，对原始图片进行截取，生成N个目标图片；步骤3，分别对目标图片进行人脸特征识别，获得N个人脸特征向量；步骤4，判断原始图片的像素信息是否低于像素阈值；若是，则执行并行压缩加密策略，获得并行字符特征向量；若否，则执行串行压缩加密策略，得到串行字符特征向量；步骤5，根据并行字符特征向量或者串行字符特征向量，生成人脸防篡改水印图像W。本发明不但能够快速生成自动适应不同像素容量原始图片的人脸防篡改水印，还能够提高人脸防篡改水印的保密性。

Description

人脸防篡改水印生成方法、篡改检测方法及属性检测方法
技术领域
本发明涉及人脸识别技术领域，具体的说，涉及了一种人脸防篡改水印生成方法、篡改检测方法及属性检测方法。
背景技术
作为机器学习的一个分支，深度学习已经在很多方面取得不错的成功，尤其是在图形图像领域，deepfake(AI换脸工具)的兴起使得人脸篡改的成本大大降低，眼见未必为实，随着计算机神经网络模型的不断进化以及计算机运算性能的提升，人眼很难辨别真假。
传统数字取证较难应用于deepfake的检测，目前主流的deepfake检测方式大多依靠训练神经网络检测模型，提取特征，检测人脸是否修改，这本质上是一个二分类问题，但由于deepfake的生成方案多种多样，使用神经网络检测模型很难针对所有生成方法优化，迁移性较差；训练神经网络需要大量的训练样本，针对未知的生成人脸方法识别成功率较低，且缺乏可解释性。
现有技术中，主要存在以下几种方式：
(1)基于卷积神经网络判断人脸是否伪造
尼科洛·博内蒂尼等人提出基于卷积神经网络的检测方法，在基础的EfficientNetB4网络中引入两个概念即注意力机制以及孪生网络训练，对有和无注意力机制的EfficientNetB4的网络模型，执行端到端训练以及孪生网络训练产生四种网络：EfficientNetB4：基础骨架网络，EfficientNetB4Att：加入注意力机制，并使用端到端进行训练，EfficientNetB4ST：基础骨架网络使用孪生网络的方法进行训练EfficientNetB4AttST：加入注意力机制，并使用孪生网络的方法进行训练，相比于传统的XceptionNet网络模型检测，有着更好的检测效果，且在论文中提出，在FF++和DFDC伪造数据集中均表现出较高的检测能力，且在实验中对四种模型的相关性进行校验，发现四种模型基本不存在相关性因此可以将四种结合以提升最终的检测成功率。
这个方式的缺点为：对未知的人脸检测算法的检测成功率差，难以检测所有的人脸篡改算法，且检测结果解释性不足。
(2)基于脆弱水印的篡改检测
传统的水印防篡改方案主要是利用脆弱水印的脆弱性，即对图形的变换和修改有很强的敏感性，这使得对嵌入脆弱水印的图片中的修改可以显示在水印上，以此定位图像修改的区域，典型的代表是LSB(最低有效位)算法，对于彩色图片(RGB方式)RGB三色各八位，八位中的最低位对人视觉影响最小，人眼很难看出这个位面与原图的相关性，利用低位对图形显示影响最小这一特性将水印嵌入这一位面，以减少对原图的影响。将全零的脆弱水印以最低位的形式嵌入原图，在恶意对原图的人脸区域篡改后最低位面也会受影响，通过提取最低位面水印，水印中1区域是被篡改过的，从而达到完整性检测的目的。
这个方式的缺点为：在有噪声的时候或者是图像经过压缩处理后最低位面的水印影响较大，此时无法检测人脸区域是否被篡改。
(3)特征脸水印：
陈建雄与张龙文提出人脸特征数字水印系统，该系统主要包括三部分，嵌入、提取和验证部分。首先处理所有者的图像，计算其特征值(投影在人脸空间的权重分布)并将其转换为条形码水印，在嵌入时，只将部分特征值转化为水印。使用这些特征值作为“人脸关键点”，然后将其嵌入到目标图像中。在验证过程中，使用所有者的人脸图像并计算其特征值，将这些特征值与从提取过程中提取的值进行比较。如果特征值相同或相似性超过某个阈值，则将图像所有者视为合法用户；如果要素值不同，则所有者是非法用户。
这个方式的缺点为：条形码容量有限，只能包含少数人的人脸特征，对于低质量，多人脸的图片难以将所有人的人脸特征都嵌入水印中，且在添加和验证的过程中需要人脸特征空间做支撑，增加了算法的复杂性。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供一种人脸防篡改水印生成方法、篡改检测方法、属性检测方法及设备。
为了实现上述目的，本发明所采用的技术方案是：
本发明第一方面提供一种人脸防篡改水印生成方法，包括以下步骤：
步骤1，读取原始图片，检测所述原始图片中的人脸位置信息；其中，所述原始图片包括N个人脸信息；
步骤2，根据所述人脸位置信息对所述原始图片进行截取，生成N个目标图片；其中，每个目标图片中包含一个人脸信息；
步骤3，分别对所述目标图片进行人脸特征识别，获得N个人脸特征向量；其中，所述人脸特征向量与所述目标图片一一对应；
步骤4，识别所述原始图片的像素信息，并判断所述原始图片的像素信息是否低于像素阈值；
若是，则执行并行压缩加密策略：
基于步骤3获得的N个人脸特征向量生成融合人脸特征向量，对所述融合人脸特征向量中的每个元素先放缩，再根据密码本E进行映射，获得并行字符特征向量；
若否，则执行串行压缩加密策略：
基于步骤3获得的N个人脸特征向量，获得第一人脸特征矩阵；将所述第一人脸特征矩阵中的每个元素放缩到预设区间内，得到第二人脸特征矩阵；将所述第二人脸特征矩阵的每个元素四舍五入到整数，得到第三人脸特征矩阵；根据预先配置的密码本E将所述第三人脸特征矩阵中的每个元素映射为密码字符，得到串行字符特征向量；
步骤5，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W。
本发明第二方面提供一种人脸篡改检测方法，其包括以下步骤：
步骤a，获取待验证图片，所述待验证图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过上述人脸防篡改水印生成方法获得；
步骤b，检测所述待验证图片中的待验证人脸位置信息，根据所述待验证人脸位置信息对所述待验证图片进行截取，生成M个待验证目标图片；
对所述待验证目标图片进行人脸特征识别，获得M个待验证人脸特征向量Ⅰ；
步骤c，提取所述待验证图片中的人脸防篡改水印图像，生成基准字符特征向量；
根据预先配置的密码本E对所述基准字符特征向量中的每个元素进行转换，获得基准人脸特征矩阵；其中，所述基准人脸特征矩阵包含M0个基准人脸特征向量Ⅰ；
步骤d，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0不相等时，执行步骤e中的第一篡改检测策略；
否则，执行步骤f中的第二篡改检测策略；
步骤e，基于步骤b获得的M个待验证人脸特征向量Ⅰ，生成待验证融合人脸特征向量；
计算所述待验证融合人脸特征向量与所述基准人脸特征矩阵之间的相似度Ⅰ，判断所述相似度Ⅰ是否大于阈值Ⅰ；
若是，则判定所述待验证图片中的人脸信息未被篡改；否则，判定所述待验证图片中的人脸信息已被篡改；
步骤f，将步骤b获得的M个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中的M0个基准人脸特征向量Ⅰ一一进行比较，分别计算第i个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中第i个基准人脸特征向量Ⅰ之间的相似度Ⅱ；
判断所述相似度Ⅱ是否大于阈值Ⅱ；
若是，则判定所述待验证图片中的第i个人脸信息未被篡改；否则，判断所述待验证图片中的第i个人脸信息已被篡改。
本发明第三方面提供一种人脸属性检测方法，其包括以下步骤：
读取待属性检测图片，所述待属性检测图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过上述人脸防篡改水印生成方法获得；
提取所述待属性检测图片中的人脸防篡改水印图像，生成用于属性检测的基准字符特征向量；
根据预先配置的密码本E对所述用于属性检测的基准字符特征向量中的每个元素进行转换，获得用于属性检测的基准人脸特征矩阵；其中，所述用于属性检测的基准人脸特征矩阵包含M1个待测人脸特征向量；
判断所述用于属性检测的基准人脸特征矩阵中的人脸特征向量是否为融合人脸特征向量；
若否，则获取验证人的人脸特征向量，分别计算验证人的人脸特征向量与所述用于属性检测的基准人脸特征矩阵中每个人脸特征向量之间的相似度Ⅲ；
若M1个相似度Ⅲ中存在大于阈值Ⅲ的相似度Ⅲ，则判定所述待属性检测图片中的人脸信息包含验证人的人脸信息；否则，判断所述待属性检测图片中的人脸信息不包含验证人的人脸信息。
本发明第四方面提供一种人脸防篡改水印生成设备，其包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸防篡改水印生成程序，所述人脸防篡改水印生成程序被处理器执行时，实现如上述的人脸防篡改水印生成方法的步骤。
本发明第五方面提供一种人脸篡改检测设备，其包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸篡改检测程序，所述人脸篡改检测程序被处理器执行时，实现如上述的人脸篡改检测方法的步骤。
本发明第六方面提供一种人脸属性检测设备，其包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸属性检测程序，所述人脸属性检测程序被处理器执行时，实现如上述的人脸属性检测方法的步骤。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：
1)本发明通过对高质量图片进行串行压缩加密，对低质量图片进行并行压缩加密，生成人脸防篡改水印，有效解决现有技术中直接将浮点类型或者包含多张人脸信息的人脸特征向量嵌入原图，而引起的无法对低像素容量的图片嵌入水印进行防篡改处理的技术问题；
不但能够快速生成自动适应不同像素容量原始图片的人脸防篡改水印，还能够提高人脸防篡改水印的保密性；
2)本发明能够防止原始图片被不法分子换脸或者用做证据的照片被换脸，并保证图像中人脸的真实性；
3)由于所述并行字符特征向量或者所述串行字符特征向量，并非原始人脸特征向量，而是经过压缩映射等处理后得到字符特征向量；因此，即使人脸识别模型被盗取，也不会出现安全问题；
4)本发明通过先将人脸防篡改水印嵌入原始图片，再对图片进行待篡改检测，解决了迁移性和需要大量训练样本的问题，对deepfake造假图片有较好的检测效果；
5)本发明还能够进行篡改后的人脸属性检测，根据图片中人脸防篡改水印图像中获得的串行人脸特征向量与验证人的人脸特征向量之间的相似度，识别图片中人脸防篡改水印中是否包含验证人，达到溯源的功能。
附图说明
图1是本发明的人脸防篡改水印生成方法的流程图；
图2是本发明的并行压缩加密策略的流程图；
图3是本发明的串行压缩加密策略的流程图；
图4是本发明的人脸防篡改水印生成方法的示意框图；
图5是本发明的人脸篡改检测方法的流程图；
图6是本发明的人脸篡改检测方法的示意框图；
图7(a)是嵌入人脸防篡改水印的图片(3张人脸-未被篡改)的人脸篡改检测结果示意图；
图7(b)是嵌入人脸防篡改水印的图片(部分人脸信息被篡改)的人脸篡改检测结果示意图；
图7(c)是嵌入人脸防篡改水印的图片(所有人脸信息被篡改)的人脸篡改检测结果示意图；
图8(a)是嵌入人脸防篡改水印的图片(多张人脸-未被篡改)的人脸篡改检测结果示意图；
图8(b)是嵌入人脸防篡改水印的图片(多张人脸-部分人脸信息被篡改)的人脸篡改检测结果示意图；
图9是本发明的人脸属性检测方法的流程图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
附图1和4示出了一种人脸防篡改水印生成方法的流程图，所述人脸防篡改水印生成方法包括以下步骤：
步骤1，读取原始图片，检测所述原始图片中的人脸位置信息；其中，所述原始图片包括N个人脸信息；
步骤2，根据所述人脸位置信息对所述原始图片进行截取，生成N个目标图片；其中，每个目标图片中包含一个人脸信息；
步骤3，分别对所述目标图片进行人脸特征识别，获得N个人脸特征向量；其中，所述人脸特征向量与所述目标图片一一对应；
步骤4，识别所述原始图片的像素信息，并判断所述原始图片的像素信息是否低于像素阈值；
若是，则执行并行压缩加密策略：
基于步骤3获得的N个人脸特征向量生成融合人脸特征向量，对所述融合人脸特征向量中的每个元素先放缩，再根据密码本E进行映射，获得并行字符特征向量；
若否，则执行串行压缩加密策略：
基于步骤3获得的N个人脸特征向量，获得第一人脸特征矩阵；将所述第一人脸特征矩阵中的每个元素放缩到预设区间内，得到第二人脸特征矩阵；将所述第二人脸特征矩阵的每个元素四舍五入到整数，得到第三人脸特征矩阵；根据预先配置的密码本E将所述第三人脸特征矩阵中的每个元素映射为对应的密码字符，得到串行字符特征向量；
步骤5，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W。
可以理解，本发明预先配置人脸检测模型和人脸识别模型，所述人脸检测模型使用MTCNN神经网络模型对输入的原始图片进行人脸检测，输出人脸在原图中的位置信息，本实施例在此不再赘述；
所述人脸识别模型采用FaceNet人脸识别模型，对输入的目标图片进行人脸识别，FaceNet人脸识别模型采用基于深度神经网络的图像映射方法和基于triplets(三联子)的loss函数训练神经网络，网络直接输出为128维度的向量，作为步骤3中的人脸特征向量，本实施例在此不再赘述。
其中，128维度的向量，例如，[-0.07750831 -0.0150576 0.05295586 -0.03466711 0.02465509 -0.11178084 -0.10790084 -0.0532053 -0.103548190.15749279 0.07807431 0.056935 0.03710968 0.12376872 -0.07745317 -0.037168960.09196758 0.17995916 0.07682198 0.04627899 -0.13705036 0.14264387 -0.04275021 0.12449661 -0.0610338 0.04218197 0.05325025 -0.03955739 -0.02045967 0.03975614 0.00067476 0.16263473 -0.07274077 -0.16802947 -0.04863096 0.00188566 0.11308694 0.12474953 0.02204094 0.00640719 -0.136907310.18996014 0.06154173 -0.09943704 -0.04665557 -0.18751952 -0.197578070.03923335 -0.08955377 -0.04372926 -0.01842725 0.03125532 -0.01064515 -0.12405327 0.05498291 -0.11921948 0.12711188 0.01997275 -0.01512798 -0.07829168 0.08135647 0.00569785 -0.05779803 -0.03199051 0.062709670.01859324 0.05087179 0.05960944 0.02545882 0.06413975 0.04020439 -0.03278802-0.02990853 0.04645847 0.13655628 0.18266839 -0.02846292 0.054752510.04533894 0.01903268 -0.0851917 0.01993253 -0.01085687 0.00871078 -0.02960305 0.09844016 0.09867472 -0.07288828 -0.10768563 -0.00297226 -0.14679062 0.08203513 -0.06528867 0.10451604 0.05131585 0.01191816 -0.00497924 -0.04036712 -0.08660652 -0.01649494 -0.01914931 0.04032147 -0.01625575 0.01845313 0.03819699 -0.11748077 0.02057035 0.22231309 -0.05096124 -0.07272054 0.02711353 -0.0411524 -0.0724658 -0.10275576 -0.07740942 0.02211048 0.03413501 0.09003871 -0.14253561 -0.2329987 0.027745250.04709107 -0.11858869 0.1255666 0.08390044 0.20644455 -0.101055580.06048404]。
具体的，所述步骤3中的人脸特征向量包括128个元素，每个元素为浮点数类型，每个元素的数值范围为(-1,1)；所述并行字符特征向量或者所述串行字符特征向量指的是向量中存放的是字符：元素为密码本E中的密码字符。
需要说明的是，所述人脸识别模型直接输出的人脸特征向量为浮点类型，如果直接作为嵌入原图的人脸特征，则对原图的像素容量要求较高，也就很难对低质量图像嵌入水印；另外，需要保护的图像可能含有多张人脸，这些因素都对添加水印的图像的像素容量有着较高的要求。为解决上述问题，本发明提出两种人脸信息压缩加密策略：并行压缩加密策略以及串行压缩加密策略；其中，串行压缩加密策略适用于高质量图像，并行压缩加密策略适用于低质量图片，最终都生成字符特征向量。
如附图2所示，所述步骤4中，执行并行压缩加密策略时，具体包括以下步骤：
配置第i个人脸特征向量为Xi，基于人脸特征向量X0至XN-1(N个人脸特征向量)生成融合人脸特征向量F；
其中，Xi＝(xi,0,xi,1,xi,2,xi,3,…,xi,127)，元素xi,k为第i个人脸特征向量Xi的第k位，0≤i≤N-1,0≤k≤127；F＝(f0,f1,f2,f3,…,f127)，所述融合人脸特征向量F中的第k个元素fk计算公式为：
Figure BDA0003650382250000081
0≤k≤127，％表示取模运算符；
读取预设区间，将所述融合人脸特征向量F中的每个融合元素放缩到所述预设区间内，得到目标融合人脸特征向量Z；
其中，Z＝(z0,z1,z2,z3,…,z127)，所述目标融合人脸特征向量Z中的第k个元素zk计算公式为：
Figure BDA0003650382250000082
将所述目标融合人脸特征向量Z中每个元素四舍五入到整数后的值作为字符序号；
读取预设的密码本E，根据计算出的字符序号将所述目标融合人脸特征向量Z中每个元素映射为对应的密码字符，生成并行字符特征向量。
需要说明的是，所述步骤4中执行并行压缩加密策略时，基于所述密码本E采用以下公式生成并行字符特征向量YP：
Figure BDA0003650382250000083
其中，所述并行字符特征向量YP包括1×128个元素，YPk表示并行字符特征向量YP的第k个元素，xi,k表示第i个人脸特征向量的第k位，
Figure BDA0003650382250000084
表示向下取整符号，E表示预设的密码本；
i表示从原始图片中获得的人脸特征向量序号，为0至N-1之间的整数，k表示向量中元素位数，为0至127之间的自然数。
可以理解，将所述融合人脸特征向量F中的每个融合元素放缩到所述预设区间内时，获得的人脸特征向量中每个元素的取值范围为(-1,1)，加1后变成(0,2),然后累加后模2范围还在(0,2)，除2范围变为(0,1)乘94变为0-94，最后加上1/2向下取整，相当于四舍五入到整数。
如附图3所示，所述步骤4中，执行串行压缩加密策略时，具体包括以下步骤：
配置第i个人脸特征向量为Xi，其中，Xi＝(xi,0,xi,1,xi,2,xi,3,…,xi,127)，元素xi,k为第i个人脸特征向量Xi的第k位，0≤i≤N-1,0≤k≤127；
以所述原始图片的左下角为原点，按照所述目标图片中的人脸位置与原点之间的距离，从近到远对N个人脸特征向量进行排序，基于排序后的人脸特征向量获得第一人脸特征矩阵A；其中，所述第一人脸特征矩阵A包括N×128个元素，第i行为排序后的第i个人脸特征向量；
读取预设区间，将所述第一人脸特征矩阵A中的每个元素放缩到预设区间内，获得第二人脸特征矩阵B；其中，所述第二人脸特征矩阵B包括N×128个元素，所述第二人脸特征矩阵B中的第m行第n列的元素的计算公式为：
Figure BDA0003650382250000091
Am,n表示所述第一人脸特征矩阵A中第m行第n列的元素；
将所述第二人脸特征矩阵B中的每个元素向下取整后，获得第三人脸特征矩阵C；其中，所述第三人脸特征矩阵C包括N×128个元素，所述第二人脸特征矩阵C中的第m行第n列的元素的计算公式为：
Figure BDA0003650382250000092
Figure BDA0003650382250000093
表示向下取整符号；
读取预先配置的密码本E，将所述第三人脸特征矩阵C中的每个元素作为字符序号，基于所述字符序号查找对应的密码字符，将所述第三人脸特征矩阵C中对应元素映射为密码字符，得到串行字符特征向量。
需要说明的是，所述步骤4中执行串行压缩加密策略时，基于所述密码本E，采用以下公式生成串行字符特征向量：
Figure BDA0003650382250000094
其中，所述串行字符特征向量YS包括N×128个元素，YSm,n表示串行字符特征向量YS的第m行第n列的元素，Am,n表示所述第一人脸特征矩阵A中第m行第n列的元素。
可以理解，按顺序将所述第一人脸特征矩阵中的每个元素放缩到预设区间内时，所述第一人脸特征矩阵中的每个元素的取值范围为(-1,1)，加1后变成(0,2)，除2范围变为(0,1)乘94变为0-94，最后加上1/2，将所述第二人脸特征矩阵B中的每个元素向下取整，相当于四舍五入到整数。
具体的，所述预设区间的取值范围为0-94，所述字符序号为0至94之间的自然数。
需要说明的是，所述并行压缩加密策略以及所述串行压缩加密策略中使用到的密码本相同；具体的，所述密码本E包括提前设定好的95个可见字符。
进一步的，所述人脸防篡改水印图像W为人脸特征二维码；
所述步骤5中，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W时，执行：
固定二维码的版本号、边缘距离等参数，根据所述并行字符特征向量或者所述串行字符特征向量(压缩后的字符向量)，采用python第三方库qrcode生成人脸特征二维码；
其中，第三方库qrcode的配置参数如下qr＝qrcode.QRCode(
version＝1(二维码版本),
error_correction＝qrcode.constants.ERROR_CORRECT_L,(二维码纠正程度)
box_size＝1(二维码边框所占像素点),
border＝1(二维码中每一块的像素低)
))。
需要说明的是，通过对高质量图片进行串行压缩加密，对低质量图片进行并行压缩加密，不但能够快速生成自动适应不同像素容量原始图片的人脸防篡改水印，还能够提高人脸防篡改水印的保密性，即使人脸识别模型和和盲水印算法随机种子被盗取，由于串行压缩加密策略和并行压缩加密策略的具体算法依旧保密，其他人员也无法伪造甚至替换原有的人脸防篡改水印，更无法解密盲水印获取水印中的人脸信息，能够大大降低安全风险。
实施例2
在实施例1的基础上，本实施例给出了一种生成带人脸防篡改水印的图片的具体实施方式；
具体的，将提取到嵌入原图的人脸防篡改水印图像的过程如下：对嵌入水印的图像做DWT变换，得到的低频子带LL分割为4×4大小的子块，对每一个子块做DCT变换得到对应子块的DCT矩阵，提取每一个系数矩阵的直流分量构造新的矩阵B*，对矩阵B*进行SVD分解并最终计算得到人脸防篡改水印图像W*。
可以理解，在获得人脸特征二维码后，使用DCT(Discrete Cosine Transform，离散余弦变换)和DWT(Discrete Wavelet Transformation，离散小波变换)相结合的方法，选择确定值作为随机种子(例如，1234这种随机数)，将生成的人脸防篡改水印图像W(人脸特征二维码)作为盲水印嵌入到原始图片中，生成防篡改图片，对常规的图像处理和噪声干扰具有明显改善的鲁棒性，SVD旋转不变性使得含水印的图像遭受到旋转攻击后依然能够很好的提取水印。
进一步的，将所述人脸防篡改水印图像W嵌入所述原始图片，生成带人脸防篡改水印的图片时，执行：
对所述原始图片做DWT变换，得到四个子带图像：低频子带图像LL、水平方向细节子带图像HL、垂直方向细节子带图像LH以及对角线方向细节子带图像HH；
由于低频子带LL不易受噪声等外界因素干扰，因此将所述低频子带图像LL分割为e个预设尺寸a×a的子块，对每个子块做DCT变换得到每一个子块的DCT矩阵Bc，其中0≤c≤e-1；
将每一个子块的DCT矩阵Bi进行SVD分解，得到Bc＝UcScVc T，其中，Uc和Sc均为一个a×a的矩阵，Vc是一个a×a的矩阵，矩阵Vc除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值；
提取对角矩阵Sc＝diag(σc0,σic1,σic2,σc3…,σc(a-1))，将所述人脸防篡改水印图像W逐行展开为像素向量W＝(w0,w1,w2,…,wg-1)；其中，g表示所述人脸防篡改水印图像W的像素数量，g≤e，w0表示所述人脸防篡改水印图像W的第一行第一个像素值(左上角)，依次类推，wg-1表示所述人脸防篡改水印图像W的最后一行的最后一个像素值(右下角)；
根据所述人脸防篡改水印图像W的像素向量W的第c％g位和对角矩阵Sc的第一个元素σc0，得到σ′c0，计算公式如下：
Figure BDA0003650382250000111
B'i＝UiS'iVi T得到嵌入水印的DCT矩阵B'i；
利用得到σ′c0替换对角矩阵Sc的第一个元素σc0，新的对角矩阵S'c＝diag(σ'c0,σc1,σc2,σc3,…,σc(a-1))；
基于新的对角矩阵S'c、矩阵Uc、矩阵Vc得到每一个子块的新DCT矩阵B'c；
对每一个子块的新DCT矩阵B'c进行DCT逆变换，拼接得到新的低频子带图像LL'；
最终对新的低频子带图像LL'、水平方向细节子带图像HL、垂直方向细节子带图像LH以及对角线方向细节子带图像HH进行DWT逆变换，得到含有所述人脸防篡改水印图像W的图像。
为保证算法鲁棒性，所述预设尺寸a×a中的a的最小值设置为4。
在一种具体实施方式中，配置所述人脸检测模型为MTCNN，所述人脸识别模型为FaceNet；所述密码本E由ASCII中95个可见字符打乱其先后顺序组成；所述预设区间为0-94的范围；基于人脸防篡改水印生成方法在输入的原始图片(本发明用到的原始图片是数据集中的图片)中嵌入人脸防篡改水印，得到附图6所示的图片；
以CASIA-FaceV5和IMDB数据集(各一千张图片)为样本对所述人脸防篡改水印生成方法进行验证，检测添加水印对原图中人脸的影响(％)，得到的结果如下表所示：
数据集 向量压缩 盲水印 总共
CASIA-FaceV5 0.26 1.9 2.16
IMDB 0.13 5.99 6.12
由上表可知，说明压缩对人脸特征的精度损失不大，本发明生成的人脸防篡改水印图像W可以嵌入原始图片，有效防止原始图片中的人脸信息被篡改，且不会对原始图片中的人脸产生太大的影响。
需要说明的是，在步骤4中，判断原始图片的像素信息是否低于像素阈值；若是，则执行并行压缩加密策略，获得并行字符特征向量；若否，则执行串行压缩加密策略，得到串行字符特征向量；
为了提高鲁棒性，无论执行并行压缩加密策略，还是执行串行压缩加密策略，均对原始图片的像素信息有一定要求；
具体的，原始图片的像素信息≥344×344，这个指的是像素点数必须大于344×344，并不严格要求长宽都大于344；可以理解，一张人脸串行或者是并行压缩后生成的水印大小是43×43，如下表所示：
人脸水印关系表
Table 1 Relationship between vector and watermarking size
Figure BDA0003650382250000121
为存放人脸防篡改水印中的像素点，并确保后续能够提取出人脸防篡改水印，配置原始图片的像素≥(43*2*4)×(43*2*4)，*2是由于dwt变换带来的影响，*4是由于分块的大小4*4带来的影响。
实施例3
如附图5和6所示，在实施例1和2的基础上，本实施例给出了一种人脸篡改检测方法的具体实施方式；
所述人脸篡改检测方法包括以下步骤：
步骤a，获取待验证图片，所述待验证图片为包含(嵌入)人脸防篡改水印的图片；其中，所述人脸防篡改水印为通过实施例1中的人脸防篡改水印生成方法获得的人脸防篡改水印；
步骤b，检测所述待验证图片中的待验证人脸位置信息，根据所述待验证人脸位置信息对所述待验证图片进行截取，生成M个待验证目标图片；其中，每个待验证目标图片中包含一个人脸信息；
对所述待验证目标图片进行人脸特征识别，获得M个待验证人脸特征向量Ⅰ；其中，所述待验证人脸特征向量Ⅰ与所述待验证目标图片一一对应，待验证人脸特征向量Ⅰ为128维度的向量，包含1×128个元素；
步骤c，提取所述待验证图片中的人脸防篡改水印图像，生成基准字符特征向量；
根据预先配置的密码本E对所述基准字符特征向量中的每个元素进行转换，获得基准人脸特征矩阵；其中，所述基准人脸特征矩阵包含M0个基准人脸特征向量Ⅰ，所述基准字符特征向量包含1×128个元素或者M0×128个元素；
步骤d，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0不相等时，执行步骤e中的第一篡改检测策略；
否则，执行步骤f中的第二篡改检测策略；
步骤e，基于步骤b获得的M个待验证人脸特征向量Ⅰ，生成待验证融合人脸特征向量；
计算所述待验证融合人脸特征向量与所述基准人脸特征矩阵之间的相似度Ⅰ，判断所述相似度Ⅰ是否大于阈值Ⅰ；
若是，则判定所述待验证图片中的人脸信息未被篡改；否则，判定所述待验证图片中的人脸信息已被篡改；
步骤f，将步骤b获得的M个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中的M0个基准人脸特征向量Ⅰ一一进行比较，分别计算第i个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中第i个基准人脸特征向量Ⅰ之间的相似度Ⅱ；
判断所述相似度Ⅱ是否大于阈值Ⅱ；
若是，则判定所述待验证图片中的第i个人脸信息未被篡改；否则，判定所述待验证图片中的第i个人脸信息已被篡改。
需要说明的是，对待验证图片进行检测时，提取嵌入原图的人脸防篡改水印图像的过程为：
(1)对待验证图片(嵌入水印的图像)做DWT变换，得到的低频子带LL*，将低频子带LL*分割为e个预设尺寸a×a(如，4×4大小)的子块，对每一个子块做DCT变换得到对应子块的DCT矩阵B* c，对矩阵B* c进行SVD分解得到对角矩阵S* c＝diag(σ* c0,σ* c1,σ* c2,σ* c3,…,σ* c(a-1))；其中，0≤c≤e-1；
(2)采用以下公式根据第c个对角矩阵S* c的第一元素σ* c0获取得到元素值w* c：
Figure BDA0003650382250000141
其中，b表示常数，是一个预设值，％表示取模操作；
(3)采用以下公式生成矩阵W＂＝(w＂0,w＂1,…,w＂g-1)：
Figure BDA0003650382250000142
其中，w＂β表示向量W＂中的第β个元素，0≤β≤g-1，g＜e；
Figure BDA0003650382250000143
表示第μ个对角矩阵S* μ的第一元素σ* μ0获取得到元素值，0≤μ≤e-1；
(4)根据向量W＂、预设水印图像中每行像素数量等信息，还原得到水印图像。
可以理解，在对待验证图片进行检测时，通过盲水印算法提取到嵌入原图的人脸防篡改水印图像后，使用zxing工具包识别提取到的人脸防篡改水印图像，提取人脸防篡改水印图像中隐含的字符特征向量，将提取出的字符特征向量作为基准字符特征向量。
具体的，所述步骤b，使用MTCNN神经网络模型检测所述待验证图片中的待验证人脸位置信息；利用FaceNet人脸识别模型对所述待验证目标图片进行人脸特征识别，获得M个待验证人脸特征向量Ⅰ，本实施例在此不再赘述。
本实施例在基于所述基准人脸特征矩阵进行篡改检测时，执行两种篡改检测策略：第一篡改检测策略和第二篡改检测策略，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0相等时，执行步骤f中的第二篡改检测策略，不等的话执行e中的第一篡改检测策略；可以理解，所述第一篡改检测策略包含并行压缩加密处理的逆过程，所述第二篡改检测策略为串行压缩加密处理的逆过程。
具体的，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0不相等时，所述基准人脸特征矩阵为融合人脸特征向量，需要将待验证人脸特征向量Ⅰ融合后再与所述基准人脸特征矩阵比较；因此，在步骤e中，若M大于1，在判定所述待验证图片中的人脸信息已被篡改时，无法确定哪一个人脸信息被篡改。
可以理解，步骤f中，按照空间先后顺序将获得的M个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中的人脸特征向量一一进行比较，每个人脸特征向量对应一个相似度Ⅱ，因此，在判定所述待验证图片中的人脸信息已被篡改时，能够确定哪一个人脸信息被篡改，还可获得被篡改人脸信息的位置，并在待验证图片中标记出来。
需要说明的是，在待验证图片中包含的待验证人脸特征向量Ⅰ个数M和人脸防篡改水印图像中包含基准人脸特征向量M0相等且等于1时，执行第二篡改检测策略进行检测；其他情况均视为人脸信息篡改，例如，待验证人脸特征向量Ⅰ的个数M为0且所述基准人脸特征向量Ⅰ的个数M0＝1。
进一步的，所述步骤e中，计算所述待验证融合人脸特征向量与所述基准人脸特征矩阵之间的相似度Ⅰ时，采用以下公式：
Figure BDA0003650382250000151
其中，所述待验证融合人脸特征向量FT包含1×128个元素，所述基准人脸特征矩阵XT包含1×128个元素，0≤p≤127；
Sim_Ⅰ表示相似度Ⅰ，FTp表示所述待验证融合人脸特征向量中的第p个元素，XTp表示所述基准人脸特征矩阵中的第p个元素。
进一步的，所述步骤f中，分别计算第i个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中第i个基准人脸特征向量之间的相似度Ⅱ时，执行：
将所述基准人脸特征矩阵拆分为M0个基准人脸特征向量Ⅰ，将M0个基准人脸特征向量Ⅰ中的每个元素放缩到原始特征向量范围，得到M0个基准人脸特征向量Ⅱ；其中，所述基准人脸特征向量Ⅱ中每个元素的取值范围为(-1,1)；
采用以下公式，依次(按照空间位置顺序从近到远顺序)计算第i个待验证人脸特征向量Ⅰ与第i个基准人脸特征向量Ⅱ之间的相似度Ⅱ：
Figure BDA0003650382250000152
其中，Sim_Ⅱi表示第i个待验证人脸特征向量Ⅰ与第i个基准人脸特征向量Ⅱ之间的相似度Ⅱ，0≤i≤M-1；VTi,q表示第i个待验证人脸特征向量Ⅰ中的第q个元素，STi,q表示第i个基准人脸特征向量Ⅱ中的第q个元素。
具体的，所述阈值Ⅰ的取值范围为0.5至1，所述阈值Ⅱ的取值范围为0.5至1；可根据实际需求进行调整，例如，将所述阈值Ⅰ和所述阈值Ⅱ均设置为0.6，或者将所述阈值Ⅰ和所述阈值Ⅱ均设置为0.7。
在一种具体实施例中，将所述阈值Ⅰ和所述阈值Ⅱ均设置为0.6，以包括3张人脸的原始图片为例，对其嵌入人脸防篡改水印作为待验证图片1，对上述人脸篡改检测方法进行验证；如附图7(a)所示，三张人脸均未被篡改，并在图中示出相似度信息；
接着，人为对待验证图片1中的部分人脸信息进行修改，再次通过上述人脸篡改检测方法进行检测，如附图7(b)所示，上述人脸篡改检测方法能够准确检测出1张人脸信息被替换(相似度小于0.6)；
接着，人为对待验证图片1中的全部人脸信息进行修改，再次通过上述人脸篡改检测方法进行检测，如附图7(c)所示，上述人脸篡改检测方法能够准确检测出三张人脸信息均被替换(相似度小于0.6)。
在另一种具体实施例中，将所述阈值Ⅰ和所述阈值Ⅱ均设置为0.6，以包括10张人脸的原始图片为例，对其嵌入人脸防篡改水印作为待验证图片2，再次对上述人脸篡改检测方法进行验证；如附图8(a)所示，10张人脸均未被篡改，并在图中示出相似度信息；
接着，人为对待验证图片2中的1张人脸信息进行修改，再次通过上述人脸篡改检测方法进行检测，如附图8(b)所示，上述人脸篡改检测方法能够准确检测出1张人脸信息被替换(相似度小于0.6)。
实施例4
如附图9所示，在实施例1和2的基础上，本实施例给出了一种人脸属性检测方法的具体实施方式；
所述人脸属性检测方法包括以下步骤：
读取待属性检测图片，所述待属性检测图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过实施例1中的人脸防篡改水印生成方法获得；
提取所述待属性检测图片中的人脸防篡改水印图像，生成用于属性检测的基准字符特征向量；
根据预先配置的密码本E对所述用于属性检测的基准字符特征向量中的每个元素进行转换，获得用于属性检测的基准人脸特征矩阵；其中，所述用于属性检测的基准人脸特征矩阵包含M1个待测人脸特征向量；
判断所述用于属性检测的基准人脸特征矩阵中的人脸特征向量是否为融合人脸特征向量；
若否，则获取验证人的人脸特征向量，分别计算验证人的人脸特征向量与所述用于属性检测的基准人脸特征矩阵中每个人脸特征向量之间的相似度Ⅲ；
若M1个相似度Ⅲ中存在大于阈值Ⅲ的相似度Ⅲ，则判定所述待属性检测图片中的人脸信息包含验证人的人脸信息，根据对应人脸特征向量的顺序查找到待属性检测图片中的验证人的人脸信息位置，并在待属性检测图片中标记出；否则，判断所述待属性检测图片中的人脸信息不包含验证人的人脸信息。
需要说明的是，在一种具体实施方式中，将原图中的人脸信息压缩加密后以盲水印的形式嵌入原图，对于deepfake或者ps等工具篡改人脸信息的图片，本实施例能够有效验证原照片中的人脸信息是否包含验证人；在另一种具体实施方式中，在用于属性检测的基准人脸特征矩阵中的人脸特征向量不是融合人脸特征向量时，对于遮挡人脸无法观察图像人脸信息的图片的情况下，可根据本实施例中的所述人脸属性检测方法，来判断被遮挡的人脸是否包含验证人。
具体的，提取所述待属性检测图片中的人脸防篡改水印图像的过程以及提取人脸防篡改水印图像中隐含的字符特征向量的过程，参见实施例3，本实施例不再赘述。
具体的，获取验证人的人脸特征向量时，执行：
使用MTCNN神经网络模型检测验证人图片中的人脸位置信息，根据人脸位置信息对所述待篡改验证人检测图片进行截取，生成验证人图片；
利用FaceNet人脸识别模型对所述待测验证人图片进行人脸特征识别，获得验证人的人脸特征向量。
具体的，判断所述用于属性检测的基准人脸特征矩阵中的人脸特征向量是否为融合人脸特征向量时，执行：
若基准人脸特征矩阵中的人脸特征向量个数为1，且待属性检测图片中的人脸个数大于1，则判定所述用于属性检测的基准人脸特征矩阵中的人脸特征向量为融合人脸特征向量。
进一步的，分别计算验证人的人脸特征向量与所述用于属性检测的基准人脸特征矩阵中每个人脸特征向量(待属性检测的人脸特征向量)之间的相似度Ⅲ时，采用的公式为：
Figure BDA0003650382250000171
其中，所述验证人的人脸特征向量VF包含1×128个元素，所述用于属性检测的基准人脸特征矩阵中每个人脸特征向量VX包含1×128个元素；
Sim_Ⅲi表示验证人的人脸特征向量与所述用于属性检测的基准人脸特征矩阵中第i个人脸特征向量之间的相似度Ⅲ，Sim_Ⅲi的数量等于所述用于属性检测的基准人脸特征矩阵中人脸特征向量的个数；
VFj表示所述验证人的人脸特征向量VF中的第j个元素，VXi,j表示所述用于属性检测的基准人脸特征矩阵中第i个人脸特征向量VXi中的第j个元素。
具体的，所述阈值Ⅲ的取值范围为0.5至1；可根据实际需求进行调整，例如，将所述阈值Ⅲ设置为0.6。
实施例5
本实施例给出了一种人脸防篡改水印生成设备的具体实施方式，所述人脸防篡改水印生成设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸防篡改水印生成程序，所述人脸防篡改水印生成程序被处理器执行时，实现如实施例1中的人脸防篡改水印生成方法的步骤。
本实施例还给出了一种人脸篡改检测设备的具体实施方式，所述人脸篡改检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸篡改检测程序，所述人脸篡改检测程序被处理器执行时，实现如实施例3中的人脸篡改检测方法的步骤。
本实施例还给出了一种人脸属性检测设备的具体实施方式，所述人脸属性检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸属性检测程序，所述人脸属性检测程序被处理器执行时，实现实施例4中的人脸属性检测方法的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种人脸防篡改水印生成方法，其特征在于，包括以下步骤：
步骤1，读取原始图片，检测所述原始图片中的人脸位置信息；其中，所述原始图片包括N个人脸信息；
步骤2，根据所述人脸位置信息对所述原始图片进行截取，生成N个目标图片；其中，每个目标图片中包含一个人脸信息；
步骤3，分别对所述目标图片进行人脸特征识别，获得N个人脸特征向量；其中，所述人脸特征向量与所述目标图片一一对应；
步骤4，识别所述原始图片的像素信息，并判断所述原始图片的像素信息是否低于像素阈值；
若是，则执行并行压缩加密策略：
基于步骤3获得的N个人脸特征向量生成融合人脸特征向量，对所述融合人脸特征向量中的每个元素先放缩，再根据密码本E进行映射，获得并行字符特征向量；
若否，则执行串行压缩加密策略：
基于步骤3获得的N个人脸特征向量，获得第一人脸特征矩阵；将所述第一人脸特征矩阵中的每个元素放缩到预设区间内，得到第二人脸特征矩阵；将所述第二人脸特征矩阵的每个元素四舍五入到整数，得到第三人脸特征矩阵；根据预先配置的密码本E将所述第三人脸特征矩阵中的每个元素映射为密码字符，得到串行字符特征向量；
步骤5，根据所述并行字符特征向量或者所述串行字符特征向量，生成人脸防篡改水印图像W。
2.根据权利要求1所述的人脸防篡改水印生成方法，其特征在于：所述步骤4中，执行并行压缩加密策略时，具体包括以下步骤：
配置第i个人脸特征向量为Xi，基于人脸特征向量X0至XN-1生成融合人脸特征向量F；
其中，Xi＝(xi,0,xi,1,xi,2,xi,3,…,xi,127)，0≤i≤N-1；F＝(f0,f1,f2,f3,…,f127)，所述融合人脸特征向量F中的第k个元素fk计算公式为：
Figure FDA0003650382240000011
读取预设区间，将所述融合人脸特征向量F中的每个融合元素放缩到所述预设区间内，得到目标融合人脸特征向量Z；
其中，Z＝(z0,z1,z2,z3,…,z127)，所述目标融合人脸特征向量Z中的第k个元素zk计算公式为：
Figure FDA0003650382240000012
将所述目标融合人脸特征向量Z中每个元素四舍五入到整数后的值作为字符序号；
读取预设的密码本E，根据计算出的字符序号将所述目标融合人脸特征向量Z中每个元素映射为对应的密码字符，生成并行字符特征向量。
3.根据权利要求1所述的人脸防篡改水印生成方法，其特征在于：所述步骤4中，执行串行压缩加密策略时，具体包括以下步骤：
配置第i个人脸特征向量为Xi，其中，Xi＝(xi,0,xi,1,xi,2,xi,3,…,xi,127)，0≤i≤N-1；
以所述原始图片的左下角为原点，按照所述目标图片中的人脸位置与原点之间的距离，从近到远对N个人脸特征向量进行排序，基于排序后的人脸特征向量获得第一人脸特征矩阵A；其中，所述第一人脸特征矩阵A包括N×128个元素；
读取预设区间，将所述第一人脸特征矩阵A中的每个元素放缩到预设区间内，获得第二人脸特征矩阵B；其中，所述第二人脸特征矩阵B包括N×128个元素，所述第二人脸特征矩阵B中的第m行第n列的元素的计算公式为：
Figure FDA0003650382240000021
Am,n表示所述第一人脸特征矩阵A中第m行第n列的元素；
将所述第二人脸特征矩阵B中的每个元素向下取整后，获得第三人脸特征矩阵C；其中，所述第三人脸特征矩阵C包括N×128个元素；
读取预先配置的密码本E，将所述第三人脸特征矩阵C中的每个元素作为字符序号，将对应元素映射为密码字符，得到串行字符特征向量。
4.一种人脸篡改检测方法，其特征在于：包括以下步骤：
步骤a，获取待验证图片，所述待验证图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过权利要求1至3任一项所述人脸防篡改水印生成方法获得；
步骤b，检测所述待验证图片中的待验证人脸位置信息，根据所述待验证人脸位置信息对所述待验证图片进行截取，生成M个待验证目标图片；
对所述待验证目标图片进行人脸特征识别，获得M个待验证人脸特征向量Ⅰ；
步骤c，提取所述待验证图片中的人脸防篡改水印图像，生成基准字符特征向量；
根据预先配置的密码本E对所述基准字符特征向量中的每个元素进行转换，获得基准人脸特征矩阵；其中，所述基准人脸特征矩阵包含M0个基准人脸特征向量Ⅰ；
步骤d，在所述待验证人脸特征向量Ⅰ的个数M与所述基准人脸特征向量Ⅰ的个数M0不相等时，执行步骤e中的第一篡改检测策略；
否则，执行步骤f中的第二篡改检测策略；
步骤e，基于步骤b获得的M个待验证人脸特征向量Ⅰ，生成待验证融合人脸特征向量；
计算所述待验证融合人脸特征向量与所述基准人脸特征矩阵之间的相似度Ⅰ，判断所述相似度Ⅰ是否大于阈值Ⅰ；
若是，则判定所述待验证图片中的人脸信息未被篡改；否则，判定所述待验证图片中的人脸信息已被篡改；
步骤f，将步骤b获得的M个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中的M0个基准人脸特征向量Ⅰ一一进行比较，分别计算第i个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中第i个基准人脸特征向量Ⅰ之间的相似度Ⅱ；
判断所述相似度Ⅱ是否大于阈值Ⅱ；
若是，则判定所述待验证图片中的第i个人脸信息未被篡改；否则，判定所述待验证图片中的第i个人脸信息已被篡改。
5.根据权利要求4所述的人脸篡改检测方法，其特征在于，所述步骤e中，计算所述待验证融合人脸特征向量与所述基准人脸特征矩阵之间的相似度Ⅰ时，采用以下公式：
Figure FDA0003650382240000031
其中，所述待验证融合人脸特征向量FT包含1×128个元素，所述基准人脸特征矩阵XT包含1×128个元素；
Sim_Ⅰ表示相似度Ⅰ，FTp表示所述待验证融合人脸特征向量中的第p个元素，XTp表示所述基准人脸特征矩阵中的第p个元素。
6.根据权利要求4所述的人脸篡改检测方法，其特征在于：所述步骤f中，分别计算第i个待验证人脸特征向量Ⅰ与所述基准人脸特征矩阵中第i个基准人脸特征向量之间的相似度Ⅱ时，执行：
将所述基准人脸特征矩阵拆分为M0个基准人脸特征向量Ⅰ，将M0个基准人脸特征向量Ⅰ中的每个元素放缩到原始特征向量范围，得到M0个基准人脸特征向量Ⅱ；其中，所述基准人脸特征向量Ⅱ中每个元素的取值范围为(-1,1)；
采用以下公式，依次计算第i个待验证人脸特征向量Ⅰ与第i个基准人脸特征向量Ⅱ之间的相似度Ⅱ：
Figure FDA0003650382240000032
其中，Sim_Ⅱi表示第i个待验证人脸特征向量Ⅰ与第i个基准人脸特征向量Ⅱ之间的相似度Ⅱ，0≤i≤M-1；VTi,q表示第i个待验证人脸特征向量Ⅰ中的第q个元素，STi,q表示第i个基准人脸特征向量Ⅱ中的第q个元素。
7.一种人脸属性检测方法，其特征在于，包括以下步骤：
读取待属性检测图片，所述待属性检测图片为包含人脸防篡改水印的图片，该人脸防篡改水印通过权利要求1至3任一项所述人脸防篡改水印生成方法获得；
提取所述待属性检测图片中的人脸防篡改水印图像，生成用于属性检测的基准字符特征向量；
根据预先配置的密码本E对所述用于属性检测的基准字符特征向量中的每个元素进行转换，获得用于属性检测的基准人脸特征矩阵；其中，所述用于属性检测的基准人脸特征矩阵包含M1个待测人脸特征向量；
判断所述用于属性检测的基准人脸特征矩阵中的人脸特征向量是否为融合人脸特征向量；
若否，则获取验证人的人脸特征向量，分别计算验证人的人脸特征向量与所述用于属性检测的基准人脸特征矩阵中每个人脸特征向量之间的相似度Ⅲ；
若M1个相似度Ⅲ中存在大于阈值Ⅲ的相似度Ⅲ，则判定所述待属性检测图片中的人脸信息包含验证人的人脸信息；否则，判断所述待属性检测图片中的人脸信息不包含验证人的人脸信息。
8.一种人脸防篡改水印生成设备，其特征在于：包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸防篡改水印生成程序，所述人脸防篡改水印生成程序被处理器执行时，实现如权利要求1至3任一项所述的人脸防篡改水印生成方法的步骤。
9.一种人脸篡改检测设备，其特征在于：包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸篡改检测程序，所述人脸篡改检测程序被处理器执行时，实现如权利要求4至6任一项所述的人脸篡改检测方法的步骤。
10.一种人脸属性检测设备，其特征在于：包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的人脸属性检测程序，所述人脸属性检测程序被处理器执行时，实现如权利要求7所述的人脸属性检测方法的步骤。
CN202210551930.0A 2022-05-18 2022-05-18 人脸防篡改水印生成方法、篡改检测方法及属性检测方法 Active CN114998080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551930.0A CN114998080B (zh) 2022-05-18 2022-05-18 人脸防篡改水印生成方法、篡改检测方法及属性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551930.0A CN114998080B (zh) 2022-05-18 2022-05-18 人脸防篡改水印生成方法、篡改检测方法及属性检测方法

Publications (2)

Publication Number Publication Date
CN114998080A true CN114998080A (zh) 2022-09-02
CN114998080B CN114998080B (zh) 2024-04-12

Family

ID=83027973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551930.0A Active CN114998080B (zh) 2022-05-18 2022-05-18 人脸防篡改水印生成方法、篡改检测方法及属性检测方法

Country Status (1)

Country Link
CN (1) CN114998080B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383793A (zh) * 2023-04-23 2023-07-04 上海万雍科技股份有限公司 人脸数据处理方法、装置、电子设备和计算机可读介质
CN116957893A (zh) * 2023-06-26 2023-10-27 海易科技(北京)有限公司 水印生成方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
UY26500A1 (es) * 2000-12-22 2001-01-31 Carlos Manuel Lopez Vazquez Método para insertar datos ocultos en archivos digitales con poligonales y procedimientos de detección
WO2010046104A2 (en) * 2008-10-23 2010-04-29 University Of Ulster An encryption method
WO2011050390A1 (en) * 2009-10-29 2011-05-05 Oscar Moreno De Ayala Digital watermarking
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
UY26500A1 (es) * 2000-12-22 2001-01-31 Carlos Manuel Lopez Vazquez Método para insertar datos ocultos en archivos digitales con poligonales y procedimientos de detección
WO2010046104A2 (en) * 2008-10-23 2010-04-29 University Of Ulster An encryption method
WO2011050390A1 (en) * 2009-10-29 2011-05-05 Oscar Moreno De Ayala Digital watermarking
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘东彦;刘文波;张弓;: "图像内容可恢复的半脆弱水印技术研究", 中国图象图形学报, no. 01, 15 January 2010 (2010-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383793A (zh) * 2023-04-23 2023-07-04 上海万雍科技股份有限公司 人脸数据处理方法、装置、电子设备和计算机可读介质
CN116383793B (zh) * 2023-04-23 2023-09-19 上海万雍科技股份有限公司 人脸数据处理方法、装置、电子设备和计算机可读介质
CN116957893A (zh) * 2023-06-26 2023-10-27 海易科技(北京)有限公司 水印生成方法、装置、电子设备和计算机可读介质
CN116957893B (zh) * 2023-06-26 2024-04-16 海易科技(北京)有限公司 水印生成方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN114998080B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN110084733B (zh) 文本图像水印的嵌入方法及系统、提取方法及系统
Mahmood et al. Copy‐move forgery detection technique for forensic analysis in digital images
Cheema et al. A novel optimized semi-blind scheme for color image watermarking
Rani et al. A zero-watermarking scheme using discrete wavelet transform
CN107240061B (zh) 一种基于动态bp神经网络的水印嵌入、提取方法与装置
CN114998080B (zh) 人脸防篡改水印生成方法、篡改检测方法及属性检测方法
Hadmi et al. Perceptual image hashing
Hsu et al. Enhancing the robustness of image watermarking against cropping attacks with dual watermarks
US7587063B2 (en) Asymmetric subspace watermarking
Tang et al. Structural feature-based image hashing and similarity metric for tampering detection
Liu et al. Robust blind image watermarking based on chaotic mixtures
Haghighi et al. WSMN: An optimized multipurpose blind watermarking in Shearlet domain using MLP and NSGA-II
CN113222802A (zh) 基于对抗攻击的数字图像水印方法
CN111882477A (zh) 一种结合视觉密码和增强奇异值分解的自适应零水印方法
Hadmi et al. A robust and secure perceptual hashing system based on a quantization step analysis
Su Color image watermarking: algorithms and technologies
Ouyang et al. A semi-fragile watermarking tamper localization method based on QDFT and multi-view fusion
AlShehri et al. Fragile watermarking for image authentication using BRINT and ELM
Karthik et al. Transparent hashing in the encrypted domain for privacy preserving image retrieval
CN114078071A (zh) 图像溯源方法、装置及介质
CN115689852A (zh) 数字水印方法及相关装置
Jabbar et al. Digital watermarking by utilizing the properties of self-organization map based on least significant bit and most significant bit
Mathivadhani et al. Digital watermarking and information hiding using wavelets, SLSB and Visual cryptography method
CN113643174A (zh) 一种基于卷积神经网络的数字图像版权保护方法
Bhatnagar et al. Biometric template security based on watermarking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant