CN111754396A - 脸部图像处理方法、装置、计算机设备和存储介质 - Google Patents

脸部图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111754396A
CN111754396A CN202010730209.9A CN202010730209A CN111754396A CN 111754396 A CN111754396 A CN 111754396A CN 202010730209 A CN202010730209 A CN 202010730209A CN 111754396 A CN111754396 A CN 111754396A
Authority
CN
China
Prior art keywords
face image
face
target
image
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010730209.9A
Other languages
English (en)
Other versions
CN111754396B (zh
Inventor
张勇
罗宇辰
严骏驰
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010730209.9A priority Critical patent/CN111754396B/zh
Publication of CN111754396A publication Critical patent/CN111754396A/zh
Priority to PCT/CN2021/100912 priority patent/WO2022022154A1/zh
Priority to US17/989,169 priority patent/US20230085605A1/en
Application granted granted Critical
Publication of CN111754396B publication Critical patent/CN111754396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种脸部图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。采用本方法能够生成多样性的目标脸部图像。

Description

脸部图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种脸部图像处理方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，出现了换脸技术，即将人脸图像中的人脸替换成另一个人脸，得到假脸图像。越来越多的应用场景需要使用假脸图像，比如，人脸识别场景中对假脸图像的识别，使用假脸图像生成搞笑视频等等。然而，目前的假脸图像都是直接将人脸图像中的人脸替换成另一个人脸，生成的假脸图像多样性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够生成多样性的目标脸部图像的脸部图像处理方法、装置、计算机设备和存储介质。
一种脸部图像处理方法，所述方法包括：
获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；
对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；
获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；
根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在其中一个实施例中，对第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
生成高斯噪声值，将高斯噪声值添加到第一脸部图像的像素值中，得到具有非真实脸部图像特性的第一更新脸部图像。
在其中一个实施例中，在将得到的当前脸部检测模型作为脸部检测模型之后，还包括：
获取待检测脸部图像，将待检测脸部图像输入到脸部检测模型中进行检测，得到检测结果，当检测结果为非真实脸部图像时，生成报警信息。
一种脸部图像处理装置，所述装置包括：
图像获取模块，用于获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；
图像处理模块，用于对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
颜色调整模块，用于根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；
掩膜获取模块，用于获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；
图像融合模块，用于根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在其中一个实施例中，图像处理模块，包括：
高斯模糊单元，用于使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵；根据第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵计算得到像素点的模糊像素值，生成第一更新脸部图像。
在其中一个实施例中，图像处理模块，包括：
图像压缩单元，用于获取压缩率，使用压缩率将第一脸部图像进行压缩，得到压缩后的第一脸部图像；将压缩后的第一脸部图像作为具有非真实脸部图像特性的第一更新脸部图像。
在其中一个实施例中，图像处理模块，包括：
噪声条件单元，用于生成高斯噪声值，将高斯噪声值添加到第一脸部图像的像素值中，得到具有非真实脸部图像特性的第一更新脸部图像。
在其中一个实施例中，掩膜获取模块，包括：
关键点提取单元，用于提取第一脸部图像中的脸部关键点，根据脸部关键点确定第一脸部图像的脸部区域；
调用单元，用于随机调整第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。
在其中一个实施例中，脸部图像处理装置，还包括：
遮挡检测模块，用于对第二脸部图像进行脸部遮挡检测，得到脸部遮挡区域；
掩膜调整模块，用于根据脸部遮挡区域调整目标脸部掩膜，得到调整脸部掩膜；
图像融合模块还用于根据调整脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在其中一个实施例中，掩膜调整模块还用于计算目标脸部掩膜中像素点掩膜值与脸部遮挡区域中像素点遮挡值的差值，将差值作为掩膜调整值；根据掩膜调整值得到调整脸部掩膜。
在其中一个实施例中，颜色调整模块还用于获取目标颜色调整算法标识，根据目标颜色调整算法标识调用目标颜色调整算法，目标颜色调整算法包括颜色迁移算法和颜色匹配算法中的至少一种；基于目标颜色调整算法将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布一致，得到第一调整脸部图像。
在其中一个实施例中，图像融合模块，包括：
调用单元，用于获取目标图像融合算法标识，根据目标图像融合算法标识调用目标图像融合算法；目标图像融合算法包括透明混合算法、泊松融合算法和神经网络算法中的至少一种；
融合单元，用于使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在其中一个实施例中，融合单元还用于根据目标脸部掩膜从第一调整脸部图像中确定第一调整脸部区域；将第一调整脸部区域融合到第二脸部图像中脸部区域位置处，得到目标脸部图像。
在其中一个实施例中，融合单元还用于根据脸部掩膜从第一调整脸部图像中确定感兴趣区域，计算感兴趣区域的第一梯度场和第二脸部图像的第二梯度场；根据第一梯度场和第二梯度场确定融合梯度场，使用融合梯度场计算融合散度场；基于融合散度场确定第二融合像素值，根据第二融合像素值得到目标脸部图像。
在其中一个实施例中，脸部图像处理装置，还包括：
数据获取模块，用于获取真实脸部图像数据集和目标脸部图像数据集，目标脸部图像数据集中的各个目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像生成的，将目标脸部图像数据集作为当前脸部图像数据集。
模型训练模块，用于将真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型；
模型测试模块，用于获取测试脸部图像数据，使用测试脸部图像数据测试当前脸部检测模型，得到当前脸部检测模型对应的准确性，测试脸部图像数据与真实脸部图像数据集为不同数据集；
更新数据获取模块，用于当准确性小于预设准确性阈值时，获取更新目标脸部图像数据集，更新目标脸部图像数据集包括目标脸部图像数据集中的各个目标脸部图像和各个更新目标脸部图像，各个更新目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像重新生成的；
迭代循环模块，用于将更新目标脸部图像数据集作为当前脸部图像数据集，返回将真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型的步骤执行，直到准确性超过预设准确性阈值时，将得到的当前脸部检测模型作为脸部检测模型。
在其中一个实施例中，脸部图像处理装置，还包括：
图像检测模块，用于获取待检测脸部图像，将待检测脸部图像输入到脸部检测模型中进行检测，得到检测结果，当检测结果为非真实脸部图像时，生成报警信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；
对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；
获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；
根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；
对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；
获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；
根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
上述脸部图像处理方法、装置、计算机设备和存储介质，通过对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，然后根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；并获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的。根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，通过上述方法构造的目标脸部图像能够准确的模仿出假脸图像的效果，比如包含非真实脸部图像特性、具有非真实脸部图像颜色分布，具有非真实脸部图像的脸部区域形状等，并且在通过上述方法生成大量目标脸部图像时，由于获取到的目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的，使得生成的大量目标脸部图像具有丰富的多样性。
附图说明
图1为一个实施例中脸部图像处理方法的应用环境图；
图2为一个实施例中脸部图像处理方法的流程示意图；
图3为一个实施例中生成第一更新脸部图像的示意图；
图4为一个实施例中生成目标脸部掩膜的流程示意图；
图5为一个具体实施例中得到的调整脸部掩膜的示意图；
图6为一个实施例中得到第一调整脸部图像的流程示意图；
图7为一个实施例中得到目标脸部图像的流程示意图；
图8为另一个实施例中得到目标脸部图像的流程示意图；
图9为又一个实施例中得到目标脸部图像的流程示意图；
图10为一个实施例中得到脸部检测模型的流程示意图；
图11为一个具体实施例中得到目标脸部图像的流程示意图；
图12为图11具体实施例中随机选择的图像处理方法的示意图；
图13为图11具体实施例中随机选择的颜色调整算法名称示意图；
图14为图11具体实施例中掩膜生成与变形的示意图；
图15为图11具体实施例中随机选择的图像融合算法名称示意图；
图16为一个具体实施例中脸部图像处理方法的框架示意图；
图17为图16具体实施例中生成的目标脸部图像的部分示意图；
图18为图16具体实施例中脸部图像处理方法的应用环境示意图；
图19为一个实施例中脸部图像处理装置的结构框图；
图20为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的图像检测、深度学习等技术，具体通过如下实施例进行说明：
本申请提供的脸部图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104从终端102获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；服务器104对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；服务器104根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种脸部图像处理方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端中。本实施例中，该方法包括以下步骤：
步骤202，获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像。
其中，脸部图像是指真实存在，未被伪造的脸部图像，包括人脸部图像和动物脸部图像等等。第一脸部图像是指需要进行脸部图像融合的源脸部图像，第二脸部图像是指需要进行脸部图像融合的目标脸部图像。
具体的，服务器获取到第一脸部图像和第二脸部图像，其中，服务器可以通过多种不同的方式开获取脸部图像，比如，服务器获取到终端上传的脸部图像。服务器可以从预设的脸部图像数据库中获取到脸部图像。服务器还可以从第三方的平台中获取到脸部图像。服务器可以是从互联网采集的脸部图像。服务器可以是从视频中获取到脸部图像。其中，获取到的第一脸部图像和第二脸部图像可以是同类型的脸部图像，比如，可以是同种动物的脸部图像，比如，可以都是男性的人脸图像。也可以是不同类型的脸部图像，比如，第一脸部图像是猫的脸部图像，第二脸部图像是狗的脸部图像。又比如，第一脸部图像是男性的人脸图像，第二脸部图像是女性的人脸图像。
在一个实施例中，获取到第一脸部图像和第二脸部图像，当第一脸部图像和第二脸部图像尺寸大小不一致时，将第一脸部图像和第二脸部图像的尺寸大小调整到一致。比如，可以将第一脸部图像尺寸大小调整至于与第二脸部图像的尺寸大小相同。也可以将第二脸部图像尺寸大小调整至于与第一脸部图像的尺寸大小相同。还可以获取到预先设置好的尺寸大小，分别将第一脸部图像尺寸大小和第二脸部图像的尺寸大小调整至于与预先设置好的尺寸大小一致。例如，第一脸部图像的尺寸大小为2.5*3.5cm，第二脸部图像的尺寸大小为3.5*4.9cm，将第一脸部图像尺寸大小和第二脸部图像的尺寸大小调整至于与预先设置好的尺寸大小3.5*4.9cm一致。
步骤204，对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像。
其中，非真实脸部图像是指不是真实的，是通过技术手段伪造的脸部图像，比如，通过人工智能换脸技术得到的换脸后的图像。非真实脸部图像特性是指非真实脸部图像的图像特性，该图像特性包括图像过渡平滑、图像清晰度不一致以及有图像噪声等等。第一更新脸部图像是指经过图像处理后得到的脸部图像，该第一更新脸部图像具有非真实脸部图像特性。比如，该非真实脸部图像特性具有使用对抗生成网络生成的脸部图像的效果。
具体地，服务器可以使用图像处理算法对第一脸部图像进行处理，该图像处理算法包括图像模糊算法、图像压缩算法和随机噪声添加算法等等。其中，图像模糊算法包括高斯模糊算法、均值模糊算法、双重模糊算法、散景模糊算法和移轴模糊算法等等。图像压缩算法包括JPEG(Joint Photographic Experts Group)压缩算法、霍夫曼编码压缩算法和行程编码压缩算法等等。随机噪声添加算法包括高斯噪声添加算法、泊松噪声添加算法和椒盐噪声添加算法等等。服务器可以随机选择一种图像处理算法对第一脸部图像进行处理，得到具有非真实脸部图像特性的第一更新脸部图像，比如，得到的第一更新脸部图像可以具有过渡平滑的特性或者图像清晰度不一致的特性或者有图像噪声的特性。也可以选择多种图像处理算法对第一脸部图像进行处理，将最后处理得到的图像作为具有非真实脸部图像特性的第一更新脸部图像。比如，得到的第一更新脸部图像可以具有过渡平滑的特性和图像清晰度不一致的特性，或者得到的第一更新脸部图像具有过渡平滑和有图像噪声的特性或者具有图像清晰度不一致和图像噪声的特性。或者得到的第一更新脸部图像具有图像过渡平滑、图像清晰度不一致以及有图像噪声的特性。
在一个实施例中，服务器先可以使用图像模糊算法对第一脸部图像进行处理，得到处理后的图像，然后使用图像压缩算法对处理后的图像进行压缩，得到压缩后的图像，将压缩后的图像作为第一更新脸部图像，也可以对压缩后的图像使用随机噪声添加算法添加随机噪声后，得到第一更新脸部图像。通过对图像进行处理，模拟对抗生成网络生成的图像的效果，提高了生成的目标脸部图像的多样性。
步骤206，根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像。
其中，颜色分布是指图像在RGB(一种颜色标准)颜色空间中的分布。第一调整脸部图像是指将第一更新脸部图像的颜色分布进行调整后得到的脸部图像，该调整后的颜色分布与第二脸部图像的颜色分布相近。
具体地。服务器使用颜色调整算法根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像，其中，颜色调整算法可以包括线性颜色迁移算法、LAB空间颜色迁移、基于概率密度的颜色迁移和颜色子直方图匹配算法等。服务器每次在生成目标脸部图像时，可以随机选取颜色调整算法，然后根据随机选取的颜色调整算法根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像。
步骤208，获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的。
其中，脸部掩膜是指对第一脸部图像中的脸部区域中的所有像素值初始化为255，即将脸部区域初始化为白色，同时对第一脸部图像中除脸部区域以外的区域的像素值初始化为0，即除脸部区域以外的区域初始化为黑色，得到的图像。目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的图像。
具体地，服务器获取到第一脸部图像的目标脸部掩膜，该目标脸部掩膜是预先提取得到第一脸部图像的脸部关键点，根据脸部关键点得到脸部区域，然后将脸部区域进行随机变形，得到脸部区域变形的脸部图像，然后根据脸部区域变形的脸部图像生成对应的目标脸部掩膜。其中，脸部区域进行随机变形时，可以获取到脸部区域的面积，然后随机调整脸部区域的面积大小，比如，脸部区域的面积为20，调整使脸部区域的面积为21。还可以获取到脸部区域的边界线，随机调整脸部区域边界线的位置或者类型。比如，将直线类型的边界线调整成曲线。比如，将边界线中心点的位置随机进行位移来调整边界线的位置。比如，边界线中心点的坐标为(1,1)，可以随机调整到(1,2)。还可以获取到脸部区域的边界关键点，随机调整脸部区域边界关键点的位置，比如，将所有边界关键点的位置进行随机位移。
在一个实施例中，服务器也可以预先生成第一脸部图像的脸部掩膜，然后对第一脸部图像的脸部掩膜中的脸部区域进行随机变形后得到目标脸部掩膜。在一个实施例中，服务器也可以直接从数据库中获取到第一脸部图像的目标脸部掩膜。
步骤210，根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
其中，目标脸部图像是指根据第一调整脸部图像与第二脸部图像融合的脸部图像，该目标脸部图像是具有非真实性的脸部图像，即假脸图像。
具体地，服务器使用图像融合算法根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，其中，图像融合算法包括阿尔法混合(AlphaBlending)算法、泊松融合算法、拉普拉斯金字塔融合算法、基于小波变换的图像融合算法和基于神经网络的图像融合算法等等，服务器每次在根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合时，先随机选择图像融合算法，然后根据随机选择的图像融合算法进行融合，得到目标脸部图像。
在上述图像处理方法中，通过对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，然后根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；并获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的。根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，通过上述方法构造的目标脸部图像能够准确的模仿出假脸图像的效果，比如包含非真实脸部图像特性、具有非真实脸部图像颜色分布，具有非真实脸部图像的脸部区域形状等，并且在通过上述方法生成大量目标脸部图像时，由于获取到的目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的，使得生成的大量目标脸部图像具有丰富的多样性。
在一个实施例中，如图3所示，步骤204，对第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
步骤302a，使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵。
其中，高斯函数是指正态分布的密度函数，二维形式的高斯函数如下公式(1)所示：
Figure BDA0002602857960000121
其中，σ是指高斯半径，是预先设置好的，x和y是指第一脸部图像中像素点的坐标。
具体地，服务器获取到预先设置好的高斯半径，使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵。
步骤302b，根据第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵计算得到像素点的模糊像素值，生成第一更新脸部图像。
具体地，服务器使用第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵进行卷积运行，得到像素点的模糊像素值，根据每个像素点的模糊像素值就得到了第一更新脸部图像。
在一个实施例中，服务器可以使用高斯卷积对第一脸部图像进行模糊处理。其中，高斯卷积的尺度包括3x3,5x5,7x7,9x9和11x11等等。服务器每次使用高斯卷积对第一脸部图像进行模糊处理时随机选择一种尺度的高斯卷积进行模糊处理，得到模糊处理后的第一脸部图像，使用模糊处理后的第一脸部图像生成目标脸部图像，提高了生成目标脸部图像的多样性。
在上述实施例中，通过使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵，然后根据第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵计算得到像素点的模糊像素值，生成第一更新脸部图像，能够快速得到第一更新脸部图像，方便后续处理并保证生成目标脸部图像的效果达到假脸图像的效果。
在一个实施例中，如图3所示，步骤204，对第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
步骤304a，获取压缩率，使用压缩率将第一脸部图像进行压缩，得到压缩后的第一脸部图像；将压缩后的第一脸部图像作为具有非真实脸部图像特性的第一更新脸部图像。
其中，压缩率是指压缩后的脸部图像占用内存大小与压缩前脸部图像占用内存大小的比值，该压缩率有多个预先设置好的。
具体地，服务器在每次进行脸部图像压缩时，随机从预先设置好的压缩率中获取到当前压缩时使用的压缩率，然后使用该压缩率对第一脸部图像进行压缩，得到压缩后的第一脸部图像，将压缩后的第一脸部图像作为具有非真实脸部图像特性的第一更新脸部图像，从而能够得到具有不同清晰度的第一脸部图像，方便后续的使用，并保证生成目标脸部图像的效果达到假脸图像的效果和提高生成目标脸部图像的多样性。
在一个实施例中，如图3所示，步骤204，对第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
步骤306a，生成高斯噪声值，将高斯噪声值添加到第一脸部图像的像素值中，得到具有非真实脸部图像特性的第一更新脸部图像。
其中，高斯噪声是指概率密度函数服从高斯分布的噪声。高斯噪声值是指根据高斯噪声的均值和方差随机生成的随机数序列。
具体地，服务器预先保存有不同的高斯噪声的均值和方差，服务器在每次添加噪声时，随机选取到当前需要使用的高斯噪声的均值和方差，根据高斯噪声的均值和方差生成高斯噪声值，然后将高斯噪声值添加到第一脸部图像的像素值中，并将得到的像素值压缩到像素值区间内容，得到具有非真实脸部图像特性的第一脸部图像，通过添加高斯噪声值生成具有非真实脸部图像特性的第一更新脸部图像，方便后续的使用，并保证生成目标脸部图像的效果达到假脸图像的效果，并且由于随机选取当前需要使用的高斯噪声的均值和方差，提高了生成的目标脸部图像的多样性。
在一个实施例中，如图4所示，步骤208，获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的，包括：
步骤402，提取第一脸部图像中的脸部关键点，根据脸部关键点确定第一脸部图像的脸部区域。
其中，脸部关键点用于表征脸部的特征。
具体地，服务器使用脸部关键点提取算法来提取第一脸部图像中的脸部关键点，其中，脸部关键点提取算法包括基于特征点分布模型(Point Distribution Model,PDM)的提取算法、基于级联形状回归(CPR，Cascaded Pose Regression)算法和基于深度学习的算法等。该脸部关键点提取算法具体可以是ASM(Active Shape Model，主动形状模型)算法、AAM(Active Appearnce Modl，主动外观模型)算法、CPR(Cascaded pose regression，级联的姿势回归)、SDM(Supervised Descent Method，监督下降法)算法和深度卷积神经网络(DCNN，Deep Convolutional Network)算法，然后将提取到的脸部关键点依次连接成多边形，多边形内部为第一脸部图像的脸部区域。
在一个具体地实施例中，服务器使用landmark(一种人脸部特征点提取的技术)算法提取到68个脸部关键点，通过将脸部关键点依次连接成多边形，得到第一脸部图像的脸部区域。
在一个实施例中，服务器可以根据确定第一脸部图像的脸部区域生成脸部掩膜。即使用未变形的第一脸部图像生成脸部掩膜，将生成的脸部掩膜作为目标脸部掩膜进行后续处理，使得生成的目标脸部图像具有多样性。
步骤404，随机调整第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。
具体地，服务器随机改变第一脸部图像的脸部区域中脸部关键点位置，将改变位置的脸部关键点依次连接成多边形，得到变形后的脸部区域，然后根据变形后的脸部区域和第一脸部图像的其他区域生成目标脸部掩膜。其中，每个脸部关键点位置随机变化，即可以获取到脸部关键点位置随机变化值，和脸部关键点位置原始值，计算脸部关键点位置随机变化值与脸部关键点位置原始值的和，得到脸部关键点改变后的位置值。
在一个实施例中，可以在提取第一脸部图像中的脸部关键点之后，直接随机调整第一脸部图像中的脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。
在上述实施例中，通过随机调整第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜，使用目标脸部掩膜进行后续的处理，提高了生成的目标脸部图像的多样性。
在一个实施例中，在步骤208之后，即在获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的之后，还包括步骤：
对第二脸部图像进行脸部遮挡检测，得到脸部遮挡区域；根据脸部遮挡区域调整目标脸部掩膜，得到调整脸部掩膜。
其中，遮挡检测是指检测第二脸部图像中的脸部区域是否被遮挡。脸部遮挡区域是指第二脸部图像中脸部被遮挡的区域。调整脸部掩膜是将脸部遮挡区域从目标脸部掩膜中的脸部区域去除后得到脸部掩膜。
具体地，服务器使用深度学习分割网络算法对第二脸部图像进行脸部遮挡检测，得到各个分割区域，从所述分割区域中确定脸部遮挡区域。然后根据脸部遮挡区域中每个像素点对应的二值化值调整目标脸部掩膜中每个像素点对应的二值化值，得到每个像素点调整后的二值化值，根据每个像素点调整后的二值化值得到调整脸部掩膜。其中，深度学习分割网络算法可以是Unet(基于FCN的一个语义分割网络)网络算法FCN(Fullyconvolutional networks for semantic segmentation，全卷积神经网络)网络算法、SegNet(一个encoder-decoder结构的卷积神经网络)网络算法和Deeplab(空洞卷积网络)网络算法等等。
在一个具体的实施例中，如图5所示，为得到调整脸部掩膜的示意图。其中，根据脸部遮挡区域将目标脸部掩膜50进行调整，得到的调整脸部掩膜52。
步骤210，根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，包括步骤：
根据调整脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
具体的，服务器根据调整脸部掩膜使用图像融合算法将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在上述实施例中，通过对第二脸部图像进行遮挡检测，得到调整脸部掩膜，使用调整脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，提高生成目标脸部图像的多样性。
在一个实施例中，根据脸部遮挡区域调整目标脸部掩膜，得到调整脸部掩膜，包括步骤：
计算目标脸部掩膜中像素点掩膜值与脸部遮挡区域中像素点遮挡值的差值，将差值作为掩膜调整值；根据掩膜调整值得到调整脸部掩膜。
其中，像素点掩膜值是指目标脸部掩膜中像素点的二值化值，遮挡值是指脸部遮挡区域中像素点的二值化值。掩膜调整值是指调整后脸部掩膜每个像素点的二值化值。
具体地，服务器根据目标脸部掩膜中每个像素点掩膜值计算与第二脸部图像中脸部遮挡区域中像素点遮挡值的差值，得到掩膜调整值。在一个具体的实施例中，目标脸部掩膜中脸部区域像素点的值为1，其他区域像素点为0。第二脸部图像中脸部遮挡区域中像素点为1，未遮挡区域为0。使用目标脸部掩膜中每个像素点的值减去第二脸部图像中每个像素点的值，得到调整后每个像素点的值，根据调整后每个像素点的值得到调整脸部掩膜。
在上述实施例中，直接计算目标脸部掩膜中像素点掩膜值与脸部遮挡区域中像素点遮挡值的差值，将差值作为掩膜调整值，根据掩膜调整值得到调整脸部掩膜，保证得到调整脸部掩膜在生成目标脸部图像时，使生成的目标脸部图像达到假脸具有的效果。
在一个实施例中，如图6所示，步骤206，根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像，包括：
步骤602，获取目标颜色调整算法标识，根据目标颜色调整算法标识调用目标颜色调整算法，目标颜色调整算法包括颜色迁移算法和颜色匹配算法中的至少一种。
其中，目标颜色调整算法标识用于唯一标识颜色调整算法。目标颜色迁移算法和颜色匹配算法都用于对颜色分布进行调整。其中，颜色迁移算法包括：线性颜色迁移算法、LAB空间颜色迁移算法和基于概率密度的颜色迁移算法等。颜色匹配算法包括颜色直方图匹配算法等。
具体地，服务器每次在根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布时，随机选择目标颜色调整算法，即得到选取的目标颜色调整算法对应的目标颜色调整算法标识。然后使用目标颜色调整算法标识调用目标颜色调整算法。其中，可以预先生成每个目标颜色调整算法的调用接口，根据目标颜色调整算法标识获取到对应的调用接口，使用调用接口调用目标颜色调整算法。
步骤604，基于目标颜色调整算法将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布一致，得到第一调整脸部图像。
具体地，服务器执行目标颜色调整算法，将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布一致，得到第一调整脸部图像。在一个实施例中，可以将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布在预设阈值内时，得到第一调整脸部图像。
通过上述实施例，将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布一致，得到第一调整脸部图像，使第一调整脸部图像拥有第二脸部图像的颜色信息，从而使得生成的目标脸部图像不包含明显的换脸边界，保证生成的目标脸部图像能够准确的模拟假脸的效果，并且每次在进行颜色分布调整时，随机选择目标颜色调整算法进行颜色分布调整，从而提高了生成的目标脸部图像的多样性。
在一个实施例中，如图7所示，步骤210，根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，包括：
步骤702，获取目标图像融合算法标识，根据目标图像融合算法标识调用目标图像融合算法；目标图像融合算法包括透明混合算法、泊松融合算法和神经网络算法中的至少一种。
其中，目标图像融合算法标识用于唯一标识目标图像融合算法，用于调用对应的目标图像融合算法。
具体地，服务器从保存的各个图像融合算法标识中随机选取到目标图像融合算法标识，根据该目标图像融合算法标识执行对应的图像融合算法。在一个实施例中，服务器根据目标图像融合算法标识获取到对应的目标图像融合算法的调用接口，使用调用接口调用目标图像融合算法。目标图像融合算法包括透明混合算法、泊松融合算法和神经网络算法中的至少一种。其中，神经网络算法是预先使用神经网络训练得到图像融合模型，使用图像融合模型进行融合。
步骤704，使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
具体地，服务器每次在进行第一调整脸部图像与第二脸部图像融合时，使用随机选取的目标图像融合算法基于目标脸部掩膜进行融合，得到融合后的脸部图像，即目标脸部图像。在一个实施例中，服务器将目标脸部掩膜、第一调整脸部图像与第二脸部图像输入到使用神经网络训练得到的图像融合模型中，得到输出的融合后的脸部图像，即得到目标脸部图像。
在上述实施例中，通过使用随机选取目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，能够使生成的目标脸部图像具有多样性。
在一个实施例中，如图8所示，步骤704，使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，包括：
步骤802，根据目标脸部掩膜从第一调整脸部图像中确定第一调整脸部区域。
其中，第一调整脸部区域是指第一调整脸部图像中的脸部区域。
具体地，服务器计算目标脸部掩膜中各个像素点的掩膜值与第一调整脸部图像中各个像素点像素值的乘积，根据乘积结果得到第一调整脸部区域。
步骤804，将第一调整脸部区域融合到第二脸部图像中脸部区域位置处，得到目标脸部图像。
具体地，服务器计算目标脸部掩膜中各个像素点的掩膜值的反值与第二脸部图像中各个像素点像素值的乘积，根据乘积结果确定第二脸部图像中脸部区域位置，然后将第一调整脸部区域融合到第二脸部图像中脸部区域位置处，得到目标脸部图像。
在一个具体的实施例中，使用如下公式(2)得到目标脸部图像：
out＝(1-α)A+αB 公式(2)
其中，out是指输出的像素值，α是指目标脸部掩膜中的像素值，取值范围为[0,1]。A为第二脸部图像中的像素值，B为第一调整脸部图像中的像素值。当α＝0时，输出的是背景区域像素值，当α＝1时，输出的是脸部区域像素值，当0<α<1时，输出的像素值是混合后的像素值。
在上述实施例中，通过将第一调整脸部区域融合到第二脸部图像中脸部区域位置处，得到目标脸部图像，能够方便快速的得到目标脸部图像。
在一个实施例中，如图9所示，步骤704，使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，包括：
步骤902，根据目标脸部掩膜从第一调整脸部图像中确定感兴趣区域，计算感兴趣区域的第一梯度场和第二脸部图像的第二梯度场。
其中，感兴趣区域是指第一调整脸部图像中的脸部区域。
具体地，服务器根据目标脸部掩膜中脸部区域从第一调整脸部图像中确定感兴趣区域，使用差分运算计算感兴趣区域的第一梯度场和第二脸部图像的第二梯度场。其中，可以计算感兴趣区域在两个方向上的梯度，根据两个方向上的梯度得到第一梯度场。也可以计算第二脸部图像在两个方向上的梯度，根据两个方向上的梯度得到第二梯度场。
步骤904，根据第一梯度场和第二梯度场确定融合梯度场，使用融合梯度场计算融合散度场。
其中，融合梯度场是指目标脸部图像对应的梯度场。融合散度场是指目标脸部图像对应的散度，即拉普拉斯坐标。
具体地，服务器将第一梯度场覆盖到第二梯度场上得到融合梯度场。然后服务器计算融合梯度场中梯度的偏导，得到融合散度场。其中，服务器可以分别计算融合梯度场中梯度在两个不同方向上的偏导，然后将两个不同方向上的偏导进行相加得到融合散度场。
步骤906，基于融合散度场确定第二融合像素值，根据第二融合像素值得到目标脸部图像。
其中，第二融合像素值是指目标脸部图像中各个像素点的像素值。
具体地，服务器使用融合散度场根据泊松重交方程构建系数矩阵，然后根据系数矩阵计算得到第二融合像素值，根据第二融合像素值得到目标脸部图像。
在上述实施例中，通过使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像，能够使得到的目标脸部图像具备多样性。
在一个实施例中，目标脸部图像用于训练脸部检测模型，脸部检测模型用于检测脸部图像的真实性。
具体地，服务器使用上述各实施例中得到目标脸部图像的方法生成大量目标脸部图像训练得到脸部检测模型，该脸部检测模型用于检测脸部图像的真实性，其中，当检测脸部图像的真实性超过预设阈值时，得到该脸部图像为真实性脸部图像，当检测脸部图像的真实性未超过预设阈值时，得到该脸部图像为非真实性脸部图像，即为假脸图像。
在一个实施例中，如图10所示，脸部检测模型的训练包括以下步骤：
步骤1002，获取真实脸部图像数据集和目标脸部图像数据集，目标脸部图像数据集中的各个目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像生成的，将目标脸部图像数据集作为当前脸部图像数据集。
其中，真实脸部图像数据集是指由真实脸部图像组成的图像数据集。
具体地，服务器获取到真实脸部图像数据集，可以是从第三方的真实脸部图像数据库中获取得到的。也可以是通过对真实的脸进行图像采集得到的。同时服务器使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像生成各个目标脸部图像，其中，可以对第一真实脸部图像和第二真实脸部图像使用不同的图像处理算法、不同的颜色调整算法和不同的图像融合算法随机组合来生成各个不同的目标脸部图像。也可以使用不同的第一真实脸部图像和第二真实脸部图像使用不同的图像处理算法、不同的颜色调整算法和不同的图像融合算法随机组合来生成各个不同的目标脸部图像。
在一个具体的实施例中，真实脸部图像数据集可以是从FaceForensic++(一种人脸图像数据集)中提供的真实人脸视频中得到的。然后使用FaceForensic++中的真实人脸生成目标人脸图像数据集。
步骤1004，将真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型。
具体的，服务器将真实脸部图像数据集中的各个真实脸部图像和当前脸部图像数据集中各个当前脸部图像作为模型的输入进行训练，当达到训练完成条件时，得到当前脸部检测模型。其中，训练完成条件包括训练达到最大迭代次数或者损失函数的值符合预设阈值条件。比如，服务器使用Xception(Inception深度卷积网络的扩展)网络作为模型的网络结构，使用cross-entropy(交叉熵)作为损失函数进行模型训练，当达到训练完成条件时，得到当前脸部检测模型。其中，也可以使用表达能力更强的网络作为模型的网络结果进行训练，比如，使用ResNet101深度残差网络、ResNet152深度残差网络等等。
步骤1006，获取测试脸部图像数据，使用测试脸部图像数据测试当前脸部检测模型，得到当前脸部检测模型对应的准确性，测试脸部图像数据与真实脸部图像数据集为不同数据集。
具体地，服务器可以从第三方数据库中获取到测试脸部图像数据，该测试脸部图像数据与真实脸部图像数据集为不同数据集。然后使用测试脸部图像数据测试当前脸部检测模型，其中可以使用AUC(area under curve，曲线下的面积)和AP(average precision，平均正确率)作为评价指标，得到当前脸部检测模型检测脸部图像真实性的准确性。
步骤1008，判断准确性是否超过预设准确性阈值，当超过预设准确性阈值时，执行步骤1010a。当未超过预设准确性阈值时，执行步骤1010b。
步骤1010b，获取更新目标脸部图像数据集，更新目标脸部图像数据集包括目标脸部图像数据集中的各个目标脸部图像和各个更新目标脸部图像，各个更新目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像重新生成的。将更新目标脸部图像数据集作为当前脸部图像数据集，并返回步骤1004执行。
步骤1010a，将得到的当前脸部检测模型作为脸部检测模型。
其中，预设准确性阈值是指预先设置好的脸部检测模型检测脸部图像真实性的准确性阈值。
具体地，当准确性未超过预设准确性阈值时，说明训练得到的模型在其他数据集上的泛化能力较差，此时，服务器获取到更新目标脸部图像数据集，使用更新目标脸部图像数据集再次迭代训练当前脸部检测模型。该更新目标脸部图像数据集中包括之前训练使用的目标脸部图像和重新生成的目标脸部图像。即通过增强训练样本中的目标脸部图像来训练脸部检测模型。
在上述实施例中，通过得到目标脸部图像数据集，然后使用目标脸部图像数据集和真实脸部图像数据集训练得到脸部检测模型，由于目标脸部图像数据集中具有丰富多样性的目标脸部图像，从而提高了训练得到的脸部检测模型的泛化能力，然后使用脸部检测模型检测脸部图像的真实性，从而能够提高检测脸部图像真实性的准确性。
在一个具体的实施例中，使用测试脸部图像数据对现有的人脸智能模型和本申请的脸部检测模型进行测试，得到的评价指标数据如下表1所示，
表1评价指标数据表
Figure BDA0002602857960000221
Figure BDA0002602857960000231
其中，测试数据集1可以是celeb-DF(深度人脸提取数据集)，测试数据集2可以是DFDC(Deepfake Detection Challenge，深度假动作检测挑战)的数据集。本申请中通过数据增强后训练得到的脸部检测模型的评价指标都取得了比现有的人工智能模型的评价指标更好的结果。即本申请的脸部检测模型明显提高了模型的泛化性能，从而使检测结果更加的准确。
在一个实施例中，在将得到的当前脸部检测模型作为脸部检测模型之后，还包括：
获取待检测脸部图像，将待检测脸部图像输入到脸部检测模型中进行检测，得到检测结果，当检测结果为非真实脸部图像时，生成报警信息。
其中，待检测脸部图像是指需要检测真实性的脸部图像。检测试纸待检测脸部图像是否为真实脸部图像的结果，包括非真实脸部图像和真实脸部图像结果。报警信息用于对待检测脸部图像为非真实性进行提醒，说明待检测脸部图像为非真实脸部图像。
具体地，服务器获取到待检测脸部图像，该待检测脸部图像可以是用户上传的脸部图像，也可以是服务器从各种视频中识别到的脸部图像，还可以是服务器中数据库中保存的脸部图像等等。服务器预先将训练好的脸部检测模型部署，然后将待检测脸部图像输入到脸部检测模型中进行检测，即得到脸部检测模型输出的检测结果。当检测结果为待检测脸部图像是真实脸部图像时，不做处理。当检测结果为待检测脸部图像是非真实脸部图像时，生成报警信息，将报警信息发送到管理终端进行显示，以使管理终端进行后续的处理。
在上述实施例中，通过将待检测脸部图像使用脸部检测模型进行检测，得到检测结果，当检测结果为非真实脸部图像时，生成报警信息，提高了脸部检测模型对非真实脸部图像进行检测的准确性。
在一个具体地实施例中，如图11所示，脸部图像处理方法的具体包括以下步骤：
步骤1102，获取真实脸部图像数据集，从真实脸部图像数据集中随机选取第一脸部图像和第二脸部图像；
步骤1104，使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵。根据第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵计算得到像素点的模糊像素值，生成第一更新脸部图像。即进行高斯模糊。
步骤1106，随机获取压缩率，使用压缩率将第一更新脸部图像进行压缩，得到第二更新脸部图像。即进行图像压缩。
步骤1108，生成高斯噪声值，将高斯噪声值添加到第二更新脸部图像的像素值中，得到第三更新脸部图像。即进行随机噪声添加。
在该实施例中，服务器在生成目标脸部图像时可以从步骤1104、步骤1106和步骤1108中随机选择需要执行的步骤，得到对应的更新脸部图像，使用对应的更新脸部图像进行后续的处理。比如，服务器可以执行步骤1104或者执行步骤1106或者执行步骤1108或者执行步骤1104和步骤1106或者执行步骤1106和步骤1108等得到对应的执行结果，其中，在执行步骤时是对上一个步骤的执行结果进行处理。即使生成的更新脸部图像具有对抗生成网络的效果，其中，可以具有一种效果，也可以具有多种效果，如图12所示，为可随机选择的模拟对抗生成网络的效果的方法示意图。
步骤1110，随机获取目标颜色调整算法标识，根据目标颜色调整算法标识调用目标颜色调整算法，基于目标颜色调整算法根据第二脸部图像的颜色分布调整第三更新脸部图像的颜色分布，得到第一调整脸部图像。其中，如图13所示，为可随机选择的目标颜色调整算法名称示意图，从该图13中包括的目标颜色调整算法中随机选取目标图像融合算法。
步骤1112，提取第一脸部图像中的脸部关键点，根据脸部关键点确定第一脸部图像的脸部区域，随机调整第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。其中，如图14所示，为mask生成与随机变形的示意图。
步骤1114，对第二脸部图像进行脸部遮挡检测，得到脸部遮挡区域，计算目标脸部掩膜中像素点掩膜值与脸部遮挡区域中像素点遮挡值的差值，将差值作为掩膜调整值，根据掩膜调整值得到调整脸部掩膜。
步骤1116，随机获取目标图像融合算法标识，根据目标图像融合算法标识调用目标图像融合算法，使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。其中，如图15所示，为可随机选择的图像融合算法名称示意图，从该图15种包括的图像融合算法中随机选取目标图像融合算法名称。
在该实施例中，服务器重复不断执行上述步骤，每次在执行时，从图12、图13、图14和图15中随机选取对应的一种方法执行相应的步骤，保证生成具有多样性的各个目标脸部图像，得到目标脸部图像数据集。
本申请还提供一种应用场景，该应用场景应用上述的脸部图像处理方法。具体地，该脸部图像处理方法在该应用场景的应用如下：
如图16所示，提高一种人脸图像处理框架示意图，具体来说：服务器获取真实人脸图像A和真实人脸图像B。对真实人脸图像A进行处理，生成具有非真实人脸图像特性的第一更新人脸图像；根据真实人脸图像B的颜色分布调整第一更新人脸图像的颜色分布，得到第一调整人脸图像。根据真实人脸图像A生成对应的脸部掩膜，然后对脸部掩膜进行变形，得到变形后的目标脸部掩膜。根据目标人脸掩膜将第一调整人脸图像与真实人脸图像B进行融合，得到目标人脸图像。通过使用图16所示的框架生成大量目标人脸图像，生成的目标人脸图像的部分示意图如图17所示，其中，包括真实感较高的合成人脸图像和真实感较差的合成人脸图像，该图17种所示的合成人脸图像都是有色彩的图像。然后使用生成的大量目标人脸图像和真实人脸图像训练得到人脸真实性检测模型。然后将人脸真实性检测模型部署到人脸识别支付平台中，如图18所示，为脸部图像处理方法的应用环境示意图，该脸部图像处理方法应用到人脸识别支付平台中，其中，包括用户终端1802、平台服务器1804以及监控终端1806。即用户终端1802在进行人脸支付时，通过摄像头采集到人脸图像，将人脸图像通过网络传输到平台服务器1804，平台服务器1804通过部署的人脸真实性检测模型对采集到的人脸图像进行真实性检测，得到检测结果，当检测结果为非真实人脸时，生成报警信息为人脸识别未通过，该人脸为非真实人脸，并将报警信息发送到监控终端1806进行展示，同时向用户终端1802发送支付失败信息进行显示。通过识别监控设备采集的人脸的真实性，可以提高人脸支付的安全性。
本申请还另外提供一种应用场景，该应用场景应用上述的脸部图像处理方法。具体地，该脸部图像处理方法在该应用场景的应用如下：
获取第一人脸图像和第二人脸图像，第一人脸图像和第二脸部图像是包含真实人脸的图像。对第一人脸图像进行处理，生成具有非真实人脸图像特性的第一更新人脸图像。根据第二人脸图像的颜色分布调整第一更新人脸图像的颜色分布，得到第一调整人脸图像。获取第一人脸图像的目标人脸掩膜，目标人脸掩膜是对第一人脸图像的人脸区域进行随机变形生成的。根据目标人脸掩膜将第一调整人脸图像与第二人脸图像进行融合，得到目标人脸图像。通过上述方法生成大量目标人脸图像，使用大量目标人脸图像和真实人脸图像数据集训练得到人脸换脸检测模型，将人脸换脸检测模型部署到互联网视频媒体平台中进行使用。当互联网视频媒体平台获取到用户上传的视频时，从视频中获取答人脸图像，将要检测的人脸图像输入到人脸换脸检测模型中，得到换脸检测结果，换脸检测结果包括换脸后的人脸图像和未换脸的人脸图像，其中，换脸后的人脸图像是非真实人脸图像，未换脸的人脸图像是真实人脸图像。当要检测的人脸图像是换脸后的人脸图像，且识别到换脸后的人脸图像侵犯肖像权时，禁止将用户上传的视频进行发布，并向用户返回禁止视频发布的原因。
应该理解的是，虽然图2-图4以及图6-图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4以及图6-图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图19所示，提供了一种脸部图像处理装置1900，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1902、图像处理模块1904、颜色调整模块1906、掩膜获取模块1908和图像融合模块1910，其中：
图像获取模块1902，用于获取第一脸部图像和第二脸部图像，第一脸部图像和第二脸部图像是包含真实脸部的图像；
图像处理模块1904，用于对第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
颜色调整模块1906，用于根据第二脸部图像的颜色分布调整第一更新脸部图像的颜色分布，得到第一调整脸部图像；
掩膜获取模块1908，用于获取第一脸部图像的目标脸部掩膜，目标脸部掩膜是对第一脸部图像的脸部区域进行随机变形生成的；
图像融合模块1910，用于根据目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在一个实施例中，图像处理模块1904，包括：
高斯模糊单元，用于使用高斯函数计算第一脸部图像中像素点的权重，得到像素点模糊权重矩阵；根据第一脸部图像中像素点的原始像素值和像素点模糊权重矩阵计算得到像素点的模糊像素值，生成第一更新脸部图像。
在一个实施例中，图像处理模块1904，包括：
图像压缩单元，用于获取压缩率，使用压缩率将第一脸部图像进行压缩，得到压缩后的第一脸部图像；将压缩后的第一脸部图像作为具有非真实脸部图像特性的第一更新脸部图像。
在一个实施例中，图像处理模块1904，包括：
噪声条件单元，用于生成高斯噪声值，将高斯噪声值添加到第一脸部图像的像素值中，得到具有非真实脸部图像特性的第一更新脸部图像。
在一个实施例中，掩膜获取模块1908，包括：
关键点提取单元，用于提取第一脸部图像中的脸部关键点，根据脸部关键点确定第一脸部图像的脸部区域；
调用单元，用于随机调整第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。
在一个实施例中，脸部图像处理装置1900，还包括：
遮挡检测模块，用于对第二脸部图像进行脸部遮挡检测，得到脸部遮挡区域；
掩膜调整模块，用于根据脸部遮挡区域调整目标脸部掩膜，得到调整脸部掩膜；
图像融合模块1910还用于根据调整脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在一个实施例中，掩膜调整模块还用于计算目标脸部掩膜中像素点掩膜值与脸部遮挡区域中像素点遮挡值的差值，将差值作为掩膜调整值；根据掩膜调整值得到调整脸部掩膜。
在一个实施例中，颜色调整模块1906还用于获取目标颜色调整算法标识，根据目标颜色调整算法标识调用目标颜色调整算法，目标颜色调整算法包括颜色迁移算法和颜色匹配算法中的至少一种；基于目标颜色调整算法将第一更新脸部图像的颜色分布调整至与第二脸部图像的颜色分布一致，得到第一调整脸部图像。
在一个实施例中，图像融合模块1910，包括：
调用单元，用于获取目标图像融合算法标识，根据目标图像融合算法标识调用目标图像融合算法；目标图像融合算法包括透明混合算法、泊松融合算法和神经网络算法中的至少一种；
融合单元，用于使用目标图像融合算法基于目标脸部掩膜将第一调整脸部图像与第二脸部图像进行融合，得到目标脸部图像。
在一个实施例中，融合单元还用于根据目标脸部掩膜从第一调整脸部图像中确定第一调整脸部区域；将第一调整脸部区域融合到第二脸部图像中脸部区域位置处，得到目标脸部图像。
在一个实施例中，融合单元还用于根据脸部掩膜从第一调整脸部图像中确定感兴趣区域，计算感兴趣区域的第一梯度场和第二脸部图像的第二梯度场；根据第一梯度场和第二梯度场确定融合梯度场，使用融合梯度场计算融合散度场；基于融合散度场确定第二融合像素值，根据第二融合像素值得到目标脸部图像。
在一个实施例中，脸部图像处理装置1900，还包括：
数据获取模块，用于获取真实脸部图像数据集和目标脸部图像数据集，目标脸部图像数据集中的各个目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像生成的，将目标脸部图像数据集作为当前脸部图像数据集。
模型训练模块，用于将真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型；
模型测试模块，用于获取测试脸部图像数据，使用测试脸部图像数据测试当前脸部检测模型，得到当前脸部检测模型对应的准确性，测试脸部图像数据与真实脸部图像数据集为不同数据集；
更新数据获取模块，用于当准确性小于预设准确性阈值时，获取更新目标脸部图像数据集，更新目标脸部图像数据集包括目标脸部图像数据集中的各个目标脸部图像和各个更新目标脸部图像，各个更新目标脸部图像是使用真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像重新生成的；
迭代循环模块，用于将更新目标脸部图像数据集作为当前脸部图像数据集，返回将真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型的步骤执行，直到准确性超过预设准确性阈值时，将得到的当前脸部检测模型作为脸部检测模型。
在一个实施例中，脸部图像处理装置1900，还包括：
图像检测模块，用于获取待检测脸部图像，将待检测脸部图像输入到脸部检测模型中进行检测，得到检测结果，当检测结果为非真实脸部图像时，生成报警信息。
关于脸部图像处理装置的具体限定可以参见上文中对于脸部图像处理方法的限定，在此不再赘述。上述脸部图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图20所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标脸部图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种脸部图像处理方法。
本领域技术人员可以理解，图20中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种脸部图像处理方法，其特征在于，所述方法包括：
获取第一脸部图像和第二脸部图像，所述第一脸部图像和所述第二脸部图像是包含真实脸部的图像；
对所述第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
根据所述第二脸部图像的颜色分布调整所述第一更新脸部图像的颜色分布，得到第一调整脸部图像；
获取所述第一脸部图像的目标脸部掩膜，所述目标脸部掩膜是对所述第一脸部图像的脸部区域进行随机变形生成的；
根据所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
使用高斯函数计算所述第一脸部图像中像素点的权重，得到像素点模糊权重矩阵；
根据所述第一脸部图像中像素点的原始像素值和所述像素点模糊权重矩阵计算得到所述像素点的模糊像素值，生成所述第一更新脸部图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一脸部图像的进行处理，生成具有非真实脸部图像特性的第一更新脸部图像，包括：
获取压缩率，使用所述压缩率将所述第一脸部图像进行压缩，得到压缩后的第一脸部图像；
将所述压缩后的第一脸部图像作为所述具有非真实脸部图像特性的第一更新脸部图像。
4.根据权利要求1所述的方法，其特征在于，所述获取所述第一脸部图像的目标脸部掩膜，所述目标脸部掩膜是对所述第一脸部图像的脸部区域进行随机变形生成的，包括：
提取所述第一脸部图像中的脸部关键点，根据所述脸部关键点确定所述第一脸部图像的脸部区域；
随机调整所述第一脸部图像的脸部区域中脸部关键点位置，得到变形后的脸部区域，根据变形后的脸部区域生成目标脸部掩膜。
5.根据权利要求1所述的方法，其特征在于，在所述获取所述第一脸部图像的目标脸部掩膜，所述目标脸部掩膜是对所述第一脸部图像的脸部区域进行随机变形生成的之后，还包括：
对所述第二脸部图像进行脸部遮挡检测，得到脸部遮挡区域；
根据所述脸部遮挡区域调整所述目标脸部掩膜，得到调整脸部掩膜；
所述根据所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像，包括：
根据所述调整脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述脸部遮挡区域调整所述目标脸部掩膜，得到调整脸部掩膜，包括：
计算所述目标脸部掩膜中像素点掩膜值与所述脸部遮挡区域中像素点遮挡值的差值，将所述差值作为所述掩膜调整值；
根据所述掩膜调整值得到所述调整脸部掩膜。
7.根据权利要求1所述的方法，其特征在于，根据所述第二脸部图像的颜色分布调整所述第一更新脸部图像的颜色分布，得到第一调整脸部图像，包括：
获取目标颜色调整算法标识，根据所述目标颜色调整算法标识调用目标颜色调整算法，所述目标颜色调整算法包括颜色迁移算法和颜色匹配算法中的至少一种；
基于所述目标颜色调整算法将所述第一更新脸部图像的颜色分布调整至与所述第二脸部图像的颜色分布一致，得到第一调整脸部图像。
8.根据权利要求1所述的方法，其特征在于，根据所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像，包括：
获取目标图像融合算法标识，根据所述目标图像融合算法标识调用目标图像融合算法；所述目标图像融合算法包括透明混合算法、泊松融合算法和神经网络算法中的至少一种；
使用所述目标图像融合算法基于所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像。
9.根据权利要求8所述的方法，其特征在于，所述使用所述目标图像融合算法基于所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像，包括：
根据所述目标脸部掩膜从所述第一调整脸部图像中确定第一调整脸部区域；
将所述第一调整脸部区域融合到所述第二脸部图像中脸部区域位置处，得到所述目标脸部图像。
10.根据权利要求8所述的方法，其特征在于，所述使用所述目标图像融合算法基于所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像，包括：
根据所述目标脸部掩膜从所述第一调整脸部图像中确定感兴趣区域，计算所述感兴趣区域的第一梯度场和所述第二脸部图像的第二梯度场；
根据所述第一梯度场和所述第二梯度场确定融合梯度场，使用所述融合梯度场计算融合散度场；
基于所述融合散度场确定第二融合像素值，根据所述第二融合像素值得到所述目标脸部图像。
11.根据权利要求1所述的方法，其特征在于，所述目标脸部图像用于训练脸部检测模型，所述脸部检测模型用于检测脸部图像的真实性。
12.根据权利要求11所述的方法，其特征在于，所述脸部检测模型的训练包括以下步骤：
获取真实脸部图像数据集和目标脸部图像数据集，所述目标脸部图像数据集中的各个目标脸部图像是使用所述真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像生成的；
将所述目标脸部图像数据集作为当前脸部图像数据集，将所述真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将所述当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型；
获取测试脸部图像数据，使用测试脸部图像数据测试所述当前脸部检测模型，得到所述当前脸部检测模型对应的准确性，所述测试脸部图像数据与所述真实脸部图像数据集为不同数据集；
当所述准确性小于预设准确性阈值时，获取更新目标脸部图像数据集，所述更新目标脸部图像数据集包括所述目标脸部图像数据集中的各个目标脸部图像和各个更新目标脸部图像，所述各个更新目标脸部图像是使用所述真实脸部图像数据集中不同的第一真实脸部图像和第二真实脸部图像重新生成的；
将所述更新目标脸部图像数据集作为当前脸部图像数据集，返回将所述真实脸部图像数据集中各个真实脸部图像作为正样本数据，并将所述当前脸部图像数据集中各个当前脸部图像作为负样本数据，使用深度神经网络算法进行训练，得到当前脸部检测模型的步骤执行，直到所述准确性超过所述预设准确性阈值时，将得到的当前脸部检测模型作为所述脸部检测模型。
13.一种脸部图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取第一脸部图像和第二脸部图像，所述第一脸部图像和所述第二脸部图像是包含真实脸部的图像；
图像处理模块，用于对所述第一脸部图像进行处理，生成具有非真实脸部图像特性的第一更新脸部图像；
颜色调整模块，用于根据所述第二脸部图像的颜色分布调整所述第一更新脸部图像的颜色分布，得到第一调整脸部图像；
掩膜获取模块，用于获取所述第一脸部图像的目标脸部掩膜，所述目标脸部掩膜是对所述第一脸部图像的脸部区域进行随机变形生成的；
图像融合模块，用于根据所述目标脸部掩膜将所述第一调整脸部图像与所述第二脸部图像进行融合，得到目标脸部图像，所述目标脸部图像用于训练脸部检测模型，所述脸部检测模型用于检测脸部图像的真实性。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202010730209.9A 2020-07-27 2020-07-27 脸部图像处理方法、装置、计算机设备和存储介质 Active CN111754396B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010730209.9A CN111754396B (zh) 2020-07-27 2020-07-27 脸部图像处理方法、装置、计算机设备和存储介质
PCT/CN2021/100912 WO2022022154A1 (zh) 2020-07-27 2021-06-18 脸部图像处理方法、装置、设备及存储介质
US17/989,169 US20230085605A1 (en) 2020-07-27 2022-11-17 Face image processing method, apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010730209.9A CN111754396B (zh) 2020-07-27 2020-07-27 脸部图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111754396A true CN111754396A (zh) 2020-10-09
CN111754396B CN111754396B (zh) 2024-01-09

Family

ID=72712070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010730209.9A Active CN111754396B (zh) 2020-07-27 2020-07-27 脸部图像处理方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20230085605A1 (zh)
CN (1) CN111754396B (zh)
WO (1) WO2022022154A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383765A (zh) * 2020-11-10 2021-02-19 中移雄安信息通信科技有限公司 一种vr图像传输方法及装置
CN112541926A (zh) * 2020-12-15 2021-03-23 福州大学 一种基于改进FCN和DenseNet的歧义像素优化分割方法
CN112598580A (zh) * 2020-12-29 2021-04-02 广州光锥元信息科技有限公司 提升人像照片清晰度的方法及装置
CN113344832A (zh) * 2021-05-28 2021-09-03 杭州睿胜软件有限公司 图像处理方法及装置、电子设备和存储介质
WO2022022154A1 (zh) * 2020-07-27 2022-02-03 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备及存储介质
CN114140319A (zh) * 2021-12-09 2022-03-04 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
CN115187446A (zh) * 2022-05-26 2022-10-14 北京健康之家科技有限公司 换脸视频的生成方法、装置、计算机设备及可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941844B2 (en) * 2020-08-05 2024-03-26 Ubtech Robotics Corp Ltd Object detection model generation method and electronic device and computer readable storage medium using the same
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN114724218A (zh) * 2022-04-08 2022-07-08 北京中科闻歌科技股份有限公司 视频检测方法、装置、设备及介质
CN115861122A (zh) * 2022-12-26 2023-03-28 北京字跳网络技术有限公司 脸部图像处理方法、装置、计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2315430A2 (en) * 2009-10-23 2011-04-27 Sony Corporation Image processing apparatus and image processing method
US20160127359A1 (en) * 2014-11-01 2016-05-05 RONALD Henry Minter Compliant authentication based on dynamically-updated crtedentials
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN109003282A (zh) * 2018-07-27 2018-12-14 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
CN109191410A (zh) * 2018-08-06 2019-01-11 腾讯科技（深圳）有限公司 一种人脸图像融合方法、装置及存储介质
CN109829930A (zh) * 2019-01-15 2019-05-31 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
CN110399849A (zh) * 2019-07-30 2019-11-01 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110458781A (zh) * 2019-08-14 2019-11-15 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN111242852A (zh) * 2018-11-29 2020-06-05 奥多比公司 边界感知对象移除和内容填充
CN111325657A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111353392A (zh) * 2020-02-18 2020-06-30 腾讯科技（深圳）有限公司 换脸检测方法、装置、设备及存储介质
CN111368796A (zh) * 2020-03-20 2020-07-03 北京达佳互联信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978754A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111754396B (zh) * 2020-07-27 2024-01-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2315430A2 (en) * 2009-10-23 2011-04-27 Sony Corporation Image processing apparatus and image processing method
US20160127359A1 (en) * 2014-11-01 2016-05-05 RONALD Henry Minter Compliant authentication based on dynamically-updated crtedentials
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN109003282A (zh) * 2018-07-27 2018-12-14 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
CN109191410A (zh) * 2018-08-06 2019-01-11 腾讯科技（深圳）有限公司 一种人脸图像融合方法、装置及存储介质
CN111242852A (zh) * 2018-11-29 2020-06-05 奥多比公司 边界感知对象移除和内容填充
CN109829930A (zh) * 2019-01-15 2019-05-31 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
CN110399849A (zh) * 2019-07-30 2019-11-01 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110458781A (zh) * 2019-08-14 2019-11-15 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN111325657A (zh) * 2020-02-18 2020-06-23 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111353392A (zh) * 2020-02-18 2020-06-30 腾讯科技（深圳）有限公司 换脸检测方法、装置、设备及存储介质
CN111368796A (zh) * 2020-03-20 2020-07-03 北京达佳互联信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李旭嵘;于鲲;: "一种基于双流网络的Deepfakes检测技术", 信息安全学报, no. 02, pages 89 - 96 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022022154A1 (zh) * 2020-07-27 2022-02-03 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备及存储介质
CN112383765A (zh) * 2020-11-10 2021-02-19 中移雄安信息通信科技有限公司 一种vr图像传输方法及装置
CN112541926A (zh) * 2020-12-15 2021-03-23 福州大学 一种基于改进FCN和DenseNet的歧义像素优化分割方法
CN112541926B (zh) * 2020-12-15 2022-07-01 福州大学 一种基于改进FCN和DenseNet的歧义像素优化分割方法
CN112598580A (zh) * 2020-12-29 2021-04-02 广州光锥元信息科技有限公司 提升人像照片清晰度的方法及装置
CN112598580B (zh) * 2020-12-29 2023-07-25 广州光锥元信息科技有限公司 提升人像照片清晰度的方法及装置
CN113344832A (zh) * 2021-05-28 2021-09-03 杭州睿胜软件有限公司 图像处理方法及装置、电子设备和存储介质
CN114140319A (zh) * 2021-12-09 2022-03-04 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
CN115187446A (zh) * 2022-05-26 2022-10-14 北京健康之家科技有限公司 换脸视频的生成方法、装置、计算机设备及可读存储介质

Also Published As

Publication number Publication date
WO2022022154A1 (zh) 2022-02-03
US20230085605A1 (en) 2023-03-16
CN111754396B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN110490212B (zh) 钼靶影像处理设备、方法和装置
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110866509B (zh) 动作识别方法、装置、计算机存储介质和计算机设备
CN112084917B (zh) 一种活体检测方法及装置
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN114092833B (zh) 遥感图像分类方法、装置、计算机设备和存储介质
CN111768336A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110222718A (zh) 图像处理的方法及装置
CN115249306B (zh) 图像分割模型训练方法、图像处理方法、装置及存储介质
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN114677611B (zh) 数据识别方法、存储介质及设备
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030053

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant