CN110175961B - 一种基于人脸图像分割对抗思想的去网纹方法 - Google Patents

一种基于人脸图像分割对抗思想的去网纹方法 Download PDF

Info

Publication number
CN110175961B
CN110175961B CN201910427253.XA CN201910427253A CN110175961B CN 110175961 B CN110175961 B CN 110175961B CN 201910427253 A CN201910427253 A CN 201910427253A CN 110175961 B CN110175961 B CN 110175961B
Authority
CN
China
Prior art keywords
face image
image
loss
descreening
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910427253.XA
Other languages
English (en)
Other versions
CN110175961A (zh
Inventor
汪东华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atcity Information Technology Co ltd
Original Assignee
Atcity Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atcity Information Technology Co ltd filed Critical Atcity Information Technology Co ltd
Priority to CN201910427253.XA priority Critical patent/CN110175961B/zh
Publication of CN110175961A publication Critical patent/CN110175961A/zh
Application granted granted Critical
Publication of CN110175961B publication Critical patent/CN110175961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸图像分割对抗思想的去网纹方法，包括采用对抗思想的网纹图像生成技术、基于分割思想的图像网纹去除技术。本专利采用深度神经网络：分割网络和对抗网络分别训练去网纹模型，以便于更好地实现对网纹图像的去除。本发明主要解决采用以上方法，在去除网纹的同时，保证人脸图像的清晰度，从而进一步提高网纹照的人脸识别准确率，因此具有重要的现实意义。

Description

一种基于人脸图像分割对抗思想的去网纹方法
技术领域
本发明涉及一种人脸识别技术，尤其涉及一种基于人脸图像分割对抗思想的去网纹方法。
背景技术
人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流，首先判断 其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要 面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征， 并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包 括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别 预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认 或者身份查找的技术或系统。
人脸识别技术由于非接触性和高识别率的特点，在当前安防、认证、交易和反 恐等领域获得了广泛的应用。特别是在生活中，比如买票或者入住酒店时，都需要 对目标人脸和证照库中人脸进行识别比对，这大大提高了人脸识别的可用范围，丰 富了其应用场景。但在实际应用中，往往存在这样一种技术上的挑战：为防止证照 被滥用，从保护隐私的角度出发，公安机关会在原始证照图像的基础上增加随机网 纹；因此，酒店、机场、车站等场所获取的证照人脸图像并非原始人脸图像，而是 公安机关发布的经过打网纹后的人脸图像，这对人脸识别的准确性带来了极大的挑 战，若网纹效果去除不佳，一方面网纹的存在影响人脸特征的提取，另一方面去网 纹的同时有可能模糊了人脸，会大大降低人脸识别的精度。
基于上述技术，本发明提供一种基于人脸图像分割对抗思想的去网纹方法，通 过使用该方法使得去除网纹的同时，保证人脸图像的清晰度，以提高网纹照的人脸 识别准确率。
发明内容
本发明所要解决的技术问题是提供一种基于人脸图像分割对抗思想的去网纹 方法，提高网纹照中人脸识别准确率，以解决背景技术中的问题。
为了解决上述问题，本发明提供了一种基于人脸图像分割对抗思想的去网纹方法，包括如下步骤：
Step1：采集包含人像面在内的身份证信息，通过人脸检测方法提取出身份证 信息中的原始人脸图像，且只保留人脸区域，以便于去除不感兴趣背景区域造成的 影响；同时对检测到的原始人脸图像进行打标签，确认唯一ID，为后续生成对应 网纹人脸图像做准备；
Step2：设计随机网纹生成算法，与Step1中检测到的原始人脸图像进行融合 生成网纹人脸图像，并通过对抗生成网络生成多样网纹图像进行验证；
Step3：采用基于深度学习的图像分割算法模型，以Inception为基础网络结 构构建去网纹网络模型；将Step1中获取的原始人脸图像与Step2中生成的网纹人 脸图像输送到去网纹模型中训练，输出去除网纹后的人脸图像。
其中，在上述Step1中，采集获取包括人像面的身份证照片，可通过手机拍摄、 电脑摄像头拍摄、外设软件拍摄的方式在线/离线获取居民身份证图像。
其中，在上述Step1中，原始人脸图像的获取采用haar特征，Adaboost级联 算法，对身份证原始图像进行人脸检测，获得只包含人脸区域的人脸图像。
其中，在上述Step2中，设计的随机网络生成算法，包括不同粗细的网纹线， 模糊化、正余弦变换、透射变换和角度倾斜、翻转在内的多种操作的集合，以满足 不同类型和不同质量的网纹图像。
其中，在上述Step3中，基于深度学习的分割模型为改进的Unet分割网络。
其中，在上述Step3中，输入的原始人脸图像与网纹人脸图像为同一人的人脸 图像，且其在训练时的缩放比例相同，作为一组图像对进行训练。
其中，在上述Step3中，去网纹网络模型采用由像素级损失和特征级损失构成 的双损失函数设计，以梯度下降法作为优化方法对损失函数进行优化求解。
本发明还提供一种网纹人脸图像生成方法，以实现前述去网纹方法步骤Step1 与Step2中的网纹人脸图像生成，包括如下步骤：
StepA：生成横向基础网纹线1：
x＝rand(1，5)+sin(rand(4，6)*i)+rand(1，5)*(j-2*rand()) 公式1
StepB：生成纵向基础网纹线2：
y＝rand(1，5)+sin(-rand(4，6)*i)+rand(1，5)*(j+2*rand()) 公式2
其中，i∈[0，10：1000]，j∈[0，1，2，3]
StepC：组合StepA和StepB的网纹线，绘制形成交叉状不规则网纹网格，并 与不含网纹人脸图像进行像素叠加融合，形成网纹人脸图像：
fusion_image＝plt(ori_image，[x，y]) 公式3
StepD：对网纹掩模进行膨胀操作，通过不同膨胀次数生成不同粗细的网纹图 像：
dilate_data＝dilate(mesh_data，n) 公式4
其中：n∈[1，2，3，4，5]表示膨胀次数，次数越多，网纹线越粗；
StepE：进行模糊操作，模拟实际中不同质量的图像，对图像进行模糊化处理， 逼近真实的图像质量：
blur_data＝function(mesh_data) 公式5
其中：function∈[mean_filter,median_filter,gaussian_filter,low_pass_filter]分 别取均值滤波、中值滤波、高斯滤波和低通滤波之一，得到不同模糊化效果；
StepF：进行形状变换，生成不同角度、不同形变和姿态的网纹样例，丰富训 练用网纹数据：
trans_data＝function(mesh_data) 公式6
其中：function∈[sin_cos_trans，perspective_trans，rotate_trans，flip_trans]分别表 示取正余弦变换、透射变换、角度倾斜和翻转等操作；
StepG：利用生成式对抗网络(GAN)，以设计的生成网纹图像作为网络输入， 表示真实的数据分布，利用生成网络G将随机噪声生成模拟网纹图像，采用判别 网络D判别生成网纹图像的质量，通过不断的训练G网络和D网络，最终使得模拟 生成网纹图像的分布近似拟合原始输入真实的网纹图像数据分布，此时生成器生成 的网纹人脸图像数据将作为网纹去除结果的测试样例。
本发明还提供一种去网纹网络模型构建方法，以实现前述去网纹方法步骤 Step3中的网纹人脸图像去网纹，包括如下步骤：
StepI：定义去网纹网络模型结构，采用全卷积形式，经过反复的卷积、池化、 激活函数操作，输出所需的特征图，用于表征原始人脸图像特征；
StepII：采用反卷积进行逆卷积操作，允许更多原图像纹理信息在高维特征 图中进行传播，使从StepI获取的特征图恢复出与原始人脸图像尺寸同样大小的分 辨率；
StepIII：定义损失函数，包括像素级损失和特征级损失：
对于像素级损失：网络最后一层对每个像素点都将进行损失函数的计算，损失 函数定义如下：
Figure BDA0002067873930000031
其中，loss1为像素级损失，p(x)为去网纹模型预测去网纹后得到的结果图像， p(y)为原始人脸图像采用均方差进行损失计算，为优化权重w防止过拟合，采用了 L1正则化手段；
对于特征级损失，取StepII中高维特征后的输出结果comb_map1和comb_map2 构成，定义如下：
Figure BDA0002067873930000032
其中，Feature(x)为网纹人脸图像分别计算网纹图像相邻卷积层高维特征融合后得到的comb_map1(简称cm1)与comb_map2(简称cm2)构成的特征向量， Feature(y)为原始人脸图像经过卷积后得到同样尺寸大小的特征向量；
与此同时，总损失由像素级损失loss1和特征级损失loss2级联融合不同权重 叠加而成，既考虑像素级损失又考虑中间特征损失，避免了池化过程中的信息损失， 定义如下：
total_loss＝(α)*loss1+(1-α)*loss2 公式9
其中α默认取0.9，表示取90％的像素级权重信息和10％的特征级权重信息。
其中，损失函数为以原始网纹脸图像和去除网纹后人脸图像的像素级差异，采 样梯度下降法对损失函数进行优化求解，得到网络模型的权重参数信息，迭代训练， 直到满足以下条件之一：
①损失值小于指定阈值T；
②迭代次数满足设定次数N；
则训练结束，保存训练得到的权重参数即为最终结果。
通过实施上述本发明提供的基于人脸图像分割对抗思想的去网纹方法，具有如下技术效果：
(1)本发明技术中在进行原始人像采集时，只保留人脸区域，有效避免不感 兴趣背景区域造成的影响，提高识别准确率；
(2)本发明通过对抗生成网络生成更加多样性的网纹图像，有效增广网纹人 脸图像的多样性，有利于验证评价去网纹模型的真实效果，提高识别的准确率；
(3)本发明利用训练得到的权重参数模型，对未知网纹图像进行预测推演， 得到去除网纹后的清晰人脸图像，进而执行人脸识别，有效提高人脸识别的准确率。
附图说明
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明， 以充分地了解本发明的目的、特征和效果。
图1是本发明具体实施方式中去网纹方法总体流程图；
图2是本发明具体实施方式中获取原始人脸图像的方法架构示意图；
图3是本发明具体实施方式中生成网纹人脸图像的方法架构示意图；
图4是本发明具体实施方式中随机网纹生成算法生成多姿态网纹网格架构示 意图；
图5是本发明具体实施方式中采用生成式对抗网络生成用于验证算法模型效 果的生成网纹图像数据集示意图；
图6是本发明具体实施方式中去网纹网络模型结构示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本发明保护的范围。
下面采用具体实施方式详细描述本发明的技术方案。
如图1所示是本具体实施方式中提供的一种基于人脸图像分割对抗思想的去 网纹方法总体流程图，包括如下步骤：
Step1：结合图2所示，通过手机拍摄、电脑摄像头拍摄、外设软件拍摄的方 式在线/离线获取居民身份证图像，以采集包含人像面在内的身份证信息；原始人 脸图像的获取采用haar特征，Adaboost级联算法，通过人脸检测方法提取出身份 证信息中的原始人脸图像，且只保留人脸区域，以便于去除不感兴趣背景区域造成 的影响；同时对检测到的原始人脸图像进行打标签，确认唯一ID，为后续生成对 应网纹人脸图像做准备；
Step2：结合图3所示，设计随机网纹生成算法，包括不同粗细的网纹线，模 糊化、正余弦变换、透射变换和角度倾斜、翻转在内的多种操作的集合，以满足不 同类型和不同质量的网纹图像，与Step1中检测到的原始人脸图像进行融合生成网 纹人脸图像；并结合图4所示，通过对抗生成网络生成多姿态网纹图像进行验证；
Step3：采用基于改进的Unet分割网络算法模型，以Inception为基础网络结 构构建去网纹网络模型；将Step1中获取的原始人脸图像与Step2中生成的网纹人 脸图像输送到去网纹模型中训练，输出去除网纹后的人脸图像。
其中，在上述Step3中，输入的原始人脸图像与网纹人脸图像为同一人的人脸 图像，且其在训练时的缩放比例相同，作为一组图像对进行训练。
其中，在上述Step3中，去网纹网络模型采用由像素级损失和特征级损失构成 的双损失函数设计，以梯度下降法作为优化方法对损失函数进行优化求解。
其中，结合图3所示的网纹人脸图像生成方法，以实现前述去网纹方法步骤 Step1与Step2中的网纹人脸图像生成，包括如下步骤：
StepA：生成横向基础网纹线1：
x＝rand(1，5)+sin(rand(4，6)*i)+rand(1，5)*(j-2*rand()) 公式1
StepB：生成纵向基础网纹线2：
y＝rand(1，5)+sin(-rand(4，6)*i)+rand(1，5)*(j+2*rand()) 公式2
其中，i∈[0，10：1000]，j∈[0，1，2，3]
StepC：组合StepA和StepB的网纹线，绘制形成交叉状不规则网纹网格，并 与不含网纹人脸图像进行像素叠加融合，形成网纹人脸图像：
fusion_image＝plt(ori_image，[x，y]) 公式3
StepD：对网纹掩模进行膨胀操作，通过不同膨胀次数生成不同粗细的网纹图 像：
dilate_data＝dilate(mesh_data，n) 公式4
其中：n∈[1，2，3，4，5]表示膨胀次数，次数越多，网纹线越粗；
StepE：进行模糊操作，模拟实际中不同质量的图像，对图像进行模糊化处理， 逼近真实的图像质量：
blur_data＝function(mesh_data) 公式5
其中：function∈[mean_filter,median_filter,gaussian_filter,low_pass_filter]分 别取均值滤波、中值滤波、高斯滤波和低通滤波之一，得到不同模糊化效果；
StepF：进行形状变换，生成不同角度、不同形变和姿态的网纹样例，丰富训 练用网纹数据：
trans_data＝function(mesh_data) 公式6
其中：function∈[sin_cos_trans，perspective_trans，rotate_trans，flip_trans]分别表 示取正余弦变换、透射变换、角度倾斜和翻转等操作；
StepG：结合图5所示，利用生成式对抗网络(GAN)，以设计的生成网纹图像 作为网络输入，表示真实的数据分布，利用生成网络G将随机噪声生成模拟网纹 图像，采用判别网络D判别生成网纹图像的质量，通过不断的训练G网络和D网络， 最终使得模拟生成网纹图像的分布近似拟合原始输入真实的网纹图像数据分布，此 时生成器生成的网纹人脸图像数据将作为网纹去除结果的测试样例。
其中，结合图6所示的去网纹网络模型构建方法，以实现前述去网纹方法步骤Step3中的网纹人脸图像去网纹，包括如下步骤：
StepI：定义去网纹网络模型结构，采用全卷积形式，经过反复的卷积、池化、 激活函数操作，输出所需的特征图，用于表征原始人脸图像特征；
①具体输入shape为：
input＝[batch_size＝32，width＝220，height＝220，channel＝3]
②经过卷积、池化、激活函数操作，输出第一个特征图为：
feature_map1＝[batch_size，width/2，height/2，channel＝64]
③经过卷积、池化、激活函数操作，输出第二个特征图为：
feature_map2＝[batch_size，width/4，height/4，channel＝128]
④经过卷积、池化、激活函数操作，输出第三个特征图为：
feature_map3＝[batch_size，width/8，height/8，channel＝256]
⑤经过卷积、池化、激活函数操作，输出第四个特征图为：
feature_map4＝[batch_size，width/16，height/16，channel＝512]
经过以上操作，原始图像尺寸从[220，220，3]-＞[14，14，512]，获得512个14*14大小的特征图，用于表征原始220*220*3的图像特征；
StepII：采用反卷积进行逆卷积操作，允许更多原图像纹理信息在高维特征 图中进行传播，使从StepI获取的特征图恢复出与原始人脸图像尺寸同样大小的分 辨率，具体包括如下步骤：
⑥对feature_map4进行反卷积上采样，恢复得到feature_map3相同尺寸， 并利用原始feature_map3的特征通道，使之允许更多原图像纹理信息在高维特征 图中进行传播：
comb_map1＝[batch_size，width/8，height/8，channel＝256]
⑦与⑥中类似，com_map1结合feature_map2中的特征通道，输出：
comb_map2＝[batch_size，width/4，height/4，channel＝128]
⑧与⑦中类似，com_map2结合feature_map1中的特征通道，输出：
comb_map3＝[batch_size，width/2，height/2，channel＝64]
⑨最后借助反卷积和1*1卷积降维，输出与原始输入相同尺寸的预测结果：
predict＝[batch_size，width，height，channel＝3]
StepIII：结合图5，定义损失函数，包括像素级损失和特征级损失：
对于像素级损失：网络最后一层对每个像素点都将进行损失函数的计算，损失 函数定义如下：
Figure BDA0002067873930000071
其中，loss1为像素级损失，p(x)为去网纹模型预测去网纹后得到的结果图像， p(y)为原始人脸图像采用均方差进行损失计算，为优化权重w防止过拟合，采用了 L1正则化手段；
对于特征级损失，取StepII中高维特征后的输出结果comb_map1和comb_map2 构成，定义如下：
Figure BDA0002067873930000072
其中，Feature(x)为网纹人脸图像分别计算网纹图像融合后得到的
comb_map1(简称cm1)与comb_map2(简称cm2)构成的特征向量，Feature(y) 为原始人脸图像经过卷积后得到同样尺寸大小的特征向量；
与此同时，总损失由像素级损失loss1和特征级损失loss2级联融合不同权重 叠加而成，既考虑像素级损失又考虑中间特征损失，避免了池化过程中的信息损失， 定义如下：
total_loss＝(α)*loss1+(1-α)*loss2 公式9
其中α默认取0.9，表示取90％的像素级权重信息和10％的特征级权重信息。
其中，损失函数为以原始网纹脸图像和去除网纹后人脸图像的像素级差异，采 样梯度下降法对损失函数进行优化求解，得到网络模型的权重参数信息，迭代训练， 直到满足以下条件之一：
①损失值小于指定阈值T；
②迭代次数满足设定次数N；
则训练结束，保存训练得到的权重参数即为最终结果。
需要补充说明的是，除非另作定义，此处使用的技术术语或者科学术语应当为 本发明所属领域内具有一般技能的人士所理解的通常意义。本领域技术人员在考虑 说明书及实践这里的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖 本发明的任何用途或者适应性变化，这些用途或者适应性变化遵循本发明的一般性 原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实 施例仅被视为示例性的，本发明的真正范围和精神由权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的结构，并且 可以在不脱离其范围的前提下进行各种修改和改变。本发明的范围仅由所附的权利 要求书来限制。

Claims (10)

1.一种网纹人脸图像生成方法，其特征在于，包括如下步骤：
StepA：生成横向基础网纹线1：
x＝rand(1,5)+sin(rand(4,6)*i)+rand(1,5)*(j-2*rand()) 公式1
StepB：生成纵向基础网纹线2：
y＝rand(1,5)+sin(-rand(4,6)*i)+rand(1,5)*(j+2*rand()) 公式2
其中，i∈[0,10:1000],j∈[0,1,2,3]
StepC：组合StepA和StepB的网纹线，绘制形成交叉状不规则网纹网格，并与不含网纹人脸图像进行像素叠加融合，形成网纹人脸图像：
fusion_image＝plt(ori_image,[x,y]) 公式3
StepD：对网纹掩模进行膨胀操作，通过不同膨胀次数生成不同粗细的网纹图像：
dilate_data＝dilate(mesh_data,n) 公式4
其中：n∈[1,2,3,4,5]表示膨胀次数，次数越多，网纹线越粗；
StepE：进行模糊操作，模拟实际中不同质量的图像，对图像进行模糊化处理，逼近真实的图像质量：
blur_data＝function(mesh_data) 公式5
其中：
function∈[mean_filter,median_filter,gaussian_filter,low_pass_filter]分别取均值滤波、中值滤波、高斯滤波和低通滤波之一，得到不同模糊化效果；
StepF：进行形状变换，生成不同角度、不同形变和姿态的网纹样例，丰富训练用网纹数据：
trans_data＝function(mesh_data) 公式6
其中：function∈[sin_cos_trans,perspective_trans,rotate_trans,flip_trans]分别表示取正余弦变换、透射变换、角度倾斜和翻转操作；
StepG：利用生成式对抗网络，以设计的生成网纹人脸图像作为网络输入，表示真实的数据分布，利用生成网络G将随机噪声生成模拟网纹人脸图像，采用判别网络D判别生成网纹人脸图像的质量，通过不断的训练G网络和D网络，最终使得模拟生成网纹人脸图像的分布近似拟合原始输入真实的网纹人脸图像数据分布，此时生成器生成的网纹人脸图像数据将作为网纹去除结果的测试样例。
2.一种基于人脸图像分割对抗思想的去网纹方法，其特征在于，包括如下步骤：
Step1：采集包含人像面在内的身份证信息，通过人脸检测方法提取出身份证信息中的原始人脸图像，且只保留人脸区域；同时对检测到的原始人脸图像进行打标签，确认唯一ID；
Step2：通过上述权利要求1所述网纹人脸图像生成方法，与Step1中检测到的原始人脸图像进行融合生成网纹人脸图像；
Step3：采用基于深度学习的图像分割算法模型，以Inception为基础网络结构构建去网纹网络模型；将Step1中获取的原始人脸图像与Step2中生成的网纹人脸图像输送到去网纹模型中训练，输出去除网纹后的人脸图像。
3.如权利要求2所述的去网纹方法，其特征在于，在前述Step1中，采集获取包括人像面的身份证照片,通过手机拍摄、电脑摄像头拍摄、外设软件拍摄的方式在线和/或离线获取居民身份证图像。
4.如权利要求2所述的去网纹方法，其特征在于，在前述Step1中，原始人脸图像的获取采用haar特征，Adaboost级联算法，对身份证原始图像进行人脸检测，获得只包含人脸区域的人脸图像。
5.如权利要求2所述的去网纹方法，其特征在于，在前述Step2中，设计的随机网络生成算法，包括不同粗细的网纹线，模糊化、正余弦变换、透射变换和角度倾斜、翻转在内的多种操作的集合，以满足不同类型和不同质量的网纹图像。
6.如权利要求2所述的去网纹方法，其特征在于，在前述Step3中，基于深度学习的分割模型为改进的Unet分割网络。
7.如权利要求2所述的去网纹方法，其特征在于，在前述Step3中，输入的原始人脸图像与网纹人脸图像为同一人的人脸图像，且其在训练时的缩放比例相同，作为一组图相对进行训练。
8.如权利要求2所述的去网纹方法，其特征在于，在前述Step3中，去网纹网络模型采用由像素级损失和特征级损失构成的双损失函数设计，以梯度下降法作为优化方法对损失函数进行优化求解。
9.一种去网纹网络模型构建方法，以实现前述权利要求2-8中任一项去网纹方法的步骤Step3中的网纹人脸图像去网纹，其特征在于，包括如下步骤：
StepI:定义去网纹网络模型结构，采用全卷积形式，经过反复的卷积、池化、激活函数操作，输出所需的特征图，用于表征原始人脸图像特征；
StepII:采用反卷积进行逆卷积操作,允许更多原图像纹理信息在高维特征图中进行传播，使从StepI获取的特征图恢复出与原始人脸图像尺寸同样大小的分辨率；
StepIII：定义损失函数，包括像素级损失和特征级损失：
对于像素级损失：网络最后一层对每个像素点都将进行损失函数的计算，损失函数的定义为多级联损失的权重叠加，定义如下：
Figure FDA0003029617430000031
其中，loss1为像素级损失，p(x)为去网纹模型预测去网纹后得到的结果图像，p(y)为原始人脸图像采用均方差进行损失计算，为优化权重w防止过拟合，采用了L1正则化手段；
对于特征级损失,取StepII中高维特征后的输出结果comb_map1和comb_map2构成，定义如下：
Figure FDA0003029617430000032
其中，Feature(x)为网纹人脸图像分别计算网纹图像融合后得到的comb_map1与comb_map2构成的特征向量,Feature(y)为原始人脸图像经过卷积后得到同样尺寸大小的特征向量；
与此同时，总损失由像素级损失loss1和特征级损失loss2级联融合不同权重叠加而成，既考虑像素级损失又考虑中间特征损失，避免了池化过程中的信息损失，定义如下：
total_loss＝(α)*loss1+(1-α)*loss2 公式9
其中α默认取0.9，表示取90％的像素级权重信息和10％的特征级权重信息。
10.如权利要求9所述的去网纹网络模型构建方法，其特征在于，损失函数为以原始网纹脸图像和去除网纹后人脸图像的像素级差异，采样梯度下降法对损失函数进行优化求解，得到网络模型的权重参数信息，迭代训练，直到满足以下条件之一：
①损失值小于指定阈值T；
②迭代次数满足设定次数N；
则训练结束，保存训练得到的权重参数即为最终结果。
CN201910427253.XA 2019-05-22 2019-05-22 一种基于人脸图像分割对抗思想的去网纹方法 Active CN110175961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910427253.XA CN110175961B (zh) 2019-05-22 2019-05-22 一种基于人脸图像分割对抗思想的去网纹方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910427253.XA CN110175961B (zh) 2019-05-22 2019-05-22 一种基于人脸图像分割对抗思想的去网纹方法

Publications (2)

Publication Number Publication Date
CN110175961A CN110175961A (zh) 2019-08-27
CN110175961B true CN110175961B (zh) 2021-07-27

Family

ID=67691770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910427253.XA Active CN110175961B (zh) 2019-05-22 2019-05-22 一种基于人脸图像分割对抗思想的去网纹方法

Country Status (1)

Country Link
CN (1) CN110175961B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836701A (zh) * 2019-11-25 2021-05-25 中国移动通信集团浙江有限公司 人脸识别方法、装置及计算设备
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
WO2022213261A1 (zh) * 2021-04-06 2022-10-13 深圳市欢太科技有限公司 图像处理方法及装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备
EP3367296A1 (en) * 2017-02-28 2018-08-29 Fujitsu Limited A computer-implemented method of identifying a perforated face in a geometrical three-dimensional model
CN108734673A (zh) * 2018-04-20 2018-11-02 平安科技（深圳）有限公司 去网纹系统训练方法、去网纹方法、装置、设备及介质
CN109544475A (zh) * 2018-11-21 2019-03-29 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237137B2 (en) * 2016-09-12 2019-03-19 Edward Linn Helvey Remotely assigned, bandwidth-limiting internet access apparatus and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置
EP3367296A1 (en) * 2017-02-28 2018-08-29 Fujitsu Limited A computer-implemented method of identifying a perforated face in a geometrical three-dimensional model
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备
CN108734673A (zh) * 2018-04-20 2018-11-02 平安科技（深圳）有限公司 去网纹系统训练方法、去网纹方法、装置、设备及介质
CN109544475A (zh) * 2018-11-21 2019-03-29 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DeMeshNet：blind face inpainting for deep meshface verification;Zhang S等;《IEEE information forensic and security》;20181231;全文 *
半色调扫描图像的小波去网纹算法;赵蔚等;《计算机工程与应用》;20041231;全文 *

Also Published As

Publication number Publication date
CN110175961A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175961B (zh) 一种基于人脸图像分割对抗思想的去网纹方法
Raza et al. Appearance based pedestrians’ head pose and body orientation estimation using deep learning
CN105518709B (zh) 用于识别人脸的方法、系统和计算机程序产品
CN112084868B (zh) 一种基于注意力机制的遥感图像中目标计数方法
CN108921822A (zh) 基于卷积神经网络的图像目标计数方法
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN107967451A (zh) 一种利用多尺度多任务卷积神经网络对静止图像进行人群计数的方法
CN105844627B (zh) 一种基于卷积神经网络的海面目标图像背景抑制方法
CN109376667A (zh) 目标检测方法、装置及电子设备
Versaci et al. Adaptive image contrast enhancement by computing distances into a 4-dimensional fuzzy unit hypercube
CN106295526B (zh) 车辆图像匹配的方法及装置
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN106203260A (zh) 基于多摄像机监控网络的行人识别与跟踪方法
Kim et al. Infrared variation optimized deep convolutional neural network for robust automatic ground target recognition
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN112215043A (zh) 一种人脸活体检测方法
CN112287802A (zh) 人脸图像检测方法、系统、存储介质及设备
CN106155327A (zh) 手势识别方法和系统
CN103886287B (zh) 一种基于3d投影的跨视角步态识别方法
CN111079626B (zh) 一种活体指纹识别方法、电子设备及计算机可读存储介质
Xu et al. COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences
CN114332739A (zh) 一种基于运动目标检测和深度学习技术的烟雾检测方法
CN112613359B (zh) 用于人员异常行为检测的神经网络的构建方法
CN106650657A (zh) 一种基于全脸二进制匹配的身份验证方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant