CN111209855B - 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法 - Google Patents

一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法 Download PDF

Info

Publication number
CN111209855B
CN111209855B CN202010009318.1A CN202010009318A CN111209855B CN 111209855 B CN111209855 B CN 111209855B CN 202010009318 A CN202010009318 A CN 202010009318A CN 111209855 B CN111209855 B CN 111209855B
Authority
CN
China
Prior art keywords
layer
contour
dense
channel
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010009318.1A
Other languages
English (en)
Other versions
CN111209855A (zh
Inventor
陈波
张勇
冯婷婷
吴思璠
邓媛丹
陈安龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010009318.1A priority Critical patent/CN111209855B/zh
Publication of CN111209855A publication Critical patent/CN111209855A/zh
Application granted granted Critical
Publication of CN111209855B publication Critical patent/CN111209855B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，属于图像处理技术领域。该方法包括获取人脸图像数据集并预处理，构建基于轮廓强化的双通道密集卷积神经网络模型，对双通道密集卷积神经网络模型进行训练，利用训练后的双通道密集卷积神经网络模型进行人脸图像鉴别。本发明通过更有针对性地对图像轮廓特征进行提取，在降低网络参数的同时，能够有效提高分类精度。

Description

一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴 伪方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法。
背景技术
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络有其致命的缺陷，在随着网络层数加深的同时，后面层的神经元会丢失掉前面层的一些关键特征。
传统的DenseNet网络结构，每个层从前面的所有层获得额外的输入，并将自己的特征映射传递到后续的所有层，使用级联方式，使得每一层都在接受来自前几层的“集体知识”，但是这种无差异性的特征保留随着网络深度的增加可能出现边缘特征弱化的情况，因而在细粒度的人脸图像鉴伪领域效果不理想。
发明内容
针对现有图像鉴伪方法中采用传统的DenseNet网络结构存在的上述不足，本发明提供了一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，一方面在保证随着网络层数加深的同时，后层的神经元能有效捕捉到前层传递的特征，另一方面保证特征的传递不丢失在细粒度分类中有效的轮廓特征。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，包括以下步骤：
S1、获取真实和伪造的人脸图像数据集，并对人脸图像进行预处理；
S2、构建基于轮廓强化的双通道密集卷积神经网络模型；
S3、采用步骤S1中预处理后的人脸图像对步骤S2中构建的基于轮廓强化的双通道密集卷积神经网络模型进行训练；
S4、采用步骤S3训练后的基于轮廓强化的双通道密集卷积神经网络模型对待分类人脸图像进行鉴别。
进一步地，所述步骤S2中基于轮廓强化的双通道密集卷积神经网络模型包括主通道和轮廓特征通道，所述主通道用于提取图像整体特征，所述轮廓特征通道用于提取人脸轮廓特征。
进一步地，所述主通道采用DenseNet结构，将网络中的每一层的输出全部连接均作为下一层的输入，并将轮廓特征通道提取的人脸轮廓特征分别添加到DenseNet结构的每一层中，与前一层的输出进行连接，共同作为下一层的输入。
进一步地，所述主通道包括feature层、连接层、整合层、Dense层、全连接层和输出层，所述feature层用于对图像的R、G、B三个通道分别进行特征提取，所述连接层用于对R、G、B三个通道提取的特征进行交叉整合，所述整合层用于将连接层的输出进行整合，所述Dense层用于将轮廓特征通道提取的人脸轮廓特征与整合层整合的图像整体特征进行连接，进一步提取图像特征，所述全连接层用于对Dense层提取的图像特征进行全连接操作，所述输出层用于将全连接层处理后的图像进行输出。
进一步地，所述主通道的Dense层包括4个Dense Block，其中第一个Dense Block包括2个Dense Lyaer和一个transition结构，第二个Dense Block包括3个Dense Lyaer和一个transition结构，第三个Dense Block包括6个Dense Lyaer和一个transition结构，第四个Dense Block包括4个Dense Lyaer和一个transition结构。
进一步地，所述轮廓特征通道采用多个具有小卷积核的卷积层内接最大池化层结构，并在每次提取人脸轮廓特征后将人脸轮廓特征输入到相对应的Dense Block。
本发明具有以下有益效果：本发明通过构建基于轮廓强化的双通道密集卷积神经网络模型，将网络中的每一层的输出全部连接均作为下一层的输入，并将轮廓特征通道提取的人脸轮廓特征与其连接，共同作为下一层网络的输入，并可调整轮廓特征所占权重，让下一层网络在关注图像整体的同时，对轮廓特征的注重性提高，从而实现更有针对性地对图像轮廓特征进行提取，在降低网络参数的同时，能够有效提高分类精度。
附图说明
图1是本发明的基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法流程示意图；
图2是本发明的基于轮廓强化的双通道密集卷积神经网络模型结构示意图；
图3是本发明的Dense层网络结构示意图；
图4是本发明的轮廓特征通道第一层提取到的人脸轮廓特征示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，包括以下步骤S1至S4：
S1、获取真实和伪造的人脸图像数据集，并对人脸图像进行预处理；
在本实施例中，本发明首先获取真实的人脸图像数据和由DeepFake生成的伪造人脸图像数据。
再对获取的人脸图像进行预处理，具体而言，将图片大小统一调整到128×128分辨率，并进行normalize操作。本发明通过normalize操作可以有效地防止过拟合地产生。
S2、构建基于轮廓强化的双通道密集卷积神经网络模型；
在本实施例中，如图2所示，本发明构建的基于轮廓强化的双通道密集卷积神经网络模型包括主通道和轮廓特征通道，主通道用于提取图像整体特征，轮廓特征通道用于提取人脸轮廓特征，并不断将提取到的人脸轮廓特征赋予主通道。
主通道采用DenseNet结构，将网络中的每一层的输出全部连接均作为下一层的输入，并将轮廓特征通道提取的人脸轮廓特征分别添加到DenseNet结构的每一层中，与前一层的输出进行连接，共同作为下一层的输入。
主通道为了进一步提高分类精度，在第一步特征提取中分别对初始人脸图像的R、G、B三色通道进行特征提取，并在其后进行了第一次全连接操作。之后，采用连续的Dense模块，在加深网络的同时，防止低层特征消失。
主通道具体包括feature层、连接层、整合层、Dense层、全连接层和输出层。其中：
feature层用于对图像的R、G、B三个通道分别进行特征提取，其中具体采用3×3的卷积核；
连接层用于对R、G、B三个通道提取的特征进行交叉整合；
整合层用于将连接层的输出进行整合；
Dense层用于将轮廓特征通道提取的人脸轮廓特征与整合层整合的图像整体特征进行连接，进一步提取图像特征；
全连接层用于对Dense层提取的图像特征进行全连接操作；
输出层用于将全连接层处理后的图像进行输出。
如图3所示，主通道的Dense层包括4个Dense Block，其中第一个Dense Block包括2个Dense Lyaer和一个transition结构，第二个Dense Block包括3个Dense Lyaer和一个transition结构，第三个Dense Block包括6个Dense Lyaer和一个transition结构，第四个Dense Block包括4个Dense Lyaer和一个transition结构。Dense Block用于进一步提取图像的特征。
本发明为了着重轮廓特征的提取，在轮廓特征通道中，采用小卷积核加最大池化的方式，有效提取到图像的轮廓特征，如图4所示。
轮廓特征通道具体采用多个具有小卷积核的卷积层内接最大池化层结构，并在每次提取人脸轮廓特征后将人脸轮廓特征输入到相对应的Dense Block。其中具体采用尺寸为3×3的卷积核。
S3、采用步骤S1中预处理后的人脸图像对步骤S2中构建的基于轮廓强化的双通道密集卷积神经网络模型进行训练；
在本实施例中，本发明在对步骤S2中构建的基于轮廓强化的双通道密集卷积神经网络模型进行训练时，采用Adam作为优化器，基本学习率为0.001，batch size设置为8，一共训练100个epoch，然后选取常用的验证精度较好的验证模型进行使用以及测试。
S4、采用步骤S3训练后的基于轮廓强化的双通道密集卷积神经网络模型对待分类人脸图像进行鉴别。
本发明分别对原始视频和c23压缩率的视频截取图像进行模型训练以及测试，测试准确率如表1所示，可以看到准确率有明显提升。
表1、模型测试准确率
模型 raw准确率 c23准确率
原DenseNet121 86.5％ 83％
双通道DenseNet 93.4％ 92％
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，其特征在于，包括以下步骤：
S1、获取真实和伪造的人脸图像数据集，并对人脸图像进行预处理；
S2、构建基于轮廓强化的双通道密集卷积神经网络模型；所述基于轮廓强化的双通道密集卷积神经网络模型包括用于提取图像整体特征的主通道和用于提取人脸轮廓特征的轮廓特征通道，所述主通道采用DenseNet结构，将网络中的每一层的输出全部连接均作为下一层的输入，并将轮廓特征通道提取的人脸轮廓特征分别添加到DenseNet结构的每一层中，与前一层的输出进行连接，共同作为下一层的输入；
S3、采用步骤S1中预处理后的人脸图像对步骤S2中构建的基于轮廓强化的双通道密集卷积神经网络模型进行训练；
S4、采用步骤S3训练后的基于轮廓强化的双通道密集卷积神经网络模型对待分类人脸图像进行鉴别。
2.如权利要求1所述的基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，其特征在于，所述主通道包括feature层、连接层、整合层、Dense层、全连接层和输出层，所述feature层用于对图像的R、G、B三个通道分别进行特征提取，所述连接层用于对R、G、B三个通道提取的特征进行交叉整合，所述整合层用于将连接层的输出进行整合，所述Dense层用于将轮廓特征通道提取的人脸轮廓特征与整合层整合的图像整体特征进行连接，进一步提取图像特征，所述全连接层用于对Dense层提取的图像特征进行全连接操作，所述输出层用于将全连接层处理后的图像进行输出。
3.如权利要求2所述的基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，其特征在于，所述主通道的Dense层包括4个Dense Block，其中第一个Dense Block包括2个Dense Lyaer和一个transition结构，第二个Dense Block包括3个Dense Lyaer和一个transition结构，第三个Dense Block包括6个Dense Lyaer和一个transition结构，第四个Dense Block包括4个Dense Lyaer和一个transition结构。
4.如权利要求3所述的基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法，其特征在于，所述轮廓特征通道采用多个具有小卷积核的卷积层内接最大池化层结构，并在每次提取人脸轮廓特征后将人脸轮廓特征输入到相对应的Dense Block。
CN202010009318.1A 2020-01-06 2020-01-06 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法 Expired - Fee Related CN111209855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010009318.1A CN111209855B (zh) 2020-01-06 2020-01-06 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010009318.1A CN111209855B (zh) 2020-01-06 2020-01-06 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法

Publications (2)

Publication Number Publication Date
CN111209855A CN111209855A (zh) 2020-05-29
CN111209855B true CN111209855B (zh) 2022-03-01

Family

ID=70789486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010009318.1A Expired - Fee Related CN111209855B (zh) 2020-01-06 2020-01-06 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法

Country Status (1)

Country Link
CN (1) CN111209855B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899879A (zh) * 2020-07-31 2020-11-06 罗雄彪 一种眼表疾病自动筛查方法与系统、区块链

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985134B (zh) * 2017-06-01 2021-04-16 重庆中科云从科技有限公司 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
US10769261B2 (en) * 2018-05-09 2020-09-08 Futurewei Technologies, Inc. User image verification
CN109409297B (zh) * 2018-10-30 2021-11-23 咪付（广西）网络技术有限公司 一种基于双通道卷积神经网络的身份识别方法
CN109886190A (zh) * 2019-02-20 2019-06-14 哈尔滨工程大学 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110414350A (zh) * 2019-06-26 2019-11-05 浙江大学 基于注意力模型的双路卷积神经网络的人脸防伪检测方法
CN110516576B (zh) * 2019-08-20 2022-12-06 西安电子科技大学 基于深度神经网络的近红外活体人脸识别方法

Also Published As

Publication number Publication date
CN111209855A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN106096535B (zh) 一种基于双线性联合cnn的人脸验证方法
CN111062278B (zh) 基于改进残差网络的异常行为识别方法
CN109359550B (zh) 基于深度学习技术的满文文档印章提取与去除方法
CN111523483B (zh) 中餐菜品图像识别方法及装置
CN116416497B (zh) 一种轴承故障诊断系统及方法
CN112085745A (zh) 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
US11605210B2 (en) Method for optical character recognition in document subject to shadows, and device employing method
CN111209855B (zh) 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法
Qian et al. Diabetic retinopathy grading using attention based convolution neural network
CN110766082B (zh) 一种基于迁移学习的植物叶片病虫害程度分类方法
CN114241564A (zh) 一种基于类间差异强化网络的人脸表情识别方法
CN114330439B (zh) 一种基于卷积神经网络的轴承诊断方法
CN114441173A (zh) 基于改进深度残差收缩网络的滚动轴承故障诊断方法
CN106650573A (zh) 一种跨年龄的人脸验证方法及系统
CN111881803B (zh) 一种基于改进YOLOv3的畜脸识别方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN111047537A (zh) 一种图像去噪中恢复细节的系统
CN113593698B (zh) 一种基于图注意网络的中医证型识别方法
CN112990225B (zh) 一种复杂环境下的图像目标识别方法及装置
CN111582099B (zh) 一种基于虹膜远源特征交运算决策的身份验证方法
CN113052812A (zh) 一种基于AmoebaNet的MRI前列腺癌检测方法
CN109146846B (zh) 无参考型图像质量评价系统及方法
CN117474903B (zh) 一种图像侵权检测方法、装置、设备及可读存储介质
US20210227096A1 (en) Device and method for acquiring shadow-free images of documents for scanning purposes
CN117671395B (zh) 一种癌细胞种类识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220301