CN111723709B - 一种基于深度卷积神经网络的蝇类面部识别方法 - Google Patents

一种基于深度卷积神经网络的蝇类面部识别方法 Download PDF

Info

Publication number
CN111723709B
CN111723709B CN202010520156.8A CN202010520156A CN111723709B CN 111723709 B CN111723709 B CN 111723709B CN 202010520156 A CN202010520156 A CN 202010520156A CN 111723709 B CN111723709 B CN 111723709B
Authority
CN
China
Prior art keywords
fly
face
neural network
network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010520156.8A
Other languages
English (en)
Other versions
CN111723709A (zh
Inventor
陈彦彤
王俊生
陈伟楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202010520156.8A priority Critical patent/CN111723709B/zh
Publication of CN111723709A publication Critical patent/CN111723709A/zh
Application granted granted Critical
Publication of CN111723709B publication Critical patent/CN111723709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种基于深度卷积神经网络的蝇类面部识别方法，包含：优化多任务卷积神经网络MTCNN对蝇类图像进行面部定位和特征点检测；通过定位和检测得到蝇类面部特征点图像进行蝇类面部对齐；将对齐后的蝇类面部图像制作成数据集；搭建蝇类面部深度卷积神经网络模型；将蝇类面部深度卷积神经网络中粗细提取的两组特征向量串接成一组特征向量；通过测试集对蝇类面部深度卷积神经网络模型进行测试，验证蝇类识别效果。本发明采用蝇类面部深度卷积神经网络，首先使用大量卷积池化粗提取出图像的轮廓特征，然后使用Inception‑ResNet和Reduction网络提取蝇类复眼中的小眼等具体部位特征。此网络可以简化学习目标和难度，在防止梯度散失的同时，可以提取更加丰富的特征向量。

Description

一种基于深度卷积神经网络的蝇类面部识别方法
技术领域
本发明涉及生物特征识别技术领域，具体而言，尤其涉及一种基于深度卷积神经网络的蝇类面部识别方法。
背景技术
近年来，生物特征识别技术领域在高速发展。尤其是随着世界各国之间的贸易交流日益频繁，旅客携带的外来蝇类昆虫传入我国境内几率增大，甚至会引发生态环境被破坏等问题。因此，对蝇类昆虫物种的高效识别研究刻不容缓。目前对于蝇类识别方法主要有：1)基于颜色特征的蝇类昆虫识别，采集图像颜色直方图信息并将所有颜色直方图合并成特征向量作为蝇类昆虫的颜色特征。颜色特征不受图像旋转和平移变化的影响，但没有表达出颜色空间分布的信息，影响识别的准确性。2)基于纹理特征的蝇类昆虫识别，将整个图像形成一个纹理特征值矩阵，然后将这个矩阵转换成影像。但是提取纹理特征需要的计算量很大，消耗的时间很长。3)基于空间特征的蝇类昆虫识别，将蝇类昆虫图像投影到特征子空间，利用测度计算未识别图像系数与训练样本系数之间的相似度，应用K最近邻算法进行蝇类昆虫识别。但是由于它不够注重类别间信息差异，因此分类能力有限。4)基于深度学习的蝇类图像识别，它应用卷积神经网络对蝇类整体进行识别，但是蝇类相似度高，所提取的蝇类全身各类特征有局限性，昆虫识别精度较低。因此，急需一种具有高准确率的蝇类识别方法。
发明内容
根据上述提取的蝇类全身各类特征有局限性，提出昆虫识别精度较低的技术问题，而提供一种基于深度卷积神经网络的蝇类面部识别方法。发明采用的技术手段如下：一种基于深度卷积神经网络的蝇类面部识别方法，其特征在于，包含以下步骤：
步骤S1：优化多任务卷积神经网络MTCNN对蝇类图像进行面部定位和特征点检测；
步骤S2：通过定位和检测得到蝇类面部特征点图像进行蝇类面部对齐，使得蝇类面部处于正中心且在水平方向上无倾斜角度；
步骤S3：将对齐后的蝇类面部图像制作成数据集；
步骤S4：搭建蝇类面部深度卷积神经网络模型，搭建轮廓与具体部位粗细提取相结合网络构成主网络模型，并搭建Inception-ResNet和Reduction网络为子网络模型；
步骤S5：将蝇类面部深度卷积神经网络中粗细提取的两组特征向量串接成一组特征向量，由所述蝇类面部深度卷积神经网络模型输出蝇类识别结果；
步骤S6：通过测试集对蝇类面部深度卷积神经网络模型进行测试，验证蝇类识别效果。
进一步地，所述步骤S1中，在MTCNN网络基础上应用深度可分离卷积进行优化，在保证精度的前提下尽量减少计算量，获取蝇类面部检测框和五个特征点。
更进一步地，所述步骤S2中，通过定位和检测得到蝇类面部特征点图像，采用仿射变换实现二维坐标到二维坐标之间的线性变换，实现蝇类面部对齐；同时通过裁剪缩放生成分辨率为95px×95px的蝇类面部图像。
更进一步地，所述步骤S3中，将所述对齐后的蝇类面部图像制作成数据集，通过卷积神经网络框架caffe提供的图像转换工具convert_imageset功能，将数据集制作成快如闪电的内存映射数据库lmdb格式，并将数据集中的训练集用于蝇类面部深度卷积神经网络模型训练。
更进一步地，所述步骤S4中，搭建蝇类面部深度卷积神经网络模型具体步骤包括：
步骤S411：使用大量卷积池化粗提取出图像的轮廓特征，并放置于全连接层中，使用辅助分类器判断类别。
步骤S412：提取蝇类面部的具体部位特征；通过Inception-ResNet网络，使用Reduction网络并且在复眼中的小眼特征细提取后，使用损失函数算法；
在Inception网络基础上用残差连接替代滤波器的连结，将ResNet残差网络和Inception网络相结合构成Inception-ResNet网络，首先用1×1卷积升高维度，然后用3×3卷积以最小卷积核最大程度提取图像信息，最后再用1×1卷积进行降维；搭建Reduction网络替代部分池化层来减小特征图的尺寸；所述Reduction网络中的filter concat层将多个特征直接加在一起；1×1卷积用来减少特征维度；并且此网络加入3×3深度可分离卷积可以在损失精度不多的情况下大幅度降低参数量。6、根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S5中，在特征提取阶段，将给定面部图像的特征分别用f1，f2表示，粗提取中的全连接层提取特征向量为f1；细提取中全连接层提取特征向量为f2，并将两者合并串接成一组特征向量，通过softmax分类器得到蝇类识别结果。
进一步地，所述步骤S6中，使用数据集中的测试集来验证蝇类面部深度卷积神经网络模型训练结果的优劣，从而验证蝇类识别的效果；即网络识别准确率数值高即为优。
进一步地，所述特征点包含：对蝇类的复眼中心和口器的顶端及下方两个对称的左右端。
较现有技术相比，本发明具有以下优点：
本发明优化MTCNN网络对蝇类图像进行面部定位和特征点检测。MTCNN网络主要由P-Net、R-Net和O-Net三个部分组成，然而，当图片越大P-net耗时越长；面部数量越多O-net和R-net耗时越长。因此把MTCNN网络中的标准卷积分解成深度卷积和逐点卷积。深度卷积对输入图像的每个通道进行卷积，从而达到滤波的功能。逐点卷积主要通过转换通道，使用1×1卷积将这些特征合并起来。深度可分离卷积的计算量比标准卷积的计算量要小，在I/O效率和性能不变的情况下，深度可分离卷积比标准卷积计算量降低近八倍，从而实现了MTCNN网络的优化，更加快速的对蝇类图像进行面部定位和特征点检测。
本发明采用轮廓特征粗提取和具体部位特征细提取相结合的方式提取更加丰富的蝇类面部特征信息：使用卷积池化粗提取出图像的轮廓特征值，利用辅助分类器判断类别，从而达到减少图像信息损失的目的，使得识别更加全面；同时，应用Inception-ResNet网络，在减少图像梯度散失的同时减少计算参数；以及加入Reduction网络减少图像信息损失和图像尺寸，从而细提取出具体部位特征值。并且在具体部位特征细提取后，使用损失函数算法。总的损失函数Ltotal由三重损失函数Ltirplet和成对损失函数Lpairs和softmax损失函数Lsoftmax相加求得。总的损失函数公式如下所示：
Ltotal＝Ltirplet+Lpairs+Lsoftmax
三重损失函数中，F(IR)是标准面部(IR)经过蝇类面部深度卷积神经网络映射之后的输出，同理F(IP)是相同蝇类的其他面部图像(IP)经过蝇类面部深度卷积神经网络映射之后的输出，F(IN)是不同蝇类的面部图像(IN)经过蝇类面部深度卷积神经网络映射之后的输出。||F(IR)-F(IN)||2是标准面部与不同蝇类的面部图像的距离，||F(IR)-F(IP)||2是标准面部与相同蝇类的其他面部图像的距离。m是一个边缘限制比例值，是一个常数。三重损失函数公式如下所示：
Figure BDA0002531739390000041
成对损失函数中，IR、IP分别表示标准面部和相同蝇类的其他面部图像，成对损失函数Lpairs即为标准面部与相同蝇类的其他面部图像距离之和，使得标准面部与相同蝇类的其他面部图像距离之间距离最小。成对损失函数公式如下所示：
Figure BDA0002531739390000042
通过损失函数算法让同种类别的蝇类距离更加接近，不同种类别蝇类距离更加疏远，便于蝇类分类识别，提高准确率。
本发明采用Inception-ResNet网络，首先用1×1卷积升高维度，然后用3×3卷积以最小卷积核最大程度提取图像信息，最后再用1×1卷积进行降维。可以简化学习目标和难度，在防止梯度散失的同时，更加快速提取特征向量。
本发明采用Reduction网络替代部分池化层来减小特征图的尺寸，防止池化层在下采样过程中大量信息丢失。其中filter concat层是一种累积和的叠加，把多个特征直接加在一起；1×1卷积用来减少特征维度；并且此网络加入3×3深度可分离卷积可以在损失精度不多的情况下大幅度降低参数量。
综上，本发明实现了在深度卷积神经网络上的昆虫面部识别，可以在保证较高准确率的情况下提升计算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明蝇类面部对齐图像。
图3为本发明分数据集图像。
图4为本发明网络的主网络示意图。
图5为本发明网络的Inception-ResNet网络示意图。
图6为本发明网络的Reduction网络示意图。
图7为本发明测试过程的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1-7本发明提供了一种基于深度卷积神经网络的蝇类面部识别方法，包含以下步骤：
步骤S1：优化多任务卷积神经网络MTCNN对蝇类图像进行面部定位和特征点检测。作为本申请一种优选的，特征点在本申请中选取5点，分别为：蝇类的复眼中心和口器的顶端及下方两个对称的左右端。可以理解为在其他的实施方式中，具体的选点位置可以按照实际情况进行选择及判断。
步骤S2：通过定位和检测得到蝇类面部特征点图像进行蝇类面部对齐，使得蝇类面部处于正中心且在水平方向上无倾斜角度；
步骤S3：将对齐后的蝇类面部图像制作成数据集；
步骤S4：搭建蝇类面部深度卷积神经网络模型，搭建轮廓与具体部位粗细提取相结合网络构成主网络模型，并搭建Inception-ResNet和Reduction网络为子网络模型；
步骤S5：将蝇类面部深度卷积神经网络中粗细提取的两组特征向量串接成一组特征向量，由所述蝇类面部深度卷积神经网络模型输出蝇类识别结果；
步骤S6：通过测试集对蝇类面部深度卷积神经网络模型进行测试，验证蝇类识别效果。
作为一种优选的实施方式，在本申请中，所述步骤S1中，在MTCNN网络基础上应用深度可分离卷积进行优化，在保证精度的前提下尽量减少计算量，获取蝇类面部检测框和五个特征点。在这里获取蝇类面部检测框MTCNN网络主要由P-Net、R-Net和O-Net三个部分组成，使用全卷积的P-Net在多尺度的待检图像上生成候选框。
这里所说的用深度可分离卷积替代标准卷积，即标准卷积分解成深度卷积和逐点卷积的方式降低计算量。
标准卷积的计算量为：DK×DK×M×N×DF×DF。(输入通道数为M，输出通道数为N，输入特征映射F尺寸(DF,DF,M)，标准卷积K尺寸为(DK,DK,M,N))
深度可分离卷积计算量为深度卷积和逐点卷积之和：
DK×DK×M×DF×DF+M×N×DF×DF
(深度卷积尺寸(DK,DK,1,M)，深度卷积计算量为：DK×DK×M×DF×DF；逐点卷积尺寸为(1,1,M,N)，逐点卷积计算量为：M×N×DF×DF。)
深度可分离卷积与标准卷积的计算量之比：
Figure BDA0002531739390000071
其中N和DK的数值均大于1，由此可得，深度可分离卷积的计算量比标准卷积的计算量要小。
作为优选的实施方式，所述步骤S2中，通过定位和检测得到蝇类面部特征点图像，采用仿射变换实现二维坐标到二维坐标之间的线性变换，实现蝇类面部对齐；同时通过裁剪缩放生成分辨率为95px×95px的蝇类面部图像。
在本申请中，所述步骤S3中，将所述对齐后的蝇类面部图像制作成数据集，通过卷积神经网络框架caffe提供的图像转换工具convert_imageset功能，将数据集制作成快如闪电的内存映射数据库lmdb格式，并将数据集中的训练集用于蝇类面部深度卷积神经网络模型训练。
进一步地，优化的一种方法所述步骤S4中，搭建蝇类面部深度卷积神经网络模型具体步骤包括：
步骤S411：使用大量卷积池化粗提取出图像的轮廓特征，并放置于全连接层中，使用辅助分类器判断类别。
步骤S412：提取蝇类面部的具体部位特征；通过Inception-ResNet网络，使用Reduction网络并且在复眼中的小眼特征细提取后，使用损失函数算法。
作为优选的，Reduction网络可以减小图像块尺寸，即每经过一个Reduction网络，特征图的尺寸就会显著减少。由于池化层在下采样的过程会损失过多信息，所以文中采用Reduction网络替代部分池化层来减小特征图的尺寸。其中filter concat层是一种累积和的叠加，把多个特征直接加在一起；1×1卷积用来减少特征维度；并且此网络加入了3×3深度可分离卷积可以在损失精度不多的情况下大幅度降低参数量。
在Inception网络基础上用残差连接替代滤波器的连结，将ResNet残差网络和Inception网络相结合构成Inception-ResNet网络，首先用1×1卷积升高维度，然后用3×3卷积以最小卷积核最大程度提取图像信息，最后再用1×1卷积进行降维；搭建Reduction网络替代部分池化层来减小特征图的尺寸；所述Reduction网络中的filter concat层将多个特征直接加在一起；1×1卷积用来减少特征维度；并且此网络加入3×3深度可分离卷积可以在损失精度不多的情况下大幅度降低参数量。
所述步骤S5中，在特征提取阶段，将给定面部图像的特征分别用f1，f2表示，粗提取中的全连接层提取特征向量为f1；细提取中全连接层提取特征向量为f2，并将两者合并串接成一组特征向量，通过softmax分类器得到蝇类识别结果。
作为优选的实施方式，所述步骤S6中，使用数据集中的测试集来验证蝇类面部深度卷积神经网络模型训练结果的优劣，从而验证蝇类识别的效；即网络数值高即为优。也可以理解为这里所说的优劣程度可以通过数值进行反应及反馈。
由大连海关实验室提供的蝇类昆虫标本作为数据集样本，共选取十一种蝇类标本包括叉叶绿蝇、大头金蝇、大洋翠蝇、横带花蝇、沈阳绿蝇、家蝇、厩腐蝇、巨尾阿丽蝇、亮绿蝇、丝光绿蝇、棕尾别麻蝇。选取蝇类标本其颜色形态不易变化且易于拍摄。图像采集设备为尼康(Nikon)COOLPIX A1000数码相机，图像的分辨率为4608×3456像素，格式为JPG。为区分蝇类相似部分形态，将蝇类的11种样本分别以蝇类面部为中心随机角度拍摄图像，每种蝇类拍摄60张，共拍摄660幅图像。并通过图像翻转和平移、缩放原始图像的20％、局部模糊等处理，增强图像后的数据集共得到6420幅样本图像。
实施例
如图1所示，本实施例包括如下步骤：
步骤1：首先在MTCNN网络基础上应用深度可分离卷积进行优化，将MTCNN网络中的标准卷积分解成深度卷积和逐点卷积，在保证精度的前提下尽量减少计算量，从而得到蝇类面部检测框和五个特征点。MTCNN网络主要由P-Net、R-Net和O-Net三个部分组成，使用全卷积的P-Net在多尺度的待检图像上生成候选框，接着通过R-Net和O-Net来过滤，其总的损失函数公式如下：
Figure BDA0002531739390000081
上式中N是训练样本的总数，αj表示各个损失所0占的权重，在P-Net和R-Net中，设置αdet＝1，αbox＝0.5，αlandmark＝0.5，在O-Net中，设置αdet＝1，αbox＝0.5，αlandmark＝1。
Figure BDA0002531739390000091
分别代表面部检测损失函数，框回归损失函数，关键点损失函数，
Figure BDA0002531739390000092
表示样本类型指示符。
步骤2：利用定位和检测得到蝇类面部特征点图像，应用仿射变换实现二维坐标到二维坐标之间的线性变换，保持图像的“平直性”和“平行性”，实现蝇类面部对齐。并通过裁剪缩放生成分辨率为95×95的蝇类面部图像。
仿射变换公式如下所示：
Figure BDA0002531739390000093
上式中(tx,ty)表示平移量，而参数ai则反映了图像旋转，缩放等变化。将参数tx，ty，ai(i＝1～4)计算出，即可得到两幅图像的坐标变换关系，并实现了面部对齐，如图2所示。
步骤3：将对齐后的蝇类图像制作成数据集。在数据集制作过程中，选用由大连海关实验室提供的蝇类昆虫标本作为数据集样本，将选取的蝇类11种样本分别以蝇类面部为中心随机角度拍摄图像，每种蝇类拍摄60张，共拍摄660幅图像。为了增加训练的数据量，提高模型的泛化能力，避免数据量过少出现过拟合现象，需要进行数据增强处理，保证每种蝇类的数目相同。通过图像翻转和平移、缩放原始图像的20％、局部模糊等处理，增强图像后的数据集共得到6420幅样本图像。并随机选取60％的图像，即3852幅图像用作训练，选择20％的图像，即1284幅图像作为验证集，剩下20％即1248幅图像用来测试。部分数据集图像如图3所示。并利用caffe提供的convert_imageset功能，将数据集制作成lmdb格式。
步骤4：搭建蝇类面部深度卷积神经网络，其主网络模型如图4所示。首先轮廓特征粗提取部分如框图(Ⅰ)所示。使用大量卷积池化能够粗提取出图像的轮廓特征，并放置于全连接层中，使用辅助分类器判断类别，从而达到减少图像信息损失，使得识别更加全面的目的。同时，提取蝇类面部的具体部位特征如框图(Ⅱ)所示。此部分主要经过Inception-ResNet网络，在减少图像梯度散失的同时减少计算参数；以及使用Reduction网络在减少图像信息损失的同时减小图像尺寸，使得提取特征值变得更加精确化。
而在具体部分特征提取中，将ResNet残差网络和Inception网络相结合，其中框图(Ⅲ)表示Inception网络，并用残差连接替代滤波器的连结，将图(Ⅲ)作为一个整体和剩余部分连接构成ResNet残差网络。首先用1×1卷积升高维度，然后用3×3卷积以最小卷积核最大程度的提取图像信息，最后再用1×1卷积进行降维。可以简化学习目标和难度，在防止梯度散失的同时，更加快速提取特征向量。Inception-ResNet网络模型如图5所示。而搭建Reduction网络替代部分池化层来减小特征图的尺寸，防止池化层在下采样的过程中的大量信息丢失。其中filter concat层是一种累积和的叠加，把多个特征直接加在一起；1×1卷积用来减少特征维度；并且此网络加入了3×3深度可分离卷积可以在损失精度不多的情况下大幅度降低参数量。Reduction网络模型如图6所示。
步骤5：在提取特征阶段，将给定面部图像的特征分别用f1，f2表示，粗提取中的全连接层提取特征向量为f1；细提取中全连接层提取特征向量为f2。并将两者合并串接成一组特征向量，通过softmax分类器得到蝇类识别结果。
步骤6：使用测试数据集来验证蝇类面部深度卷积神经网络模型训练结果的优劣，输入测试集非正面的蝇类图像。使用FFCNN网络进行蝇类面部识别，应用OpenCV调用Caffe模型进行分类，具体过程如图7所示。最终识别结果为叉叶绿蝇的可能性达98.995％，即识别正确并把正确的标签标注在输出图像中。因此，采用轮廓特征粗提取和具体部位特征细提取相结合的方式提取更加丰富的特征信息。与此同时，也验证了FFCNN网络模型的训练效果较好。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于深度卷积神经网络的蝇类面部识别方法，其特征在于，包含以下步骤：
步骤S1：优化多任务卷积神经网络MTCNN对蝇类图像进行面部定位和特征点检测；
步骤S2：通过定位和检测得到蝇类面部特征点图像进行蝇类面部对齐，使得蝇类面部处于正中心且在水平方向上无倾斜角度；
步骤S3：将对齐后的蝇类面部图像制作成数据集；
步骤S4：搭建蝇类面部深度卷积神经网络模型，搭建轮廓与具体部位粗细提取相结合网络构成主网络模型，并搭建Inception-ResNet和Reduction网络为子网络模型；所述步骤S4中，搭建蝇类面部深度卷积神经网络模型具体步骤包括：
步骤S411：使用卷积池化粗提取出图像的轮廓特征，并放置于全连接层中，使用辅助分类器判断类别；
步骤S412：提取蝇类面部的具体部位特征；通过Inception-ResNet网络，使用Reduction网络并且在复眼中的小眼特征细提取后，使用损失函数算法；总的损失函数Ltotal由三重损失函数Ltirplet和成对损失函数Lpairs和softmax损失函数Lsoftmax相加求得；总的损失函数公式如下所示：
Ltotal＝Ltirplet+Lpairs+Lsoftmax
三重损失函数公式如下所示：
Figure QLYQS_1
三重损失函数中，F(IR)是标准面部IR经过蝇类面部深度卷积神经网络映射之后的输出，同理F(IP)是相同蝇类的其他面部图像IP经过蝇类面部深度卷积神经网络映射之后的输出，F(IN)是不同蝇类的面部图像IN经过蝇类面部深度卷积神经网络映射之后的输出；||F(IR)-F(IN)||2是标准面部与不同蝇类的面部图像的距离，||F(IR)-F(IP)||2是标准面部与相同蝇类的其他面部图像的距离；m是一个边缘限制比例值，是一个常数；
成对损失函数公式如下所示：
Figure QLYQS_2
成对损失函数中，IR、IP分别表示标准面部和相同蝇类的其他面部图像，成对损失函数Lpairs即为标准面部与相同蝇类的其他面部图像距离之和，使得标准面部与相同蝇类的其他面部图像距离之间距离最小；在Inception网络基础上用残差连接替代滤波器的连结，将ResNet残差网络和Inception网络相结合构成Inception-ResNet网络，首先用1×1卷积升高维度，然后用3×3卷积以最小卷积核提取图像信息，最后再用1×1卷积进行降维；搭建Reduction网络替代部分池化层来减小特征图的尺寸；所述Reduction网络中的filterconcat层将多个特征直接加在一起；1×1卷积用来减少特征维度；
步骤S5：将蝇类面部深度卷积神经网络中粗细提取的两组特征向量串接成一组特征向量，由所述蝇类面部深度卷积神经网络模型输出蝇类识别结果；
步骤S6：通过测试集对蝇类面部深度卷积神经网络模型进行测试，验证蝇类识别效果。
2.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S1中，在MTCNN网络基础上应用深度可分离卷积进行优化，在保证精度的前提下减少计算量，获取蝇类面部检测框和五个特征点。
3.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S2中，通过定位和检测得到蝇类面部特征点图像，采用仿射变换实现二维坐标到二维坐标之间的线性变换，实现蝇类面部对齐；同时通过裁剪缩放生成分辨率为95×95的蝇类面部图像。
4.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S3中，将所述对齐后的蝇类面部图像制作成数据集，通过卷积神经网络框架caffe提供的图像转换工具convert_imageset功能，将数据集制作成内存映射数据库lmdb格式，并将数据集中的训练集用于蝇类面部深度卷积神经网络模型训练。
5.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S5中，在特征提取阶段，将给定面部图像的特征分别用f1，f2表示，粗提取中的全连接层提取特征向量为f1；细提取中全连接层提取特征向量为f2，并将两者合并串接成一组特征向量，通过softmax分类器得到蝇类识别结果。
6.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述步骤S6中，使用数据集中的测试集来验证蝇类面部深度卷积神经网络模型训练结果的优劣，从而验证蝇类识别的效果；即网络识别准确率数值高即为优。
7.根据权利要求1所述的基于深度卷积神经网络的蝇类面部识别方法，其特征在于：
所述特征点包含：对蝇类的复眼中心和口器的顶端及下方两个对称的左右端。
CN202010520156.8A 2020-06-09 2020-06-09 一种基于深度卷积神经网络的蝇类面部识别方法 Active CN111723709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010520156.8A CN111723709B (zh) 2020-06-09 2020-06-09 一种基于深度卷积神经网络的蝇类面部识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010520156.8A CN111723709B (zh) 2020-06-09 2020-06-09 一种基于深度卷积神经网络的蝇类面部识别方法

Publications (2)

Publication Number Publication Date
CN111723709A CN111723709A (zh) 2020-09-29
CN111723709B true CN111723709B (zh) 2023-07-11

Family

ID=72566325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010520156.8A Active CN111723709B (zh) 2020-06-09 2020-06-09 一种基于深度卷积神经网络的蝇类面部识别方法

Country Status (1)

Country Link
CN (1) CN111723709B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197561A (zh) * 2017-12-29 2018-06-22 北京智慧眼科技股份有限公司 人脸识别模型优化控制方法、装置、设备及存储介质
CN108280483A (zh) * 2018-01-30 2018-07-13 华南农业大学 基于神经网络的实蝇成虫图像识别方法
CN109886121A (zh) * 2019-01-23 2019-06-14 浙江大学 一种遮挡鲁棒的人脸关键点定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5267695B2 (ja) * 2012-03-01 2013-08-21 カシオ計算機株式会社 撮像装置、顔認識方法及びそのプログラム
US10467458B2 (en) * 2017-07-21 2019-11-05 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (CNN) modules for embedded systems
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法
CN110399788A (zh) * 2019-06-13 2019-11-01 平安科技（深圳）有限公司 图像的au检测方法、装置、电子设备及存储介质
CN111126240B (zh) * 2019-12-19 2023-04-07 西安工程大学 一种三通道特征融合人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197561A (zh) * 2017-12-29 2018-06-22 北京智慧眼科技股份有限公司 人脸识别模型优化控制方法、装置、设备及存储介质
CN108280483A (zh) * 2018-01-30 2018-07-13 华南农业大学 基于神经网络的实蝇成虫图像识别方法
CN109886121A (zh) * 2019-01-23 2019-06-14 浙江大学 一种遮挡鲁棒的人脸关键点定位方法

Also Published As

Publication number Publication date
CN111723709A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN110543878A (zh) 一种基于神经网络的指针仪表读数识别方法
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN114219984B (zh) 一种基于改进YOLOv3的微小病虫害检测系统及其方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN109145704B (zh) 一种基于人脸属性的人脸画像识别方法
CN114897816A (zh) 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN111553422A (zh) 手术器械自动识别回收方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN115546187A (zh) 基于YOLO v5的农业病虫害检测方法及装置
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112926648B (zh) 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN111723709B (zh) 一种基于深度卷积神经网络的蝇类面部识别方法
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN113269136B (zh) 一种基于triplet loss的离线签名验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant