CN111666838B - 一种改进的残差网络猪脸识别方法 - Google Patents
一种改进的残差网络猪脸识别方法 Download PDFInfo
- Publication number
- CN111666838B CN111666838B CN202010445823.0A CN202010445823A CN111666838B CN 111666838 B CN111666838 B CN 111666838B CN 202010445823 A CN202010445823 A CN 202010445823A CN 111666838 B CN111666838 B CN 111666838B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- layer
- pig face
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 title claims abstract description 75
- 235000004550 Disphyma australe Nutrition 0.000 title claims abstract description 75
- 244000187801 Carpobrotus edulis Species 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 30
- 230000036961 partial effect Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 10
- 241000200554 Disphyma crassifolium Species 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims 2
- 241000282898 Sus scrofa Species 0.000 description 7
- 241000282887 Suidae Species 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 244000144972 livestock Species 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000007407 African swine fever Diseases 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉与深度学习领域，具体地来讲为一种改进的残差网络猪脸识别方法，该方法包括，采用固定摄像头同时采集多个猪栏视频，并将每个猪栏区域分割为单独图像；然后对猪栏图像进行图像复原处理，去除遮挡猪脸的围栏栏杆；以修复后的图像建立猪脸图像数据集，无需对猪脸部分进行坐标标注和剪裁；采用改进损失函数的残差网络(Residual Network,ResNet)作为主干网络构建猪脸识别模型，并用训练集对模型进行训练，用测试集验证识别效果。经试验，本方法有较强的抗噪声能力，而且改进的损失函数能够有效提高猪脸特征之间的类内紧凑性和类间可分离性，提高了猪脸识别的准确率。
Description
技术领域
本发明涉及计算机视觉及深度学习领域，具体的而言为一种改进的残差网络猪脸识别方法。
背景技术
近年来，随着国家对养殖企业集约化管理与精确监控的要求，能够对牲畜进行有效的识别管理(例如身份确认、体重与体温的监测)，已日渐成为养殖业者的需求。目前牲畜身份识别的主要方式是通过在动物的耳朵上穿孔佩戴无线射频识别RFID标签。这种识别方法会引起动物的不适，咬标、掉标的情况经常发生。而且，预防非洲猪瘟的有效手段之一是减少场外人员和车辆进入猪场，因此对生猪实行非接触式身份识别与监控，是目前迫切需要解决的问题。
人脸识别通常用于非接触式的访问控制与监测，与养殖企业的应用场景非常相似。因此，理论上可以将人脸识别领域的相关技术迁移至牲畜的身份识别。
但是，猪脸识别又有其特殊性，采集图像中的猪通常关在猪栏内，因此会有猪的部分面部特征被栏杆遮挡的情况，同时长期不清洗也会造成部分面部特征被掩盖，给猪脸识别带来极大困难。构建的猪脸识别模型如何提取到更多、更细化的猪脸面部特征，并提高分类器模型的类内特征的紧凑型和类间特征的分离性，是解决上述问题的关键。
发明内容
本发明所要解决的技术问题在于提供一种改进的残差网络猪脸识别方法，利用ResNet提取深层猪脸特征，并提出用L-Softmax损失函数，增强分类器的特征分类学习能力，实现快速、准确的猪脸识别。
本发明是这样实现的，
一种改进的残差网络猪脸识别方法，该方法包括以下步骤：
S1：采用固定在墙壁的摄像头，同时采集多个猪栏的视频数据，将每一帧分解为静态图像，并将每个猪栏区域分割为单独图像，然后筛选其中光线充足、较为清晰的作为有效的猪栏图像；
S2：构建图像复原深度学习模型，对S1图像进行图像修复处理，去除遮挡猪脸的围栏栏杆；
S3：对修复后猪脸图像根据猪的身份将图像划分到相应的身份标签目录，建立猪脸图像数据集，无需对猪脸部分进行坐标标注和剪裁；
S4：采用改进的残差网络作为主干网络，采用大裕度Softmax(Large MarginSoftmax,L-Softmax)损失函数作为输出层的损失函数构建构建猪脸识别的残差网络(Residual Network,ResNet)深度学习网络模型，并用训练集对模型进行训练；
S5：将测试集图像输入至识别模型进行自动识别验证识别效果。
进一步地，所述步骤S2配置GPU图形处理器，在Linux系统环境下应用部分卷积层法进行猪脸图像修复，去除遮挡猪脸的栏杆。
进一步地，S2中，构建图像复原深度学习模型包括：
S21：构建二维部分卷积层；
S22：用二维部分卷积层代替UNet架构的原有卷积层，并将激活函数修正线性单元(Rectified Linear Unit,ReLU)替换为带泄露修正线性单元(Leaky ReLU)，构建部分卷积(Partial Convolution,PConv)网络修复模型S23：按照3:1的比例划分将图像随机为训练集和测试集，用训练集和测试集训练和测试上述模型；
S24：进行复原处理，输入待修复图像，输出即为去除猪脸遮挡物后的图像。
进一步地，步骤4中，采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型包括：在Linux系统环境下，搭建改进的ResNet-50深度学习网络模型，并进行训练与验证，
所述ResNet-50深度学习网络模型包括卷积层、池化层、以及多个全连接层，其运算步骤依次为：
S41：用8×8的卷积核对输入训练集图像进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出64×36×36的图像P1；
S42：使用4×4的卷积核对图像P1进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出128×16×16的图像P2；
S43：使用4×4的卷积核对图像P2进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出512×6×6的多维矩阵P3；
S44：将多维矩阵P3通过Flatten层变成一维数列，导入全连接层得到数据P4；
S45：将数据P4送入输出层，输出层使用L-Softmax损失函数作为目标函数，当损失函数值收敛时，模型训练完成。
进一步地，L-Softmax损失函数表达式如下：
其中，
W为权值向量，x为特征向量，θ为特征向量x与权值向量W间的夹角。m是常数，控制类别之间的差距，D(θ)为是一个单调减函数且
保证
为一个连续函数，m控制类别之间的差距。
进一步地，采用改进的残差网络作为主干网络，采用L-Softmax损失函数作为输出层的损失函数构建猪脸识别模型包括：在CNN网络上加入残差网络，残差网络中增加直连通道，将原始输入信息直接传到后面的层中，并将权值小于0.1的神经元进行Dropout的操作，将其丢弃。
本发明与现有技术相比，有益效果在于：
本发明猪脸识别作为分类问题，构建分类模型时设计合理的Softmax损失函数，使得不同类特征的类间间距够大，同类特征的类内距离足够小，才能够实现准确分类。本发明采用残差网络作为主干网络，并提出L-Softmax损失函数作为输出层的损失函数，并且在网络中加入早停策略和Dropout正则化方法进一步提高收敛速度。实验表明，本发明中的L-Softmax损失函数能够有效提高学习特征之间的类内紧凑性和类间可分离性，实现了较为准确的猪脸识别。
在构建数据集时不需要分割出猪脸和标注猪脸位置坐标，能够大大节省人力物力。
本发明对猪脸图像进行图像复原处理。由于摄像头置于猪栏外，图像中有围栏栏杆遮挡猪脸。因此为提高识别准确率，应用部分卷积层法(Partial Convolutional,PConv)进行猪脸图像修复，去除遮挡猪脸的栏杆。对复原后猪脸图像根据猪的身份将图像划分到相应的身份标签目录，建立猪脸图像数据集。本算法模型不需要分割出猪脸和标注猪脸位置坐标，大大节省构建数据集的人力物力。
附图说明
图1为本发明所述的于改进的残差网络猪脸识别方法的网络结构及流程图；
图2为本发明所述PConv方法复原图像前后对比图(a)为修复前，(b)为修复后；
图3为本发明所述改进模型与VGG16和未改进Resnet模型的准确率对比；
图4为本发明所述改进模型与VGG16和未改进Resnet模型的损失函数收敛曲线对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1所示，一种改进的残差网络猪脸识别方法，该方法包括以下步骤：
S1：采用固定在墙壁的摄像头，同时采集多个猪栏的视频数据，将每一帧分解为静态图像，并将每个猪栏区域分割为单独图像，然后筛选其中光线充足、较为清晰的作为有效的猪栏图像；
S2：构建图像复原深度学习模型，对S1图像进行图像修复处理，去除遮挡猪脸的围栏栏杆；
S3：对修复后猪脸图像根据猪的身份将图像划分到相应的身份标签目录，建立猪脸图像数据集，无需对猪脸部分进行坐标标注和剪裁；
S4：采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型，并用训练集对模型进行训练；
S5：将测试集图像输入至识别模型进行自动识别验证识别效果。
步骤S1：猪栏区域分割及图像筛选。先将单帧图像中的每个猪栏分割为猪栏区域图像。由于光照不足和目标运动等因素，都会使普通摄像头拍摄的图像较为模糊，因此需要筛选光线较为充足、猪脸较为清晰的图像作为有效图像。
步骤S2配置GPU图形处理器，在Linux系统环境下应用部分卷积层法进行猪脸图像修复，去除遮挡猪脸的栏杆，参见图2(a)为修复前以及图2(b)未修复后的对比图。
S2中，构建图像复原深度学习模型包括：
S21：构建二维部分卷积层；
S22：用二维部分卷积层代替UNet架构的原有卷积层，并将激活函数RELU替换为LeakyRELU，构建PConv网络修复模型；
S23：按照3:1的比例划分将图像随机为训练集和测试集，用训练集和测试集训练和测试上述模型；
S24：进行复原处理，输入待修复图像，输出即为去除猪脸遮挡物后的图像。
为了降低图像中围栏栏杆对猪脸识别结果的影响，在数据集构建过程中，在预处理阶段对猪栏图像进行修复，采用部分卷积神经网络(Partial Convolution，PConv)模型去除遮挡脸部的栏杆。
目前现有的基于的卷积网络的图像修复方法存在一些缺陷，如颜色不匹配和模糊等，所以会使用后处理来消除这些缺陷，但是通常失败。将待修复图像的损坏区域用0像素值标记为掩膜(mask)，为图像的无效区域，未被损坏的区域为图像有效区域。部分卷积是指卷积只在图片的有效区域进行卷积、池化操作，并且图片的掩膜会随着网络层数的加深，经过不断迭代可以对掩膜周围区域进行预测并填充有效值，在进入解码阶段之前，只要网络深度足够，掩膜区域大小可以收缩直至消失。
PConv模型以UNet作为主网络结构，用部分卷积层替换原卷积层，并在解码阶段使用最近邻上采样，然后分别连接两个特征映射和两个掩膜作为下一层部分卷积层的特征和掩膜输入。
将部分卷积运算和掩膜更新函数联合称为部分卷积层，计算过程如下：
如上式所示，W表示卷积层滤波器的权重，b表示卷积层滤波器的偏差值，X表示输入的图片，M表示掩膜，⊙表示元素点乘运算，x'表示输入图片经过卷积后的输出，m'表示输入掩膜经过卷积后的输出。
模型使用堆叠的部分卷积运算和掩模更新步骤来执行图像修复。卷积运算后如果卷积能够在至少一个有效输入值上调节其输出，则将该位置标记为有效。每进行一次卷积，进行一次掩膜更新。只要卷积核所对应的掩膜区域有一个元素是有效的，那么卷积核中心位置对应的掩膜就会进行更新。通过多次迭代，掩膜的区域会越来越小，最终完全消失，此时图像修复完成。
进一步地，步骤4中，采用改进的残差网络作为主干网络，采用L-Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型包括：在Linux系统环境下，搭建改进的残差网络深度学习网络模型，并进行训练与验证，
所述残差网络深度学习网络模型包括卷积层、池化层、以及多个全连接层，其运算步骤依次为：
S41：用8×8的卷积核对输入训练集图像进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出64×36×36的图像P1；
S42：使用4×4的卷积核对图像P1进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出128×16×16的图像P2；
S43：使用4×4的卷积核对图像P2进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出512×6×6的多维矩阵P3；
S44：将多维矩阵P3通过Flatten层变成一维数列，导入全连接层得到数据P4；
S45：将数据P4送入输出层，输出层使用大裕度Softmax损失函数作为目标函数，当损失函数值收敛时，模型训练完成。
大裕度Softmax损失函数表达式如下：
其中，
W为权值向量，x为特征向量，θ为特征向量x与权值向量W间的夹角。m是常数，控制类别之间的差距，D(θ)为是一个单调减函数且
保证
为一个连续函数，m控制类别之间的差距。
采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型包括：在CNN网络上加入残差网络，残差网络中增加直连通道，将原始输入信息直接传到后面的层中，并将权值小于0.1的神经元进行Dropout的操作，将其丢弃。
改进的残差网络猪脸识别
本发明在一般CNN网络基础上引入残差网络模型加以改进。在利用一般CNN网络对图像进行识别的过程中，随着网络深度的增加，模型对于特征的敏感度会提高，有利于提高识别准确。但是网络深度加深即神经网络层数增加，会出现梯度消失的问题：下降的梯度从网络输出端向输入端传播，当网络深度增加后，靠近输入端层的梯度的值会随之变得很小，意味着这些层的学习基本停滞；而且随着网络深度增加，使得参数空间变大，增加了优化难度，网络层数的增加反而导致训练误差增加，识别率降低。ResNet可以有效解决梯度消失问题，不仅让可以训练更深的网络，而且大大提高了网络的准确率。
在神经网络的输出端应采用多输出的Softmax函数。本发明对Softmax函数进行了改进，以大裕度Softmax构建新的损失函数，使得深度学习模型具有较高的猪脸特征类内紧凑性和类间可分离性。
采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别模型包括：在CNN网络上加入残差网络，残差网络中增加直连通道，将原始输入信息直接传到后面的层中，并将权值小于0.1的神经元进行Dropout的操作，将其丢弃。这样可以有效的防止过拟合以及神经元太多而带来的运行速度过慢等问题。
使用大裕度Softmax分类，可以有效对猪脸进行分类，其中在训练过程中提出早停策略，即当准确率下降并且损失函数上升持续一定次数，本算法中为50次，即停止这个梯度，转而重新转换为另外一个梯度，继续运行算法，直至程序结束，然后输出猪的识别结果及识别准确率。
下面结合实际构建的猪脸数据集(45头猪，总数6707张图像)为实例，对本发明进行进一步详细说明。上述猪脸识别模块可以表述为以下步骤：
第一步：利用固定摄像头采集猪栏信息，并进行图像预处理，构建猪脸图像数据集，所述预处理环节依次进行以下3个处理步骤：
(1)区域分割与图像筛选：将视频数据的每一帧分解为静态图像，并对将每一只猪所在猪栏分割为单独猪栏区域图像，并筛选光线充足较为清晰的图像I1，共6707张。
(2)图像修复：配置GPU图形处理器，在Linux系统环境下，构建部分卷积神经网络模型对图像进行修复处理，去除I1中遮挡猪脸的围栏栏杆，得到图像I2；
①标注待修复区域
将需要复原的部分用绿色(0，255，0)覆盖，将图片保存为.png格式；
②构建图像复原深度学习模型
使用以下组件：Python 3.6TensorFlow 1.10Keras 2.2.4Pillow h5py编译代码，构建图像复原深度学习模型。
step 1：构建二维部分卷积(PConv2D)层；
step 2：用PConv2D层代替UNet架构的原有卷积层，并将激活函数ReLU
替换为LeakyReLU，构建PConv网络修复模型；
step 3：按照3:1的比例划分将6707张图像随机为训练集和测试集，用训练集和测试集训练和测试上述模型；
step 4：进行复原处理，输入待修复图像，输出即为去除猪脸遮挡物后的图像I2。
(3)图像剪裁及归一化：对上一步得到的图像进行适宜的裁剪以得到固定分辨率224×224的图像，然后对其进行图像归一化，得到图像I3。
第二步，将45类6707张图像经过上述I1到图像I3的处理过程，即得到本实验的猪脸数据集。按照3:1的比例随机将数据集分为训练集和测试集。
第三步，在Linux系统环境下，搭建改进的50层的ResNet(即ResNet-50)深度学习网络模型，并进行训练与验证。
所述ResNet-50深度学习网络模型包括卷积层、池化层、以及若干全连接层，其运算步骤依次为：
用8×8的卷积核对输入训练集图像进行卷积、线性激活，经池化层池化后，导入全连接层(Fully Connection,FC)，通过全连接层输出64×36×36的图像P1；
使用4×4的卷积核对P1进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出128×16×16的图像P2；
使用4×4的卷积核对P2进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出512×6×6的多维矩阵P3；
由于原ResNet模型的输出节点数与本发明需要的输出种类数(45类)不一致，因此对ResNet模型进行了相应的改进：，将多维矩阵P3通过Flatten层变成一维数列，导入全连接层得到P4；
将P4送入输出层，输出层使用L-Softmax损失函数作为目标函数，当损失函数值收敛时，模型训练完成。
将验证集图像输入训练后的模型，对模型识别准确率进行验证，并得到相应识别结果。
综上实例结合图3本发明所述改进模型与VGG16和未改进Resnet模型的准确率对比；图4为本发明所述改进模型与VGG16和未改进Resnet模型的损失函数收敛曲线对比。可见，本发明对于猪脸识别模型的提出及应用，充分展现了本发明在猪脸识别领域的优越性。通过对Resnet网络的改进，提高了分类的准确率，使得猪脸识别的准确率得到了很大提高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种改进的残差网络猪脸识别方法，其特征在于，该方法包括以下步骤：
S1：采用固定在墙壁的摄像头，同时采集多个猪栏的视频数据，将每一帧分解为静态图像，并将每个猪栏区域分割为单独图像，然后筛选其中光线充足、较为清晰的作为有效的猪栏图像；
S2：构建图像复原深度学习模型，对S1图像进行图像修复处理，去除遮挡猪脸的围栏栏杆；
S3：对修复后猪脸图像根据猪的身份将图像划分到相应的身份标签目录，建立猪脸图像数据集，无需对猪脸部分进行坐标标注和剪裁；
S4：采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型，并用训练集对ResNet深度学习网络模型进行训练；
S5：将测试集图像输入至识别模型，进行自动识别验证识别效果；
S2中，构建图像复原深度学习模型包括：
S21：构建二维部分卷积层；
S22：用部分卷积层代替U-Net架构的原有卷积层，并将激活函数修正线性单元替换为带泄露修正线性单元，构建部分卷积网络修复模型；
S23：按照3:1的比例划分将图像随机为训练集和测试集，用训练集和测试集训练和测试上述模型；
S24：进行复原处理，输入待修复图像，输出即为去除猪脸遮挡物后的图像；
图像复原深度学习模型对图像修复方法包括：将待修复图像的损坏区域用0像素值标记为掩膜，为图像的无效区域，未被损坏的区域为图像有效区域，部分卷积层只在图片的有效区域进行卷积、池化操作，图片的掩膜会随着网络层数的加深，经过不断迭代对掩膜周围区域进行预测并填充有效值，计算过程如下：
如上式所示，W表示卷积层滤波器的权重，b表示卷积层滤波器的偏差值，X表示输入的图片，M表示掩膜，⊙表示元素点乘运算，x'表示输入图片经过卷积后的输出，m'表示输入掩膜经过卷积后的输出；
步骤4中，采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型包括：在Linux系统环境下，搭建改进的残差网络深度学习网络模型，并进行训练与验证，
所述残差网络深度学习网络模型包括卷积层、池化层、以及多个全连接层，其运算步骤依次为：
S41：用8×8的卷积核对输入训练集图像进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出64×36×36的图像P1；
S42：使用4×4的卷积核对图像P1进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出128×16×16的图像P2；
S43：使用4×4的卷积核对图像P2进行卷积、线性激活，经池化层池化后，导入全连接层，通过全连接层输出512×6×6的多维矩阵P3；
S44：将多维矩阵P3通过Flatten层变成一维数列，导入全连接层得到数据P4；
S45：将数据P4送入输出层，输出层使用大裕度Softmax损失函数作为目标函数，当损失函数值收敛时，模型训练完成。
2.按照权利要求1所述的方法，其特征在于，所述步骤S2配置GPU图形处理器，在Linux系统环境下应用部分卷积层法进行猪脸图像修复，去除遮挡猪脸的栏杆。
3.按照权利要求1所述的方法，其特征在于，大裕度Softmax损失函数表达式如下：
其中，
W为权值向量，x为特征向量，θ为特征向量x与权值向量W间的夹角；m是常数，控制类别之间的差距，D(θ)为是一个单调减函数且保证为一个连续函数。
4.按照权利要求1所述的方法，其特征在于，采用改进的残差网络作为主干网络，采用大裕度Softmax损失函数作为输出层的损失函数构建猪脸识别的残差网络深度学习网络模型还包括：在CNN网络上加入残差网络，残差网络中增加直连通道，将原始输入信息直接传到后面的层中，并将权值小于0.1的神经元进行Dropout的操作，将其丢弃。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010445823.0A CN111666838B (zh) | 2020-05-22 | 2020-05-22 | 一种改进的残差网络猪脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010445823.0A CN111666838B (zh) | 2020-05-22 | 2020-05-22 | 一种改进的残差网络猪脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111666838A CN111666838A (zh) | 2020-09-15 |
| CN111666838B true CN111666838B (zh) | 2023-04-18 |
Family
ID=72384389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010445823.0A Active CN111666838B (zh) | 2020-05-22 | 2020-05-22 | 一种改进的残差网络猪脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666838B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949406A (zh) * | 2021-02-02 | 2021-06-11 | 西北农林科技大学 | 一种基于深度学习算法的羊只个体身份识别方法 |
| CN113065460B (zh) * | 2021-03-31 | 2022-04-29 | 吉林农业大学 | 基于多任务级联的猪脸面部表情识别框架的建立方法 |
| CN113469356B (zh) * | 2021-06-03 | 2024-06-07 | 江苏大学 | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 |
| CN113392783B (zh) * | 2021-06-18 | 2022-11-01 | 河南科技学院 | 一种基于改进的ResNet的透窗对象检测方法 |
| CN113326804A (zh) * | 2021-06-24 | 2021-08-31 | 河北农业大学 | 一种动物个体识别方法 |
| CN113378980B (zh) * | 2021-07-02 | 2023-05-09 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
| CN113449674B (zh) * | 2021-07-12 | 2022-09-30 | 江苏商贸职业学院 | 一种猪脸识别方法及系统 |
| CN113569962A (zh) * | 2021-07-30 | 2021-10-29 | 昆明理工大学 | 一种基于TFL-ResNet的残药智能识别方法 |
| CN114359958B (zh) * | 2021-12-14 | 2024-02-20 | 合肥工业大学 | 一种基于通道注意力机制的猪脸识别方法 |
| CN114898177B (zh) * | 2022-05-09 | 2023-08-04 | 梅卡曼德（北京）机器人科技有限公司 | 缺陷图像生成方法、模型训练方法、设备、介质及产品 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
| CN117558036B (zh) * | 2024-01-11 | 2024-04-05 | 长春大学 | 一种基于图像增强和残差网络的多品种牛面部识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
| CN108388877A (zh) * | 2018-03-14 | 2018-08-10 | 广州影子控股股份有限公司 | 一种猪脸的识别方法 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN111126346A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 脸部识别方法、分类模型的训练方法、装置和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321785A (zh) * | 2019-05-09 | 2019-10-11 | 北京尚文金泰教育科技有限公司 | 一种引入ResNet深度学习网络构建皮纹分类预测模型的方法 |
| CN110728179A (zh) * | 2019-09-04 | 2020-01-24 | 天津大学 | 一种采用多路卷积神经网络的猪脸识别方法 |
-
2020
- 2020-05-22 CN CN202010445823.0A patent/CN111666838B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
| CN108388877A (zh) * | 2018-03-14 | 2018-08-10 | 广州影子控股股份有限公司 | 一种猪脸的识别方法 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN111126346A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 脸部识别方法、分类模型的训练方法、装置和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Mark.F.Hansen等.Towards on-farm pig face recognition using convolutional neural networks.《Computers in Industry》.2018,第98卷145-152. * |
| 王荣等.多变环境下基于多尺度卷积网络的猪个体识别.《江西农业大学学报》.2020,第42卷(第02期),391-400. * |
| 薛月菊等.基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态.《农业工程学报》.2020,(第09期),189-196. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111666838A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666838B (zh) | 一种改进的残差网络猪脸识别方法 | |
| CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| Sun et al. | Research on the hand gesture recognition based on deep learning | |
| Bautista et al. | Convolutional neural network for vehicle detection in low resolution traffic videos | |
| Gonçalves et al. | Real-time automatic license plate recognition through deep multi-task networks | |
| CN111598030A (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN111079674B (zh) | 一种基于全局和局部信息融合的目标检测方法 | |
| Zhang et al. | Application of deep learning and unmanned aerial vehicle technology in traffic flow monitoring | |
| CN107145889A (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
| Ni et al. | A generative adversarial learning strategy for enhanced lightweight crack delineation networks | |
| CN111612024B (zh) | 特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| Fu et al. | HighlightNet: highlighting low-light potential features for real-time UAV tracking | |
| CN114743126A (zh) | 一种基于图注意力机制网络的车道线标志分割方法 | |
| Wang et al. | Water hazard detection using conditional generative adversarial network with mixture reflection attention units | |
| CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN114743257A (zh) | 图像目标行为的检测识别方法 | |
| CN111401139B (zh) | 基于字符图像智能识别获得矿山井下设备位置的方法 | |
| CN112686872A (zh) | 基于深度学习的木材计数方法 | |
| CN117115789A (zh) | 一种时敏目标检测网络及时敏目标消隐方法 | |
| CN111079516A (zh) | 基于深度神经网络的行人步态分割方法 | |
| Zonglei et al. | SA‑FRCNN: An Improved Object Detection Method for Airport Apron Scenes. | |
| CN111160316B (zh) | 一种基于轻量级神经网络的车牌识别方法 | |
| Tao et al. | A Real-Time License Plate Detection and Recognition Model in Unconstrained Scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |