CN114359958B - 一种基于通道注意力机制的猪脸识别方法 - Google Patents
一种基于通道注意力机制的猪脸识别方法 Download PDFInfo
- Publication number
- CN114359958B CN114359958B CN202111536355.9A CN202111536355A CN114359958B CN 114359958 B CN114359958 B CN 114359958B CN 202111536355 A CN202111536355 A CN 202111536355A CN 114359958 B CN114359958 B CN 114359958B
- Authority
- CN
- China
- Prior art keywords
- pig face
- channel
- pig
- network
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 title claims abstract description 157
- 235000004550 Disphyma australe Nutrition 0.000 title claims abstract description 157
- 230000007246 mechanism Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 37
- 241000200554 Disphyma crassifolium Species 0.000 title description 3
- 244000187801 Carpobrotus edulis Species 0.000 claims abstract description 154
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000007906 compression Methods 0.000 claims abstract description 7
- 230000006835 compression Effects 0.000 claims abstract description 7
- 238000013144 data compression Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 84
- 238000012549 training Methods 0.000 claims description 25
- 241000282898 Sus scrofa Species 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009469 supplementation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 241000282887 Suidae Species 0.000 description 3
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于通道注意力机制的猪脸识别方法，属于计算机视觉技术领域，该识别方法通过训练样本集对主干网络的优化得到猪脸识别网络，并利用猪脸识别网络对猪脸进行识别。本发明识别方法采用基于通道注意力机制的残差网络作为主干网络，加入了通道注意力机制，引入了新的数据压缩方法，相比于传统的通道注意力机制，采取全局平均池化的压缩方法，通道注意力机制的数据压缩方法，能更好的提高网络的识别率。本发明的方法在测试样本集中的准确率，均高于其他方法，能更好的适应复杂的农场环境。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于通道注意力机制的猪脸识别方法。
背景技术
计算机视觉技术已经深入到畜牧业的众多领域，其中利用图像处理与深度学习的方法实现猪个体识别成为近年来的研究热点。猪作为一种杂食性哺乳动物，不同个体之间面部特征存在差异，理论上可以将人脸识别领域的相关技术迁移至猪的身份识别。但是猪脸识别又有其特殊性，第一，猪的近亲繁殖特性导致其个体相似度很高，第二，长期不清洗的猪脸也会掩盖其面部特征，第三，猪不会配合进行猪脸的识别，想采集到较好质量的猪脸图片较为困难，这些问题，都给猪脸识别带来很大的困难。直接将人脸识别技术应用到猪脸识别领域会存在着一些局限性。
目前传统的猪个体识别技术的方法之一是在猪身体背部喷涂彩色图案，利用图像对比技术和尺度不变特征变换匹配等算法识别猪个体，这种方法对猪的身体造成了侵害，影响后续猪肉的销售，同时，当实际畜牧养殖中，猪个体数量较多时，给每只猪身体背部喷涂彩色图案，将是一个耗时耗力的工作；方法之二是在猪的耳朵上穿孔佩戴无线射频识别RFID标签，这种识别方法会引起动物的不适，咬标、掉标的情况经常发生；方法之三是使用支持向量机、等度量映射融合以及Fisherface等算法通过识别脸部确定猪只身份；但实际畜牧养殖中，环境较差，传统的识别算法应用于复杂的农场环境时，准确率并不理想，无法满足实际需求。
综上所述，现有的猪脸识别技术存在以下问题：
1.猪的近亲繁殖导致个体间相似度很高，人脸识别技术直接应用到猪脸上效果不是很好。
2.长期不清洗的猪脸，会比较脏，掩盖猪脸本来的特征，对特征提取造成一定的影响。
3.对猪脸进行识别时，猪不会配合着进行识别，猪脸会出现多个角度。
4.现有的猪脸识别算法，在复杂的农场环境下，无法保证一个较好的识别率。
发明内容
本发明的目的是解决上述现有技术中存在的问题。具体地，采用基于通道注意力机制的残差网络作为主干网络，利用训练样本集来优化主干网络，利用测试样本集，挑选出优化效果最好的主干网络，作为猪脸识别网络，对猪脸进行识别。与传统方法相比，本发明方法，由于通道注意力机制的加入，能够提高猪脸识别网络的识别率，能够更好的适应复杂的农场环境，保证一定的识别率，同时对于多角度的猪脸识别也是有效的。
为达上述目的，本发明提供了一种基于通道注意力机制的猪脸识别方法，包括通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的猪脸识别网络，并利用该猪脸识别网络对猪脸进行识别，具体包括以下步骤：
步骤1，猪脸图像的采集和处理
采集Z类猪脸图像；
在Z类猪脸图像的每类中选M张猪脸图像，得到M×Z张猪脸图像，然后对M×Z张猪脸图像分别用A种图像处理方式进行数据增强并保留每种图像处理方式得到的猪脸图像，即共得到(A+1)×M×Z张猪脸图像，该(A+1)×M×Z猪脸图像构成一个训练样本集；
在Z类猪脸图像的每类中另外选N张猪脸图像，得到N×Z张猪脸图像，该N×Z张猪脸图像构成一个测试样本集，N≠M；
步骤2，通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的网络，并将该具有最佳识别效果的网络记为猪脸识别网络，步骤如下：
步骤2.1，采用基于通道注意力机制的残差网络作为主干网络，所述残差网络的结构包括：卷积核大小为7×7通道数为64的卷积层Γ1，卷积核大小为3×3的最大池化下采样层Φ，3个相同的残差结构1沿主干网络输入-输出方向串联得到的第一残差结构组Λ1，4个相同的残差结构2沿主干网络输入-输出方向串联得到的第二残差结构组Λ2，6个相同的残差结构3沿主干网络输入-输出方向串联得到的第三残差结构组Λ3，3个相同的残差结构4沿主干网络输入-输出方向串联得到的第四残差结构组Λ4；主干网络的输入为卷积层Γ1，卷积层Γ1、采样层Φ、第一残差结构组Λ1、第二残差结构组Λ2、第三残差结构组Λ3和第四残差结构组A4依次串联；
所述残差结构1由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为64的卷积层，卷积核大小为3×3通道数为64的卷积层，卷积核大小为1×1通道数为256的卷积层，在卷积核大小为1×1通道数为256的卷积层后插入一个通道注意力机制；
所述残差结构2由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为128的卷积层，卷积核大小为3×3通道数为128的卷积层，卷积核大小为1×1通道数为512的卷积层，在卷积核大小为1×1通道数为512的卷积层后插入一个通道注意力机制；
所述残差结构3由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为256的卷积层，卷积核大小为3×3通道数为256的卷积层，卷积核大小为1×1通道数为1024的卷积层，在卷积核大小为1×1通道数为1024的卷积层后插入一个通道注意力机制；
所述残差结构4由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为512的卷积层，卷积核大小为3×3通道数为512的卷积层，卷积核大小为1×1通道数为2048的卷积层，在卷积核大小为1×1通道数为2048的卷积层后插入一个通道注意力机制；
主干网络的输出为第四残差结构组Λ4中的第3个残差结构4后插入的通道注意力机制的输出；
将通道注意力机制插入前的卷积层的通道数记为δ，δ或等于256或等于512或等于1024或等于2048；
步骤2.2，利用训练样本集对步骤2.1所述主干网络进行优化，具体步骤如下：
步骤2.2.1，通过图像预处理操作将训练样本集中的猪脸图像的像素统一调整为C×C；
步骤2.2.2，随机选取训练样本集中的B张猪脸图像，并将其中任意一个猪脸图像的序号记为s，s＝1，2，...，B，计算第s张猪脸图像的实际概率序列Ys，其中，q为实际概率序列Ys中每个实际概率值的序号，q＝1，2，...，Z，/>表示第s张猪脸图像在实际概率序列Ys中的第q个实际概率值；
实际概率序列Ys的取值如下：令且/>中的其他实际概率值均等于0；
步骤2.2.3，将步骤2.2.2选取得到的B张猪脸图像输入主干网络，输出每张猪脸图像的预测概率序列Xs，其中p为预测概率序列Xs中每个预测概率值的序号，p＝1，2，...，Z，/>表示第s张猪脸图像在预测概率序列Xs中的第p个预测概率值；
步骤2.2.4，根据预测概率序列Xs与实际概率序列Ys对主干网络进行优化；
步骤2.2.5，重复步骤2.2.2至步骤2.2.4，直至训练样本集中的猪脸图像都被选取过；特别的，如果最后一轮选取中，训练样本集剩下的猪脸图像数小于B，则从已经选取过的猪脸图像中随机选取猪脸图像进行补充；
将通过步骤2.2.2-步骤2.2.5完成优化的主干网络记为第h世代的主干网络Th，其中h为世代的序号；
步骤2.3，利用测试样本集，计算第h世代的主干网络Th对测试样本集中猪脸图像分类的准确率vh， 为利用主干网络Th对测试样本集中猪脸图像进行正确分类的数值，/>
步骤2.4，设重复次数为G，G次重复步骤2.2和步骤2.3，得到一个主干网络序列T和一个准确率序列V，T＝{T1，T2，...，Th，...，TG}，V＝{v1，v2，...，vh，...，vG}；
步骤2.5，记vo为最高准确率，vo＝max{v1，v2，...，vh，...，vG}，vo对应的主干网络To即为具有最佳识别效果的网络，并记为猪脸识别网络；
步骤3，利用猪脸识别网络对猪脸进行识别，具体步骤如下：
步骤3.1，输入一张待识别原始猪脸图像并进行以下图像处理：首先将该待识别原始猪脸图像的像素调整为D×D，然后再将像素调整为D×D的待识别原始猪脸图像的大小裁剪为E×E，其中E＜D；
将通过前述处理的待识别原始猪脸图像记为待识别猪脸图像；
步骤3.2，将待识别猪脸图像送入猪脸识别网络，得到待识别猪脸图像特征向量J，其中J＝(j1，j2，...，jl，...，jZ)，l表示待识别猪脸图像特征向量的维数，jl表示第l维待识别猪脸图像特征向量的值，l＝1，2，...，Z；
步骤3.3，用softmax函数对步骤3.2得到的待识别猪脸图像特征向量J进行运算，得到概率序列R，其中，R＝{r1，r2，...，rg，...，rZ}，g表示概率序列R的维数，rg表示第g维概率序列的值，g＝1，2，...，Z；
所述softmax函数的表达式为：
其中，log表示对数函数，e表示指数函数，
步骤3.4，取rτ＝max{r1，r2，...，rg，...，rZ}，τ对应的概率序列R的维数即为待识别猪脸图像的类别数，rτ的值为该类别数的置信度。
优选地，步骤1所述A种图像处理方式为9种处理方式，即A＝9，具体包括：颜色增强，加入高斯噪声，镜像对称，尺寸扩大两倍，向左旋转20度，随机裁剪，对比度增强，亮度增强，随机变色。
优选地，步骤2所述通道注意力机制的实现步骤如下：
根据权利要求1的步骤2.1，通道注意力机制共输入δ个通道的多维通道特征向量，对每一个多维通道特征向量，将其首尾连接展开得到4λ个一维通道特征向量；
记δ个通道中任一个通道的展平向量为Fγ， γ表示输入的通道的序号，i表示一维通道特征向量值在展平向量Fγ中的序号，/>表示展平向量Fγ中第γ个通道的第i个一维通道特征向量值，i＝1，2，...，4λ，γ＝1，2，...，δ；
对展平向量Fγ中的一维通道特征向量值按照从小到大的顺序重新进行排序，得到排序后的展平向量Hγ，/> m表示一维通道特征向量值在排序后的展平向量Hγ中的序号，/>表示排序后的展平向量Hγ中第γ个通道的第m个一维通道特征向量值，m＝1，2，...，4λ；
对排序后的展平向量Hγ保留至/>的值，得到去除异常值的展平向量Iγ，n表示一维通道特征向量值在去除异常值的展平向量Iγ中的序号，表示去除异常值的展平向量Iγ中第γ个通道第n个一维通道特征向量值，n＝λ，λ+1，...，3λ；
对去除异常值的展平向量Iγ，用求平均值的方式，对每个通道进行数据压缩，得到压缩向量Lγ，
将压缩向量Lγ经过激活模块，完成通道注意力机制，其中，激活模块的具体步骤如下所述：
对压缩向量Lγ，先经过节点数为γ的全连接层，再经过节点数为γ/θ的全连接层，再经过ReLU函数，再经过节点数为γ的全连接层，最后经过Sigmoid函数，其中θ为大于0的整数；
ReLU函数的表达式如下：
其中，表示ReLU函数的输入，/>表示ReLU函数的输出；
Sigmoid函数的表达式如下：
其中，e表示指数函数，ω表示Sigmoid函数的输入，y(ω)表示Sigmoid函数的输出。
优选地，步骤2所述根据预测概率序列Xs与实际概率序列Ys对主干网络进行优化的具体方式如下：
计算预测概率序列Xs与实际概率序列Ys之间的损失函数loss，其中，||·||2表示2范数，通过梯度下降法最小化损失函数loss，完成主干网络的优化。
与现有技术相比，本发明的有益效果如下：
1.本发明提出的通道注意力机制采用了出新的压缩数据方法，先去除异常值，再求平均值对数据进行压缩。
2.对长期不清洗的猪脸，虽然掩盖了部分特征，但仍能保证着不错的识别效果，本发明的注意力机制会有选择性的提取需要的特征。
3.对于农场这种复杂环境，本发明可以保证一个不错的识别率。
4.本发明提出的基于通道注意力机制的残差网络在对多角度的猪脸识别性能比较强，更适合实际的应用。
附图说明
图1是本发明猪脸识别方法的流程图；
图2是本发明猪脸识别方法的示意框图；
图3是本发明实施例中通道注意力机制实现步骤示意图；
图4是本发明实施例中本发猪脸识别方法和其他方法准确率对比图。
具体实施方式
下面将结合附图和具体的实施方式对本发明的技术方案进行清楚、完整的描述。
图1是本发明猪脸识别方法的流程图，图2是本发明猪脸识别方法的示意框图，由图1和图2可见，本发明提供了一种基于通道注意力机制的猪脸识别方法，包括通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的猪脸识别网络，并利用该猪脸识别网络对猪脸进行识别，具体包括以下步骤：
步骤1，猪脸图像的采集和处理
采集Z类猪脸图像；
在Z类猪脸图像的每类中选M张猪脸图像，得到M×Z张猪脸图像，然后对M×Z张猪脸图像分别用A种图像处理方式进行数据增强并保留每种图像处理方式得到的猪脸图像，即共得到(A+1)×M×Z张猪脸图像，该(A+1)×M×Z猪脸图像构成一个训练样本集；
在Z类猪脸图像的每类中另外选N张猪脸图像，得到N×Z张猪脸图像，该N×Z张猪脸图像构成一个测试样本集，N≠M。
在本实施例中，所述A种图像处理方式为9种处理方式，即A＝9，具体包括：颜色增强，加入高斯噪声，镜像对称，尺寸扩大两倍，向左旋转20度，随机裁剪，对比度增强，亮度增强，随机变色。
在本实施例中，取Z＝30，M＝3，A＝9，N＝10。
步骤2，通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的网络，并将该具有最佳识别效果的网络记为猪脸识别网络，步骤如下：
步骤2.1，采用基于通道注意力机制的残差网络作为主干网络，所述残差网络的结构包括：卷积核大小为7×7通道数为64的卷积层Γ1，卷积核大小为3×3的最大池化下采样层Φ，3个相同的残差结构1沿主干网络输入-输出方向串联得到的第一残差结构组Λ1，4个相同的残差结构2沿主干网络输入-输出方向串联得到的第二残差结构组Λ2，6个相同的残差结构3沿主干网络输入-输出方向串联得到的第三残差结构组Λ3，3个相同的残差结构4沿主干网络输入-输出方向串联得到的第四残差结构组Λ4；主干网络的输入为卷积层Γ1，卷积层Γ1、采样层Φ、第一残差结构组Λ1、第二残差结构组Λ2、第三残差结构组Λ3和第四残差结构组Λ4依次串联；
所述残差结构1由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为64的卷积层，卷积核大小为3×3通道数为64的卷积层，卷积核大小为1×1通道数为256的卷积层，在卷积核大小为1×1通道数为256的卷积层后插入一个通道注意力机制；
所述残差结构2由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为128的卷积层，卷积核大小为3×3通道数为128的卷积层，卷积核大小为1×1通道数为512的卷积层，在卷积核大小为1×1通道数为512的卷积层后插入一个通道注意力机制；
所述残差结构3由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为256的卷积层，卷积核大小为3×3通道数为256的卷积层，卷积核大小为1×1通道数为1024的卷积层，在卷积核大小为1×1通道数为1024的卷积层后插入一个通道注意力机制；
所述残差结构4由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为512的卷积层，卷积核大小为3×3通道数为512的卷积层，卷积核大小为1×1通道数为2048的卷积层，在卷积核大小为1×1通道数为2048的卷积层后插入一个通道注意力机制；
主干网络的输出为第四残差结构组Λ4中的第3个残差结构4后插入的通道注意力机制的输出；
将通道注意力机制插入前的卷积层的通道数记为δ，δ或等于256或等于512或等于1024或等于2048。
图3是本发明实施例中通道注意力机制实现步骤示意图，由图3可见，在本实施例中，所述通道注意力机制的实现步骤如下：
根据权利要求1的步骤2.1，通道注意力机制共输入δ个通道的多维通道特征向量，对每一个多维通道特征向量，将其首尾连接展开得到4λ个一维通道特征向量；
记δ个通道中任一个通道的展平向量为Fγ， γ表示输入的通道的序号，i表示一维通道特征向量值在展平向量Fγ中的序号，/>表示展平向量Fγ中第γ个通道的第i个一维通道特征向量值，i＝1，2，...，4λ，γ＝1，2，...，δ；
对展平向量Fγ中的一维通道特征向量值按照从小到大的顺序重新进行排序，得到排序后的展平向量Hγ，/> m表示一维通道特征向量值在排序后的展平向量Hγ中的序号，/>表示排序后的展平向量Hγ中第γ个通道的第m个一维通道特征向量值，m＝1，2，...，4λ；
对排序后的展平向量Hγ保留至/>的值，得到去除异常值的展平向量Iγ，n表示一维通道特征向量值在去除异常值的展平向量Iγ中的序号，表示去除异常值的展平向量Iγ中第γ个通道第n个一维通道特征向量值，n＝λ，λ+1，...，3λ；
对去除异常值的展平向量Iγ，用求平均值的方式，对每个通道进行数据压缩，得到压缩向量Lγ，
将压缩向量Lγ经过激活模块，完成通道注意力机制，其中，激活模块的具体步骤如下所述：
对压缩向量Lγ，先经过节点数为γ的全连接层，再经过节点数为γ/θ的全连接层，再经过ReLU函数，再经过节点数为γ的全连接层，最后经过Sigmoid函数，其中θ为大于0的整数；
ReLU函数的表达式如下：
其中，表示ReLU函数的输入，/>表示ReLU函数的输出；
Sigmoid函数的表达式如下：
其中，e表示指数函数，ω表示Sigmoid函数的输入，y(ω)表示Sigmoid函数的输出。
步骤2.2，利用训练样本集对步骤2.1所述主干网络进行优化，具体步骤如下：
步骤2.2.1，通过图像预处理操作将训练样本集中的猪脸图像的像素统一调整为C×C；
步骤2.2.2，随机选取训练样本集中的B张猪脸图像，并将其中任意一个猪脸图像的序号记为s，s＝1，2，...，B，计算第s张猪脸图像的实际概率序列Ys，其中，q为实际概率序列Ys中每个实际概率值的序号，q＝1，2，...，Z，/>表示第s张猪脸图像在实际概率序列Ys中的第q个实际概率值；
实际概率序列Ys的取值如下：令且/>中的其他实际概率值均等于0；
步骤2.2.3，将步骤2.2.2选取得到的B张猪脸图像输入主干网络，输出每张猪脸图像的预测概率序列Xs，其中p为预测概率序列Xs中每个预测概率值的序号，p＝1，2，...，Z，/>表示第s张猪脸图像在预测概率序列Xs中的第p个预测概率值；
步骤2.2.4，根据预测概率序列Xs与实际概率序列Ys对主干网络进行优化；具体方式如下：
计算预测概率序列Xs与实际概率序列Ys之间的损失函数loss，其中，||·||2表示2范数，通过梯度下降法最小化损失函数loss，完成主干网络的优化。
步骤2.2.5，重复步骤2.2.2至步骤2.2.4，直至训练样本集中的猪脸图像都被选取过；特别的，如果最后一轮选取中，训练样本集剩下的猪脸图像数小于B，则从已经选取过的猪脸图像中随机选取猪脸图像进行补充；
将通过步骤2.2.2-步骤2.2.5完成优化的主干网络记为第h世代的主干网络Th，其中h为世代的序号；
步骤2.3，利用测试样本集，计算第h世代的主干网络Th对测试样本集中猪脸图像分类的准确率vh， 为利用主干网络Th对测试样本集中猪脸图像进行正确分类的数值，/>
步骤2.4，设重复次数为G，G次重复步骤2.2和步骤2.3，得到一个主干网络序列T和一个准确率序列V，T＝{T1，T2，...，Th，...，TG}，V＝{v1，v2，...，vh，...，vG}；
步骤2.5，记vo为最高准确率，vo＝max{v1，v2，...，vh，...，vG}，vo对应的主干网络To即为具有最佳识别效果的网络，并记为猪脸识别网络。
在本实施例中，B＝16，C＝224，G＝100。
步骤3，利用猪脸识别网络对猪脸进行识别，具体步骤如下：
步骤3.1，输入一张待识别原始猪脸图像并进行以下图像处理：首先将该待识别原始猪脸图像的像素调整为D×D，然后再将像素调整为D×D的待识别原始猪脸图像的大小裁剪为E×E，其中E＜D；
将通过前述处理的待识别原始猪脸图像记为待识别猪脸图像；
步骤3.2，将待识别猪脸图像送入猪脸识别网络，得到待识别猪脸图像特征向量J，其中J＝(j1，j2，...，jl，...，jZ)，l表示待识别猪脸图像特征向量的维数，jl表示第l维待识别猪脸图像特征向量的值，l＝1，2，...，Z；
步骤3.3，用softmax函数对步骤3.2得到的待识别猪脸图像特征向量J进行运算，得到概率序列R，其中，R＝{r1，r2，...，rg，...，rZ}，g表示概率序列R的维数，rg表示第g维概率序列的值，g＝1，2，...，Z；
所述softmax函数的表达式为：
其中，log表示对数函数，e表示指数函数，
步骤3.4，取rτ＝max{r1，r2，...，rg，...，rZ}，τ对应的概率序列R的维数即为待识别猪脸图像的类别数，rτ的值为该类别数的置信度。
在本实例中，取D＝256，E＝224。
图4为本发明实施例中一种基于通道注意力机制的猪脸识别方法和其他最新识别算法准确率对比图，其他最新识别算法包括mobileNetV2，mobileNetV3，efficientV1，resnet-50。由图4可见，本发明方法对应的准确率曲线本发明，优于其他最新识别算法，说明本发明提出的识别方法猪脸识别领域的优越性。
总之，本发明方法实现了对通道注意力机制的改进，提高了分类的准确率，使得猪脸识别的准确率得到了很大提高，能够更好的适应复杂的农场环境，更好的服务畜牧业。
Claims (4)
1.一种基于通道注意力机制的猪脸识别方法，其特征在于，包括通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的猪脸识别网络，并利用该猪脸识别网络对猪脸进行识别，具体包括以下步骤：
步骤1，猪脸图像的采集和处理
采集Z类猪脸图像，其中Z记为猪脸图像的种类数；
在Z类猪脸图像的每类中选M张猪脸图像，得到M×Z张猪脸图像，然后对M×Z张猪脸图像分别用A种图像处理方式进行数据增强并保留每种图像处理方式得到的猪脸图像，即共得到(A+1)×M×Z张猪脸图像，该(A+1)×M×Z猪脸图像构成一个训练样本集；
在Z类猪脸图像的每类中另外选N张猪脸图像，得到N×Z张猪脸图像，该N×Z张猪脸图像构成一个测试样本集，N≠M；
步骤2，通过训练基于通道注意力机制的残差网络得到具有最佳识别效果的网络，并将该具有最佳识别效果的网络记为猪脸识别网络，步骤如下：
步骤2.1，采用基于通道注意力机制的残差网络作为主干网络，所述残差网络的结构包括：卷积核大小为7×7通道数为64的卷积层Γ1，卷积核大小为3×3的最大池化下采样层Φ，3个相同的残差结构1沿主干网络输入-输出方向串联得到的第一残差结构组A1，4个相同的残差结构2沿主干网络输入-输出方向串联得到的第二残差结构组Λ2，6个相同的残差结构3沿主干网络输入-输出方向串联得到的第三残差结构组Λ3，3个相同的残差结构4沿主干网络输入-输出方向串联得到的第四残差结构组Λ4；主干网络的输入为卷积层Γ1，卷积层Γ1、采样层Φ、第一残差结构组Λ1、第二残差结构组Λ2、第三残差结构组Λ3和第四残差结构组A4依次串联；
所述残差结构1由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为64的卷积层，卷积核大小为3×3通道数为64的卷积层，卷积核大小为1×1通道数为256的卷积层，在卷积核大小为1×1通道数为256的卷积层后插入一个通道注意力机制；
所述残差结构2由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为128的卷积层，卷积核大小为3×3通道数为128的卷积层，卷积核大小为1×1通道数为512的卷积层，在卷积核大小为1×1通道数为512的卷积层后插入一个通道注意力机制；
所述残差结构3由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为256的卷积层，卷积核大小为3×3通道数为256的卷积层，卷积核大小为1×1通道数为1024的卷积层，在卷积核大小为1×1通道数为1024的卷积层后插入一个通道注意力机制；
所述残差结构4由沿主干网络输入-输出方向依次串联的以下3个卷积层构成：卷积核大小为1×1通道数为512的卷积层，卷积核大小为3×3通道数为512的卷积层，卷积核大小为1×1通道数为2048的卷积层，在卷积核大小为1×1通道数为2048的卷积层后插入一个通道注意力机制；
主干网络的输出为第四残差结构组Λ4中的第3个残差结构4后插入的通道注意力机制的输出；
将通道注意力机制插入前的卷积层的通道数记为δ，δ或等于256或等于512或等于1024或等于2048；
步骤2.2，利用训练样本集对步骤2.1所述主干网络进行优化，具体步骤如下：
步骤2.2.1，通过图像预处理操作将训练样本集中的猪脸图像的像素统一调整为C×C；
步骤2.2.2，随机选取训练样本集中的B张猪脸图像，并将其中任意一个猪脸图像的序号记为s，s＝1，2，...，B，计算第s张猪脸图像的实际概率序列Ys，其中，q为实际概率序列Ys中每个实际概率值的序号，q＝1，2，...，Z，/>表示第s张猪脸图像在实际概率序列Ys中的第q个实际概率值；
实际概率序列Ys的取值如下：令且/>中的其他实际概率值均等于0；
步骤2.2.3，将步骤2.2.2选取得到的B张猪脸图像输入主干网络，输出每张猪脸图像的预测概率序列Xs，其中p为预测概率序列Xs中每个预测概率值的序号，p＝1，2，...，Z，/>表示第s张猪脸图像在预测概率序列Xs中的第p个预测概率值；
步骤2.2.4，根据预测概率序列Xs与实际概率序列Ys对主干网络进行优化；
步骤2.2.5，重复步骤2.2.2至步骤2.2.4，直至训练样本集中的猪脸图像都被选取过；特别的，如果最后一轮选取中，训练样本集剩下的猪脸图像数小于B，则从已经选取过的猪脸图像中随机选取猪脸图像进行补充；
将通过步骤2.2.2-步骤2.2.5完成优化的主干网络记为第h世代的主干网络Th，其中h为世代的序号；
步骤2.3，利用测试样本集，计算第h世代的主干网络Th对测试样本集中猪脸图像分类的准确率vh， 为利用主干网络Th对测试样本集中猪脸图像进行正确分类的数值，
步骤2.4，设重复次数为G，G次重复步骤2.2和步骤2.3，得到一个主干网络序列T和一个准确率序列V，T＝{T1，T2，...，Th，...，TG}，V＝{v1，v2，...，vh，...，vG}；
步骤2.5，记vo为最高准确率，vo＝max{v1，v2，...，vh，...，vG}，vo对应的主干网络To即为具有最佳识别效果的网络，并记为猪脸识别网络；
步骤3，利用猪脸识别网络对猪脸进行识别，具体步骤如下：
步骤3.1，输入一张待识别原始猪脸图像并进行以下图像处理：首先将该待识别原始猪脸图像的像素调整为D×D，然后再将像素调整为D×D的待识别原始猪脸图像的大小裁剪为E×E，其中E＜D；
将通过前述处理的待识别原始猪脸图像记为待识别猪脸图像；
步骤3.2，将待识别猪脸图像送入猪脸识别网络，得到待识别猪脸图像特征向量J，其中J＝(j1，j2，...，jl，...，jZ)，l表示待识别猪脸图像特征向量的维数，jl表示第l维待识别猪脸图像特征向量的值，l＝1，2，...，Z；
步骤3.3，用softmax函数对步骤3.2得到的待识别猪脸图像特征向量J进行运算，得到概率序列R，其中，R＝{r1，r2，...，rg，...，rZ}，g表示概率序列R的维数，rg表示第g维概率序列的值，g＝1，2，...，Z；
所述softmax函数的表达式为：
其中，log表示对数函数，e表示指数函数，
步骤3.4，取rτ＝max{r1，r2，...，rg，...，rZ}，τ对应的概率序列R的维数即为待识别猪脸图像的类别数，rτ的值为该类别数的置信度。
2.根据权利要求1所述的一种基于通道注意力机制的猪脸识别方法，其特征在于，步骤1所述A种图像处理方式为9种处理方式，即A＝9，具体包括：颜色增强，加入高斯噪声，镜像对称，尺寸扩大两倍，向左旋转20度，随机裁剪，对比度增强，亮度增强，随机变色。
3.根据权利要求1所述的一种基于通道注意力机制的猪脸识别方法，其特征在于，步骤2所述通道注意力机制的实现步骤如下：
根据权利要求1的步骤2.1，通道注意力机制共输入δ个通道的多维通道特征向量，对每一个多维通道特征向量，将其首尾连接展开得到4λ个一维通道特征向量；
记δ个通道中任一个通道的展平向量为Fγ， γ表示输入的通道的序号，i表示一维通道特征向量值在展平向量Fγ中的序号，/>表示展平向量Fγ中第γ个通道的第i个一维通道特征向量值，i＝1，2，...，4λ，γ＝1，2，...，δ；
对展平向量Fγ中的一维通道特征向量值按照从小到大的顺序重新进行排序，得到排序后的展平向量Hγ，/> m表示一维通道特征向量值在排序后的展平向量Hγ中的序号，/>表示排序后的展平向量Hγ中第γ个通道的第m个一维通道特征向量值，m＝1，2，...，4λ；
对排序后的展平向量Hγ保留至/>的值，得到去除异常值的展平向量Iγ，n表示一维通道特征向量值在去除异常值的展平向量Iγ中的序号，表示去除异常值的展平向量Iγ中第γ个通道第n个一维通道特征向量值，n＝λ，λ+1，...，3λ；
对去除异常值的展平向量Iγ，用求平均值的方式，对每个通道进行数据压缩，得到压缩向量Lγ，
将压缩向量Lγ经过激活模块，完成通道注意力机制，其中，激活模块的具体步骤如下所述：
对压缩向量Lγ，先经过节点数为γ的全连接层，再经过节点数为γ/θ的全连接层，再经过ReLU函数，再经过节点数为γ的全连接层，最后经过Sigmoid函数，其中θ为大于0的整数；
ReLU函数的表达式如下：
其中，表示ReLU函数的输入，/>表示ReLU函数的输出；
Sigmoid函数的表达式如下：
其中，e表示指数函数，ω表示Sigmoid函数的输入，y(ω)表示Sigmoid函数的输出。
4.根据权利要求1所述的一种基于通道注意力机制的猪脸识别方法，其特征在于，步骤2所述根据预测概率序列Xs与实际概率序列Ys对主干网络进行优化的具体方式如下：
计算预测概率序列Xs与实际概率序列Ys之间的损失函数loss，其中，||·||2表示2范数，通过梯度下降法最小化损失函数loss，完成主干网络的优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536355.9A CN114359958B (zh) | 2021-12-14 | 2021-12-14 | 一种基于通道注意力机制的猪脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536355.9A CN114359958B (zh) | 2021-12-14 | 2021-12-14 | 一种基于通道注意力机制的猪脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359958A CN114359958A (zh) | 2022-04-15 |
| CN114359958B true CN114359958B (zh) | 2024-02-20 |
Family
ID=81099145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111536355.9A Active CN114359958B (zh) | 2021-12-14 | 2021-12-14 | 一种基于通道注意力机制的猪脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359958B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666838A (zh) * | 2020-05-22 | 2020-09-15 | 吉林大学 | 一种改进的残差网络猪脸识别方法 |
| WO2020215676A1 (zh) * | 2019-04-26 | 2020-10-29 | 平安科技（深圳）有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
| WO2021098585A1 (en) * | 2019-11-22 | 2021-05-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image search based on combined local and global information |
| CN113065460A (zh) * | 2021-03-31 | 2021-07-02 | 吉林农业大学 | 基于多任务级联的猪脸面部表情识别框架的建立方法 |
-
2021
- 2021-12-14 CN CN202111536355.9A patent/CN114359958B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215676A1 (zh) * | 2019-04-26 | 2020-10-29 | 平安科技（深圳）有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
| WO2021098585A1 (en) * | 2019-11-22 | 2021-05-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image search based on combined local and global information |
| CN111666838A (zh) * | 2020-05-22 | 2020-09-15 | 吉林大学 | 一种改进的残差网络猪脸识别方法 |
| CN113065460A (zh) * | 2021-03-31 | 2021-07-02 | 吉林农业大学 | 基于多任务级联的猪脸面部表情识别框架的建立方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于特征金字塔注意力与深度卷积网络的多目标生猪检测;燕红文;刘振宇;崔清亮;胡志伟;;农业工程学报;20200608(第11期);全文 * |
| 多变环境下基于多尺度卷积网络的猪个体识别;王荣;史再峰;高荣华;李奇峰;;江西农业大学学报;20200420(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359958A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Learning to transfer: Unsupervised meta domain translation | |
| US11380114B2 (en) | Target detection method and apparatus | |
| Hou et al. | Tube convolutional neural network (t-cnn) for action detection in videos | |
| CN111583284B (zh) | 一种基于混合模型的小样本图像语义分割方法 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| CN108898620B (zh) | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 | |
| CN110135231B (zh) | 动物面部识别方法、装置、计算机设备和存储介质 | |
| Hayat et al. | Learning non-linear reconstruction models for image set classification | |
| Prakash et al. | Face recognition with convolutional neural network and transfer learning | |
| CN109063626B (zh) | 动态人脸识别方法和装置 | |
| US11062455B2 (en) | Data filtering of image stacks and video streams | |
| CN111126401B (zh) | 一种基于上下文信息的车牌字符识别方法 | |
| WO2023124278A1 (zh) | 图像处理模型的训练方法、图像分类方法及装置 | |
| Hayat et al. | Reverse training: An efficient approach for image set classification | |
| US20220301297A1 (en) | System, method and apparatus for obtaining sensitive and specific predictions from deep neural networks | |
| Khaldi et al. | Region of interest synthesis using image-to-image translation for ear recognition | |
| Du et al. | Learning associative representation for facial expression recognition | |
| Hendriyana et al. | Identification of types of wood using convolutional neural network with MobileNet architecture | |
| CN112418327A (zh) | 图像分类模型的训练方法、装置、电子设备以及存储介质 | |
| WO2019232723A1 (en) | Systems and methods for cleaning data | |
| He et al. | What catches the eye? Visualizing and understanding deep saliency models | |
| CN115457332A (zh) | 基于图卷积神经网络和类激活映射的图像多标签分类方法 | |
| Dulal et al. | Automatic Cattle Identification using YOLOv5 and Mosaic Augmentation: A Comparative Analysis | |
| CN114782997A (zh) | 基于多损失注意力自适应网络的行人重识别方法及系统 | |
| Wang et al. | Single image deraining via nonlocal squeeze-and-excitation enhancing network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |