CN115909403A - 基于深度学习的低成本高精度猪脸识别方法 - Google Patents

Abstract

本发明公开了基于深度学习的低成本高精度猪脸识别方法，包括以下步骤：S1：利用多任务目标检测模型提取图片中猪脸部关键点ROI图片；S2：使用猪脸各部位专用的神经网络模型对于相应的猪脸部关键点ROI图片进行特征提取，得到多个分别代表不同部位特征的特征向量；S3：通过计算步骤S2中特征向量与底库中所有猪只个体之间的度量距离，得到原图与猪只个体之间的度量距离；S4：根据特征距离计算相似度，通过相似度高低判断得到被测图片属于的目标猪只个体。本发明效率提高了多个量级，不仅减轻了从业人员对猪只个体进行编号管理时的作业量，大幅度降低了人力成本，还提高了分辨猪只个体的准确度，降低了算力成本。

Description

基于深度学习的低成本高精度猪脸识别方法

技术领域

本发明涉及计算机视觉深度学习技术领域，尤其涉及基于深度学习的低成本高精度猪脸识别方法。

背景技术

生猪养殖行业中，对猪只个体做区分编号是记录猪只数据库表项的基础，例如称量猪只体重的记录，记录猪只疫苗接种情况等，都是基于猪只个体已经做好区分的前提下进行的。

传统的猪只个体区分方法主要依靠人工巡视，检查比对猪只栏圈、脸部、生活习性、体表体征等以区分不同个体。此方法效率低下，并且十分消磨工作人员的意志与精力。

对于长年累月生活在小型养殖场（40头左右规模）的工作人员来说，区分不同猪只个体的任务并不困难，然而对于大型养殖场，仅依靠人工记录区分不同个体，并且以之作为依据开展诸如称重、接种疫苗、配种等其他工作将会是一项繁琐且庞大的工作。该项人力成本占据了生产成本的很大部分，并且随着养殖规模的增大，该项人力成本亦将随之增加。

肉猪不同于虎、鲸鱼等保护动物，没有特别明显的外在特征，如条纹模式，尾巴形状等，且肉猪为了节约饲喂成本多在出生后不久被人工切除尾巴，最常见的肉猪品种长白猪体表呈白色，一般无明显斑痕，对于基于体表特征的机器视觉算法来说分类难度大，模型训练的算力成本高。

猪只的面部包含着诸多具有独特性的特征，诸如鼻子长度、眼距、眼宽、嘴长、耳朵轮廓等等，故使用特征提取网络对猪只面部提取特征实现类似于人脸识别的猪脸识别具有可行性。

发明内容

本发明为提高养殖作业过程中确定猪只个体身份的效率，减轻人员劳动强度，提供低成本高精度的区分猪只个体的AI技术，本发明基于计算机视觉技术、神经网络与深度学习方法、目标检测技术、图像检索技术等技术实现了全自动标识猪只个体编号，以达到区分不同个体的功能，为其他重要的生产作业过程如称重、接种疫苗等工作的开展等提供了基础。

本发明的目的是通过以下技术方案来实现的：

基于深度学习的低成本高精度猪脸识别方法，包括以下步骤：

S1：利用多任务目标检测模型提取图片中猪脸部关键点ROI图片；

S2：使用猪脸各部位专用的神经网络模型对于相应的猪脸部关键点ROI图片进行特征提取，得到多个分别代表不同部位特征的特征向量；

S3：通过计算步骤S2中特征向量与猪只个体之间的度量距离，得到原图与猪只个体之间的度量距离；

S4：将特征度量距离转换为相似度，通过相似度高低判断得到被测图片属于的目标猪只个体。

进一步的，所述S1具体为：利用多任务目标检测模型同时检测猪脸和猪脸部关键点所在位置，并将猪脸以及猪脸部关键点周围一定大小的区域均作为ROI进行截取。

进一步的，所述S2具体为：

通过多次卷积和池化操作，将原图片转化为一个若干维的特征向量；

若传入多张相同部位的ROI图片，使用同一模型对每张图片进行特征提取，并对得到的特征向量取平均；

若传入了多张不同部位的ROI图片，使用各部位模型对相应的部位进行特征提取，得到多个分别代表不同部位特征的特征向量。

进一步的，所述S3具体为：

计算不同部位特征的特征向量与目标个体的特征向量组之间的度量距离，得到多个不同部位的度量距离值，根据预设的权重求加权平均值，作为原图与目标个体之间的度量距离；

或，将不同部位特征的特征向量按一定顺序连接，再经过全连接层缩减维数，得到多特征融合的总特征向量，并利用总特征向量计算其与目标个体之间的度量距离。

进一步的，所述S3还包括利用特征向量值与真实值之间的损失值反向传播给各部位专用的神经网络模型进行模型训练，更新模型参数得到目标模型；具体为：

S301：计算多级神经网络得到预测的特征向量值与真实值之间的损失值；

S302：将损失值反向传播，使用优化器迭代寻找损失值最小值；通过不断更新网络的参数进行神经网络学习训练；

S303：当调整网络参数得到近似收敛的损失值时，此时产生的权重即为目标模型的权重。

所述S6还包括：若最高相似度低于一定的阈值，则认为待测图片中的猪只个体不存在于底库中，并将猪只个体脸部特征信息与身份信息存入底库中。

本发明的有益效果：

本方法创造性地提出了一种基于计算机视觉技术、神经网络与深度学习方法以及图像检索等技术的全自动猪只个体识别的算法技术。相较于传统的全人工流程，效率提高了多个量级，不仅减轻了从业人员对猪只个体进行编号管理时的作业量，大幅度降低了人力成本，还提高了分辨猪只个体的准确度，降低了算力成本。若利用关键点周围区域的特征进行辅助识别，还能够进一步提高二次检验的准确度。总而言之，本方法是一种低成本、高效率、广适应性、高鲁棒性于一体的科学化规模化猪脸识别改良方案。

依托于计算机视觉与深度学习等计算机科学领域的快速发展，本方法为现代化、科学化的猪只养殖提供了有力保障，在真正意义上实现了养殖学、食品工程、材料科学与计算机科学等多学科的交叉融合，以新兴技术领域为传统工农业赋能。同时，本方法在现代化养殖产业中具有较高的技术优势和市场价值，适合于生产中的实际应用与技术上的进一步推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明的整体流程框图；

图2为本发明的单张图片特征提取流程图（以ResNet50为例）；

图3为本发明的多张不同部位ROI图片特征提取流程图；

图4为本发明的详细流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

1.本发明的流程如图1和4所示：

整体系统在工作时首先读入含有猪脸的图片，随后进行目标检测或关键点检测，得到的ROI图片有可能是单张（仅含有猪脸），也有可能是多张（含有猪脸和猪脸关键点周围区域）。随后将ROI图片进行特征提取，得到特征向量，根据输入图片的特征向量和目标个体的特征向量，计算其与目标个体之间的度量距离。

若为训练过程，则接下来根据度量距离计算损失值（loss），并将损失值反向传播，更新模型的参数；若为测试评估过程，则将度量距离通过一定的规则转换为相似度，并在所有个体中找到相似度最高的个体，作为测试评估的结果。

2.目标检测/关键点检测

本阶段总的来说有两种检测策略。

第一种策略是利用已经训练好的目标检测模型，如YOLOv5、FastRCNN等目标检测模型检测猪脸在图片中所在的位置，获得猪脸的锚框（bounding box），并将该部分作为ROI截取出来以供后续阶段使用。此方法速度较快，算力要求不高，但精度相对较低，适用于工业化应用场景。

第二种策略是使用MTCNN等多任务目标检测模型同时检测猪脸和猪脸部关键点（如耳朵、鼻子、眼睛等特征明显的区域）所在位置，并将猪脸以及猪脸部关键点周围一定大小的区域均作为ROI进行截取以供后续阶段统一进行特征提取。此方法因为提取了多个特征明显的区域作为输入，其效果为精确度较好，但对于算力要求较高，若要维持计算速度需要多数据流并行工作。

总而言之，此阶段主要是为了尽可能地减少无关信息的干扰，提高特征提取的准确度。

3.特征提取与度量学习

本阶段的基础操作在上一阶段得到的ROI的基础上，使用ResNet50、FaceNet等神经网络对于ROI图片进行特征提取，通过多次卷积和池化操作，将原图片转化为一个若干维的特征向量。随后计算该特征向量与目标个体的特征向量之间的度量距离。常用的度量距离表示方式有欧几里得距离、余弦距离等，其中欧几里得距离的计算公式为，余弦距离的计算公式为。

以ResNet50为例，说明单张图片如何进行特征提取的流程图如图2所示。需要注意的是，在训练过程中，还需要将提取到的特征向量经过全连接层的处理转化为分类结果，以便于下一阶段中计算损失值并进行参数调优。

若传入的是多张相同部位的ROI图片，则分别使用同一模型对每张图片进行特征提取，并对得到的特征向量取平均，而后再计算度量距离。

若传入了多张不同部位的ROI图片，则有两种处理策略：

1.使用各部位专用的模型对于相应的部位进行特征提取，得到多个分别代表不同部位特征的特征向量，并计算该特征向量组与目标个体的特征向量组中对应向量之间的度量距离，得到多个不同部位的度量距离值。再根据事先设定好的权重求其加权平均值，作为原图与目标个体之间的度量距离。这种方法在实现上较为简单，但必须分别对于各模型进行训练，因此训练代价较高。

2.使用各部位专用的模型对于相应的部位进行特征提取，得到多个分别代表不同部位特征的特征向量，然后将特征向量按一定顺序连接（concat），再经过全连接层缩减维数，最终得到一个融合了多特征的总特征向量，并利用该特征向量计算其与目标个体之间的度量距离。在进行训练时，损失值（loss）先会通过全连接层反向传播给各部位的专用模型，再由每个模型分别反向传播，以保证各模型都能够得到有效的训练（具体流程如图3所示）。

在传入多张不同部位ROI图片的情况下，最好使用余弦距离作为度量距离，以解决各特征之间的可比性问题。

常用的损失值表示有交叉熵损失（Cross entropy loss）、对比损失（Contrastiveloss）、三元组损失（Triplet loss）、改进三元组损失（Improved triplet loss）、四元组损失（Quadruplet loss）。其中交叉熵损失的定义式为，其中其中N为样本数量，M为类别数量，为符号函数，若样本i的真实类别为c则取1，否则为0，为样本i属于类别c的预测概率；对比损失的定义式为，式中y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，为设定的阈值，为两样本的欧氏距离，计算公式见上文，表示max(z,0)，即当z>0时取z，否则取0；三元组损失的定义式为，式中下标中的分别代表锚点图片（anchor）、正样本图片（positive）、负样本图片（negative），为锚点图片与正样本图片的距离， 为锚点图片与负样本图片的距离，为设定的阈值，三元组即随机挑选的的锚点图片、与锚点图片个体相同的正样本图片、与锚点图片个体不同的负样本图片所组成的元组，表示max(z,0)；改进三元组损失定义式为，式中各项表征意义同三元组损失；四元组损失是三元组损失的另一个改进版本，其定义式为，式中下标中、为设定的两个阈值，通常令，为两张不同的负样本图片，其余定义与上文相同，通常称式中前一项为强推动，后一项为弱推动。

在实际训练的过程中，ResNet50模型使用的是交叉熵损失，而FaceNet使用的是三元组损失。

训练过程中，在通过多级神经网络得到预测的特征向量值并计算其与真实值之间的损失值之后，将损失值反向传播，同时使用如SGD、Adam等优化器（optimizer）迭代寻找损失值最小值，通过不断更新网络的参数达到学习的效果。当调整网络参数得到近似收敛的损失值时，此时产生的权重即为目标模型的权重。

4.测试评估

在对模型进行训练时，只需要进行前两个阶段的步骤。进行测试评估的基础思路如下。首先使用目标检测/关键点检测以及特征提取和度量学习过程的方法对待测试的图片（称为query或者probe）的脸部/脸部关键点区域进行锚框并提取特征，在底库（gallery）中已经预先保存了所有猪只个体的脸部特征信息与身份信息的对应关系。利用度量学习过程的方法计算出待测试的图片与所有猪只个体的特征距离，依据一定规则将特征距离转换为相似度。随后对于相似度从高到低进行排序，选出排序最靠前的若干个猪只个体，并认为待测试的图片最有可能属于这些猪只个体之一。若最高相似度仍低于一定的阈值，则认为待测试图片中的猪只个体不存在于底库中，需要将其脸部特征信息与身份信息存入底库中。

为了提升预测速度，有以下可行的改进思路。在算力有限的条件下，在第一阶段可以进行单独的脸部检测而不进行关键点检测，而后进行特征提取、度量和相似度排序时也只使用脸部的全局特征进行计算，但可能对精度产生一定的影响。同时，可以使用聚类的方式缩小检索的范围，即将底库中已存在的猪只个体根据特征信息分为若干类，在检索时先确定待测试的图片属于哪一类，再在将待测试的图片在该类中进行度量和相似度排序。此种方法需要事先消耗一定的算力进行聚类，但实时性好，能够尽快找到符合要求的个体。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.基于深度学习的低成本高精度猪脸识别方法，其特征在于，包括以下步骤：

S1：利用多任务目标检测模型提取图片中猪脸部关键点ROI图片；

S2：使用猪脸各部位专用的神经网络模型对于相应的猪脸部关键点ROI图片进行特征提取，得到多个分别代表不同部位特征的特征向量；

S3：通过计算步骤S2中特征向量与底库中所有猪只个体之间的度量距离，得到原图与猪只个体之间的度量距离；

S4：根据特征距离计算相似度，通过相似度高低判断得到被测图片属于的目标猪只个体。

2.根据权利要求1所述的基于深度学习的低成本高精度猪脸识别方法，其特征在于，所述S1具体为：利用多任务目标检测模型同时检测猪脸和猪脸部关键点所在位置，并将猪脸以及猪脸部关键点周围一定大小的区域均作为ROI进行截取。

3.根据权利要求1所述的基于深度学习的低成本高精度猪脸识别方法，其特征在于，所述S2具体为：

通过多次卷积和池化操作，将原图片转化为一个若干维的特征向量；

若传入多张相同部位的ROI图片，使用同一模型对每张图片进行特征提取，并对得到的特征向量取平均；

若传入了多张不同部位的ROI图片，使用各部位模型对相应的部位进行特征提取，得到多个分别代表不同部位特征的特征向量。

4.根据权利要求1所述的基于深度学习的低成本高精度猪脸识别方法，其特征在于，所述S3具体为：

计算不同部位特征的特征向量与目标个体的特征向量组之间的度量距离，得到多个不同部位的度量距离值，根据预设的权重求加权平均值，作为原图与目标个体之间的度量距离；

或，将不同部位特征的特征向量按一定顺序连接，再经过全连接层缩减维数，得到多特征融合的总特征向量，并利用总特征向量计算其与目标个体之间的度量距离。

5.根据权利要求1所述的基于深度学习的低成本高精度猪脸识别方法，其特征在于，所述步骤S3还包括：利用特征向量值与真实值之间的损失值反向传播给各部位专用的神经网络模型进行模型训练，更新模型参数得到目标模型；

具体为：

S301：计算多级神经网络得到预测的特征向量值与真实值之间的损失值；

S302：将损失值反向传播，使用优化器迭代寻找损失值最小值；通过不断更新网络的参数进行神经网络学习训练；

S303：当调整网络参数得到近似收敛的损失值时，此时产生的权重即为目标模型的权重。

6.根据权利要求1所述的基于深度学习的低成本高精度猪脸识别方法，其特征在于，所述S4还包括：若最高相似度低于一定的阈值，则认为待测图片中的猪只个体不存在于底库中，并将猪只个体脸部特征信息与身份信息存入底库中。

Images