CN111368766A - 一种基于深度学习的牛脸检测与识别方法 - Google Patents

Abstract

本发明提供一种基于深度学习的牛脸检测与识别方法，包括牛脸数据采集与预处理、牛脸数据转换、牛脸特征提取模型的构建与牛脸特征向量数据库的构建、牛脸检测模型的构建、利用构建的牛脸特征提取模型与牛脸检测模型进行牛脸部分检测与特征提取、利用图像检索技术进行牛脸识别。该方法能够有效地减少训练模型所需的数据量，精准地勾勒出牛脸部分，减少非牛脸部分的环境因素对识别准确率的影响，并综合使用多种牛脸特征值进行牛脸识别，提高了牛脸识别的准确率。

Description

一种基于深度学习的牛脸检测与识别方法

技术领域

本发明涉及牛脸检测与识别技术，具体涉及一种基于深度学习的牛脸检测与识别方法。

背景技术

随着科技时代的发展，越来越多的高新科技被应用于数字农业的发展，其中包括物联网技术，遥感技术，人工智能技术等等。高新技术在农作物增产，病虫害防护，畜牧养殖等方面都取得了不错成果。除了高新技术，保险业也为数字农业的发展做出了不可忽视的贡献。作为一项惠及三农的政策性保险，奶牛保险能够有效提高养殖户应对风险的能力，降低灾害导致的损失。然而，“骗保”事件的频发导致承保机构的利益严重受损。

深度学习是机器学习中一种对数据进行表征学习的算法。基于深度学习的畜牧识别技术利用获得的特征对养殖业的个体进行身份识别鉴定，能够有效减少“骗保”事件的发生，提高“骗保”的道德风险。现有技术大部分停留在牛只个体识别与牛脸检测部分(参见姚礼垚的《基于深度网络模型的牛脸检测算法比较》，《江苏大学学报》，2019，第二期)，仅有少部分技术实现了牛脸识别，如基于深度学习与稀疏表示的增量识别框架(参见吕昌伟的硕士论文《基于深度学习与稀疏表示的模式识别研究及牛脸识别应用》，2018)。这些方法证明了深度学习算法在牛脸识别中的可行性，并为牛脸识别实际应用奠定了坚实的基础。

由于现有技术方法需要大量的数据进行模型训练，并采用方框勾勒出牛脸部分从而进行身份鉴定，这将导致两方面的不足：一是庞大的数据量使数据采集负担增加，并且极大地增加训练模型所花费的时间；二是勾勒出牛脸部分的方框中不仅含有牛脸部分，还包括图像中背景因素，随着环境复杂度的增加，识别准确率也会受到较大的影响。

发明内容

本发明的目的在于克服上述现有技术中的不足之处，提出一种基于深度学习的牛脸检测与识别方法。

本发明是通过如下方式实现的：

步骤一：分别采集牛的正脸、左侧脸、右侧脸图像，随后对采集的牛脸图像数据进行预处理，勾勒出图片中的牛脸部分，并对牛进行身份标注；

步骤二：将经过预处理后的牛脸图像转换成JSON(JavaScript Object Notation)格式文件，其中JSON文件包含图像中牛脸部分的坐标，牛只的身份信息和图片所在的目录路径；

步骤三：基于卷积神经网络——101层的残差网络(Residual Network 101，ResNet101)，利用深度学习算法提取JSON文件中牛脸部分的数据进行学习，获取牛脸特征提取模型，并将提取出的牛脸图像特征根据实际情况分别储存在不同的特征向量数据库中，其中特征向量数据库分为正脸特征向量数据库、左侧脸特征向量数据库、右侧脸特征向量数据库；

步骤四：基于卷积神经网络ResNet101，采用掩码区域卷积神经网络(MaskRegion-Convolutional Neural Networks，Mask R-CNN)框架对经过步骤二处理的JSON文件进行学习，获得牛脸检测模型；

步骤五：采用牛脸检测模型对待识别牛的正脸、左侧脸、右侧脸分别进行牛脸检测，检测出图片中牛脸部分，并采用牛脸特征提取模型对检测出的牛脸部分进行特征提取，分别记为正脸特征向量X、左侧脸特征向量Y、右侧脸特征向量Z；

步骤六：根据步骤五获得的特征向量X、Y、Z，采用图像检索技术进行牛的身份鉴定，最终实现牛脸识别。

进一步，所述步骤一采集牛的正脸、左侧脸、右侧脸图像至少各两副。

进一步，所述步骤三的牛脸特征提取模型的训练时的损失函数表达式为：

其中，L_c代表损失函数，M代表牛的总数量，y_i代表指示变量，如果当前观测牛只与第i头牛的训练样本是相同的则为1，不同为0；p_i表示当前牛只为第i头牛的预测概率。

进一步，所述步骤四的牛脸检测模型具体为：

L_d＝L_cls+L_box+L_maSk

其中，L_d为牛脸检测模型，L_cls为目标的分类损失值，L_box为目标的回归损失值，L_mask为目标识别损失值；L_cls采用多分类交叉熵的方式进行计算，因此L_cls可直接采用所述步骤三的L_c的表达式进行计算；

L_box采用下述表达式进行计算：

其中，N代表特征图像中的像素点总数，t_i为训练阶段的预测偏移向量，

为训练阶段的实际偏移向量，函数R(x)为Smooth_L1函数，具体表达式为：

L_mask采用二分类交叉熵的方式进行计算，具体表达式为：

其中，N代表特征图像中的像素点总数，y_i表示类别，正类为1，负类为0，p_i表示样本预测为正的概率。

进一步，所述的步骤六具体包括下述步骤：

Step 1)初始化：迭代次数计数器i＝1，正脸特征向量数据库中储存的特征向量个数N，系数α＝0.5，β＝0.25，γ＝0.25；

Step 2)从正脸特征向量数据库、左侧脸特征向量数据库和右侧脸特征向量数据库分别取出第i头牛的正脸特征向量X_i、左侧脸特征向量Y_i和右侧脸特征向量Z_i；

Step 2)计算特征向量X与特征向量X_i的夹角余弦值

Step 3)计算特征向量Y与特征向量Y_i的夹角余弦值

Step 4)计算特征向量Z与特征向量Z_i的夹角余弦值

Step 5)计算第i头牛的得分s_i＝αd_i,x+βd_i,y+γd_i,y；

Step 6)i＝i+1，如果i≤N，转到Step 2)，如果i>N，转到Step 7)；

Step 7)从s₁，s₂，……，s_N中选出得分最高的个体，并将其作为识别结果输出。

本发明的有益效果在于：针对现有的牛脸识别方法对训练数据量需求过大的问题以及采用方框的方式勾勒牛脸影响识别准确率的问题，提出了一种基于深度神经网络的牛脸检测与识别方法，该方法能够有效地减少模型训练所需的数据量。训练而得的牛脸检测模型能够精准地勾勒出图片中的牛脸部分，并使用牛脸特征提取模型对识别出的牛脸轮廓进行特征向量提取，大大减少了图像中非牛脸部分的环境因素造成的影响。采用图像检索技术，结合提取出的正脸特征向量、左侧脸特征向量、右侧脸特征向量等三种特征向量进行牛脸识别，提高了识别准确率。

附图说明

图1为本发明方法的流程图；

图2(a)为牛的正脸示意图，图2(b)为牛的左侧脸示意图，图2(c)为牛的右侧脸示意图；

图3为待检测的牛只图像示意图；

图4(a)为牛脸检测模型检测出的牛脸部分阴影覆盖图，图4(b)为待检测图像中的牛脸部分示意图。

具体实施方式

下面结合附图和本发明的实例，对本发明作进一步的描述。

本发明通过下列步骤实现：如图1所示，首先采集牛脸数据并进行预处理，随后将预处理的数据转换成JSON文件，然后基于卷积神经网络ResNet101与JSON文件进行训练，获得牛脸特征提取模型以及构建特征向量数据库。同样基于采像卷积神经网络ResNet101与JSON文件，利用Mask RCNN框架获得牛脸检测模型，然后使用牛脸检测模型对待检测牛只进行牛脸检测，并使用牛脸特征提取模型对检测结果进行牛脸特征向量提取，最后采用图像检索技术进行牛脸识别并输出识别结果。具体说明如下：

第一步：牛脸数据采集与预处理具体为：

如图2所示，对预设数量的牛进行图像采集工作，分别采集每头牛的正脸、左侧脸、右侧脸图像至少各两幅，并将采集的图像分成训练集与测试集。其中，训练集包含正脸训练集、左侧脸训练集、右侧脸训练集。同样的，测试集分为正脸测试集、左侧脸测试集、右侧脸测试集。采集工作完成后，统一对训练集中的图像进行勾勒标注工作。使用弧线地理信息系统(Arc Geographic Information System，ArcGIS)软件或者自我标注(Label Me，LabelMe)软件勾勒出图片中的牛脸部分，并对勾勒出的牛脸部分进行身份标记；

第二步：JSON格式文件的转换具体为：

因为后续步骤中的模型需要JSON格式的文件来进行训练，因此在这一步，我们依据JSON文件的规则，将经过预处理后的牛脸图像转换成JSON文件。我们采用目标实例的结构体类型来记录图片中勾勒出的牛脸部分，让每一个牛脸部分构成一个目标实例的结构体，并将该目标实例的信息存入JSON文件中，其中目标实例的信息包括图像中牛脸部分的坐标，牛只的身份信息和图片所在的目录路径等；

第三步：牛脸特征提取模型与特征向量数据库的构建具体为：

我们采用简单且使用的卷积神经网络ResNet101进行牛脸特征提取模型的训练，其中ResNet101网络包含卷积层或者全连接层共101层网络。我们选用多分类交叉熵作为牛脸特征提取模型训练时的损失函数，其表达式为：

其中，M代表牛的总数量；y_i代表指示变量，如果当前观测牛只与第i头牛的训练样本是相同的则为1，不同为0；p_i表示当前牛只为第i头牛的预测概率。

基于交叉熵损失函数的卷积神经网络ResNet101，对第二步获取的JSON文件中牛脸部分的数据进行训练，获取牛脸特征提取模型。在模型训练结束后，我们不仅获得了牛脸特征提取模型，我们还获得每一个牛脸的特征向量。我们除了将牛脸特征提取模型储存以便进行后续的牛脸特征提取工作外，我们还将提取出的牛脸图像特征向量根据实际情况分别储存在不同的特征向量数据库中，其中特征向量数据库分为正脸特征向量数据库、左侧脸特征向量数据库、右侧脸特征向量数据库；

第四步：构建牛脸检测模型：

牛脸检测模型与牛脸特征提取模型一样，采用卷积神经网络ResNet101进行模型训练学习。牛脸检测模型需要识别出图片中的牛脸部分，因此基于Mask RCNN框架能够有效地识别出物体轮廓的特点，采用Mask RCNN框架来实现牛脸检测。由于该模型需要精确地识别出图片的牛脸部分，因此不同于牛脸特征提取模型的构建，牛脸检测模型采用的损失函数将更加复杂，其表达式为：

L_d＝L_cls+L_box+L_mask

其中，L_cls为目标的分类损失值，L_box为目标的回归损失值，L_mask为目标识别损失值。L_cls采用多分类交叉熵的方式进行计算，因此L_cls可直接采用L_c的表达式进行计算。L_box采用下述表达式进行计算：

其中，N代表特征图像中的像素点总数，t_i为训练阶段的预测偏移向量，

为训练阶段的实际偏移向量，函数R(x)为Smooth_L1函数，具体表达式为：

L_mask采用二分类交叉熵的方式进行计算，具体表达式为：

其中，N代表特征图像中的像素点总数，y_i表示类别，正类为1，负类为0，p_i表示样本预测为正的概率。

基于上述的卷积神经网络ResNet101与损失函数，对经过第二步处理的JSON文件进行学习，获得并储存牛脸检测模型；

第五步：牛脸检测与牛脸特征提取：

对测试集中的牛脸图像进行测试。首先使用第四步构建好的牛脸检测模型分别对正脸测试集、左侧脸测试集、右侧脸测试集中的图片进行牛脸检测；然后将检测出的牛脸部分作为牛脸特征提取模型的输入，分别提取出待识别牛的正脸特征向量、左侧脸特征值、右侧脸特征值。

以图3为例，首先采用牛脸检测模型进行牛脸检测，获得如图4的检测结果，然后将检测结果输入到牛脸特征提取模型中，提取出牛脸的正脸特征向量，记为X。同样的，对该头牛在左脸测试集与右脸测试集中的图片进行牛脸检测与牛脸特征提取，获得左侧脸特征向量Y、右侧脸特征向量Z；

第六步：牛脸识别：

基于第五步提取出的牛脸特征向量X、Y、Z，采用图像检索技术分别与正脸特征向量数据库、左侧脸特征向量数据库、右侧脸特征向量数据库中的特征向量进行比对计算，通过最后计算所得的得分高低对牛的身份进行鉴定，从而实现牛脸识别；

为了实现牛脸识别，所提的图像检索算法具体如下：

输入：待识别牛的正脸特征向量X、左侧脸特征向量Y、右侧脸特征向量Z；

输出：识别结果；

Step 1)初始化：迭代次数计数器i＝1，正脸特征向量数据库中储存的特征向量个数N，系数α＝0.5，β＝0.25，γ＝0.25；

Step 2)从正脸特征向量数据库、左侧脸特征向量数据库和右侧脸特征向量数据库分别取出第i头牛的正脸特征向量X_i、左侧脸特征向量Y_i和右侧脸特征向量Z_i；

Step 2)计算特征向量X与特征向量X_i的夹角余弦值

Step 3)计算特征向量Y与特征向量Y_i的夹角余弦值

Step 4)计算特征向量Z与特征向量Z_i的夹角余弦值

Step 5)计算第i头牛的得分s_i＝αd_i,x+βd_i,y+γd_i,y；

Step 6)i＝i+1，如果i≤N，转到Step 2)，如果i>N，转到Step 7)；

Step 7)从s₁，s₂，……，s_N中选出得分最高的个体，并将其作为识别结果输出。

在所提算法中，考虑到不同姿态的牛脸包含的信息量有所区别的特点，系数α，β和γ的取值有所不同。由于正脸含有牛的更多信息，因此系数α设为0.5，而左侧脸和右侧脸所含信息量是相同的，故β和γ都设为0.25。

实例：牛脸检测与识别仿真实验

实验：采集100头牛的正脸、左侧脸、右侧脸图像各两幅。随机抽取其中100头牛的正脸、左侧脸、右侧脸各一幅作为训练集(共计300幅图像)，剩余的图像作为测试集。将训练集数据进行预处理并转化为JSON文件。基于卷积神经网络ResNet101，利用深度学习算法提取JSON文件中牛脸部分的数据进行学习，获取牛脸特征提取模型并将模型保存为feature_model.pth，与此同时将提取出来的特征向量分别存入正脸特征向量数据库、左侧脸特征向量数据库和右侧脸特征向量数据库中。基于卷积神经网络ResNet101，采用Mask RCNN框架对JSON文件进行学习，获取牛脸检测模型并将模型保存为mask_rcnn_cow_face_model.pth。为了验证方法的有效性，我们进行如下仿真实验。

仿真1：为了验证牛脸检测模型mask_rcnn_cow_face_model.pth的有效性，现进行如下仿真实验。

使用牛脸检测模型mask_rcnn_cow_face_model.pth对待检测牛只图像(如图3所示)进行牛脸检测，勾勒出图片中的牛脸部分。检测出的牛脸部分阴影覆盖图如图4(a)所示，从图4(a)可以看出，牛脸检测模型可以准确地检测出图片中的牛脸部分。

为了直观地展示出检测成果，根据图4(a)的检测结果，提取出图3中的牛脸部分，具体结果如图4(b)所示。从图4(b)可以直观地看出，相比较于用方框勾勒出牛脸部分的方法，本发明提出的牛脸检测方法可以有效地减少背景因素的影响，更加精确地检测出图片的牛脸部分，从而验证牛脸检测模型的有效性。

仿真2：为了验证牛脸识别方法的有效性，现进行如下实验。

使用牛脸检测模型mask_rcnn_cow_face_model.pth分别对测试集中100头牛的正脸、左侧脸、右侧脸图片进行牛脸检测，检测出图像中的牛脸部分。随后使用牛脸特征提取模型对检测结果进行牛脸特征向量的提取，提取出100头牛的正脸特征向量、左侧脸特征向量、右侧脸特征向量。最后采用本发明所提出的图像检索算法进行牛脸识别。经统计，牛脸识别准确率为98％，进而说明了牛脸识别方法的有效性。

由于牛脸检测模型与牛脸特征提取模型仅仅采用100头牛的正脸、左侧脸和右侧脸图像各一幅(共计300幅图像)进行训练学习而得，因此牛脸识别的高准确率可以说明所提方法利用少量的训练数据即可获得高精度的牛脸识别效果，有效地减少模型训练所需的数据量。需要注意的是对于不同姿态的牛脸图像，我们使用同一个牛脸检测模型对图像中的牛脸部分进行检测，而且使用同一个牛脸特征提取模型进行牛脸特征向量的提取，这在一定程度上减轻了模型构建的复杂度，提升了所提方法的适用性。

Claims (5)

1.一种基于深度学习的牛脸检测与识别方法，其特征在于：包括下列步骤：

步骤一：分别采集牛的正脸、左侧脸、右侧脸图像，随后对采集的牛脸图像数据进行预处理，勾勒出图片中的牛脸部分，并对牛进行身份标注；

步骤二：将经过预处理后的牛脸图像转换成JSON(JavaScript Object Notation)格式文件，其中JSON文件包含图像中牛脸部分的坐标，牛只的身份信息和图片所在的目录路径；

步骤三：基于卷积神经网络——101层的残差网络(Residual Network 101，ResNet101)，利用深度学习算法提取JSON文件中牛脸部分的数据进行学习，获取牛脸特征提取模型，并将提取出的牛脸图像特征根据实际情况分别储存在不同的特征向量数据库中，其中特征向量数据库分为正脸特征向量数据库、左侧脸特征向量数据库、右侧脸特征向量数据库；

步骤四：基于卷积神经网络ResNet101，采用掩码区域卷积神经网络(Mask Region-Convolutional Neural Networks，Mask R-CNN)框架对经过步骤二处理的JSON文件进行学习，获得牛脸检测模型；

步骤五：采用牛脸检测模型对待识别牛的正脸、左侧脸、右侧脸分别进行牛脸检测，检测出图片中牛脸部分，并采用牛脸特征提取模型对检测出的牛脸部分进行特征提取，分别记为正脸特征向量X、左侧脸特征向量Y、右侧脸特征向量Z；

步骤六：根据步骤五获得的特征向量X、Y、Z，采用图像检索技术进行牛的身份鉴定，最终实现牛脸识别。

2.如权利要求1所述的一种基于深度学习的牛脸检测与识别方法，其特征在于：所述步骤一采集牛的正脸、左侧脸、右侧脸图像至少各两副。

3.如权利要求1所述的一种基于深度学习的牛脸检测与识别方法，其特征在于：所述步骤三的牛脸特征提取模型的训练时的损失函数表达式为：

其中，L_c代表损失函数，M代表牛的总数量，y_i代表指示变量，如果当前观测牛只与第i头牛的训练样本是相同的则为1，不同为0；p_i表示当前牛只为第i头牛的预测概率。

4.如权利要求1所述的一种基于深度学习的牛脸检测与识别方法，其特征在于：所述步骤四的牛脸检测模型具体为：

L_d＝L_cls+L_box+L_mask

其中，L_d为牛脸检测模型，L_cls为目标的分类损失值，L_box为目标的回归损失值，L_mask为目标识别损失值；L_cls采用多分类交叉熵的方式进行计算，因此L_cls可直接采用所述步骤三的L_c的表达式进行计算；

L_box采用下述表达式进行计算：

其中，N代表特征图像中的像素点总数，t_i为训练阶段的预测偏移向量，

为训练阶段的实际偏移向量，函数R(x)为Smooth_L1函数，具体表达式为：

L_mask采用二分类交叉熵的方式进行计算，具体表达式为：

其中，N代表特征图像中的像素点总数，y_i表示类别，正类为1，负类为0，p_i表示样本预测为正的概率。

5.如权利要求1所述的一种基于深度学习的牛脸检测与识别方法，其特征在于：所述的步骤六具体包括下述步骤：

Step 1)初始化：迭代次数计数器i＝1，正脸特征向量数据库中储存的特征向量个数N，系数α＝0.5，β＝0.25，γ＝0.25；

Step 2)从正脸特征向量数据库、左侧脸特征向量数据库和右侧脸特征向量数据库分别取出第i头牛的正脸特征向量X_i、左侧脸特征向量Y_i和右侧脸特征向量Z_i；

Step 2)计算特征向量X与特征向量X_i的夹角余弦值

Step 3)计算特征向量Y与特征向量Y_i的夹角余弦值

Step 4)计算特征向量Z与特征向量Z_i的夹角余弦值

Step 5)计算第i头牛的得分s_i＝αd_i，x+βd_i，y+γd_i，y；

Step 6)i＝i+1，如果i≤N，转到Step 2)，如果i＞N，转到Step 7)；

Step 7)从s₁，s₂，……，s_N中选出得分最高的个体，并将其作为识别结果输出。

Images