CN114022688A - 一种实时的牲畜身份识别方法 - Google Patents

一种实时的牲畜身份识别方法 Download PDF

Info

Publication number
CN114022688A
CN114022688A CN202111137090.5A CN202111137090A CN114022688A CN 114022688 A CN114022688 A CN 114022688A CN 202111137090 A CN202111137090 A CN 202111137090A CN 114022688 A CN114022688 A CN 114022688A
Authority
CN
China
Prior art keywords
livestock
feature extraction
layer feature
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111137090.5A
Other languages
English (en)
Inventor
高嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Original Assignee
Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd filed Critical Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Priority to CN202111137090.5A priority Critical patent/CN114022688A/zh
Publication of CN114022688A publication Critical patent/CN114022688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实时的牲畜身份识别方法，属于精准畜牧业技术领域，所述方法具体步骤如下：通过牧场视频采集得到牲畜目标检测数据集；构建牲畜识别目标检测网络；得到训练好的牲畜识别目标检测网络；得到预测牲畜脸部图像；根据预测牲畜脸部图像中牲畜脸边框剪裁预测牲畜脸部图像，并将裁剪后的预测牲畜脸部图像输入嵌入与激励网络，通过线性回归函数得到预测牲畜特征向量；将预测牲畜特征向量与牲畜特征数据库中的原牲畜特征向量匹配，并计算特征向量相似度，得到牲畜特征数据库中相似度最高的牲畜图像，完成牲畜身份识别；本方案解决了现有牲畜身份识别方法中人工提取特征的不确定性和电子耳标识别的局限性的问题。

Description

一种实时的牲畜身份识别方法
技术领域
本发明属于智能畜牧业牲畜识别技术领域，尤其涉及一种实时的牲畜身份识别方法。
背景技术
目前传统畜牧业正在不断寻找新的发展模式，不再仅以增产为主，转而更加注重产品的质量与品种，向智能化、精细化、规模化方向发展，提出了精准畜牧业的发展理念，并将更多的现代化技术与理论应用到传统畜牧业发展领域中，用科学的理念去指导畜牧业从养殖生产到居民消费等各个环节，提升各个环节的生产效率。而在畜牧业的养殖过程中，牲畜作为一种单体经济价值较大的个体具有极高的研究价值，市场需求量极大。但在牲畜的饲养过程中，由于疾病风险的困扰以及管理方式、养殖技术的限制，饲养难度较大。精准畜牧业是指通过对牲畜的图像、身体状况、生物指标等数据进行检测与分析，根据获取的数据分析牲畜目前的生长状况，为每一个牲畜个体量身打造个性化的科学饲养方案，从而有效提高畜牧产品的质量，实现养殖效益的最大化。然而，传统的识别方法中人工提取特征的不确定性及耳标识别方式的局限性,让精准畜牧业方案的实施变得无比困难。
近年来，深度学习算法已被广泛用于图像处理领域，但利用深度学习算法实现牲畜身份识别的依然很少。目前深度学习领域有两个主流的目标检测方案，一类是两阶段方法，主要包括RCNN，Fast R-CNN，Faster R-CNN等，这类方法的思想是通过选择性搜索的方法或者卷积神经网络首先生成一个候选区域(Region Proposal)，然后在每个候选区域中进行特征的提取，最后对在生成的候选区域上提取的特征向量进行分类与回归。另一个一阶段目标检测方法，主要包括SSD与YOLO等，这类方法使用一个端到端的深度卷积神经网络，直接输入整幅图像，根据不同任务目标的选取直接预测出所要识别物体的位置与类别，在识别速度有了较大的进步。
发明内容
针对现有技术中的上述不足，本发明提供的一种实时的牲畜身份识别方法解决了现有牲畜身份识别方法中人工提取特征的不确定性及电子耳标识别的局限性的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提出一种实时的牲畜身份识别方法，包括如下步骤：
S1、通过牧场视频采集得到牲畜目标检测数据集；
S2、构建牲畜识别目标检测网络；
S3、利用牲畜目标检测数据集对牲畜识别目标检测网络进行训练，得到训练好的牲畜识别目标检测网络；
S4、将待测牲畜图像输入训练好的牲畜识别目标检测网络，得到预测牲畜脸部图像；
S5、根据预测牲畜脸部图像中牲畜脸边框剪裁预测牲畜脸部图像，并将裁剪后的预测牲畜脸部图像输入嵌入与激励网络，通过线性回归函数得到预测牲畜特征向量；
S6、将预测牲畜特征向量与牲畜特征数据库中的原牲畜特征向量匹配，并计算特征向量相似度，得到牲畜特征数据库中相似度最高的牲畜图像，完成牲畜身份识别。
本发明的有益效果为：本发明利用YOLO v4的设计思想和MobileNet网络结构，提出了改进的YOLO v4网络的牲畜身份识别方法，并利用逐点卷积和深度卷积操作代替传统的标准卷积，在保证精度的情况下，减少了网络计算，降低了网络计算量，实现了网络的轻量化，能够在嵌入式设备上实现牲畜数据集的目标检测算法认为，且克服了牲畜身份识别方法中人工提取特征的不确定性及电子耳标识别的局限性的问题。
进一步地，所述步骤S1的具体步骤如下：
S11、将牧场视频解码为若干张图像，并选取预设数量的解码图像，得到原始目标检测数据集；
S12、将原始目标检测数据集中的各图像裁剪成大小为50×50的图像，并利用Lableme标注工具对各图像标注，得到牲畜目标检测数据集。
采用上述进一步方案的有益效果为：通过牧场监控视频获取真实有效的检测数据来源，并通过处理得到牲畜目标检测数据集，为后续训练牲畜目标检测网络提供了数据基础。
进一步地，所述步骤S2的具体步骤如下：
S21、利用MobileNetv3模块替换YOLO v4中特征提取网络的CSPDarknet53模块，得到改进的牲畜图像特征提取网络；
S22、利用空间金字塔池化模块构建牲畜图像特征融合网络，并将牲畜图像特征融合网络输入端与改进的牲畜图像特征提取网络的输出端连接；
S23、利用分类与回归输出网络的输入端与牲畜图像特征融合网络的输出端连接，完成初始牲畜识别目标检测网络的构建；
S24、通过损失函数的迭代训练优化初始牲畜识别目标检测网络，完成牲畜识别目标检测网络的构建。
采用上述进一步方案的有益效果为：本方案将YOLO v4网络中的特征提取网络由CSPDarknet53改为MobileNetv3-large网络结构，利用逐点卷积和深度卷积操作代替传统标准卷积操作，在保证精度的情况下减少网络计算，降低了网络计算量，从而实现模型的轻量化，能够在嵌入式设备上实现牲畜身份的目标检测任务。
进一步地，所述改进的牲畜图像特征提取网络包括依次设置的顶层特征提取层、中间层特征提取层和底层特征提取层；
所述顶层特征提取层由依次设置的CBL模块和两个连续设置的MBN模块构成，用于输出顶层特征图；所述中间层特征提取层由两个连续设置的MBN模块构成，用于输出中间层特征图；所述底层特征提取层为单个MBN模块，用于输出底层特征图；所述顶层特征提取层、中间层特征提取层和底层特征提取层的末端构成改进的牲畜图像特征提取网络的输出端；
所述牲畜图像特征融合网络的输入端包括顶层特征融合输入端、中间层特征融合输入端和底层特征融合输入端；
所述顶层特征融合输入端为单个CBL模块，并与顶层特征提取层末端连接；所述中间层特征融合输入端为单个CBL模块，并与中间层特征提取层末端连接；所述底层特征融合输入端由依次设置的第一3堆叠CBL模块、空间金字塔模块SPP、第二3堆叠CBL模块和单个CBL模块构成，并与底层特征提取层末端连接；
所述牲畜图像特征融合网络的输出端包括顶层特征融合输出端、中间层特征融合输出端和底层特征融合输出端；
所述顶层特征融合输出端为第二5堆叠CBL模块，用于输出顶层特征提取图特征提取结果；所述中间层特征融合输出端为第三5堆叠CBL模块，用于输出第二中间层特征提取图特征提取结果；所述底层特征融合输出端为第四5堆叠CBL模块，用于输出底层特征提取图特征提取结果；
所述分类与回归输出网络的输入端包括顶层分类与回归输入端、中间层分类与回归输入端和底层分类与回归输入端；
所述顶层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为52×52且通道数为256的卷积层构成，并与顶层特征融合输出端连接；所述中间层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为26×26且通道数为512的卷积层构成，并与中间层特征融合输出端连接；所述底层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为13×13且通道数为1024的卷积层构成，并与底层特征融合输出端连接。
采用上述进一步方案的有益效果为：将改进的牲畜图像特征提取网络、牲畜图像特征融合网络和分类与回归输出网络连接，构成初始牲畜识别目标检测网络。
进一步地，所述步骤S24中损失函数Loss的表达式如下：
Loss＝Loss1+Loss2+Loss3
Figure BDA0003282438470000051
Figure BDA0003282438470000052
Figure BDA0003282438470000053
其中，Loss1表示预测框位置损失函数，Loss2表示置信度损失函数，Loss3表示分类损失函数，λcoord表示位置损失权重系数，λnoobj表示置信度损失权重系数，S表示特征网格尺寸，M表示anchor的个数，i和j分别表示预测矩形框或标记矩形框的水平坐标和竖直坐标，
Figure BDA0003282438470000061
表示预测矩形框内有检测目标，
Figure BDA0003282438470000062
和
Figure BDA0003282438470000063
分别表示预测矩形框的宽和高，
Figure BDA0003282438470000064
和
Figure BDA0003282438470000065
分别表示预测矩形框的中心横坐标和中心纵坐标，
Figure BDA0003282438470000066
和
Figure BDA0003282438470000067
分别表示标记矩形框的宽和高，
Figure BDA0003282438470000068
和
Figure BDA0003282438470000069
分别表示标记矩形框的中心横坐标和中心纵坐标，
Figure BDA00032824384700000610
表示预测矩形框内没有检测目标，
Figure BDA00032824384700000611
表示预测矩形框内含有目标物体的概率得分，
Figure BDA00032824384700000612
表示预测矩形框内含有目标物体的真实值，classes表示检测目标类别数目，
Figure BDA00032824384700000613
表示预测矩形框属于c类别的概率，
Figure BDA00032824384700000614
表示预测矩形框属于类别的真实值。
采用上述进一步方案的有益效果为：通过对损失函数的迭代训练实现对初始牲畜识别目标检测网络的优化，得到牲畜识别目标检测网络。
进一步地，所述步骤S3包括如下具体步骤：
S31、将牲畜目标检测数据集输入至MobileNetv3模块进行特征提取，分别得到顶层特征图、中间层特征图和底层特征图；
S32、利用牲畜图像特征融合网络分别对顶层特征图、中间层特征图和底层特征图进行特征融合和特征提取，分别得到顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果；
S33、利用分类与回归输出网络将顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果中的概率映射为张量，并通过归一化指数函数进行分类，得到牲畜图像的预测标签向量和牲畜脸部图像，完成牲畜识别目标检测网络训练。
采用上述进一步方案的有益效果为：对牲畜识别目标检测网络进行训练，得到训练好的牲畜识别目标检测网络，用于牲畜图像的检测，并得到牲畜图像的预测标签向量和牲畜脸部图像，为进一步与数据库中的原牲畜特征向量匹配提供训练好的网络模型。
进一步地，所述步骤S32具体步骤如下：
S321、分别通过顶层特征输入端、中间层特征输入端和底层特征输入端得到顶层特征提取结果、中间层特征提取结果和底层特征提取结果；
S322、将底层特征提取结果上采样，并与中间层特征提取结果融合，得到第一中间层特征提取图；
S323、通过第一5堆叠CBL模块对第一中间层特征提取图进行特征提取，得到第一中间层特征提取图特征提取结果；
S324、将第一中间层特征提取图特征提取结果上采样，并与顶层特征提取结果Concat融合，得到顶层特征提取图；
S325、通过第二5堆叠CBL模块对顶层特征提取图进行特征提取，得到顶层特征提取图特征提取结果；
S326、将顶层特征提取图特征提取结果下采样，并与第一中间层特征提取图特征提取结果Concat融合，得到第二中间层特征提取图；
S327、通过第三5堆叠CBL模块对第二中间层特征提取图进行特征提取，得到第二中间层特征提取图特征提取结果；
S328、将第二中间层特征提取图特征提取结果下采样，并与底层特征提取结果Concat融合，得到底层特征提取图；
S329、通过第四5堆叠CBL模块对底层特征提取图进行特征提取，得到底层特征提取图特征提取结果。
采用上述进一步方案的有益效果为：通过牲畜图像特征融合网络进一步提取牲畜图像的特征，为精确识别牲畜身份提供基础。
进一步地，所述步骤S5中的线性回归函数的表达式如下：
y＝x·AT+b
其中，y表示预测牲畜特征向量，x表示预测牲畜脸部图像信息，AT表示回归系数，b表示回归常数。
采用上述进一步方案的有益效果为：提供线性回归函数，用于获取预测牲畜的一维特征向量，该一维向量中的每个数值均代表牲畜属于各个类别的概率。
进一步地，所述步骤S6中的特征向量相似度计算表示式如下：
Figure BDA0003282438470000081
其中，MSE(x,y)表示特征向量相似度，m表示牲畜图像的宽，n表示牲畜图像的高，x(i,j)表示原牲畜特征向量，y(i,j)表示预测牲畜特征向量，(i,j)表示牲畜图像的像素点位置。
采用上述进一步方案的有益效果为：提供均方误差函数用于计算牲畜特征向量与牲畜特征数据库中的原牲畜特征向量的相似度，用于得到牲畜特征数据库中相似度最高的牲畜图像，完成牲畜身份识别。
附图说明
图1为本发明实施例中实时的牲畜身份识别方法的步骤流程图。
图2为本发明实施例中牲畜识别目标检测网络的结构图。
图3为本发明实施例中MBN模块的结构图。
图4为本发明实施例中空间金字塔模块SPP的结构图。
图5为本发明实施例中CBL模块的结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，本发明提出一种实时的牲畜身份识别方法，包括如下步骤：
S1、通过牧场视频采集得到牲畜目标检测数据集；
所述步骤S1的具体步骤如下：
S11、将牧场视频解码为若干张图像，并选取预设数量的解码图像，得到原始目标检测数据集；
S12、将原始目标检测数据集中的各图像裁剪成大小为50×50的图像，并利用Lableme标注工具对各图像标注，得到牲畜目标检测数据集；
通过牧场监控视频获取真实有效的检测数据来源，并通过处理得到牲畜目标检测数据集，为后续训练牲畜目标检测网络提供了数据基础；
S2、构建牲畜识别目标检测网络；
如图2所示，所述步骤S2的具体步骤如下：
S21、利用MobileNetv3模块替换YOLO v4中特征提取网络的CSPDarknet53模块，得到改进的牲畜图像特征提取网络；
所述改进的牲畜图像特征提取网络包括依次设置的顶层特征提取层、中间层特征提取层和底层特征提取层；
所述顶层特征提取层由依次设置的CBL模块和两个连续设置的MBN模块构成，用于输出顶层特征图；所述中间层特征提取层由两个连续设置的MBN模块构成，用于输出中间层特征图；所述底层特征提取层为单个MBN模块，用于输出底层特征图；所述顶层特征提取层、中间层特征提取层和底层特征提取层的末端构成改进的牲畜图像特征提取网络的输出端；
如图5所示，所述CBL模块由卷积层、批归一化模块和LeakyRelu激活函数构成；
如图3所示，所述MBN模块由输入至输出的步长为2的残差结构和依次设置的大小为1×1的卷积层和Relu激活函数、大小为3×3的深度卷积层和Relu激活函数、大小为1×1的卷积层和线性回归构成；
S22、利用空间金字塔池化模块构建牲畜图像特征融合网络，并将牲畜图像特征融合网络输入端与改进的牲畜图像特征提取网络的输出端连接；
所述牲畜图像特征融合网络的输入端包括顶层特征融合输入端、中间层特征融合输入端和底层特征融合输入端；
所述顶层特征融合输入端为单个CBL模块，并与顶层特征提取层末端连接；所述中间层特征融合输入端为单个CBL模块，并与中间层特征提取层末端连接；所述底层特征融合输入端由依次设置的第一3堆叠CBL模块、空间金字塔模块SPP、第二3堆叠CBL模块和单个CBL模块构成，并与底层特征提取层末端连接；
所述堆叠CBL模块由三个相同的CBL模块堆叠构成；
如图3所示，空间金字塔模块SPP由并联的第一最大池化层、第二最大池化层和第三最大池化层和一个残差模块构成；
S23、利用分类与回归输出网络的输入端与牲畜图像特征融合网络的输出端连接，完成初始牲畜识别目标检测网络的构建；
所述牲畜图像特征融合网络的输出端包括顶层特征融合输出端、中间层特征融合输出端和底层特征融合输出端；
所述顶层特征融合输出端为第二5堆叠CBL模块，用于输出顶层特征提取图特征提取结果；所述中间层特征融合输出端为第三5堆叠CBL模块，用于输出第二中间层特征提取图特征提取结果；所述底层特征融合输出端为第四5堆叠CBL模块，用于输出底层特征提取图特征提取结果；
所示5堆叠CBL模块由五个相同的CBL模块堆叠构成；
所述分类与回归输出网络的输入端包括顶层分类与回归输入端、中间层分类与回归输入端和底层分类与回归输入端；
所述顶层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为52×52且通道数为256的卷积层构成，并与顶层特征融合输出端连接；所述中间层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为26×26且通道数为512的卷积层构成，并与中间层特征融合输出端连接；所述底层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为13×13且通道数为1024的卷积层构成，并与底层特征融合输出端连接；
S24、通过损失函数的迭代训练优化初始牲畜识别目标检测网络，完成牲畜识别目标检测网络的构建；
所述步骤S24中损失函数Loss的表达式如下：
Loss＝Loss1+Loss2+Loss3
Figure BDA0003282438470000111
Figure BDA0003282438470000112
Figure BDA0003282438470000113
其中，Loss1表示预测框位置损失函数，Loss2表示置信度损失函数，Loss3表示分类损失函数，λcoord表示位置损失权重系数，λnoobj表示置信度损失权重系数，S表示特征网格尺寸，M表示anchor的个数，i和j分别表示预测矩形框或标记矩形框的水平坐标和竖直坐标，
Figure BDA0003282438470000121
表示预测矩形框内有检测目标，
Figure BDA0003282438470000122
和
Figure BDA0003282438470000123
分别表示预测矩形框的宽和高，
Figure BDA0003282438470000124
和
Figure BDA0003282438470000125
分别表示预测矩形框的中心横坐标和中心纵坐标，
Figure BDA0003282438470000126
和
Figure BDA0003282438470000127
分别表示标记矩形框的宽和高，
Figure BDA0003282438470000128
和
Figure BDA0003282438470000129
分别表示标记矩形框的中心横坐标和中心纵坐标，
Figure BDA00032824384700001210
表示预测矩形框内没有检测目标，
Figure BDA00032824384700001211
表示预测矩形框内含有目标物体的概率得分，
Figure BDA00032824384700001212
表示预测矩形框内含有目标物体的真实值，classes表示检测目标类别数目，
Figure BDA00032824384700001213
表示预测矩形框属于c类别的概率，
Figure BDA00032824384700001214
表示预测矩形框属于类别的真实值；
S3、利用牲畜目标检测数据集对牲畜识别目标检测网络进行训练，得到训练好的牲畜识别目标检测网络；
所述步骤S3包括如下具体步骤：
S31、将牲畜目标检测数据集输入至MobileNetv3模块进行特征提取，分别得到顶层特征图、中间层特征图和底层特征图；
S32、利用牲畜图像特征融合网络分别对顶层特征图、中间层特征图和底层特征图进行特征融合和特征提取，分别得到顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果；
所述步骤S32具体步骤如下：
S321、分别通过顶层特征输入端、中间层特征输入端和底层特征输入端得到顶层特征提取结果、中间层特征提取结果和底层特征提取结果；
S322、将底层特征提取结果上采样，并与中间层特征提取结果融合，得到第一中间层特征提取图；
S323、通过第一5堆叠CBL模块对第一中间层特征提取图进行特征提取，得到第一中间层特征提取图特征提取结果；
S324、将第一中间层特征提取图特征提取结果上采样，并与顶层特征提取结果Concat融合，得到顶层特征提取图；
S325、通过第二5堆叠CBL模块对顶层特征提取图进行特征提取，得到顶层特征提取图特征提取结果；
S326、将顶层特征提取图特征提取结果下采样，并与第一中间层特征提取图特征提取结果Concat融合，得到第二中间层特征提取图；
S327、通过第三5堆叠CBL模块对第二中间层特征提取图进行特征提取，得到第二中间层特征提取图特征提取结果；
S328、将第二中间层特征提取图特征提取结果下采样，并与底层特征提取结果Concat融合，得到底层特征提取图；
S329、通过第四5堆叠CBL模块对底层特征提取图进行特征提取，得到底层特征提取图特征提取结果；
S33、利用分类与回归输出网络将顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果中的概率映射为张量，并通过归一化指数函数进行分类，得到牲畜图像的预测标签向量和牲畜脸部图像，完成牲畜识别目标检测网络训练；
S4、将待测牲畜图像输入训练好的牲畜识别目标检测网络，得到预测牲畜脸部图像；
S5、根据预测牲畜脸部图像中牲畜脸边框剪裁预测牲畜脸部图像，并将裁剪后的预测牲畜脸部图像输入嵌入与激励网络，通过线性回归函数得到预测牲畜特征向量；
所述步骤S5中的线性回归函数的表达式如下：
y＝x·AT+b
其中，y表示预测牲畜特征向量，x表示预测牲畜脸部图像信息，AT表示回归系数，b表示回归常数；
S6、将预测牲畜特征向量与牲畜特征数据库中的原牲畜特征向量匹配，并计算特征向量相似度，得到牲畜特征数据库中相似度最高的牲畜图像，完成牲畜身份识别；
所述步骤S6中的特征向量相似度计算表示式如下：
Figure BDA0003282438470000141
其中，MSE(x,y)表示特征向量相似度，m表示牲畜图像的宽，n表示牲畜图像的高，x(i,j)表示原牲畜特征向量，y(i,j)表示预测牲畜特征向量，(i,j)表示牲畜图像的像素点位置。
本发明的有益效果为：本发明利用YOLO v4的设计思想和MobileNet网络结构，提出了改进的YOLO v4网络的牲畜身份识别方法，并利用逐点卷积和深度卷积操作代替传统的标准卷积，在保证精度的情况下，减少了网络计算，降低了网络计算量，实现了网络的轻量化，能够在嵌入式设备上实现牲畜数据集的目标检测算法认为，且克服了牲畜身份识别方法中人工提取特征的不确定性及电子耳标识别的局限性的问题。

Claims (9)

1.一种实时的牲畜身份识别方法，其特征在于，包括如下步骤：
S1、通过牧场视频采集得到牲畜目标检测数据集；
S2、构建牲畜识别目标检测网络；
S3、利用牲畜目标检测数据集对牲畜识别目标检测网络进行训练，得到训练好的牲畜识别目标检测网络；
S4、将待测牲畜图像输入训练好的牲畜识别目标检测网络，得到预测牲畜脸部图像；
S5、根据预测牲畜脸部图像中牲畜脸边框剪裁预测牲畜脸部图像，并将裁剪后的预测牲畜脸部图像输入嵌入与激励网络，通过线性回归函数得到预测牲畜特征向量；
S6、将预测牲畜特征向量与牲畜特征数据库中的原牲畜特征向量匹配，并计算特征向量相似度，得到牲畜特征数据库中相似度最高的牲畜图像，完成牲畜身份识别。
2.根据权利要求1所述的实时的牲畜身份识别方法，其特征在于，所述步骤S1的具体步骤如下：
S11、将牧场视频解码为若干张图像，并选取预设数量的解码图像，得到原始目标检测数据集；
S12、将原始目标检测数据集中的各图像裁剪成大小为50×50的图像，并利用Lableme标注工具对各图像标注，得到牲畜目标检测数据集。
3.根据权利要求1所述的实时的牲畜身份识别方法，其特征在于，所述步骤S2的具体步骤如下：
S21、利用MobileNetv3模块替换YOLO v4中特征提取网络的CSPDarknet53模块，得到改进的牲畜图像特征提取网络；
S22、利用空间金字塔池化模块构建牲畜图像特征融合网络，并将牲畜图像特征融合网络输入端与改进的牲畜图像特征提取网络的输出端连接；
S23、利用分类与回归输出网络的输入端与牲畜图像特征融合网络的输出端连接，完成初始牲畜识别目标检测网络的构建；
S24、通过损失函数的迭代训练优化初始牲畜识别目标检测网络，完成牲畜识别目标检测网络的构建。
4.根据权利要求3所述的实时的牲畜身份识别方法，其特征在于，所述改进的牲畜图像特征提取网络包括依次设置的顶层特征提取层、中间层特征提取层和底层特征提取层；
所述顶层特征提取层由依次设置的CBL模块和两个连续设置的MBN模块构成，用于输出顶层特征图；所述中间层特征提取层由两个连续设置的MBN模块构成，用于输出中间层特征图；所述底层特征提取层为单个MBN模块，用于输出底层特征图；所述顶层特征提取层、中间层特征提取层和底层特征提取层的末端构成改进的牲畜图像特征提取网络的输出端；
所述牲畜图像特征融合网络的输入端包括顶层特征融合输入端、中间层特征融合输入端和底层特征融合输入端；
所述顶层特征融合输入端为单个CBL模块，并与顶层特征提取层末端连接；所述中间层特征融合输入端为单个CBL模块，并与中间层特征提取层末端连接；所述底层特征融合输入端由依次设置的第一3堆叠CBL模块、空间金字塔模块SPP、第二3堆叠CBL模块和单个CBL模块构成，并与底层特征提取层末端连接；
所述牲畜图像特征融合网络的输出端包括顶层特征融合输出端、中间层特征融合输出端和底层特征融合输出端；
所述顶层特征融合输出端为第二5堆叠CBL模块，用于输出顶层特征提取图特征提取结果；所述中间层特征融合输出端为第三5堆叠CBL模块，用于输出第二中间层特征提取图特征提取结果；所述底层特征融合输出端为第四5堆叠CBL模块，用于输出底层特征提取图特征提取结果；
所述分类与回归输出网络的输入端包括顶层分类与回归输入端、中间层分类与回归输入端和底层分类与回归输入端；
所述顶层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为52×52且通道数为256的卷积层构成，并与顶层特征融合输出端连接；所述中间层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为26×26且通道数为512的卷积层构成，并与中间层特征融合输出端连接；所述底层分类与回归输入端由依次设置的GBL模块、Conv卷积层和尺度大小为13×13且通道数为1024的卷积层构成，并与底层特征融合输出端连接。
5.根据权利要求3所述的实时的牲畜身份识别方法，其特征在于，所述步骤S24中损失函数Loss表达式如下：
Loss＝Loss1+Loss2+Loss3
Figure FDA0003282438460000031
Figure FDA0003282438460000032
Figure FDA0003282438460000033
其中，Loss1表示预测框位置损失函数，Loss2表示置信度损失函数，Loss3表示分类损失函数，λcoord表示位置损失权重系数，λnoobj表示置信度损失权重系数，S表示特征网格尺寸，M表示anchor的个数，i和j分别表示预测矩形框或标记矩形框的水平坐标和竖直坐标，
Figure FDA0003282438460000041
表示预测矩形框内有检测目标，
Figure FDA0003282438460000042
和
Figure FDA0003282438460000043
分别表示预测矩形框的宽和高，
Figure FDA0003282438460000044
和
Figure FDA0003282438460000045
分别表示预测矩形框的中心横坐标和中心纵坐标，
Figure FDA0003282438460000046
和
Figure FDA0003282438460000047
分别表示标记矩形框的宽和高，
Figure FDA0003282438460000048
和
Figure FDA0003282438460000049
分别表示标记矩形框的中心横坐标和中心纵坐标，
Figure FDA00032824384600000410
表示预测矩形框内没有检测目标，
Figure FDA00032824384600000411
表示预测矩形框内含有目标物体的概率得分，
Figure FDA00032824384600000412
表示预测矩形框内含有目标物体的真实值，classes表示检测目标类别数目，
Figure FDA00032824384600000413
表示预测矩形框属于c类别的概率，
Figure FDA00032824384600000414
表示预测矩形框属于类别的真实值。
6.根据权利要求4所述的实时的牲畜身份识别方法，其特征在于，所述步骤S3包括如下具体步骤：
S31、将牲畜目标检测数据集输入至MobileNetv3模块进行特征提取，分别得到顶层特征图、中间层特征图和底层特征图；
S32、利用牲畜图像特征融合网络分别对顶层特征图、中间层特征图和底层特征图进行特征融合和特征提取，分别得到顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果；
S33、利用分类与回归输出网络将顶层特征提取图特征提取结果、第二中间层特征提取图特征提取结果和底层特征提取图特征提取结果中的概率映射为张量，并通过归一化指数函数进行分类，得到牲畜图像的预测标签向量和牲畜脸部图像，完成牲畜识别目标检测网络训练。
7.根据权利要求6所述的实时的牲畜身份识别方法，其特征在于，所述步骤S32具体步骤如下：
S321、分别通过顶层特征输入端、中间层特征输入端和底层特征输入端得到顶层特征提取结果、中间层特征提取结果和底层特征提取结果；
S322、将底层特征提取结果上采样，并与中间层特征提取结果Concat融合，得到第一中间层特征提取图；
S323、通过第一5堆叠CBL模块对第一中间层特征提取图进行特征提取，得到第一中间层特征提取图特征提取结果；
S324、将第一中间层特征提取图特征提取结果上采样，并与顶层特征提取结果Concat融合，得到顶层特征提取图；
S325、通过第二5堆叠CBL模块对顶层特征提取图进行特征提取，得到顶层特征提取图特征提取结果；
S326、将顶层特征提取图特征提取结果下采样，并与第一中间层特征提取图特征提取结果Concat融合，得到第二中间层特征提取图；
S327、通过第三5堆叠CBL模块对第二中间层特征提取图进行特征提取，得到第二中间层特征提取图特征提取结果；
S328、将第二中间层特征提取图特征提取结果下采样，并与底层特征提取结果Concat融合，得到底层特征提取图；
S329、通过第四5堆叠CBL模块对底层特征提取图进行特征提取，得到底层特征提取图特征提取结果。
8.根据权利要求1所述的实时的牲畜身份识别方法，其特征在于，所述步骤S5中线性回归函数的表达式如下：
y＝x·AT+b
其中，y表示预测牲畜特征向量，x表示预测牲畜脸部图像信息，AT表示回归系数，b表示回归常数。
9.根据权利要求1所述的实时的牲畜身份识别方法，其特征在于，所述步骤S6中特征向量相似度计算表示式如下：
Figure FDA0003282438460000061
其中，MSE(x,y)表示特征向量相似度，m表示牲畜图像的宽，n表示牲畜图像的高，x(i,j)表示原牲畜特征向量，y(i,j)表示预测牲畜特征向量，(i,j)表示牲畜图像的像素点位置。
CN202111137090.5A 2021-09-27 2021-09-27 一种实时的牲畜身份识别方法 Pending CN114022688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111137090.5A CN114022688A (zh) 2021-09-27 2021-09-27 一种实时的牲畜身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111137090.5A CN114022688A (zh) 2021-09-27 2021-09-27 一种实时的牲畜身份识别方法

Publications (1)

Publication Number Publication Date
CN114022688A true CN114022688A (zh) 2022-02-08

Family

ID=80055146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111137090.5A Pending CN114022688A (zh) 2021-09-27 2021-09-27 一种实时的牲畜身份识别方法

Country Status (1)

Country Link
CN (1) CN114022688A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937200A (zh) * 2022-05-25 2022-08-23 仲恺农业工程学院 基于深度学习的池塘死鱼检测方法、装置、设备及介质
WO2023214435A1 (en) * 2022-05-06 2023-11-09 Mooofarm Pvt Ltd. A system and a method for identifying livestock in real- time

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214435A1 (en) * 2022-05-06 2023-11-09 Mooofarm Pvt Ltd. A system and a method for identifying livestock in real- time
CN114937200A (zh) * 2022-05-25 2022-08-23 仲恺农业工程学院 基于深度学习的池塘死鱼检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
CN112541355B (zh) 一种实体边界类别解耦的少样本命名实体识别方法与系统
WO2023284340A1 (zh) 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
CN114022688A (zh) 一种实时的牲畜身份识别方法
US11468266B2 (en) Target identification in large image data
CN110766690B (zh) 基于深度学习点监督思想的麦穗检测和计数方法
CN111967325A (zh) 一种基于增量优化的无监督跨域行人重识别方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN115359353A (zh) 一种花卉识别分类方法及装置
CN111881958A (zh) 车牌分类识别方法、装置、设备及存储介质
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN113610035B (zh) 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113920364A (zh) 基于注意力机制及检测变换器的宫颈细胞检测与识别方法
CN116205905B (zh) 基于移动端的配电网施工安全及质量图像检测方法及系统
CN113269182A (zh) 一种基于变体transformer对小区域敏感的目标果实检测方法及系统
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别系统及识别方法
CN107563327B (zh) 一种基于自步反馈的行人重识别方法及系统
CN115424243A (zh) 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质
CN113947780A (zh) 一种基于改进卷积神经网络的梅花鹿面部识别方法
CN114549893A (zh) 一种基于小样本学习的花卉识别系统
CN113192108A (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination