CN114882303A - 一种基于帧过滤和目标检测的牲畜计数方法 - Google Patents

一种基于帧过滤和目标检测的牲畜计数方法 Download PDF

Info

Publication number
CN114882303A
CN114882303A CN202111144594.XA CN202111144594A CN114882303A CN 114882303 A CN114882303 A CN 114882303A CN 202111144594 A CN202111144594 A CN 202111144594A CN 114882303 A CN114882303 A CN 114882303A
Authority
CN
China
Prior art keywords
network
frame
livestock
target detection
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111144594.XA
Other languages
English (en)
Inventor
高嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Original Assignee
Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd filed Critical Sichuan Xueyue Tianyou Agriculture And Animal Husbandry Technology Co ltd
Priority to CN202111144594.XA priority Critical patent/CN114882303A/zh
Publication of CN114882303A publication Critical patent/CN114882303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于帧过滤和目标检测的牲畜计数方法，属于牲畜目标检测技术领域，所述方法包括如下步骤：获取牲畜计数数据集；构建重叠度分类网络；对重叠度分类网络进行训练，得到训练好的重叠度分类网络；根据重叠度利用训练好的重叠度分类网络进行帧过滤，得到重叠度最低的预设数量帧；构建目标检测网络；对目标检测网络进行训练，得到训练好的目标检测网络；利用训练好的目标检测网络检测重叠度最低的预设数量帧，得到各帧中牲畜位置和牲畜数量，并对各帧中牲畜数量进行加权平均计数融合，得到被测牲畜数量；本方案解决了利用深度学习基于重叠度的帧过滤算法和目标检测算法对牲畜进行检测和计数的问题。

Description

一种基于帧过滤和目标检测的牲畜计数方法
技术领域
本发明属于牲畜目标检测技术领域，尤其涉及一种基于帧过滤和目标检测的牲畜计数方法。
背景技术
根据计数方式的不同，目标计数方法可分为基于密度估计的计数方法，基于聚类的计数方法和基于回归的计数方法。
基于密度估计的方法主要包括基于特征的密度估计方法和基于纹理的密度估计方法，基于特征的数量估计方法一般通过牲畜的限速点的数量，并计算像素点在图像中所占的像素比进行牲畜密度的估计。但是牲畜的重叠，阴影等会给牲畜估计带来一定的偏差。同时也有学者提出，通过对前景和背景赋予不同权重，来进行射影矫正，以进一步提高密度估计的准确率。但是在高密度环境下，基于特征密度估计的方法还是欠佳，为了应对这一场景，基于纹理特征的计数方法被提出，将目标(牲畜)视为一种特殊的纹理，通过提取图像中的目标纹理特征，比如灰度共生矩阵、二值模式特征等。
基于聚类的目标计数方法，将全局光流法与高斯背景建模相结合，作用于输入图像，得到目标的运动区域，利用聚类法对运动中目标区域的目标运动方向进行分割，得到运动区域内的运动方向信息。最后利用线性回归分析统计目标各个运动方向的数量。基于聚类的计数方法广泛用于运动方向明确的人群计数，其能够有效的地避免对视频图像中每一帧图像中的像素点进行特征提取等操作，提高了对目标计数的效率和准确度，并降低了计算机资源开销。但是聚类的计数方法仍然没有处理目标遮挡，目标密度低的场景下准确计数等问题。
基于回归的目标计数方法大多用于对拥挤场景下的人数检测，Davies等首先提出了一个线性回归模型，用于从照片中抓取整体特征，估计人群中的人数。 Chan等提出了一个视角归一化的方法，同时采取多种互补的特征进行特征提取，有效提高了计数精度。同时基于半监督学习的计数方法也被提出，通过交互学习可以发现更多未标记数据。这一方法在视频角度复杂，不便于标记的情况下表现较为良好。
同时卷积神经网络(CNN)也被用于回归类的计数模型中，通过给定数据集训练神经网络，然后使用训练完善的特征模板可以对陌生场景进行识别。
如今虽然有很多计数方法，基于密度、聚类和回归的数据方法，但是却没有利用目标检测或者帧过滤等方法到牲畜计数中。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于帧过滤和目标检测的牲畜计数方法解决了利用深度学习基于重叠度的帧过滤算法和目标检测算法对牲畜进行检测和计数的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供一种基于帧过滤和目标检测的牲畜计数方法，所述方法包括如下步骤：
S1、获取牲畜计数数据集，并将所述牲畜计数数据集均匀划分为训练集、验证集和测试集；
S2、构建重叠度分类网络；
S3、对重叠度分类网络进行训练，得到训练好的重叠度分类网络；
S4、利用重叠度对训练好的重叠度分类网络进行帧过滤，得到重叠度最低的预设数量帧；
S5、构建目标检测网络；
S6、对目标检测网络进行训练，得到训练好的目标检测网络；
S7、利用训练好的目标检测网络检测重叠度最低的预设数量帧，得到各帧中牲畜位置和牲畜数量，并对各帧中牲畜数量进行加权平均计数融合，得到被测牲畜数量。
本发明的有益效果为：本发明提出的基于帧过滤和目标检测的牲畜计数方法在实用重叠度对被测视频进行清洗，选取牲畜重叠度较低的帧进行目标检测并计数，实用性和鲁棒性相比传统目标检测方法更高，检测和计数准确率大大提升，且有效降低牲畜活动对于计数结果的影响，对于牲畜活动强度高，场景复杂的区域同样适用。
进一步地，所述步骤S1的具体步骤如下：
S11、利用labelme对采集的牧场原始数据进行标注，得到包括若干成对牧场图片和json标注的牲畜计数数据集；
S12、将json标注处理为五元组，并根据目标平衡策略将牲畜计数数据集均匀划分为训练集、验证集和测试集，其中，五元组包括X轴坐标、Y轴坐标、边界框宽度、边界框高度和重叠度。
采用上述进一步方案的有益效果为：利用labelme将牧场原始数据，即待测视频进行标注，并将牧场图片对应的json标注分为五元组，分别用于根据重叠度对待测视频进行清洗，获得可以用于目标检测的预设数量帧，以及目标检测网络训练和实际牲畜目标检测和计数。
进一步地，所述步骤S2构建重叠度分类网络包括依次设置的一个输入层、五个卷积层、两个全连接层和一个输出层，其中，各卷积层后均对应设有池化层和Relu激活函数。
采用上述进一步方案的有益效果为：所述重叠度分类网络是一个简单的分类网络，通过卷积操作提取特征，通过池化操作降低分辨率并提升特征提取的感受野，通过Relu激活函数减少梯度下降的影响，将特征提取结果输入全连接层进行特征整合并输出对应的重叠度等级。
进一步地，所述重叠度分类网络用于将输入的各帧对应划分为四种重叠度等级之一，其中，所述重叠度等级包括帧中无重叠物体、帧中有少量重叠物体、帧中有大量重叠物体以及帧中有不可计数的重叠物体。
采用上述进一步方案的有益效果为：本方案提出重叠度的概念，并构建一个卷积神经网络来完成目标的重叠度分类，将各帧对应划分为四种重叠度之一，有助于选择重叠度等级低的预设数量帧用于目标检测，最终通过加权平均求和，得到被测视频中被测牲畜数量。
进一步地，所述步骤S3的具体步骤如下：
S31、将步骤S12中的重叠度作为真值与训练集一同输入重叠度分类网络进行训练，得到重叠度标签；
S32、采用标准的交叉熵损失函数作为损失函数，并利用Adam优化重叠度分类网络；
所述交叉熵L(u,v)损失函数表达式如下：
Figure BDA0003284942380000041
其中，u表示重叠度标签的真实分布，v表示重叠度标签的拟合分布，ui表示第i个重叠度标签的真实分布，vi第i个重叠度标签的拟合分布；
S33、对重叠度分类网络进行反向传播训练，并修改重叠度分类网络权重参数，迭代训练直到分类准确率大于或等于预设值时停止训练，得到训练好的重叠度分类网络。
采用上述进一步方案的有益效果为：对重叠度分类网络进行训练，得到各帧的重叠度标签，并采用标准的交叉熵损失函数，采用Adam优化器进行优化，是网络训练过程中损失变小，通过反向传播更新修改网络权重参数，通过迭代训练直到分类准确率达到预设值，保存模型，并将其作为最终分类模型。
进一步地，所述步骤S4的具体步骤如下：
S41、将待测视频逐帧输入训练好的重叠度分类网络，得到各帧对应的重叠度等级，其中，待测视频的每一帧均包括3个通道；
S42、比较各帧的重叠度等级，得到待测视频中重叠度最低的预设数量帧。
采用上述进一步方案的有益效果为：根据重叠度分类等级，对各帧进行帧过滤，帧过滤算法是为了选择待测视频中低重叠度的帧，然后使用这些帧进行目标检测和计算；对应待测视频，其每一帧都包含3个通道，为RGB通道，将各帧输入重叠度分类网络，所述重叠度分类网络将各帧的分类结果限定在重叠度分类的四个等级内，选择重叠度最低的预设数量帧用于后续的目标检测和计数。
进一步地，所述步骤S5的具体步骤如下：
S51、采用Faster RCNN作为初始目标检测网络，利用区域候选网络RPN 代替候选区域选择；
S52、利用网络层的层层学习提取各预设数量帧的图像特征，并利用VGG16 网络的中间卷积层处理图像特征，得到特征图；
S53、利用anchor根据池化层尺寸映射各预设数量帧，得到尺寸一致的边界框及对应目标的类别分数；
所述边界框尺寸f(w,h)表达式如下：
f(w,h)＝(w/r)×(h/r)
其中，w表示各预设数量帧边界框的宽度，h表示各预设数量帧边界框的高度，r表示池化层的下采样率，r取值为16；
S54、利用RPN网络，保留和筛选IOU大于设定比率阈值的边界框及类别，得到由预设数量的目标类别的边界框组成proposals；
S55、利用Roi pooling层将特征图和proposals组合后输入softmax分类和回归层，确定目标的最终位置，从而完成目标检测网络构建。
采用上述进一步方案的有益效果为：构建目标检测网络，采用Faster RCNN 作为目标检测网络，Faster RCNN采用区域候选网络RPN(Region Proposal Networks)代替RCNN的候选区域选择过程，将整个训练过程分为可训练的两个阶段，同时因为RPN与后续训练过程共享特征权重，因此无额外成本，处理速度大大提升；经过层层学习得到特征图，其尺寸比原来的输入图像小很多，层次也更深；在获得特征图之后，需要找到图像中的proposals用于分类，在提取图像特征的过程中使用的是等尺寸的卷积，即卷积前后图像尺寸不变，因此在anchor映射到原图的过程中需要考虑池化层的尺寸变化，即下采样的尺寸，最终得到目标的bbox；得到目标回归边界框和目标类别之后，使用将IOU大于一定比率(0.8)的阈值的边界框和对应的类别保留，经过筛选之后将前预设数量的边界框组成proposals送入ROIpooling层；所述ROI pooling层将特征图和 proposals组合输入后续的分类和回归层，得到边界框位置和边界框类别，用于后续牲畜位置统计和牲畜数量计数。
进一步地，所述步骤S6的具体步骤如下：
S61、将五元组中的X轴坐标、Y轴坐标、边界框宽度和边界框高度作为真值与训练集一同输入已经预训练好的model上对RPN网络训练，得到训练好的RPN网络；
S62、利用训练好的RPN网络采集proposals对Fast RCNN网络进行训练，得到训练完成模型；
S63、利用验证集对训练完成模型进行迭代训练，得到最优训练模型；
S64、根据最优训练模型利用训练集加验证集训练出目标检测网络，利用测试集测试目标检测网络精度达到预设精度，完成目标检测网络训练，得到训练好的目标检测网络。
采用上述进一步方案的有益效果为：将五元组中关于各帧位置信息的X轴坐标和Y轴坐标，帧尺寸大小信息的边界框宽度和边界框高度与训练集一起对 RPN网络进行训练，再利用训练好的RPN网络收集proposals对Fast RCNN网络进行训练，通过验证集和测试集对网络模型的不断优化与测试，得到预设识别准确度的目标检测网络模型，用于对被测牲畜在图像中的位置检测和计数。
进一步地，所述步骤S7中对各帧中牲畜数量进行加权平均计数融合的表达式如下：
Figure BDA0003284942380000071
其中，Cf表示被测牲畜数量，i表示第i帧，ai表示第i帧的权重，ci表示第 i帧中通过目标检测得到的牲畜数量，m表示预设数量的值。
采用上述进一步方案的有益效果为：通过目标检测网络可获得各帧中的牲畜位置和牲畜数量，但选取了用于目标检测的预设数量帧，需对预设数量的结果进行加权求和，考虑到检测目标间重叠度越低，目标检测和计数的置信水平越高，本方案对具有更低级别重叠度的帧分配有更高的权重，再根据加权求和的方法实现对预设数量帧进行被测牲畜的计数融合。
附图说明
图1为本发明实施例中基于帧过滤和目标检测的牲畜计数方法的步骤流程图。
图2为本发明实施例中重叠度分类网络的网络框架图。
图3为本发明实施例中目标检测网络的网络框架图。
图4为本发明实施例中ROI pooling层的网络结构图。
图5为本发明实施例中帧过滤和目标检测与计数的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
在对本实施例进行说明之前，先对以下各参数的含义进行说明，参数与含义如表1所示：
表1
Figure BDA0003284942380000081
Figure BDA0003284942380000091
如图1所示，在本发明的一个实施例中，本发明提供一种基于帧过滤和目标检测的牲畜计数方法，所述方法包括如下步骤：
S1、获取牲畜计数数据集，并将所述牲畜计数数据集均匀划分为训练集、验证集和测试集；
所述步骤S1的具体步骤如下：
S11、利用labelme对采集的牧场原始数据进行标注，得到包括若干成对牧场图片和json标注的牲畜计数数据集；
S12、将json标注处理为五元组，并根据目标平衡策略将牲畜计数数据集均匀划分为训练集、验证集和测试集，其中，五元组包括X轴坐标、Y轴坐标、边界框宽度、边界框高度和重叠度；
利用labelme将牧场原始数据，即待测视频进行标注，并将牧场图片对应的json标注分为五元组，分别用于根据重叠度对待测视频进行清洗，获得可以用于目标检测的预设数量帧，以及目标检测网络训练和实际牲畜目标检测和计数。
S2、构建重叠度分类网络；
如图2所示，所述步骤S2构建重叠度分类网络包括依次设置的一个输入层、五个卷积层、两个全连接层和一个输出层，其中，各卷积层后均对应设有池化层和Relu激活函数；
所述重叠度分类网络是一个简单的分类网络，通过卷积操作提取特征，通过池化操作降低分辨率并提升特征提取的感受野，通过Relu激活函数减少梯度下降的影响，将特征提取结果输入全连接层进行特征整合并输出对应的重叠度等级；
所述步骤S2构建的重叠度分类网络将输入的各帧对应划分为四种重叠度等级之一，其中，所述重叠度等级包括帧中无重叠物体、帧中有少量重叠物体、帧中有大量重叠物体以及帧中有不可计数的重叠物体，其中，帧中有少量重叠物体指帧中物体重叠度小于或等于10％，帧中有大量重叠物体指帧中物体重叠度大于10％且小于或等于30％；
本方案提出重叠度的概念，并构建一个卷积神经网络来完成目标的重叠度分类，将各帧对应划分为四种重叠度之一，有助于选择重叠度等级低的预设数量帧用于目标检测，最终通过加权平均求和，得到被测视频中被测牲畜数量；
S3、对重叠度分类网络进行训练，得到训练好的重叠度分类网络；
所述步骤S3的具体步骤如下：
S31、将步骤S12中的重叠度作为真值与训练集一同输入重叠度分类网络进行训练，得到重叠度标签；
S32、采用标准的交叉熵损失函数作为损失函数，并利用Adam优化重叠度分类网络；
所述交叉熵L(u,v)损失函数表达式如下：
Figure BDA0003284942380000101
其中，u表示重叠度标签的真实分布，v表示重叠度标签的拟合分布，ui表示第i个重叠度标签的真实分布，vi第i个重叠度标签的拟合分布；
S33、对重叠度分类网络进行反向传播训练，并修改重叠度分类网络权重参数，迭代训练直到分类准确率大于或等于预设值时停止训练，得到训练好的重叠度分类网络；
对重叠度分类网络进行训练，得到各帧的重叠度标签，并采用标准的交叉熵损失函数，采用Adam优化器进行优化，是网络训练过程中损失变小，通过反向传播更新修改网络权重参数，通过迭代训练直到分类准确率达到预设值，保存模型，并将其作为最终分类模型；
S4、根据重叠度利用训练好的重叠度分类网络进行帧过滤，得到重叠度最低的预设数量帧，如图5所示；
所述步骤S4的具体步骤如下：
S41、将待测视频逐帧输入训练好的重叠度分类网络，得到各帧对应的重叠度等级，其中，待测视频的每一帧均包括3个通道；
S42、比较各帧的重叠度等级，得到待测视频中重叠度最低的预设数量帧。其中，设预设数量最大值为M，共得到重叠度最低的M帧；
根据重叠度分类等级，对各帧进行帧过滤，帧过滤算法是为了选择待测视频中有低重叠的帧，然后使用这些帧进行目标检测和计算；对应待测视频，其每一帧都包含3个通道，通常为RGB通道，将各帧输入重叠度分类网络，所述重叠度分类网络将各帧的分类结果限定在重叠度分类的四个等级内，选择重叠度最低的预设数量帧用于后续的目标检测和计数；
S5、构建目标检测网络；
如图3所示，所述步骤S5的具体步骤如下：
S51、采用Faster RCNN作为初始目标检测网络，利用区域候选网络RPN 代替候选区域选择；
S52、利用网络层的层层学习提取各预设数量帧的图像特征，并利用VGG16 网络的中间卷积层处理图像特征，得到特征图；
S53、利用anchor根据池化层尺寸映射各预设数量帧，得到尺寸一致的边界框及对应目标的类别分数；
所述边界框尺寸f(w,h)表达式如下：
f(w,h)＝(w/r)×(h/r)
其中，w表示各预设数量帧边界框的宽度，h表示各预设数量帧边界框的高度，r表示池化层的下采样率，r取值为16；
S54、利用RPN网络，保留和筛选IOU大于设定比率阈值的边界框及类别，得到由预设数量的目标类别的边界框组成proposals；
S55、利用Roi pooling层将特征图和proposals组合后输入softmax分类和回归层，确定目标的最终位置，从而完成目标检测网络构建。
S55、利用Roi pooling层将特征图和proposals组合后输入softmax分类和回归层，确定目标的最终位置，从而完成目标检测网络构建，如图4所示；
构建目标检测网络，采用Faster RCNN作为目标检测网络，Faster RCNN采用区域候选网络RPN(Region Proposal Networks)代替RCNN的候选区域选择过程，将整个训练过程分为可训练的两个阶段，同时因为RPN与后续训练过程共享特征权重，因此无额外成本，处理速度大大提升；经过层层学习得到特征图，其尺寸比原来的输入图像小很多，层次也更深；在获得特征图之后，需要找到图像中的proposals用于分类，在提取图像特征的过程中使用的是等尺寸的卷积，即卷积前后图像尺寸不变，因此在anchor映射到原图的过程中需要考虑池化层的尺寸变化，即下采样的尺寸，最终得到目标的bbox；得到目标回归边界框和目标类别之后，使用将IOU大于一定比率(0.8)的阈值的边界框和对应的类别保留，经过筛选之后将前预设数量的边界框组成proposals送入ROI pooling层；所述ROI pooling层将特征图和proposals组合输入后续的分类和回归层，得到边界框位置和边界框类别，用于后续牲畜位置统计和牲畜数量计数；
S6、对目标检测网络进行训练，得到训练好的目标检测网络；
所述步骤S6的具体步骤如下：
S61、将五元组中的X轴坐标、Y轴坐标、边界框宽度和边界框高度作为真值与训练集一同输入已经预训练好的model上对RPN网络训练，得到训练好的 RPN网络；
S62、利用训练好的RPN网络采集proposals对Fast RCNN网络进行训练，得到训练完成模型；
S63、利用验证集对训练完成模型进行迭代训练，得到最优训练模型；
S64、根据最优训练模型利用训练集加验证集训练出目标检测网络，利用测试集测试目标检测网络精度达到预设精度，完成目标检测网络训练，得到训练好的目标检测网络；
将五元组中关于各帧位置信息的X轴坐标和Y轴坐标，帧尺寸大小信息的边界框宽度和边界框高度与训练集一起对RPN网络进行训练，再利用训练好的 RPN网络收集proposals对Fast RCNN网络进行训练，通过验证集和测试集对网络模型的不断优化与测试，得到预设识别准确度的目标检测网络模型，用于对被测牲畜在图像中的位置检测和计数；
S7、利用训练好的目标检测网络检测重叠度最低的预设数量帧，得到各帧中牲畜位置和牲畜数量，并对各帧中牲畜数量进行加权平均计数融合，得到被测牲畜数量；
所述步骤S7中对各帧中牲畜数量进行加权平均计数融合的表达式如下：
Figure BDA0003284942380000131
其中，Cf表示被测牲畜数量，i表示第i帧，ai表示第i帧的权重，ci表示第 i帧中通过目标检测得到的牲畜数量，m表示预设数量的值；
通过目标检测网络可获得各帧中的牲畜位置和牲畜数量，但选取了用于目标检测的预设数量帧，需对预设数量的结果进行加权求和，考虑到检测目标间重叠度越低，目标检测和计数的置信水平越高，本方案对具有更低级别重叠度的帧分配有更高的权重，再根据加权求和的方法实现对预设数量帧进行被测牲畜的计数融合。
本发明的有益效果为：本发明提出的基于帧过滤和目标检测的牲畜计数方法在实用重叠度对被测视频进行清洗，选取牲畜重叠度较低的帧进行目标检测并计数，实用性和鲁棒性相比传统目标检测方法更高，检测和计数准确率大大提升，且有效降低牲畜活动对于计数结果的影响，对于牲畜活动强度高，场景复杂的区域同样适用。

Claims (9)

1.一种基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述方法包括如下步骤：
S1、获取牲畜计数数据集，并将所述牲畜计数数据集均匀划分为训练集、验证集和测试集；
S2、构建重叠度分类网络；
S3、对重叠度分类网络进行训练，得到训练好的重叠度分类网络；
S4、利用重叠度对训练好的重叠度分类网络进行帧过滤，得到重叠度最低的预设数量帧；
S5、构建目标检测网络；
S6、对目标检测网络进行训练，得到训练好的目标检测网络；
S7、利用训练好的目标检测网络检测重叠度最低的预设数量帧，得到各帧中牲畜位置和牲畜数量，并对各帧中牲畜数量进行加权平均计数融合，得到被测牲畜数量。
2.根据权利要求1所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S1的具体步骤如下：
S11、利用labelme对采集的牧场原始数据进行标注，得到包括若干成对牧场图片和json标注的牲畜计数数据集；
S12、将json标注处理为五元组，并根据目标平衡策略将牲畜计数数据集均匀划分为训练集、验证集和测试集，其中，五元组包括X轴坐标、Y轴坐标、边界框宽度、边界框高度和重叠度。
3.根据权利要求2所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S2构建重叠度分类网络包括依次设置的一个输入层、五个卷积层、两个全连接层和一个输出层，其中，各卷积层后均对应设有池化层和Relu激活函数。
4.根据权利要求3所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述重叠度分类网络用于将输入的各帧对应划分为四种重叠度等级之一，其中，所述重叠度等级包括帧中无重叠物体、帧中有少量重叠物体、帧中有大量重叠物体以及帧中有不可计数的重叠物体。
5.根据权利要求4所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S3的具体步骤如下：
S31、将步骤S12中的重叠度作为真值与训练集一同输入重叠度分类网络进行训练，得到重叠度标签；
S32、采用标准的交叉熵损失函数作为损失函数，并利用Adam优化重叠度分类网络；
所述交叉熵L(u,v)损失函数表达式如下：
Figure FDA0003284942370000021
其中，u表示重叠度标签的真实分布，v表示重叠度标签的拟合分布，ui表示第i个重叠度标签的真实分布，vi第i个重叠度标签的拟合分布；
S33、对重叠度分类网络进行反向传播训练，并修改重叠度分类网络权重参数，迭代训练直到分类准确率大于或等于预设值时停止训练，得到训练好的重叠度分类网络。
6.根据权利要求5所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S4的具体步骤如下：
S41、将待测视频逐帧输入训练好的重叠度分类网络，得到各帧对应的重叠度等级，其中，待测视频的每一帧均包括3个通道；
S42、比较各帧的重叠度等级，得到待测视频中重叠度最低的预设数量帧。
7.根据权利要求6所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S5的具体步骤如下：
S51、采用Faster RCNN作为初始目标检测网络，利用区域候选网络RPN代替候选区域选择；
S52、利用网络层的层层学习提取各预设数量帧的图像特征，并利用VGG16网络的中间卷积层处理图像特征，得到特征图；
S53、利用anchor根据池化层尺寸映射各预设数量帧，得到尺寸一致的边界框及对应目标的类别分数；
所述边界框尺寸f(w,h)表达式如下：
f(w,h)＝(w/r)×(h/r)
其中，w表示各预设数量帧边界框的宽度，h表示各预设数量帧边界框的高度，r表示池化层的下采样率，r取值为16；
S54、利用RPN网络，保留和筛选IOU大于设定比率阈值的边界框及类别，得到由预设数量的目标类别的边界框组成proposals；
S55、利用Roi pooling层将特征图和proposals组合后输入softmax分类和回归层，确定目标的最终位置，从而完成目标检测网络构建。
8.根据权利要求7所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S6的具体步骤如下：
S61、将五元组中的X轴坐标、Y轴坐标、边界框宽度和边界框高度作为真值与训练集一同输入已经预训练好的model上对RPN网络训练，得到训练好的RPN网络；
S62、利用训练好的RPN网络采集proposals对Fast RCNN网络进行训练，得到训练完成模型；
S63、利用验证集对训练完成模型进行迭代训练，得到最优训练模型；
S64、根据最优训练模型利用训练集加验证集训练出目标检测网络，利用测试集测试目标检测网络精度达到预设精度，完成目标检测网络训练，得到训练好的目标检测网络。
9.根据权利要求8所述的基于帧过滤和目标检测的牲畜计数方法，其特征在于，所述步骤S7中对各帧中牲畜数量进行加权平均计数融合的表达式如下：
Figure FDA0003284942370000041
其中，Cf表示被测牲畜数量，i表示第i帧，ai表示第i帧的权重，ci表示第i帧中通过目标检测得到的牲畜数量，m表示预设数量的值。
CN202111144594.XA 2021-09-28 2021-09-28 一种基于帧过滤和目标检测的牲畜计数方法 Pending CN114882303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144594.XA CN114882303A (zh) 2021-09-28 2021-09-28 一种基于帧过滤和目标检测的牲畜计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144594.XA CN114882303A (zh) 2021-09-28 2021-09-28 一种基于帧过滤和目标检测的牲畜计数方法

Publications (1)

Publication Number Publication Date
CN114882303A true CN114882303A (zh) 2022-08-09

Family

ID=82666705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144594.XA Pending CN114882303A (zh) 2021-09-28 2021-09-28 一种基于帧过滤和目标检测的牲畜计数方法

Country Status (1)

Country Link
CN (1) CN114882303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631402A (zh) * 2022-12-22 2023-01-20 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631402A (zh) * 2022-12-22 2023-01-20 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法
CN115631402B (zh) * 2022-12-22 2023-05-23 联通(四川)产业互联网有限公司 一种适用于智慧养殖的ai算法服务平台构建方法

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN109410168B (zh) 用于确定图像中的子图块类别的卷积神经网络的建模方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN111860587B (zh) 一种用于图片小目标的检测方法
CN112733614B (zh) 一种带有相似尺寸强化识别的害虫图像检测方法
CN113592911B (zh) 表观增强深度目标跟踪方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN105825168A (zh) 一种基于s-tld的川金丝猴面部检测和追踪算法
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN112528845A (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN111783885A (zh) 一种基于局部增强的毫米波图像的质量分类模型构建方法
CN111597875A (zh) 一种交通标志识别方法、装置、设备及存储介质
CN107967481A (zh) 一种基于局部性约束和显著性的图像分类方法
CN114663769A (zh) 一种基于YOLO v5的水果识别方法
CN108280845B (zh) 一种针对复杂背景的尺度自适应目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination