CN109726796A - 一种基于神经网络的养殖场管理方法 - Google Patents

Abstract

一种基于神经网络的养殖场管理方法，采集养殖场的各种图像，处理形成图像数据集；采用YOLO网络形成目标检测器，所述目标检测器采用3个尺度；将图像数据集输入到YOLO网络中完成训练；将训练后的目标检测器用于对养殖场所养殖的目标进行检测和计数，并区分出其他类别物种；对检测出的人头部进行定位，控制摄像机对人头部自动调焦来提取清晰头像并存储记录。本发明提出的方法能准确判断出外侵有害物种种类，方便养殖户判断是否要做出防御措施；本发明提出的方法经过实验验证在检测像鸡这样的小目标时准确率更高；对进出养殖圈的人定位并控制摄像机自动调焦，提取清晰图像并记录存储，有效防盗、防破坏、防投毒。

Description

一种基于神经网络的养殖场管理方法

技术领域

本发明属于人工智能领域，具体涉及一种基于神经网络的养殖场管理方法。

背景技术

由于人工智能的兴起，智能管理模式也被运用到了养殖领域，主要包括室外圈养的猪、鸡、鸭、牛、羊等的数量的监管，以避免丢失而造成经济损失。

目前许多专家采用计算机视觉技术，运用传统的模式识别方法来识别目标，然后对目标逐一计数。而传统的模式识别方法方法的核心是图像处理技术，图像处理技术的主要优势之一就是几乎所有目标都是可以识别的。虽然很多学者提出了很多有关目标识别和计数的算法，包括帧差法、光流法、形态学分析、混合高斯背景建模，阈值分割、匹配计数等，但是这样的识别计数方法仍然存在着许多问题，各种实际拍摄状况下的图像包含有光照强度、明暗变化和图像扭曲等各种问题，在处理过程中会产生许多噪声，更容易受环境的影响而影响检测效果；除此之外，传统的模式识别分类的类别十分有限，受目标形态、颜色图像质量影响大，因此识别分类具有一定的局限性，截至目前为止也没有最佳的解决方案。

针对以上问题，学者们也根据图像处理特征提取技术结合机器学习的方法做了一些改进，但还是有较大的误差。

发明内容

本发明的目的是解决上述问题，提供一种基于神经网络的养殖场管理方法，在YOLO深度学习网络的基础上进行调整和参数优化，建立识别计数的深度学习神经网络；然后利用不同养殖场、不同时刻、不同场景、不同视角下采集制作的图像数据集训练搭建好的深度学习网络；最后运用训练好的神经网络模型检测并分类出养殖场的养殖目标和其他物种，对检测出的养殖目标进行计数，对进出养殖场所的人获取清晰图像并记录存储。

本发明的技术方案是一种基于神经网络的养殖场管理方法，具体包括以下步骤，

步骤1：采集养殖场的各种图像，处理形成图像数据集；

步骤1.1：采集养殖场各种场景下的包含目标类别的各种图像和无目标类别的各种图像；

步骤1.2：将图像分割成固定大小的图片；

步骤1.3：对图片的图像进行缩放、翻转、颜色抖动和Box纠正操作；

步骤1.4：对图片进行标注，形成图像数据集；

步骤2：采用YOLO网络形成目标检测器，所述目标检测器采用3个尺度，每个尺度预测3个box；所述YOLO网络包括特征交互层，特征交互层分为3个尺度，每个尺度内，通过卷积核的方式实现局部的特征交互；

步骤3：将图像数据集输入到YOLO网络中完成训练；

步骤3.1：对YOLO网络进行调整和参数优化；

步骤3.2：在卷积层中输入图片，采用Batch Normalization算法进行归一化处理，再进行卷积操作后输出相应大小的feature map；

步骤3.3：将所有卷积层分阶，用shortcut的连接方式使得每个阶对残差进行训练，输出13×13的feature map，一共有1024个通道；

步骤3.4：将经过卷积后的数据输入到3个尺度的YOLO网络特征交互层，再输出相应大小的feature map，一共有75个通道，最后进行分类和位置回归；

步骤4：将步骤3中训练后的目标检测器用于对养殖场所养殖的目标进行检测和计数，并区分出其他类别物种；

步骤4.1：将步骤3中训练后的目标检测器用于对养殖场所养殖的目标进行检测；

步骤4.2：对检测出的同类目标进行计数；

步骤4.3：区分出其他类别物种，若检测到危害养殖场所安全的物种，则发出提示性报警；

步骤5：判断步骤4中检测出的目标是否包括人，如果包括人，则对人头部进行定位，控制摄像机对人头部自动调焦来提取清晰头像并存储记录。

所述的固定大小的图片的大小为416×416像素。

所述的YOLO网络为YOLOv3网络，包括Darknet-53网络部分和YOLO部分，其中Darknet-53网络，共有75层，其中53个卷积层，22个res层，YOLO网络部分为30层。

步骤3.1所述的参数包括置信度阈值为0.3，交叉区域阈值为0.45。

步骤4.2所述的对检测出的同类目标进行计数，是根据目标检测器检测出的目标框的个数统计图像中目标的数量。

所述的目标类别为猪、鸡、黄鼠狼、蛇和人。

为了避免视频帧与帧之间目标检测的抖动性和避免目标重叠造成计数影响，采用实时监控和定时单帧计数的策略，即定期在某一时刻截取某一帧图像来检测目标和计数，既能提高计数准确性，也能达到管理要求。

步骤5中所述的对人头部进行定位，首先将摄像机视轴调整与地面垂直，再以摄像机镜头的中心点为原点建立相机坐标系，相机坐标系坐标表示为(X_c,Y_c,Z_c)，测得摄像机镜头的中心点与地面的距离为S，以摄像机镜头的中心点为原点建立世界坐标系_，世界坐标系坐标表示为(X,Y,Z)，即相机坐标系与世界坐标系完全重合，(X_c,Y_c,Z_c)＝(X,Y,Z)，则在世界坐标中地面各点的Z坐标值都为S；以图像左上角为原点建立图像坐标系，x表示横坐标，y表示纵坐标，图像的主点即中心点坐标为(u₀,v₀)，物体的成像点(x,y)的图像坐标与物体的相机坐标的转换关系为

其中f分别为相机焦距；

由(X_c,Y_c,Z_c)＝(X,Y,Z)，物体的成像点(x,y)图像坐标与物体的世界坐标的转换关系为

设人的平均身高为H，人头部中心点的Z方向坐标值约为Z_F＝S-H，依据摄像机取的图像帧中人头部成像点的图像坐标(x_F,y_F)和式(2)，计算出人头部成像点(x_F,y_F)对应的人头部的世界坐标(X_F,Y_F,S-H)，即实现人头部的定位。

本发明的有益效果：

(1)相对于传统的模式识别检测计数来说，本发明提出的方法不仅准确率高，而且对环境的适应性更强，经过实验验证识别计数准确率高达94％，同样的方法可以适用于养鸡场和养猪场等进行管理计数。

(2)相对于以往的养殖管理系统来说，本发明提出的方法能准确判断出外侵有害物种种类，方便养殖户判断是否要做出防御措施。

(3)区别于传统的单个累加计数方式来说，本发明提出的方法实现了整体统一计数，统计效率更高更方便。

(4)本发明提出的方法经过实验验证在检测像鸡这样的小目标时准确率更高。

(5)对进出养殖圈的人定位并控制摄像机自动调焦，提取清晰图像并记录存储，实现养殖圈出入人员的可追溯的精细化管理，有效防盗、防破坏、防投毒。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为基于神经网络的养殖场管理方法的流程图。

图2实施例的养殖圈的主视图，其中1摄像机、2养殖圈、3外栏。

图3实施例的养殖圈的俯视图。

图4为本发明的YOLO网络的建模模型图。

图5为本发明方法对鸡的检测计数结果图。

图6为本发明方法对猪的检测计数结果图。

图7为本发明方法对大目标、小目标同时检测结果图。

具体实施方式

如图2、图3所示，养殖场的养殖圈2的上方设置有摄像机1，摄像机1为高分辨率摄像机，调整摄像机1的拍摄区域为外栏3所围区域。依据摄像机1取的视频图像中的图像帧，采用基于YOLOv3深度学习网络的目标检测器进行目标检测识别并计数，对进出养殖场所的人员取像进行记录、存储，形成一种基于神经网络的养殖场的管理方法。

上述的基于神经网络的养殖场管理方法，具体包括以下步骤，

步骤1：首先采集养殖场的各种图像搭建VOC格式的训练、验证图像数据集；

步骤1.1：采集的图像数据集包含了五个类别的图像，分别是猪、鸡、人、蛇和黄鼠狼，其中包含在不同养殖场、不同时刻、不同场景、不同视角下的单目标图像、多目标图像和无目标图像；

步骤1.2：将采集的图像统一分割成416×416像素；

步骤1.3：对图像数据进行缩放、翻转、颜色抖动和Box纠正等一系列增强操作；

步骤1.4：对图片进行标注，形成图像数据集；

步骤2：搭建优化后的YOLOv3深度学习网络，形成适合于养殖场所养殖目标的检测识别的检测器，搭建混合了YOLOv2、Darknet-19和一些比较新的残差网络的YOLOv3深度学习神经网络，使用连续的3×3和1×1卷积层，同时也使用Shortcut连接，形成具有较高检测速度和检测精度的目标检测器；目标检测器每种尺度预测3个box，anchor的设计使用聚类的方式，得到9个聚类中心，将其按照大小均分给3种尺度；每个尺度内，通过卷积核的方式实现局部的特征交互；搭建完成后的YOLOv3深度学习神经网络包括Darknet-53网络部分和YOLO部分；

步骤3：将图像数据集进行预处理后输入到以Darknet-53、YOLO为基础网络的YOLOv3深度学习神经网络中完成训练；

步骤3.1：首先对YOLOv3深度学习神经网络进行调整和参数优化，其中主要调节的参数有置信度阈值为0.3，交叉区域阈值为0.45等；

步骤3.2：在卷积层中输入处理后像素为416×416的3通道图片，采用BatchNormalization算法进行归一化处理，再进行卷积操作后输出相应大小的feature map；

步骤3.3：为了在训练过程中达到较小的损失，将所有卷积层分阶，然后用shortcut的连接方式使得每个阶对残差进行训练，最后输出13×13的feature map，一共有1024个通道；

步骤3.4：将经过卷积后的数据输入到3个尺度的yolo网络特征交互层，再输出相应大小的feature map，一共有75个通道，最后进行分类和位置回归；

步骤4：使用训练后的目标检测器对养殖场养殖的目标进行检测和计数，并区分出其他类别物种；

步骤4.1：采用定时单帧检测的策略来截取摄像机1拍摄的养殖圈的图像，输入到训练好的神经网络进行识别检测；

步骤4.2：对检测出的同类目标进行计数；

步骤4.3：区分出其他类别物种，若检测到危害养殖场所安全的物种，则发出提示性报警，以便于养殖户及时做出防御措施；

步骤5：判断步骤4中检测出的目标是否包括人，如果包括人，则对人头部进行定位，控制摄像机对人头部自动调焦来提取清晰头像并存储记录。

步骤4.2中对检测出的同类目标进行计数，是根据目标检测器检测出的目标框的个数统计图像中目标的数量。

步骤5中所述的对人头部进行定位，首先将摄像机视轴调整与地面垂直，再以摄像机镜头的中心点为原点建立相机坐标系，相机坐标系坐标表示为(X_c,Y_c,Z_c)，测得摄像机镜头的中心点与地面的距离为S，以摄像机镜头的中心点为原点建立世界坐标系，世界坐标系坐标表示为(X,Y,Z)，即相机坐标系与世界坐标系完全重合，(X_c,Y_c,Z_c)＝(X,Y,Z)，则在世界坐标中地面各点的Z坐标值都为S；以图像左上角为原点建立图像坐标系，x表示横坐标，y表示纵坐标，图像的主点即中心点坐标为(u₀,v₀)，物体的成像点(x,y)的图像坐标与物体的相机坐标的转换关系为

其中f分别为相机焦距；

由(X_c,Y_c,Z_c)＝(X,Y,Z)，物体的成像点(x,y)图像坐标与物体的世界坐标的转换关系为

设人的平均身高为H，人头部中心点的Z方向坐标值约为Z_F＝S-H，依据摄像机取的图像帧中人头部成像点的图像坐标(x_F,y_F)和式(2)，计算出人头部成像点(x_F,y_F)对应的人头部的世界坐标(X_F,Y_F,S-H)，即实现人头部的定位。

如图4所示，步骤2中建立的YOLOv3深度学习网络，其中Darknet-53网络共有75层，其中拥有53个卷积层，22个res层，YOLO网络部分为30层，他们取自于YOLO网络的特征交互层，分为三个尺度，每个尺度内，通过卷积核的方式实现局部的特征交互。

YOLOv3深度学习网络具体建模如下：

卷基层：输入像素为416*416，通道数为3的图片后进行Batch Normalization，接着进行卷积操作，其中有32层卷积核，每个卷积核大小为3*3，步长为1，每个卷积窗口逐步进行卷积，然后输出32个通道的416*416大小的feature map。

Res层：输入与输出保持一致，只求差不进行其他操作。

Darknet-53部分：一共有53个卷积层，使用一系列的3*3和1*1的卷积核进行卷积。

YOLO部分：包含shortcut连接，包括小尺度yolo层、中尺度yolo层、大尺度yolo层。

小尺度yolo层：输入13*13的feature map，一共1024个通道，在进行一系列的卷积操作后，feature map的大小不变，仍然输出13*13大小的feature map，但是只有75个通道，最后在此基础上进行分类和位置回归。

中尺度yolo层：将第79层的13*13大小的512通道的feature map作为输入进行卷积操作，生成13*13大小的256通道的feature map，然后进行上采样，生成26*26大小的256通道的feature map，同时与第61层的26*26大小的512通道的中尺度的feature map合并。同样进行一系列卷积操作后feature map的大小不变，最后输出26*26大小的75个通道的feature map，然后在此基础上进行分类和位置回归。

大尺度yolo层：将第91层的26*26大小的256通道的feature map作为输入进行卷积操作，生成26*26大小的128通道的feature map，然后进行上采样生成52*52大小的128通道的feature map，同时与第36层的52*52大小的256通道的中尺度的feature map合并。再进行一系列卷积操作，卷积后输出52*52大小的75个通道的feature map，然后在此基础上进行分类和位置回归。

如图5所示，以一张鸡群的图片对上述的目标检测器的检测与计数效果进行测试，图5中总共12只鸡，离散分布，有近有远，有聚集重叠，图5中12只鸡完全被检测识别出并准确计数。

如图6所示，以一张猪圈的图片对上述的目标检测器的检测与计数效果进行测试，图6所示的猪圈中共62只猪，猪的分布有重叠，目标检测器检测出59只猪，漏检数3，准确率较高。

如图7所示，以大人拉小猫的图片对对上述的目标检测器的检测与计数效果进行测试，大尺度目标和小尺度目标同时被成功检测出并区别分开。

Claims (7)

1.一种基于神经网络的养殖场管理方法，其特征在于，具体包括以下步骤，

步骤1：采集养殖场的各种图像，处理形成图像数据集；

步骤1.1：采集养殖场各种场景下的包含目标类别的各种图像和无目标类别的各种图像；

步骤1.2：将图像分割成固定大小的图片；

步骤1.3：对图片的图像进行缩放、翻转、颜色抖动和Box纠正操作；

步骤1.4：对图片进行标注，形成图像数据集；

步骤2：采用YOLO网络形成目标检测器，所述目标检测器采用3个尺度，每个尺度预测3个box；所述YOLO网络包括特征交互层，特征交互层分为3个尺度，每个尺度内，通过卷积核的方式实现局部的特征交互；

步骤3：将图像数据集输入到YOLO网络中完成训练；

步骤3.1：对YOLO网络进行调整和参数优化；

步骤3.2：在卷积层中输入图片，采用Batch Normalization算法进行归一化处理，再进行卷积操作后输出相应大小的feature map；

步骤3.3：将所有卷积层分阶，用shortcut的连接方式使得每个阶对残差进行训练，输出13×13的feature map，一共有1024个通道；

步骤3.4：将经过卷积后的数据输入到3个尺度的YOLO网络特征交互层，再输出相应大小的feature map，一共有75个通道，最后进行分类和位置回归；

步骤4：将步骤3中训练后的目标检测器用于对养殖场所养殖的目标进行检测和计数，并区分出其他类别物种；

步骤4.1：将步骤3中训练后的目标检测器用于对养殖场所养殖的目标进行检测；

步骤4.2：对检测出的同类目标进行计数；

步骤4.3：区分出其他类别物种，若检测到危害养殖场所安全的物种，则发出提示性报警；

步骤5：判断步骤4中检测出的目标是否包括人，如果包括人，则对人头部进行定位，控制摄像机对人头部自动调焦来提取清晰头像并存储记录。

2.根据权利要求1所述的基于神经网络的养殖场管理方法，其特征在于，所述的固定大小的图片的大小为416×416像素。

3.根据权利要求1所述的基于神经网络的养殖场管理方法，其特征在于，所述的YOLO网络为YOLOv3网络，包括Darknet-53网络部分和YOLO部分，其中Darknet-53网络，共有75层，其中53个卷积层，22个res层，YOLO网络部分为30层。

4.根据权利要求1所述的基于神经网络的养殖场管理方法，其特征在于，步骤3.1所述的参数包括置信度阈值为0.3，交叉区域阈值为0.45。

5.根据权利要求1所述的基于神经网络的养殖场管理方法，其特征在于，所述的目标类别为猪、鸡、黄鼠狼、蛇和人。

6.根据权利要求1所述的基于神经网络的养殖场管理方法，其特征在于，为了避免视频帧与帧之间目标检测的抖动性和避免目标重叠造成计数影响，采用实时监控和定时单帧计数的策略，即定期在某一时刻截取某一帧图像来检测目标和计数，既能提高计数准确性，也能达到管理要求。

7.根据权利要求1-6任意一项所述的基于神经网络的养殖场管理方法，其特征在于，所述的对人头部进行定位，首先将摄像机视轴调整与地面垂直，再以摄像机镜头的中心点为原点建立相机坐标系，相机坐标系坐标表示为(X_c,Y_c,Z_c)，测得摄像机镜头的中心点与地面的距离为S，以摄像机镜头的中心点为原点建立世界坐标系，世界坐标系坐标表示为(X,Y,Z)，即相机坐标系与世界坐标系完全重合，(X_c,Y_c,Z_c)＝(X,Y,Z)，则在世界坐标中地面各点的Z坐标值都为S；以图像左上角为原点建立图像坐标系，x表示横坐标，y表示纵坐标，图像的主点即中心点坐标为(u₀,v₀)，物体的成像点(x,y)的图像坐标与物体的相机坐标的转换关系为

其中f分别为相机焦距；

由(X_c,Y_c,Z_c)＝(X,Y,Z)，物体的成像点(x,y)图像坐标与物体的世界坐标的转换关系为

设人的平均身高为H，人头部中心点的Z方向坐标值约为Z_F＝S-H，依据摄像机取的图像帧中人头部成像点的图像坐标(x_F,y_F)和式(2)，计算出人头部成像点(x_F,y_F)对应的人头部的世界坐标(X_F,Y_F,S-H)，即实现人头部的定位。