CN112990073A - 基于边缘计算的哺乳期仔猪活动规律统计系统 - Google Patents

Abstract

本发明公开了一种基于边缘计算的哺乳期仔猪活动规律统计系统，以RGB相机获取的哺乳期仔猪数据为处理对象，通过标签制作、数据集制作、目标检测模型构建结合哺乳期仔猪运动特征和空间分布规律，建立哺乳期仔猪活动规律监测模型，并对该模型进行优化，选取合适嵌入式端设备作为部署平台，将优化后的模型在该平台进行部署，采用边缘计算模式实现在对哺乳期仔猪活动规律的监测。为猪只精准管理提供一种有效支持，促进养殖业装备的智能化进程。

Description

基于边缘计算的哺乳期仔猪活动规律统计系统

技术领域

本发明涉及数据增强、图像处理技术、目标识别技术与模型压缩技术，具体的讲是一种基于边缘计算的哺乳期仔猪活动规律统计系统。

背景技术

受国内外经济形势与国民基本需求的影响，我国养猪企业规模正处于大规模增长阶段，畜禽养殖企业的养殖方式由半自动化向自动化、智能化加速转型。生猪养殖企业对精准管理的需求的正不断提升。哺乳期仔猪新陈代谢旺盛、生长发育迅速，作为生猪养殖的首要环节，哺乳期仔猪不同的生长状态会影响猪只的后续发育，在哺乳阶段健康状态良好的仔猪，在断奶后也会呈现出更加优异的生长状态。通过观察哺乳期仔猪的活动状态，分析其活动规律，能够及时发现问题栏位，针对发育不正常仔猪做到早发现早治疗，从而提升生猪养殖效益。

我国当前养殖领域自动化、信息化水平不足，在规模化养殖场中，对于哺乳期仔猪的监测主要是依靠人工手段来实现观察和记录。但是哺乳期仔猪个体小、数量多，人工的方法检测不仅劳动强度大，而且非常容易出现漏检。因此利用自动化手段实现哺乳期仔猪的活动规律监测具有重要意义。用计算机视觉自动监测仔猪，不仅成本低、效率高、无损伤，且可避免采用接触式传感器监测方法引起的猪的应激反应。在机算机视觉对猪的运动等特征的识别中，主要采用基于传统数学形态学或者是基于深度学习的方法。但基于传统形态学的方法易受外界条件如光照、污渍等情况的干扰。基于深度学习的方法主要包括Kinect相机和RGB相机两种数据源，虽然Kinect相机可以获得更加优异的数据效果，但受限于价格不利于实际中的推广与应用。

发明内容

为解决背景技术中存在的问题，本申请以RGB相机获取的哺乳期仔猪数据为处理对象，通过标签制作、数据集制作、目标检测模型构建结合哺乳期仔猪运动特征和空间分布规律，建立哺乳期仔猪活动规律监测模型，并对该模型进行优化，选取合适嵌入式端设备作为部署平台，将优化后的模型在该平台进行部署，采用边缘计算模式实现在对哺乳期仔猪活动规律的监测。为猪只精准管理提供一种有效支持，促进养殖业装备的智能化进程。

技术方案：

一种基于边缘计算的哺乳期仔猪活动规律统计系统，它包括数据可视层、数据存储层、网络传输层、数据处理层和数据采集层，其中：

数据采集层由若干摄像头组成，摄像头采用RGB红外摄像头，设置在母猪产床的垂直上方，以俯拍的方式获取哺乳期仔猪图像；

数据处理层包括多个Jetson nano设备，单个Jetson nano设备连接多个摄像头，各Jetson nano设备中运行图像处理模块和检测模型，具体的：

Jetson nano设备接收摄像头采集的图像数据，并通过图像处理模块将其转化成标准格式化数据；

标准格式化数据通过检测模型获得仔猪的活动规律；

网络传输层通过网络节点将Jetson nano设备传输至网络存储层；

数据存储层以云服务器或其他硬件作为数据存储载体，存储仔猪的活动规律信息；

数据可视层连接数据存储层，以移动终端/PC终端的形式将信息展示。

优选的，图像处理模块将仔猪个体和产床关键设备进行标签制作。

优选的，哺乳期仔猪与产床关键设备检测模型通过以下步骤建立：

S1-1、将制作好的标签文件按比例划分为训练集、测试集和验证集；

S1-2、设置网络超参数，根据数据集及硬件设备情况设置Epoch、Batchsize、初始学习率、初始冲量，权重衰减系数；

S1-3、将制作好的数据集投入设置好训练参数的yolov5s网络进行仔猪和关键设备检测模型的训练；

S1-4、训练完成后选取检测效果最优的权重模型作为哺乳期仔猪与产床关键设备检测模型。

优选的，所述检测模型包括哺乳期仔猪与产床关键设备检测模型、仔猪活动规律统计模型；

标准格式化数据输入至哺乳期仔猪与产床关键设备检测模型，获得仔猪与产床关键设备之间的位置关系；

仔猪与产床关键设备之间的位置关系输入至仔猪活动规律统计模型，获得仔猪的活动规律。

优选的，仔猪活动规律统计模型通过以下步骤建立：

S2-1、基于哺乳期仔猪与产床关键设备检测模型，每秒提取一次仔猪与产床关键设备的检测框角点坐标，计算检测框的中心点坐标；

S2-2、根据仔猪目标检测框的中心点每秒的坐标变化情况，判断仔猪活跃状态，判断依据为：

式中，act--产床仔猪平均活跃度，Δl--仔猪目标检测框中心点偏移距离，id--识别出的仔猪检测框编号，n--识别出的仔猪数量；其中：

式中，Δl--仔猪目标检测框中心点偏移距离，t--第t秒，x--仔猪目标检测框中心点横坐标，y--仔猪目标检测框中心点纵坐标；

S2-3、根据仔猪相对于产床关键设备的位置来判定其在图像中的位置；

S2-4、根据仔猪活跃度与位置判定，建立基于时间的仔猪活动规律统计模型。

优选的，S2-2中，act判定阈值如下式：

优选的，S2-4中，将产床分为三个区域：其他区域、母猪区、保温区，以保温灯为参照物，首先判断保温灯位置：

保温灯位于上半图，则仔猪位置判定规则为：

保温灯位于下半图，则仔猪位置判定规则为：

式中，y_pig表示仔猪目标检测框中心点的横坐标，y_up表示其他区域和母猪区的分界线横坐标，y_down表示区域母猪区和保温区的分界线的横坐标。

优选的，通过下述步骤对yolov5s网络进行优化：

S3-1、将输入为相同张量和执行相同操作的部分进行融合；

S3-2：将conv、BN和激活函数层进行融合；

S3-3：将concat的输入直接送至下一层的操作中，减少数据传输吞吐。

优选的，模型结构优化后，对Jetson nano设备进行模型运行环境搭建，具体搭建参数为：操作系统为ARM版Ubuntu16.04，JetPack4.4深度学习环境为Python 3.8，Pytorch1.6，Cuda 10.1，TensorRT 7.1。

优选的，完成模型运行环境搭建后将仔猪活动规律统计模型移植到Jetson nano开发板上运行。

本发明的有益效果

(1)提出一种新的仔猪活动规律统计系统，为智能化养殖提供技术支持。

(2)通过对深度学习算法的嵌入式部署，能够有效减少中心服务器的运行压力、提升运行速度、保证数据的安全性，同时确保在中心服务器出现故障的情况下，整个系统的基本功能可以继续运行，从而降低可能带来的经济损失，为实现边缘计算模式下的仔猪相关识别任务奠定基础。

(3)部分小型养殖场对智能化养殖装备的需求中可能不需要调用昂贵的云服务器，采用嵌入式对仔猪进行目标识别摆脱对云服务器的依赖，可以更好地适用于不同规模的养殖场。

附图说明

图1为本发明的系统结构示意图

图2为本发明的系统搭建的总体流程图

图3为仔猪与产床参照设备检测模型建立流程图

图4为实施例中产床分区图

图5为实施例中仔猪位置判定流程图

图6为实施例中量化结构示意图

图7为实施例中模型优化与部署流程图

图8为本申请实施的具体路线图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，系统包括数据可视层、数据存储层、网络传输层、数据处理层和数据采集层，其中：

数据采集层由若干摄像头组成，摄像头采用RGB红外摄像头，设置在母猪产床的垂直上方，以俯拍的方式获取哺乳期仔猪图像；

数据处理层包括多个Jetson nano设备，单个Jetson nano设备连接多个摄像头，各Jetson nano设备中运行图像处理模块和检测模型，具体的：

Jetson nano设备接收摄像头采集的图像数据，并通过图像处理模块将其转化成标准格式化数据；

标准格式化数据通过检测模型获得仔猪的活动规律；

网络传输层通过网络节点将Jetson nano设备传输至网络存储层；

数据存储层以云服务器或其他硬件作为数据存储载体，存储仔猪的活动规律信息；

数据可视层连接数据存储层，以移动终端/PC终端的形式将信息展示。

系统中，图像采集模块主要采用RGB红外摄像头为主要设备，以垂直俯拍母猪产床的方式获取哺乳期仔猪图像；边缘计算部分主要以yolov5s为主干网络构建仔猪活动规律统计模型，以Jetson nano嵌入式设备作为模型搭载平台，利用TensorRT框架实现yolov5s模型的推理加速；网络传输部分以M.2接口的8265AC型无线网卡为主要设备，将其对接Jetson nano，连接WiFi节点实现数据的无线传输；数据存储部分主要采用MySQL进行数据存储方式，以云服务器或其他硬件设备为数据存储载体；数据可视化模块主要采用云服务器为主要计算设备，采用HTML语言进行编码，读取数据库内数据进行可视化。该系统可作为高效、便捷的新一代仔猪活动监测手段。

结合图2，系统搭建流程主要包括仔猪与产床参照设备目标检测模型构建、仔猪活动规律统计模型构建、模型优化和模型部署环节。仔猪目标检测模型构建环节主要是建立数据集和网络训练模型；训练完成后根据Precision和Recall的综合评价，选取检测效果最优的权重模型，在构建完成目标检测模型后，依据不同时间段内仔猪目标检测框的变化情况，以及仔猪与参照设备的相对位置来确定仔猪在不同时间段内的位置，即哺乳期仔猪活动特点与空间分布特征，构建基于时间的哺乳期仔猪活动规律统计模型；之后对该模型的主干网络部分进行量化和压缩。网络结构优化方法为，通过推理TensorRT框架，将conv、BN和激活函数层进行融合，并将输入为相同张量和执行相同操作的部分进行融合来减少模型复杂度。对于concat层，将concat的输入直接送至下一层的操作中，减少数据传输吞吐。得到优化后的仔猪与参照设备检测模型之后，以yolov5s为主干网络，构建仔猪活动规律监测算法。得到仔猪活动规律统计模型。最后在Jetson Nano上配置系统环境和模型运行环境，操作系统为ARM版Ubuntu16.04，JetPack4.4，深度学习环境为Python 3.8，Pytorch 1.6，Cuda 10.1，TensorRT 7.1。将训练好的权重模型与优化后的哺乳期仔猪活动规律统计模型配置在Jetson nano上运行。

本申请通过部署完成的监测模型，以RGB摄像头为数据采集设备，Jetson nano为边缘计算核心，无线网卡为网络传输设备，MySQL为数据库，云服务器为数据存储设备，HTML为数据可视化语言，建立哺乳期仔猪活动规律监测系统。具体的：

数据采集设备安装

Step1：摄像头选型为海康威视DS-2CD3135F-l；

Step2：将摄像头安装与母猪产床中心位置的正上方；

Step3：将摄像头与Jetson nano进行连接。

仔猪与产床参照设备检测

结合图3，仔猪与产床参照设备检测模型构建环节主要是建立数据集和网络训练模型，数据集建立步骤为：

Step1：筛选限位栏养殖方式下的母猪哺乳阶段图片数据，图片要求清晰且仔猪黏连程度不高；

Step2：利用labelImg软件对图片中的仔猪个体与保温灯或其他标志性设备进行标签制作；

Step3：最终仔猪与保温灯的标签量的比例需要接近1:1，将制作好的标签文件以8:1:1的比例划分为训练集、测试集和验证集。

网络模型训练的步骤为：

Step1：设置网络超参数，主要根据数据集及硬件设备情况设置Epoch、Batchsize、初始学习率、初始冲量，权重衰减系数；

Step2：将制作好的数据集投入设置好训练参数的yolov5s网络进行仔猪和参照设备检测模型的训练；

Step3：训练完成后根据Precision和Recall的综合评价，选取检测效果最优的权重模型。

仔猪活动规律统计模型

仔猪活动规律统计模型主要包括对仔猪的运动状态进行检测以及对仔猪活动位置的统计。根据仔猪目标检测框的中心点变化情况来判断仔猪当前的运动状况，根据仔猪与产床上的参照设备之间的相对位置关系来确定仔猪当前的活动位置。此处以保温灯作为产床参照设备，具体步骤为

Step1：基于仔猪与保温灯目标检测模型，每秒提取一次仔猪与保温灯的检测框角点坐标，计算检测框的中心点坐标

Step2：根据仔猪目标检测框的中心点每秒的坐标变化情况，判断仔猪活跃状态，判断依据为。

式(1)中

Δl--仔猪目标检测框中心点偏移距离

t--第t秒

x--仔猪目标检测框中心点横坐标

y--仔猪目标检测框中心点纵坐标

由于哺乳期仔猪个体小且为群养，养殖人员更加关注整体的活跃度，因此有：

式(2)中

act--产床仔猪平均活跃度

id--识别出的仔猪检测框编号

n--识别出的仔猪数量

根据act不同的范围将仔猪的活动状态划分为三个级别，低活跃度(趴卧、睡眠等)、中活跃度(走动等)、高活跃度(跑动等)。

act判定阈值与摄像头的高度和摄像头分辨率有关，以摄像头距离产床2m，摄像头分辨率为1920*1080为例，act判定阈值如式(3)所示：

Step3：根据仔猪相对于保温灯的位置来判定其在图像中的位置。如图4所示，以限位栏为边界，产床一般分为三个区域，保温区、母猪区和其他区域。

如图4所示保温灯位于图像上半区，则其中1为保温区，2为母猪区，3为其他区域；反之若保温灯位于图像下半区，则1将变为其他区域，2为母猪区，3为保温区。黑色虚线为区域1和2,2和3的分界线。

母猪产床在搭建时，相邻产床之间的保温区与其他区域的位置关系是相反的，因此需要首先确定母猪产床的方向。此处以保温灯为参照物，首先通过识别保温灯的坐标信息来确定产床的方向。根据图片中母猪产床为上下对称结构，首先依据限位栏的宽度将图片中分为三个部分，之后根据保温灯的坐标信息，将保温灯存在的区域判定为保温区，其余区域为母猪区和其他区域，最后根据仔猪目标检测框的坐标信息判定仔猪当前所属区域。如图3所示，保温灯位于上半图，仔猪位置判定规则为：

反之保温灯位于下半图，仔猪位置判定规则为：

式(4)、(5)中，y_pig表示仔猪目标检测框中心点的横坐标，y_up表示区域1和2的分界线横坐标，y_down表示区域2和3的分界线的横坐标

仔猪目标检测具体流程图如图5所示。

Step4：根据仔猪活跃度与位置判定，建立基于时间的仔猪活动规律统计模型。

模型优化与部署

以yolov5s为主干网络的仔猪活动规律统计模型虽然对设备的硬件条件进一步降低，但是若不对其网络结构进行优化，在嵌入式设备上运行仍会占用大量内存，从而影响系统的其他功能。量化过程示意图如图6所示，网络结构量化步骤如下：

Step1：将输入为相同张量和执行相同操作的部分进行融合

Step2：将conv、BN和激活函数层进行融合

Step3：将concat的输入直接送至下一层的操作中，减少数据传输吞吐。

如图6所示，其中1为输入为相同张量和执行相同操作的部分，2为conv、BN和激活函数层，3为concat层。

将yolov5s为主干网络的仔猪活动规律统计模型以上述方式优化后，对Jetsonnano设备进行模型运行环境搭建，以yolov5s为例具体搭建参数为：

操作系统为ARM版Ubuntu16.04，JetPack4.4深度学习环境为Python 3.8，Pytorch1.6，Cuda 10.1，TensorRT 7.1。

完成模型运行环境搭建后将仔猪活动规律统计模型移植到Jetson nano开发板上运行，模型优化与部署流程如图7所示。

系统建立

以RGB摄像头为数据采集设备，Jetson nano为边缘计算核心，无线网卡为网络传输设备，MySQL为数据库，云服务器为数据存储设备，HTML为数据可视化语言，建立哺乳期仔猪活动规律监测系统。

结合图8，本申请整体路线包括数据集建立、目标检测模型建立、仔猪活动规律统计模型建立和嵌入式端部署几个环节。具体为：

Step1：建立数据采集系统采集数据，获取实际数据；

Step2：数据清洗，删除无用、干扰数据；

Step3：利用标签制作软件制作图片标签；

Step4：数据集划分与制作；

Step5：硬件选型与测试，选取合适嵌入式设备进行主流深度学习网络测试，分析硬件性能；

Step6：模型网络选取，综合运行速度、精度和模型复杂度考虑目标检测网络模型；

Step7：利用采集到的数据集，通过选取好的深度学习网络训练目标检测模型；

Step8：依据仔猪运动特点和空间位置分布特征，建立基于时间的仔猪活动规律统计模型；

Step9：将模型进行量化和压缩，并测试优化后的模型性能做出相应调整；

Step10：在嵌入式端配置模型运行环境；

Step11：将优化后的模型进行嵌入式端部署与调试；

Step12：系统建立。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于边缘计算的哺乳期仔猪活动规律统计系统，其特征在于它包括数据可视层、数据存储层、网络传输层、数据处理层和数据采集层，其中：

数据采集层由若干摄像头组成，摄像头采用RGB红外摄像头，设置在母猪产床的垂直上方，以俯拍的方式获取哺乳期仔猪图像；

数据处理层包括多个Jetson nano设备，单个Jetson nano设备连接多个摄像头，各Jetson nano设备中运行图像处理模块和检测模型，具体的：

Jetson nano设备接收摄像头采集的图像数据，并通过图像处理模块将其转化成标准格式化数据；

标准格式化数据通过检测模型获得仔猪的活动规律；

网络传输层通过网络节点将Jetson nano设备传输至网络存储层；

数据存储层以云服务器或其他硬件作为数据存储载体，存储仔猪的活动规律信息；

数据可视层连接数据存储层，以移动终端/PC终端的形式将信息展示。

2.根据权利要求1所述的系统，其特征在于图像处理模块将仔猪个体和产床关键设备进行标签制作。

3.根据权利要求2所述的系统，其特征在于哺乳期仔猪与产床关键设备检测模型通过以下步骤建立：

S1-1、将制作好的标签文件按比例划分为训练集、测试集和验证集；

S1-2、设置网络超参数，根据数据集及硬件设备情况设置Epoch、Batchsize、初始学习率、初始冲量，权重衰减系数；

S1-3、将制作好的数据集投入设置好训练参数的yolov5s网络进行仔猪和关键设备检测模型的训练；

S1-4、训练完成后选取检测效果最优的权重模型作为哺乳期仔猪与产床关键设备检测模型。

4.根据权利要求1所述的系统，其特征在于所述检测模型包括哺乳期仔猪与产床关键设备检测模型、仔猪活动规律统计模型；

标准格式化数据输入至哺乳期仔猪与产床关键设备检测模型，获得仔猪与产床关键设备之间的位置关系；

仔猪与产床关键设备之间的位置关系输入至仔猪活动规律统计模型，获得仔猪的活动规律。

5.根据权利要求4所述的系统，其特征在于仔猪活动规律统计模型通过以下步骤建立：

S2-1、基于哺乳期仔猪与产床关键设备检测模型，每秒提取一次仔猪与产床关键设备的检测框角点坐标，计算检测框的中心点坐标；

S2-2、根据仔猪目标检测框的中心点每秒的坐标变化情况，判断仔猪活跃状态，判断依据为：

式中，act--产床仔猪平均活跃度，Δl--仔猪目标检测框中心点偏移距离，id--识别出的仔猪检测框编号，n--识别出的仔猪数量；其中：

式中，Δl--仔猪目标检测框中心点偏移距离，t--第t秒，x--仔猪目标检测框中心点横坐标，y--仔猪目标检测框中心点纵坐标；

S2-3、根据仔猪相对于产床关键设备的位置来判定其在图像中的位置；

S2-4、根据仔猪活跃度与位置判定，建立基于时间的仔猪活动规律统计模型。

6.根据权利要求5所述的系统，其特征在于S2-2中，act判定阈值如下式：

7.根据权利要求5所述的系统，其特征在于S2-4中，将产床分为三个区域：其他区域、母猪区、保温区，以保温灯为参照物，首先判断保温灯位置：

保温灯位于上半图，则仔猪位置判定规则为：

保温灯位于下半图，则仔猪位置判定规则为：

式中，y_pig表示仔猪目标检测框中心点的横坐标，y_up表示其他区域和母猪区的分界线横坐标，y_down表示区域母猪区和保温区的分界线的横坐标。

8.根据权利要求3所述的系统，其特征在于通过下述步骤对yolov5s网络进行优化：

S3-1、将输入为相同张量和执行相同操作的部分进行融合；

S3-2：将conv、BN和激活函数层进行融合；

S3-3：将concat的输入直接送至下一层的操作中，减少数据传输吞吐。

9.根据权利要求8所述的系统，其特征在于模型结构优化后，对Jetson nano设备进行模型运行环境搭建，具体搭建参数为：操作系统为ARM版Ubuntu16.04，JetPack4.4深度学习环境为Python 3.8，Pytorch 1.6，Cuda 10.1，TensorRT 7.1。

10.根据权利要求9所述的系统，其特征在于完成模型运行环境搭建后将仔猪活动规律统计模型移植到Jetson nano开发板上运行。

Images