CN114677624B - 基于云边协同的母猪分娩智能监测系统 - Google Patents

基于云边协同的母猪分娩智能监测系统 Download PDF

Info

Publication number
CN114677624B
CN114677624B CN202210269886.4A CN202210269886A CN114677624B CN 114677624 B CN114677624 B CN 114677624B CN 202210269886 A CN202210269886 A CN 202210269886A CN 114677624 B CN114677624 B CN 114677624B
Authority
CN
China
Prior art keywords
sow
model
data
delivery
piglet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210269886.4A
Other languages
English (en)
Other versions
CN114677624A (zh
Inventor
刘龙申
舒翠霓
沈明霞
赵茹茜
姚文
李波
张博
戴苏阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202210269886.4A priority Critical patent/CN114677624B/zh
Publication of CN114677624A publication Critical patent/CN114677624A/zh
Application granted granted Critical
Publication of CN114677624B publication Critical patent/CN114677624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K45/00—Other aviculture appliances, e.g. devices for determining whether a bird is about to lay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Husbandry (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Birds (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于云边协同的母猪分娩智能监测系统，它包括：数据采集模块；数据预处理模块；母猪分娩监测模块：基于轻量级目标检测模型对母猪姿态和仔猪目标进行监测；模型优化与部署模块：对训练好的模型进行量化，达到降低计算量和减少设备功耗的目的，将加速后的模型部署至Jetson Nano嵌入式设备上；数据存储与可视化模块：在边缘端实现母猪姿态转换频率和仔猪个数的计算，将文本信息传入云服务器进行存储，以PC端/移动终端的形式对围产期、泌乳期的母猪分娩行为进行可视化管理。形成安装简易，操作便捷的低成本系统，可以服务于绝大多数养殖人员，提升管理效率。

Description

基于云边协同的母猪分娩智能监测系统
技术领域
本发明属于畜禽精准养殖领域，涉及计算机视觉技术、卷积神经网络算法、图像处理技术、边缘技术与网络传输技术，具体的讲是一种基于云边协同的母猪分娩监测系统研究。
背景技术
养殖理念随着人工智能时代的到来发生根本性变化，生猪养殖技术正向规模化、集约化、自动化发展。研究表明，已有许多技术可以用来监测围产期母猪的生理、行为和所处环境等，如物联网、云计算、大数据服务平台等，新理念和新模式发展借助自动化系统和专门研发的软件来监测整个围产期母猪，并在母猪分娩前发出警报提醒饲养员，能够在一定程度上避免母猪分娩时早产、难产、仔猪窒息、温度过低等情况。在养猪生产实践中，能繁母猪的存栏量作为影响猪场经济效益的直接因素，已经成为养猪业发展的核心问题。
目前，生产上对母猪分娩行为的监测主要通过人工观察法，然而人工观察法增加了人畜相处的时间，具有人畜共病的风险，还受饲养员主观经验的影响，费时费力，无法满足现代规模化养猪的需求。运用穿戴式设备、光电池和超声波等传感器技术监测母猪的分娩行为虽然减轻了劳动力，但穿戴式设备可能引起猪只的应激反应，电源供电时间有限、容易掉落，光电池和超声波易受周围环境的影响，灵敏度相对较低。近年来，随着图像处理技术和机器学习算法的不断发展，已有不少学者将计算机视觉监测技术应用于母猪分娩行为研究，该方法不仅能减轻饲养员的工作负担，并且对动物无侵扰且架设相对容易。随着养殖规模的扩大，基于云计算的深度学习方法需要将全部数据上传到云数据中心，给网络带宽带来巨大压力，若采用边缘计算的方式，则是通过部署在网络边缘的边缘节点快速处理部分数据从而降低网络带宽。采用基于云边协同的深度学习方法实现非接触式监测母猪的分娩行为的研究未有报道。
发明内容
本发明针对背景技术中存在的问题，提出了一种基于云边协同的母猪分娩智能监测系统。
技术方案：
一种基于云边协同的母猪分娩智能监测系统，它包括：
数据采集模块：获取分娩栏内围产期母猪的视频图像；
数据预处理模块：包括图片获取、数据清洗、数据标注、数据增强的操作，建立深度学习样本库；
母猪分娩监测模块：基于轻量级目标检测模型对母猪姿态和仔猪目标进行监测；
模型优化与部署模块：对训练好的模型进行量化，将加速后的模型部署至JetsonNano嵌入式设备上；
数据存储与可视化模块：在边缘端实现母猪姿态转换频率和仔猪个数的计算，将文本信息传入云服务器进行存储，以PC端/移动终端的形式对围产期、泌乳期的母猪分娩行为进行可视化管理。
优选的，所述轻量级目标检测模型基于yolox算法建立。
优选的，yolox算法的主干特征提取网络采用CSPDarknet结构，加强特征提取网络为FPN结构，利用Yolo Head获得预测结果，采用了解耦头、Anchor-free检测器、标签分配策略SimOTA。
优选的，采用yolox轻量化目标检测模型，具体流程如下：
S1、深度学习机环境配置：Ubuntu 18.04系统，CPU为Intel(R)Xeon(R)Gold5118CPU@2.30GHz，GPU为NVIDIA Quadro P4000，显存为8GB，深度学习框架是Pytorch1.7.0，CUDA版本为10.1，依赖于Python 3.7.3、Torchvision 0.8.1、Numpy 1.19.1以及Opencv 4.5.1；
S2、网络参数初始化：根据数据集及深度学习机的配置情况设置迭代周期为100、batchsize为8、学习率设置为0.001、预训练权重指向不同的yolox版本；
S3、基于Pytorch深度学习框架，将数据预处理模块中建立的深度学习样本库输入设置好训练参数的yolox网络进行母猪姿态和仔猪目标检测模型的训练，训练分为两个阶段，分别为冻结阶段和解冻阶段：
S3-1、epoch<＝50:此时模型的主干被冻结了，特征提取网络不发生改变；占用的显存较小，仅对网络进行微调；
S3-2、epoch>50:此时模型的主干不被冻结了，特征提取网络会发生改变；占用的显存较大，网络所有的参数都会发生改变；
S4、模型训练完成后，根据模型的评价指标选取yolox-nano为检测效果最优的权重模型作为母猪分娩监测模型。
优选的，模型的损失函数计算公式如下：
Loss＝Lobj+Lreg+Lcls
式中，Lobj代表置信度损失值，Lreg代表边界框损失值，Lcls代表类别损失值。
具体的：
Lreg＝log(IOU(Bgt,Bpred))
(2)-(4)式中，S代表grid size，B代表box，λnoobj为不含目标预设框的权重，λobj为包含目标预设框的权重，表示如果在i,j处的box没有目标，其值为1，否则为0，/>表示如果在i,j处的box有目标，其值为1，否则为0；
(2)式中，ci和分别表示置信度的真实值和预测值，将所有真实框对应的特征点判断为正样本，否则为负样本，根据正负样本和特征点是否包含物体的预测结果计算置信度损失；
(3)式中，IOU表示交并比，Bgt表示真实框，Bpred表示预测框，获取到每个框对应的特征点后，取出该特征点的预测框，利用真实框和预测框的交并比计算边界框损失；
(4)式中，tk和pk分别表示包含目标分类概率的真实值和预测值，取出每个框对应特征点的种类预测结果，根据真实框的种类和特征点的种类预测结果计算类别损失。
优选的，采用红外摄像头俯拍分娩栏内围产期母猪以获得视频图像，输出颜色为彩色；从采集的视频中人工提取母猪分娩前后的图像，确保母猪和仔猪都能被识别到。
具体的：
模型优化：TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK，针对母猪分娩监测模块选取的最优模型，生成支持TensorRT的推理引擎，优化后的母猪分娩监测模型能够以更高的吞吐量和更低的延迟运行；
模型部署：利用DeepStream框架对实时视频流的解码和神经网络进行推理，将优化后的模型部署至Jetson Nano，母猪分娩监测支持在本地完成分娩报警任务，同时将检测结果上传至云服务器。
具体的，在边缘端实现母猪姿态转换频率和仔猪个数的计算：在边缘节点对yolox-nano模型处理后的数据进行推理检测，根据检测的相应结果，计算母猪分娩的文本信息，包括母猪姿态转换频率、仔猪个数、产程、难产检测的文本信息；当每检测到一个仔猪目标框时，仔猪个数加一，其余文本信息的计算公式如下：
D＝Tend-Tstart (6)
(5)-(7)式中，f为母猪姿态转换频率，n为姿态转换次数，h为时间，D为母猪的产程，Tend为最后一只仔猪的出生时间，即分娩结束时间，Tstart为第一只仔猪的出生时间，即分娩开始时间，flag为难产标志，若产程超过6小时，则判断为母猪难产。
具体的，数据预处理模块中：
图像获取：截取母猪分娩前后几天的连续监控视频，按固定时间间隔从视频中截取.jpg格式的图像；
数据清洗：删除过度曝光或曝光不足的模糊图片，最终得到的有效图片；
数据标注：使用labelimg软件对母猪姿态和仔猪目标进行人工标注，将包含标注类别和目标区域坐标位置的文件保存为后缀为.xml格式的文件；
数据增强：采用包括裁剪、平移、旋转角度、镜像、改变亮度、加噪声、cutout的数据增强方式对标注后的图像及标签进行数据扩增，并增加数据的多样性；
建立深度学习样本库：数据集格式按照PASCAL VOC标准格式，将标注好的数据划分为训练集、测试集和验证集，比例为8:1:1。
本发明的有益效果
(1)首次将轻量级深度学习目标检测的yolox算法应用于围产期母猪姿态分类和初生仔猪目标检测，并基于边缘终端对算法进行优化和部署。
(2)采用云边协作的工作模式，在设备端进行实时快速的目标检测，降低网络传输的压力，同时和云计算互相协同，优化互补，利用云端强大的计算能力对母猪分娩状态进行决策。
(3)由于数据的采集和处理都基于本地，因此能够有效的避免因网络传输过程中的数据泄露所造成的数据安全问题。
(4)形成安装简易，操作便捷的低成本系统，可以服务于绝大多数养殖人员，提升管理效率。
附图说明
图1为本发明具体流程示意图
图2为本发明模块结构示意图
图3为本发明的数据采集系统框图
图4为本发明的模型优化流程图
图5为本发明的总体结构示意图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
图1为本发明实施例提供的一种基于云边协同的母猪分娩智能监测系统的流程示意图，该系统包括五个核心模块：数据采集模块、数据预处理模块、母猪分娩监测模块、模型优化与部署模块和数据存储与可视化模块，其结构示意图如图2所示。
数据采集模块：数据采集系统主要由摄像头、网络硬盘录像机、交换机和本地服务器组成，如图3所示。每个限位栏正上方2.2m都配有一个分辨率为2560像素×1440像素的海康威视红外摄像头(DS-2CD3346WD-I型)，每个摄像头需要一根网线进行供电和传输数据，网线穿过固定摄像头的横杆接入POE交换机(DS-3E0526P-E型)。视频数据连续录制24h，采集到的猪只俯视视频数据存储于海康威视网络硬盘录像机(DS-8832N-K8-8×6T型)中，摄像头采集到的视频数据可以通过海康威视网络硬盘录像机存储至硬盘后导入到计算机端。
数据预处理模块：该模块具体包括以下预处理过程：
图像获取：截取母猪分娩前后几天的连续监控视频，按1分钟时间间隔从视频中截取.jpg格式的图像；
数据清洗：删除过度曝光或曝光不足的模糊图片，最终得到的有效图片；
数据标注：使用labelimg软件对母猪姿态和仔猪目标进行人工标注，将包含标注类别和目标区域坐标位置的文件保存为后缀为.xml格式的文件；
数据增强：采用裁剪、平移、旋转角度、镜像、改变亮度、加噪声、cutout等数据增强方式对标注后的图像及标签进行数据扩增，并增加数据的多样性。
建立深度学习样本库：数据集格式按照PASCAL VOC标准格式，将标注好的数据划分为训练集、测试集和验证集，比例为8:1:1。
母猪分娩监测模块：在母猪分娩监测模块，实现母猪的站立、坐姿、胸卧、侧卧等四种姿态的分类，由于母猪产前具有显著的筑巢行为，姿态转换频率的显著上升是母猪即将分娩的信号。分娩监测模块的另一个重要任务是检测仔猪目标，实现分娩报警、母猪难产检测、母猪产程检测、仔猪数量盘点等。算法采用yolox轻量化目标检测模型，具体流程如下：
S1、深度学习机环境配置：Ubuntu 18.04系统，CPU为Intel(R)Xeon(R)Gold5118CPU@2.30GHz，GPU为NVIDIA Quadro P4000，显存为8GB，深度学习框架是Pytorch1.7.0，CUDA版本为10.1，依赖于Python 3.7.3、Torchvision 0.8.1、Numpy 1.19.1以及Opencv 4.5.1。
S2、网络参数初始化：根据数据集及深度学习机的配置情况设置迭代周期为100、batchsize为8、学习率设置为0.001、预训练权重指向不同的yolox版本，如yolox-nano、yolox-tiny、yolox-s、yolox-m、yolox-l、yolox-x等；
S3、基于Pytorch深度学习框架，将数据预处理模块中建立的深度学习样本库输入设置好训练参数的yolox网络进行母猪姿态和仔猪目标检测模型的训练，训练分为两个阶段，分别为冻结阶段和解冻阶段。
S3-1、epoch<＝50:此时模型的主干被冻结了，特征提取网络不发生改变；占用的显存较小，仅对网络进行微调。
S3-2、epoch>50:此时模型的主干不被冻结了，特征提取网络会发生改变；占用的显存较大，网络所有的参数都会发生改变。
S4、模型训练完成后，根据模型的评价指标，如Precision、Recall、mAP和检测速度等，选取yolox-nano为检测效果最优的权重模型作为母猪分娩监测模型，模型尺寸仅有7.33MB。
模型优化与部署模块：
嵌入式设备环境配置：操作系统为ARM版Ubuntu 16.04，JetPack 4.5，Cuda10.2.89，内存为4GB，深度学习环境为Python 3.6，Pytorch 1.7，TensorRT 7.1，Opencv4.1.1，Cmake 3.21.2，Onnx-1.6.0。
基于TensorRT的模型优化：针对母猪分娩监测模块选取的最优模型yolox-nano，将训练后的.pth结构的模型转化为onnx结构，并生成支持TensorRT的.engine引擎，流程图如图4所示；
模型部署：在Jetson Nano嵌入式设备连接网络摄像头和无线网卡，网络传输部分以M.2接口的CF-938AC型无线网卡为主要设备，连接WiFi节点实现数据的无线传输，利用DeepStream框架对实时视频流的解码和神经网络进行推理。
边缘计算：在边缘节点对yolox-nano模型处理后的数据进行推理检测，根据检测的相应结果，计算母猪分娩的文本信息，如母猪姿态转换频率、仔猪个数、产程、难产检测等文本信息。当每检测到一个仔猪目标框时，仔猪个数加一，其余文本信息的计算公式如下：
D＝Tend-Tstart (6)
(5)-(7)式中，f为母猪姿态转换频率，n为姿态转换次数，h为时间，D为母猪的产程，Tend为最后一只仔猪的出生时间，即分娩结束时间，Tstart为第一只仔猪的出生时间，即分娩开始时间，flag为难产标志，若产程超过6小时，则判断为母猪难产。
数据存储与可视化模块：以云服务器为数据存储载体，采用MySQL数据库系统进行数据存储，数据可视化模块同样依托云服务器采用HTML语言和JAVA语言进行编码，读取数据库内数据以Web网页和Android移动终端的形式进行可视化。
图5为本发明实施例提供的一种基于云边协同的母猪分娩智能监测方法的总体结构示意图，系统可以对围产期、泌乳期母猪的分娩状态进行智能监测，功能由软件和硬件实现。边缘端包括多个Jetson nano设备，连接摄像头与Jetson nano，实现数据信息的采集。利用Deepstream框架在边缘节点对视频流进行处理，对母猪姿态进行分类并检测仔猪目标，在本地判决单元可计算母猪姿态转换频率和仔猪个数等。当检测到第一头仔猪目标时，在本地触发报警功能，适用于小型猪场；当边缘节点计算后的结果数据上传至云服务器时，即可借助云服务器强大的存储和数据库系统，大型猪场的饲养员可从移动端或PC端对母猪分娩实际情况进行可视化管理。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于云边协同的母猪分娩智能监测系统，其特征在于它包括：
数据采集模块：获取分娩栏内围产期母猪的视频图像；
数据预处理模块：包括图片获取、数据清洗、数据标注、数据增强的操作，建立深度学习样本库；
母猪分娩监测模块：基于轻量级目标检测模型对母猪姿态和仔猪目标进行监测；所述轻量级目标检测模型基于yolox算法建立；采用yolox轻量化目标检测模型，具体流程如下：
S1、深度学习机环境配置：Ubuntu 18.04系统，CPU为Intel(R)Xeon(R)Gold 5118CPU@2.30GHz，GPU为NVIDIA Quadro P4000，显存为8GB，深度学习框架是Pytorch 1.7.0，CUDA版本为10.1，依赖于Python 3.7.3、Torchvision 0.8.1、Numpy 1.19.1以及Opencv 4.5.1；
S2、网络参数初始化：根据数据集及深度学习机的配置情况设置迭代周期为100、batchsize为8、学习率设置为0.001、预训练权重指向不同的yolox版本；
S3、基于Pytorch深度学习框架，将数据预处理模块中建立的深度学习样本库输入设置好训练参数的yolox网络进行母猪姿态和仔猪目标检测模型的训练，训练分为两个阶段，分别为冻结阶段和解冻阶段：
S3-1、epoch<＝50:此时模型的主干被冻结了，特征提取网络不发生改变；仅对网络进行微调；
S3-2、epoch>50:此时模型的主干不被冻结了，特征提取网络会发生改变；网络所有的参数都会发生改变；
S4、模型训练完成后，根据模型的评价指标选取yolox-nano为检测效果最优的权重模型作为母猪分娩监测模型；
模型优化与部署模块：对训练好的模型进行量化，将加速后的模型部署至Jetson Nano嵌入式设备上；
模型优化：TensorRT是用于优化训练后的深度学习模型以实现高性能推理的SDK，针对母猪分娩监测模块选取的最优模型，生成支持TensorRT的推理引擎，优化后的母猪分娩监测模型能够以更高的吞吐量和更低的延迟运行；
模型部署：利用DeepStream框架对实时视频流的解码和神经网络进行推理，将优化后的模型部署至Jetson Nano，母猪分娩监测支持在本地完成分娩报警任务，同时将检测结果上传至云服务器；
数据存储与可视化模块：在边缘端实现母猪姿态转换频率和仔猪个数的计算，将文本信息传入云服务器进行存储，以PC端/移动终端的形式对围产期、泌乳期的母猪分娩行为进行可视化管理。
2.根据权利要求1所述的系统，其特征在于yolox算法的主干特征提取网络采用CSPDarknet结构，加强特征提取网络为FPN结构，利用Yolo Head获得预测结果，采用了解耦头、Anchor-free检测器、标签分配策略SimOTA。
3.根据权利要求1所述的系统，其特征在于模型的损失函数计算公式如下：
Loss＝Lobj+Lreg+Lcls
式中，Lobj代表置信度损失值，Lreg代表边界框损失值，Lcls代表类别损失值。
4.根据权利要求3所述的系统，其特征在于：
Lreg＝log(IOU(Bgt,Bpred))
其中，S代表grid size，B代表box，λnoobj为不含目标预设框的权重，λobj为包含目标预设框的权重，表示如果在i,j处的box没有目标，其值为1，否则为0，/>表示如果在i,j处的box有目标，其值为1，否则为0；
其ci和分别表示置信度的真实值和预测值，将所有真实框对应的特征点判断为正样本，否则为负样本，根据正负样本和特征点是否包含物体的预测结果计算置信度损失；
IOU表示交并比，Bgt表示真实框，Bpred表示预测框，获取到每个框对应的特征点后，取出该特征点的预测框，利用真实框和预测框的交并比计算边界框损失；
tk和pk分别表示包含目标分类概率的真实值和预测值，取出每个框对应特征点的种类预测结果，根据真实框的种类和特征点的种类预测结果计算类别损失。
5.根据权利要求1所述的系统，其特征在于：采用红外摄像头俯拍分娩栏内围产期母猪以获得视频图像，输出颜色为彩色；从采集的视频中人工提取母猪分娩前后的图像，确保母猪和仔猪都能被识别到。
6.根据权利要求1所述的系统，其特征在于：在边缘端实现母猪姿态转换频率和仔猪个数的计算：在边缘节点对yolox-nano模型处理后的数据进行推理检测，根据检测的相应结果，计算母猪分娩的文本信息，包括母猪姿态转换频率、仔猪个数、产程、难产检测的文本信息；当每检测到一个仔猪目标框时，仔猪个数加一，其余文本信息的计算公式如下：
D＝Tend-Tstart (6)
(5)-(7)式中，f为母猪姿态转换频率，n为姿态转换次数，h为时间，D为母猪的产程，Tend为最后一只仔猪的出生时间，即分娩结束时间，Tstart为第一只仔猪的出生时间，即分娩开始时间，flag为难产标志，若产程超过6小时，则判断为母猪难产。
7.根据权利要求1所述的系统，其特征在于数据预处理模块中：
图像获取：截取母猪分娩前后几天的连续监控视频，按固定时间间隔从视频中截取.jpg格式的图像；
数据清洗：删除过度曝光或曝光不足的模糊图片，最终得到的有效图片；
数据标注：使用labelimg软件对母猪姿态和仔猪目标进行人工标注，将包含标注类别和目标区域坐标位置的文件保存为后缀为.xml格式的文件；
数据增强：采用包括裁剪、平移、旋转角度、镜像、改变亮度、加噪声、cutout的数据增强方式对标注后的图像及标签进行数据扩增，并增加数据的多样性；
建立深度学习样本库：数据集格式按照PASCAL VOC标准格式，将标注好的数据划分为训练集、测试集和验证集，比例为8:1:1。
CN202210269886.4A 2022-03-18 2022-03-18 基于云边协同的母猪分娩智能监测系统 Active CN114677624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269886.4A CN114677624B (zh) 2022-03-18 2022-03-18 基于云边协同的母猪分娩智能监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269886.4A CN114677624B (zh) 2022-03-18 2022-03-18 基于云边协同的母猪分娩智能监测系统

Publications (2)

Publication Number Publication Date
CN114677624A CN114677624A (zh) 2022-06-28
CN114677624B true CN114677624B (zh) 2023-09-15

Family

ID=82074359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269886.4A Active CN114677624B (zh) 2022-03-18 2022-03-18 基于云边协同的母猪分娩智能监测系统

Country Status (1)

Country Link
CN (1) CN114677624B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578323A (zh) * 2023-07-14 2023-08-11 湖南睿图智能科技有限公司 一种基于云边协同的深度学习算法迭代方法
CN117189648B (zh) * 2023-11-03 2024-03-08 江苏海拓宾未来工业科技集团有限公司 一种基于云边协同的磁悬浮离心压缩机远程控制系统
CN117197902B (zh) * 2023-11-07 2024-01-30 华南农业大学 一种母猪分娩智能预测系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296738A (zh) * 2016-08-09 2017-01-04 南京农业大学 一种基于fpga的母猪分娩智能检测系统以及方法
CN110147771A (zh) * 2019-05-23 2019-08-20 南京农业大学 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统
CN110447560A (zh) * 2019-07-23 2019-11-15 农业农村部南京农业机械化研究所 基于筑窝行为的母猪分娩智能检测方法以及系统
CN112131927A (zh) * 2020-08-03 2020-12-25 南京农业大学 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
CN112306673A (zh) * 2020-09-18 2021-02-02 浪潮思科网络科技有限公司 一种用于云计算和边缘计算协同的sdn系统
CN112931318A (zh) * 2021-03-25 2021-06-11 浙江大学 一种边云协同的海洋大黄鱼智能化养殖管理系统
CN113115722A (zh) * 2021-04-19 2021-07-16 青岛得八兄弟机械有限公司 一种智能化母猪分娩监测及喂养管理系统
CN113842122A (zh) * 2021-09-24 2021-12-28 西南大学 一种哺乳母猪生理参数智能采集系统
CN114037953A (zh) * 2021-11-08 2022-02-11 杭州鲁尔物联科技有限公司 边坡安全监测方法、装置、计算机设备及存储介质
CN114120444A (zh) * 2021-11-17 2022-03-01 中国计量大学 基于人体骨架特征的3d卷积神经网络不安全行为检测系统
CN114140718A (zh) * 2021-11-26 2022-03-04 浙江商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296738A (zh) * 2016-08-09 2017-01-04 南京农业大学 一种基于fpga的母猪分娩智能检测系统以及方法
CN110147771A (zh) * 2019-05-23 2019-08-20 南京农业大学 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统
CN110447560A (zh) * 2019-07-23 2019-11-15 农业农村部南京农业机械化研究所 基于筑窝行为的母猪分娩智能检测方法以及系统
CN112131927A (zh) * 2020-08-03 2020-12-25 南京农业大学 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
CN112306673A (zh) * 2020-09-18 2021-02-02 浪潮思科网络科技有限公司 一种用于云计算和边缘计算协同的sdn系统
CN112931318A (zh) * 2021-03-25 2021-06-11 浙江大学 一种边云协同的海洋大黄鱼智能化养殖管理系统
CN113115722A (zh) * 2021-04-19 2021-07-16 青岛得八兄弟机械有限公司 一种智能化母猪分娩监测及喂养管理系统
CN113842122A (zh) * 2021-09-24 2021-12-28 西南大学 一种哺乳母猪生理参数智能采集系统
CN114037953A (zh) * 2021-11-08 2022-02-11 杭州鲁尔物联科技有限公司 边坡安全监测方法、装置、计算机设备及存储介质
CN114120444A (zh) * 2021-11-17 2022-03-01 中国计量大学 基于人体骨架特征的3d卷积神经网络不安全行为检测系统
CN114140718A (zh) * 2021-11-26 2022-03-04 浙江商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Control of parturition in hyperprolific sows by using altrenogest and double administrations of PGF2α;Preechaphon Taechamaeteekul等;Theriogenology;第181卷;24-33 *
Effects of heat stress on posture transitions and reproductive performance of primiparous sows during late gestation;Longshen Liu等;Journal of Thermal Biology;第96卷;1-6 *
Evaluation of YOLO Models with Sliced Inference for Small Object Detection;Muhammed Can Keles等;arXiv:2203.04799;1-6 *
PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices;Guanghua Yu等;arXiv:2111.00902;1-9 *
YOLOX: Exceeding YOLO Series in 2021;Zheng Ge等;arXiv:2107.08430;1-7 *
基于Jetson Nano+YOLO v5的哺乳期仔猪目标检测;丁奇安 等;农业机械学报 网络首发;1-13 *
基于机器视觉和FPGA的母猪分娩智能监测系统研究与设计;张弛;中国优秀硕士学位论文全文数据库农业科技辑(第（2019）07期);D050-73 *
基于深度学习的哺乳期猪只目标检测与姿态识别;俞燃;中国优秀硕士学位论文全文数据库农业科技辑(第（2022）03期);D050-248 *

Also Published As

Publication number Publication date
CN114677624A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN114677624B (zh) 基于云边协同的母猪分娩智能监测系统
CN108875647B (zh) 一种基于牲畜身份的移动轨迹监测方法和系统
CN110547210B (zh) 饲料供给方法及系统、计算机系统、存储介质
CN112131927B (zh) 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
Yang et al. Pig mounting behaviour recognition based on video spatial–temporal features
US11532153B2 (en) Splash detection for surface splash scoring
CN113762113A (zh) 一种牲畜分娩行为监控方法及装置
Kuan et al. An imaging system based on deep learning for monitoring the feeding behavior of dairy cows
He et al. Enhanced LiteHRNet based sheep weight estimation using RGB-D images
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
CN114898405A (zh) 基于边缘计算的便携式肉鸡异常监测系统
Guo et al. Pigeon cleaning behavior detection algorithm based on light-weight network
Wang et al. Oestrus detection in dairy cows by using atrous spatial pyramid and attention mechanism
Xue et al. Automatic detection of sow posture and estrus based on convolutional neural network
Gong et al. Sika Deer Behavior Recognition Based on Machine Vision.
Xu et al. Automatic quantification and assessment of grouped pig movement using the XGBoost and YOLOv5s models
CN113989538A (zh) 基于深度图像的鸡群均匀度估测方法、装置、系统及介质
CN115119766A (zh) 一种基于深度学习和红外热成像的母猪发情检测方法
CN115359418A (zh) 基于clip模型的牲畜分娩监测预警系统与方法
CN114913456A (zh) 一种基于自注意力网络的猪群出栏、投食估测系统
Molapo et al. Management and monitoring of livestock in the farm using deep learning
El Moutaouakil et al. A design of a smart farm system for cattle monitoring
Han et al. Mask_LaC R-CNN for measuring morphological features of fish
Wang et al. Deep learning method for rapidly estimating pig body size

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant