CN115019391A - 基于YOLOv5和C3D的仔猪吃奶行为检测系统 - Google Patents
基于YOLOv5和C3D的仔猪吃奶行为检测系统 Download PDFInfo
- Publication number
- CN115019391A CN115019391A CN202210586489.XA CN202210586489A CN115019391A CN 115019391 A CN115019391 A CN 115019391A CN 202210586489 A CN202210586489 A CN 202210586489A CN 115019391 A CN115019391 A CN 115019391A
- Authority
- CN
- China
- Prior art keywords
- milk
- sow
- arching
- piglet
- yolov5
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013336 milk Nutrition 0.000 title claims abstract description 64
- 239000008267 milk Substances 0.000 title claims abstract description 64
- 210000004080 milk Anatomy 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 230000020595 eating behavior Effects 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000006399 behavior Effects 0.000 claims abstract description 22
- 230000000474 nursing effect Effects 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000003860 storage Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 210000000481 breast Anatomy 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 210000001015 abdomen Anatomy 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 210000003414 extremity Anatomy 0.000 claims description 4
- 210000002445 nipple Anatomy 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 210000000003 hoof Anatomy 0.000 claims description 2
- 210000004251 human milk Anatomy 0.000 claims description 2
- 235000020256 human milk Nutrition 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 210000001364 upper extremity Anatomy 0.000 claims description 2
- 230000006651 lactation Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000003938 response to stress Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 8
- 238000009395 breeding Methods 0.000 description 5
- 230000001488 breeding effect Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 241000282887 Suidae Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000032696 parturition Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000029082 maternal behavior Effects 0.000 description 2
- 235000015277 pork Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- IJRLLVFQGCCPPI-NVGRTJHCSA-L 2-[4-[2-[[(2R)-1-[[(4R,7S,10S,13R,16S,19R)-10-(4-aminobutyl)-4-[[(1S,2R)-1-carboxy-2-hydroxypropyl]carbamoyl]-7-[(1R)-1-hydroxyethyl]-16-[(4-hydroxyphenyl)methyl]-13-(1H-indol-3-ylmethyl)-6,9,12,15,18-pentaoxo-1,2-dithia-5,8,11,14,17-pentazacycloicos-19-yl]amino]-1-oxo-3-phenylpropan-2-yl]amino]-2-oxoethyl]-10-(carboxylatomethyl)-7-(carboxymethyl)-1,4,7,10-tetrazacyclododec-1-yl]acetate copper-64(2+) Chemical compound [64Cu++].C[C@@H](O)[C@H](NC(=O)[C@@H]1CSSC[C@H](NC(=O)[C@@H](Cc2ccccc2)NC(=O)CN2CCN(CC(O)=O)CCN(CC([O-])=O)CCN(CC([O-])=O)CC2)C(=O)N[C@@H](Cc2ccc(O)cc2)C(=O)N[C@H](Cc2c[nH]c3ccccc23)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H]([C@@H](C)O)C(=O)N1)C(O)=O IJRLLVFQGCCPPI-NVGRTJHCSA-L 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003975 animal breeding Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000015946 suckling behavior Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
- Y02P60/87—Re-use of by-products of food processing for fodder production
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Environmental Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Animal Husbandry (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOv5和C3D的仔猪吃奶行为检测系统，它包括哺乳室、摄像头、视频存储单元、服务器等，摄像头一方面连续存储视频数据到视频存储单元，另一方面直连服务器；服务器分析监控数据；检测系统的工作步骤为通过YOLOv5检测网络检测母猪姿态，当检测出母猪处于侧卧姿态，提取拱乳感兴趣域并检测仔猪个数，将感兴趣域输入C3D识别网络识别仔猪拱乳动作，并将综合识别结果输出到数据库。与传感器技术相比，该技术避免了与母猪的接触，减少应激反应；与其他计算机视觉技术识别母猪哺乳行为方法相比，此方法更加关注仔猪本身的拱乳动作。减少分析母猪哺乳特征所带来的繁琐步骤，且具有分析直接，效率高的特点。
Description
技术领域
本专利涉及计算机视觉、动物福利养殖、三维卷积神经网络算法等技术领域。具体是一种基于YOLOv5和C3D的仔猪吃奶行为检测系统。
背景技术
我国生猪养殖数量和猪肉消费量均居世界第一位，养猪业是我国农业的支柱产业。近年来随着人们对猪肉的需求不断增加，生猪养殖规模不断扩大，精细化管理越来越重要。生猪养殖主要的经济损失来源于初生仔猪的高死亡率，而营养缺乏或者饥饿是造成部分仔猪断奶前死亡的重要因素，因此及时获取准确的母猪哺乳行为信息对提高猪只集中养殖效益至关重要。
近年来在猪只行为识别方面已经具有大量的研究成果。部分研究者利用电子传感器等可穿戴设备，基于几何特征(如位置、距离、面积等)或运动特征(如速度和加速度)，追踪收集动物的运动信息，实现猪只采食、饮水、排泄、爬跨、分娩等行为识别和监测。电子传感器的制作成本高，易损坏，维修成本高，且易引起猪只的应激反应，不符合动物养殖福利的要求。另一种主要研究方式就是基于监控的图像与视频识别，这种方式具有低成本、非接触的特点，符合养殖场要求。
随着人工智能技术的不断发展，深度学习在动物的分析研究中的应用越来越多，基于深度学习的目标检测算法也越来越成熟，目前目标检测算法可以划分为One-stage检测算法和Two-stage检测算法。One-stage检测算法主要有YOLO系列(v1-v5)，SSD系列(R-SSD、DSSD、FSSD等)，Retina-Net，DetectNet，SqueezeDet等，One-stage检测算法仅仅需要送入网络一次就可以预测出所有的边界框，因而较Two-stage检测有着更快的推理速度。在One-stage算法中，YOLO具有较高的检测精度，而YOLOv5在YOLO系列算法中，灵活性更高，更易达到实际场景需求。
3D卷积神经网络主要运用在视频分类、动作识别等领域。3D卷积神经网络在2D卷积神经的基础上改变而来,2D相较于3D缺少了时间维度的信息。行为的发生是一个过程，因此我们采用3D卷积神经网络，这样能将视频中时序信息进行很好的利用。C3D是一种深度三维卷积神经网络模型，运行高效，能同时对外观和运动信息建模，具有高效、简单、紧凑的特点，C3D在行为识别的任务上取得了较好的成绩。
但是目前3D卷积神经网络在人体行为识别方面的研究和应用更为广泛，在动物行为识别研究应用相对较少。在母猪哺乳行为发生时，仔猪会对母猪乳房进行拱乳行为，并引起母猪哺乳区域产生快速、节律性抽动，这种拱乳行为和哺乳区域的变化尺度很小，难以捕捉，对机器识别是一个很大的挑战。
发明内容
本发明针对背景技术中存在的问题，提出了一种基于YOLOv5和C3D的仔猪吃奶行为检测系统。通过YOLOv5检测算法，实现对母猪三种姿态进行分类，以及对拱乳感兴趣域以及仔猪个数进行实时目标检测；通过C3D卷积神经网络模型对仔猪动作进行特征提取，对仔猪拱乳动作与非拱乳动作分类；引入泊松图像编辑提高曝光视频拱乳动作分类准确率；对动作分类概率曲线进行Savitzky-Golay滤波处理，结合YOLOv5仔猪个数识别与拱乳动作概率曲线综合分析仔猪吃奶行为。利用级联YOLOv5和C3D模型的方法检测仔猪吃奶行为，是研究母猪与仔猪的联系，泌乳期母猪母性行为评估的重要基础。
技术方案：
一种基于YOLOv5和C3D的仔猪吃奶行为检测系统，其特征在于它包括哺乳室、摄像头、视频存储单元、服务器，所述哺乳室内带有限位栏，哺乳室用于放置哺乳母猪与仔猪；所述摄像头设置在高度2.2m处；摄像头监控获得哺乳室的视频数据，摄像头一方面连续存储视频数据到视频存储单元，另一方面直连服务器；服务器调用备份视频数据，同时分析监控数据；检测系统的工作步骤为通过YOLOv5检测网络检测母猪姿态，当检测出母猪处于侧卧姿态，提取拱乳感兴趣域并检测仔猪个数，将结果输入C3D识别网络识别仔猪拱乳动作，并将综合识别结果输出到数据库；所述模型的构建包括以下步骤：
S1、数据采集：获得图像数据；
S2、概念定义：仔猪拱乳感兴趣域选取与姿态及行为定义；
S3、数据划分：感兴趣域检测数据集和动作分类数据集的构建；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和C3D为检测网络模型；
S5、YOLOv5模型训练：利用感兴趣域检测数据集训练YOLOv5模型，作为拱乳感兴趣域和仔猪的检测器；
S6、C3D模型训练：利用动作分类数据集训练C3D卷积神经网络模型，引入泊松图像编辑提高曝光图片识别准确率；
S7、网络模型测试与优化：对动作分类概率曲线进行Savitzky-Golay滤波处理，结合YOLOv5仔猪个数识别与拱乳动作概率曲线综合分析仔猪吃奶行为；
优选的，步骤S1所述数据采集为采集分娩一周内母猪和仔猪均在限位栏内视频数据，24h不间断监控。
优选的，步骤S2所述概念定义具体是：综合文献与科研人员对母猪与拱乳仔猪的观察，对拱乳感兴趣域与母猪姿态及仔猪拱乳行为做出定义。
优选的，综合文献本专利采用定义包括：
仔猪拱乳感兴趣域：母猪侧卧时腹部及四肢所包围的区域并延伸至仔猪体长。
母猪站立：蹄接触地面，身体保持直立，背部朝上，腹部朝下。
母猪坐立：身体倾斜，部分垂直于伸展的前腿，臀部接触地面。
母猪侧卧：一侧身体接触地面，四肢放置在左侧或右侧，腹部袒露，乳头可见。
仔猪吃奶行为：母猪处于侧卧，且仔猪拱动母猪乳头，时长大于90s。
仔猪吃奶行为结束：母猪主动结束：母猪翻身或者变为非侧卧姿势；仔猪主动结束：仔猪离开拱乳感兴趣区域或仔猪在乳房附近休息。
优选的，步骤S3所述数据集划分中，感兴趣域检测数据集中训练集、测试集比例为8:1,训练集中拱乳感兴趣域正对保育灯和拱乳感兴趣域背对保育灯两种光照比例为1:1；动作分类数据集中训练集正负样本比例为1:3，其中拱乳感兴趣域正对保育灯和拱乳感兴趣域背对保育灯两种光照比例为1:1。
优选的，步骤S4所述网络设计中，检测模型损失函数为：
式中s×s表示将整幅图片分成s×s个栅格，ciouErr为坐标误差，objErr为置信度误差，clsErr为分类误差，根据损失函数的收敛情况来判断模型训练迭代次数。
优选的，步骤S4所述模型中，其特征在于：
objErr＝-wn[yn·log(σ(xn))+(1-yn)·log(1-σ(xn))]
式中，IoU为预测框与实际框的交并比，ρ为预测框与实际框的中心点连线的欧氏距离，c为同时包含预测框和实际框的最小闭包区域的对角线距离，v为宽高比度量函数，w为预测框的宽，h为预测框的高，wgt为目标框的宽，hgt为目标框的高，wn为超参数，yn为第n个样本对于的类别的真实值，xn为第n个样本的对应的模型输出，经过sigmoid激活函数处理，exp为指数函数，N表示类别总个数，yi为经过激活函数后得到的当前类别的概率，yi *为当前类别的真实值(0或1)。
优选的，步骤S5所述YOLOv5模型训练中，采用随机梯度下降和动量法予以优化，初始动量为0.937，batch_size为32，初始学习率为0.01，训练迭代次数共16000次，在10000次和11000次迭代时，学习率缩小10倍，权重更新公式如下：
式中j表示特征数量，θ表示特征权重，i表示数据样本，lr代表学习率，每次迭代更新一次权重，每迭代1000次备份权重模型，模型在训练13000次左右趋于平稳。式中hθ(x)＝θ0+θ1x1+θ2x2....+θnxn，目的是使得hθ(x)最小化。
优选的，步骤S6所述C3D模型训练中，主要基于3D卷积操作，共有8次卷积操作，4次池化操作。对于拱乳感兴趣域正对保育灯，引入泊松图像编辑。
优选的，步骤S6所述模型训练中，其特征在于：卷积核的大小均为3×3×3，步长为1×1×1，第一个池化层大小为1×2×2，其余池化层的大小均为2×2×2，最终网络在经过两次全连接层和softmax层后得到最终分类结果拱乳动作和非拱乳动作。训练迭代次数共32000次，初始学习率为0.0001，模型在训练25000次左右趋于平稳。
优选的，步骤S6所述的模型中，其特征在于：泊松图像编辑使用掩膜覆盖原始图像RGB三个通道均较高的区域，设定转换阈值为180，亮度变化实现公式如下：
式中
是一阶微分，β＝0.2,f为原图像掩膜Ω覆盖部分的图像函数，f*为掩膜Ω部分的图像函数。
优选的，步骤S7所述网络模型测试与优化中，对动作分类概率曲线进行Savitzky-Golay滤波处理，结合YOLOv5检测结果，当母猪处于侧卧姿态，且仔猪出现拱乳动作大于90s时，则判定为仔猪吃奶行为发生；若在时长大于90s的拱乳动作前后出现大于20s的拱乳动作，且两者时长间隔小于15s，则将这35s动作划分至仔猪吃奶行为内；若非拱乳动作间隙大于15s，或前后方无90s以上拱乳动作，或检测到间隙的拱乳动作小于20s时，划分至非吃奶行为。
优选的，步骤S7所述滤波算法中，其特征在于：Savitzky-Golay滤波在时域内基于局域多项式最小二乘法拟合对C3D模型分类概率曲线平滑除噪，滤波公式如下：
式中，n为多项式的阶数，bn0,bn1,…,bnn是待定系数或权重，i＝-m,…,0,…,m，i的取值为C3D模型分类概率曲线的2m+1个连续的整数值，Savitzky-Golay滤波器算法选取的数据长度为2m+1≥n。
本发明的有益效果
(1)与传感器技术识别仔猪吃奶行为方法相比，计算机视觉技术避免了与母猪的接触，减少应激反应，且具有成本低、效率高的特点；
(2)与其他计算机视觉技术识别母猪哺乳行为方法相比，此方法更加关注仔猪本身的拱乳动作。减少分析母猪哺乳特征所带来的繁琐步骤，且具有分析直接，效率高的特点；
(3)基于深度学习的卷积神经网络与传统的机器学习方法相比，以数据本身为驱动，当数据量充足时，能够实现端到端的训练，网络模型自身挖掘目标特征代替了人工设计特征，能够获得目标更加丰富的语义信息，识别的准确度和速度都有极大的提升；
(4)提出了在感兴趣域里识别拱乳动作的思想，通过YOLOv5对拱乳感兴趣域进行识别与定位，将分割后的感兴趣域作为C3D模型的输入，减少了感兴趣域外其余动作的影响，提高了拱乳动作识别的准确性。
(5)以YOLOv5级联C3D为检测网络模型，将传统目标检测算法与三维卷积神经网络行为分类算法相结合，既能保证精准分割动作特征感兴趣域，又能使特征更加方便提取、不受外界动作影响，泛化能力更强。为行为识别在其他领域的应用提供了一种新的方法；
(6)以YOLOv5级联C3D为检测网络模型，与基于区域的类Faster R-CNN的目标识别模型级联复杂三维卷积神经网络相比，识别效果相近，但极大的提升了检测速度，满足实时检测的要求；
(7)提出了以多个关键指标代替整体的思想，以拱乳动作与拱乳仔猪只数作为重要指标对仔猪吃奶行为进行评价，既能保证将学习到关键特征输出，又能使特征更加形象化、便于后续分析。
(8)实现了仔猪吃奶行为的自动化实时检测，可通过对比泌乳期不同母猪在相同阶段的仔猪吃奶行为时长和次数，观察母猪的母性行为及生理情况；
(9)以文本形式输出检测结果，包括：母猪姿态类别、仔猪拱乳感兴趣域坐标及置信度、仔猪位置坐标及置信度、仔猪吃奶行为时间始末点、实时吃奶仔猪个数等信息，并将检测结果可视化；
(10)仔猪吃奶时长、仔猪吃奶次数与仔猪的成活率密切相关，本发明提供的方法非接触地获得仔猪吃奶时长、仔猪吃奶次数信息，以便人工干预提高仔猪的成活率。
附图说明
附图1：本发明整体结构示意图
附图2：本发明所述方法的流程图
附图3：母猪三种姿态限位栏拍摄数据图
附图4：仔猪拱乳感兴趣域图
附图5：两种光照下限位栏拍摄数据图
附图6：本发明YOLOv5网络结构图
附图7：本发明C3D网络结构图
附图8：曝光图片进行泊松编辑前后对比图
附图9：Savitzky-Golay曲线滤波前后对比图
附图10：两种光照下YOLOv5识别效果图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
结合附图1，仔猪吃奶行为检测系统，包括摄像头(2048像素*1536像素)、分娩栏(2.2m*1.8m)、监控主机、网络硬盘录像机和检测方法模型训练和实现主机。本系统对处于预产期时期的分娩母猪进行实时监测，俯测高度为2.2m出安装海康威视摄像头，将监测视频数据24小时连续存储到视频存储单元(机械硬盘)，摄像头所采集的数据进一步与检测方法模型训练和实现主机建立联系，对监控画面内容实时检测，同时分析视频中的仔猪拱乳行为，将检测结果存储并可视化输出不同围栏下仔猪吃奶行为变化趋势。
结合图2，下面以一个具体实施例描述模型的构建的完整步骤：
S1、数据采集：海康威视摄像机(DS-2CD3135F-1型)监测分娩期母猪，俯测高度为2.2m，无间隔实时采样获得2048像素*1536像素的图像数据；
S2、概念定义：结合图3，定义了母猪三种姿态分别为坐立、站立、侧卧。结合图4，对仔猪拱乳感兴趣域进行选取。以及对仔猪吃奶行为进行定义；
S3、数据划分：结合图5，对两种光照数据进行感兴趣域检测数据集和动作分类数据集的构建；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和C3D为检测网络模型；
S5、YOLOv5模型训练：结合图6，利用感兴趣域检测数据集训练YOLOv5模型，作为仔猪拱乳感兴趣域和仔猪的检测器；结合附图10，YOLOv5模型针对两种光照条件的识别结果所示。
S6、C3D模型训练：结合图7，利用动作分类数据集训练C3D卷积神经网络模型。结合图8，引入泊松图像编辑对曝光图片进行处理，提高曝光图片识别准确率；
S7、网络模型测试与优化：结合图9，对动作分类概率曲线进行Savitzky-Golay滤波处理，通过YOLOv5仔猪个数识别与拱乳动作概率曲线综合分析仔猪吃奶行为。
本发明提供的方法非接触地获得仔猪吃奶时长、仔猪吃奶次数信息，以便人工干预提高仔猪的成活率。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于YOLOv5和C3D的仔猪吃奶行为检测系统，其特征在于它包括哺乳室、摄像头、视频存储单元、服务器，所述哺乳室内带有限位栏，哺乳室用于放置哺乳母猪与仔猪；所述摄像头设置在高度2.2m处；摄像头监控获得哺乳室的视频数据，摄像头一方面连续存储视频数据到视频存储单元，另一方面直连服务器；服务器调用备份视频数据，同时分析监控数据；检测系统的工作步骤为通过YOLOv5检测网络检测母猪姿态，当检测出母猪处于侧卧姿态，提取拱乳感兴趣域并检测仔猪个数，将感兴趣域输入C3D识别网络识别仔猪拱乳动作，并将综合识别结果输出到数据库；所述模型的构建包括以下步骤：
S1、数据采集：获得图像数据；
S2、概念定义：仔猪拱乳感兴趣域选取与姿态及行为定义；
S3、数据划分：感兴趣域检测数据集和动作分类数据集的构建；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和C3D为检测网络模型；
S5、YOLOv5模型训练：利用感兴趣域检测数据集训练YOLOv5模型，作为拱乳感兴趣域和仔猪的检测器；
S6、C3D模型训练：利用动作分类数据集训练C3D卷积神经网络模型，引入泊松图像编辑提高曝光图片识别准确率；
S7、网络模型测试与优化：对动作分类概率曲线进行Savitzky-Golay滤波处理，结合YOLOv5仔猪个数识别与拱乳动作概率曲线综合分析仔猪吃奶行为。
2.根据权利要求1所述的系统，其特征在于：
仔猪拱乳感兴趣域：母猪侧卧时腹部及四肢所包围的区域并延伸至仔猪体长；
姿态及行为定义为：
母猪站立：蹄接触地面，身体保持直立，背部朝上，腹部朝下；
母猪坐立：身体倾斜，部分垂直于伸展的前腿，臀部接触地面；
母猪侧卧：一侧身体接触地面，四肢放置在左侧或右侧，腹部袒露，乳头可见；
仔猪吃奶行为：母猪处于侧卧，且仔猪拱动母猪乳头，时长大于90s；
吃奶行为结束：母猪主动结束：母猪翻身或者变为非侧卧姿势；仔猪主动结束：仔猪离开拱乳感兴趣区域或仔猪在乳房附近休息。
3.根据权利要求1所述的系统，其特征在于步骤S4所述网络设计中，检测网络模型的损失函数为：
式中s×s表示将整幅图片分成s×s个栅格，ciouErr为坐标误差，objErr为置信度误差，clsErr为分类误差，根据损失函数的收敛情况来判断模型训练迭代次数。
4.根据权利要求3所述的系统，其特征在于：
objErr＝-wn[yn·log(σ(xn))+(1-yn)log(1-σ(xn))]
式中，IoU为预测框与实际框的交并比，ρ为预测框与实际框的中心点连线的欧氏距离，c为同时包含预测框和实际框的最小闭包区域的对角线距离，v为宽高比度量函数，w为预测框的宽，h为预测框的高，wgt为目标框的宽，hgt为目标框的高，wn为超参数，yn为第n个样本对于的类别的真实值，xn为第n个样本的对应的模型输出，经过sigmoid激活函数处理，exp为指数函数，N表示类别总个数，yi为经过激活函数后得到的当前类别的概率，yi *为当前类别的真实值(0或1)。
5.根据权利要求1所述的系统，其特征在于步骤S5所述YOLOv5模型训练中，采用随机梯度下降和动量法予以优化，初始动量为0.937，batch_size为32，初始学习率为0.01，训练迭代次数共16000次，在10000次和11000次迭代时，学习率缩小10倍，权重更新公式如下：
式中j表示特征数量，θ表示特征权重，i表示数据样本，lr代表学习率，每次迭代更新一次权重，每迭代1000次备份权重模型，模型在训练13000次左右趋于平稳；式中hθ(x)＝θ0+θ1x1+θ2x2....+θnxn，使得hθ(x)最小化。
6.根据权利要求1所述的系统，其特征在于步骤S6所述C3D模型训练中，基于3D卷积操作，共有8次卷积操作，4次池化操作；对于拱乳感兴趣域正对保育灯，引入泊松图像编辑。
7.根据权利要求6所述的系统，其特征在于：卷积核的大小均为3×3×3，步长为1×1×1，第一个池化层大小为1×2×2，其余池化层的大小均为2×2×2，最终网络在经过两次全连接层和softmax层后得到最终分类结果拱乳动作和非拱乳动作；训练迭代次数共32000次，初始学习率为0.0001。
8.根据权利要求6所述的系统，其特征在于：泊松图像编辑使用掩膜覆盖原始图像RGB三个通道均较高的区域，设定转换阈值为180，亮度变化实现公式如下：
式中
是一阶微分，β＝0.2，f为原图像掩膜Ω覆盖部分的图像函数，f*为掩膜Ω部分的图像函数。
9.根据权利要求1所述的系统，其特征在于步骤S7所述网络模型测试与优化中，对动作分类概率曲线进行Savitzky-Golay滤波处理，结合YOLOv5检测结果，当母猪处于侧卧姿态，且仔猪出现拱乳动作大于90s时，则判定为仔猪吃奶行为发生；若在时长大于90s的拱乳动作前后出现大于20s的拱乳动作，且两者时长间隔小于15s，则将这35s动作划分至仔猪吃奶行为内；若非拱乳动作间隙大于15s，或前后方无90s以上拱乳动作，或检测到间隙的拱乳动作小于20s时，划分至非吃奶行为。
10.根据权利要求9所述的系统，其特征在于：Savitzky-Golay滤波在时域内基于局域多项式最小二乘法拟合对C3D模型分类概率曲线平滑除噪，滤波公式如下：
式中，n为多项式的阶数，bn0,bn1,…,bnn为待定系数，表示权重，i＝-m,…,0,…,m，i取值为C3D模型分类概率曲线的2m+1个连续的数值，Savitzky-Golay滤波器算法选取的数据长度为2m+1≥n。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586489.XA CN115019391A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210586489.XA CN115019391A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115019391A true CN115019391A (zh) | 2022-09-06 |
Family
ID=83070487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210586489.XA Pending CN115019391A (zh) | 2022-05-27 | 2022-05-27 | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019391A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110586A (zh) * | 2023-04-13 | 2023-05-12 | 南京市红山森林动物园管理处 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
| CN116114610A (zh) * | 2023-02-22 | 2023-05-16 | 四川农业大学 | 一种仔猪寄养的装置及评估方法 |
-
2022
- 2022-05-27 CN CN202210586489.XA patent/CN115019391A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116114610A (zh) * | 2023-02-22 | 2023-05-16 | 四川农业大学 | 一种仔猪寄养的装置及评估方法 |
| CN116110586A (zh) * | 2023-04-13 | 2023-05-12 | 南京市红山森林动物园管理处 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
| CN116110586B (zh) * | 2023-04-13 | 2023-11-21 | 南京市红山森林动物园管理处 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147771B (zh) | 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统 | |
| Bao et al. | Artificial intelligence in animal farming: A systematic literature review | |
| Zheng et al. | Automatic recognition of lactating sow postures from depth images by deep learning detector | |
| Jiang et al. | FLYOLOv3 deep learning for key parts of dairy cow body detection | |
| Lao et al. | Automatic recognition of lactating sow behaviors through depth image processing | |
| CN115019391A (zh) | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 | |
| Gjergji et al. | Deep learning techniques for beef cattle body weight prediction | |
| Wang et al. | The research progress of vision-based artificial intelligence in smart pig farming | |
| CA3176420A1 (en) | Analysis and sorting in aquaculture | |
| CN110598658B (zh) | 一种母猪哺乳行为的卷积网络识别方法 | |
| CN111709287A (zh) | 基于深度学习的断奶仔猪目标跟踪方法 | |
| Yang et al. | Automated video analysis of sow nursing behavior based on fully convolutional network and oriented optical flow | |
| US20210368748A1 (en) | Analysis and sorting in aquaculture | |
| Subedi et al. | Tracking floor eggs with machine vision in cage-free hen houses | |
| Kang et al. | Dimension-reduced spatiotemporal network for lameness detection in dairy cows | |
| Gan et al. | Automated detection and analysis of piglet suckling behaviour using high-accuracy amodal instance segmentation | |
| Luo et al. | Posture detection of individual pigs based on lightweight convolution neural networks and efficient channel-wise attention | |
| Wu et al. | Monitoring the respiratory behavior of multiple cows based on computer vision and deep learning | |
| CN116543462A (zh) | 基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法 | |
| CN110532854B (zh) | 一种生猪爬跨行为检测方法及系统 | |
| Evangelista et al. | Detection of japanese quails (coturnix japonica) in poultry farms using yolov5 and detectron2 faster r-cnn | |
| Zhang et al. | A time-series neural network for pig feeding behavior recognition and dangerous detection from videos | |
| Zhou et al. | Detection of abnormal chicken droppings based on improved Faster R-CNN | |
| Zhang et al. | Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-Autoencoder | |
| CN114677614A (zh) | 基于计算机视觉的单次母猪哺乳时长计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |