CN112131927A - 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 - Google Patents
基于妊娠后期姿态转化特性的母猪分娩时间预测系统 Download PDFInfo
- Publication number
- CN112131927A CN112131927A CN202010768129.2A CN202010768129A CN112131927A CN 112131927 A CN112131927 A CN 112131927A CN 202010768129 A CN202010768129 A CN 202010768129A CN 112131927 A CN112131927 A CN 112131927A
- Authority
- CN
- China
- Prior art keywords
- posture
- characteristic
- sow
- model
- lying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035935 pregnancy Effects 0.000 title claims abstract description 23
- 230000009466 transformation Effects 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000036544 posture Effects 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000006399 behavior Effects 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000003187 abdominal effect Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 206010034719 Personality change Diseases 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 206010033307 Overweight Diseases 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000009395 breeding Methods 0.000 description 6
- 230000001488 breeding effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000035606 childbirth Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004590 drinking behavior Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006651 lactation Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003938 response to stress Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明公开了一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，其特征在于它包括图像采集模块、网络传输模块、视频存储单元、本地服务器、中心计算模块以及移动端接收模块，图像采集模块采集妊娠后期限位栏环境下的母猪视频，采集的数据存储至视频存储单元；本地服务器截图图像帧通过网络传输模块上传至中心计算模块。本发明从图像采集模块，到最终的移动端接收模块实现了端到端的自动化运行与控制，能够极大地提升母猪管理效率，降低仔猪的死亡风险。
Description
技术领域
本专利涉及计算机视觉、时间序列分析、畜禽精准养殖等技术领域。具体地讲是一种通 过深层卷积神经网络算法自动化检测妊娠后期母猪姿态转化频率、筑巢行为表达主要姿态比 率、姿态变化统计特征、趋势特征、时序差分特征等母猪产前姿态转化相关特性，并对多种 特征分别进行4类时间分窗统计，将空间分布与时序统计特征融合建模实现母猪分娩时间预 测。
背景技术
初生仔猪的死亡率高达25-33％，是造成生猪养殖生产损失的突出问题之一，有研究表 明如果能够准确预测母猪分娩时间，加以适当的人工监管和环境调控可有效降低仔猪死亡率。 目前主要通过人工记录母猪妊娠期，凭经验预测母猪分娩时间。然而该方法耗时耗力，且主 观性强。通过穿戴式设备、光敏、加速度等传感器技术自动化预测母猪分娩时间极大地减轻 了劳动力，但也有造成应激反应、功耗高、抗环境干扰能力差等问题。卷积神经网络推动计 算机视觉各领域高速发展，利用计算机视觉技术实现自动化母猪分娩时间预测是急需解决的 一个课题。
近年来基于计算机视觉技术对动物行为进行分析多为分类任务。公开号CN109492535A 公开了一种基于计算机视觉的母猪哺乳行为识别方法。其使用了Deeplab实例分割算法提取 光流特征，适用于开放式的分娩环境，依赖母猪体型的几何特征，不适用于规模化养殖限位 栏条件下多硬性遮挡、光线干扰明显等场景。公开号CN106778784A公开了一种基于机器视 觉的猪个体识别与饮水行为分析的方法，公开号CN111274975A公开了一种猪只采食行为预 测的方法和装置，均未考虑猪只行为的时序特征。
通过时间序列分析对母猪分娩时间预测的研究未有报道。
发明内容
本发明的目的在于填补现有技术的空白，提出了一种将母猪妊娠后期姿态转化的空间特 征与时序特征相结合的方法实现母猪分娩时间的预测，克服传统人工看守的耗时耗力问题， 避免了传感器设备给母猪带来的接触式应激反应与高功耗的不足。以数据为驱动，较长地提 前了母猪分娩预测的时间，也提高了预测的容错性，能够适应规模化集约化生猪养殖过程中， 限位栏条件下的硬性遮挡、光线干扰严重的情况，实现较高准确度的母猪分娩时间预测。
技术方案：
一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，它包括图像采集模块、网络 传输模块、视频存储单元、本地服务器、中心计算模块以及移动端接收模块，图像采集模块 采集妊娠后期限位栏环境下的母猪视频，采集的数据存储至视频存储单元；本地服务器截图 图像帧通过网络传输模块上传至中心计算模块，所述中心计算模块执行以下步骤：
S1、姿态识别：识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态；
S2、姿态转化特性空间特征与时序特征的提取：对6类姿态检测结果进行深入挖掘，提 取不同时间分窗下的姿态变化相关的多类空间分布与时序统计特征，并采用嵌入式特征选择 方法筛选高方差低耦合的特征；
S3、分娩时间预测：基于提取的高权重特征和集成学习方法，对多个基学习器进行加权 决策，获得最终的分娩预测时间T：
Q表示基模型的个数，αq表示第q个模型的权重，Pq表示第q个模型的预测结果；
S4、将分娩预测时间T存储至云服务器，管理人员通过移动端接收模块及时获知预测结 果。
优选的，所述图像采集模块为红外摄像机，红外摄像机固定于产床正上方2.2米，24小 时不间断采集妊娠后期母猪限位栏下行为。
优选的，所述视频存储单元与图像采集模块共处于局域网内，本地服务器对多路视频数 据多线程同步等间隔截帧，通过高带宽无线通信，将图像上传至中心计算模块。
优选的，S1具体包括以下步骤：
S1-1、图像预处理：对无损图像进行筛选，低光照图像去模糊，对6类姿态图像实现类 别和场景的均衡化，整体进行数据增强；所述6类姿态图像分别为侧卧、腹卧、胸卧、过渡姿态、坐卧、站立；
S1-2、数据标注：对母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类图像各取M 张进行人工标注，训练基模型后，采用模型标注；训练集、测试集、验证集按照比例随机划 分；
S1-3、姿态识别卷积神经网络设计与训练：选择YOLOv3为母猪姿态识别的网络架构， 以Darknet53在ImageNet数据集进行训练的模型权重为预训练权重，采用mini-batchSGD 方法进行训练，配合Early-Stopping的策略监视模型在验证集的精度，降低模型的过拟合风 险；
S1-4、将实时数据输入姿态识别卷积神经网络，识别母猪侧卧、腹卧、胸卧、过渡姿态、 坐卧、站立6类姿态。
优选的，S1-1中低光照图像采用YUV或RGB直方图均衡化两种图像去模糊方法。
优选的，采用one-stage目标检测网络模型YOLOv3，检测模型损失函数为：
式中s×s表示将整幅图像均分为s×s个栅格，coordErr为目标框回归损失，iouErr为 预设正样本交并比阈值损失，clsErr为分类损失；其中各损失分量公式如下：
式中，λcoord是目标框向量回归损失权重，B为每个栅格预生成目标框个数，
表示 目标在第n个栅格第m个预设框中的权重为1，xn,yn,wn,hn为标定坐标，
为预测坐 标，λnoobj为不含目标预设框的权重，Cn，
分别为置信度的标定值和预测值，pn，
分别 为包含目标的栅格分类概率的标定值和预测值；采用mini-batch SGD算法更新网络权重，batch_size为128，learning_rate(lr)初始化为0.001，步进式学习策略，max_batches为 30000，在24000次和27000次迭代时，学习率缩小10倍，以便损失函数更好地收敛；权重 更新公式如下：
式中，▽是梯度符号，:＝表示迭代赋值，lr表示梯度下降步幅，j表示迭代次数，θ表 示特征权重，i表示数据样本，x(i)，y(i)表示第i个输入样本和样本真实标签，hθj(X(i))表示第j 次迭代时模型的输出结果；每批次迭代更新一次权重，每迭代5000次备份权重模型；卷积 层间的非线性激活函数采用LeakyReLU，其公式为：
yi＝max(0,xi)+0.01min(0,xi)
式中，xi和yi表示激活函数输入输出特征值，通过非线性非饱和激活函数，既能表示更 高维的特征空间，又保留了小范围的梯度更新，避免了梯度消失现象，加快了模型收敛。
优选的，所述姿态转化特性空间特征与时序特征的提取通过Python编程自动化完成， 特征包括：姿态变化频率特征、筑巢行为表达主要姿态比率特征、趋势特征、统计特征、时 序差分特征、指数/对数特征、Hilbert均值特征、Hann窗特征；其中姿态变化频率特征公式 如下：
式中F表示母猪单位时间姿态转化频率，N表示母猪单位时间姿态转化频数，D表示时 间分窗长度；
筑巢行为表达主要姿态比率特征公式如下：
式中H表示母猪产前表达筑巢行为的姿态比率，NSIT表示单位时间坐卧姿态的出现频数， NSTD表示单位时间站立姿态的出现频数，Apostures表示单位时间6类姿态的转换频数。
优选的，所述姿态转化特性空间特征与时序特征的提取中：相邻两次抽样检测的时间间 隔为10分钟，母猪侧卧、胸卧/腹卧、坐卧、站立4类姿态时间分窗长度分别为1/4小时、 2/4小时、3/4小时、1小时；在每个分窗中对所有特征进行提取；采用嵌入式特征选择方法 筛选高方差低耦合的特征。
优选的，所述预测模型分别为XGBoost、RandomForest、LightGBM、LinearSVR、CatBoost。
优选的，所述中心计算模块还执行一个网络模型测试与优化步骤：统计检测结果，分析 损失较大的数据属性和模型特征，调整图像数量和模型超参数。
本发明的有益效果
本发明将对视频流数据的硬实时处理转化为固定时间间隔对视频帧的处理，一方面，多 路视频多线程定时截帧并上传的任务可以由养殖场本地的普通服务器完成，降低了数据传输 的风险和计算中心的压力；另一方面，通过调节截帧上传频率，优化预测算法，可实现用批 处理的方式代替流处理，达到低延迟，满足实时性需求。
本发明对模型预测有效结果实时传输给养殖场饲养人员，以便其做好母猪分娩的应急措 施。本发明从图像采集模块，到最终的预测信息接收模块(移动端接收模块)实现了端到端 的自动化运行与控制，能够极大地提升母猪管理效率，降低仔猪的死亡风险。具体的：
(1)本发明提出了一种基于计算机视觉技术自动化检测妊娠后期母猪姿态转化特性， 深入挖掘其空间分布特征与时序统计特征，预测母猪分娩时间的方法。避免了与母猪的接触， 体现了福利化、精准化养殖的思想，减少母猪应激反应，且具有成本低、效率高的特点；
(2)从视频数据获取，到饲养人员接受到母猪分娩时间预警信息实现全自动化解决， 不需人工参与。将视频流数据在养殖厂本地等间隔分帧上传，完成实时批处理，既保证了数 据传输的稳定性，又减轻了计算中心的压力；
(3)通过对母猪分娩时间的准确预测，使饲养人员及时采取适当的人工干预和环境调 控，可以有效的降低仔猪死亡率，提高经济收益；母猪分娩智能预警系统也是母猪健康管理 过程中从自动化向智能化方向转型的有力推手；
(4)视频原图像受光线干扰严重，通过对比多种图像增强去模糊的方法，验证了YUV 和RGB色彩空间直方图均衡化方法的有效性，实现对低光照图像的识别，增强识别效果和 准确率；
(5)采用one-stage的目标检测网络YOLOv3识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态，代替了传统人工设计特征的机器学习方法，在识别精度和检测速度上都有良好表现；
(6)采用mini-batch SGD的算法配合Early-Stopping的方法在多卡环境下进行模型训 练，保证了模型更新速度，降低过拟合风险；
(7)利用特征工程技术构造4类时间分窗条件下的：姿态变化频率特征、筑巢行为表 达主要姿态比率特征、趋势特征、统计特征、时序差分特征、指数/对数特征、Hilbert均值 特征、Hann窗特征。通过嵌入式特征选择方式筛选出高方差低耦合的特征；
(8)对多个强预测基模型进行加权平均预测最终结果。对基模型的训练采用贪婪学习 策略结合网格搜索方法对模型进行多次训练，取当前数据集下的最优参数组合。
附图说明
图1是本发明的总体结构示意图
图2是本发明功能实现的技术路线流程图
图3是低光照图像进行图像去模糊的效果图
图4是妊娠后期母猪6类姿态检测结果图
图5是特征构造与特征筛选流程图
图6是妊娠后期母猪姿态转化情况识别结果
图7是母猪姿态转化频率与分娩剩余时间关系图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
本发明公开了一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，基于计算机视 觉技术和机器学习算法，深入挖掘限位栏环境下妊娠后期母猪的姿态转化特性，将母猪姿态 空间分布特性与时序统计特征相结合，利用特征工程时间分窗的方法扩充特征空间，通过嵌 入式特征筛选将多个高方差、低耦合的特征融合输入集成学习模型，采用加权平均的方法预 测分娩时间。
结合图1，系统结构包括：图像采集模块、网络传输模块、存储模块、中心计算模块以 及移动端接收模块。红外摄像机24小时不间断采集妊娠后期限位栏环境下的母猪视频，监 测数据存储至视频数据存储单元，本地服务器开启多线程固定时间间隔截取图像帧上传至计 算中心，以批处理的方式自动调用母猪产前姿态转化特性的分析模型，对4类时间分窗的姿 态统计特征、趋势特征、时序统计特征等进行检测、融合、决策，将母猪分娩时间预测结果 发送至移动端APP。母猪姿态分类方法如表1：
表1妊娠后期母猪6类姿态
Table 1 Six postures of sows in late pregnancy
结合图2，基于妊娠后期姿态转化特性的母猪分娩时间预测系统，系统的构建包括： (1)视频数据采集、(2)视频存储与分帧、(3)图像预处理、(4)数据标注、(5)姿 态识别卷积神经网络设计与训练、(6)姿态转化特性空间特征与时序特征的提取、(7)特 征选择、(8)分娩时间预测模型设计与训练、(9)网络模型测试与优化、(10)数据入库 与发布。
具体的：
(1)视频数据采集：固定于产床正上方约2.2米处的红外摄像机24小时不间断采集妊 娠后期母猪限位栏下行为；
(2)视频存储与分帧：局域网内通过光纤和交换机的连接，将监控数据实时存储至本 地视频存储单元。本地服务器对多路视频数据多线程同步等间隔截帧，通过高带宽无线通信， 将图像上传至计算中心。
(3)图像预处理：对无损图像进行筛选，低光照图像去模糊，对6类姿态图像实现类别和场景的均衡化，整体进行数据增强，增强后效果如图3，低光照图像经过RGB和YUV 色彩空间直方图均衡化后的对比结果，实现了图像去模糊；
(4)数据标注：对母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类图像各取5000 张进行人工标注，训练基模型后，采用模型标注。训练集、测试集、验证集按照8:1:1的比 例随机划分；
(5)姿态识别卷积神经网络设计与训练：考虑到检测精度与速度的均衡化，选择YOLOv3为母猪姿态识别的网络架构(结合图4，采用YOLOv3目标检测模型在计算中心对 上传的多路图像进行批处理，识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态， 在GTX1080Ti单张显卡配置条件下对1920像素×1080像素的单张图像处理速度仅为0.015秒)，以Darknet53在ImageNet数据集进行训练的模型权重为预训练权重，采用mini-batchSGD方法进行训练，配合Early-Stopping的策略监视模型在验证集的精度，降低模型的过拟合风险；
(6)姿态转化特性空间特征与时序特征的提取：提取的特征如图5所示，所有特征的 提取过程均通过Python编程自动化完成，利用Python编程，自动化对6姿态检测结果进行 深入挖掘，提取不同时间分窗下的姿态变化相关的多类空间分布与时序统计特征(结合附图 6，横坐标为时间间隔，相邻两次抽样检测的时间间隔为10分钟，4类时间分窗分别为1/4 小时、2/4小时、3/4小时、1小时的姿态变化相关的特征统计的时间单位。在每个分窗中都 会对上述图5中的多种特征进行提取。由图可见，待产母猪在分娩开始前的姿态转化特性与 其他时间段有明显差异)；
特征选择：采用嵌入式特征选择的方法，筛选重要(高方差、低耦合)的特征；嵌入式 特征选择法是部分机器学习模型在输出结果的同时，输出不同特征的权值，重要的特征对应 的权值比较大，无具体阈值，因模型而异。
(7)分娩时间预测模型设计与训练：预测模型采用机器学习集成学习思想，对XGBoost、RandomForest、LightGBM、LinearSVR、CatBoost多个强模型的预测结果进行加 权平均，权重由各个基模型在测试集中的预测精度决定。采用贪婪学习策略结合网格搜索方法对模型进行多次训练，取当前数据集下的最优结果；
(8)网络模型测试与优化：统计检测结果，分析损失较大的数据属性和模型特征，调 整图像数量和模型超参数(分析错检图像样本，以及预测分娩时间误差超过±3小时的母猪 个体和基模型，剔除异常个体，针对不同基模型调整其基础模型的深度、最小分裂样本节点 等超参数)，每次优化以最新模型权重进行网络训练初始化；
(9)数据入库与发布：计算中心循环监听数据缓冲池，接受到图像数据后立即调用母 猪分娩时间预测模型，将预测结果存储至云服务器，同时返送给饲养人员。管理人员可通过 移动端和PC端及时获知预测结果。
结合图7所示，对4头妊娠后期母猪姿态转化频率与分娩剩余时间进行可视化输出，可 见随着分娩时间临近(分娩剩余时间下降)，姿态转化频率在产前会有明显的高峰。
步骤(3)中对低光照图像增强去模糊，选取了多色彩空间直方图均衡化(RGB、YUV、gray)、Gamma变换、图像滤波(Gaussian滤波、均值滤波、中值滤波)等多种图像去噪技 术，在不同滤波强度下进行个体对比与组合对比。权衡去噪效果与速度，最终筛选出YUV 和RGB直方图均衡化两种图像去模糊方法。步骤(5)中采用的one-stage目标检测网络模 型YOLOv3，以输入的整张图像作为兴趣域，增加了空间信息利用率，不需要预设anchor， 提高了目标检测速度的同时在检测精度上维持较高水平。检测模型损失函数为：
式中s×s表示将整幅图像均分为s×s个栅格，coordErr为目标框回归损失，iouErr为 预设正样本交并比阈值损失，clsErr为分类损失。损失函数是模型训练提供权重更新梯度的 主要指标。其中各损失分量公式如下：
式中，λcoord是目标框向量回归损失权重，B为每个栅格预生成目标框个数，
表示 目标在第n个栅格第m个预设框中的权重为1，xn,yn,wn,hn为标定坐标，
为预测坐 标，λnoobj为不含目标预设框的权重，Cn，
分别为置信度的标定值和预测值，pn，
分别 为包含目标的栅格分类概率的标定值和预测值；采用mini-batch SGD算法更新网络权重，batch_size为128，learning_rate(lr)初始化为0.001，步进式学习策略，max_batches为 30000，在24000次和27000次迭代时，学习率缩小10倍，以便损失函数更好地收敛；权重 更新公式如下：
式中，▽是梯度符号，:＝是迭代赋值的意思，j表示迭代次数，θ表示特征权重，i表示 数据样本，x(i)，y(i)表示第i个输入样本和样本真实标签，hθj(X(i))表示第j次迭代时模型的输 出结果；每批次迭代更新一次权重，每迭代5000次备份权重模型；卷积层间的非线性激活 函数采用LeakyReLU，其公式为：
yi＝max(0,xi)+0.01min(0,xi)
式中，xi和yi表示激活函数输入输出特征值，通过非线性非饱和激活函数，既能表示更 高维的特征空间，又保留了小范围的梯度更新，避免了梯度消失现象，加快了模型收敛。
步骤(8)中集成学习模型对母猪分娩时间预测的公式为：
式中，Q表示基模型的个数,αq表示第q个模型的权重，Pq表示第q个模型的预测结果。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技 术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不 会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，其特征在于它包括图像采集模块、网络传输模块、视频存储单元、本地服务器、中心计算模块以及移动端接收模块，图像采集模块采集妊娠后期限位栏环境下的母猪视频，采集的数据存储至视频存储单元；本地服务器截图图像帧通过网络传输模块上传至中心计算模块，所述中心计算模块执行以下步骤：
S1、姿态识别：识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态；
S2、姿态转化特性空间特征与时序特征的提取：对6类姿态检测结果进行深入挖掘，提取不同时间分窗下的姿态变化相关的多类空间分布与时序统计特征，并采用嵌入式特征选择方法筛选高方差低耦合的特征；
S3、分娩时间预测：基于提取的高权重特征和集成学习方法，对多个基学习器进行加权决策，获得最终的分娩预测时间T：
Q表示基模型的个数，αq表示第q个模型的权重，Pq表示第q个模型的预测结果；
S4、将分娩预测时间T存储至云服务器，管理人员通过移动端接收模块及时获知预测结果。
2.根据权利要求1所述的系统，其特征在于所述图像采集模块为红外摄像机，红外摄像机固定于产床正上方2.2米，24小时不间断采集妊娠后期母猪限位栏下行为。
3.根据权利要求1所述的系统，其特征在于所述视频存储单元与图像采集模块共处于局域网内，本地服务器对多路视频数据多线程同步等间隔截帧，通过高带宽无线通信，将图像上传至中心计算模块。
4.根据权利要求1所述的系统，其特征在于S1具体包括以下步骤：
S1-1、图像预处理：对无损图像进行筛选，低光照图像去模糊，对6类姿态图像实现类别和场景的均衡化，整体进行数据增强；所述6类姿态图像分别为侧卧、腹卧、胸卧、过渡姿态、坐卧、站立；
S1-2、数据标注：对母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类图像各取M张进行人工标注，训练基模型后，采用模型标注；训练集、测试集、验证集按照比例随机划分；
S1-3、姿态识别卷积神经网络设计与训练：选择YOLOv3为母猪姿态识别的网络架构，以Darknet53在ImageNet数据集进行训练的模型权重为预训练权重，采用mini-batch SGD方法进行训练，配合Early-Stopping的策略监视模型在验证集的精度，降低模型的过拟合风险；
S1-4、将实时数据输入姿态识别卷积神经网络，识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态。
5.根据权利要求4所述的系统，其特征在于S1-1中低光照图像采用YUV或RGB直方图均衡化两种图像去模糊方法。
6.根据权利要求4所述的系统，其特征在于采用one-stage目标检测网络模型YOLOv3，检测模型损失函数为：
式中s×s表示将整幅图像均分为s×s个栅格，coordErr为目标框回归损失，iouErr为预设正样本交并比阈值损失，clsErr为分类损失；其中各损失分量公式如下：
式中，λcoord是目标框向量回归损失权重，B为每个栅格预生成目标框个数，
表示目标在第n个栅格第m个预设框中的权重为1，xn,yn,wn,hn为标定坐标，
为预测坐标，λnoobj为不含目标预设框的权重，Cn，
分别为置信度的标定值和预测值，pn，
分别为包含目标的栅格分类概率的标定值和预测值；采用mini-batch SGD算法更新网络权重，batch_size为128，learning_rate(lr)初始化为0.001，步进式学习策略，max_batches为30000，在24000次和27000次迭代时，学习率缩小10倍，以便损失函数更好地收敛；权重更新公式如下：
式中，
是梯度符号，:＝表示迭代赋值，lr表示梯度下降步幅，j表示迭代次数，θ表示特征权重，i表示数据样本，x(i)，y(i)表示第i个输入样本和样本真实标签，hθj(X(i))表示第j次迭代时模型的输出结果；每批次迭代更新一次权重，每迭代5000次备份权重模型；卷积层间的非线性激活函数采用LeakyReLU，其公式为：
yi＝max(0,xi)+0.01min(0,xi)
式中，xi和yi表示激活函数输入输出特征值，通过非线性非饱和激活函数，既能表示更高维的特征空间，又保留了小范围的梯度更新，避免了梯度消失现象，加快了模型收敛。
7.根据权利要求1所述的系统，其特征在于所述姿态转化特性空间特征与时序特征的提取通过Python编程自动化完成，特征包括：姿态变化频率特征、筑巢行为表达主要姿态比率特征、趋势特征、统计特征、时序差分特征、指数/对数特征、Hilbert均值特征、Hann窗特征；其中姿态变化频率特征公式如下：
式中F表示母猪单位时间姿态转化频率，N表示母猪单位时间姿态转化频数，D表示时间分窗长度；
筑巢行为表达主要姿态比率特征公式如下：
式中H表示母猪产前表达筑巢行为的姿态比率，NSIT表示单位时间坐卧姿态的出现频数，NSTD表示单位时间站立姿态的出现频数，Apostures表示单位时间6类姿态的转换频数。
8.根据权利要求7所述的系统，其特征在于所述姿态转化特性空间特征与时序特征的提取中：相邻两次抽样检测的时间间隔为10分钟，母猪侧卧、胸卧/腹卧、坐卧、站立4类姿态时间分窗长度分别为1/4小时、2/4小时、3/4小时、1小时；在每个分窗中对所有特征进行提取；采用嵌入式特征选择方法筛选高方差低耦合的特征。
9.根据权利要求1所述的系统，其特征在于所述预测模型分别为XGBoost、RandomForest、LightGBM、LinearSVR、CatBoost。
10.根据权利要求1所述的系统，其特征在于所述中心计算模块还执行一个网络模型测试与优化步骤：统计检测结果，分析损失较大的数据属性和模型特征，调整图像数量和模型超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010768129.2A CN112131927B (zh) | 2020-08-03 | 2020-08-03 | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010768129.2A CN112131927B (zh) | 2020-08-03 | 2020-08-03 | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112131927A true CN112131927A (zh) | 2020-12-25 |
| CN112131927B CN112131927B (zh) | 2024-04-05 |
Family
ID=73851475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010768129.2A Active CN112131927B (zh) | 2020-08-03 | 2020-08-03 | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131927B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222001A (zh) * | 2021-05-07 | 2021-08-06 | 天津医科大学 | 神经影像标记物形态学融合分类指数的构建方法及应用 |
| CN113405667A (zh) * | 2021-05-20 | 2021-09-17 | 湖南大学 | 基于深度学习的红外热人体姿态识别方法 |
| CN114187128A (zh) * | 2021-12-23 | 2022-03-15 | 江苏华丽智能科技股份有限公司 | 一种家畜养殖行业的保温控制方法及系统 |
| CN114677624A (zh) * | 2022-03-18 | 2022-06-28 | 南京农业大学 | 基于云边协同的母猪分娩智能监测系统 |
| CN116935439A (zh) * | 2023-07-18 | 2023-10-24 | 河北农业大学 | 一种孕羊分娩自动监测预警方法及自动监测预警系统 |
| CN117197902A (zh) * | 2023-11-07 | 2023-12-08 | 华南农业大学 | 一种母猪分娩智能预测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296738A (zh) * | 2016-08-09 | 2017-01-04 | 南京农业大学 | 一种基于fpga的母猪分娩智能检测系统以及方法 |
| CN108090510A (zh) * | 2017-12-15 | 2018-05-29 | 北京大学 | 一种基于间隔优化的集成学习方法及装置 |
| CN110517494A (zh) * | 2019-09-03 | 2019-11-29 | 中国科学院自动化研究所 | 基于集成学习的交通流预测模型、预测方法、系统、装置 |
| KR20200071597A (ko) * | 2018-12-11 | 2020-06-19 | 대한민국(농촌진흥청장) | 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치 |
-
2020
- 2020-08-03 CN CN202010768129.2A patent/CN112131927B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296738A (zh) * | 2016-08-09 | 2017-01-04 | 南京农业大学 | 一种基于fpga的母猪分娩智能检测系统以及方法 |
| CN108090510A (zh) * | 2017-12-15 | 2018-05-29 | 北京大学 | 一种基于间隔优化的集成学习方法及装置 |
| KR20200071597A (ko) * | 2018-12-11 | 2020-06-19 | 대한민국(농촌진흥청장) | 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치 |
| CN110517494A (zh) * | 2019-09-03 | 2019-11-29 | 中国科学院自动化研究所 | 基于集成学习的交通流预测模型、预测方法、系统、装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222001A (zh) * | 2021-05-07 | 2021-08-06 | 天津医科大学 | 神经影像标记物形态学融合分类指数的构建方法及应用 |
| CN113222001B (zh) * | 2021-05-07 | 2022-06-28 | 天津医科大学 | 神经影像标记物形态学融合分类指数的构建方法及应用 |
| CN113405667A (zh) * | 2021-05-20 | 2021-09-17 | 湖南大学 | 基于深度学习的红外热人体姿态识别方法 |
| CN114187128A (zh) * | 2021-12-23 | 2022-03-15 | 江苏华丽智能科技股份有限公司 | 一种家畜养殖行业的保温控制方法及系统 |
| CN114187128B (zh) * | 2021-12-23 | 2022-10-25 | 江苏华丽智能科技股份有限公司 | 一种家畜养殖行业的保温控制方法及系统 |
| CN114677624A (zh) * | 2022-03-18 | 2022-06-28 | 南京农业大学 | 基于云边协同的母猪分娩智能监测系统 |
| CN114677624B (zh) * | 2022-03-18 | 2023-09-15 | 南京农业大学 | 基于云边协同的母猪分娩智能监测系统 |
| CN116935439A (zh) * | 2023-07-18 | 2023-10-24 | 河北农业大学 | 一种孕羊分娩自动监测预警方法及自动监测预警系统 |
| CN117197902A (zh) * | 2023-11-07 | 2023-12-08 | 华南农业大学 | 一种母猪分娩智能预测系统及方法 |
| CN117197902B (zh) * | 2023-11-07 | 2024-01-30 | 华南农业大学 | 一种母猪分娩智能预测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112131927B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131927B (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN107895367B (zh) | 一种骨龄识别方法、系统及电子设备 | |
| CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN105590099B (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN111611889B (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
| CN111400536B (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| US20210383149A1 (en) | Method for identifying individuals of oplegnathus punctatus based on convolutional neural network | |
| CN110991222B (zh) | 一种物体状态监测、母猪发情监测方法、装置及系统 | |
| Lu et al. | Multi-object detection method based on YOLO and ResNet hybrid networks | |
| Noe et al. | Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model | |
| CN113822185A (zh) | 一种群养生猪日常行为检测方法 | |
| CN113762113A (zh) | 一种牲畜分娩行为监控方法及装置 | |
| CN114627411A (zh) | 基于计算机视觉下并行检测的农作物生育期识别方法 | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| CN113470076B (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
| CN117115754B (zh) | 基于计算机视觉的鸭舍智能化监测方法 | |
| CN108280516B (zh) | 一种多组卷积神经网络之间互博智能进化的优化方法 | |
| CN114092699A (zh) | 基于迁移学习的群猪图像分割的方法及系统 | |
| CN113822198A (zh) | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 | |
| Wang et al. | Pig face recognition model based on a cascaded network | |
| CN110738208A (zh) | 一种高效的尺度规范化目标检测训练方法 | |
| CN116824626A (zh) | 一种动物异常状态人工智能识别的方法 | |
| CN111160422A (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法 | |
| Adams et al. | Phenotypic trait extraction of soybean plants using deep convolutional neural networks with transfer learning. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |