CN109977755A - 一种采用单幅图像检测猪站立和躺卧姿态的方法 - Google Patents

一种采用单幅图像检测猪站立和躺卧姿态的方法 Download PDF

Info

Publication number
CN109977755A
CN109977755A CN201910060130.7A CN201910060130A CN109977755A CN 109977755 A CN109977755 A CN 109977755A CN 201910060130 A CN201910060130 A CN 201910060130A CN 109977755 A CN109977755 A CN 109977755A
Authority
CN
China
Prior art keywords
pig
image
determinand
matrix
sow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910060130.7A
Other languages
English (en)
Other versions
CN109977755B (zh
Inventor
饶秀勤
宋晨波
张小敏
高迎旺
应义斌
泮进明
郑荣进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910060130.7A priority Critical patent/CN109977755B/zh
Publication of CN109977755A publication Critical patent/CN109977755A/zh
Application granted granted Critical
Publication of CN109977755B publication Critical patent/CN109977755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种采用单幅图像检测猪站立和躺卧姿态的方法。建立用于母猪识别的DeepLab模型，对训练集中的图像采用DeepLab模型进行识别后得到初始分割图，将初始分割图中母猪调整为水平方向，建立母猪的外接矩形，并将外接矩形内的像素点的保存为初始矩阵，新建参考矩阵，将矩阵复制到参考矩阵的中位置，并将参考矩阵保存为图像，检测图像中母猪的头部和尾部，并保证母猪的头部在左边，构成姿态图集，用LeNet模型训练后得到母猪站立和躺卧姿态识别模型。本发明采用母猪的头部方向一致的图像进行母猪站立和躺卧姿态识别，识别精度高且速度快。

Description

一种采用单幅图像检测猪站立和躺卧姿态的方法
技术领域
本发明涉及猪姿态的方法，具体涉及一种采用单幅图像检测猪站立和躺卧姿态的方法。
背景技术
在养殖生产中，养殖动物的行为能反映其生理状态。为此，研究人员开展了动物行为自动检测方法研究。
Cornou等人(2008,2012)利用三轴加速度传感器检测母猪的运动转台，同时结合卡尔曼滤波方法进行行为分类，通过动态线性模型预测分娩时间。(CORNOU C,LUNDBYE-CHRISTENSEN S.Classifying sows’activity types from acceleration patterns:Anapplication of the Multi-Process Kalman Filter[J].Applied Animal BehaviourScience,2008,111(3):262-73。CORNOU C,LUNDBYECHRISTENSEN S.Modeling of sowsdiurnal activity pattern and detection of parturition using accelerationmeasurements[J].Computers&Electronics in Agriculture,2012,80(1):97-104)。
刘龙申等人(2013)同样利用三轴加速度传感器配合无线传感网络检测母猪产前的行为特征，通过K均值聚类算法对特征进行识别分类，能正确检测出母猪躺卧、站立、吃料、筑窝等典型行为。(刘龙申,沈明霞,姚文,et al.基于加速度传感器的母猪产前行为特征采集与分析[J].农业机械学报,2013,44(3):192-6)。
Lao等人(2016)使用3D相机获取了猪只的深度和数字图像，通过6秒的图像分析，可判断躺、坐、站、跪、吃食、饮水、转向等行为。(LAO F,BROWN-BRANDL T,STINN J P,etal.Automatic recognition of lactating sow behaviors through depth imageprocessing[J].Computers&Electronics in Agriculture,2016,125(C):56-62)
从这些研究来看，加速度传感器需要绑附在动物身上，会产生一定的应激，而图像检测方法则需要较长时间观察，需进一步提高实时性。
发明内容
为了解决背景技术中存在的问题，本发明提供了一种采用单幅图像检测猪站立和躺卧姿态的方法，采用单幅图像判断猪的姿态，可提高实时性。
本发明所采用技术方案如下：
S1、建立猪姿态检测模型的步骤如下：
步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物猪图像，对每一幅待测物猪图像处理获得待测物初步轮廓，将待测物初步轮廓以外的图像区域变为黑色；
所述的待测物猪图像为完整包含有待测物猪的侧面拍摄的图像。
步骤2：对步骤1获得的所有待测物猪图像采用DeepLab神经网络进行模型训练，得到待测物识别模型；
所述待测物猪图像为模型训练的已知样本图像。
步骤3：对样本图像用待测物识别模型进行识别，得到与样本图像大小一致的分为前景和背景的初始分割图；
步骤4：对初始分割图进行处理获得定向矩阵，利用定向矩阵将母猪B的前景区域调整为图像的水平方向，建立待测物猪的外接矩形C，由外接矩形C内的像素点形成初始矩阵D；
步骤5：新建一个参考矩阵F，参考矩阵F的行数和列数均比初始矩阵D的行数和列数多定值E(在本发明实施例中，E取40)，将初始矩阵D覆盖到参考矩阵F的中央区域，参考矩阵F中除中央区域以外的其余元素各值全部设置为0；
步骤7：将参考矩阵F构成参考图像N，对参考图像N处理获得猪头特征或者猪尾特征，即区分出待测物猪的头部和尾部；如果猪头特征在图像的左侧，则保持参考图像N不变，否则将参考图像N进行180°旋转；
步骤8：对多幅已知待测物猪姿态类别的不同样本图像重复步骤3-步骤7进行处理得到由一系列不同参考图像N及对应的已知待测物猪姿态类别组成的姿态图集；
样本图像中已知待测物猪姿态类别分为站立姿态和躺卧姿态。具体实施中，对站立姿态如图3所示标记为1，对躺卧姿态如图6所示标记为0。
步骤9：将姿态图集输入到LeNet模型进行训练，得到训练后的LeNet模型，作为猪姿态检测模型；
S2、根据猪姿态检测模型进行猪站立和躺卧姿态检测的步骤如下：
步骤10：将待定图像输入到步骤2的待测物识别模型，得到分割图AS；
步骤11：按步骤4-步骤7相同方式对分割图AS进行处理，获得检测图像NS；
步骤13：将检测图像NS输入到猪姿态检测模型，输出获得待测物猪的站立和躺卧姿态类别的检测结果。具体实施中，设置输出为1判别为站立，输出为0判别为躺卧。
本发明的有益效果是：本发明采用母猪B的头部方向一致的图像进行母猪站立和躺卧姿态识别，识别精度高且速度快。
附图说明
图1是猪站立姿态原图。
图2是图1进行图像分割后的猪图像。
图3是图2经本发明处理后的姿态图。
图4是猪躺卧姿态原图。
图5是图4进行图像分割后的猪图像。
图6是图5经本发明处理后的姿态图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
采用摄像机(在本例中，采用DS-2CD3T20-I3)和硬盘录像机(在本例中，采用ST4000VX000)连续拍摄并记录多头母猪的图像。
S1、建立猪姿态检测模型的步骤如下：
步骤1：选取1000幅不同场景、时段及拍摄角度的母猪站立和躺卧姿态图像，采用常用的图像处理软件处理获得母猪初步轮廓，将图像上母猪初步轮廓以外的图像区域变为黑色，作为数据集。
步骤2：从数据集中随机挑取500幅图像作为训练集，采用DeepLab进行模型训练，得到母猪识别模型。
步骤3：从训练集中选取1幅图像作为待定图像，猪站立姿态原图和猪躺卧姿态原图分别如图1和图4所示，采用DeepLab进行进行识别后，得到分割图A，猪站立姿态原图和猪躺卧姿态原图的分割图A分别如图2和图5所示。在分割图A上，属于母猪B的像素点灰度值为1，其余像素点的灰度值为0。
步骤4：采用申请号为201510501000.4的中国发明专利中的方法对初始分割图处理获得定向矩阵，利用定向矩阵将分割图A中母猪B图像区域调整为水平方向，建立母猪B的外接矩形C，并将外接矩形C内的像素点的保存为初始矩阵D。具体实施中，采用申请号为201510501000.4的中国发明专利中的方法对初始分割图处理获得横径(长轴长度)w和纵径(短轴长度)h作为外接矩形C的两边。
步骤5：新建一个参考矩阵F，参考矩阵F的行数和列数均比初始矩阵D的行数和列数多定值E(在本发明实施例中，E取40)，将初始矩阵D覆盖到参考矩阵F的中央区域，参考矩阵F中除中央区域以外的其余元素各值全部设置为0；
实质从参考矩阵F的第E/2+1行和第E/2+1列开始将初始矩阵D复制到参考矩阵F中，即初始矩阵D的左上角位于参考矩阵F的第E/2+1行和第E/2+1列处，参考矩阵F的中央区域的元素各值和初始矩阵D中的元素各值对应一致；参考矩阵F的中央区域周围上下左右分别为E/2的行列数，参考矩阵F的中央区域周围的元素各值均为0。
步骤7：将参考矩阵F构成参考图像N i(i＝1..500)，i表示参考图像的序数，采用申请号为201610489805.6的中国发明专利中的方法对参考图像图像N i(i＝1..500)处理获得猪头特征或者猪尾特征，即母猪B的头部和尾部。如果母猪B的头部在左边，则保持图像不变，否则将图像N i(i＝1..500)进行180°旋转。
步骤8：对训练集的其他图像按照步骤3-步骤7进行处理，得到分别由图像N组成的姿态图集，对站立姿态如图3所示标记为1，对躺卧姿态如图6所示标记为0。
步骤9：将姿态图集与其对应标记作为训练集对LeNet模型进行训练，得到母猪站立和躺卧姿态识别模型。
S2、实现猪站立和躺卧姿态检测的步骤如下：
步骤10：将待定图像输入母猪识别模型，得到分割图AS。
步骤11：按步骤4-步骤7对初始分割图AS进行处理，获得图像NS。
步骤13：将图像NS输入母猪站立和躺卧姿态识别模型，输出为1判别为站立，输出为0判别为躺卧，实现母猪站立和躺卧姿态检测。
实施例选取姿态图集的300幅图像进行训练，另外200幅图像作为测试，经本发明处理后，母猪站立和躺卧姿态准确率为93.5％。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种采用单幅图像检测猪站立和躺卧姿态的方法，其特征在于：包括如下步骤：
S1、建立猪姿态检测模型的步骤如下：
步骤1：采集多幅不同场景、不同时段、不同拍摄角度的待测物猪图像，对每一幅待测物猪图像处理获得待测物初步轮廓，将待测物猪初步轮廓以外的图像区域变为黑色；
步骤2：对步骤1获得的所有待测物猪图像采用DeepLab神经网络进行模型训练，得到待测物猪识别模型；
步骤3：对样本图像用待测物猪识别模型进行识别，得到与样本图像大小一致的分为前景和背景的初始分割图；
步骤4：对初始分割图进行处理获得定向矩阵，利用定向矩阵将母猪B的前景区域调整为图像的水平方向，建立待测物猪的外接矩形C，由外接矩形C内的像素点形成初始矩阵D；
步骤5：新建一个参考矩阵F，参考矩阵F的行数和列数均比初始矩阵D的行数和列数多定值E，将初始矩阵D覆盖到参考矩阵F的中央区域，参考矩阵F中除中央区域以外的其余元素各值全部设置为0；
步骤7：将参考矩阵F构成参考图像N，对参考图像N处理获得猪头特征或者猪尾特征，即区分出待测物猪的头部和尾部；如果猪头特征在图像的左侧，则保持参考图像N不变，否则将参考图像N进行180°旋转；
步骤8：对多幅已知待测物猪姿态类别的不同样本图像重复步骤3-步骤7进行处理得到由一系列不同参考图像N及对应的已知待测物猪姿态类别组成的姿态图集；
步骤9：将姿态图集输入到LeNet模型进行训练，得到训练后的LeNet模型，作为猪姿态检测模型；
S2、根据猪姿态检测模型进行猪站立和躺卧姿态检测的步骤如下：
步骤10：将待定图像输入到步骤2的待测物识别模型，得到分割图AS；
步骤11：按步骤4-步骤7相同方式对分割图AS进行处理，获得检测图像NS；
步骤13：将检测图像NS输入到猪姿态检测模型，输出获得待测物猪的站立和躺卧姿态类别的检测结果。
2.根据权利要求1所述的一种采用单幅图像检测猪站立和躺卧姿态的方法，其特征在于：所述步骤3中，初始分割图上属于待测物猪的像素点灰度值被赋值为1作为前景，不属于待测物猪的像素点的灰度值被赋值为0作为背景。
3.根据权利要求1所述的一种采用单幅图像检测猪站立和躺卧姿态的方法，其特征在于：所述的样本图像中已知待测物猪姿态类别分为站立姿态和躺卧姿态。
CN201910060130.7A 2019-01-22 2019-01-22 一种采用单幅图像检测猪站立和躺卧姿态的方法 Active CN109977755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910060130.7A CN109977755B (zh) 2019-01-22 2019-01-22 一种采用单幅图像检测猪站立和躺卧姿态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910060130.7A CN109977755B (zh) 2019-01-22 2019-01-22 一种采用单幅图像检测猪站立和躺卧姿态的方法

Publications (2)

Publication Number Publication Date
CN109977755A true CN109977755A (zh) 2019-07-05
CN109977755B CN109977755B (zh) 2020-12-11

Family

ID=67076645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910060130.7A Active CN109977755B (zh) 2019-01-22 2019-01-22 一种采用单幅图像检测猪站立和躺卧姿态的方法

Country Status (1)

Country Link
CN (1) CN109977755B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110447560A (zh) * 2019-07-23 2019-11-15 农业农村部南京农业机械化研究所 基于筑窝行为的母猪分娩智能检测方法以及系统
CN110598643A (zh) * 2019-09-16 2019-12-20 上海秒针网络科技有限公司 监控仔猪被压的方法及装置
WO2023235735A3 (en) * 2022-05-31 2024-02-22 The Curators Of The University Of Missouri Method and system for detecting sow estrus utilizing machine vision

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118972A (ja) * 2004-10-21 2006-05-11 Jfe Engineering Kk パイプラインの形状計測評価方法及びその装置
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118972A (ja) * 2004-10-21 2006-05-11 Jfe Engineering Kk パイプラインの形状計測評価方法及びその装置
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康飞龙: "基于机器学习的多目标猪只状态与个体行为识别研究", 《中国博士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110447560A (zh) * 2019-07-23 2019-11-15 农业农村部南京农业机械化研究所 基于筑窝行为的母猪分娩智能检测方法以及系统
CN110598643A (zh) * 2019-09-16 2019-12-20 上海秒针网络科技有限公司 监控仔猪被压的方法及装置
WO2023235735A3 (en) * 2022-05-31 2024-02-22 The Curators Of The University Of Missouri Method and system for detecting sow estrus utilizing machine vision

Also Published As

Publication number Publication date
CN109977755B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
Kongsro Estimation of pig weight using a Microsoft Kinect prototype imaging system
CN109977755A (zh) 一种采用单幅图像检测猪站立和躺卧姿态的方法
CN109766856B (zh) 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
Kashiha et al. Automatic monitoring of pig locomotion using image analysis
Salau et al. A multi-Kinect cow scanning system: Calculating linear traits from manually marked recordings of Holstein-Friesian dairy cows
CA2949768C (en) Non-invasive multimodal biometrical identification system of animals
CN107844797A (zh) 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN111507179A (zh) 一种生猪采食行为分析方法
Zhang et al. Estimating plant distance in maize using Unmanned Aerial Vehicle (UAV)
KR101769963B1 (ko) 소의 승가 행위 판독 시스템
CN113191222A (zh) 水下鱼类目标检测方法及装置
CN110490161A (zh) 一种基于深度学习的圈养动物行为分析方法
Lu et al. Extracting body surface dimensions from top-view images of pigs
CN112528823A (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CN111476119A (zh) 一种基于时空上下文的昆虫行为识别方法及装置
CN108573495B (zh) 基于轮廓信息多尺度分析的稻穗粒无损计数方法与系统
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN110070051A (zh) 基于计算机视觉技术的牛发情监测方法及系统
Jovanović et al. Splash detection in fish Plants surveillance videos using deep learning
CN113344001A (zh) 一种生物体估重方法、装置、设备及存储介质
CN110363703B (zh) 基于深度摄像头的货架监控方法
CN111914799A (zh) 基于视频智能分析和三维恢复的鸡啄癖动作检测方法
CN111783720A (zh) 基于枪球联动的牛反刍行为检测方法
CN108665471B (zh) 一种基于摄像头的人体背部曲线获取方法及系统
CN114241433B (zh) 一种青饲收获机跟随料车车斗识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant