CN112861664A - 一种基于深度学习的家禽姿态检测方法和系统 - Google Patents

一种基于深度学习的家禽姿态检测方法和系统 Download PDF

Info

Publication number
CN112861664A
CN112861664A CN202110095821.8A CN202110095821A CN112861664A CN 112861664 A CN112861664 A CN 112861664A CN 202110095821 A CN202110095821 A CN 202110095821A CN 112861664 A CN112861664 A CN 112861664A
Authority
CN
China
Prior art keywords
poultry
detection
posture
key points
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110095821.8A
Other languages
English (en)
Other versions
CN112861664B (zh
Inventor
张铁民
方成
郑海坤
杨继康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202110095821.8A priority Critical patent/CN112861664B/zh
Publication of CN112861664A publication Critical patent/CN112861664A/zh
Application granted granted Critical
Publication of CN112861664B publication Critical patent/CN112861664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的家禽姿态检测方法和系统，该方法包括：S1，获取畜禽养殖场中的家禽图片；S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注；S3，将家禽图片输入已训练的SSD检测网络进行检测，输出家禽待检测部位的检测框的边界框；S4，根据检测框的边界框计算对应部位的关键点；S5，将所有关键点通过连接算法构建出家禽的姿态骨架；S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。本发明能对散养鸡只进行自动姿态估计，从而对散养鸡姿态进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。

Description

一种基于深度学习的家禽姿态检测方法和系统
技术领域
本发明畜禽智能化养殖技术领域，具体涉及一种基于深度学习的家禽姿态检测方法和系统。
背景技术
家禽行为是家禽疫病诊断的重要依据，准确的姿态估计是家禽行为分析的基础，它可以为家禽提供更好的疫病预警方法。在规模化家禽养殖场中，通过姿态估计可以实时监控家禽的状态变化，当家禽姿态异常时可以及时发现并处理。因此，行业内急需研发一种自动化的家禽姿态监测方法或者系统，以实时监控家禽的状态变化。
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了一种能对散养鸡只进行自动姿态估计的基于深度学习的家禽姿态检测方法和系统。
本发明的目的通过以下的技术方案实现：
一种基于深度学习的家禽姿态检测方法，包括：
S1，获取畜禽养殖场中的家禽图片；
S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；
S3，将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框；
S4，根据检测框的边界框计算对应部位的关键点；
S5，将所有关键点通过连接算法构建出家禽的姿态骨架；
S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。
优选地，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。
优选地，标注的内容包括标签的名字，检测框左上角的xy值，检测框的颜色，检测框的宽和高。
优选地，步骤S4中计算对应部位的关键点Bi(Xi,Yi),i∈[1,8]的公式如下：
Figure BDA0002913899450000021
其中，Bα(xα,yα,xα+wα,hα)为检测框的边界框，(xα,yα)为边界框左上角的坐标点，(xα+wα,yα+hα)为边界框右下角的坐标点，wα和hα分别为边界框的宽和高。
优选地，步骤S5中的所有关键点形成关键点对，关键点对如下：
(X1,X4)，(X2,X4)，(X3,X4)，(X5,X1)，(X6,X1)，(X7,X1)，(X8,X1)
其中X1至X8分别为整鸡关键点、鸡喙关键点、鸡冠关键点、左眼关键点、右眼关键点、尾巴关键点、左脚关键点和右脚关键点。
优选地，家禽姿态的种类包括站立姿态、行走姿态、奔跑姿态、啄食姿态、俯卧姿态、梳理羽毛姿态和异常姿态。
优选地，步骤S6包括：根据姿态骨架的8个关键点和所有关键点形成的7对关键点对构建成一个1×24维的列向量送入贝叶斯分类网络进行分类。
优选地，步骤S6后还包括：SSD检测网络输出家禽待检测部位的检测框的边界框后，对检测结果进行分析后，将家禽图片补充为训练集；将训练集输入SSD检测网络进行训练。
一种基于深度学习的家禽姿态检测系统，包括：家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；家禽姿态检测模块，用于将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；关键点连接模块，用于将所有关键点通过连接算法构建出家禽的姿态骨架；姿态分类模块，用于利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。
优选地，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。
本发明相对于现有技术具有如下优点：
本发明通过将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；将所有关键点通过连接算法构建出家禽的姿态骨架；利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态，相比于传统人工监控方法费时费力的情况，本发明能解决散养鸡只自动姿态估计的问题，从而对散养鸡姿态(行为)进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一种基于深度学习的家禽姿态检测方法的方法流程图。
图2为本发明一种基于深度学习的家禽姿态检测方法的具体实施图。
图3为本发明的基于深度学习的家禽姿态检测方法的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参见图1-2，一种基于深度学习的家禽姿态检测方法，其特征在于，包括：
S1，获取畜禽养殖场中的家禽图片；
其中，需要预先构建定义鸡只关键点部位(待检测部位)并构建鸡只检测算法(SSD检测网络)和姿态估计关键点连接算法
S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；在本实施例，家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。通过标注软件Labelme对家禽图片中的待检测部位进行检测框标注，生成的格式为.json格式，标注的内容包括标签的名字，检测框左上角的xy值，检测框的颜色，检测框的宽和高。
S3，将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框；SSD检测网络的训练轮次为1000，训练的批大小为16，采用学习率衰减策略。具体地，SSD检测网络输出家禽待检测部位的检测框的左上角点的xy值，检测框的宽和检测框的高。
S4，根据检测框的边界框计算对应部位的关键点；具体为，通过检测框的几个参数(左上角点的xy值，检测框的宽和检测框的高)算出检测框的中心点。步骤S4中计算对应部位的关键点Bi(Xi,Yi),i∈[1,8]的公式如下：
Figure BDA0002913899450000051
其中，Bα(xα,yα,xα+wα,hα)为检测框的边界框，(xα,yα)为边界框左上角的坐标点，(xα+wα,yα+hα)为边界框右下角的坐标点，wα和hα分别为边界框的宽和高。
S5，将所有关键点通过连接算法构建出家禽的姿态骨架；步骤S5中的所有关键点形成关键点对，关键点对如下：
(X1,X4)，(X2,X4)，(X3,X4)，(X5,X1)，(X6,X1)，(X7,X1)，(X8,X1)
其中X1至X8分别为整鸡关键点、鸡喙关键点、鸡冠关键点、左眼关键点、右眼关键点、尾巴关键点、左脚关键点和右脚关键点。
S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。家禽姿态的种类包括站立姿态、行走姿态、奔跑姿态、啄食姿态、俯卧姿态、梳理羽毛姿态和异常姿态。步骤S6包括：根据姿态骨架的8个关键点和所有关键点形成的7对关键点对构建成一个1×24维的列向量送入贝叶斯分类网络进行分类。8个关键点有16个值x1,y1,x2,y2,x3,y3,x4,y4,x5,y5,x6,y6,x7,y7,x8,y8这些点的值是分类的特征，7对关键点连线的长度一共7个值a,b,c,d,e,f,g也是用于分类的特征值，这23个值用于表示行为类别，比如奔跑为0，啄食为1，俯卧为2,1×24维的列向量的具体形式为[x1,y1,x2,y2,x3,y3,x4,y4,x5,y5,x6,y6,x7,y7,x8,y8,a,b,c,d,e,f,g,B],这里x和y分别是8个关键点的xy坐标值，a,b,c,d,e,f,g分别是关键点对的长度值，B是行为类别对应的值。
鸡只预处理是深度学习的前置工作，SSD检测网络是深度神经网络，也就是深度学习。关键点连接和姿态(行为)分类是深度神经网络处理后结果的进一步处理。
在本实施例，步骤S6后还包括：SSD检测网络输出家禽待检测部位的检测框的边界框后，对检测结果(训练结果准确率是否足够高)进行分析后，将家禽图片补充为训练集；将训练集输入SSD检测网络进行训练。
参见图1-3，本发明还提供上述一种基于深度学习的家禽姿态检测方法适用的基于深度学习的家禽姿态检测系统，包括：家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；家禽姿态检测模块，用于将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；关键点连接模块，用于将所有关键点通过连接算法构建出家禽的姿态骨架；姿态分类模块，用于利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。
在本实施例，家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。
综上，本发明的一种基于深度学习的家禽姿态检测方法相比于传统人工监控方法费时费力的情况，本发明能对散养鸡只进行自动姿态估计，从而对散养鸡姿态(行为)进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的家禽姿态检测方法，其特征在于，包括：
S1，获取畜禽养殖场中的家禽图片；
S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；
S3，将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框；
S4，根据检测框的边界框计算对应部位的关键点；
S5，将所有关键点通过连接算法构建出家禽的姿态骨架；
S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。
2.根据权利要求1所述的基于深度学习的家禽姿态检测方法，其特征在于，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；
待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。
3.根据权利要求2所述的基于深度学习的家禽姿态检测方法，其特征在于，标注的内容包括标签的名字，检测框左上角的xy值，检测框的颜色，检测框的宽和高。
4.根据权利要求3所述的基于深度学习的家禽姿态检测方法，其特征在于，步骤S4中计算对应部位的关键点Bi(Xi,Yi),i∈[1,8]的公式如下：
Figure FDA0002913899440000011
其中，Bα(xα,yα,xα+wα,hα)为检测框的边界框，(xα,yα)为边界框左上角的坐标点，(xα+wα,yα+hα)为边界框右下角的坐标点，wα和hα分别为边界框的宽和高。
5.根据权利要求4所述的基于深度学习的家禽姿态检测方法，其特征在于，步骤S5中的所有关键点形成关键点对，关键点对如下：
(X1,X4)，(X2,X4)，(X3,X4)，(X5,X1)，(X6,X1)，(X7,X1)，(X8,X1)；
其中X1至X8分别为整鸡关键点、鸡喙关键点、鸡冠关键点、左眼关键点、右眼关键点、尾巴关键点、左脚关键点和右脚关键点。
6.根据权利要求5所述的基于深度学习的家禽姿态检测方法，其特征在于，家禽姿态的种类包括站立姿态、行走姿态、奔跑姿态、啄食姿态、俯卧姿态、梳理羽毛姿态和异常姿态。
7.根据权利要求6所述的基于深度学习的家禽姿态检测方法，其特征在于，步骤S6包括：根据姿态骨架的8个关键点和所有关键点形成的7对关键点对构建成一个1×24维的列向量送入贝叶斯分类网络进行分类。
8.根据权利要求1所述的基于深度学习的家禽姿态检测方法，其特征在于，步骤S6后还包括：SSD检测网络输出家禽待检测部位的检测框的边界框后，对检测结果进行分析后，将家禽图片补充为训练集；
将训练集输入SSD检测网络进行训练。
9.一种基于深度学习的家禽姿态检测系统，其特征在于，包括：
家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；
家禽姿态检测模块，用于将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；
关键点连接模块，用于将所有关键点通过连接算法构建出家禽的姿态骨架；
姿态分类模块，用于利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。
10.根据权利要求9所述的基于深度学习的家禽姿态检测系统，其特征在于，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；
待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。
CN202110095821.8A 2021-01-25 2021-01-25 一种基于深度学习的家禽姿态检测方法和系统 Active CN112861664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110095821.8A CN112861664B (zh) 2021-01-25 2021-01-25 一种基于深度学习的家禽姿态检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095821.8A CN112861664B (zh) 2021-01-25 2021-01-25 一种基于深度学习的家禽姿态检测方法和系统

Publications (2)

Publication Number Publication Date
CN112861664A true CN112861664A (zh) 2021-05-28
CN112861664B CN112861664B (zh) 2023-10-17

Family

ID=76008416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095821.8A Active CN112861664B (zh) 2021-01-25 2021-01-25 一种基于深度学习的家禽姿态检测方法和系统

Country Status (1)

Country Link
CN (1) CN112861664B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711951A (zh) * 2021-09-30 2021-11-30 江西省农业技术推广中心 一种规模化鸽舍环保节水型自动饮水系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276336A (zh) * 2019-07-22 2019-09-24 河北农业大学 一种本交笼种鸡个体行为识别系统及其识别方法
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276336A (zh) * 2019-07-22 2019-09-24 河北农业大学 一种本交笼种鸡个体行为识别系统及其识别方法
CN111862126A (zh) * 2020-07-09 2020-10-30 北京航空航天大学 深度学习与几何算法结合的非合作目标相对位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
易诗;沈练;周思尧;朱竞铭;袁学松;: "基于增强型Tiny-YOLOV3模型的野鸡识别方法", 农业工程学报, no. 13, pages 149 - 155 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711951A (zh) * 2021-09-30 2021-11-30 江西省农业技术推广中心 一种规模化鸽舍环保节水型自动饮水系统

Also Published As

Publication number Publication date
CN112861664B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US10748035B2 (en) Visually aided active learning for training object detector
JP6517666B2 (ja) 物品管理装置、その方法、及びそのプログラム
CN107403128B (zh) 一种物品识别方法及装置
CN112906769A (zh) 一种基于CycleGAN的输变电设备图像缺陷样本增广方法
CN115965915B (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
CN112767435A (zh) 一种圈养的目标动物检测和跟踪方法与装置
CN112861664A (zh) 一种基于深度学习的家禽姿态检测方法和系统
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN109191461A (zh) 一种基于机器视觉技术的土鸡蛋识别方法及识别装置
CN108288273B (zh) 基于多尺度耦合卷积网的铁路接触网异常目标自动检测法
CN117745187B (zh) 基于agv的药物自动配送系统及其方法
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN113160220A (zh) 一种基于深度学习的检测门把手归位和弯曲的方法
CN116385466B (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
CN110532854B (zh) 一种生猪爬跨行为检测方法及系统
CN113822836A (zh) 标记图像的方法
TWI823463B (zh) 標籤完整度自適應檢測方法及系統
CN112861663B (zh) 一种基于语义分割的家禽姿态监测方法和系统
Zhang et al. An approach for goose egg recognition for robot picking based on deep learning
CN112215107A (zh) 一种猪的行为识别方法及装置、电子设备和存储介质
Pistocchi et al. Kernelized Structural Classification for 3D dogs body parts detection
CN117282687B (zh) 印刷品视觉检测自动剔补标控制系统
KR102594017B1 (ko) 가축 관리 시스템 및 이의 동작 방법
CN118334596A (zh) 一种物体状态检测模型构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant