CN112861664B - 一种基于深度学习的家禽姿态检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的家禽姿态检测方法和系统，该方法包括：S1，获取畜禽养殖场中的家禽图片；S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注；S3，将家禽图片输入已训练的SSD检测网络进行检测，输出家禽待检测部位的检测框的边界框；S4，根据检测框的边界框计算对应部位的关键点；S5，将所有关键点通过连接算法构建出家禽的姿态骨架；S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。本发明能对散养鸡只进行自动姿态估计，从而对散养鸡姿态进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。

Description

一种基于深度学习的家禽姿态检测方法和系统

技术领域

本发明畜禽智能化养殖技术领域，具体涉及一种基于深度学习的家禽姿态检测方法和系统。

背景技术

家禽行为是家禽疫病诊断的重要依据，准确的姿态估计是家禽行为分析的基础，它可以为家禽提供更好的疫病预警方法。在规模化家禽养殖场中，通过姿态估计可以实时监控家禽的状态变化，当家禽姿态异常时可以及时发现并处理。因此，行业内急需研发一种自动化的家禽姿态监测方法或者系统，以实时监控家禽的状态变化。

发明内容

本发明的目的是为了克服以上现有技术存在的不足，提供了一种能对散养鸡只进行自动姿态估计的基于深度学习的家禽姿态检测方法和系统。

本发明的目的通过以下的技术方案实现：

一种基于深度学习的家禽姿态检测方法，包括：

S1，获取畜禽养殖场中的家禽图片；

S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；

S3，将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框；

S4，根据检测框的边界框计算对应部位的关键点；

S5，将所有关键点通过连接算法构建出家禽的姿态骨架；

S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。

优选地，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。

优选地，标注的内容包括标签的名字，检测框左上角的xy值，检测框的颜色，检测框的宽和高。

优选地，步骤S4中计算对应部位的关键点B_i(X_i,Y_i),i∈[1,8]的公式如下：

其中，B_α(x_α,y_α,x_α+w_α,h_α)为检测框的边界框，(x_α,y_α)为边界框左上角的坐标点，(x_α+w_α,y_α+h_α)为边界框右下角的坐标点，w_α和h_α分别为边界框的宽和高。

优选地，步骤S5中的所有关键点形成关键点对，关键点对如下：

(X₁,X₄)，(X₂,X₄)，(X₃,X₄)，(X₅,X₁)，(X₆,X₁)，(X₇,X₁)，(X₈,X₁)

其中X₁至X₈分别为整鸡关键点、鸡喙关键点、鸡冠关键点、左眼关键点、右眼关键点、尾巴关键点、左脚关键点和右脚关键点。

优选地，家禽姿态的种类包括站立姿态、行走姿态、奔跑姿态、啄食姿态、俯卧姿态、梳理羽毛姿态和异常姿态。

优选地，步骤S6包括：根据姿态骨架的8个关键点和所有关键点形成的7对关键点对构建成一个1×24维的列向量送入贝叶斯分类网络进行分类。

优选地，步骤S6后还包括：SSD检测网络输出家禽待检测部位的检测框的边界框后，对检测结果进行分析后，将家禽图片补充为训练集；将训练集输入SSD检测网络进行训练。

一种基于深度学习的家禽姿态检测系统，包括：家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；家禽姿态检测模块，用于将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；关键点连接模块，用于将所有关键点通过连接算法构建出家禽的姿态骨架；姿态分类模块，用于利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。

优选地，若家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。

本发明相对于现有技术具有如下优点：

本发明通过将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；将所有关键点通过连接算法构建出家禽的姿态骨架；利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态，相比于传统人工监控方法费时费力的情况，本发明能解决散养鸡只自动姿态估计的问题，从而对散养鸡姿态(行为)进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于深度学习的家禽姿态检测方法的方法流程图。

图2为本发明一种基于深度学习的家禽姿态检测方法的具体实施图。

图3为本发明的基于深度学习的家禽姿态检测方法的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参见图1-2，一种基于深度学习的家禽姿态检测方法，其特征在于，包括：

S1，获取畜禽养殖场中的家禽图片；

其中，需要预先构建定义鸡只关键点部位(待检测部位)并构建鸡只检测算法(SSD检测网络)和姿态估计关键点连接算法

S2，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；在本实施例，家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。通过标注软件Labelme对家禽图片中的待检测部位进行检测框标注，生成的格式为.json格式，标注的内容包括标签的名字，检测框左上角的xy值，检测框的颜色，检测框的宽和高。

S3，将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框；SSD检测网络的训练轮次为1000，训练的批大小为16，采用学习率衰减策略。具体地，SSD检测网络输出家禽待检测部位的检测框的左上角点的xy值，检测框的宽和检测框的高。

S4，根据检测框的边界框计算对应部位的关键点；具体为，通过检测框的几个参数(左上角点的xy值，检测框的宽和检测框的高)算出检测框的中心点。步骤S4中计算对应部位的关键点B_i(X_i,Y_i),i∈[1,8]的公式如下：

其中，B_α(x_α,y_α,x_α+w_α,h_α)为检测框的边界框，(x_α,y_α)为边界框左上角的坐标点，(x_α+w_α,y_α+h_α)为边界框右下角的坐标点，w_α和h_α分别为边界框的宽和高。

S5，将所有关键点通过连接算法构建出家禽的姿态骨架；步骤S5中的所有关键点形成关键点对，关键点对如下：

(X₁,X₄)，(X₂,X₄)，(X₃,X₄)，(X₅,X₁)，(X₆,X₁)，(X₇,X₁)，(X₈,X₁)

其中X₁至X₈分别为整鸡关键点、鸡喙关键点、鸡冠关键点、左眼关键点、右眼关键点、尾巴关键点、左脚关键点和右脚关键点。

S6，利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。家禽姿态的种类包括站立姿态、行走姿态、奔跑姿态、啄食姿态、俯卧姿态、梳理羽毛姿态和异常姿态。步骤S6包括：根据姿态骨架的8个关键点和所有关键点形成的7对关键点对构建成一个1×24维的列向量送入贝叶斯分类网络进行分类。8个关键点有16个值x1,y1,x2,y2,x3,y3,x4,y4,x5,y5,x6,y6,x7,y7,x8,y8这些点的值是分类的特征，7对关键点连线的长度一共7个值a,b,c,d,e,f,g也是用于分类的特征值，这23个值用于表示行为类别，比如奔跑为0，啄食为1，俯卧为2,1×24维的列向量的具体形式为[x1,y1,x2,y2,x3,y3,x4,y4,x5,y5,x6,y6,x7,y7,x8,y8,a,b,c,d,e,f,g,B],这里x和y分别是8个关键点的xy坐标值，a,b,c,d,e,f,g分别是关键点对的长度值，B是行为类别对应的值。

鸡只预处理是深度学习的前置工作，SSD检测网络是深度神经网络，也就是深度学习。关键点连接和姿态(行为)分类是深度神经网络处理后结果的进一步处理。

在本实施例，步骤S6后还包括：SSD检测网络输出家禽待检测部位的检测框的边界框后，对检测结果(训练结果准确率是否足够高)进行分析后，将家禽图片补充为训练集；将训练集输入SSD检测网络进行训练。

参见图1-3，本发明还提供上述一种基于深度学习的家禽姿态检测方法适用的基于深度学习的家禽姿态检测系统，包括：家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的待检测部位进行检测框标注，并将标注后的家禽图片作为数据集；家禽姿态检测模块，用于将家禽图片输入已训练的SSD检测网络进行检测，SSD检测网络输出家禽待检测部位的检测框的边界框，根据检测框的边界框计算对应部位的关键点；关键点连接模块，用于将所有关键点通过连接算法构建出家禽的姿态骨架；姿态分类模块，用于利用贝叶斯分类网络对构建出的家禽姿态骨架进行分类，识别出家禽的姿态。

在本实施例，家禽为鸡，对家禽图片进行预处理包括：将获取的家禽图片分辨率裁剪到512*512的统一规格；待检测部位包括整鸡、鸡眼、鸡冠、鸡喙、鸡脚以及尾巴。

综上，本发明的一种基于深度学习的家禽姿态检测方法相比于传统人工监控方法费时费力的情况，本发明能对散养鸡只进行自动姿态估计，从而对散养鸡姿态(行为)进行自动化监测，并进一步通过分类鸡只姿态实现异常姿态及时预警的目的。

上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于语义分割的家禽姿态监测方法，其特征在于，包括：

S1，获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的背景和不同部位使用不同颜色进行标注，将标注后的家禽图片分为训练集和测试集；

S2，将训练集输入语义分割网络进行训练，训练完成后；将测试集输入语义分割网络，语义分割网络输出不同颜色的区域点群；区域点群包括背景区域点群；语义分割网络输出不同颜色的区域点群有7类，分别为鸡眼区域点群、鸡冠区域点群、鸡喙区域点群、鸡脚区域点群、尾巴区域点群、剩余部位区域点群和背景区域点群；

S3，分别计算出除背景区域点群以外的区域点群对应的关键点，将所有关键点通过连接算法构建出家禽的姿态骨架；

计算出除背景区域点群以外的区域点群对应的关键点包括：

S31：随机选择区域点群中的一点A；

S32：遍历区域点群所有的像素点，找出两点间距离最大的点B；

S33：点A和点B的连线中点设为圆心O，再次遍历区域点群所有像素点，找出是否有到圆心O的距离大于半径OB的点；如果有，执行步骤S34，反之执行步骤S36；

S34：将到圆心O的距离最大的像素点作为点C；

S35：以坐标点C替换点A，重复步骤S32；

S36：确定O为关键点；

步骤S3包括：

计算出除背景区域点群以外的区域点群对应的6个关键点，6个关键点分别为鸡眼（O1），鸡喙（O2），鸡冠（O3），鸡脚（O4），尾巴（O5）和剩余部位（O6）；

将所有关键点连接构成关键点对，建出家禽的姿态骨架，其中关键点对如下：

(O6,O1)、(O6,O3)、(O6,O4)、(O6,O5)、(O1,O2)、(O1,O3)；关键点连接采用Opencv的DrawLine()函数完成。

2.根据权利要求1所述的基于语义分割的家禽姿态监测方法，其特征在于，家禽为鸡，步骤S1包括：

将获取的家禽图片分辨率裁剪到512*512的统一规格；

对家禽图片中的不同部位使用不同颜色进行标注，不同部位包括鸡眼部位、鸡冠部位、鸡喙部位、鸡脚部位、尾巴部位以及剩余部位。

3.根据权利要求1所述的基于语义分割的家禽姿态监测方法，其特征在于，对于FCN语义分割网络，训练的轮次为100，训练的批大小为4，初始学习率为1×10^-4，decay为5×10^-4，采用Adam优化器。

4.一种基于语义分割的家禽姿态监测系统，其特征在于，包括：

家禽图片预处理模块，用于获取畜禽养殖场中的家禽图片，对家禽图片进行预处理，对预处理后的家禽图片中的背景和不同部位使用不同颜色进行标注，将标注后的家禽图片分为训练集和测试集；

网络训练模块，用于将训练集输入语义分割网络进行训练，训练完成后；将测试集输入语义分割网络，语义分割网络输出不同颜色的区域点群；区域点群包括背景区域点群；语义分割网络输出不同颜色的区域点群有7类，分别为鸡眼区域点群、鸡冠区域点群、鸡喙区域点群、鸡脚区域点群、尾巴区域点群、剩余部位区域点群和背景区域点群；

姿态骨架构建模块，用于分别计算出除背景区域点群以外的区域点群对应的关键点，将所有关键点通过连接算法构建出家禽的姿态骨架；

计算出除背景区域点群以外的区域点群对应的关键点包括：

S31：随机选择区域点群中的一点A；

S32：遍历区域点群所有的像素点，找出两点间距离最大的点B；

S33：点A和点B的连线中点设为圆心O，再次遍历区域点群所有像素点，找出是否有到圆心O的距离大于半径OB的点；如果有，执行步骤S34，反之执行步骤S36；

S34：将到圆心O的距离最大的像素点作为点C；

S35：以坐标点C替换点A，重复步骤S32；

S36：确定O为关键点；

步骤S3包括：

计算出除背景区域点群以外的区域点群对应的6个关键点，6个关键点分别为鸡眼（O1），鸡喙（O2），鸡冠（O3），鸡脚（O4），尾巴（O5）和剩余部位（O6）；

将所有关键点连接构成关键点对，建出家禽的姿态骨架，其中关键点对如下：

(O6,O1)、(O6,O3)、(O6,O4)、(O6,O5)、(O1,O2)、(O1,O3)；关键点连接采用Opencv的DrawLine()函数完成。