CN110334642A - 一种猪行为的机器视觉识别方法及系统 - Google Patents

Abstract

本发明特别涉及一种猪行为的机器视觉识别方法及系统，采用猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类；其中视频图像处理与识别模块由信号接收模块、储存硬盘、显示器、帧提取、图像压缩、行为分析识别、视频和结果显示功能模块构成；该发明使用摄像机监测猪在猪床的行为信息，并通过视频图像处理与识别模块实时地对猪的行为图像进行分类，识别猪的行为，实现智能化的疾病防控、行为监测、异常监测，赋予猪床的视觉感知能力，提高猪床的智能化水平。

Description

一种猪行为的机器视觉识别方法及系统

技术领域

本发明属于畜禽养殖智能化工艺及设备、图像识别技术领域，特别涉及一种猪行为的机器视觉识别方法及系统。

背景技术

随着环保要求日趋严格和竞争的加剧，目前，我国的养猪业已从散养模式向规模化、集约化方向发展，传统的农户散养模式已不适合我国的经济发展、经济结构调整、可持续发展和社会分工的要求。

规模化养猪能够依靠规模效应和专业化技术，达到降低成本、提高企业竞争力、抵御风险的目标。同时，规模化养猪也带来了诸如对成本敏感、对养殖效率敏感、对疾病敏感等不利因素。迫切需要利用现代科技手段，加强养猪各个环节的管理，提高养猪的自动化水平，以达到降低成本、提高效率、及时发现猪的异常行为的目的。

近年来，人工智能、大数据、传感器技术等现代科技的发展，使得实时监控猪的行为信息，并识别猪的行为，从而及时、针对性地采取相应的措施，已成为可能。AI(人工智能)+养猪业，已成为养猪业未来的发展趋势。

猪床是猪的重要活动、休息场所，猪在一天的大部分时间在猪床上度过。如果能够从猪床监测和识别猪的行为，将对生猪养殖、智能养猪提供重要的决策依据。

目前，人们提出了一些智能化猪床技术。这些技术一般关注猪床的温度感知和控制。这虽然提高了养猪的福利化水平，但没有充分利用猪在猪床上的大量行为信息。

为此，本发明提出一种猪行为的机器视觉识别方法及系统，利用机器视觉采集猪在猪床的行为视频，将其传送给计算机，计算机利用预设的猪行为分类模型，对视频中猪的行为进行分类预测。

发明内容

本发明目的是提供一种猪行为的机器视觉识别方法及系统，通过采集猪在猪床本体内的行为视频，根据视频对猪的行为特征进行智能分析处理，识别预测猪的行为。

为解决上述技术问题本发明提供了一种猪行为的机器视觉识别系统，包括依次连接的：猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类。

所述的猪床本体模块由底板、顶板、侧板、床帘构成，底板左右侧以及后侧设置有侧板，侧板上端连接有顶板，顶板的前端设置有吊帘，猪可通过吊帘进出猪床本体。

所述的视频采集模块包括一个摄像机，摄像机采集猪床本体内猪的活动视频，并将视频信号传送给视频图像处理与分析模块。

所述的视频图像处理与识别模块由计算机硬件及软件系统构成，计算机硬件包括信号接收模块、储存硬盘、显示器，软件系统由帧提取、图像压缩、行为分析识别、视频和结果显示功能模块构成。

所述的行为分析识别模块包括分类模型模块、离线更新模块，分类模型由卷积神经网络构成，分类模型模块能够识别出压缩图像中猪的行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

所述的软件系统中的帧提取模块实时提取接收到的视频的每一帧图像；图像压缩模块将帧提取模块提取的图像压缩至分类模型所要求的输入图像的大小；行为分类识别模块通过分类模型接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新；视频和结果显示模块将接收的视频和分类模型预测的猪行为类别实时输送至显示器进行展示。

本发明还提供了一种猪行为的机器视觉识别方法，包括：

S1：在猪床本体内安装摄像头，安装位置以视野最好能够覆盖猪床全部区域为原则灵活选择，摄像头能够清晰的拍摄到猪的活动行为，通过摄像头完成对猪床内猪的活动视频信息的采集；

S2：对采集到的视频文件进行接收储存，并经过帧提取、图像压缩处理，再由行为分析识别模块对压缩过的图片进行行为分类识别并对分类模型进行离线训练更新，将分类识别结果输出至视频和结果显示模块；

S3：视频和结果显示模块将行为分析识别模块识别出的结果以及接收到的视频传送至显示器进行显示。

所述的步骤S2包括：

S21：信号接收模块将视频信号进行接收，并储存在储存硬盘中；

S22：帧提取模块提取保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像压缩至分类模型模块所要求的输入图像的大小；

S23：图像压缩模块将压缩后的图像传递给行为分析识别模块中预设的分类模型模块；

S24：行为分析识别模块通过分类模型模块接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别结果，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

本发明的一种猪行为的机器视觉识别方法及系统，采用猪床本体内设置的摄像头采集猪的活动视频，并将采集到的视频收集到储存硬盘中，帧提取模块提取实时视频或保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像进行压缩，行为分析识别模块将压缩图像进行识别预测，结果显示模块将预测结果和采集到的视频进行显示。该发明能够及时从猪床本体监测和识别猪的行为，对生猪养殖、智能养猪提供了重要的决策依据。且该发明设计有离线更新模块能够对分类模型进行随时更新完善，保证了行为分析识别模块能够及时将猪的各种异常行为进行识别预测。

附图说明

图1为本发明的一种猪行为的机器视觉识别系统组成示意图。

图2为本发明的一种猪行为的机器视觉识别系统结构示意图。

图3为本发明的一种猪行为的机器视觉识别方法中的视频采集模块和视频图像处理与识别模块之间工作流程示意图。

图4为本发明的一种猪行为的机器视觉识别方法中从视频提取的一帧图像。

图5为本发明的一种猪行为的机器视觉识别方法中将图4压缩后的图像。

图6为本发明的一种猪行为的机器视觉识别方法中系统预设的卷积神经网络模型结构示意图。

图7为本发明的一种猪行为的机器视觉识别方法中图5的R通道灰度图。

图8为本发明的一种猪行为的机器视觉识别方法中图5的G通道灰度图。

图9为本发明的一种猪行为的机器视觉识别方法中图5的B通道灰度图。

图10为本发明的一种猪行为的机器视觉识别方法中1帧图像（图4）的识别结果图。

具体实施方式

实施例1，如图1、图2所示，一种猪行为的机器视觉识别系统，包括依次连接的：猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类；其中猪床本体模块由底板、顶板、侧板、床帘构成，底板采用20mm厚密度板，左、右、后3个侧板采用12mm厚密度板，顶板采用12mm厚度中空塑料板，底板左右侧以及后侧设置有侧板，侧板上端连接有顶板，顶板的前端设置有吊帘，吊帘优选为PVC条形吊帘，猪床本体的长、宽、高尺寸可根据实际需要定制，猪可通过吊帘进出猪床本体；视频采集模块包括一个摄像机，摄像机优选为红外摄像机，在猪床本体的顶板中心位置固定1个摄像机，摄像机24小时连续拍摄猪床本体内猪的行为活动视频，摄像机与计算机连接并将视频信号实时传送给视频图像处理与识别模块；视频图像处理与识别模块由计算机硬件及软件系统构成，计算机硬件包括信号接收模块、储存硬盘、显示器，软件部分使用Python、OpenCV、Scikit-Image、Tensorflow等语言和API开发，由帧提取、图像压缩、行为分析识别、视频和结果显示功能模块构成；信号接收模块接收视频采集模块传送的视频，并将视频以mp4格式保存在储存硬盘中，显示器用来播放接受的视频以及预测结果；帧提取模块实时提取接收到的视频的每一帧图像；图像压缩模块将帧提取模块提取的图像压缩至分类模型所要求的输入图像的大小；行为分析识别模块包括分类模型模块、离线更新模块，分类模型由卷积神经网络构成，分类模型模块能够识别出压缩图像中猪的行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新；行为分析识别模块通过分类模型接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别；视频和结果显示模块将接收的视频和分类模型预测的猪行为类别实时输送至显示器进行展示。

实施例2，如图3—10所示一种猪行为的机器视觉识别方法，包括：

S1：在猪床本体内安装摄像头，摄像头安装在后侧板的上部位置，摄像头能够清晰的拍摄到猪的活动行为，通过摄像头完成对猪的信息采集，摄像机24小时连续拍摄猪床本体内猪的行为活动视频，摄像机与计算机连接并将视频信号实时传递给计算机硬件，视频的采样率为29.3帧/秒，图像的分辨率为宽×高=544×966像素，图像为彩色，如图4所示；

S2：对采集到的视频文件进行接收储存，并经过帧提取、图像压缩处理，再由行为分析识别模块对压缩过的图片进行行为分类识别并对分类模型进行离线训练更新，将分类识别结果输出至视频和结果显示模块，具体过程包括：

S21：信号接收模块将视频信号进行接收，并储存在储存硬盘中；

S22：帧提取模块提取实时视频或保存在储存硬盘的视频的帧，提取的帧为彩色图像或灰度图像，灰度图像的处理只有一个灰色颜色通道，彩色图像的处理有3个颜色通道：红（R），绿（G）,蓝（B），不同颜色的通道从不同的维度反应图像的特征，使图像信息更加丰富；图像压缩模块将帧提取模块提取的图像压缩至分类模型模块所要求的输入图像的大小，压缩后的图像为jpg格式，分辨率为宽×高=57×100像素，如图5所示；

S23：图像压缩模块将压缩后的图像传递给行为分析识别模块中预设的分类模型模块，分类模型由卷积神经网络构成，卷积神经网络如图6所示，输入层接收宽×高=57×100像素的3通道图像，3个通道分别为R（红），G（绿），B（蓝），具有2个卷积层(Conv1，Conv2，各6个卷积核)、2个池化层(pool1，pool2，各6个神经元)和全连接层。卷积层Conv1的滤波器窗口大小为3*3，步长为1，将输入图像卷积为6幅宽×高=57×100像素的图像结果，池化层pool1的滤波器窗口大小为2*2，步长为2，将卷积层Conv1输出的6幅图像池化为6幅宽×高=29×50像素的图像结果，卷积层Conv2的滤波器窗口大小为3*3，步长为1，将池化层pool1的输出卷积为6幅宽×高=29×50像素的图像结果，池化层pool2的滤波器窗口大小为2*2，步长为2，将卷积层Conv2输出的6幅图像池化为6幅宽×高=15×25像素的图像结果，将池化层pool2的输出展平为15*25*6=2250个像素，并归一化，送入全连接层的输入层，全连接层有1个输入层（In， 2250个神经元）、3个隐层（H1，H2，H3，各30个神经元）、1个输出层（Output， 3个神经元），全部神经元使用Relu激励函数，全连接层的输入层接收池化层pool2输出的2250个归一化的像素值，经过3个隐层的计算，由输出层输出计算结果，即图像的猪行为类别；

S24：行为分析识别模块通过分类模型模块接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别结果，该行为分析识别模块能识别3种行为：Normal(正常)、Fighting(打架)、Moving（走动）；离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新；

S3：视频和结果显示模块将行为分析识别模块识别出的结果以及接收到的视频传送至显示器进行显示。

本发明的一种猪行为的机器视觉识别方法及系统，采用猪床本体内设置的摄像头采集猪的活动视频，并将采集到的视频收集到储存硬盘中，帧提取模块提取实时视频或保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像进行压缩，行为分析识别模块将压缩图像进行识别预测，结果显示模块将预测结果和采集到的视频进行显示。设计离线更新模块能够对分类模型进行随时更新完善，保证了行为分析识别模块能够及时将猪的各种异常行为进行识别预测，该发明能够充分利用猪大部分时间在猪床上的大量行为信息，使用摄像机监测猪在猪床的行为信息，并通过视频图像处理与识别模块实时地对猪的行为图像进行分类，识别猪的行为，实现智能化的疾病防控、行为监测、异常监测，赋予猪床的视觉感知能力，提高猪床的智能化水平。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种猪行为的机器视觉识别系统，其特征在于，包括依次连接的：

猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；

视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；

视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类。

2.根据权利要求1所述的一种猪行为的机器视觉识别系统，其特征在于：所述的猪床本体模块由底板、顶板、侧板、床帘构成，底板左右侧以及后侧设置有侧板，侧板上端连接有顶板，顶板的前端设置有吊帘，猪可通过吊帘进出猪床本体。

3.根据权利要求1所述的一种猪行为的机器视觉识别系统，其特征在于：所述的视频采集模块包括一个摄像机，摄像机采集猪床本体内猪的活动视频，并将视频信号传送给视频图像处理与识别模块。

4.根据权利要求1所述的一种猪行为的机器视觉识别系统，其特征在于：所述的视频图像处理与识别模块由计算机硬件及软件系统构成，计算机硬件包括信号接收模块、储存硬盘、显示器，软件系统由帧提取、图像压缩、行为分析识别、视频和结果显示功能模块构成。

5.根据权利要求4所述的一种猪行为的机器视觉识别系统，其特征在于：所述的行为分析识别模块包括分类模型模块、离线更新模块，分类模型由卷积神经网络构成，分类模型模块能够识别出压缩图像中猪的行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

6.根据权利要求4所述的一种猪行为的机器视觉识别系统，其特征在于：所述的信号接收模块接收视频采集模块传送的视频，并将视频保存在储存硬盘中，显示器用来播放接受的视频以及预测结果；所述的软件系统中的帧提取模块实时提取接收到的视频的每一帧图像；图像压缩模块将帧提取模块提取的图像压缩至分类模型所要求的输入图像的大小；行为分析识别模块通过分类模型接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新；视频和结果显示模块将接收的视频和分类模型预测的猪行为类别实时输送至显示器进行展示。

7.一种猪行为的机器视觉识别方法，其特征在于，包括：

S1：在猪床本体内安装摄像头，安装位置以视野最好能够覆盖猪床全部区域为原则灵活选择，摄像头能够清晰的拍摄到猪的活动行为，通过摄像头完成对猪床内猪的活动视频信息的采集；

S2：对采集到的视频文件进行接收储存，并经过帧提取、图像压缩处理，再由行为分析识别模块对压缩过的图片进行行为分类识别并对分类模型进行离线训练更新，将分类识别结果输出至视频和结果显示模块；

S3：视频和结果显示模块将行为分析识别模块识别出的结果以及接收到的视频传送至显示器进行显示。

8.如权利要求7所述的一种猪行为的机器视觉识别方法，其特征在于：所述的步骤S2包括：

S21：信号接收模块将视频信号进行接收，并储存在储存硬盘中；

S22：帧提取模块提取保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像压缩至分类模型模块所要求的输入图像的大小；

S23：图像压缩模块将压缩后的图像传递给行为分析识别模块中预设的分类模型模块；

S24：行为分析识别模块通过分类模型模块接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别结果，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。