CN110490161A - 一种基于深度学习的圈养动物行为分析方法 - Google Patents

一种基于深度学习的圈养动物行为分析方法 Download PDF

Info

Publication number
CN110490161A
CN110490161A CN201910786366.9A CN201910786366A CN110490161A CN 110490161 A CN110490161 A CN 110490161A CN 201910786366 A CN201910786366 A CN 201910786366A CN 110490161 A CN110490161 A CN 110490161A
Authority
CN
China
Prior art keywords
bounding box
frame image
behavior
animal
drinking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910786366.9A
Other languages
English (en)
Other versions
CN110490161B (zh
Inventor
饶元
姜敏
张敬尧
沈一鸣
江朝晖
朱军
李绍稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN201910786366.9A priority Critical patent/CN110490161B/zh
Publication of CN110490161A publication Critical patent/CN110490161A/zh
Application granted granted Critical
Publication of CN110490161B publication Critical patent/CN110490161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了一种基于深度学习的圈养动物行为分析方法，属于动物行为检测领域。它包括基于深度学习的动物个体检测方法、基于有效帧图像中动物个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比以及相邻有效帧图像中同一动物个体边界框质心位置变化量与临界值的关系，判别圈养动物的进食、饮水、行走和休息行为。最后，对无效帧图像造成的缺失行为进行填补。本发明通过分析安装在圈养区域侧上方的摄像头采集的视频，实现圈养动物的行为分析；克服了传统方法依赖于动物头部检测、深度相机以及其他辅助方法识别动物行为的不足，具有部署应用方便、行为识别准确率高的特点。

Description

一种基于深度学习的圈养动物行为分析方法
技术领域
本发明属于动物行为检测领域，具体地说，涉及一种基于深度学习的圈养动物行为分析方法。
背景技术
研究动物个体和群体在高养殖密度的现代化农场中的行为习性，可为提高肉食质量、评价动物福利提供重要的参考依据。其中，进食、饮水、行走和休息行为作为动物的基本行为，也是重要的参考指标。正常情况下，动物在一天中的基本行为呈稳定持续的模式，当疾病出现、圈养环境或喂养质量发生变化时，则会导致其出现异常行为。长期以来，采用人工方式观察和记录群养动物的行为活动，费时费力、且难以实现长期准确的持续观察。因此，为增强对动物的健康异常预警，改善其生长福利，自动化实时地监控动物的基本行为，提取其基本行为节律，具有重要的应用价值。
近年来，随着“物联网+人工智能”为主的新技术在畜牧业中的有效应用，很多学者致力于研究动物行为的自动监控技术，并取得了一系列成果。例如，陈林锋等在《传感器与微系统》上发表的群养母猪饮水行为监测无线传感器网络节点设计的文章中提出的一种方法，采用无线射频技术RFID技术来检测母猪个体的饮水行为。但是，基于RFID的监控方式需要给动物打入耳标，为入侵式的试验方式，并且耳标容易丢失，给跟踪和管理带来不便。
鉴于机器视觉技术价格低廉、容易安装、为无入侵的动物日常行为自动监控方式等优点，已经在农场管理中得到广泛的应用，很多农场都已经取得了大量的监控录像数据，但是利用动物视频监控数据进行信息提取，获得对生产管理有用信息的研究还不多。例如，何东健等在《农业机械学报》上发表的基于视频分析的犊牛基本行为识别的方法，研究犊牛的躺、站、走和跑跳行为，但该方法主要适用于大型动物的行为识别，对小型动物的行为识别比较困难。杨秋妹等在《农业机械学报》发表了关于猪只饮水行为机器视觉自动识别的文章中提到一种方法，通过图像分割、图像占领指数以及深度学习识别猪只头部方法对猪只饮水行为进行精准判定，但该方法由于只在圈养区域正中央的横柱上安装摄像头拍摄，仅适用于饮水槽和进食槽在圈养区域内部的场景，通过检测猪只头部判别饮水行为。将摄像头安装于圈养区域的正中央，整个摄像区域呈矩形，但当动物站立时无法拍摄到整个轮廓，只能拍摄到背部表面，对于识别动物个体完整轮廓有较大困难。
而将摄像头安装在圈养区域侧上方，且进食槽、饮水槽位于圈养区域外侧，整个圈养区域呈梯形，虽然能够更加清楚、详细地对动物对象进行观察，但当动物将头部伸出栏杆外进行进食、饮水行为时很难检测到头部，更无法对动物行为进行判定。
发明内容
1、要解决的问题
针对现有摄像头安装于圈养区域侧上方且进食槽、饮水槽位于圈养区域外侧导致的当发生进食、饮水行为时头部难以检测造成的行为分析困难的问题，本发明提供一种新的基于深度学习的圈养动物行为分析方法，克服了传统方法依赖于动物头部检测、深度相机以及其他辅助方法识别动物行为的不足，能够提高圈养动物行为判别的准确率，且方法简单，容易实现，适用范围广泛。
2、技术方案
为解决上述问题，本发明采用如下的技术方案：
一种基于深度学习的圈养动物行为分析方法，在圈养区域侧上方安装摄像头，包括如下步骤：
步骤S1，在线采集圈内动物全天活动视频；
步骤S2，从采集的视频中，遴选包含动物进食、饮水、行走和休息行为形态的帧图像，训练基于深度学习的动物个体检测模型；
步骤S3，读取待检测视频的第一帧图像；
步骤S4，采用步骤S2中训练得到的动物个体检测模型对当前帧图像进行动物个体目标检测，再判断动物个体边界框数量与圈中实际动物数量是否相等：
若不相等，则当前帧图像为无效帧图像，转步骤S6；
若相等，则当前帧图像为有效帧图像，接着判断前一帧图像的状态：
若前一帧图像为无效帧图像，则记录当前帧图像中各动物个体边界框质心的横、纵坐标，转步骤S6；
若前一帧图像为有效帧图像，则通过边界框判别动物在圈养区域内相对于进食、饮水兴趣区域所处的位置，转步骤S5；
步骤S5，分析动物个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、动物个体边界框质心位置变化量与临界值的关系，判别圈养动物的进食、饮水、行走和休息行为。
步骤S6，若当前帧图像为最后一帧图像，则行为分析终止；否则读取下一帧图像，所述下一帧图像与当前帧图像间隔可为1-10帧，转步骤S4。
作为优化方案，其特征在于，
步骤S2包括，
步骤S21，从采集的视频中，人工遴选包含动物进食、饮水、行走和休息行为形态的帧图像，每种行为形态的帧图像不少于500张；
步骤S22，通过LabelImg工具对所述帧图像中的动物个体进行标记，动物的进食、饮水、行走和休息行为形态都标记为同一类；
步骤S23，将标记后的样本按照(7-8)：(3-2)的样本数量比随机分为训练集和测试集；
步骤S24，将步骤S23得到的训练集和测试集中的数据格式转换为TFRecord格式，TensorFlow读取TFRecord格式数据，并采用图像处理函数分别对训练集和测试集中的帧图像按等比例进行翻转和缩放操作以及调节帧图像的亮度和对比度，模拟圈养环境内的光照变化情况，共得到不少于8000张训练帧图像；
步骤S25，将步骤S24得到的训练帧图像喂入TensorFlow平台中基于COCO数据集训练得到的Faster R-CNN Inception v2目标检测预训练模型，修改模型内关键参数，开始训练动物个体检测模型；
所述关键参数包括类别数(num_classes)、最大训练迭代次数(num_steps)、初始学习率(initial_learning_rate)和每批处理的帧图像数量(batch_size)；
步骤S26，采用步骤S25训练得到的动物个体检测模型对测试集中对应帧图像中的动物个体进行目标检测，对比帧图像中动物个体真实数量与训练模型的检测结果，若正确率为100％，则步骤S25中训练得到的模型可用于对动物个体的目标检测；否则转步骤S23。
作为优化方案，
步骤S4，采用步骤S2中训练得到的动物个体检测模型对当前帧图像执行动物个体目标检测，再判断动物个体边界框数量与圈中实际动物数量是否相等；若相等，且当前帧图像的前一帧图像为有效帧图像，通过边界框判别动物相对于进食、饮水兴趣区域所处的位置，具体判断过程包括：
建立判别公式：
(Fx-Ex)*(Ay-Ey)-(Fy-Ey)*(Ax-Ex)<＝0 (1)；
(Fx-Ex)*(By-Ey)-(Fy-Ey)*(Bx-Ex)<＝0 (2)；
(Hx-Gx)*(Cy-Gx)-(Hy-Gy)*(Cx-Gx)>＝0 (3)；
(Hx-Gx)*(Dy-Gy)-(Hy-Gy)*(Dx-Gx)>＝0 (4)；
若式(1)为真，A点在L1上方，P1＝1，表示A点在进食区域；反之，P1＝0；
若式(2)为真，B点在L1上方，P2＝1，表示B点在进食区域；反之，P2＝0；
若式(3)为真，C点在L2上方，P3＝1，表示C点在饮水区域；反之，P3＝0；
若式(4)为真，D点在L2上方，P4＝1，表示D点在饮水区域；反之，P4＝0；
L1表示进食槽与圈养栏杆分界线，L2表示饮水槽与圈养栏杆分界线；帧图像中检测出的动物个体采用矩形框圈定，将此矩形框定义为边界框，代表识别出的动物个体；左上点A(Ax,Ay)，左下点B(Bx,By)，右上点C(Cx,Cy)，右下点D(Dx,Dy)为边界框的四个顶点，E(Ex,Ey)为L1的下端点，F(Fx,Fy)为L1的上端点，G(Gx,Gy)为L2的下端点，H(Hx,Hy)为L2的上端点；P1表示A点与L1的位置关系；P2表示B点与L1的位置关系；P3表示C点与L2的位置关系；P4表示D点与L2的位置关系。
作为优化方案，
步骤S5，计算动物个体边界框水平与垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比；与进食或饮水行为的判别临界值进行比较，根据所能满足的条件判别为进食或饮水行为；若进食、饮水行为均不满足，则根据相邻有效帧图像中同一动物个体边界框质心之间的欧式距离判别为行走、休息行为。
作为优化方案，
步骤S5的具体过程如下，
S矩形＝|Cx-Ax|×|By-Ay| (7)；
a为梯形上底，b为梯形下底，c为三角形底，|Cx-Ax|、|By-Ay|均为矩形边界框的边长，h1为梯形高，h2为三角形高，(x1,y1)、(x2,y2)为在相邻有效帧图像中同一动物个体边界框的质心坐标，d为相邻两有效帧图像中同一动物个体边界框质心之间的欧式距离；
建立求值公式：
Rate＝Sinterest/Stotal (9)；
Rate为边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比；Sinterest为动物个体边界框进入进食、饮水兴趣区域的面积，即边界框与进食或饮水兴趣区域重叠的面积；Stotal为动物个体边界框的面积；
当判断进食行为时，针对边界框水平长度大于垂直长度的情形，设置临界值1；针对边界框水平长度小于垂直长度的情形，设置临界值2；同理，判断饮水行为时，设置临界值3、临界值4；针对动物个体非进食、饮水行为的情形，设置临界值5；
width1为饮水槽的宽度，width2为摄像头安装位置沿垂直方向投影到地面上的点到饮水槽的垂直距离，width3为摄像头安装位置沿垂直方向投影到地面上的点到进食槽的垂直距离，width4为进食槽的宽度，height为摄像头距离地面的垂直高度，mfps为摄像头每秒采集的视频帧数量，1≤nframe≤10、nframe表示前后连续分析的视频帧图像间隔帧的数量；
L1：A_1x+B_1y+C_1＝0；
L2：A_2x+B_2y+C_2＝0；
L1、L2均为倾斜直线，故A_1、B_1、A_2和B_2均不为0，为L1的斜率，为L1在x轴上的截距，为L1在y轴上的截距，为L2的斜率，为L2在x轴上的截距，为L2在y轴上的截距。
①若P1＝1且P2＝1，L1与动物个体边界框上、下边界均相交，边界框在进食区域内部的面积呈梯形；根据式(10)求出L1与边界框的交点，得到梯形的上底、下底和高，根据式(5)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值1比较，反之Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J1_x,J1_y)，下交点为(J2_x,J2_y)；式(5)中，a＝J1_x-Ax，b＝J2_x-Bx，h1＝By-Ay；
②若P1＝1且P2＝0，L1与动物个体边界框上、左边界均相交，边界框在进食区域内部的面积呈三角形；根据式(11)求出L1与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值1比较，反之Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J3_x,J3_y)，左交点为(J4_x,J4_y)；式(6)中，c＝J3_x-Ax，h2＝J4_y-Ay；
③若P3＝1且P4＝1，L2与动物个体边界框上、下边界均相交，边界框在饮水区域内部的面积呈梯形；根据式(12)求出L2与边界框的交点后，得到梯形的上底、下底和高，根据式(5)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值3比较，反之Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J5_x,J5_y)，下交点为(J6_x,J6_y)；式(5)中，a＝Cx-J5_x，b＝Dx-J8_x，h1＝Dy-Cy；
④若P3＝1且P4＝0，L2与动物个体边界框上、右边界均相交，边界框在饮水区域内部的面积呈三角形；根据式(13)求出L2与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值3比较，反之Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J7_x,J7_y)，右交点为(J8_x,J8_y)；式(6)中，c＝Cx-J7_x，h2＝J8_y-Cy；
⑤若动物个体边界框与L1、L2均不相交，直接根据式(8)得到d，与临界值5比较，d>临界值5时为行走行为，反之为休息行为。
作为优化方案，还包括步骤S7，针对无效帧图像造成的缺失行为进行填补。
作为优化方案，具体无效帧图像造成的缺失行为填补方式如下：
无效帧图像分布在视频帧图像的首部，将无效帧图像造成的缺失行为由相邻、在后有效帧图像行为进行填补；
无效帧图像分布在视频帧图像的中间，将无效帧图像造成的缺失行为中的前一半行为，由相邻、在前有效帧图像行为进行填补；将无效帧图像造成的缺失行为中的后一半行为，由相邻、在后有效帧图像行为进行填补；
无效帧图像分布在视频帧图像的尾部，将无效帧图像造成的缺失行为由相邻、在前有效帧图像行为进行填补
其中，当无效帧图像分布在视频帧图像的首部和中间时，无效帧图像造成的缺失行为包括无效帧图像上的行为以及当前帧图像为有效帧图像，但前一帧图像为无效帧图像上的行为；当无效帧图像分布在视频帧图像的尾部时，无效帧图像造成的缺失行为即为无效帧图像上的行为。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明对包含动物进食、饮水、行走和休息行为形态的帧图像进行训练，得到动物个体检测模型，通过分析动物个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、动物个体边界框质心位置变化量与临界值的关系，判别圈养动物的进食、饮水、行走和休息行为；本发明将动物个体检测模型与基于有效帧图像中动物个体边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比及相邻有效帧图像间同一动物个体边界框质心位置变化量的临界值分析算法相结合，克服了传统方法依赖于动物头部检测，或者依赖辅助方法识别动物行为的不足。
(2)本发明对在线采集的动物全天活动视频进行人工遴选，得到的帧图像经过标记、预处理，喂入TensorFlow平台中基于COCO数据集训练得到的Faster R-CNN Inceptionv2目标检测预训练模型，进行动物个体检测模型的训练，在保证模型训练精度的前提下，降低了人工标记的工作量；本发明得到的动物个体检测模型，对动物视频中的动物个体具有高达100％的检测精度，动物个体边界框可用于判别动物在圈养区域内相对于进食、饮水兴趣区域所处的位置、计算边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比以及动物个体边界框质心坐标。
(3)针对摄像头安装于圈养区域侧上方对动物拍摄，当发生进食、饮水行为时，难以检测到动物头部，本发明通过判断动物个体边界框相对于进食、饮水兴趣区域的位置关系，并分析边界框各顶点相对于进食槽与圈养栏杆分界线L1、饮水槽与圈养栏杆分界线L2的位置关系，以及边界框进入进食及饮水兴趣区域的图形形状，能够为准确地判断动物个体是否在进行进食或饮水等行为提供稳定的数据基础。
(4)现有分析方法主要通过检测动物头部来判断动物的进食及饮水行为，对于进食槽、饮水槽在圈养环境外部、摄像机安装于圈养环境侧上方这种情形，在进食及饮水时头部无法检测，本发明通过识别动物的整体来判别动物的进食或饮水行为，克服了传统方法依赖于动物头部检测或依赖于深度相机以及其他辅助方法识别动物行为的不足。
(5)本发明能够通过分析动物个体边界框水平垂直方向长度比、边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比、动物个体边界框质心位置变化量与临界值的关系来判断动物的行为，避免了行为识别关键临界值选取与设置的盲目性，能够在不识别动物个体头部的前提下，准确判别圈养动物的进食、饮水、行走和休息行为。
(6)视频帧图像中存在动物个体重叠，动物个体检测模型时会将多个重叠个体视为同一目标，从而造成动物个体边界框数量与圈中的实际动物数量不相等，这些帧图像称为无效帧图像。针对无效帧图像的存在造成行为缺失的问题，本发明对无效帧图像造成的缺失行为进行填补，有效降低因动物聚集带来的目标遮挡、重叠问题以及传统方法中头部难以检测问题的干扰，提高圈养动物整体行为判别的准确率，能够用于不同圈养环境下的动物整体行为状况分析。
(7)在视频结束后将存在无效帧图像造成的动物的缺失行为，为了实现动物行为时间的连续性，提高动物行为分析的可比性，且在连续有效帧图像的视频中，相邻帧图像前后动物的行为变化波动较小，故用相邻较近的前、后有效帧图像中的行为对无效帧图像造成的缺失行为进行填补。相邻帧图像间动物行为具有连续性，采用相邻有效帧图像行为来填补无效帧图像行为，可有效降低因帧图像缺失导致的动物行为识别缺失，提高动物行为分析的准确性。
附图说明
图1为本发明具体圈养动物行为分析步骤；
图2为本发明圈养环境设施分布立体图；
图3为本发明圈养区域具体坐标信息图；
图4为本发明具体摄像机拍摄下圈养山羊位置分布平面图；
图5为本发明无效帧图像造成的缺失行为填补方式流程图。
具体实施方式
下面结合具体实施例对本发明进一步进行描述。
实施例1
一种基于深度学习的圈养动物行为分析方法，在位于合肥市某圈养山羊养殖基地进行了部署应用，圈养环境设施分布立体图如图2所示，摄像头安装于圈养区域侧上方，建立图3所示的坐标系，摄像机拍摄下圈养山羊位置分布平面图如图4所示。山羊行为分析步骤如图1所示：
步骤S1，在线采集圈内山羊全天活动视频；
步骤S2，从采集的视频中，遴选包含山羊进食、饮水、行走和休息行为形态的帧图像，训练基于深度学习的山羊个体检测模型；
步骤S21，从采集的视频中，人工遴选包含山羊进食、饮水、行走和休息行为形态的帧图像，每种行为形态的帧图像500张；
步骤S22，通过LabelImg工具对所述帧图像中的山羊个体进行标记，山羊的进食、饮水、行走和休息行为形态都标记为同一类名goat；
步骤S23，将标记后的样本按照8:2样本数量比随机分为训练集和测试集；
步骤S24，将步骤S22得到的训练集和测试集中的数据格式转换为TFRecord格式，TensorFlow读取TFRecord格式数据，并采用图像处理函数分别对训练集和测试集中的帧图像按等比例进行翻转和缩放操作以及调节帧图像的亮度和对比度，模拟羊圈内的光照变化情况。
图像处理具体操作如下：
对每种行为形态的帧图像，在保留500张(包括训练集400张、测试集100张)原帧图像的基础上，采用图像处理函数分别对训练集和测试集中的帧图像进行翻转、缩放、调节亮度(-100至+100)、调节对比度(-50至+50)、翻转+缩放、翻转+调节亮度、缩放+调节对比度以及调节亮度+调节对比度八种帧图像预处理操作，每种操作对象为从原400张训练集帧图像中随机选取的200张帧图像和从100张测试集帧图像中随机选取的50张帧图像，共得到8000张训练集帧图像和2000张测试集帧图像；
步骤S25，将步骤S24得到的8000张训练帧图像喂入TensorFlow 1.9.0平台中基于COCO数据集训练得到的Faster R-CNN Inception v2目标检测预训练模型，修改模型内关键参数，开始训练山羊个体检测模型；
关键参数包括类别数(num_classes设置为1)、最大训练迭代次数(num_steps设置为200000)、初始学习率(initial_learning_rate设置为0.0001)、每批处理的图像数量(batch_size设置为16)；
训练模型过程中，以在训练迭代次数达到4000时的损失函数值为基准，若损失函数值趋于零，继续训练至最大迭代次数，得到山羊个体检测模型；否则，终止训练模型；重新配置部分关键参数，所述重新配置的部分关键参数包括初始学习率(initial_learning_rate)和每批处理的帧图像数量(batch_size)，其中initial_learning_rate取值范围为0.0001、0.0005、0.001和0.005，batch_size取值范围为4、8、16和32。
步骤S26，采用步骤S25得到的山羊个体检测模型对测试集对应帧图像中山羊个体进行检测，对比帧图像中山羊真实个体数量与训练模型的检测结果，正确率达到100％时，则步骤S25中训练得到的模型可用于对山羊个体的目标检测；否则执行步骤S23。
本实施例在圈养区域侧上方安装摄像头，在线采集山羊全天活动视频，人工遴选包含山羊进食、饮水、行走和休息行为形态的帧图像共2000张，经过标记、预处理，喂入Faster R-CNN Inception v2目标检测预训练模型，进行山羊个体检测模型的训练，在保证模型训练精度的前提下，降低了人工标记的工作量；本实施例得到的山羊个体检测模型，对山羊视频中的山羊个体具有高达100％的检测精度，检测出的山羊个体边界框数量可用于判断当前帧图像是否为有效帧图像(设定圈养山羊区域内山羊个数为N，将通过山羊个体检测模型检测出的边界框个数也为N的视频帧图像定义为有效帧图像)，进一步用于判别山羊在圈养区域内相对于进食及饮水兴趣区域所处的位置、边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比以及山羊个体边界框质心坐标。
步骤S3，读取待检测视频的第一帧图像；
步骤S4，采用步骤S2中训练得到的山羊个体检测模型对当前帧图像进行山羊个体目标检测，再判断山羊个体边界框数量与羊圈中实际山羊数量是否相等：
若不相等，则当前帧图像为无效帧图像，转步骤S6；
若相等，则当前帧图像为有效帧图像，接着判断前一帧图像的状态：
若前一帧图像为无效帧图像，则记录当前帧图像中各山羊个体边界框质心的横、纵坐标，转步骤S6；
若前一帧图像为有效帧图像，则通过边界框判别山羊在羊圈内相对于进食、饮水兴趣区域所处的位置，转步骤S5；
通过山羊个体边界框判别山羊在圈养区域内相对于进食、饮水兴趣区域所处的位置，具体判别过程包括：
建立判别公式：
(Fx-Ex)*(Ay-Ey)-(Fy-Ey)*(Ax-Ex)<＝0 (1)；
(Fx-Ex)*(By-Ey)-(Fy-Ey)*(Bx-Ex)<＝0 (2)；
(Hx-Gx)*(Cy-Gx)-(Hy-Gy)*(Cx-Gx)>＝0 (3)；
(Hx-Gx)*(Dy-Gy)-(Hy-Gy)*(Dx-Gx)>＝0 (4)；
若式(1)为真，A点在L1上方，P1＝1，表示A点在进食区域；反之，P1＝0；
若式(2)为真，B点在L1上方，P2＝1，表示B点在进食区域；反之，P2＝0；
若式(3)为真，C点在L2上方，P3＝1，表示C点在饮水区域；反之，P3＝0；
若式(4)为真，D点在L2上方，P4＝1，表示D点在饮水区域；反之，P4＝0；
L1表示进食槽与圈养栏杆分界线，L2表示饮水槽与圈养栏杆分界线；帧图像中检测出的山羊个体采用矩形框圈定，将此矩形框定义为边界框，代表识别出的山羊个体；左上点A(Ax,Ay)，左下点B(Bx,By)，右上点C(Cx,Cy)，右下点D(Dx,Dy)为边界框的四个顶点，E(Ex,Ey)为L1的下端点，F(Fx,Fy)为L1的上端点，G(Gx,Gy)为L2的下端点，H(Hx,Hy)为L2的上端点；P1表示A点与L1的位置关系；P2表示B点与L1的位置关系；P3表示C点与L2的位置关系；P4表示D点与L2的位置关系。
针对摄像头安装于圈养区域侧上方对山羊拍摄，当发生进食、饮水行为时，难以检测到山羊头部，本发明通过判断山羊个体边界框相对于进食、饮水兴趣区域的位置关系，并分析边界框各顶点与L1、L2的位置关系，以及边界框进入进食及饮水兴趣区域的图形形状，能够准确地选择面积公式或距离公式，进而能够准确地判断山羊个体是否在进行饮食或饮水等行为，为进一步研究山羊行为提供了稳定的数据基础。
步骤S5，分析山羊个体边界框水平与垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、山羊个体边界框质心位置变化量与临界值的关系，判别圈养山羊的进食、饮水、行走和休息行为，山羊个体边界框质心位置变化量为同一山羊个体在相邻两有效帧图像中同一山羊个体边界框两质心之间欧式距离。
现有分析方法主要通过检测动物头部来判断动物的进食及饮水行为，对于进食槽、饮水槽在圈养区域外部、摄像机安装于圈养区域侧上方这种情形，在进食或饮水时头部无法检测，本实施例通过识别山羊的整体来判别山羊的进食及饮水行为，克服了传统方法依赖于动物头部检测来识别饮水及进食行为，也克服了依赖于深度相机或在动物背部做标记等辅助方法识别动物行为的不足。
若视频当前帧图像为有效帧图像，且当前帧图像的前一帧图像也为有效帧图像时，计算山羊个体边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比；与进食或饮水行为的判别临界值进行比较，根据所能满足的条件判断为进食或饮水行为；若进食、饮水行为条件均不满足，则根据相邻有效帧图像中同一山羊个体边界框质心之间的欧式距离判别行走、休息行为。具体过程如下，
S矩形＝|Cx-Ax|×|By-Ay| (7)；
a为梯形上底，b为梯形下底，c为三角形底，|Cx-Ax|、|By-Ay|均为矩形边界框的边长，h1为梯形高，h2为三角形高，(x1,y1)、(x2,y2)为在相邻有效帧图像中同一动物个体边界框的质心坐标，d为相邻两有效帧图像中同一山羊个体边界框质心之间的欧式距离；
山羊个体边界框进入进食、饮水兴趣区域的面积与整个山羊个体边界框面积的比值：
Rate＝Sinterest/Stotal (9)；
Rate为边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比；Sinterest为山羊个体边界框进入进食、饮水兴趣区域图像面积，即边界框与进食或饮水兴趣区域重叠的面积；Stotal为山羊个体边界框的面积；
当判断进食行为时，针对山羊个体边界框水平长度大于垂直长度的情形，设置临界值1；针对山羊个体边界框水平长度小于垂直长度的情形，设置临界值2；同理，判断饮水行为时，设置临界值3、临界值4；针对山羊个体非进食、饮水行为的情形，设置临界值5；
width1为饮水槽的宽度，width2为摄像头安装位置沿垂直方向投影到地面上的点到饮水槽的垂直距离，width3为摄像头安装位置沿垂直方向投影到地面上的点到进食槽垂直的距离，width4为进食槽的宽度，height为摄像头距离地面的垂直高度，mfps为摄像头每秒采集的视频帧数量，1≤nframe≤10、nframe表示前后连续分析的视频帧图像间隔帧的数量；
L1：A_1x+B_1y+C_1＝0
L2：A_2x+B_2y+C_2＝0
L1，L2均为倾斜直线，故A_1、B_1、A_2和B_2均不为0，则为L1的斜率，为L1在x轴上的截距，为L1在y轴上的截距，为L2的斜率，为L2在x轴上的截距，为L2在y轴上的截距。
①若P1＝1且P2＝1，L1与山羊个体边界框上、下边界均相交，边界框在进食区域内部的面积呈梯形；根据式(10)求出L1与边界框的交点，得到梯形的上底、下底和高，根据式(5)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度(如图4位置1)，Rate与临界值1比较，反之(如图4位置4),Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J1_x,J1_y)，下交点为(J2_x,J2_y)；式(5)中，a＝J1_x-Ax，b＝J2_x-Bx，h1＝By-Ay；
②若P1＝1且P2＝0，L1与山羊个体边界框上、左边界均相交，边界框在进食区域内部的面积呈三角形；根据式(11)求出L1与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度(如图4位置2)，Rate与临界值1比较，反之(如图4位置3)，Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J3_x,J3_y)，左交点为(J4_x,J4_y)；式(6)，c＝J3_x-Ax，h2＝J4_y-Ay；
③若P3＝1且P4＝1，L2与山羊个体边界框上、下边界均相交，边界框在饮水区域内部的面积呈梯形；根据式(12)求出L2与边界框的交点后，得到梯形的上底、下底和高，根据式(5)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度(如图4位置6)，Rate与临界值3比较，反之(如图4位置9)，Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J5_x,J5_y)，下交点为(J6_x,J6_y)；式(5)，a＝Cx-J5_x，b＝Dx-J8_x，h1＝Dy-Cy；
④若P3＝1且P4＝0，L2与山羊个体边界框上、右边界均相交，边界框在饮水区域内部的面积呈三角形；根据式(13)求出L2与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度(如图4位置7)，Rate与临界值3比较，反之(如图4位置8)，Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J7_x,J7_y)，右交点为(J8_x,J8_y)；式(6)，c＝Cx-J7_x，h2＝J8_y-Cy；
⑤若山羊个体边界框与L1、L2均不相交(如图4位置5)，直接根据式(8)得到d，与临界值5比较，d>临界值5时为行走行为，反之为休息行为。
通过分析山羊个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、山羊个体位置变化量与临界值的关系，避免了行为识别关键临界值选取与设置的盲目性，能够在不识别山羊个体头部的前提下，准确判别圈养山羊的进食、饮水、行走和休息行为。
步骤S6，判断当前帧图像是否为最后一帧图像，若是，则行为分析终止；否则读取下一帧图像，所述下一帧图像与当前帧图像间隔设置为1帧，转步骤S4。
步骤S7，针对无效帧图像造成的缺失行为进行行为填补。
视频帧图像中存在山羊个体重叠，山羊个体检测模型时会将多个重叠个体视为同一目标，从而造成山羊个体边界框数量与圈中实际山羊数量不相等，这些帧图像称为无效帧图像。针对无效帧图像的存在造成行为缺失的问题，本发明对无效帧图像造成的缺失行为进行填补，有效降低因山羊聚集带来的目标遮挡、重叠问题以及传统方法中头部难以检测问题的干扰，提高圈养山羊整体行为判别的准确率，能够用于不同圈养环境下的动物整体行为状况分析。
具体无效帧图像造成的缺失行为填补方式如下：
无效帧图像分布在视频帧图像的首部，无效帧图像无相邻、在前有效视频帧图像，将无效帧图像造成的缺失行为由相邻、在后的有效帧图像T1的行为进行填补；
无效帧图像分布在视频帧图像的中间，无效帧图像既有相邻、在前有效视频帧图像，又有相邻、在后有效视频帧图像，将无效帧图像造成的缺失行为中的前一半行为，由相邻、在前有效帧图像T2的行为进行填补；将无效帧图像造成的缺失行为中的后一半行为，由相邻、在后有效帧图像T3的行为进行填补；
无效帧图像分布在视频帧图像的尾部，无效帧图像无相邻、在后有效视频帧图像，将无效帧图像造成的缺失行为由相邻、在前有效帧图像T4的行为进行填补。
其中，当无效帧图像分布在视频帧图像的首部和中间时，无效帧图像造成的缺失行为包括无效帧图像上的行为以及当前帧图像为有效帧图像，但前一帧图像为无效帧图像上的行为；当无效帧图像分布在视频帧图像的尾部时，无效帧图像造成的缺失行为即为无效帧图像上的行为。
在连续视频中，相邻帧图像前后山羊的行为变化波动较小，为了实现行为时间的连续性，对比分析整段视频行为，故在视频结束后对无效帧图像造成的山羊的缺失行为，用相邻较近的前、后有效帧图像中的行为进行填补，能够获得整段视频的行为状况。
本实施例对包含山羊进食、饮水、行走和休息行为形态的帧图像进行训练，得到山羊个体检测模型，通过分析山羊个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、山羊个体边界框质心位置变化量与临界值的关系，判别圈养山羊的进食、饮水、行走和休息行为，克服了传统方法依赖于动物头部检测来识别饮水、进食行为，依赖于深度相机或在动物背部做标记等辅助方法识别动物行为的不足。

Claims (7)

1.一种基于深度学习的圈养动物行为分析方法，在圈养区域侧上方安装摄像头，包括如下步骤：
步骤S1，在线采集圈内动物全天活动视频；
步骤S2，从采集的视频中，遴选包含动物进食、饮水、行走和休息行为形态的帧图像，训练基于深度学习的动物个体检测模型；
步骤S3，读取待检测视频的第一帧图像；
步骤S4，采用步骤S2中训练得到的动物个体检测模型对当前帧图像进行动物个体目标检测，再判断动物个体边界框数量与圈中实际动物数量是否相等：
若不相等，则当前帧图像为无效帧图像，转步骤S6；
若相等，则当前帧图像为有效帧图像，接着判断前一帧图像的状态：
若前一帧图像为无效帧图像，则记录当前帧图像中各动物个体边界框质心的横、纵坐标，转步骤S6；
若前一帧图像为有效帧图像，则通过边界框判别动物在圈养区域内相对于进食、饮水兴趣区域所处的位置，转步骤S5；
步骤S5，分析动物个体边界框水平垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比、动物个体边界框质心位置变化量与临界值的关系，判别圈养动物的进食、饮水、行走和休息行为。
步骤S6，若当前帧图像为最后一帧图像，则行为分析终止；否则读取下一帧图像，所述下一帧图像与当前帧图像间隔可为1-10帧，转步骤S4。
2.根据权利要求1所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，
步骤S2包括，
步骤S21，从采集的视频中，人工遴选包含动物进食、饮水、行走和休息行为形态的帧图像，每种行为形态的帧图像不少于500张；
步骤S22，通过LabelImg工具对所述帧图像中的动物个体进行标记，动物的进食、饮水、行走和休息行为形态都标记为同一类；
步骤S23，将标记后的样本按照(7-8)：(3-2)的样本数量比随机分为训练集和测试集；
步骤S24，将步骤S23得到的训练集和测试集中的数据格式转换为TFRecord格式，TensorFlow读取TFRecord格式数据，并采用图像处理函数分别对训练集和测试集中的帧图像按等比例进行翻转和缩放操作以及调节帧图像的亮度和对比度，模拟圈养环境内的光照变化情况，共得到不少于8000张训练帧图像；
步骤S25，将步骤S24得到的训练帧图像喂入TensorFlow平台中基于COCO数据集训练得到的Faster R-CNN Inception v2目标检测预训练模型，修改模型内关键参数，开始训练动物个体检测模型；
所述关键参数包括类别数(num_classes)、最大训练迭代次数(num_steps)、初始学习率(initial_learning_rate)和每批处理的帧图像数量(batch_size)；
步骤S26，采用步骤S25训练得到的动物个体检测模型对测试集中对应帧图像中的动物个体进行目标检测，对比帧图像中动物个体真实数量与训练模型的检测结果，若正确率为100％，则步骤S25中训练得到的模型可用于对动物个体的目标检测；否则转步骤S23。
3.根据权利要求1所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，
步骤S4，采用步骤S2中训练得到的动物个体检测模型对当前帧图像执行动物个体目标检测，再判断动物个体边界框数量与圈中实际动物数量是否相等；若相等，且当前帧图像的前一帧图像为有效帧图像，通过边界框判别动物相对于进食、饮水兴趣区域所处的位置，具体判断过程包括：
建立判别公式：
(Fx-Ex)*(Ay-Ey)-(Fy-Ey)*(Ax-Ex)<＝0 (1)；
(Fx-Ex)*(By-Ey)-(Fy-Ey)*(Bx-Ex)<＝0 (2)；
(Hx-Gx)*(Cy-Gx)-(Hy-Gy)*(Cx-Gx)>＝0 (3)；
(Hx-Gx)*(Dy-Gy)-(Hy-Gy)*(Dx-Gx)>＝0 (4)；
若式(1)为真，A点在L1上方，P1＝1，表示A点在进食区域；反之，P1＝0；
若式(2)为真，B点在L1上方，P2＝1，表示B点在进食区域；反之，P2＝0；
若式(3)为真，C点在L2上方，P3＝1，表示C点在饮水区域；反之，P3＝0；
若式(4)为真，D点在L2上方，P4＝1，表示D点在饮水区域；反之，P4＝0；
L1表示进食槽与圈养栏杆分界线，L2表示饮水槽与圈养栏杆分界线；帧图像中检测出的动物个体采用矩形框圈定，将此矩形框定义为边界框，代表识别出的动物个体；左上点A(Ax,Ay)，左下点B(Bx,By)，右上点C(Cx,Cy)，右下点D(Dx,Dy)为边界框的四个顶点，E(Ex,Ey)为L1的下端点，F(Fx,Fy)为L1的上端点，G(Gx,Gy)为L2的下端点，H(Hx,Hy)为L2的上端点；P1表示A点与L1的位置关系；P2表示B点与L1的位置关系；P3表示C点与L2的位置关系；P4表示D点与L2的位置关系。
4.根据权利要求1所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，
步骤S5，计算动物个体边界框水平与垂直方向长度比、边界框位于进食及饮水兴趣区域内的面积与整个边界框面积比；与进食或饮水行为的判别临界值进行比较，根据所能满足的条件判别为进食或饮水行为；若进食、饮水行为均不满足，则根据相邻有效帧图像中同一动物个体边界框质心之间的欧式距离判别为行走、休息行为。
5.根据权利要求4所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，
步骤S5的具体过程如下，
S矩形＝|Cx-Ax|×|By-Ay| (7)；
a为梯形上底，b为梯形下底，c为三角形底，|Cx-Ax|、|By-Ay|均为矩形边界框的边长，h1为梯形高，h2为三角形高，(x1,y1)、(x2,y2)为在相邻有效帧图像中同一动物个体边界框的质心坐标，d为相邻两有效帧图像中同一动物个体边界框质心之间的欧式距离；
建立求值公式：
Rate＝Sinterest/Stotal (9)；
Rate为边界框位于进食、饮水兴趣区域内的面积与整个边界框面积比；Sinterest为动物个体边界框进入进食、饮水兴趣区域的面积，即边界框与进食或饮水兴趣区域重叠的面积；Stotal为动物个体边界框的面积；
当判断进食行为时，针对边界框水平长度大于垂直长度的情形，设置临界值1；针对边界框水平长度小于垂直长度的情形，设置临界值2；同理，判断饮水行为时，设置临界值3、临界值4；针对动物个体非进食、饮水行为的情形，设置临界值5；
width1为饮水槽的宽度，width2为摄像头安装位置沿垂直方向投影到地面上的点到饮水槽的垂直距离，width3为摄像头安装位置沿垂直方向投影到地面上的点到进食槽的垂直距离，width4为进食槽的宽度，height为摄像头距离地面的垂直高度，mfps为摄像头每秒采集的视频帧数量，1≤nframe≤10、nframe表示前后连续分析的视频帧图像间隔帧的数量；
L1：A_1x+B_1y+C_1＝0；
L2：A_2x+B_2y+C_2＝0；
L1、L2均为倾斜直线，故A_1、B_1、A_2和B_2均不为0，为L1的斜率，为L1在x轴上的截距，为L1在y轴上的截距，为L2的斜率，为L2在x轴上的截距，为L2在y轴上的截距。
①若P1＝1且P2＝1，L1与动物个体边界框上、下边界均相交，边界框在进食区域内部的面积呈梯形；根据式(10)求出L1与边界框的交点，得到梯形的上底、下底和高，根据式(5)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值1比较，反之Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J1_x,J1_y)，下交点为(J2_x,J2_y)；式(5)中，a＝J1_x-Ax，b＝J2_x-Bx，h1＝By-Ay；
②若P1＝1且P2＝0，L1与动物个体边界框上、左边界均相交，边界框在进食区域内部的面积呈三角形；根据式(11)求出L1与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在进食区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值1比较，反之Rate与临界值2比较，当Rate>临界值1或Rate>临界值2时为进食行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L1的上交点为(J3_x,J3_y)，左交点为(J4_x,J4_y)；式(6)中，c＝J3_x-Ax，h2＝J4_y-Ay；
③若P3＝1且P4＝1，L2与动物个体边界框上、下边界均相交，边界框在饮水区域内部的面积呈梯形；根据式(12)求出L2与边界框的交点后，得到梯形的上底、下底和高，根据式(5)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值3比较，反之Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J5_x,J5_y)，下交点为(J6_x,J6_y)；式(5)中，a＝Cx-J5_x，b＝Dx-J8_x，h1＝Dy-Cy；
④若P3＝1且P4＝0，L2与动物个体边界框上、右边界均相交，边界框在饮水区域内部的面积呈三角形；根据式(13)求出L2与边界框的交点后，得到三角形的底和高，根据式(6)计算出边界框在饮水区域的面积Sinterest、式(7)计算出整个边界框的面积Stotal，得到Rate；若边界框水平长度大于垂直长度，Rate与临界值3比较，反之Rate与临界值4比较，当Rate>临界值3或Rate>临界值4时为饮水行为；否则，根据式(8)得到d，与临界值5比较，当d>临界值5时为行走行为，反之为休息行为；
此时，边界框与L2的上交点为(J7_x,J7_y)，右交点为(J8_x,J8_y)；式(6)中，c＝Cx-J7_x，h2＝J8_y-Cy；
⑤若动物个体边界框与L1、L2均不相交，直接根据式(8)得到d，与临界值5比较，d>临界值5时为行走行为，反之为休息行为。
6.根据权利要求1所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，还包括步骤S7，针对无效帧图像造成的缺失行为进行填补。
7.根据权利要求6所述的一种基于深度学习的圈养动物行为分析方法，其特征在于，具体无效帧图像造成的的缺失行为填补方式如下：
无效帧图像分布在视频帧图像的首部，将无效帧图像造成的的缺失行为由相邻、在后有效帧图像行为进行填补；
无效帧图像分布在视频帧图像的中间，将无效帧图像造成的缺失行为中的前一半行为，由相邻、在前有效帧图像行为进行填补；将无效帧图像造成的缺失行为中的后一半行为，由相邻、在后有效帧图像行为进行填补；
无效帧图像分布在视频帧图像的尾部，将无效帧图像造成的的缺失行为由相邻、在前有效帧图像行为进行填补。
其中，当无效帧图像分布在视频帧图像的首部和中间时，无效帧图像造成的缺失行为包括无效帧图像上的行为以及当前帧图像为有效帧图像，但前一帧图像为无效帧图像上的行为；当无效帧图像分布在视频帧图像的尾部时，无效帧图像造成的缺失行为即为无效帧图像上的行为。
CN201910786366.9A 2019-08-23 2019-08-23 一种基于深度学习的圈养动物行为分析方法 Active CN110490161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910786366.9A CN110490161B (zh) 2019-08-23 2019-08-23 一种基于深度学习的圈养动物行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910786366.9A CN110490161B (zh) 2019-08-23 2019-08-23 一种基于深度学习的圈养动物行为分析方法

Publications (2)

Publication Number Publication Date
CN110490161A true CN110490161A (zh) 2019-11-22
CN110490161B CN110490161B (zh) 2022-01-07

Family

ID=68553549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910786366.9A Active CN110490161B (zh) 2019-08-23 2019-08-23 一种基于深度学习的圈养动物行为分析方法

Country Status (1)

Country Link
CN (1) CN110490161B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN112016527B (zh) * 2020-10-19 2022-02-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、系统、终端及介质
TWI789598B (zh) * 2020-06-17 2023-01-11 國立成功大學 牲畜異常監測系統、方法、電腦程式產品及電腦可讀取紀錄媒體

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141636A1 (en) * 2000-11-24 2004-07-22 Yiqing Liang Unified system and method for animal behavior characterization in home cages using video analysis
EP2214556A2 (en) * 2007-10-31 2010-08-11 Adidas AG Systems and methods for non-invasive physiological monitoring of non-human animals
CN104252709A (zh) * 2014-07-14 2014-12-31 江苏大学 一种复杂背景下俯视群养猪多目标前景检测方法
CN105430237A (zh) * 2015-11-26 2016-03-23 Tcl移动通信科技（宁波）有限公司 一种帧缺失图像的处理方法及系统
CN105654141A (zh) * 2016-01-06 2016-06-08 江苏大学 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN105809711A (zh) * 2016-03-02 2016-07-27 华南农业大学 一种基于视频追踪的猪只运动大数据提取方法及其系统
CN106295558A (zh) * 2016-08-08 2017-01-04 华南农业大学 一种猪只行为节律分析方法
CN106778784A (zh) * 2016-12-20 2017-05-31 江苏大学 基于机器视觉的猪个体识别与饮水行为分析方法
US20180014527A1 (en) * 2014-07-23 2018-01-18 Metecs, LLC Alerting system for automatically detecting, categorizing, and locating animals using computer aided image comparisons
CN108830144A (zh) * 2018-05-03 2018-11-16 华南农业大学 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN109377517A (zh) * 2018-10-18 2019-02-22 哈尔滨工程大学 一种基于视频追踪技术的动物个体识别系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141636A1 (en) * 2000-11-24 2004-07-22 Yiqing Liang Unified system and method for animal behavior characterization in home cages using video analysis
EP2214556A2 (en) * 2007-10-31 2010-08-11 Adidas AG Systems and methods for non-invasive physiological monitoring of non-human animals
CN104252709A (zh) * 2014-07-14 2014-12-31 江苏大学 一种复杂背景下俯视群养猪多目标前景检测方法
US20180014527A1 (en) * 2014-07-23 2018-01-18 Metecs, LLC Alerting system for automatically detecting, categorizing, and locating animals using computer aided image comparisons
CN105430237A (zh) * 2015-11-26 2016-03-23 Tcl移动通信科技（宁波）有限公司 一种帧缺失图像的处理方法及系统
CN105654141A (zh) * 2016-01-06 2016-06-08 江苏大学 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN105809711A (zh) * 2016-03-02 2016-07-27 华南农业大学 一种基于视频追踪的猪只运动大数据提取方法及其系统
CN106295558A (zh) * 2016-08-08 2017-01-04 华南农业大学 一种猪只行为节律分析方法
CN106778784A (zh) * 2016-12-20 2017-05-31 江苏大学 基于机器视觉的猪个体识别与饮水行为分析方法
CN108830144A (zh) * 2018-05-03 2018-11-16 华南农业大学 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN109377517A (zh) * 2018-10-18 2019-02-22 哈尔滨工程大学 一种基于视频追踪技术的动物个体识别系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG, QIUMEI ET AL.: "Feeding behavior recognition for group-housed pigs with the Faster R-CNN", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
ZHENG, CHAN, ET AL.: "Automatic Recognition of Lactating Sow Postures From Depth Images by Deep Learning Detector", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
肖德琴 等: "基于视频追踪的猪只运动快速检测方法", 《农业机械学报》 *
薛月菊 等: "基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态", 《农业工程学报》 *
郭依正: "基于机器视觉的俯视群养猪个体识别与饮水行为分析研究", 《中国博士学位论文全文数据库 农业科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI789598B (zh) * 2020-06-17 2023-01-11 國立成功大學 牲畜異常監測系統、方法、電腦程式產品及電腦可讀取紀錄媒體
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN112016527B (zh) * 2020-10-19 2022-02-01 成都大熊猫繁育研究基地 基于深度学习的大熊猫行为识别方法、系统、终端及介质

Also Published As

Publication number Publication date
CN110490161B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
US10430533B2 (en) Method for automatic behavioral phenotyping
Zheng et al. Automatic recognition of lactating sow postures from depth images by deep learning detector
Jiang et al. Automatic behavior recognition of group-housed goats using deep learning
CN110490161A (zh) 一种基于深度学习的圈养动物行为分析方法
Yang et al. An automatic recognition framework for sow daily behaviours based on motion and image analyses
Kashiha et al. Automatic identification of marked pigs in a pen using image pattern recognition
CN104008367A (zh) 基于计算机视觉的育肥猪的自动行为分析系统及方法
Zion et al. Real-time underwater sorting of edible fish species
CN107820616A (zh) 用于基于背部图像来识别个体动物的系统和方法
CN106295558A (zh) 一种猪只行为节律分析方法
CN105894536A (zh) 基于视频跟踪的禽畜行为分析方法及系统
CN103674857A (zh) 基于机器视觉的牧草饲料检测系统和方法
CN112528823B (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CA3230401A1 (en) Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
Hansen et al. Non-intrusive automated measurement of dairy cow body condition using 3D video
CN110070051A (zh) 基于计算机视觉技术的牛发情监测方法及系统
CN110447562A (zh) 跛牛识别及自动分群方法及其系统
CN116957836A (zh) 一种智慧养殖数据平台
Dalton et al. Validation of HOBO Pendant® data loggers for automated step detection in two age classes of male turkeys: growers and finishers
US20230073738A1 (en) Method for Determining Biometric Data Relating to an Animal Based on Image Data
CN113516635B (zh) 鱼菜共生系统及基于鱼类行为的蔬菜氮元素需求估算方法
CN108990833A (zh) 一种基于位置信息的动物运动行为判别方法及装置
CN112889695B (zh) 一种基于rfid技术的禽类行为监测方法及系统
Sumi et al. Framework of Cow Calving Monitoring System Using Video Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant