CN111753640B - 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 - Google Patents
一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 Download PDFInfo
- Publication number
- CN111753640B CN111753640B CN202010377458.4A CN202010377458A CN111753640B CN 111753640 B CN111753640 B CN 111753640B CN 202010377458 A CN202010377458 A CN 202010377458A CN 111753640 B CN111753640 B CN 111753640B
- Authority
- CN
- China
- Prior art keywords
- playing
- fragments
- play
- long
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 33
- 230000007787 long-term memory Effects 0.000 title claims abstract description 33
- 238000004458 analytical method Methods 0.000 title claims abstract description 15
- 239000012634 fragment Substances 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims abstract description 28
- 241000282887 Suidae Species 0.000 claims abstract description 24
- 230000006403 short-term memory Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 241000238097 Callinectes sapidus Species 0.000 claims description 3
- 230000036541 health Effects 0.000 abstract description 8
- 230000009466 transformation Effects 0.000 abstract description 6
- 210000004027 cell Anatomy 0.000 description 8
- 230000004913 activation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 239000010931 gold Substances 0.000 description 3
- 229910052737 gold Inorganic materials 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 206010040872 skin infection Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法。首先从俯视群养猪视频中挑选玩耍片段和非玩耍片段并保持数据平衡；采用基于HSV颜色空间变换的跟踪算法定位每个片段的玩耍区域；然后采用卷积神经网络提取这些片段中每一帧的空间特征，并采用长短期记忆将这些空间特征转化成时空特征；最后采用全连接层和Softmax函数分类时空特征从而检测玩耍行为，并统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。本发明是基于卷积神经网络和长短期记忆对群养猪进行玩耍行为检测，不会对猪个体产生任何干扰，为传统的人工观测群养猪玩耍行为提供了参考。所统计的玩耍时间和频率数据有助于农场主对猪健康和福利进行评估。
Description
技术领域
本发明涉及深度学习、计算机视觉、模式识别、动物行为分析等技术，具体涉及一种俯视状态下监控视频中群养猪玩耍行为分析方法。
背景技术
由于玩耍行为能够触发猪仔的积极情绪，猪的玩耍行为已成为评价猪健康和福利的重要指标。提供玩耍物体能够增加猪仔的玩耍行为，因而有效减少断奶猪的咬尾和攻击行为的发生。因此，识别玩耍行为并研究猪仔对不同物体的偏好然后将所偏好物体放入猪栏，能够减少猪仔由于咬尾和攻击导致的外伤、皮肤感染和致命伤害，具有实际应用价值。目前，群养猪玩耍识别主要依靠人工观测和监控视频，这些方式耗时耗力且滞后，难以实现大规模养殖场中实时玩耍检测。基于卷积神经网络和长短期记忆的玩耍行为检测有助于提高识别效率，增加动物福利，减少养殖场经济损失。统计玩耍行为发生的次数和频率作为评价指标，能够帮助农场主评价猪仔健康和福利。
发明内容
本发明的目的是对俯视状态下群养猪监控视频中的玩耍行为进行检测。首先从俯视群养猪视频中挑选玩耍片段和非玩耍片段并保持数据平衡。接着采用基于HSV颜色空间变换的跟踪算法定位每个片段的玩耍区域。然后采用卷积神经网络提取这些片段中每一帧的空间特征，并采用长短期记忆将这些空间特征转化成时空特征。最后采用全连接层和Softmax函数分类时空特征从而检测玩耍行为，并统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。本发明给出一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的方法。本方法从视频片段中提取玩耍和非玩耍序列的时空特征，并采用全连接层分类这些时空特征从而自动检测玩耍行为，为传统的人工观测群养猪玩耍行为提供了参考。所统计的玩耍时间和频率数据有助于农场主对猪健康和福利进行评估。
本发明采用的技术方案是：采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法包括以下步骤：
步骤1，从俯视群养猪视频中挑选玩耍片段和非玩耍片段并保持数据平衡；步骤2，定位每个片段的玩耍区域；步骤3，采用卷积神经网络提取这些片段中每一帧的空间特征；步骤4，并采用长短期记忆将这些空间特征转化成时空特征；步骤5，采用全连接层和Softmax函数分类时空特征从而检测玩耍行为；步骤6，统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。
进一步，所述步骤1具体包括：
首先改建实验用猪舍，在猪舍正上方安装拍摄俯视视频的图像采集系统，获取包含猪玩耍和非玩耍的视频。然后从这些视频中挑选出玩耍和非玩耍片段，并保持数据平衡。
进一步，所述挑选玩耍和非玩耍片段以及保持数据平衡的具体方法是：
根据玩耍持续最小时间为1秒，从获取的所有视频中挑选出所有玩耍1秒片段和非玩耍1秒片段，并统计所有玩耍片段的数量。统计所有非玩耍片段的数量和各种非玩耍行为对应片段之间的比例。按照非玩耍行为片段的实际比例，将重复率较高的非玩耍片段的数量缩小至玩耍片段数量，从而保持数据平衡。
进一步，所述步骤2的具体过程为：
步骤2.1，为了跟踪蓝色球，对原始图像分别进行R、G、B通道的直方图均衡化，从而增强图像的质量。
步骤2.2，采用Matlab中rgb2hsv函数将RGB空间转化成HSV空间，然后设定对应蓝色的H、S、V分量范围为(0.540,0.689),(0.169,1)和(0.180,1)，并采用hsv2rgb函数将HSV空间中的蓝色区域在以RGB图像显示。为了进一步去除背景，在蓝色球上进行人工多点采样，并将这些标准采样点的R、G、B值的偏差设置为10个像素，得到蓝色球的提取结果。其中，采集样本点方法为：在每个触角上以质心为起点的射线上以11个像素为等间距，采集总共13个标准样本点。
步骤2.3，为了连接这些所提取蓝色点去近似恢复球形状，采用imdilate函数对这些点进行膨胀。
步骤2.4，为了去除此结果中的噪声，采用regionprops和ismember函数计算每个连通域的面积，将最大的连通域定义为球，其他的连通域(即噪声)被去除。
步骤2.5，以恢复后球的质心为原心，以平均猪长度的值为半径(220个像素)，将此圆形区域作为玩耍蓝色球的兴趣区域。
步骤2.6，玩耍金色球的兴趣区域的跟踪方法如步骤2.1-2.5。其中，金色球的H、S、V分量的范围设置为(0.080,0.189),(0.169,1)和(0.180,1)。采集样本点方法为：以质心为起点的射线上，在0°、45°、90°、135°、180°、225°、270°和315°方向上，以13个像素为等间距采集总共17个标准样本点。
步骤2.7，玩耍木棍的兴趣区域的跟踪。由于木棍被固定在墙上，玩耍木棍的兴趣区域被定义为矩形和2个四分之一圆的组合区域。其中，r为猪的平均长度。
进一步，所述步骤3的具体过程为：
为了将原始图像转化成具有区分度的特征，采用卷积神经网络结构InceptionV3获取这些片段中每一帧的2048维8×8像素的特征图。将每一帧对应的所有特征图中的灰度值拉直成131072维列向量[x1,x2,…,x131072]，并将此列向量作为卷积神经网络所提取的空间特征。
进一步，所述步骤4的具体过程为：
根据在玩耍过程中猪和物体之间存在连续互动，而在非玩耍过程中猪和物体之间不存在连续互动这一时空运动差异，采用长短期记忆网络提取玩耍和非玩耍过程中的时空特征用于分类这两种行为。将每一帧的空间特征乘以相应权重得到长短期记忆网络的记忆单元、输入门、输出门和忘记门的4个输入控制信号z,zi,zo和zf。将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记忆单元得到每一帧对应的一个输出yt。由于帧率为30fps，将视频片段中所有帧对应的输出作为一个列向量[y1,y2,…,y30]，将此列向量作为长短期记忆所提取的时空特征。
进一步，所述步骤5的具体过程为：
步骤5.1，采用全连接层对片段的时空特征进行分类得到一个2维向量。
步骤5.2，采用Softmax函数将此2维向量转化成表示玩耍的向量[1,0]和表示非玩耍的向量[0,1]。
进一步，所述步骤6的具体过程为：
步骤6.1，对所检测玩耍片段和非玩耍片段的数量进行统计。
步骤6.2，统计猪对不同物体的玩耍时间，从而确定猪对不同物体的玩耍偏好。
本发明的有益效果是：
本发明对群养猪玩耍行为进行检测。本发明采用的卷积神经网络结构InceptionV3能够将图像转化成具有区分度的空间特征。本发明采用的长短期记忆结构能够从视频片段中提取运动时空特征。本发明采用的卷积神经网络和长短期记忆方法能够直接从视频片段中直接检测出玩耍，这对于实际应用而言是便利的。在潜在应用方面，如玩耍发生时刻和持续时间、玩耍片段数量等大量信息能够被用来做玩耍行为预测，为猪只健康和猪场经济效益提供保障。此外，所统计的玩耍时间和频率数据有助于农场主对猪健康和福利进行评估。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细说明：
图1是基于卷积神经网络和长短期记忆的群养猪玩耍行为分析的流程图；
图2是玩耍蓝色球的兴趣区域跟踪的原理图；其中(a)为原始图像，(b)为基于RGB通道的直方图均衡化，(c)为HSV颜色空间变换，(d)为蓝色像素提取，(e)为蓝色球样本点采集，(f)为蓝色球定位，(g)为蓝色球形状恢复，(h)为玩耍蓝色球的兴趣区域。
图3是玩耍金色球的兴趣区域跟踪的原理图；其中(a)为原始图像，(b)为基于RGB通道的直方图均衡化，(c)为HSV颜色空间变换，(d)为黄色像素提取，(e)为黄色球样本点采集，(f)为黄色球定位，(g)为黄色球形状恢复，(h)为玩耍黄色球的兴趣区域。
图4是玩耍木棍的兴趣区域跟踪的原理图；其中(a)为原始图像，(b)为基于RGB通道的直方图均衡化，(c)为玩耍木棍的兴趣区域的定义，(d)为玩耍木棍的兴趣区域。
图5是卷积神经网络InceptionV3的结构原理图。
图6是长短期记忆(LSTM)的结构原理图。
具体实施方式
图1为基于卷积神经网络和长短期记忆的群养猪玩耍行为分析的流程图，下面结合该图，进一步说明具体涉及的各部分具体实施方式。
步骤1：改建猪舍，获取俯视状态下群养猪玩耍和非玩耍的视频，然后从这些视频中挑选出玩耍和非玩耍片段，并保持数据平衡。
具体方法是：(1)在猪舍(长*宽＝3.50m*5.48m)正上方5m处，安装拍摄俯视视频的图像采集系统，获取包含群养猪玩耍和非玩耍的视频。根据玩耍持续最小时间为1秒，从获取的所有视频中挑选出所有玩耍1秒片段和非玩耍1秒片段，并统计所有玩耍片段的数量。
(2)统计所有非玩耍片段的数量和各种非玩耍行为对应片段之间的比例。
(3)按照非玩耍行为片段的实际比例，将重复率较高的非玩耍片段的数量缩小至玩耍片段数量，从而保持数据平衡。
步骤2：采用基于HSV颜色空间变换的跟踪算法定位每个片段的玩耍区域。
具体方法是：(1)为了跟踪蓝色球，对原始图像(图2(a))分别进行R、G、B通道的直方图均衡化，从而增强图像的质量，如图2(b)所示。
(2)采用Matlab中rgb2hsv函数将RGB空间转化成HSV空间，如图2(c)所示。然后设定对应蓝色的H、S、V分量范围为(0.540,0.689),(0.169,1)和(0.180,1)，并采用hsv2rgb函数将HSV空间中的蓝色区域在以RGB图像显示，如图2(d)所示。为了进一步去除背景，在蓝色球上进行人工多点采样，并将这些标准采样点的R、G、B值的偏差设置为10个像素，得到蓝色球的提取结果，如图2(f)所示。其中，采集样本点方法为：在每个触角上以质心为起点的射线上以11个像素为等间距，采集总共13个标准样本点，如图2(e)所示。
(3)为了连接这些所提取蓝色点去近似恢复球形状，采用imdilate函数对这些点进行膨胀，如图2(g)所示。
(4)为了去除此结果中的噪声，采用regionprops和ismember函数计算每个连通域的面积，将最大的连通域定义为球，其他的连通域(即噪声)被去除。
(5)以恢复后球的质心为原心，以平均猪长度的值为半径(220pixels)，将此圆形区域作为玩耍蓝色球的兴趣区域，如图2(h)所示。
(6)玩耍金色球的兴趣区域的跟踪方法如步骤2.1-2.5，如图3所示。其中，金色球的H、S、V分量的范围设置为(0.080,0.189),(0.169,1)和(0.180,1)。采集样本点方法为：以质心为起点的射线上，在0°、45°、90°、135°、180°、225°、270°和315°方向上，以13个像素为等间距采集总共17个标准样本点。
(7)玩耍木棍的兴趣区域的跟踪。由于木棍被固定在墙上，玩耍木棍的兴趣区域被定义为矩形和2个四分之一圆的组合区域，如图4所示。其中，r为猪的平均长度。
步骤3：采用卷积神经网络提取这些片段中每一帧的空间特征。
具体方法是：(1)为了将原始图像转化成具有区分度的特征，采用卷积神经网络结构InceptionV3获取这些片段中每一帧的2048维8×8像素的特征图。
(2)将每一帧对应的所有特征图中的灰度值拉直成131072维列向量[x1,x2,…,x131072]，并将此列向量作为卷积神经网络所提取的空间特征，如图5所示。其中，InceptionV3的输入是重新尺寸化后的像素为299×299的RGB图像，经过卷积和池化层模块后将原始图像的2048维8×8像素的特征图拉直成一个131072维列向量[x1,x2,…,x131072]，并将此列向量作为卷积神经网络所提取的空间特征。
步骤4：采用长短期记忆将这些空间特征转化成时空特征。
具体方法是：(1)根据在玩耍过程中猪的速度和姿态发生快速变化而在非玩耍过程中猪的速度和姿态变化不大这一时空运动差异，采用长短期记忆网络提取玩耍和非玩耍过程中的时空特征用于分类这两种行为。将每一帧的空间特征乘以相应权重得到长短期记忆网络的记忆单元、输入门、输出门和忘记门的4个输入控制信号z,zi,zo和zf。。
(2)将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记忆单元得到每一帧对应的一个输出yt，如图6所示。可以将长短期记忆网络LSTM考虑成一个有4输入1输出的特殊神经元。z,zi,zo和zf是LSTM的控制信号。这4个信号通过输入门、输出门和忘记门，得到输出yt。此过程中产生的记忆单元ct和ht被带入下一个LSTM，使得LSTM具有记忆功能(t＝1,2,…,30)。其中，z的激活函数g为区间[-1,1]的tanh函数，zi,zo和zf的激活函数f为区间[0,1]的Sigmoid函数，记忆单元cell的激活函数h为区间[-1,1]的tanh函数。ct、ht和yt的计算公式如式(1)：。
ct＝g(z)f(zi)+cf(zf)
ht＝h(ct) (1)
yt＝h(ct)f(zo)
在第1帧中，对应的131072维列向量[x1,x2,…,x131072]乘以权重得到LSTM的控制信号z,zi,zo和zf，通过LSTM得到输出y1和记忆单元c1和h1。在第2帧中，采用获取的另一组131072维列向量[x1,x2,…,x131072]乘以权重得到LSTM的控制信号z,zi,zo和zf，通过LSTM得到输出y2和记忆单元c2和h2。其中，第1帧中的记忆单元c1和h1被带入第2个LSTM，决定了第2帧中的c2和h2。依次采用此方法，得到30帧对应的30维向量[y1,y2,…,y30]作为30个LSTM的总输出。
(3)由于帧率为30fps，将视频片段中所有帧对应的输出列向量[y1,y2,…,y30]作为长短期记忆所提取的时空特征。
步骤5：采用全连接层和Softmax函数分类时空特征从而检测玩耍行为。
具体方法是：(1)采用全连接层对片段的时空特征进行分类得到一个2维向量。
(2)采用Softmax函数转化此2维向量为所有元素为区间(0,1)间的值并且标准化这些值(这些值的和为1)。最终，带有最高概率的类被选择为预测值1，另一维为0。其中，[1,0]表示玩耍，[0,1]表示非玩耍。
步骤6：统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。
具体方法是：(1)对所检测玩耍片段和非玩耍片段的数量进行统计。
(2)统计猪对不同物体的玩耍时间，从而确定猪对不同物体的玩耍偏好。
优选实施例：
本发明的一个最优具体实施方式：改建猪舍，在猪舍(长*宽＝3.50m*5.48m)正上方5m处，安装拍摄俯视视频的图像采集系统，获取包含11头左右猪的玩耍和非玩耍视频，图像分辨率为1280×720像素。从获取的所有视频中挑选出所有玩耍1秒片段和非玩耍1秒片段，并保持数据平衡。采用基于HSV颜色空间变换的跟踪算法定位每个片段的玩耍区域，采用卷积神经网络结构InceptionV3获取这些片段中每一帧的2048维8×8像素的特征图，并拉直成一个131072维列向量[x1,x2,…,x131072]作为空间特征。将每一帧的空间特征乘以相应权重得到长短期记忆网络的记忆单元、输入门、输出门和忘记门的4个输入控制信号z,zi,zo和zf。将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记忆单元得到所有帧对应的总输出[y1,y2,…,y30]作为时空特征。采用全连接层和Softmax函数分类时空特征为表示玩耍的向量[1,0]和表示非玩耍的向量[0,1]。统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。经过上述步骤，最终实现了俯视群养猪的玩耍行为检测和健康评估。
综上所述，本发明的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，首先是从俯视群养猪视频中挑选玩耍片段和非玩耍片段并保持数据平衡；接着采用基于HSV颜色空间变换的跟踪算法定位每个片段的玩耍区域；然后采用卷积神经网络提取这些片段中每一帧的空间特征，并采用长短期记忆将这些空间特征转化成时空特征；最后采用全连接层和Softmax函数分类时空特征从而检测玩耍行为，并统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好。该项研究是基于卷积神经网络和长短期记忆对群养猪进行玩耍行为检测，不会对猪个体产生任何干扰，为传统的人工观测群养猪玩耍行为提供了参考。所统计的玩耍时间和频率数据有助于农场主对猪健康和福利进行评估。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于，包括以下步骤：
步骤1，获取俯视状态下群养猪视频，从视频中挑选玩耍片段和非玩耍片段并保持数据平衡；步骤2，定位每个片段的玩耍区域；步骤3，采用卷积神经网络提取这些片段中每一帧的空间特征；步骤4，采用长短期记忆将这些空间特征转化成时空特征；步骤5，采用全连接层和Softmax函数分类时空特征从而检测玩耍行为；步骤6，统计所检测玩耍行为的持续时间用来确定猪对不同物体的玩耍偏好；
所述步骤2的具体过程为：
步骤2.1，为了跟踪蓝色球，对原始图像分别进行R、G、B通道的直方图均衡化，从而增强图像的质量；
步骤2.2，采用Matlab中rgb2hsv函数将RGB空间转化成HSV空间，然后设定对应蓝色的H、S、V分量范围为(0.540,0.689),(0.169,1)和(0.180,1)，并采用hsv2rgb函数将HSV空间中的蓝色区域在以RGB图像显示，为了进一步去除背景，在蓝色球上进行人工多点采样，并将这些标准采样点的R、G、B值的偏差设置为10个像素，得到蓝色球的提取结果，其中，采集样本点方法为：在每个触角上以质心为起点的射线上以11个像素为等间距，采集总共13个标准样本点；
步骤2.3，为了连接这些所提取蓝色点去近似恢复球形状，采用imdilate函数对这些点进行膨胀；
步骤2.4，为了去除此结果中的噪声，采用regionprops和ismember函数计算每个连通域的面积，将最大的连通域定义为球，其他的连通域被去除；
步骤2.5，以恢复后球的质心为原心，以平均猪长度的值为半径，将此圆形区域作为玩耍蓝色球的兴趣区域；
步骤2.6，玩耍金色球的兴趣区域的跟踪方法如步骤2.1-2.5，其中，金色球的H、S、V分量的范围设置为(0.080,0.189),(0.169,1)和(0.180,1)；采集样本点方法为：以质心为起点的射线上，在0°、45°、90°、135°、180°、225°、270°和315°方向上，以13个像素为等间距采集总共17个标准样本点；
步骤2.7，玩耍木棍的兴趣区域的跟踪，由于木棍被固定在墙上，玩耍木棍的兴趣区域被定义为矩形和2个四分之一圆的组合区域，其中，r为猪的平均长度。
2.根据权利要求1所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述步骤1具体包括：
首先改建实验用猪舍，在猪舍正上方安装拍摄俯视视频的图像采集系统，获取包含猪玩耍和非玩耍的视频，然后从这些视频中挑选出玩耍和非玩耍片段，并保持数据平衡。
3.根据权利要求2所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述视频中挑选出玩耍和非玩耍片段，并保持数据平衡的具体方法是：
根据玩耍持续最小时间为1秒，从获取的所有视频中挑选出所有玩耍1秒片段和非玩耍1秒片段，并统计所有玩耍片段的数量；然后统计所有非玩耍片段的数量和各种非玩耍行为对应片段之间的比例；按照非玩耍行为片段的实际比例，将重复率高的非玩耍片段的数量缩小至玩耍片段数量，从而保持数据平衡。
4.根据权利要求1所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述步骤3的具体过程为：
步骤3.1，为了将原始图像转化成具有区分度的特征，采用卷积神经网络结构InceptionV3获取这些片段中每一帧的2048维8×8像素的特征图；
步骤3.2，将每一帧对应的所有特征图中的灰度值拉直成131072维列向量[x1,x2,…,x131072]，并将此列向量作为卷积神经网络所提取的空间特征。
5.根据权利要求1所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述步骤4的具体过程为：
根据在玩耍过程中猪和物体之间存在连续互动，而在非玩耍过程中猪和物体之间不存在连续互动这一时空运动差异，采用长短期记忆网络提取玩耍和非玩耍过程中的时空特征用于分类这两种行为，将每一帧的空间特征乘以相应权重得到长短期记忆网络的记忆单元、输入门、输出门和忘记门的4个输入控制信号z,zi,zo和zf；然后将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记忆单元得到每一帧对应的一个输出yt；由于帧率为30fps，将视频片段中所有帧对应的输出作为一个列向量[y1,y2,…,y30]，将此列向量作为长短期记忆所提取的时空特征。
6.根据权利要求1所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述步骤5的具体过程为：
步骤5.1，采用全连接层对片段的时空特征进行分类得到一个2维向量；
步骤5.2，采用Softmax函数将此2维向量转化成表示玩耍的向量[1,0]和表示非玩耍的向量[0,1]。
7.根据权利要求1所述的一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法，其特征在于：所述步骤6的具体过程为：
步骤6.1，对所检测玩耍片段和非玩耍片段的数量进行统计；
步骤6.2，统计猪对不同物体的玩耍时间，从而确定猪对不同物体的玩耍偏好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010377458.4A CN111753640B (zh) | 2020-05-07 | 2020-05-07 | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010377458.4A CN111753640B (zh) | 2020-05-07 | 2020-05-07 | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753640A CN111753640A (zh) | 2020-10-09 |
| CN111753640B true CN111753640B (zh) | 2024-05-14 |
Family
ID=72673269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010377458.4A Active CN111753640B (zh) | 2020-05-07 | 2020-05-07 | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753640B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112568141A (zh) * | 2020-12-09 | 2021-03-30 | 东莞中融数字科技有限公司 | 对猪进行疾病预防的监管系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778784A (zh) * | 2016-12-20 | 2017-05-31 | 江苏大学 | 基于机器视觉的猪个体识别与饮水行为分析方法 |
| CN111046808A (zh) * | 2019-12-13 | 2020-04-21 | 江苏大学 | 采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法 |
-
2020
- 2020-05-07 CN CN202010377458.4A patent/CN111753640B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778784A (zh) * | 2016-12-20 | 2017-05-31 | 江苏大学 | 基于机器视觉的猪个体识别与饮水行为分析方法 |
| CN111046808A (zh) * | 2019-12-13 | 2020-04-21 | 江苏大学 | 采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753640A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105354548B (zh) | 一种基于ImageNet检索的监控视频行人重识别方法 | |
| CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
| CN113436169B (zh) | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 | |
| CN109816689A (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
| CN105740758A (zh) | 基于深度学习的互联网视频人脸识别方法 | |
| CN109255284B (zh) | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 | |
| CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN111383244B (zh) | 一种目标检测跟踪方法 | |
| CN112580612B (zh) | 一种生理信号预测方法 | |
| Yang et al. | Automatic pixel-level crack detection for civil infrastructure using Unet++ and deep transfer learning | |
| CN113470076B (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
| CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
| CN113688761B (zh) | 一种基于图像序列的行人行为类别检测方法 | |
| CN108416780A (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN111738218A (zh) | 人体异常行为识别系统及方法 | |
| CN113688741A (zh) | 一种基于事件相机和视觉相机协同的运动训练评估系统及方法 | |
| CN111753640B (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪玩耍行为的分析方法 | |
| Vaidya et al. | Leveraging YOLOv7 for plant disease detection | |
| Lee et al. | Fast object localization using a CNN feature map based multi-scale search | |
| Atikuzzaman et al. | Human activity recognition system from different poses with cnn | |
| CN114627553A (zh) | 一种基于卷积神经网络的教室场景学生行为检测的方法 | |
| CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |