CN114299436A - 融合时空双注意力机制的群养生猪争斗行为识别方法 - Google Patents
融合时空双注意力机制的群养生猪争斗行为识别方法 Download PDFInfo
- Publication number
- CN114299436A CN114299436A CN202111650132.5A CN202111650132A CN114299436A CN 114299436 A CN114299436 A CN 114299436A CN 202111650132 A CN202111650132 A CN 202111650132A CN 114299436 A CN114299436 A CN 114299436A
- Authority
- CN
- China
- Prior art keywords
- fighting
- group
- attention mechanism
- fused
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 title claims abstract description 35
- 238000009395 breeding Methods 0.000 title abstract description 8
- 230000006399 behavior Effects 0.000 claims abstract description 54
- 241000282887 Suidae Species 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000003828 downregulation Effects 0.000 claims abstract description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000001488 breeding effect Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 244000144980 herd Species 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 210000003918 fraction a Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了融合时空双注意力机制的群养生猪争斗行为识别方法，包括以下步骤：通过摄像头采集群养生猪争斗行为视频数据，建立数据集；将视频数据进行抽帧操作，以水平翻转、垂直翻转、对角翻转及下调50％图像亮度的方法进行数据增强；构建融合空间和时序注意力机制的时空组合模型，并通过增强后得到的数据训练得到争斗行为识别效果最佳的时空组合模型。该融合时空双注意力机制的群养生猪争斗行为识别方法，解决了视频数据在空间和时间域具有过多冗余信息和不显著特征而导致识别效果不佳的问题，对于同一批群养生猪争斗行为数据其识别效果超过了预训练模型的识别精度，有益于提高生猪养殖业的经济效益。
Description
技术领域
本发明涉及视频行为分析技术领域，具体为融合时空双注意力机制的群养生猪争斗行为识别方法。
背景技术
现如今生猪养殖业越来越趋于集约化和规模化，每一只生猪在养殖过程中都会经历多次混群，混群之后大概率会出现争斗行为。该行为会严重影响生猪的生长率和繁殖率，降低养殖场的经济收益，因此在生猪养殖业中需要注意群体饲养的生猪是否发生争斗行为，判断是否需要进行人为干预。随着数字图像处理技术和深度学习领域的发展，相较于以往的人工观察方式，现在越来越多的学者倡议使用计算机视觉方法进行自动无接触的识别争斗行为。这种方法实时高效，在一定程度上能够极大的保证生猪的动物福利，节约人工成本，减少发生人畜疾病交叉感染的风险，进一步还可以辅助动物科学领域相关研究人员对生猪行为的观察与研究。
目前群养生猪争斗行为识别领域的主流方法为传统方法和深度学习方法。传统方法是基于图像处理技术提取猪只图像中的行为相关特征，再结合机器学习等手段对特征进行处理来识别争斗行为。此方法精度较高，但需要额外提取特征(如活动指数、粘连指数等)导致效率低下，并且不同种类猪只个体差异性大，在生长的过程中猪只非刚性的躯体也会逐渐发生变化，故提取的特征可能不具有普适性。此外由于猪舍内猪体粘连、遮挡、不良照明条件以及群养生猪争斗行为的复杂性等原因，传统方法难以在集约化养殖的猪场内实时、高效的进行群养生猪争斗行为的识别。随着深度学习的兴起，越来越多的研究人员尝试使用深度学习方法来识别争斗行为，此方法为实时行为识别提供了可能，但是识别精度还有待提高。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了融合时空双注意力机制的群养生猪争斗行为识别方法，具备着重关注视频数据在空间、时间域中的重要特征且不需要额外提取非普适性特征的优点。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：融合时空双注意力机制的群养生猪争斗行为识别方法，包括以下步骤：
S1：通过摄像头以垂直向下的视角采集混群后72小时之内猪群行为的视频数据，并人工挑选出争斗行为与非争斗行为视频片段，标注为争斗与非争斗两类，建立群养生猪争斗行为数据集，将数据集分为训练集、验证集和测试集。
S2：将视频数据进行抽帧操作，以水平翻转、垂直翻转、对角翻转及下调50％图像亮度的方法进行数据增强。
S3：构建融合空间注意力机制的VGG16卷积神经网络模型，将S2中得到的数据作为该模型的输入，并将训练好的模型去掉全连接层作为空间特征提取器。
S4：使用S3中的空间特征提取器对数据逐帧提取空间特征，输出为向量形式。
S5：构建融合了时序注意力机制的门循环单元GRU作为时序网络模型，其输入为S4中得到的空间特征向量，经过训练得到时序网络模型最佳权重。
优选的，所述S3中的融合空间注意力机制的VGG16卷积神经网络模型包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块、三层全连接层及soft-max输出层。
优选的，所述S3中的空间特征提取器包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块及Flatten层。
优选的，所述S5中的时序网络模型包括依次连接的GRU门循环单元、时序注意力模块、全连接层及soft-max输出层。
优选的，所述S1中的摄像头为海康威视网络摄像头，型号为DS-2CD3345D-I，帧率为25fps/s，视频分辨率为2560*1440，所述挑选视频片段是通过Pot-player软件进行人工察看、剪辑，经过剪辑后的视频文件以.mp4文件格式进行保存，并分别根据类别进行归类。
优选的，所述S2中对视频数据逐帧抽取和数据增强操作所使用程序均基于Opencv库开发，得到的二维图像格式均为.jpg，使用的显卡为NVIDIA-RTX-5000。
优选的，所述S3中的融合空间注意力机制的VGG16卷积神经网络模型以S2中得到的数据进行训练得到预测类别，并和真实类别进行比较，根据差值反向更新，迭代调整网络模型参数，所述空间注意力模块包括依次连接的BN层、两层卷积层、一层局部连接层和一层卷积层。
优选的，所述S4中空间特征提取器输出的向量维度为25088。
(三)有益效果
与现有技术相比，本发明提供了融合时空双注意力机制的群养生猪争斗行为识别方法，具备以下有益效果：
1、该融合时空双注意力机制的群养生猪争斗行为识别方法，避免额外提取无普适性的生猪运动特征及生猪轮廓特征点，使用具有自学能力和非线性适应性信息处理能力的神经网络。
2、该融合时空双注意力机制的群养生猪争斗行为识别方法，该方法中的时空注意力机制可以在包含过多冗余信息和不相关信息的数据中提取重要的时空信息，达到可以实际应用的争斗行为识别效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的群养生猪争斗行为识别算法模型结构示意图；
图2为本发明的数据增强示意图；
图3为本发明的空间特征提取器训练结果图；
图4为本发明的群养生猪争斗行为识别算法基于采集到的争斗行为数据集的精度-Loss结果图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本实施例提供融合时空双注意力机制的群养生猪争斗行为识别方法，包括以下步骤：
S1：通过海康威视网络摄像头以垂直向下的视角采集混群后72小时之内猪群行为的视频数据，并人工挑选出争斗行为与非争斗行为视频片段，标注为争斗与非争斗两类，建立群养生猪争斗行为数据集，将数据集分为训练集、验证集和测试集，每个行为视频片段为75帧的数据集组成，将数据集以6：2：2的比例划分为训练集、测试集与验证集，分别用于训练模型与验证模型性能。
S2：对视频数据进行抽帧操作，以水平翻转、垂直翻转、对角翻转及下调50％图像亮度的方法进行数据增强，以上操作的程序均基于Opencv库开发。
S3：构建融合空间注意力机制的VGG16卷积神经网络模型，将增强后的数据作为该模型的输入，训练得到的模型去掉全连接层作为空间特征提取器，融合空间注意力机制的VGG16卷积神经网络模型包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块、三层全连接层及soft-max输出层，空间特征提取器包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块及Flatten层，融合空间注意力机制的VGG16卷积神经网络模型以S2中得到的数据进行训练得到预测类别，并和真实类别进行比较，根据差值反向更新，迭代调整网络模型参数，所述空间注意力模块包括依次连接的BN层、两层卷积层、一层局部连接层和一层卷积层。
S4：使用S3中训练好的空间特征提取器对数据逐帧提取空间特征，输出为向量形式，空间特征提取器输出的向量维度为25088。
S5：构建融合了时序注意力机制的门循环单元GRU作为时序网络模型，其输入为S4中得到的空间特征向量，经过训练得到时序网络模型最佳权重，时序网络模型包括依次连接的GRU门循环单元部分、时序注意力模块、全连接层及soft-max输出层。
可使用型号为DS-2CD3345D-I，帧率为25fps/s，视频分辨率为2560*1440的海康威视网络摄像头对大白保育猪进行争斗行为视频数据的采集，摄像头放置于猪舍顶部，在混群前开启摄像头。
本发明运行环境参数信息如下：处理器为Intel(R)Xeon(R)Gold6244，8核3.60GHz，内存为192Gb，操作系统为MicrosoftWindows10pro版本，显卡型号为NVIDIARTX5000，显存为16Gb，Python3.6版本，Tensorflow2.2.0版本。
构建融合空间注意力机制的VGG16卷积神经网络模型，将增强后全部数据集的帧级别数据作为该模型的输入，设置迭代次数为100，每次模型训练的输入二维图像数量为256，模型初始学习率为0.002，训练得到的模型去掉全连接层作为空间特征提取器。
构建融合了时序注意力机制的门循环单元GRU作为时序网络模型，其输入为S4中得到的空间特征向量，采用交叉熵函数作为损失函数，设置迭代次数为2000次，每次输入模型数据的批量为32，模型初始学习率为0.00001，经过训练得到时序网络模型最佳权重。
时序注意力由两层全连接层构成，每一帧的时序注意力分数at可以表示为at＝σ(vTtanh(Mgt+d)+D)，其中，M和d为第一层全连接神经网络的权值参数和偏置量，v和D为第二层全连接神经网络的权值参数和偏置量，最后再用sigmoid函数将输出控制在[0，1]之间，为了更明显的表示哪一帧突出或抑制的情况，按照
归一化时间注意力分数，其中T为输入的图像帧数，wt为时序注意力权重，最后将时序注意力权重与每个时间步的特征进行融合，生成时序特征f'，
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于，包括以下步骤：
S1：通过摄像头以垂直向下的视角采集混群后72小时之内猪群行为的视频数据，并人工挑选出争斗行为与非争斗行为视频片段，标注为争斗与非争斗两类，建立群养生猪争斗行为数据集，将数据集分为训练集、验证集和测试集；
S2：将视频数据进行抽帧操作，以水平翻转、垂直翻转、对角翻转及下调50％图像亮度的方法进行数据增强；
S3：构建融合空间注意力机制的VGG16卷积神经网络模型，将S2中得到的数据作为该模型的输入，并将训练好的模型去掉全连接层作为空间特征提取器；
S4：使用S3中的空间特征提取器对数据逐帧提取空间特征，输出为向量形式；
S5：构建融合了时序注意力机制的门循环单元GRU作为时序网络模型，其输入为S4中得到的空间特征向量，经过训练得到时序网络模型最佳权重。
2.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S3中的融合空间注意力机制的VGG16卷积神经网络模型包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块、三层全连接层及soft-max输出层。
3.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S3中的空间特征提取器包括依次连接的输入层、VGG16网络中的5层卷积层、空间注意力模块及Flatten层。
4.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S5中的时序网络模型包括依次连接的GRU门循环单元、时序注意力模块、全连接层及soft-max输出层。
5.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S1中的摄像头为海康威视网络摄像头，型号为DS-2CD3345D-I，帧率为25fps/s，视频分辨率为2560*1440，所述挑选视频片段是通过Pot-player软件进行人工察看、剪辑，经过剪辑后的视频文件以.mp4文件格式进行保存，并分别根据类别进行归类。
6.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S2中对视频数据逐帧抽取和数据增强操作所使用程序均基于Opencv库开发，得到的二维图像格式均为.jpg，使用的显卡为NVIDIA-RTX-5000。
7.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S3中的融合空间注意力机制的VGG16卷积神经网络模型以S2中得到的数据进行训练得到预测类别，并和真实类别进行比较，根据差值反向更新，迭代调整网络模型参数，所述空间注意力模块包括依次连接的BN层、两层卷积层、一层局部连接层和一层卷积层。
8.根据权利要求1所述的融合时空双注意力机制的群养生猪争斗行为识别方法，其特征在于：所述S4中空间特征提取器输出的向量维度为25088。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111650132.5A CN114299436A (zh) | 2021-12-30 | 2021-12-30 | 融合时空双注意力机制的群养生猪争斗行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111650132.5A CN114299436A (zh) | 2021-12-30 | 2021-12-30 | 融合时空双注意力机制的群养生猪争斗行为识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299436A true CN114299436A (zh) | 2022-04-08 |
Family
ID=80973346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111650132.5A Pending CN114299436A (zh) | 2021-12-30 | 2021-12-30 | 融合时空双注意力机制的群养生猪争斗行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299436A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
| CN111310676A (zh) * | 2020-02-21 | 2020-06-19 | 重庆邮电大学 | 基于CNN-LSTM和attention的视频动作识别方法 |
| CN113469356A (zh) * | 2021-06-03 | 2021-10-01 | 江苏大学 | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 |
| CN113822185A (zh) * | 2021-09-09 | 2021-12-21 | 安徽农业大学 | 一种群养生猪日常行为检测方法 |
-
2021
- 2021-12-30 CN CN202111650132.5A patent/CN114299436A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
| CN110188637A (zh) * | 2019-05-17 | 2019-08-30 | 西安电子科技大学 | 一种基于深度学习的行为识别技术方法 |
| CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
| CN111310676A (zh) * | 2020-02-21 | 2020-06-19 | 重庆邮电大学 | 基于CNN-LSTM和attention的视频动作识别方法 |
| CN113469356A (zh) * | 2021-06-03 | 2021-10-01 | 江苏大学 | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 |
| CN113822185A (zh) * | 2021-09-09 | 2021-12-21 | 安徽农业大学 | 一种群养生猪日常行为检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN108830144B (zh) | 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法 | |
| CN107844797A (zh) | 一种基于深度图像的哺乳母猪姿态自动识别的方法 | |
| CN108154102A (zh) | 一种道路交通标志识别方法 | |
| CN106650795B (zh) | 酒店房型图像的排序方法 | |
| CN110598658B (zh) | 一种母猪哺乳行为的卷积网络识别方法 | |
| CN105654141A (zh) | 基于Isomap和SVM算法的俯视群养猪个体识别方法 | |
| CN113591671B (zh) | 一种基于Mask-Rcnn识别鱼类生长检测方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN112101259A (zh) | 一种基于堆叠沙漏网络的单只猪体姿态识别系统及方法 | |
| EP4016454A1 (en) | Three-dimensional edge detection method and apparatus, storage medium and computer device | |
| CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
| CN115115830A (zh) | 一种基于改进Transformer的家畜图像实例分割方法 | |
| CN113762113A (zh) | 一种牲畜分娩行为监控方法及装置 | |
| CN112528823A (zh) | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 | |
| CN111241908B (zh) | 幼禽生物特征识别装置及方法 | |
| CN114299436A (zh) | 融合时空双注意力机制的群养生猪争斗行为识别方法 | |
| CN116152718A (zh) | 一种对虾养殖智能化观测装置及观测方法 | |
| CN115272956A (zh) | 一种基于改进的YOLOv5的鸡只健康度监测方法 | |
| CN115761356A (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| CN114997725A (zh) | 基于注意力机制与轻量级卷积神经网络的奶牛体况评分方法 | |
| CN114463741A (zh) | 一种基于深度学习的荔枝病虫害识别方法 | |
| CN110309769A (zh) | 一种对图片中的字符串进行分割的方法 | |
| CN117314755B (zh) | 一种基于跨模态图像生成的多视角植株生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220408 |