CN114333049A - 猪只攻击行为识别方法、系统、计算机设备和存储介质 - Google Patents
猪只攻击行为识别方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114333049A CN114333049A CN202111513771.7A CN202111513771A CN114333049A CN 114333049 A CN114333049 A CN 114333049A CN 202111513771 A CN202111513771 A CN 202111513771A CN 114333049 A CN114333049 A CN 114333049A
- Authority
- CN
- China
- Prior art keywords
- space
- time
- fusion
- feature
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 130
- 230000006399 behavior Effects 0.000 claims abstract description 49
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 241000282887 Suidae Species 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000016571 aggressive behavior Effects 0.000 claims description 12
- 206010001488 Aggression Diseases 0.000 claims description 11
- 208000012761 aggressive behavior Diseases 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了猪只攻击行为识别方法、系统、计算机设备和存储介质，通过从获取的待识别群养猪视频中提取待识别关键帧序列后，将待识别群养猪视频输入轻量化3D卷积神经网络提取得到对应的待融合时空特征，及将待识别关键帧序列输入2D卷积神经网络提取得到对应的待融合空间特征，再将待融合时空特征与待融合空间特征进行特征融合得到时空融合特征，并采用空洞卷积层对时空融合特征进行边界框预测和动作分类得到识别结果的方法，解决现有技术过度依赖人为经验、耗时耗力且不够智能等应用受限问题的同时，实现猪只动作的精准高效识别分类，为猪只攻击行为提供实时有效监控，为猪只健康生长和养猪业的经济收入提供可靠保障。
Description
技术领域
本发明涉及计算机视觉及行为识别技术领域，特别是涉及一种基于实时视频流时空动作定位的猪只攻击行为识别方法、系统、计算机设备和存储介质。
背景技术
养猪业是我国农业中的重要产业，为肉食品供应提供了有效保障。由于养猪业推行高密度养成猪，而群养猪就会因为面临生存空间受限、饮食资源的争抢等问题，出现群内攻击行为。猪只攻击行为极易导致双方身体受伤和感染，影响后期的正常生长，严重时会导致死亡，进而影响猪肉产量，造成养猪业的经济损失，因此，随着智能养猪业的发展，猪只攻击行为的研究就备受关注，期望基于视频监控来及时准确地识别猪只攻击行为，进而避免其带来的不良影响。
目前，不少学者提出了相应的猪只攻击行为自动监测方法，如基于一段时间内猪的运动像素强度均值和持续时间，利用线性判别分析猪只交互性攻击行为的运动历史图算法攻击行为检测方法；基于最大值、最小值、平均值、速度标准偏差和猪间距离，利用SVM分类识别分类攻击行为且给出攻击行为种类攻击行为检测方法；基于相邻帧间发生攻击行为的猪整体运动加速度特征，利用分层聚类来计算加速度阈值的判别攻击行为方法；采用ALR-GMM算法提取育肥猪行为视频单元的活动指数特征，构建活动指数，并采用线性核函数支持向量机建立分类器的攻击行为检测方法等。现有猪只攻击行为识别方法虽然能在一定程度上对猪只攻击行为进行有效检测，但其均是基于运动特征识别猪只的攻击行为，这些方法需要依靠手工设计特征，过于依赖于人的经验，且最佳特征组合的确定需要进行重复试验，不仅耗时耗力，而且不够智能，应用受限。
发明内容
本发明的目的是从计算机视觉角度出发，提出一种基于实时视频流时空动作定位的猪只攻击行为识别方法，通过采用轻量化3D+2D实时动作定位网络对猪只行为视频进行时空信息的提取后，使用改进的自注意力机制进行时空信息融合，再使用空洞卷积层进行边界框预测和动作分类的技术方案，对实时监控视频中猪只的时空特征进行快速提取、融合，实现猪只动作的精准高效识别分类，为猪只攻击行为提供实时有效监控，进而有效保证猪只的健康生长，为养猪业的经济收入提供可靠保障。
为了实现上述目的，有必要针对上述技术问题，提供了一种猪只攻击行为识别方法、系统、计算机设备和存储介质。
第一方面，本发明实施例提供了一种猪只攻击行为识别方法，所述方法包括以下步骤：
获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；
将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；
将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；
将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；
采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。
进一步地，所述从所述待识别群养猪视频中提取待识别关键帧序列的步骤包括：
对所述待识别群养猪视频的视频帧进行图像预处理，得到待识别视频帧图像；
根据各个待识别视频帧图像的连通域面积和粘连指数，从所述待识别视频帧图像中提取所述待识别关键帧序列。
进一步地，所述基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络的步骤包括：
将所述MobileNetv3-small网络中的卷积核大小为5×5的逆残差线性瓶颈层模块替换为XSepCovbneck模块；所述XSepCovbneck模块包括依次连接的1×1升维卷积、XSepConv极致分离卷积、通道注意力模块和1×1降维卷积。
进一步地，所述将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征的步骤包括：
将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的时空特征；
将所述时空特征按照预设融合尺寸进行压缩，得到所述待融合时空特征。
进一步地，所述2D卷积神经网络包括依次连接的CSPDarknet53网络、残差模块和SPPNet网络；所述残差模块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层；
所述将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征的步骤包括：
通过所述CSPDarknet53网络对所述待识别关键帧序列进行特征提取，得到第一空间特征；
将所述第一空间特征输入所述残差模块进行卷积处理，得到第二空间特征；
通过所述SPPNet网络对所述第二空间特征进行空间金字塔池化，得到所述预设融合尺寸的待融合空间特征。
进一步地，所述特征融合包括通道融合和注意力机制融合；
所述将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征的步骤包括：
将所述待融合时空特征与所述待融合空间特征进行通道融合，得到第一时空融合特征；
将所述第一时空融合特征输入卷积模块，得到第二时空融合特征；所述卷积模块包括2个3×3卷积层；
采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征；
将所述第三时空融合特征输入所述卷积模块，得到所述时空融合特征。
进一步地，所述采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征步骤包括：
将所述第二时空融合特征进行二维向量化处理，得到第一处理矩阵；
将所述第一处理矩阵与所述第一处理矩阵的转置作积，得到对应的格拉姆矩阵；
将所述格拉姆矩阵输入softmax模块进行分类处理，得到通道注意力特征；
采用所述通道注意力特征对所述第二时空融合特征进行修正处理，并对修正后的时空融合特征进行维度转换，得到修正时空融合特征；
将所述所述第二时空融合特征与所述修正时空融合特征相加，得到所述第三时空融合特征。
第二方面，本发明实施例提供了一种猪只攻击行为识别系统，所述系统包括：
视频获取模块，用于获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；
时空特征模块，用于将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；
空间特征模块，用于将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；
特征融合模块，用于将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；
结果识别模块，用于采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种猪只攻击行为识别方法、系统、计算机设备及存储介质，通过所述方法，实现了从获取的待识别群养猪视频中提取待识别关键帧序列后，将待识别群养猪视频输入轻量化3D卷积神经网络提取得到对应的待融合时空特征，及将待识别关键帧序列输入2D卷积神经网络提取得到对应的待融合空间特征，再将待融合时空特征与待融合空间特征进行特征融合得到时空融合特征，并采用空洞卷积层对时空融合特征进行边界框预测和动作分类得到识别结果的技术方案。与现有技术相比，该猪只攻击行为识别方法通过采用轻量化3D+2D实时动作定位网络对猪只行为视频中猪只的时空信息进行快速提取，并采用改进的自注意力机制进行有效融合，再结合空洞卷积层的边界框预测和动作分类，有效解决现有技术过度依赖人为经验、耗时耗力且不够智能等应用受限问题的同时，实现猪只动作的精准高效识别分类，为猪只攻击行为提供实时有效监控，为猪只健康生长和养猪业的经济收入提供可靠保障。
附图说明
图1是本发明实施例中猪只攻击行为识别方法的应用场景示意图；
图2是本发明实施例中猪只攻击行为识别方法的网络结构示意图；
图3是本发明实施例中猪只攻击行为识别方法的流程示意图；
图4是本发明实施例中XSepConvMobileNetv3网络的XSepConvbneck结构示意图；
图5是图3中步骤S12得到待融合时空特征的流程示意图；
图6是图3中步骤S13得到待融合空间特征的流程示意图；
图7是图3中步骤S14对待融合时空特征和待融合空间特征进行特征融合的流程示意图；
图8是待融合时空特征与待融合空间特征的特征融合结构示意图；
图9是本发明实施例中猪只攻击行为识别系统的结构示意图；
图10是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的猪只攻击行为识别方法可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可以基于实时获取的待识别群养猪视频，采用本发明提供的猪只攻击行为识别方法，采用图2所示的网络架构完成对各个视频中的猪只攻击行为的识别，并将最终得到的识别结果应用于服务器上其他学习任务，或者将其传送至终端，以供终端使用者接收使用。
在一个实施例中，如图3所示，提供了一种猪只攻击行为识别方法，包括以下步骤：
S11、获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；其中，待识别群养猪视频为实时获取的用于进行攻击行为识别分析的监控视频，其由按照时间顺序排列的连续帧序列组成，且形状为[C×D×H×W]，其中，C表示通道数C＝3、D表示输入帧的数量、H和W分别表示输入图像的高度和宽度；由于2D卷积神经网络处理的只能是图片，需要从待识别群养猪视频中提取出可供其分析识别的待识别关键帧序列，原则上具体的待识别关键帧序列的提取方式可以采用任一可实现的现有技术即可，为了保证待识别关键帧序列识别的合理性和有效性，本实施例中基于待识别群养猪视频内视频帧图像的连通域面积和粘连指数进行分析和提取，具体包括以下步骤：
对所述待识别群养猪视频的视频帧进行图像预处理，得到待识别视频帧图像；
根据各个待识别视频帧图像的连通域面积和粘连指数，从所述待识别视频帧图像中提取所述待识别关键帧序列。
S12、将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；其中，所述MobileNetv3-small网络为现有轻量型网络模型，其使用了11个逆残差线性瓶颈层模块(bottleneck，bneck)对特征图进行卷积操作，其中，前三个bneck的深度可分离卷积核大小为3×3，后面8个bneck使用了卷积核为5×5的深度可分离卷积来增大感受野。为了进一步减少计算量和提高模型的推理速度，本实施例用XSepConv替代深度可分离卷积，得到如图4所示的XSepConvbneck结构，再利用包括依次连接的1×1升维卷积、XSepConv极致分离卷积(即K×KDWConv＝2×2DWConv(改进对称padding策略)+1×K DWConv+K×1DWConv，通过利用空间分离卷积来减小大深度卷积核的参数大小和计算复杂度，并使用一个额外的2x2深度卷积和改进的对称填充策略来补偿空间可分卷积带来的副作用)、通道注意力模块(SE(Squeeze and Excitation)模块)和1×1降维卷积的XSepConvbneck替代MobileNetv3-small中卷积核为5×5的逆残差线性瓶颈层模块bneck结构，得到全新的XSepConvMobileNetv3网络，以其作为3D CNN对待识别群养猪视频进行时空信息提取。需要说明的是，如图4所示XSepConvbneck模块中BN表示批量归一化，NL表示激活函数，本实施例优先选hard-swish激活函数，通过将swish函数分段线性化，在不牺牲精度的前提下，有效减小了计算量，提高了模型的学习效率。
具体地，如图5所示，所述基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络的步骤S12包括：
S121、将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的时空特征；其中，待识别群养猪视频对应的特征图输入轻量化3D卷积神经网络的XSepConvbneck模块后，先经过1×1升维卷积，然后经过XSepConv卷积操作，再进行1×1降维卷积，再将得到的结果与残差边进行相加输出，且XSepConv卷积的输出和1×1降维卷积之间添加的轻量级通道注意力模块SE，能在不增加计算量的同时，有效提升模型的准确率。
S122、将所述时空特征按照预设融合尺寸进行压缩，得到所述待融合时空特征。其中，预设融合尺寸为通道融合和注意力机制融合所限定的特征尺寸，其为待融合时空特征和待融合空间特征均需满足的尺寸大小。具体地，XSepConvMobileNetv3的最后一个转换层输出是一个形状为[C1×D1×H′×W′]的特征图，其中，C1是输出通道数，D1＝1、H'＝H/32和W'＝W/32，输出特征图的深度维数缩小为1，使输出体积压缩到[C1×H′×W′]，以匹配2D卷积神经网络的输出特征图。
S13、将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；其中，2D卷积神经网络用于解决空间定位问题，在使用轻量化3D卷积神经网络提取时空信息的同时，需要并行使用2D卷积神经网络提取待识别关键帧序列的空间信息。本实施例的2D卷积神经网络如图2所示优选采用依次连接的CSPDarknet53网络、残差模块和SPPNet网络的2D网络，即，以CSPDarknet53作为2D卷积神经网络的基本体系结构，为了进一步扩大感受野，在CSPDarknet53网络的最后一个特征提取层后，添加一个一次残差模块处理，再将残差处理结果输入SPPNet网络中进行最大池化操作，通过不同池化核大小的最大池化进行特征提取，以得到对应得到待融合空间特征，其中，残差模块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层。
具体地，如图6所示，所述将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征的步骤S13包括：
S131、通过所述CSPDarknet53网络对所述待识别关键帧序列进行特征提取，得到第一空间特征；其中，每个待识别关键帧序列的形状为[C×H×W]，经过CSPDarknet53处理后的输出特征图形状为[C2×H′×W′]，其中C＝3、C2为输出通道数，H′＝H/32和W′＝W/32。
S132、将所述第一空间特征输入所述残差模块进行卷积处理，得到第二空间特征；
S133、通过所述SPPNet网络对所述第二空间特征进行空间金字塔池化，得到所述预设融合尺寸的待融合空间特征。
S14、将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；其中，所述特征融合如图7所示，包括通道融合和注意力机制融合，即，经过2D待融合空间特征和3D待融合时空特征提取后，先使用concat连接来融合这两个特征映射，它可以简单地沿着通道叠加特征实现第一步通道融合，该融合得到的特征映射编码了运动和外观信息，再将其作为输入传递到CFAM模块进行注意力机制融合，该注意力机制融合基于格拉姆矩阵来映射通道间的依赖关系，能够合理地融合来自不同来源的特征，保证特征融合的合理性和有效性，能显著提高整体性能。具体地，如图8所示，所述将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征的步骤S14包括：
S141、将所述待融合时空特征与所述待融合空间特征进行通道融合，得到第一时空融合特征；
S142、将所述第一时空融合特征输入卷积模块，得到第二时空融合特征；所述卷积模块包括2个3×3卷积层；
S143、采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征；其中，所述采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征步骤包括：将所述第二时空融合特征进行二维向量化处理，得到第一处理矩阵；将所述第一处理矩阵与所述第一处理矩阵的转置作积，得到对应的格拉姆矩阵；将所述格拉姆矩阵输入softmax模块进行分类处理，得到通道注意力特征；采用所述通道注意力特征对所述第二时空融合特征进行修正处理，并对修正后的时空融合特征进行维度转换，得到修正时空融合特征；将所述所述第二时空融合特征与所述修正时空融合特征相加，得到所述第三时空融合特征。
S144、将所述第三时空融合特征输入所述卷积模块，得到所述时空融合特征。
具体地，如图7所示，通过通道融合拼接将2D待融合空间特征[C2×H1×W1]和3D待融合时空特征[C1×H1×W1]堆叠起来，得到第一时空融合特征，对应的初步融合特征矩阵为
再将A输入到包括2个3×3卷积层的卷积模块进行卷积处理，生成一个新的特征图即第二时空融合特征
然后B进行多种操作：首先，将B两维向量化，得到第一处理矩阵
其中N＝H×W；接着，用第一处理矩阵F乘以F的转置计算得到格拉姆矩阵矩阵
通过增大特征响应值和抑制非特征响应值的方式，得到特征间的互相关信息；然后，对格拉姆矩阵矩阵G进行softmax计算，生成channelattention map通道注意力特征；再将得到的通道注意力特征对原featuremap(第二时空融合特征)进行修正，即计算F1＝M·F，
并在修正后将其reshape(维度转换)为C×H×W，得到修正时空融合特征F2；最后，将原始的第二时空融合特征B与修正时空融合特征F2进行相加，得到第三时空融合特征C＝α·F2+B，其中α是一个可学习的参数，训练时从0开始。此后，将第三时空融合特征C输入到包括2个3×3卷积层的卷积模块进行卷积处理，以输出CFAM模块的特征映射D，即得到上述时空融合特征。
S15、采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。其中，空洞卷积层，即在标准卷积核中间填充0，其实际的卷积核大小为K＝k+(k-1)(r-1)，k为原始卷积核大小，r为空洞卷积参数空洞率。本实施例采用空洞卷积层，对上述时空融合特征进一步处理，可实现在不丢失分辨率的情况下，扩大感受野，进而实现对最终边界框和动作分类，得到识别结果。此外，为了进一步提升识别结果的精准性，还可以基于得到的识别结果进行得分排序、非极大抑制筛选。
本申请实施例通过引入XSepConv设计了XSepConvMobileNetv3网络，并通过以XSepConvMobileNetv3为基础体系结构的3D-CNN来提取待识别群养猪视频的时空特征，采用XSepConv极致分离卷积将深度分离卷积与空间可分卷积混合在一起，形成空间可分的深度卷积，进一步减少了大深度卷积核的参数大小和计算量，有效提升了模型的学习效率，同时以包括依次连接的CSPDarknet53网络、残差模块和SPPNet网络的2D-CNN提取关键帧的空间特征，有效扩大模型的感受野，且使用信道融合和注意力机制(CFAM)聚合时空特征，再通过空洞卷积层对时空融合特征进行边界框预测和动作分类得到最终识别结果，有效提升了模型的准确率，有效解决现有技术过度依赖人为经验、耗时耗力且不够智能等应用受限问题的同时，实现猪只动作的精准高效识别分类，为猪只攻击行为提供实时有效监控，为猪只健康生长和养猪业的经济收入提供可靠保障。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
在一个实施例中，如图9所示，提供了一种猪只攻击行为识别系统，所述系统包括：
视频获取模块1，用于获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；
时空特征模块2，用于将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；
空间特征模块3，用于将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；
特征融合模块4，用于将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；
结果识别模块5，用于采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。
关于一种猪只攻击行为识别系统的具体限定可以参见上文中对于一种猪只攻击行为识别方法的限定，在此不再赘述。上述一种猪只攻击行为识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图10示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种猪只攻击行为识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种猪只攻击行为识别方法、系统、计算机设备及存储介质，其猪只攻击行为识别方法通过采用轻量化3D(XSepConvMobileNetv3)+2D(CSPDarknet53网络+残差模块+SPPNet网络)实时动作定位网络对猪只行为视频中猪只的时空信息进行快速提取，并采用改进的自注意力机制进行有效融合，再结合空洞卷积层的边界框预测和动作分类，有效解决现有技术过度依赖人为经验、耗时耗力且不够智能等应用受限问题的同时，实现猪只动作的精准高效识别分类，为猪只攻击行为提供实时有效监控，为猪只健康生长和养猪业的经济收入提供可靠保障。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种猪只攻击行为识别方法，其特征在于，所述方法包括以下步骤：
获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；
将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；
将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；
将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；
采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。
2.如权利要求1所述的猪只攻击行为识别方法，其特征在于，所述从所述待识别群养猪视频中提取待识别关键帧序列的步骤包括：
对所述待识别群养猪视频的视频帧进行图像预处理，得到待识别视频帧图像；
根据各个待识别视频帧图像的连通域面积和粘连指数，从所述待识别视频帧图像中提取所述待识别关键帧序列。
3.如权利要求1所述的猪只攻击行为识别方法，其特征在于，所述基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络的步骤包括：
将所述MobileNetv3-small网络中的卷积核大小为5×5的逆残差线性瓶颈层模块替换为XSepCovbneck模块；所述XSepCovbneck模块包括依次连接的1×1升维卷积、XSepConv极致分离卷积、通道注意力模块和1×1降维卷积。
4.如权利要求3所述的猪只攻击行为识别方法，其特征在于，所述将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征的步骤包括：
将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的时空特征；
将所述时空特征按照预设融合尺寸进行压缩，得到所述待融合时空特征。
5.如权利要求1所述的猪只攻击行为识别方法，其特征在于，所述2D卷积神经网络包括依次连接的CSPDarknet53网络、残差模块和SPPNet网络；所述残差模块包括依次连接的1×1卷积层、3×3卷积层和1×1卷积层；
所述将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征的步骤包括：
通过所述CSPDarknet53网络对所述待识别关键帧序列进行特征提取，得到第一空间特征；
将所述第一空间特征输入所述残差模块进行卷积处理，得到第二空间特征；
通过所述SPPNet网络对所述第二空间特征进行空间金字塔池化，得到所述预设融合尺寸的待融合空间特征。
6.如权利要求1所述的猪只攻击行为识别方法，其特征在于，所述特征融合包括通道融合和注意力机制融合；
所述将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征的步骤包括：
将所述待融合时空特征与所述待融合空间特征进行通道融合，得到第一时空融合特征；
将所述第一时空融合特征输入卷积模块，得到第二时空融合特征；所述卷积模块包括2个3×3卷积层；
采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征；
将所述第三时空融合特征输入所述卷积模块，得到所述时空融合特征。
7.如权利要求6所述的猪只攻击行为识别方法，其特征在于，所述采用格拉姆矩阵法对所述第二时空融合特征进行注意力机制融合，得到第三时空融合特征步骤包括：
将所述第二时空融合特征进行二维向量化处理，得到第一处理矩阵；
将所述第一处理矩阵与所述第一处理矩阵的转置作积，得到对应的格拉姆矩阵；
将所述格拉姆矩阵输入softmax模块进行分类处理，得到通道注意力特征；
采用所述通道注意力特征对所述第二时空融合特征进行修正处理，并对修正后的时空融合特征进行维度转换，得到修正时空融合特征；
将所述所述第二时空融合特征与所述修正时空融合特征相加，得到所述第三时空融合特征。
8.一种猪只攻击行为识别系统，其特征在于，所述系统包括：
视频获取模块，用于获取待识别群养猪视频，并从所述待识别群养猪视频中提取待识别关键帧序列；
时空特征模块，用于将所述待识别群养猪视频输入轻量化3D卷积神经网络进行时空信息提取，得到对应的待融合时空特征；所述轻量化3D卷积神经网络为基于MobileNetv3-small网络改进得到的XSepConvMobileNetv3网络；
空间特征模块，用于将所述待识别关键帧序列输入2D卷积神经网络进行空间信息提取，得到对应的待融合空间特征；
特征融合模块，用于将所述待融合时空特征与所述待融合空间特征进行特征融合，得到时空融合特征；
结果识别模块，用于采用空洞卷积层对所述时空融合特征进行边界框预测和动作分类，得到识别结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513771.7A CN114333049A (zh) | 2021-12-10 | 2021-12-10 | 猪只攻击行为识别方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111513771.7A CN114333049A (zh) | 2021-12-10 | 2021-12-10 | 猪只攻击行为识别方法、系统、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114333049A true CN114333049A (zh) | 2022-04-12 |
Family
ID=81049749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111513771.7A Pending CN114333049A (zh) | 2021-12-10 | 2021-12-10 | 猪只攻击行为识别方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333049A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842554A (zh) * | 2022-04-22 | 2022-08-02 | 北京昭衍新药研究中心股份有限公司 | 一种基于局部和全局时空特征的群体猴子动作识别方法 |
| CN115588235A (zh) * | 2022-09-30 | 2023-01-10 | 河南灵锻创生生物科技有限公司 | 一种宠物幼崽行为识别方法及系统 |
| CN116227790A (zh) * | 2023-04-25 | 2023-06-06 | 宏景科技股份有限公司 | 智慧养殖智能管理方法、装置、电子设备及智能管理系统 |
| CN118397711A (zh) * | 2024-06-27 | 2024-07-26 | 双胞胎（集团）股份有限公司 | 一种基于视频的生猪行为预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418117A (zh) * | 2020-11-27 | 2021-02-26 | 北京工商大学 | 一种基于无人机图像的小目标检测方法 |
| CN113111760A (zh) * | 2021-04-07 | 2021-07-13 | 同济大学 | 基于通道注意力的轻量化图卷积人体骨架动作识别方法 |
| CN113239822A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于时空双流卷积神经网络的危险行为检测方法及系统 |
-
2021
- 2021-12-10 CN CN202111513771.7A patent/CN114333049A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418117A (zh) * | 2020-11-27 | 2021-02-26 | 北京工商大学 | 一种基于无人机图像的小目标检测方法 |
| CN113239822A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于时空双流卷积神经网络的危险行为检测方法及系统 |
| CN113111760A (zh) * | 2021-04-07 | 2021-07-13 | 同济大学 | 基于通道注意力的轻量化图卷积人体骨架动作识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN, J.,: ""XSepConv: Extremely Separated Convolution"", ARXIV:2002.12046V1, 27 February 2020 (2020-02-27), pages 1 - 17 * |
| 苏森 等,: ""基于时空特征的生猪动作识别"", 应用科技, vol. 48, no. 4, 31 July 2021 (2021-07-31), pages 80 - 84 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842554A (zh) * | 2022-04-22 | 2022-08-02 | 北京昭衍新药研究中心股份有限公司 | 一种基于局部和全局时空特征的群体猴子动作识别方法 |
| CN114842554B (zh) * | 2022-04-22 | 2024-05-14 | 北京昭衍新药研究中心股份有限公司 | 一种基于局部和全局时空特征的群体猴子动作识别方法 |
| CN115588235A (zh) * | 2022-09-30 | 2023-01-10 | 河南灵锻创生生物科技有限公司 | 一种宠物幼崽行为识别方法及系统 |
| CN115588235B (zh) * | 2022-09-30 | 2023-06-06 | 河南灵锻创生生物科技有限公司 | 一种宠物幼崽行为识别方法及系统 |
| CN116227790A (zh) * | 2023-04-25 | 2023-06-06 | 宏景科技股份有限公司 | 智慧养殖智能管理方法、装置、电子设备及智能管理系统 |
| CN116227790B (zh) * | 2023-04-25 | 2024-04-09 | 宏景科技股份有限公司 | 智慧养殖智能管理方法、装置、电子设备及智能管理系统 |
| CN118397711A (zh) * | 2024-06-27 | 2024-07-26 | 双胞胎（集团）股份有限公司 | 一种基于视频的生猪行为预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929622B (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN112784764B (zh) | 一种基于局部与全局注意力机制的表情识别方法及系统 | |
| CN110555481B (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN114333049A (zh) | 猪只攻击行为识别方法、系统、计算机设备和存储介质 | |
| Hu | Design and implementation of abnormal behavior detection based on deep intelligent analysis algorithms in massive video surveillance | |
| CN111539290B (zh) | 视频动作识别方法、装置、电子设备及存储介质 | |
| CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
| CN111553419B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| CN112668366B (zh) | 图像识别方法、装置、计算机可读存储介质及芯片 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112232164A (zh) | 一种视频分类方法和装置 | |
| CN115294563A (zh) | 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置 | |
| CN112232355A (zh) | 图像分割网络处理、图像分割方法、装置和计算机设备 | |
| CN111401192A (zh) | 基于人工智能的模型训练方法和相关装置 | |
| Stenroos | Object detection from images using convolutional neural networks | |
| CN116189281B (zh) | 基于时空自适应融合的端到端人体行为分类方法及系统 | |
| CN115424056A (zh) | 模型训练方法和装置、图像分类方法、设备和介质 | |
| CN114529832A (zh) | 一种预设遥感图像重叠阴影分割模型训练方法及装置 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| CN114841887B (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
| CN114186613A (zh) | 基于注意力机制多视图深度学习的球鞋真伪鉴定方法及系统 | |
| Wolf et al. | Instance separation emerges from inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |