CN120220249A - 一种多模态的肉牛行为识别方法及系统 - Google Patents

Abstract

本申请公开了一种多模态的肉牛行为识别方法及系统，属于人工智能技术领域，包括：使用改进的YOLOv8目标检测算法对牛只进行视觉分析，获取牛只包含进食、卧趴、站立、运动和发情行为，作为第一行为；采集牛只运动数据，通过特征分析识别走步或奔跑行为，作为第二行为；获取牛只位置数据，通过比对牛只位置与预设功能区域坐标，识别牛只饲草、饮水或静止行为，作为第三行为；对第一行为、第二行为和第三行为进行融合，得到牛只的最终行为类型；针对现有技术中单一的视觉模型难以适应复杂环境下牛只相似姿态行为的识别，本申请提高了牛只行为类型的识别精度。

Description

一种多模态的肉牛行为识别方法及系统

技术领域

本申请涉及人工智能技术领域，更具体地说，涉及一种多模态的肉牛行为识别方法及系统。

背景技术

传统的肉牛养殖管理方法通过养殖人员定期巡视牛舍，通过肉眼观察肉牛的外观、采食情况、行为表现等，以此来判断肉牛的健康状况和生长状态。这种方式存在诸多弊端，其效率低下，耗费大量的人力和时间成本。而且人工观察难以做到实时、持续的监控，容易出现疏漏，无法及时捕捉肉牛的异常行为或突发健康问题，并作出相应措施。

随着计算机视觉技术的发展，YOLOv8 作为一种先进的目标检测算法，能够对肉牛养殖场景中的图像或视频数据进行高效处理，识别肉牛个体、其姿态以及各种行为动作。这为养殖者及时掌握肉牛的日常活动规律和健康状况提供了直观且准确的依据，有助于实现精细化的养殖管理。然而，YOLOv8 引入了更多的技术手段和网络结构，如特征金字塔网络、注意力机制等，导致模型尺寸相对较大，这意味着需要更多的存储空间来保存模型参数，并且在模型加载和推理过程中，会占用较多的内存资源，对于资源受限的设备来说，可能会带来一定的运行压力，并且对于细节的检测效果相对较差，容易出现漏检或误检，而且计算机视觉技术仅仅依赖于视觉信息，在某些复杂情况下，可能会因信息的单一性而产生误判或无法全面准确地评估肉牛的真实状态。

因此，目前，在肉牛养殖环境中，牛舍内部场景复杂，存在诸多干扰因素，牛舍内光线条件多变，从明亮的采光区域到阴暗的角落都有，且一天中不同时段光线强度差异大，牛舍内存在大量的设施设备，如栏杆、食槽、水槽等，这些物体与肉牛在视觉上可能形成遮挡或混淆，导致 YOLOv8 的识别精度构成了显著挑战，增加了目标检测的难度，容易出现误判或漏判情况，导致做出的一系列错误措施，造成更大成本的损失。

中国专利申请，申请号CN202411190892.6，公开日2024年12月6日，公开了一种基于传感器数据和视频数据融合的牛只数字孪生行为感知建模新方法及其系统。步骤1：获取牛只的传感器数据与牛只的视频数据；步骤2：基于步骤1获取的牛只的数据进行数据集的建立，将步骤1牛只的传感器数据与牛只的视频数据在开始时间相同的情况下进行时间长度的统一；步骤3：基于步骤2统一时长后的牛只的传感器数据与牛只的视频数据进行数据融合；步骤4：对步骤3融合后的数据进行训练；步骤5：对步骤4训练后的数据进行指标评价。但是该方案仅采用视频数据进行视觉分析，在复杂光照和遮挡情况下识别精度有限。

发明内容

针对现有技术中单一的视觉模型难以适应复杂环境下牛只相似姿态行为的识别，本申请提供一种多模态的肉牛行为识别方法及系统，改进YOLOv8算法，采用通道缩减不均等分组方法重构骨干网络，结合C-NBottleneck模块和锥形多尺度降维特征提取算法，强化对牛只行为特征的视觉识别能力，并结合运动传感分析和位置定位分析等，提高了牛只行为类型的识别精度。

本说明书实施例的一个方面提供一种多模态管理牛只的方法，包括：使用改进的YOLOv8目标检测算法对牛只进行视觉分析，获取牛只包含进食、卧趴、站立、运动和发情行为，作为第一行为；采集牛只运动数据，通过特征分析识别走步或奔跑行为，作为第二行为；获取牛只位置数据，通过比对牛只位置与预设功能区域坐标，识别牛只饲草、饮水或静止行为，作为第三行为；对第一行为、第二行为和第三行为进行融合，得到牛只的最终行为类型；根据牛只的最终行为类型，调节牛舍环境参数；牛舍环境参数包括灯光亮度、风扇运行参数和紫外线消毒参数。

进一步的，使用改进的YOLOv8目标检测算法对牛只进行视觉分析，包括：采用通道缩减不均等分组方法优化YOLOv8目标检测算法的骨干网络；根据优化后的骨干网络，构建C-NBottleneck网络，并利用C-NBottleneck网络替换YOLOv8目标检测算法的骨干网络中C2F模块中的Bottleneck组件；在替换后的YOLOv8目标检测算法中添加锥形多尺度降维特征提取算法，通过通道注意力机制和空间注意力机制，得到增强的特征图；得到最终改进的YOLOv8目标检测算法；利用最终改进的YOLOv8目标检测算法，对牛只图像进行分析，识别牛只行为。

进一步的，采用通道缩减不均等分组方法优化YOLOv8目标检测算法的骨干网络，包括：定义通道缩减不均等分组卷积操作；利用定义的通道缩减不均等分组卷积操作替换骨干网络中除第一层卷积外的所有卷积操作，得到优化后的骨干网络；

进一步的，定义通道缩减不均等分组卷积操作，包括：对输入特征图进行初步卷积操作，得到中间特征图；将中间特征图的通道维度分为n组，当通道维度不能被n整除时，设置前n-1组每组通道数相等，最后一组包含剩余通道；将卷积核按照与中间特征图相同的分组策略分成n组；每组特征图分别使用对应组的卷积核进行卷积操作；将各组卷积结果与中间特征图沿通道维度拼接，得到卷积输出特征图。

进一步的，根据优化后的骨干网络，构建C-NBottleneck网络，包括：获取优化后的骨干网络输出的特征图，作为第一特征图；利用SiLU激活函数对第一特征图进行非线性变换；利用优化后的骨干网络对非线性变换后的第一特征图进行卷积处理，得到第二特征图；对第二特征图进行归一化处理；将归一化处理后的第二特征图与第一特征图进行残差连接，生成C-NBottleneck网络。

进一步的，在替换后的YOLOv8目标检测算法中添加锥形多尺度降维特征提取算法，通过通道注意力机制和空间注意力机制，得到增强的特征图，包括：获取替换后的YOLOv8目标检测算法输出的特征图F；根据特征图F，通过基于通道注意力机制的通道缩减不均等分组卷积，得到通道加权特征图；根据通道加权特征图，通过基于空间注意力机制的通道缩减不均等分组卷积，得到空间加权特征图；根据空间加权特征图和特征图F，通过深度分离卷积操作，得到增强的特征图。

进一步的，根据特征图F，通过基于通道注意力机制的通道缩减不均等分组卷积，得到通道加权特征图，包括：采用卷积核大小为N1*N1的通道缩减不均等分组方法对特征图F进行卷积处理，得到中间特征图；对中间特征图进行全局平均池化操作，得到通道描述符；通过全连接层对通道描述符进行非线性变换，得到通道权重；根据通道权重和特征图F，得到通道加权特征图。

进一步的，根据通道加权特征图，通过基于空间注意力机制的通道缩减不均等分组卷积，得到空间加权特征图，包括：采用卷积核大小为N2*N2的通道缩减不均等分组方法对通道加权特征图进行卷积处理，得到空间注意力特征图；对空间注意力特征图进行全局平均池化操作，得到空间特征描述符；通过全连接层对空间特征描述符进行非线性变换，得到空间注意力权重；

根据空间注意力权重和通道加权特征图，得到空间加权特征图。

本说明书实施例的另一个方面还提供一种多模态的肉牛行为识别系统，采集牛只运动数据，通过特征分析识别走步或奔跑行为，作为第二行为，包括：通过加速度计采用牛只的加速度数据；通过磁力计采集牛只的磁场强度数据；采用快速傅里叶变换对加速度数据进行处理，得到频域特征；对磁场强度数据进行时域分析和频谱分析，得到磁场特征；采用局部线性嵌入算法对频域特征和磁场特征进行非线性降维融合，得到融合后的特征向量；利用支持向量机SVM对融合后的特征向量进行分类，得到第二行为。

进一步的，获取牛只位置数据，通过比对牛只位置与预设功能区域坐标，识别牛只饲草、饮水或静止行为，作为第三行为，包括：在牛舍布置多个UWB基站，为每头牛配备UWB标签；采用双向飞行时间算法策略UWB标签到UWB基站的距离；通过至少三个基站的距离数据，采用三角测量法计算牛只的二维坐标，作为牛只位置数据；根据牛只位置数据和牛舍功能区划分，判断牛只是否处于预设功能区域，所述预设功能区域包含饲草区和饮水区。

相比于现有技术，本申请的优点在于：

改进的YOLOv8算法通过通道缩减不均等分组和C-NBottleneck模块，提高了对进食与站立、卧趴与休息等相似姿态行为的区分能力，同时，锥形多尺度降维特征提取算法结合注意力机制，强化了模型对牛只核心行为特征的提取能力，使系统在光线变化、部分遮挡等复杂环境条件下仍能保持稳定识别性能。此外，视觉分析提供形态特征但受环境影响大，运动传感提供动态特征但难以区分静态行为细节，位置定位提供空间语义但缺乏姿态信息。三种模态联合工作，实现了信息互补和交叉验证。因此，本申请显著提高了复杂环境下牛只相似姿态行为的识别精度。

附图说明

图1为本申请的多模态管理牛只系统整体结构示意图；

图2为本申请实施通道缩减不均等分组算法的流程图；

图3为本申请实施的C-NBottleneck的流程图；

图4为本申请实施的C-N-C2f的流程图；

图5为本申请实施的锥形多尺度降维特征提取的流程图；

图6为IoU用于度量目标检测任务中预测框与真实框的重叠程度

图7为本申请实施的YOLOv8的结构图；

图8为本申请的五档灯泡亮度；

图9为本申请根据行为生成措施的流程图；

图10为本申请根据行为生成措施的模型图。

具体实施方式

下面结合说明书附图和具体的实施例，对本申请作详细描述。

实施例1

如图1所示，采集牛只图像，将采集到的牛只的行为进行标注，标注的行为有进食，卧趴，站立，运动，发情，并标注数据集，验证集，测试集。区分通过耳标标注出牛只的身份，使用改进后的YOLOv8的算法训练，并识别出行为。

在牛只的腿部放置加速度计，背部放置磁力计，人工观测，反复分别记录记录牛只在进食，卧趴，站立，走步，奔跑，发情行为下的参数加速度计和磁力计的参数，进行归一化处理后进行数据处理，分别得到加速度计和磁力计的非线性特征向量，运用一种非线性降维方法进行特征层融合并训练，并识别出相应行为。

使用超宽带技术，定位牛只位置，并根据所在位置分析出牛只走步、奔跑、饮水、饲草、静止的行为。

将所得到的行为用多数投票决策融合法进行决策级融合，并根据精确识别出的牛只行为调节灯泡亮度、风扇、紫外线、向养殖户发出警告。

为了对输入的原始特征图进行空间和通道信息的提取和融合，通常使用3x3的标准卷积操作进行，得到输出特征图的公式：，其中，F'表示输出特征图；表示输入特征图，为实数集，表示特征图F的元素都是实数，为输入通道数，表示卷积操作前输入特征图的宽度和高度，表示卷积操作后输出特征图的宽度和高度，是输出通道数，，表示学习到的滤波器核集合，其中代表第1到第c个通道数对应的滤波器核，，是卷积核的尺寸，为偏置项，代表进行卷积操作。而F需要的浮点运算次数（）计算公式为：

；

；其中，为输入通道数，表示卷积操作前输入特征图的宽度和高度，是卷积核的尺寸，为填充，为步长，表示卷积操作后输出特征图的宽度和高度，是输出通道数。

可以看出，尤其是在图片像素大于256x256时，浮点运算次数较大，这意味着消耗较大的算力和时间，也能看出，优化的参数的数量显然由输入的维度和输出特征图所决定。卷积层的输出特征图数量经常包含很多的冗余，有些是非常相似的。所以，使用大量的FLOPs和参数来一个个的生成冗余的特征图是不必要。

所以，如图2所示，使用通道缩减不均等分组，（Channel dimension reductionand non - uniform grouping，CDR–NUG）方法来优化普通卷积操作，推出公式：，其中，，表示学习到的滤波器核集合，其中，表示第1到第通道数对应的滤波器核，，，默认取n=4，并需要确保n能够整除。并且为了简化符号，提高模型速度，省略了偏置项，得出，为了解决输出特征图较少的问题，再将的通道分为组，记第g组特征图为，若所分的组不能整除，则在最后一组使用不均等分组，其方法为：前n-1组每组通道数为，最后一组通道数为，其中//代表整除，%代表取余。其中为第m组的特征图，，尺寸为，其对应的卷积核，此时输入通道数为，输出通道数为，也被分为n组，最后一组使用不均等分组，其不均等分组方法同上，记为，为第m组的卷积核，，尺寸为。分别进行卷积操作，取步长，填充，则可以使得：

，，以保证进行卷积操作前和卷积操作后的得到的宽度w和高度h是相等的。

在YOLOv8结构中，使用的是3x3的卷积核，所以p=1。此时每组的输出特征图，，为第m组的特征图，为池化后的第m组特征图；再将第一步标准卷积得到的特征图的通道维度作为起始部分，然后将分组后的每组卷积操作后的特征图沿着通道维度依次堆叠，完成拼接操作，这样，得到拼接后的最终输出特征图的宽度和高度分别为和，通道数为，与原输出通道数相同。

可以使用公式验证其计算量之比，则可看出，除了在输出通道数>>输入通道数的情况下，优化后的计算量比普通卷积运算相比，效率提升显著：

。

如图3所示， 将特征图使用CDR–NUG改进的卷积操作以提取特征。为减少梯度消失或爆炸的问题，并且能够使网络对不同的初始化更加鲁棒，对其进行BN归一化处理，为了使网络能够学习和拟合更复杂的数据模式，经过SiLU激活函数，表达式为，其中是Sigmoid激活函数，x代表输入的特征张量，再使用CDR–NUG改进的卷积操作，以及BN归一化，并与特征图进行相加，得到C-NBottleneck。

如图4所示，其C-N-C2f模块也可以用C-NBottleneck单元替换了原始网络C2f模块中的所有Bottleneck组件， 该结构采用了跨阶段局部连接的方法。

如图5所示，通过锥形多尺度降维特征提取（Pyramid-shaped Multi-scaleDimensionality Reduction Feature Extraction，PMDR）算法增强牛只行为的检测图像的特征信息。

首先，对特征图F使用通道缩减不均等分组方法处理的卷积操作，使用3x3的卷积核，并且通道数不变以进行特征提取，并减小参数量。记作。其中，CN为CDR–NUG方法，3x3为卷积核大小，C为通道数。

并且为了稳定数据分布、加速训练收敛，加入Batch Normalization（BN）操作。其BN的计算公式为：

；

，其中为第c个通道的缩放因子，可以恢复特征表达能力。为第c个通道的偏移因子，可以调整特征偏移。为的第n个样本，第c个通道，（i，j）位置的值，为对的第n个样本，第c个通道，（i，j）位置的值进行归一化处理的过程，为第c个通道的均值，为第c个通道的方差，为极小常数，防止分母为零。故总体公式为：，其中为缩放因子，为偏移因子。是归一化步骤的结果。并且使用激活函数，得到，其公式为：，其中x代表中的元素。

使得计算高效，并增强模型的稀疏性和解释性。其表达式为：，为了表明该层的C个的数值分布情况，刻画中C个特征图的权重，的每个通道的分别进行全局平均池化操作，变为，其公式为：，其中，是一个1×1×c的特征向量，是输出特征图在第i行、第j列、第c通道的二维矩阵，是的每个通道的分别进行全局平均池化操作。

然后，将空间信息压缩为通道描述符，以获得全局的感受野。同时减少计算复杂度。用一个全连接层（Fully Connected Layer，简称FC层）把向量压缩到，经过实验验证，r取16最佳，再使用激活函数，对降维后的结果进行非线性变换，并避免梯度消失问题，使得模型能够更快地收敛。再用一个层Linear（C/r，C）将特征还原至C通道，因为要与始特征图的通道进行逐通道相乘，实现对特征图的重新校准，所以要得到的通道权重在0-1的范围内。所以，使用激活函数Sigmoid，其公式为，x代表特征图上每个元素的值。该步骤公式为：

，其中是中间函数，表示对应用全连接层和激活函数（ReLU）的操作。是全连接层的权重矩阵，用于将从c维空间映射到c/r维空间，用于将其从c/r维空间映射回c维空间。

然后，从特征图F中的第一个通道（通道索引c=0）开始，按顺序遍历到最后一个通道（通道索引）。对于当前通道，考虑原始特征图F中通道c的所有元素。这是一个二维的子张量，形状为，表示为（其中的范围是0到，的范围是0到）。同时，获取通道权重向量中通道c的元素，由于的形状是，所以就是。将原始特征图F中通道c的每个元素与通道权重相乘，得到新的二维子张量，其计算公式为：。整体公式记为：，该操作可以增强或减弱特定通道的特征，如果通道权重张量中的某个元素值较大（接近1），那么对应的通道特征就会被增强；如果元素值较小（接近0），对应的通道特征就会被减弱。这样可以让网络更加关注对任务更重要的通道特征，从而提高模型的性能。

为了减低计算量，加快运算效率，对进行降维操作，由上述CDR–NUG改进的卷积可知，在输出通道数小于通道数时，该卷积操作的运算量大幅下降。因此，将得到的结果对其使用通道缩减不均等分组方法处理的卷积操作，卷积核为7x7的卷积进行操作，并将其通道数降为，得到。其中为整数，且能够整除通道数，默认为4。并且使用BN批量归一化以及ReLU激活函数，接着，对通道进行平均池化操作，生成大小为的张量。

同时，对卷积得到的特征图经过Sigmoid激活函数，将其值限制在0到1之间，得到空间注意力特征图，其具体表达式为：，其中，是对的通道的平均池化。

在的每个通道c上，空间位置处的特征值为，中的空间位置权重为，那么相乘后的结果在这个通道和位置上的特征值变为：。

整体公式为：

，果某个空间位置的权重接近1，那么这个位置的特征在相乘后基本保持不变，因为它被认为是比较重要的空间位置；如果权重接近0，那么这个位置的特征在相乘后会被大大削弱，从而达到抑制不重要空间位置的效果。

最后，对进行升维操作，使用可深度分离卷积操作（DepthwiseSeparable Convolution）可以减小计算量，卷积核大小为7x7，输出通道数为C，并使用批量归一化。再次使用Sigmoid激活函数，得到该模块的权重，其表达式为：

。

最后，对于每个位置的元素，与中对应的元素相乘：

，其中为特征图的高，宽，通道，批次的位置，得到最终输出结果完成空间注意力操作，其的表达式为：。

其完整表达式为：

；

其中，DSC为深度分离卷积操作（Depthwise Separable Convolution）方法。

如图6所示，这是用于度量目标检测任务中预测框与真实框的重叠程度，其计算公式为：；其符号如图所示，但是，有一个致命的缺陷，在预测框与真实框之间未发生重叠时，即或时，，则对和的偏导为，可以得出，反向传播的梯度消失，这样会导致或在训练时无法进行更新。

训练数据中难以避免地包含低质量示例，所以，本研究使用Wise-IoU，第一步，将惩罚项定义为中心点连接的归一化长度，其公式为，由于可能会产生阻碍收敛的梯度，为了有效地消除了阻碍收敛的因素，我们把和从计算图中分离，用来表示，得到：。

根据距离度量构建了距离注意力，得到了具有两层注意力机制，设注意力函数，这样可以这更好的放大普通质量锚框的，并根据距离度量构建得到了其公式为：。

第二步，为了解决样本质量的不平衡问题，Focal-EIOU 损失函数开发了一种特别针对交叉熵损失的单调聚焦策略，显著减少了易分类样本对总体损失的影响。这种改进让模型能更加集中于解决那些具有挑战性的样本，从而提高了分类任务的准确性，类似的，我们可以构造出的单调聚焦系数，其中，是指数幂，是底数，表示从计算图中分离，则；在训练过程中，单调聚焦系数随着的减小而减小，这样会导致在训练后期，收敛的速度会逐渐变慢。因此，我们先设一个动量m，引入的滑动平均值作为归一化因子：

，

；

此类方法能够确保整体性能始终维持在较优状态，有效应对了模型在训练后期出现的收敛速度减慢的问题。

第三步：我们定义了一个离群度以描述锚框的质量：，较小的离群度指示了高质量的锚框，为此我们赋予其较低的梯度增益，以促进边界框回归专注于一般质量的锚框。对于离群度较大的锚框，通过指派较小的梯度增益，可以防止它们对模型造成过大的负面影响，从而避免低质量样本导致过度的误差传播。我们设置超参数和，得出公式：；当参数，使得。在锚框的离群度达到特定阈值其中是一个预定义的常数）时，该锚框获得最高的梯度增益。由于是动态变化的，锚框的质量评估标准也随之动态调整。这种动态性使得能够持续优化梯度增益的分配，以适应当前的训练状态。

如图7所示，骨干网络是 YOLOv8 的基础特征提取部分。从图中可以看到，它起始于一个简单的卷积层（Conv），这一层初步捕捉输入图像的特征。随后是多个通道缩减不均等分组方法处理的卷积操作，接着是基于通道缩减不均等分组的卷积操作改进的C2f模块，记作C - N - C2f。这些模块通过特定的分组和卷积方式，能够高效地提取不同层次的特征。其中，C - N - C2f在骨干网络中起着重要作用，它可以在不同尺度上挖掘特征，使得骨干网络能够获取到更具代表性和判别性的特征。在骨干网络的末端有一个 SPPF（SpatialPyramid Pooling - Fast，快速空间金字塔池化）模块，它对不同尺度的特征进行池化操作，有助于融合局部特征，确保模型在处理不同大小目标时都能获取足够的信息。

颈部网络负责在骨干网络和检测头之间进行特征融合和传递。图中显示颈部网络包含了多个 Concatenate（拼接）和 Upsample（上采样）操作。通过上采样操作，可以将低分辨率的特征图恢复到较高分辨率，使其能够与其他高分辨率特征图进行拼接。这些拼接操作能够将不同层次的特征进行有效融合，例如，将骨干网络中不同深度的特征图进行融合，为检测头提供更全面、更丰富的特征信息。并且融入锥形多尺度降维特征提取算法，以丰富特征提取。此外，颈部网络中也有通道缩减不均等分组方法处理的卷积操作 和 C - N -C2f，它们继续对融合后的特征进行处理，进一步优化特征表示，确保传递给检测头的特征质量更高。

将加速度计和磁力计进行数据层面的结合，并进行LLE特征级融合，此方法命名为AMLM（AccMag–LLE’s Method），加速度计和磁力计可以同时安装在需要监测的物体（如牛只）上，并且以相同的时间进行数据采集，与YOLOv8的优势在于可以清楚分辨出牛只是走步还是跑步，而不是像YOLOv8只能识别出运动。

加速度计是基于牛顿第二定律（F=ma）来工作的。它通常由一个质量块和能够检测质量块受力情况的传感器组成。当加速度计受到加速度作用时，质量块会因惯性产生相应的位移，传感器通过检测这种位移来测量加速度的大小和方向。

将加速度计佩戴在牛只的腿部，设加速度计能够测量牛只在三维空间（x，y，z）的加速度，采样频率为f（单位：Hz）。采样间隔时间。在时刻采集加速度数据。

对于每个采样时刻加速度计记录牛只在x，y，z轴上的加速度

检查采集到的数据是否存在异常值。设加速度的合理范围为，对于每个采样点n，若（同理），则认为该点为异常值，可采用线性插值进行修正，公式为，其中为前后最近的两个非异常值，同理可得。

除数据中的噪声。可采用移动平均滤波。设移动平均窗口大小为M，则经过滤波后的x轴加速度值，同理可得和。

由于加速度计和磁力计的数据单位和量程可能不同，需要对数据，，进行归一化处理。对于加速度数据，可以使用公式，同理可得，。

根据牛只行为的特点，将采集到的数据分割成若干段，每段对应一种行为。设行为类别为。对于每一段数据，通过实地观察或其他辅助手段（如视频记录）进行行为标注，得到标注后的由L个数据对组成数据集其中为第i段的加速度数据，表示对应行为。

为反映整体运动幅度和稳定性，对加速度计的时域特征进行计算：其中x轴加速度的均值为，其中为第i段数据的采样点数。同理可得y轴加速度均值和z轴加速度均值。

因为加速度本身与力和能量有关（根据牛顿第二定律F=ma），方差可以很好地描述加速度在一段时间内能量的分散程度。其中x轴加速度方差为，同理可得y轴加速度方差和z轴加速度方差。

X轴加速度峰值，同理可得y轴加速度峰值和z轴加速度的峰值。

为突出周期性和节律性行为特征，采用快速傅里叶变换（Fast FourierTransform，FFT），对x轴进行快速傅里叶变换，得到频域序列，，是虚数单位，同理得到，。

计算频域能量，这里表示复数的模，并找到能量最大的频率，为找到使取得最大值的k值。同理可得y轴和z轴的频域特征。

由此，特征提取完毕，用得到的数据提取特征向量为：

。

磁力计基于电磁感应原理的磁力计，当有磁场穿过线圈时，根据法拉第电磁感应定律（），线圈中会产生感应电动势，通过测量这个电动势就可以推算出磁场强度。其中是E感应电动势，N是线圈匝数，是磁通量的变化率。

与加速度计对牛只进行数据采集相同，假设磁力计测量磁场强度在x、y、z三个轴向的数据精度为（单位：特斯拉，T），采集到的数据采集到的样本数量N，分别为，其中，进行检查采集到的数据是否存在异常值和采用移动平均滤波，得到。

对其进行特征提取，由于磁力计要求的算力更加复杂，为了节约成本，我们选择计算磁场强度幅值而不是分别xyz轴来作为特征向量：。

对幅值进行归一化，即得；计算幅值变化率：，其中是采样间隔时间（单位：秒）。

对时域特征进行提取：与加速度计的方法相同，算出均值，最大值与最小值对于磁力计测量的磁场强度，其单位是特斯拉（T），标准差的单位也是特斯拉，这使得标准差在物理意义上更直观地表示磁场强度相对于平均值的波动范围。标准差，算出，并进行通过快速傅里叶变换 FFT，得到频域序列。计算功率谱密度：，并且找到在所有频率k中找到使最大的那个频率k，这个频率就是主频，记为。设定6个频率区间，频带能量。

由此，特征提取完毕，用得到的数据提取特征向量为。

在特征融合中，选取局部线性嵌入（LLE），得到，LLE 是一种非线性降维方法。它的基本思想是每个数据点可以由其近邻点的线性组合来近似重构。首先，对于每个数据点，运用欧氏距离，其中m是特征向量的原始维度，来找到它的 k 个最近邻点。然后，求解一个权重矩阵W，使得每个数据点可以通过其近邻点的线性组合来近似表示，即并且满足约束条件，通过最小化重建误差来求解权重矩阵。利用求解得到的权重矩阵W，将数据点映射到低维空间。设低维空间中的数据点为，通过求解一个低秩矩阵M的特征值问题来得到低维嵌入，即最小化目标来求解低维度数据点，其中是在低维空间中的对应近邻点。选择最小的非零特征值对应的特征向量作为低维嵌入结果，从而去除了数据中的冗余信息，并且能够很好地处理非线性特征。

运用最小化目标来求解低维度数据点，其中是在低维空间中的对应近邻点；

令，其中I是单位矩阵，求解矩阵M的特征值问题，取最小d+1的个非零特征值对应的特征向量（去掉全向量对应的最小特征值），得到低维嵌入结果，其中是低维空间中的数据点。

使用支持向量机 SVM对模型选择与构建：需要构建 6 个 SVM 分类器。对于第i个SVM 分类器（i=1，2，3，4，5，6），将属于类的样本标记为正类（y=+1），其余 5 类的样本标记为负类（y=-1）。选择径向基函数（RBF）作为核函数，核，其中为核参数，它决定了核函数的宽度。使用k折交叉验证（K-fold），来优化惩罚参数C和。和为特征向量（从加速度数据中提取的特征向量）。

对于第i个 SVM 分类器，使用标记好的数据进行训练。训练数据集为，其中当时，，时，。每个 SVM 分类器的优化目标函数为，约束条件为，其中C为惩罚系数，为松弛变量。

通过序列最小优化算法 SMO求解每个 SVM 分类器的优化问题，得到最优的权重向量和偏置。

对于一个新的样本，将其分别输入到这 6 个 SVM 分类器中，得到 6 个决策函数值：。比较这 6 个决策函数值，选择决策函数值最大的那个分类器对应的类别作为的预测类别，即：如果，则预测属于类。

UWB：一种在室内定位系统中的无线电技术，用于识别和定位牛只群体，以及结合其他传感器数据来增强牛只行为检测，检测出的行为为：饲草，饮水，奔跑，走步，静止。它与YOLOv8和AMLM的不同之处在于，有效的减少了两种相近模式的行为之间的混淆（如吃饲料和饮水）。

在牛舍内布置多个 UWB 基站，这些基站的位置是已知的，它们将构成定位系统的基础设施，用于接收来自牛只身上佩戴的 UWB 标签发出的信号。为每头牛配备一个 UWB标签，该标签会定期发送 UWB 信号。UWB 标签以纳秒至微微秒级的非正弦波窄脉冲形式发送信号，信号在牛舍内传播。牛舍内预先布置好的 UWB 基站接收这些信号。由于 UWB 信号的超宽带特性，信号能够在复杂的室内环境中有效传播，并且具有较强的抗干扰能力。

距离测量：当基站接收到标签发送的信号时，利用双向飞行时间法（TW - TOF）测量信号从标签到基站往返的飞行时间（）。根据光速（c）和测量得到的往返飞行时间（），计算基站与标签之间的距离（d），计算公式为：。这里除以 2 是因为测量得到的是往返距离，需要得到单向距离。

测量出距离以后，进行定位计算。至少需要三个基站接收到同一标签的信号，才能通过三角测量法或其他定位算法计算出牛只的位置。假设三个基站的坐标分别为，它们到标签的距离分别为，则可以通过以下方程组来求解标签（牛只）的坐标：，通过解这个方程组，可以得到牛只在牛舍内的二维坐标位置，从而实现对牛只的定位。

进行多媒体特征融合的最后一步，进行决策级融合。由于三个传感器所能够研究出的行为均有所差别，市面上大部分算法均不适用，也为了降低算力，故使用多数投票决策融合法。

识别出的结果为进食，饲草，饮水，卧趴，站立，移动，走步，奔跑，发情以及异常。

进食：当YOLOv8和AMLM共同识别出进食，且UWB未识别出饲草或饮水时，显示的行为为进食。

饲草：当YOLOv8和AMLM至少有一个识别出进食，且UWB识别出饲草时，显示的行为为饲草。

饮水：当YOLOv8和AMLM至少有一个识别出进食，且UWB识别出饮水时，显示的行为为饮水。

卧趴：当YOLOv8和AMLM共同识别出卧趴，或UWB识别出静止，YOLOv8和AMLM至少有一个识别出卧趴，显示的行为为卧趴。

站立：当YOLOv8和AMLM共同识别出站立，或UWB识别出静止，YOLOv8和AMLM至少有一个识别出站立，显示的行为为站立。

运动：当YOLOv8和UWB共同识别出运动，且AMLM未识别出走步或奔跑时，显示的行为为运动。

走步：当YOLOv8和UWB至少有一个识别出移动，且AMLM识别出走步时，显示的行为为走步。

奔跑：当YOLOv8和UWB至少有一个识别出移动，且AMLM识别出奔跑时，显示的行为为奔跑。

发情：当YOLOv8、AMLM和UWB至少有两个识别出发情，显示的行为为发情。

异常：当未出现以上情况，即为异常。

如图9，图10所示，当系统在牛舍内未检测到牛的任何行为或异常时，即未出现牛时，开紫外线灯杀菌消毒20分钟，开启适当音量的音响，以驱赶牛群，让其原理牛舍，并同时开启风扇，使得空气流通，防止臭氧堆积对养殖户和牛只造成身体不适，每天仅一次，当消毒结束或检测到牛只加入牛舍时，立即停止上述措施。

用一个数字光照传感器BH1750，通过 I2C 接口连接到计算机。传感器的 VCC 连接到电源，GND 接地，SCL 和 SDA 分别连接到开发板或转接器对应的 I2C 时钟和数据引脚，使用OpenCV库和Python - BH1750 库，编写代码，设置光照亮度范围为0-100。

如图8所示，根据识别到的光照强度，用PWM控制灯泡亮度，并分为五档，并根据识别出牛只行为做出的相应措施进行增大或减小亮度。

当检测到时，则灯泡根据当前亮度适当调亮亮度，则灯泡自动调节亮度为档20分钟。

其中，为检测到牛只进行进食或饲草行为的数量，为其同一时间所有检测到牛所有行为数量的总和，，为检测到的亮度，表示整除。

当检测到时，且时间超过5分钟，则灯泡自动调节亮度为档，在结束该行为2分钟后关闭，并开启风扇，在结束该行为2分钟后关闭，同时，向养殖户传回牛群移动行为较多的情况。

其中，为检测到牛运动行为或走步行为的数量，判定出现躁动。，且当时，则关闭电源。

当检测到牛只奔跑行为时，判定出现躁动，则灯泡自动调节亮度为档，在结束躁动行为2分钟后关闭，并开启风扇，在结束躁动行为2分钟后关闭，同时，通过耳标信息，记录该牛只身份，向养殖户传回该牛只出现奔跑这一情况。

当检测到，时，且时间超过5分钟，则灯泡自动调节亮度为档，在结束该行为2分钟后关闭。

其中，，为检测到牛只卧趴行为的数量。

并且，当出现牛只长时间卧趴行为时，通过耳标信息，记录该牛只身份，向养殖户传回长时间卧趴这一情况。

当检测到牛只发情行为时，自动保存该段行为的视频，在结束发情行为后1分钟终止自动保存，同时，通过耳标信息，记录该牛只身份，向养殖户传回该牛只出现奔跑这一情况。

紫外线能够破坏细菌、病毒、真菌等微生物的 DNA 或 RNA 结构。当微生物暴露在一定强度和时间的紫外线下时，其核酸会吸收紫外线的能量，导致分子链断裂或形成嘧啶二聚体，从而使微生物无法进行正常的繁殖和代谢，最终死亡。例如，常见的牛舍病原体如大肠杆菌、沙门氏菌、牛痘病毒等都可以被紫外线有效杀灭。这种广谱杀菌的特性能够大大减少牛舍内的致病微生物数量，降低牛只感染疾病的风险。

对牛的饲养环境进行精细的光照管理，可以显著影响它们的采食行为、消化效率以及整体健康。在牛饲草时，适当提高光照强度已被证明可以增加牛的采食量。这可能是因为适度的光照模仿了自然环境中白天的条件，从而刺激了牛的觅食行为。此外良好的光照条件有助于牛更好地观察和选择它们的饲料，进而促进消化和营养吸收。

而牛在频繁移动或表现出奔跑灯不安的行为时，可能是对环境变化或某种形式的压力做出的反应。这可能包括对噪音、极端温度、不适的圈养条件或是其他动物的干扰的反应。在这种情况下，适当调暗光照与空气流通可以作为一种有效的管理策略，以减少牛的应激反应。较暗的环境可以帮助牛感到更安全，减少它们的紧张感，从而鼓励它们保持平静，减少不必要的能量消耗，并开启风扇通风。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本申请的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (11)

1.一种多模态的肉牛行为识别方法，其特征在于，包括：

改进YOLOv8目标检测算法，并利用改进的YOLOv8目标检测算法对牛只进行视觉分析，获取牛只包含进食、卧趴、站立、运动和发情行为，作为第一行为；

采集牛只运动数据，通过特征分析识别包括但不限于走步或奔跑行为，作为第二行为；

获取牛只位置数据，通过比对牛只位置与预设功能区域坐标，识别牛只饲草、饮水或静止行为，作为第三行为；

对第一行为、第二行为和第三行为进行融合，得到牛只的最终行为类型；

根据牛只的最终行为类型，调节牛舍环境参数；牛舍环境参数包括灯光亮度、风扇运行参数和紫外线消毒参数。

2.根据权利要求1所述的多模态的肉牛行为识别方法，其特征在于：

改进YOLOv8目标检测算法，包括：

采用通道缩减不均等分组方法优化YOLOv8目标检测算法的骨干网络；

根据优化后的骨干网络，构建C-NBottleneck网络，并利用C-NBottleneck网络替换YOLOv8目标检测算法的骨干网络中C2F模块中的Bottleneck组件；

在替换后的YOLOv8目标检测算法中添加锥形多尺度降维特征提取算法，通过通道注意力机制和空间注意力机制，得到增强的特征图，得到改进的YOLOv8目标检测算法。

3.根据权利要求2所述的多模态的肉牛行为识别方法，其特征在于：

采用通道缩减不均等分组方法优化YOLOv8目标检测算法的骨干网络，包括：

定义通道缩减不均等分组卷积操作；

利用定义的通道缩减不均等分组卷积操作替换骨干网络中除第一层卷积外的所有卷积操作，得到优化后的骨干网络。

4.根据权利要求3所述的多模态的肉牛行为识别方法，其特征在于：

定义通道缩减不均等分组卷积操作，包括：

对输入特征图进行初步卷积操作，得到中间特征图；

将中间特征图的通道维度分为n组，当通道维度不能被n整除时，设置前n-1组每组通道数相等，最后一组包含剩余通道；

将卷积核按照与中间特征图相同的分组策略分成n组；

对每组特征图分别使用对应组的卷积核进行卷积操作；

将各组卷积结果与中间特征图沿通道维度拼接，得到卷积输出特征图。

5.根据权利要求2所述的多模态的肉牛行为识别方法，其特征在于：

构建C-NBottleneck网络，包括：

获取优化后的骨干网络输出的特征图，作为第一特征图；

利用SiLU激活函数对第一特征图进行非线性变换；

利用优化后的骨干网络对非线性变换后的第一特征图进行卷积处理，得到第二特征图；

对第二特征图进行归一化处理；

将归一化处理后的第二特征图与第一特征图进行残差连接，生成C-NBottleneck网络。

6.根据权利要求2所述的多模态的肉牛行为识别方法，其特征在于：

得到增强的特征图，包括：

获取替换后的YOLOv8目标检测算法输出的特征图F；

根据特征图F，通过基于通道注意力机制的通道缩减不均等分组卷积，得到通道加权特征图；

根据通道加权特征图，通过基于空间注意力机制的通道缩减不均等分组卷积，得到空间加权特征图；

根据空间加权特征图和特征图F，通过深度分离卷积操作，得到增强的特征图。

7.根据权利要求6所述的多模态的肉牛行为识别方法，其特征在于：

得到通道加权特征图，包括：

采用卷积核大小为N1*N1的通道缩减不均等分组方法对特征图F进行卷积处理，得到中间特征图；

对中间特征图进行全局平均池化操作，得到通道描述符；

通过全连接层对通道描述符进行非线性变换，得到通道权重；

根据通道权重和特征图F，得到通道加权特征图。

8.根据权利要求6所述的多模态的肉牛行为识别方法，其特征在于：

得到空间加权特征图，包括：

采用卷积核大小为N2*N2的通道缩减不均等分组方法对通道加权特征图进行卷积处理，得到空间注意力特征图；

对空间注意力特征图进行全局平均池化操作，得到空间特征描述符；

通过全连接层对空间特征描述符进行非线性变换，得到空间注意力权重；

根据空间注意力权重和通道加权特征图，得到空间加权特征图。

9.根据权利要求2至8任一所述的多模态的肉牛行为识别方法，其特征在于：

采集牛只运动数据，通过特征分析识别走步或奔跑行为，作为第二行为，包括：

通过加速度计采用牛只的加速度数据；通过磁力计采集牛只的磁场强度数据；

采用快速傅里叶变换对加速度数据进行处理，得到频域特征；

对磁场强度数据进行时域分析和频谱分析，得到磁场特征；

采用局部线性嵌入算法对频域特征和磁场特征进行非线性降维融合，得到融合后的特征向量；

利用支持向量机SVM对融合后的特征向量进行分类，得到第二行为。

10.根据权利要求9所述的多模态的肉牛行为识别方法，其特征在于：

识别牛只饲草、饮水或静止行为，作为第三行为，包括：

在牛舍布置多个UWB基站，为每头牛配备UWB标签；

采用双向飞行时间算法策略UWB标签到UWB基站的距离；

通过至少三个基站的距离数据，采用三角测量法计算牛只的二维坐标，作为牛只位置数据；

根据牛只位置数据和牛舍功能区划分，判断牛只是否处于预设功能区域，所述预设功能区域包含饲草区和饮水区。

11.一种多模态的肉牛行为识别系统，其特征在于，包括：

视觉分析模块，采用改进的YOLOv8目标检测网络对牛只进行视觉分析，获取牛只的第一行为；所述改进的YOLOv8目标检测网络包括通道缩减不均等分组优化的骨干网络、C-NBottleneck网络和锥形多尺度降维特征提取网络；所述第一行为包括进食、卧趴、站立和运动；

运动分析模块，通过加速度计和磁力计采集牛只运动数据，经过时频域分析和局部线性嵌入计算，获取牛只的第二行为，所述第二行为包括走路或奔跑行为；

定位分析模块，通过UWB基站和UWB标签，采用双向飞行时间算法和三角测量法获取牛只位置数据，并通过比对牛只位置数据与预设功能区域坐标，识别牛只的第三行为，所述第三行为包括饲草、饮水或静止行为；

数据融合模块，对第一行为、第二行为和第三行为进行融合分析，得到牛只的最终行为类型。