CN118015690A - 一种基于深度图像和骨骼数据的动物异常行为识别方法 - Google Patents

Abstract

本发明提供了一种基于深度图像和骨骼数据的动物异常行为识别方法，属于动物异常行为识别技术领域。动物异常行为识别方法包括以下内容：建立目标动作识别模型；提取肢体动作关键骨骼点，作为骨骼数据；得到目标动作识别模型输出的目标对象的异常动作识别结果，并建立初始异常骨骼点数据集，再调整得到动物异常行为骨骼数据集；训练3D‑CNN网络模型得到基于动物骨架特征向量的行为识别预测模型；通过行为识别预测模型对动物异常行为进行识别。本发明解决了现有的基于骨骼点的动物行为识别技术识别效率不佳的问题，具有高准确度与高识别效率的优点。

Description

一种基于深度图像和骨骼数据的动物异常行为识别方法

技术领域

本发明涉及动物异常行为识别技术领域，具体是涉及一种基于深度图像和骨骼数据的动物异常行为识别方法。

背景技术

动物行为识别技术是一种通过分析动物的行为来获取相关信息的技术。该技术可应用于动物行为研究、动物保护、农业养殖等领域。

现有的基于骨骼点的动物行为识别技术在实际应用中存在以下问题：(1)现代基于骨骼点的行为识别方法多用于人体骨骼的检测；(2)当动物图像发生重叠时无法精准定位每个骨骼点的位置；(3)缺乏相关的专业知识，无法精准识别动物异常状态。上述问题导致现有的基于骨骼点的动物行为识别技术识别效率不佳。

在对动物骨骼点的行为识别中，常见的检测算法有CNN，RNN，GCN等方法。由于GCN的方法在鲁棒性，互用性和可扩展性方面具有局限性，而PoseConv3D却具有鲁棒性，可扩展性和效率的优势，3D-CNN在性能、计算量和参数量方面都略优于GCN。

发明内容

本发明解决的技术问题是：现有的基于骨骼点的动物行为识别技术识别效率不佳。

为解决上述问题，本发明的技术方案如下：

一种基于深度图像和骨骼数据的动物异常行为识别方法，包括以下步骤：

S1、识别深度图像和深度图像对应视频中的动物物种，标记深度图像和深度图像对应视频中目标对象的异常动作行为姿态，提取肢体动作关键骨骼点，作为骨骼数据；

S2、建立目标动作识别模型，将深度图像和骨骼数据输入目标动作识别模型，得到目标动作识别模型输出的目标对象的异常动作识别结果，并根据异常动作识别结果结合肢体动作关键骨骼点数据建立初始异常骨骼点数据集，再通过对初始异常骨骼点数据集进行调整得到动物异常行为骨骼数据集；

S3、通过动物异常行为骨骼数据集对3D-CNN网络模型进行训练，得到基于动物骨架特征向量的行为识别预测模型；

S4、通过行为识别预测模型对动物异常行为进行识别。

说明：骨骼数据是一个由关键骨骼点的坐标组成的时间序列，用于表示动物的运动状态。

作为本发明的另一个方面，目标动作识别模型包括依次电性连接的输入层、深度图像特征提取层、骨骼数据特征提取层、特征融合层、中间层、动作识别层、异常检测层和输出层。

作为本发明的另一个方面：

输入层的输入内容为图像和时间序列；图像为用于捕捉动物外观信息的深度图像，时间序列为包含动物骨骼运动信息的骨骼数据；

深度图像特征提取层为从深度图像中提取图像特征，从而捕捉动物的形态和姿态信息的卷积神经网络；

骨骼数据特征提取层为从骨骼数据中提取时间序列特征并捕捉动物运动时序信息的循环神经网络或长短时记忆网络，动物运动时序信息即骨骼数据特征；

特征融合层用于通过串联的方式融合图像特征和骨骼数据特征，得到融合数据特征；

中间层用于对融合数据特征进行降维和高级特征提取；

动作识别层通过Softmax分类器实现动物行为的分类识别；

异常检测层通过设置阈值或通过异常检测算法判定动物异常行为；

输出层的输出内容为识别的动作标签以及异常行为标签。

作为本发明的另一个方面，步骤S1中，深度图像和深度图像对应视频中的动物物种通过YOLOv5模型识别。

作为本发明的另一个方面，异常动作行为姿态的标记方式为物种-异常状态-异常部分。

作为本发明的另一个方面，肢体动作关键骨骼点包括头部、颈部、肩部、腿关节、髋部、踝关节。

作为本发明的另一个方面，初始异常骨骼点数据集中的骨骼数据通过3D-CNNPoseC3D模型进行调整，得到动物异常行为骨骼数据集。

作为本发明的另一个方面，动物异常行为骨骼数据集的建立方法为：

通过初始异常骨骼点数据集对视频进行2D动物姿态估计，获取关键点坐标信息(X，Y，C)，其中，X表示关键点在图像上的水平位置，以图像左上角为原点，向右为正方向，Y是表示关键点在图像上的垂直位置，以图像左上角为原点，向下为正方向，C是置信度；

基于关键点坐标信息生成3D热图堆叠；3D热图堆叠中的热图(K×H×W)，其中，K是关键点个数，H是热图的高度，表示图像平面上的垂直维度，W是热图的宽度，表示图像平面上的水平维度；3D热图堆叠(K×T×H×W)，其中，T是时序维度，即连续帧对应3D热图的张数；

根据初始异常骨骼点数据集中骨骼数据建立动物的RGB+Posec3D骨架，再根据各个骨骼数据的相对位移、相对距离制作动物异常行为骨骼数据集。

作为本发明的另一个方面，动物异常行为骨骼数据集包括骨骼数据、骨骼数据的相对位移和相对距离和骨骼数据对应的动作标签以及异常行为标签。

作为本发明的另一个方面，行为识别预测模型的训练过程为：将动物异常行为骨骼数据集中骨骼数据及骨骼数据的相对位移和相对距离作为行为识别预测模型的输入，判断行为识别预测模型输出结果与动物异常行为骨骼数据集中骨骼数据对应的动作标签以及异常行为标签是否相同，从而对行为识别预测模型进行调整，直至识别预测模型识别的正确率大于95％。

本发明的有益效果是：

1、本发明在对动物物种识别的基础上，关注动物肢体动作变化，并标定骨骼点进行动物行为识别；

2、本发明结合动物生理学、动物行为学等等生物领域的专业知识，收集大量图像数据使用Labelme制作目标动物的骨骼数据集，更能关注到细微之处的行为差异、心理上和生理上的变化，保证数据库准确可靠；

3、本发明采用3D-CNN+PoseC3D不同于以往常用的GCN(图卷积网络)，GCN的识别能力会受到骨骼点坐标平移的影响，难以与其他模态融合；并且当识别的物种数量增加时，GCN的复杂度线性增加，而POSEC3D则克服了以上局限，POSEC3D是基于3D-CNN的骨骼行为识别框架，并且具有高准确度与高效率，仅使用二维动物骨架热图堆叠作为输入，就能达到更佳的识别效果；

4、本发明在建立动物的骨骼点数据集上具有首创性，已有的研究发明仅仅针对人类骨骼点进行数据集制作。

附图说明

图1是本发明实施例中行为识别预测模型的层级结构图；

图2是本发明实施例中特征融合层的实现代码示意图；

图3是本发明实施例中基于深度图像和骨骼数据的动物异常行为识别方法流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

现有的基于骨骼点的动物行为识别技术在实际应用中存在以下问题：(1)现代基于骨骼点的行为识别方法多用于人体骨骼的检测；(2)当动物图像发生重叠时无法精准定位每个骨骼点的位置；(3)缺乏相关的专业知识，无法精准识别动物异常状态。上述问题导致现有的基于骨骼点的动物行为识别技术识别效率不佳。

由于现有的基于骨骼点的动物行为识别技术在实际应用中多用于人体骨骼的检测，因此在动物行为识别上缺乏实践经验；其次，动物图像发生重叠时无法精准定位每个骨骼点的位置，因此在动物行为识别上正确率不高；最后，由于基于骨骼点的动物行为识别技术还需要专业人员的技术支持，否则无法精准识别动物异常状态。因此，基于骨骼点的动物异常行为识别的实现困难重重。

为了解决上述问题，本发明实施例提供了一种基于深度图像和骨骼数据的动物异常行为识别方法，如图3所示，包括以下步骤：

S1、识别深度图像和深度图像对应视频中的动物物种，标记深度图像和深度图像对应视频中目标对象的异常动作行为姿态，提取肢体动作关键骨骼点，作为骨骼数据；

可以理解的，本实施例中，骨骼数据是一个由关键骨骼点的坐标组成的时间序列，用于表示动物的运动状态。

S2、建立目标动作识别模型，将深度图像和骨骼数据输入目标动作识别模型，得到目标动作识别模型输出的目标对象的异常动作识别结果，并根据异常动作识别结果结合肢体动作关键骨骼点数据建立初始异常骨骼点数据集，再通过对初始异常骨骼点数据集进行调整得到动物异常行为骨骼数据集；

S3、通过所述动物异常行为骨骼数据集对3D-CNN网络模型进行训练，得到基于动物骨架特征向量的行为识别预测模型；

S4、通过行为识别预测模型对动物异常行为进行识别。

可选的，本发明实施例中深度图像和深度图像对应视频包括：正常动物的深度图像与视频和异常动物的深度图像与视频；正常动物的深度图像与视频通过在动物园、保护区安装的摄像头用摄像头进行抓拍和工作人员到实地拍摄等方法收集到正常动物的图像与视频；异常动物的深度图像与视频的获取过程为：针对动物的异常行为如攻击，对瘤包抓痒，受惊等进行照片、视频拍摄。采用同像素、同比例、多角度的拍摄方法，采集到同物种的动物异常行为的深度图像与视频。

可选的，步骤S1中，深度图像和深度图像对应视频中的动物物种通过YOLOv5模型识别。

YOLOv5模型是一种基于YOLO(You Only Look Once)目标检测算法的第五个版本。它在YOLOv4的基础上进行了改进和优化；YOLOv5模型的优点包括：

高速度和实时性：YOLOv5模型采用单阶段的目标检测方法，可以实现实时的目标检测。它将图像分成网格，并在每个网格上预测目标的边界框、类别和置信度，从而减少了多次扫描图像的时间；

高精度和准确性：YOLOv5模型在YOLOv4模型的基础上引入了一种新的骨干网络(Backbone network)结构，采用了CSPDark net53，减少了模型的参数量，提高了特征提取的效率；

轻量级和高效率：YOLOv5模型相较于YOLOv4模型，减少了模型的大小和推理时间，提高了模型的轻量化和高效率。这使得YOLOv5模型可以在边缘设备上进行实时目标检测，适用于各种实际应用场景。

简单易用和灵活性：YOLOv5模型使用简单明了的架构，易于理解和实现。它提供了丰富的预训练模型和开源代码，方便用户进行二次开发和定制化。

总体而言，YOLOv5模型是一种高速度、高精度、轻量级和灵活的目标检测模型，适用于实时应用和边缘设备。它在目标检测领域有着广泛的应用潜力，因此，YOLOv5模型作为一种成熟的模型，用于动物物种识别能够保证高精度的识别效果。

YOLOv5模型用于动物物种识别的过程为：通过在动物园、保护区安装的摄像头用摄像头进行抓拍和工作人员到实地拍摄等方法收集到正常动物的图像与视频，采用labelImg对动物主体进行标注，再通过labelImg对肢体动作关键骨骼点进行标注。把标注后的图片对人工智能进行图像输入YOLOv5模型对动物主体进行自动打框，达到对物种进行识别的目的。

可以理解的，采用labelImg对动物主体进行标注用于目标检测，通过labelImg对肢体动作关键骨骼点进行标注用于异常动作行为姿态的估计；此处labelImg标注的对象是深度图像。

可选的，本发明实施例中，动物异常行为数据采集的过程为：针对动物的异常行为如攻击，对瘤包抓痒，受惊等进行照片、视频拍摄。采用同像素，同比例，多角度的拍摄方法，采集到优质的动物异常行为的数据集。

可选的，动物物种也可以通过人眼识别，在专业人员的辅助下，能够完成对各种动物物种的精准识别，同时也存在着人眼识别效率较为低下且耗时耗力的缺点，因此，相较于人眼识别，YOLOv5模型用于动物物种识别是更优解。

可选的，本发明实施例中，异常动作行为姿态的标记方式为物种-异常状态-异常部分，例如水鹿-异常-体表(分别标注水鹿主体和水鹿体表异常部分)。本发明实施例通过生物科学专业人员对异常动作行为姿态进行分类与界定。

可选的，本发明实施例通过视频的方式对异常动作行为姿态进行定位，即对动物视频进行重命名与剪辑预处理，保留关键的动物行为的片段。

可选的，通过labelImg对肢体动作关键骨骼点进行标注的流程为：选取肢体动作关键骨骼点，用labelme的点选工具单击标注骨骼点，用线条工具绘制连接骨骼点的线条，用矩形工具在图像中框出身体部分，最后用椭圆工具标注圆形区域。

可选的，肢体动作关键骨骼点包括头部、颈部、肩部、腿关节、髋部、踝关节。

可以理解的，肢体动作关键骨骼点数据是指在动物的身体结构中，用于表示动物姿态和运动的特定关键点的位置信息。这些关键点通常位于动物身体的特定部位，如头部、四肢、尾巴等，通过这些关键点的位置可以推测出动物的姿态和动作。以狗为例的简单肢体动作关键骨骼点数据示例：

头部顶点：狗头部的顶点坐标；

颈部：连接头部和躯干的颈部的坐标；

前肩：前肢与躯干连接处的坐标；

前肘：前肢弯曲的关节坐标；

前腕：前肢与爪子连接处的坐标；

后肩：后肢与躯干连接处的坐标；

后膝：后肢弯曲的关节坐标；

后踝：后肢与脚爪连接处的坐标；

尾巴基部：尾巴与躯干连接处的坐标。

可以理解的，建立目标动作识别模型的目的主要建立基于骨骼数据对动物异常行为的判断标准；判断标准主要是骨骼数据的是否满足目标动作识别模型设定的异常行为，即目标动作识别模型对输入的骨骼数据得出的动作与预期不符，即目标动作识别模型认为该动作不符合正常行为模式，那么这被视为异常动作结果。

可以理解的，如图1所示，基于上述目的建立的目标动作识别模型包括依次电性连接的输入层、深度图像特征提取层、骨骼数据特征提取层、特征融合层、中间层、动作识别层、异常检测层和输出层；其中：

输入层的输入内容为图像和时间序列；图像为用于捕捉动物外观信息的深度图像，时间序列为包含动物骨骼运动信息的骨骼数据；

深度图像特征提取层为从深度图像中提取图像特征，从而捕捉动物的形态和姿态信息的卷积神经网络；

可选的，本实施例选取的卷积神经网络包括依次电性连接的：输入层(输入大小：256x256，代表深度图像的分辨率；卷积核数量：32，卷积核大小：3x3；步幅：1；填充：使用零填充)、激活函数层(使用ReLU作为激活函数)、池化层(类型：最大池化层；池化窗口大小：2x2；步幅：2)、扁平化层(将池化层的输出展平成一维向量)、全连接层(节点数量：128；激活函数：ReLU)和输出层(节点数量：类别数，即动物的不同行为类别；激活函数：softmax，用于多类别分类)；

骨骼数据特征提取层为从骨骼数据中提取时间序列特征并捕捉动物运动时序信息的循环神经网络或长短时记忆网络，动物运动时序信息即骨骼数据特征；

特征融合层用于通过串联的方式融合图像特征和骨骼数据特征，得到融合数据特征；

可选的，如图2所示，本实施例选取的特征融合层通过1x1卷积进行通道数的调整；使用1x1卷积调整图像特征和骨骼数据特征的通道数；将调整后的特征在通道维度上连接；

中间层用于对融合数据特征进行降维和高级特征提取；

可选的，本实施例选取的中间层包括依次电性连接的两层卷积层，分别是1x1卷积层(输入特征维度：融合数据特征的通道数；输出特征维度：较小的通道数，用于降维；激活函数：ReLU)和3x3卷积层(输入特征维度：1x1卷积层输出的通道数；输出特征维度：相同或不同的通道数，用于提取高级特征；激活函数：ReLU)；

动作识别层通过Softmax分类器实现动物行为的分类识别；

异常检测层通过设置阈值或通过异常检测算法判定动物异常行为；

可选的，本实施例选取的异常检测层通过设置阈值判定动物异常行为；其中阈值为由行为识别预测模型输出的一个分数或概率，表示动物行为正常的置信度；阈值的具体取值范围通常在0到1之间，对应概率的取值范围也算是从0到1；

最后，通过比较模型输出的得分或概率与设置的阈值，可以进行动物异常行为的判定；如果输出的得分或概率超过设定的阈值，系统就判定为正常行为；反之，如果低于阈值，就判定为异常行为；

可选的，本实施例选取的异常检测层也可以通过异常检测算法3D-CNN判定动物异常行为；判定动物异常行为的工作逻辑为：当监控动物行为时，使用3D-CNN模型学习视频中的时空特征，训练模型以识别正常动物行为；在测试阶段，通过设定阈值，当模型检测到视频中某一时刻的行为分数超过阈值时，我们认为这是正常行为；反之，则是异常行为；从而可以实时发现、判定并处理动物异常行为；具体的，判定动物异常行为：设定阈值后根据3D-CNN输出的得分进行二元分类从而得出判断结果；

可以理解的，二元分类(dual or dualistic classification)，又称“二向分类”；在包含两类事项的比较研究中，按两个标志所作的分类；例如在研究学生的智力与性别的关系时，按智力与性别两个标志分类，即为二元分类。对于二元分类的观测结果，需要根据数据的特征，考虑采用x2检验或二元分类的方差分析；

输出层的输出内容为识别的动作标签以及异常行为标签。

可以理解的，目标动作识别模型的训练过程为：

S1、数据准备：收集深度图像和肢体动作关键骨骼点标注的数据集。将数据集划分为训练集和测试集。

S2、数据预处理：对深度图像进行调整大小、归一化等预处理。对关键骨骼点进行标准化，确保输入数据的一致性。

S3、模型选择：选择适当的深度学习模型，例如卷积神经网络(CNN)用于深度图像，循环神经网络(RNN)用于时序关键骨骼点数据，或者可以考虑图卷积网络(GCN)用于关键骨骼点。

S4、模型构建：构建模型的架构，包括图像处理层、骨骼关键点处理层，融合层等。确保模型能够同时处理深度图像和关键骨骼点数据。

S5、损失函数选择：选择损失函数，例如交叉熵损失用于动作分类，均方误差用于关键骨骼点位置回归。

S6、优化算法选择：选择优化算法，例如Adam优化器，用于最小化损失函数。

S7、模型训练：将深度图像和关键骨骼点数据输入模型，通过反向传播和优化算法更新模型权重。考虑使用同一物种的正常和异常动作样本进行训练。

S8、超参数调整：调整学习率、批处理大小等超参数，以优化模型性能。

S9、模型评估：使用测试集评估模型的性能，检查其对正常和异常动作的识别效果以及对关键骨骼点的准确性。

S10、模型调整：根据评估结果进行模型调整，可能包括修改模型结构、增加训练数据等。

可以理解的，初始异常骨骼点数据集应当包括骨骼数据和骨骼数据对应的目标动作识别模型输出结果，即骨骼数据对应的动作标签以及异常行为标签。

可选的，初始异常骨骼点数据集实际在物理存储中，具体包括多个样本及样本对应的标签每个样本应包括一个时间序列，其中记录了一段时间内的关键骨骼点的坐标，每个样本对应的标签，表示该样本所属的动作类别，即正常动作或异常动作。

可选的，本发明实施例中，初始异常骨骼点数据集中的骨骼数据通过3D-CNNPoseC3D模型进行调整，得到动物异常行为骨骼数据集。

可以理解的，3D-CNN PoseC3D模型是一个结合了三维卷积神经网络(3D-CNN)和姿态估计的模型，主要用于对动作或姿态进行识别和预测，特别是在处理时序关键骨骼点数据时，得到的数据可以用于描述人体或动物的运动姿态。

可以理解的，本发明实施例通过3D-CNN PoseC3D模型进行调整的目的为：通过在模型训练前对训练集中的关键骨骼点数据进行调整、处理或修正，以便提高数据的质量和准确性，可以改善行为识别预测模型在训练和预测过程中对关键骨骼点数据的处理能力，从而提高行为识别预测模型的性能。

可以理解的，基于3D-CNN PoseC3D模型，动物异常行为骨骼数据集的建立方法为：

通过初始异常骨骼点数据集对视频进行2D动物姿态估计，获取关键点坐标信息(X，Y，C)，其中，X表示关键点在图像上的水平位置，以图像左上角为原点，向右为正方向，Y是表示关键点在图像上的垂直位置，以图像左上角为原点，向下为正方向，C是置信度；

基于关键点坐标信息生成3D热图堆叠；3D热图堆叠中的热图(K×H×W)，其中，K是关键点个数，H是热图的高度，表示图像平面上的垂直维度，W是热图的宽度，表示图像平面上的水平维度；3D热图堆叠(K×T×H×W)，其中，T是时序维度，即连续帧对应3D热图的张数；

根据初始异常骨骼点数据集中骨骼数据建立动物的RGB+Posec3D骨架，再根据各个骨骼数据的相对位移、相对距离制作动物异常行为骨骼数据集。

可以理解的，3D热图堆叠在空间上，采用subject-centered cropping；在时间上，使用uniform sampling，以建模更长的视频，即：

在空间上，采用主体中心裁剪，是指在图像或视频中，将主要的目标或主体(通常是动物)置于裁剪框的中心，然后对其进行裁剪。这样做的目的是为了突出主体并减少背景信息，从而更好地聚焦于主体的姿态和动作；

在时间上，使用均匀采样是指从视频序列中以相等的时间间隔抽取帧。这种方法的优点在于可以捕捉到更长时间范围内的动作和姿态变化，从而更好地建模动物的运动模式和行为；

通过将这两种方法结合起来，可以获得更具信息量的数据样本，有助于提高姿态估计和动作识别的性能。主体中心裁剪可以使关键点更好地集中在主体上，减少姿态估计的误差。均匀采样则能够捕捉到更长时间内的动作变化，增强模型对动态行为的理解。

可以理解的，RGB+Posec3D骨架是指将动物的关键点连接方式，用于表示动物的姿态或形状。

可以理解的，基于动物异常行为骨骼数据集的建立过程，动物异常行为骨骼数据集包括骨骼数据、骨骼数据的相对位移和相对距离和骨骼数据对应的动作标签以及异常行为标签。

具体地：

1、关键点数据：对于每个样本，包含关键帧中每个关键点的坐标信息。例如，对于一个样本，你可能有一个关键点数据数组，其中每个元素表示一个关键点的坐标。

2、关键点的相对位移和相对距离：计算得到的关键点之间的相对位移和相对距离信息。

3、标签信息：对于每个样本，标记其属于正常行为还是异常行为。这可以是一个二进制标签，例如0表示正常，1表示异常。

假设有样本数据包括两个关键点和一个标签，数据具体示例如下：

样本1：

-关键点数据：[关键点1坐标,关键点2坐标]

-相对位移：[相对位移1,相对位移2]

-相对距离：[相对距离1,相对距离2]

-标签：0(正常)

样本2：

-关键点数据：[关键点1坐标,关键点2坐标]

-相对位移：[相对位移1,相对位移2]

-相对距离：[相对距离1,相对距离2]

-标签：1(异常)

可知，每个样本都包含了关键点数据以及与之关联的相对位移、相对距离信息，以及标签来标识正常或异常行为。这些数据可以用于训练和评估3D-CNN网络模型，使其能够识别和预测动物的异常行为。实际数据集的结构和内容会根据具体应用和动物种类而有所不同。

可以理解的，基于动物异常行为骨骼数据集，行为识别预测模型的训练过程为：将动物异常行为骨骼数据集中骨骼数据及骨骼数据的相对位移和相对距离作为行为识别预测模型的输入，判断行为识别预测模型输出结果与动物异常行为骨骼数据集中骨骼数据对应的动作标签以及异常行为标签是否相同，从而对行为识别预测模型进行调整，直至识别预测模型识别的正确率大于95％。

可选的，本实施例通过行为识别预测模型对动物异常行为进行识别，最终将识别结果转化为识别结果图；

在目标动作识别的背景下，识别结果图包括以下内容：

动作标签：行为识别预测模型认为正在发生的动作或行为的标签。例如，如果模型用于识别动物的攻击行为，图中可能会显示"攻击"的标签。

置信度/概率：表示识别预测模型对其预测的置信度或概率；可以是一个百分比，表示模型对其预测的信心程度；高置信度通常表示模型对预测结果有信心，而低置信度可能表示模型对结果不太确定；

可视化效果：识别结果图还包含可视化效果，例如高亮显示的骨骼关键点、模型关注的区域等；这有助于理解行为识别预测模型是如何基于输入数据进行决策的。

Claims (10)

1.一种基于深度图像和骨骼数据的动物异常行为识别方法，其特征在于，包括以下步骤：

S1、识别深度图像和深度图像对应视频中的动物物种，标记深度图像和深度图像对应视频中目标对象的异常动作行为姿态，提取肢体动作关键骨骼点，作为骨骼数据；

S2、建立目标动作识别模型，将深度图像和骨骼数据输入目标动作识别模型，得到目标动作识别模型输出的目标对象的异常动作识别结果，并根据异常动作识别结果结合肢体动作关键骨骼点数据建立初始异常骨骼点数据集，再通过对初始异常骨骼点数据集进行调整得到动物异常行为骨骼数据集；

S3、通过所述动物异常行为骨骼数据集对3D-CNN网络模型进行训练，得到基于动物骨架特征向量的行为识别预测模型；

S4、通过行为识别预测模型对动物异常行为进行识别。

2.如权利要求1所述的动物异常行为识别方法，其特征在于，所述目标动作识别模型包括依次电性连接的输入层、深度图像特征提取层、骨骼数据特征提取层、特征融合层、中间层、动作识别层、异常检测层和输出层。

3.如权利要求2所述的动物异常行为识别方法，其特征在于：

所述输入层的输入内容为图像和时间序列；所述图像为用于捕捉动物外观信息的深度图像，所述时间序列为包含动物骨骼运动信息的骨骼数据；

所述深度图像特征提取层为从所述深度图像中提取图像特征，从而捕捉动物的形态和姿态信息的卷积神经网络；

所述骨骼数据特征提取层为从骨骼数据中提取时间序列特征并捕捉动物运动时序信息的循环神经网络或长短时记忆网络，所述动物运动时序信息即骨骼数据特征；

所述特征融合层用于通过串联的方式融合所述图像特征和所述骨骼数据特征，得到融合数据特征；

所述中间层用于对所述融合数据特征进行降维和高级特征提取；

所述动作识别层通过Softmax分类器实现动物行为的分类识别；

所述异常检测层通过设置阈值或通过异常检测算法判定动物异常行为；

所述输出层的输出内容为识别的动作标签以及异常行为标签。

4.如权利要求1所述的动物异常行为识别方法，其特征在于，所述步骤S1中，深度图像和深度图像对应视频中的动物物种通过YOLOv5模型识别。

5.如权利要求1所述的动物异常行为识别方法，其特征在于，所述异常动作行为姿态的标记方式为物种-异常状态-异常部分。

6.如权利要求1所述的动物异常行为识别方法，其特征在于，所述肢体动作关键骨骼点包括头部、颈部、肩部、腿关节、髋部、踝关节。

7.如权利要求1所述的动物异常行为识别方法，其特征在于，所述初始异常骨骼点数据集中的骨骼数据通过3D-CNN PoseC3D模型进行调整，得到所述动物异常行为骨骼数据集。

8.如权利要求7所述的动物异常行为识别方法，其特征在于，所述动物异常行为骨骼数据集的建立方法为：

通过所述初始异常骨骼点数据集对所述视频进行2D动物姿态估计，获取关键点坐标信息(X，Y，C)，其中，X表示关键点在图像上的水平位置，以图像左上角为原点，向右为正方向，Y是表示关键点在图像上的垂直位置，以图像左上角为原点，向下为正方向，C是置信度；

基于关键点坐标信息生成3D热图堆叠；3D热图堆叠中的热图(K×H×W)，其中，K是关键点个数，H是热图的高度，表示图像平面上的垂直维度，W是热图的宽度，表示图像平面上的水平维度；3D热图堆叠(K×T×H×W)，其中，T是时序维度，即连续帧对应3D热图的张数；

根据初始异常骨骼点数据集中骨骼数据建立动物的RGB+Posec3D骨架，再根据各个骨骼数据的相对位移、相对距离制作动物异常行为骨骼数据集。

9.如权利要求1或8所述的动物异常行为识别方法，其特征在于，所述动物异常行为骨骼数据集包括骨骼数据、骨骼数据的相对位移和相对距离和骨骼数据对应的动作标签以及异常行为标签。

10.如权利要求9所述的动物异常行为识别方法，其特征在于，所述行为识别预测模型的训练过程为：将所述动物异常行为骨骼数据集中骨骼数据及骨骼数据的相对位移和相对距离作为行为识别预测模型的输入，判断行为识别预测模型输出结果与动物异常行为骨骼数据集中骨骼数据对应的动作标签以及异常行为标签是否相同，从而对行为识别预测模型进行调整，直至识别预测模型识别的正确率大于95％。