CN115661717A - 牲畜爬跨行为标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种牲畜爬跨行为标注方法、装置、电子设备及存储介质，该方法包括：利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；牲畜多行为检测模型用于对多牲畜活动视频中各个牲畜的行为类型进行检测；对初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；获取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧关键帧中爬跨牲畜的位置信息；基于关键帧中爬跨牲畜的位置信息，生成每一帧关键帧对应的牲畜爬跨行为标注文件。本发明实现了牲畜爬跨视频图像的自动检测及数据自动标注，减少了人工标注工作量以及人力成本。

Description

牲畜爬跨行为标注方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种牲畜爬跨行为标注方法、装置、电子设备及存储介质。

背景技术

畜牧养殖业是中国农业增效、农民增收的重要产业，现代畜牧业正不断向规模化和集约化方向发展，对畜牧养殖管理提出了新的要求，需要依靠信息技术提升畜牧养殖的科学管理水平。

牲畜的爬跨行为是判断牲畜发情的典型行为特征。随着监控设备在养殖场的普及应用，通过利用养殖场牲畜的监控视频，基于深度学习技术，能够快速检测牲畜爬跨行为，有效降低牲畜发情的漏检率。如通过监测奶牛发情爬跨行为，可以使奶牛适时受孕，提高奶牛的受孕率，提升奶牛养殖的经济效益。

基于深度学习的牲畜爬跨行为检测方法需要大量数据集进行训练，才能达到较高的准确率。然而现有基于深度学习的牲畜爬跨行为检测研究中，通常是由人工手动剪裁出牲畜爬跨行为的图像，制作成牲畜发情行为数据集。由于牲畜在养殖场内活动范围广，发情时间较短，且发情时段不固定，因此需要人工从实时监控的海量视频数据中找到牲畜爬跨视频，并对爬跨行为进行手动裁剪和特征标注，这种方法工作量巨大，费时费力，且成本较高。

发明内容

本发明提供一种牲畜爬跨行为标注方法、装置、电子设备及存储介质，用以解决现有技术中需要人工从实时监控的海量视频数据中找到牲畜爬跨视频，并对爬跨行为进行手动裁剪和特征标注，存在工作量巨大，费时费力，且人工成本高的缺陷。

本发明提供一种牲畜爬跨行为标注方法，包括：

利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；

对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；

基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

根据本发明提供的一种牲畜爬跨行为标注方法，对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，包括：

将所述第一视频帧输入至卡尔曼滤波器，获取所述卡尔曼滤波器输出的所述第一视频帧的跟踪图像；所述跟踪图像包括多个跟踪框标识，每个所述跟踪框标识框选所述第一视频帧中的一个牲畜或两个牲畜；

将所述第一视频帧输入所述牲畜多行为检测模型，获取所述牲畜多行为检测模型输出的所述第一视频帧中各个牲畜的行为类型及位置信息，并根据各个牲畜的位置信息生成每个牲畜的检测框标识；

截取各个所述跟踪框标识内的第一图像片段及各个所述检测框标识内的第二图像片段，并将各个所述第一图像片段及各个所述第二图像片段均输入至牲畜爬跨行为识别模型，获取所述牲畜爬跨行为识别模型输出的识别结果；牲畜爬跨行为识别模型是基于牲畜爬跨图像样本及对应的爬跨行为标签信息训练得到的；

在确定所述识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出所述第一视频帧的爬跨行为跟踪结果。

根据本发明提供的一种牲畜爬跨行为标注方法，在确定所述识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出所述第一视频帧的爬跨行为跟踪结果，包括：

在确定所述识别结果为存在一类所述目标图像片段，且所述目标图像片段属于所述第一图像片段的情况下，在所述第一视频帧中仅输出所述目标图像片段对应的跟踪框标识；

或，

在确定所述识别结果为存在一类所述目标图像片段，且所述目标图像片段属于所述第二图像片段的情况下，在所述第一视频帧中仅输出所述目标图像片段对应的检测框标识，并利用所述目标图像片段对应的检测框标识更新所述目标图像片段对应的跟踪框标识；

或，

在确定所述识别结果为存在所述目标图像片段，且所述目标图像片段包括第一目标图像片段和第二目标图像片段的情况下，确定所述第一目标图像片段对应的第一识别准确率和所述第二目标图像片段对应的第二识别准确率；所述第一目标图像片段属于所述第一图像片段，所述第二目标图像片段属于所述第二图像片段；

在确定所述第一识别准确率不小于第二识别准确率的情况下，在所述第一视频帧中仅输出所述第一目标图像片段对应的跟踪框标识；

在确定所述第一识别准确率小于第二识别准确率的情况下，在所述第一视频帧中仅输出所述第二目标图像片段对应的检测框标识，并利用所述第二目标图像片段对应的检测框标识更新所述第一目标图像片段对应的跟踪框标识。

根据本发明提供的一种牲畜爬跨行为标注方法，在所述获取所述牲畜爬跨行为识别模型输出的识别结果之后，所述方法还包括：

在确定所述识别结果为不存在牲畜爬跨行为的目标图像片段的情况下，确定所述第一视频帧为所述目标视频帧，并结束对所述第一视频帧的爬跨行为跟踪。

根据本发明提供的一种牲畜爬跨行为标注方法，在所述利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，所述方法还包括：

将带有行为标签信息的多牲畜活动视频图像样本集按照第一预设比例划分为第一训练集和第一测试集；

利用所述第一训练集中的多组训练样本，对参数初始化后的牲畜多行为检测模型进行训练；所述训练样本包括多牲畜活动视频图像样本及对应的行为标签信息；

每完成一轮训练后，利用所述第一测试集对训练后的牲畜多行为检测模型进行测试，确定第一测试集准确率；

在所述第一测试集准确率达到第一预设阈值的情况下，停止训练，得到训练好的所述牲畜多行为检测模型。

根据本发明提供的一种牲畜爬跨行为标注方法，在所述利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，所述方法还包括：

将多牲畜活动视频图像样本输入至所述牲畜多行为检测模型，获取所述牲畜多行为检测模型输出的所述多牲畜活动视频图像样本中每一视频帧对应的每个牲畜的行为类型及位置信息；

确定所述行为类型包括爬跨行为的第二视频帧，并根据爬跨牲畜的位置信息对所述第二视频帧进行裁剪，得到牲畜爬跨图像样本；

将所有所述牲畜爬跨图像样本按照第二预设比例划分为第二训练集和第二测试集；

利用所述第二训练集，对参数初始化后的牲畜爬跨行为识别模型进行训练；

每完成一轮训练后，利用所述第二测试集对训练后的牲畜爬跨行为识别模型进行测试，确定第二测试集准确率；

在所述第二测试集准确率达到第二预设阈值的情况下，停止训练，得到训练好的所述牲畜爬跨行为识别模型。

本发明还提供一种牲畜爬跨行为标注装置，包括：

检测模块，用于利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；

跟踪模块，用于对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

获取模块，用于获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；

标注模块，用于基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述牲畜爬跨行为标注方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述牲畜爬跨行为标注方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述牲畜爬跨行为标注方法。

本发明提供的牲畜爬跨行为标注方法、装置、电子设备及存储介质，通过利用牲畜多行为检测模型对多牲畜活动视频中各个牲畜的行为类型进行实时检测，确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧，基于牲畜发情过程的连续性及短时性，对该初始视频帧之后的各个视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧，通过获取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并根据爬跨行为跟踪过程获得的跟踪数据，确定每一帧关键帧中爬跨牲畜的位置信息，从而根据关键帧中爬跨牲畜的位置信息，生成每一帧关键帧对应的牲畜爬跨行为标注文件，实现了牲畜爬跨视频图像的自动检测及数据自动标注，减少了人工标注工作量以及人力成本，提高了牲畜爬跨行为检测研究中的智能化水平。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的牲畜爬跨行为标注方法的流程示意图之一；

图2是本发明提供的牲畜爬跨行为标注系统的结构示意图；

图3是本发明提供的牲畜爬跨行为标注方法的流程示意图之二；

图4是本发明提供的牲畜爬跨行为标注方法的流程示意图之三；

图5是本发明提供的牲畜爬跨行为标注装置的结构示意图；

图6是本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合图1-图6描述本发明的牲畜爬跨行为标注方法、装置、电子设备及存储介质。

图1是本发明提供的牲畜爬跨行为标注方法的流程示意图之一，如图1所示，该方法包括：步骤110、步骤120、步骤130和步骤140。

步骤110，利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；牲畜多行为检测模型用于对多牲畜活动视频中各个牲畜的行为类型进行检测；

具体地，本发明实施例所描述的多牲畜活动视频指的是通过监控设备拍摄到的区域范围内各个牲畜活动的视频。

本发明实施例所描述的牲畜可以包括多类大规模饲养的牲畜，如牛、马、羊、猪等。

本发明实施例所描述的牲畜的行为类型可以包括躺卧、站立、喝水、爬跨、吃食等多种行为。

本发明实施例所描述的牲畜多行为检测模型用于对多牲畜活动视频的各帧图像中各个牲畜的行为类型进行检测，其可以通过带有行为标签信息的多牲畜活动视频图像样本进行训练得到。

本发明实施例中的牲畜多行为检测模型可以是基于现有深度神经网络训练得到，如可以采用快速区域卷积神经网络(Faster Region Convolutional Neural Network，Faster RCNN)、SSD(Single Shot MultiBox Detector)、YOLO等神经网络框架，在本发明中不做具体限定。牲畜多行为检测模型可以包括特征提取、特征金字塔、行为检测分支等模块，最终可以输出牲畜行为类型、位置坐标信息以及置信度。

在本发明实施例中，牲畜多行为检测模型具体可以包括奶牛多行为检测模型、马多行为检测模型、羊多行为检测模型等。

本发明实施例所描述的初始视频帧指的是多牲畜活动视频的视频帧中首次出现牲畜爬跨行为的视频帧。

进一步地，在本发明的实施例中，通过牲畜多行为检测模型可以有效对多牲畜活动视频中的各个牲畜活动的行为类型进行识别检测，通过对多牲畜活动视频进行逐帧检测，可以确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧。

基于上述实施例的内容，作为一种可选的实施例，在利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，该方法还包括：

将带有行为标签信息的多牲畜活动视频图像样本集按照第一预设比例划分为第一训练集和第一测试集；

利用第一训练集中的多组训练样本，对参数初始化后的牲畜多行为检测模型进行训练；训练样本包括多牲畜活动视频图像样本及对应的行为标签信息；

每完成一轮训练后，利用第一测试集对训练后的牲畜多行为检测模型进行测试，确定第一测试集准确率；

在第一测试集准确率达到第一预设阈值的情况下，停止训练，得到训练好的牲畜多行为检测模型。

具体地，本发明实施例所描述的行为标签信息指的是多牲畜活动视频图像样本中各牲畜的行为类型标签。

本发明实施例所描述的第一预设比例指的是预设的样本集划分比例，其可以取值7：3，8：2或9：1。

本发明实施例所描述的第一预设阈值指的是预设的测试集准确率阈值，其可以取值为90％。

本发明实施例所描述的第一训练集和第一测试集为将带有行为标签信息的多牲畜活动视频图像样本集按照第一预设比例划分得到的训练集和测试集。

在本发明的实施例中，多牲畜活动视频图像样本与行为标签信息一一对应，也就是说，每个多牲畜活动视频图像样本均对应一个行为标签信息，根据行为标签信息可以确定每个多牲畜活动视频图像样本中各个牲畜的行为类型，如躺卧、站立、喝水、爬跨、吃食等。行为标签信息可以是通过人工标注的形式得到。

在本发明的实施例中，在对牲畜多行为检测模型进行训练之前，首先需要根据采集的牲畜活动视频，构建带有行为标签信息的多牲畜活动视频图像样本集。通过从牲畜活动视频中提取各帧多牲畜活动视频图像，由于多牲畜活动视频图像中存在多种行为的牲畜，如：躺卧、站立、喝水、爬跨等，利用Labelimg软件可以对每一帧多牲畜活动视频图像进行人工标注，确定各帧多牲畜活动视频图像对应的行为标签信息，并手动选取图像中牲畜行为的坐标信息，生成XML文件，由此构建带有行为标签信息的多牲畜活动视频图像样本集。

进一步地，可以按照第一预设比例，如8：2，将带有行为标签信息的多牲畜活动视频图像样本集划分为第一训练集和第一测试集。在第一训练集中，将多牲畜活动视频图像样本及对应的行为标签信息作为一组训练样本，由此可以得到多组训练样本。

在本发明的实施例中，通过设置模型训练轮数、学习率、Batch size等参数，对牲畜多行为检测模型进行参数初始化，进而利用第一训练集中的多组训练样本，对参数初始化后的牲畜多行为检测模型进行离线训练。

在本发明的实施例中，每完成一轮训练后，利用第一测试集对训练后的牲畜多行为检测模型进行测试，测试模型在测试集中的准确率，得到第一测试集准确率。在第一测试集准确率达到第一预设阈值，如90％时，可以停止模型训练，得到训练好的牲畜多行为检测模型。

本发明实施例的方法，通过构建带有行为标签信息的多牲畜活动视频图像样本集，将其划分为训练集和测试集，对牲畜多行为检测模型进行离线训练和测试，在确定测试集准确率达到预设阈值时，完成模型训练，可以有效提高模型训练的效率，提升训练好的牲畜多行为检测模型的模型精度。

步骤120，对初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

具体地，本发明实施例所描述的第一视频帧指的是初始视频帧之后的各帧视频帧。

本发明实施例所描述的目标视频帧指的是初始视频帧之后的第一视频帧中可以表征牲畜爬跨行为结束的视频帧，其可以理解为各第一视频帧中首次出现不存在牲畜爬跨行为的视频帧。

需要说明的是，牲畜的爬跨行为是一个连续过程，在视频片段中会以一段连续视频帧形式呈现。在本发明的实施例中，可以利用基于机器视觉的视频对象检测和追踪算法，例如，利用牲畜多行为检测模型与基于深度学习的目标跟踪算法相结合，可对视频对象的连续动作进行检测与跟踪，从而可以实现对初始视频帧之后的各第一视频帧中的各牲畜活动行为进行爬跨行为跟踪。

在本发明的实施例中，通过对初始视频帧之后的各第一视频帧进行爬跨行为跟踪，对每一帧第一视频帧中的各牲畜行为进行检测及跟踪，实时跟踪第一视频帧中牲畜的爬跨行为，直至检测到表征牲畜爬跨行为结束的目标视频帧，完成整个牲畜爬跨行为跟踪过程。

步骤130，获取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧关键帧中爬跨牲畜的位置信息；

具体地，本发明实施例所描述的关键帧指的是可以表征存在牲畜爬跨行为的视频帧。

进一步地，通过抽取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并根据爬跨行为跟踪过程获得的跟踪数据，可以提取到每一帧关键帧中爬跨牲畜的位置信息。

步骤140，基于关键帧中爬跨牲畜的位置信息，生成每一帧关键帧对应的牲畜爬跨行为标注文件。

在该步骤中，当判断牲畜爬跨行为结束后，基于每一帧关键帧中牲畜的位置信息进行爬跨行为标注，由此生成每一帧关键帧对应的XML格式的牲畜爬跨行为标注文件，实现对牲畜爬跨视频图像的自动检测及数据自动标注。

本发明实施例的牲畜爬跨行为标注方法，通过利用牲畜多行为检测模型对多牲畜活动视频中各个牲畜的行为类型进行实时检测，确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧，基于牲畜发情过程的连续性及短时性，对该初始视频帧之后的各个视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧，通过获取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并根据爬跨行为跟踪过程获得的跟踪数据，确定每一帧关键帧中爬跨牲畜的位置信息，从而根据关键帧中爬跨牲畜的位置信息，生成每一帧关键帧对应的牲畜爬跨行为标注文件，实现了牲畜爬跨视频图像的自动检测及数据自动标注，减少了人工标注工作量以及人力成本，提高了牲畜爬跨行为检测研究中的智能化水平。

图2是本发明提供的牲畜爬跨行为标注系统的结构示意图，如图2所示，以牲畜为奶牛为例，该系统主要可以包括：

青年牛舍21、摄像机22、硬盘录像机23、无线网络模块24、物联网云平台25、服务器26。

在本实施例中，将摄像机22布置在奶牛养殖场的青年牛舍21内，覆盖整个青年牛舍及运动场所，实时监测奶牛爬跨行为。通过摄像机22采集多牲畜活动视频，将视频数据传输至硬盘录像机23进行本地存储，并通过无线网络模块24传输至物联网云平台25，将本发明提供的牲畜爬跨行为方法的算法模型部署在服务器26中，实时检测视频采集数据中的奶牛是否出现爬跨行为，保存出现爬跨行为的奶牛图像，并完成爬跨行为数据的自动标注。

在本发明实施例中，综合集成了物联网、机器视觉、目标检测、行为识别以及目标追踪等信息技术手段，搭建了一种基于机器视觉的牲畜发情行为监测系统。

基于上述实施例的内容，作为一种可选的实施例，对初始视频帧之后的各第一视频帧进行爬跨行为跟踪，包括：

将第一视频帧输入至卡尔曼滤波器，获取卡尔曼滤波器输出的第一视频帧的跟踪图像；跟踪图像包括多个跟踪框标识，每个跟踪框标识框选有第一视频帧中的一个牲畜；

将第一视频帧输入牲畜多行为检测模型，获取牲畜多行为检测模型输出的第一视频帧中各个牲畜的行为类型及位置信息，并根据各个牲畜的位置信息生成每个牲畜的检测框标识；

截取各个跟踪框标识内的第一图像片段及各个检测框标识内的第二图像片段，并将各个第一图像片段及各个第二图像片段均输入至牲畜爬跨行为识别模型，获取牲畜爬跨行为识别模型输出的识别结果；牲畜爬跨行为识别模型是基于牲畜爬跨图像样本及对应的爬跨行为标签信息训练得到的；

在确定识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出第一视频帧的爬跨行为跟踪结果。

需要说明的是，在本发明的实施例中，可以将卡尔曼滤波器作为一种运动模型，用来对多牲畜活动视频中牲畜的位置进行预测，并且利用预测结果对跟踪的目标进行修正。在对多牲畜活动视频中的牲畜进行跟踪时，当牲畜运动速度较慢时，很容易将前后两帧中该牲畜进行关联，其可以利用之前几帧中牲畜的位置来预测下一帧该牲畜的位置。

具体地，本发明实施例所描述的跟踪图像指的是通过卡尔曼滤波器，对当前第一视频帧中各个牲畜的位置进行预测而得到的图像。

本发明实施例所描述的第一图像片段指的是根据跟踪框标识的尺寸，在第一视频帧中截取的图像片段。

本发明实施例所描述的第二图像片段指的是根据检测框标识的尺寸，在第一视频帧中截取的图像片段。

本发明实施例所描述的牲畜爬跨行为识别模型专门用于识别牲畜爬跨行为的图像，其可以根据图像分类网络，如深度残差网络(Residual Network，ResNet)、视觉几何小组(Visual Geometry Group，VGG)网络、MobileNet网络、Swin-Transformer网络等进行构建得到，具体可以是基于牲畜爬跨图像样本及对应的爬跨行为标签信息训练得到。

在本发明的实施例中，牲畜爬跨行为识别模型可以包括奶牛爬跨行为识别模型、马爬跨行为识别模型以及羊爬跨行为识别模型等。

基于上述实施例的内容，作为一种可选的实施例，在利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，该方法还包括：

将多牲畜活动视频图像样本输入至牲畜多行为检测模型，获取牲畜多行为检测模型输出的多牲畜活动视频图像样本中每一视频帧对应的每个牲畜的行为类型及位置信息；

从各帧多牲畜活动视频图像样本中确定行为类型包括爬跨行为的第二视频帧，并根据爬跨牲畜的位置信息对第二视频帧进行裁剪，得到牲畜爬跨图像样本；

将所有牲畜爬跨图像样本按照第二预设比例划分为第二训练集和第二测试集；

利用第二训练集，对参数初始化后的牲畜爬跨行为识别模型进行训练；

每完成一轮训练后，利用第二测试集对训练后的牲畜爬跨行为识别模型进行测试，确定第二测试集准确率；

在第二测试集准确率达到第二预设阈值的情况下，停止训练，得到训练好的牲畜爬跨行为识别模型。

具体地，本发明实施例所描述的第二预设比例指的是预设的样本集划分比例，其可以与第一预设比例相同，其也可以取值7：3，8：2，或9：1。

本发明实施例所描述的第二预设阈值指的是预设的测试集准确率阈值，其可以与第一预设阈值相同，也可以取值为90％。

本发明实施例所描述的第二训练集和第二测试集为将所有牲畜爬跨图像样本按照第二预设比例划分得到的训练集和测试集。

在本发明的实施例中，利用训练好的牲畜多行为检测模型，对多牲畜活动视频图像样本进行牲畜行为检测，当检测到牲畜爬跨行为时，从各帧多牲畜活动视频图像样本中抽取出存在爬跨行为的视频帧，即第二视频帧，根据输出的爬跨牲畜的位置信息对第二视频帧进行裁剪，将剪裁后的图像缩放至224×224大小，得到牲畜爬跨图像样本。根据得到的各个牲畜爬跨图像样本，构建牲畜爬跨图像样本集。

可以理解的是，本发明实施例中，牲畜爬跨图像样本可以携带有牲畜爬跨行为类型的标签信息。

进一步地，可以按照第二预设比例，如8：2，将牲畜爬跨图像样本集中所有牲畜爬跨图像样本划分为第二训练集和第二测试集。

在本发明的实施例中，同样地，通过设置模型训练轮数、学习率、Batch size等参数，对牲畜爬跨行为识别模型进行参数初始化，进而利用第二训练集中的训练样本，对参数初始化后的牲畜爬跨行为识别模型进行离线训练。

在本发明的实施例中，每完成一轮训练后，利用第二测试集对训练后的牲畜爬跨行为识别模型进行测试，测试模型在测试集中的准确率，得到第二测试集准确率。在第二测试集准确率达到第二预设阈值，如90％时，可以停止模型训练，得到训练好的牲畜爬跨行为识别模型。

本发明实施例的方法，通过利用训练好的牲畜多行为检测模型，构建牲畜爬跨图像样本集，可以有效减少人工进行样本标注的工作量，提升模型训练的效率，同时，利用牲畜爬跨图像样本集对牲畜爬跨行为识别模型进行离线训练和测试，在确定测试集准确率达到预设阈值时，完成模型训练，可以有效提高模型训练的效率，提升训练好的牲畜爬跨行为识别模型的模型精度。

在实际图像处理过程中，卡尔曼滤波器会对第一视频帧中每个牲畜的图像位置进行预测，对每个牲畜会对应生成一个跟踪框标识，也就是说，跟踪图像中可以包括多个跟踪框标识，每个跟踪框标识框选有第一视频帧中的一个牲畜或两个牲畜，由此对每个牲畜进行位置预测。

需要说明的是，在本发明的实施例中，当跟踪框标识框选存在爬跨行为的牲畜时，会同时框选在爬跨的两个牲畜，也就是说，存在爬跨行为的两个牲畜均对应同一个跟踪框标识。对于检测框标识的显示方式也与上述跟踪框标识一样，存在爬跨行为的两个牲畜均对应同一个检测框标识。

图3是本发明提供的牲畜爬跨行为标注方法的流程示意图之二，如图3所示，以牲畜为奶牛为例，该方法的具体步骤包括：

假设多牲畜活动视频中的第T帧为存在奶牛爬跨行为的初始视频帧，将T+1帧奶牛爬跨图像，即下一帧第一视频帧，输入至卡尔曼滤波跟踪器，即卡尔曼滤波器，获取卡尔曼滤波器输出的第一视频帧的跟踪图像，生成多个跟踪框标识；并将第一视频帧输入离线训练好的奶牛多行为检测模型，获取奶牛多行为检测模型输出的第一视频帧中各头奶牛的行为类型及位置信息，并根据各奶牛的位置信息生成每个奶牛的检测框标识。

进一步地，获取各个跟踪框标识内的第一图像片段及各个检测框标识内的第二图像片段，形成多源数据融合，并将各个第一图像片段及各个第二图像片段均输入至离线训练好的奶牛爬跨行为识别模型中，获取奶牛爬跨行为识别模型输出的识别结果，进一步判断奶牛是否在爬跨。

基于上述实施例的内容，作为一种可选的实施例，在获取牲畜爬跨行为识别模型输出的识别结果之后，该方法还包括：

在确定识别结果为不存在牲畜爬跨行为的目标图像片段的情况下，确定当前第一视频帧为目标视频帧，并结束对当前第一视频帧的爬跨行为跟踪。

本发明实施例的方法，在确定识别结果为不存在牲畜爬跨行为的目标图像片段的场景下，结束对当前第一视频帧的爬跨行为跟踪，有利于提升爬跨行为跟踪算法的有效性。

进一步地，在本发明的实施例中，在确定识别结果为存在奶牛爬跨行为的目标图像片段的情况下，基于该目标图像片段对应的跟踪框标识与检测框标识，输出第一视频帧的爬跨行为跟踪结果。

本发明实施例的方法，通过利用卡尔曼滤波器以及训练好的牲畜多行为检测模型，对牲畜爬跨行为进行检测及跟踪，实现多源数据融合的爬跨行为跟踪算法，并利用训练好的牲畜爬跨行为识别模型，进一步对检测结果和跟踪结果进行识别，判断牲畜是否爬跨，可以提升对牲畜爬跨行为跟踪的精确性。

基于上述实施例的内容，作为一种可选的实施例，在确定识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出第一视频帧的爬跨行为跟踪结果，包括：

在确定识别结果为存在一类目标图像片段，且目标图像片段属于第一图像片段的情况下，在第一视频帧中仅输出目标图像片段对应的跟踪框标识；

具体地，继续参照图3所示，在本发明的实施例中，将各个第一图像片段及各个第二图像片段均输入至离线训练好的奶牛爬跨行为识别模型中，识别各个第一图像片段和各个第二图像片段是否存在牲畜爬跨行为。

需要说明的是，在本发明的实施例中，将图像输入至离线训练好的奶牛爬跨行为识别模型中进行图像中爬跨行为的识别，不仅可以输出该图像的识别结果，还可以输出该识别结果对应的识别准确率。可以理解的是，存在牲畜爬跨行为的图像片段对应的识别准确率大于不存在牲畜爬跨行为的图像片段对应的识别准确率。

在确定识别结果为存在一类目标图像片段，且目标图像片段属于第一图像片段时，也就是说，通过奶牛爬跨行为识别模型输出的识别结果，确定存在一个或多个第一图像片段中存在牲畜爬跨行为，各个第二图像片段中均不存在牲畜爬跨行为，此时，可以根据各个图像片段对应的识别结果，确定奶牛爬跨行为识别模型输出的各个识别结果对应的识别准确率，以此计算爬跨概率。

可以理解的是，由跟踪框标识框选的图像信息可以确定第一图像片段，由检测框标识框选的图像信息可以确定第二图像片段。存在牲畜爬跨行为的第一图像片段对应的识别准确率不小于第二图像片段的识别准确率，因此，此时在第一视频帧中仅输出各个存在牲畜爬跨行为的第一图像片段对应的跟踪框标识，并删除其他所有的检测框标识和跟踪框标识，从而跟踪标识出第一视频帧中存在牲畜爬跨行为的牲畜。

可选地，在确定识别结果为存在一类目标图像片段，且目标图像片段属于第二图像片段的情况下，在第一视频帧中仅输出目标图像片段对应的检测框标识，并利用目标图像片段对应的检测框标识更新目标图像片段对应的跟踪框标识。

具体地，在本发明的实施例中，在确定识别结果为存在一类目标图像片段，且目标图像片段属于第二图像片段时，也就是说，通过奶牛爬跨行为识别模型输出的识别结果，确定存在一个或多个第二图像片段中存在牲畜爬跨行为，各个第一图像片段中均不存在牲畜爬跨行为。

同样地，存在牲畜爬跨行为的第二图像片段对应的识别准确率大于第一图像片段的识别准确率，因此，此时在第一视频帧中仅输出各个存在牲畜爬跨行为的第二图像片段对应的检测框标识，并删除其他所有的检测框标识和跟踪框标识，从而完成对第一视频帧中存在牲畜爬跨行为牲畜的跟踪检测。

可选地，在确定识别结果为存在目标图像片段，且目标图像片段包括第一目标图像片段和第二目标图像片段的情况下，确定第一目标图像片段对应的第一识别准确率和第二目标图像片段对应的第二识别准确率；第一目标图像片段属于第一图像片段，第二目标图像片段属于第二图像片段；

在确定第一识别准确率不小于第二识别准确率的情况下，在第一视频帧中仅输出第一目标图像片段对应的跟踪框标识；

在确定第一识别准确率小于第二识别准确率的情况下，在第一视频帧中仅输出第二目标图像片段对应的检测框标识，并利用第二目标图像片段对应的检测框标识更新第一目标图像片段对应的跟踪框标识。

具体地，本发明实施例所描述的第一目标图像片段指的是各个第一图像片段中被识别存在牲畜爬跨行为的图像片段。

本发明实施例所描述的第一识别准确率指的是第一目标图像片段对应的识别结果的识别准确率。

本发明实施例所描述的第二目标图像片段指的是各个第二图像片段中被识别存在牲畜爬跨行为的图像片段。

本发明实施例所描述的第二识别准确率指的是第二目标图像片段对应的识别结果的识别准确率。

继续参照图3所示，在本发明的实施例中，在确定识别结果为存在目标图像片段，且目标图像片段包括第一目标图像片段和第二目标图像片段时，也就是说，通过奶牛爬跨行为识别模型输出的识别结果，确定存在一个或多个第一图像片段中存在牲畜爬跨行为，同样地，也存在一个或多个第二图像片段中存在牲畜爬跨行为。

此时，通过计算第一目标图像片段和第二目标图像片段的爬跨概率，确定第一目标图像片段对应的第一识别准确率与该第一目标图像片段所处图像位置对应的第二目标图像片段的第二识别准确率的大小，以此确定输出第一视频帧的爬跨行为跟踪结果。

具体来说，对于存在一个或多个第一目标图像片段，在确定第一目标图像片段的第一识别准确率不小于第二目标图像片段的第二识别准确率的情况下，在第一视频帧中仅输出第一目标图像片段对应的跟踪框标识，并删除其他所有的检测框标识和跟踪框标识。

同样地，针对检测大于跟踪可以理解为，对于存在一个或多个第一目标图像片段，在确定第一目标图像片段的第一识别准确率小于第二目标图像片段的第二识别准确率的情况下，在第一视频帧中仅输出第二目标图像片段对应的检测框标识，并删除其他所有的检测框标识和跟踪框标识，同时利用第二目标图像片段对应的检测框标识更新对应的第一目标图像片段的跟踪框标识，从而完成对第一视频帧中存在牲畜爬跨行为牲畜的跟踪检测。

本发明实施例的方法，通过利用离线训练好的奶牛爬跨行为识别模型，对不同识别结果下存在牲畜爬跨行为的图像片段类型进行分析，并基于各个图像片段的识别准确率，来确定第一视频帧中牲畜爬跨行为的跟踪结果，确保对第一视频帧中牲畜爬跨行为进行跟踪标注的有效性。

图4是本发明提供的牲畜爬跨行为标注方法的流程示意图之三，如图4所示，以牲畜为奶牛为例，该方法的具体步骤包括：

首先，获取奶牛视频，即获取摄像机拍摄的海量多奶牛活动视频中的视频帧图像。

然后，利用离线训练好的奶牛多行为检测模型，对多头奶牛活动视频进行行为检测，确定是否出现奶牛爬跨行为，如是，则确定存在奶牛爬跨行为的初始视频帧；若否，则从奶牛视频中抽取下一帧视频帧进行检测。

其次，基于初始视频帧，输出视频帧中爬跨奶牛的位置信息和标签信息。

进而，基于爬跨奶牛的位置信息和标签信息，利用多源融合模型，即前述的多源数据融合的爬跨行为跟踪算法模型，对初始视频帧之后的第一视频帧进行爬跨行为跟踪，并利用奶牛爬跨行为识别模型，确定第一视频帧中爬跨奶牛的目标位置，判断奶牛是否爬跨，确定奶牛爬跨行为是否结束。若否，则重复上述跟踪方式，继续利用多源融合模型对下一帧第一视频帧进行爬跨行为跟踪；若是，则确认为奶牛爬跨行为结束，确定当前视频帧为表征牲畜爬跨行为结束的目标视频帧。

再者，计算上述爬跨过程中的每一帧视频帧中爬跨奶牛的位置信息。

由此，提取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧。

最后，确定每一帧关键帧中爬跨牲畜的位置信息，为每一帧关键帧图像生成XML格式的牲畜爬跨行为标注文件。

本发明实施例提出了一种基于海量视频数据资源中奶牛爬跨行为自动检测及数据自动标注的方法，通过自动获取监测视频数据流，调用离线训练后奶牛多行为检测模型及奶牛爬跨行为识别模型，配合完成奶牛爬跨行为的自动检测和数据自动标注，实现非接触式、自动化、智能化的奶牛爬跨行为自动检测，并提取整个爬跨行为视频，自动标注每帧图像中的爬跨奶牛，扩充爬跨行为检测的数据集，提高奶牛发情行为检测的准确率，为养殖管理提供全面、准确、及时的奶牛爬跨信息，同时为实时检测奶牛发情模型提供数据自动标注的技术支撑和手段，减少了人力资源的耗费，提高了非接触式奶牛发情监测的信息化、智能化及自动化水平。

下面对本发明提供的牲畜爬跨行为标注装置进行描述，下文描述的牲畜爬跨行为标注装置与上文描述的牲畜爬跨行为标注方法可相互对应参照。

图5是本发明提供的牲畜爬跨行为标注装置的结构示意图，如图5所示，包括：

检测模块510，用于利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；

跟踪模块520，用于对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

获取模块530，用于获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；

标注模块540，用于基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

本实施例所述的牲畜爬跨行为标注装置可以用于执行上述牲畜爬跨行为标注方法实施例，其原理和技术效果类似，此处不再赘述。

本发明实施例提供的牲畜爬跨行为标注装置，通过利用牲畜多行为检测模型对多牲畜活动视频中各个牲畜的行为类型进行实时检测，确定多牲畜活动视频中存在牲畜爬跨行为的初始视频帧，基于牲畜发情过程的连续性及短时性，对该初始视频帧之后的各个视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧，通过获取初始视频帧至目标视频帧之间存在牲畜爬跨行为的关键帧，并根据爬跨行为跟踪过程获得的跟踪数据，确定每一帧关键帧中爬跨牲畜的位置信息，从而根据关键帧中爬跨牲畜的位置信息，生成每一帧关键帧对应的牲畜爬跨行为标注文件，实现了牲畜爬跨视频图像的自动检测及数据自动标注，减少了人工标注工作量以及人力成本，提高了牲畜爬跨行为检测研究中的智能化水平。

图6是本发明提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各方法所提供的牲畜爬跨行为标注方法，该方法包括：利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的牲畜爬跨行为标注方法，该方法包括：利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的牲畜爬跨行为标注方法，该方法包括：利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种牲畜爬跨行为标注方法，其特征在于，包括：

利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；

对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；

基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

2.根据权利要求1所述的牲畜爬跨行为标注方法，其特征在于，对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，包括：

将所述第一视频帧输入至卡尔曼滤波器，获取所述卡尔曼滤波器输出的所述第一视频帧的跟踪图像；所述跟踪图像包括多个跟踪框标识，每个所述跟踪框标识框选所述第一视频帧中的一个或两个牲畜；

将所述第一视频帧输入所述牲畜多行为检测模型，获取所述牲畜多行为检测模型输出的所述第一视频帧中各个牲畜的行为类型及位置信息，并根据各个牲畜的位置信息生成每个牲畜的检测框标识；

截取各个所述跟踪框标识内的第一图像片段及各个所述检测框标识内的第二图像片段，并将各个所述第一图像片段及各个所述第二图像片段均输入至牲畜爬跨行为识别模型，获取所述牲畜爬跨行为识别模型输出的识别结果；牲畜爬跨行为识别模型是基于牲畜爬跨图像样本及对应的爬跨行为标签信息训练得到的；

在确定所述识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出所述第一视频帧的爬跨行为跟踪结果。

3.根据权利要求2所述的牲畜爬跨行为标注方法，其特征在于，所述在确定所述识别结果为存在牲畜爬跨行为的目标图像片段的情况下，输出所述第一视频帧的爬跨行为跟踪结果，包括：

在确定所述识别结果为存在一类所述目标图像片段，且所述目标图像片段属于所述第一图像片段的情况下，在所述第一视频帧中仅输出所述目标图像片段对应的跟踪框标识；

或，

在确定所述识别结果为存在一类所述目标图像片段，且所述目标图像片段属于所述第二图像片段的情况下，在所述第一视频帧中仅输出所述目标图像片段对应的检测框标识，并利用所述目标图像片段对应的检测框标识更新所述目标图像片段对应的跟踪框标识；

或，

在确定所述识别结果为存在所述目标图像片段，且所述目标图像片段包括第一目标图像片段和第二目标图像片段的情况下，确定所述第一目标图像片段对应的第一识别准确率和所述第二目标图像片段对应的第二识别准确率；所述第一目标图像片段属于所述第一图像片段，所述第二目标图像片段属于所述第二图像片段；

在确定所述第一识别准确率不小于第二识别准确率的情况下，在所述第一视频帧中仅输出所述第一目标图像片段对应的跟踪框标识；

在确定所述第一识别准确率小于第二识别准确率的情况下，在所述第一视频帧中仅输出所述第二目标图像片段对应的检测框标识，并利用所述第二目标图像片段对应的检测框标识更新所述第一目标图像片段对应的跟踪框标识。

4.根据权利要求2所述的牲畜爬跨行为标注方法，其特征在于，在所述获取所述牲畜爬跨行为识别模型输出的识别结果之后，所述方法还包括：

在确定所述识别结果为不存在牲畜爬跨行为的目标图像片段的情况下，确定所述第一视频帧为所述目标视频帧，并结束对所述第一视频帧的爬跨行为跟踪。

5.根据权利要求1-4任一项所述的牲畜爬跨行为标注方法，其特征在于，在所述利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，所述方法还包括：

将带有行为标签信息的多牲畜活动视频图像样本集按照第一预设比例划分为第一训练集和第一测试集；

利用所述第一训练集中的多组训练样本，对参数初始化后的牲畜多行为检测模型进行训练；所述训练样本包括多牲畜活动视频图像样本及对应的行为标签信息；

每完成一轮训练后，利用所述第一测试集对训练后的牲畜多行为检测模型进行测试，确定第一测试集准确率；

在所述第一测试集准确率达到第一预设阈值的情况下，停止训练，得到训练好的所述牲畜多行为检测模型。

6.根据权利要求1-4任一项所述的牲畜爬跨行为标注方法，其特征在于，在所述利用牲畜多行为检测模型对多牲畜活动视频进行行为检测之前，所述方法还包括：

将多牲畜活动视频图像样本输入至所述牲畜多行为检测模型，获取所述牲畜多行为检测模型输出的所述多牲畜活动视频图像样本中每一视频帧对应的每个牲畜的行为类型及位置信息；

确定所述行为类型包括爬跨行为的第二视频帧，并根据爬跨牲畜的位置信息对所述第二视频帧进行裁剪，得到牲畜爬跨图像样本；

将所有所述牲畜爬跨图像样本按照第二预设比例划分为第二训练集和第二测试集；

利用所述第二训练集，对参数初始化后的牲畜爬跨行为识别模型进行训练；

每完成一轮训练后，利用所述第二测试集对训练后的牲畜爬跨行为识别模型进行测试，确定第二测试集准确率；

在所述第二测试集准确率达到第二预设阈值的情况下，停止训练，得到训练好的所述牲畜爬跨行为识别模型。

7.一种牲畜爬跨行为标注装置，其特征在于，包括：

检测模块，用于利用牲畜多行为检测模型对多牲畜活动视频进行行为检测，确定所述多牲畜活动视频中存在牲畜爬跨行为的初始视频帧；所述牲畜多行为检测模型用于对所述多牲畜活动视频中各个牲畜的行为类型进行检测；

跟踪模块，用于对所述初始视频帧之后的各第一视频帧进行爬跨行为跟踪，直至确定表征牲畜爬跨行为结束的目标视频帧；

获取模块，用于获取所述初始视频帧至所述目标视频帧之间存在牲畜爬跨行为的关键帧，并确定每一帧所述关键帧中爬跨牲畜的位置信息；

标注模块，用于基于所述关键帧中爬跨牲畜的位置信息，生成每一帧所述关键帧对应的牲畜爬跨行为标注文件。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述牲畜爬跨行为标注方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述牲畜爬跨行为标注方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述牲畜爬跨行为标注方法。

Images