CN114241376A - 行为识别模型训练和行为识别方法、装置、系统及介质 - Google Patents

Abstract

本发明实施例公开了行为识别模型训练和行为识别方法、装置、系统及介质，其中，方法包括：获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。本发明实施例的技术方案解决了现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，实现了一种端对端的模型训练方式，且无需对采集到的视频数据逐帧标注，对输入的行为视频片断数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本。

Description

行为识别模型训练和行为识别方法、装置、系统及介质

技术领域

本发明实施例涉及机器视觉技术领域，尤其涉及一种行为识别模型训练和行为识别方法、装置、系统及介质。

背景技术

现有技术中，多通过相关人员观看视频与机器识别系统识别相结合的方式识别小鼠特定行为，即先通过机器识别高通量地、无偏见地，识别特定行为，然后再由人工进一步确认小鼠的特定行为，厘清小鼠个体之间的差异，拥有时间尺度上更精细的数据。

其中，结合计算机视觉技术进行小鼠行为识别的方案中，可以采用三种方案。第一，对小鼠视频用视频理解技术(如deepethogram)，分析得到一个时间段内的行为类别；第二，通过对小鼠的姿态估计，后对得到的姿态序列进行如分类等操作；第三，通过对拍摄的每一帧进行图片分类，识别每一帧的行为。

但是，上述第一种方案，无法实现端到端的训练，且在前期数据准备的工作上，要求专家对视频帧进行逐帧标记，模型训练的时间成本较高；对于第二种方案，无法有效对两只同颜色的小鼠进行姿态估计；对于第三种方案，要获得较好的分类模型，专家需要标注大量图片，模型训练的时间成本较高；小鼠行为识别模型的训练过程有待优化。

发明内容

本发明实施例提供了一种行为识别模型训练和行为识别方法、装置、系统及介质，以实现训练得到一种端对端的行为识别模型，对输入的行为视频数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本，优化模型训练过程。

第一方面，本发明实施例提供了一种行为识别模型训练方法，该方法包括：

获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

第二方面，本发明实施例还提供了一种行为识别方法，该方法包括：

获取目标对象的待分析行为视频；

将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

第三方面，本发明实施例还提供了一种行为识别模型训练装置，该装置包括：

数据获取模块，用于获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

模型训练模块，用于将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

模型确定模块，用于当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

第四方面，本发明实施例还提供了一种行为识别装置，该装置包括：

待识别数据获取模块，用于获取目标对象的待分析行为视频；

行为识别模块，用于将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方法训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

第五方面，本发明实施例还提供了一种行为识别系统，该系统包括：

多个容积相同且在空间上相邻接的立体实验旷场，多个视频信息采集设备以及视频数据处理子系统；

其中，所述立体实验旷场用于容纳被观察实验对象；

所述视频信息采集设备固定于与所述立体实验旷场相对应的预设位置处，用于同步采集在预设时间段内的各所述实验旷场内所述实验对象的行为视频数据；

所述视频数据处理子系统用于基于所述行为视频数据对所述实验对象的预设行为进行识别。

第六方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的行为识别模型训练方法或行为识别方法。

第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的行为识别模型训练方法或行为识别方法。

上述发明中的实施例具有如下优点或有益效果：

本发明实施例，通过获取目标对象的行为观察视频，并以预设时间间隔对行为观察视频进行切分得到多个视频片段；以经过行为类别标记的各视频片段作为模型训练样本，输入到初始行为识别模型中，对初始行为识别模型进行训练；当行为识别模型的损失函数的结果满足预设条件时，得到目标行为识别模型。本发明实施例的技术方案解决了现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，无需对采集到的视频数据逐帧标注，也能够训练得到一种端对端的行为识别模型，对输入的行为视频数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本，优化模型训练过程。

附图说明

图1是本发明实施例一提供的一种行为识别模型训练方法的流程图；

图2是本发明实施例一提供的一种行为识别模型的结构示意图；

图3是本发明实施例二提供的一种行为识别方法的流程图；

图4是本发明实施例三提供的一种行为识别模型训练装置的结构示意图；

图5是本发明实施例四提供的一种行为识别装置的结构示意图；

图6是本发明实施例五提供的一种行为识别系统的结构示意图；

图7是本发明实施例五提供的一种行为识别系统应用实例图；

图8是本发明实施例六提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种行为识别模型训练方法的流程图，本实施例可适用于基于观察对象的行为观察视频进行模型训练，训练一种端到端的行为识别模型的情况。该方法可以由行为识别模型训练装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。

如图1所示，行为识别模型训练方法包括以下步骤：

S110、获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段。

通常，在动物的行为学实验中，会进行大量的实验观察实验对象的行为，根据观察的行为结果进行科学的探究。在实验研究中，需要采集的数据量是很大的，为了提高数据采集的效率以及避免人为识别带来的主观上的实验误差，可以采用机器识别的方式是别实验对象的特定观察行为。

目标对象即需要观察的实验对象，可以是小鼠、小猫或是鱼等需要实验观察的动物。在进行行为数据采集时，可以通过摄像头拍摄目标对象在设定的活动区域内(如实验旷场)的活动影像，即获得目标对象的行为观察视频。示例性的，在一个具体的实例中，目标对象是小鼠，需要观察小鼠的交配行为。小鼠交配行为的特性是，交配频率极低(自然条件下约0.3％)，单次交配持续时间短(平均约5秒)，实验时间长(观测数小时)，交配特征明显(一只小鼠在另一只小鼠身上发生快速抖动)。

在对行为观察视频进行切分时，可以根据要观察的目标对象的特定行为的特征确定视频片段的长度，如小鼠交配时间持续短，平均约5秒钟，那么便可以，以秒为预设时间间隔对行为观察视频进行切分得到多个视频片段。当然，时间间隔可以是1秒、2秒或者其他的预设时间间隔长度。那么，可以以视频片段为单位进行行为观察视频数据的标注，作为行为识别模型训练的样本，而无需对行为观察视频进行逐帧标注。在一种优选的实施方式中，还可以进一步的对视频选段进行数据精简，以减少数据运算量。例如，针对分割后的每一个视频片段，可以按照固定步长，抽取出一定数量的视频图像帧作为行为识别模型的训练样本。假设摄像头拍摄视频的采样率为每秒60帧，可以从时长为1秒的视频片段中间隔抽取出30帧作为1个训练样本。

在一种可选的实施方式中，还可以对各视频片段分别进行水平旋转、垂直翻转和/或水平水质翻转处理，以扩增模型训练数据。

S120、将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练。

在模型训练的过程中，将各训练样本输入到初始行为识别模型中，由初始行为识别模型学习训练样本中的特征，并输出一个对训练样本的分类结果，然后，与训练样本对应的标签进行比较，以确定初始行为模型的损失函数。进而依据损失函数的数值调整初始行为识别模型的模型参数，以对初始行为识别模型进行更新。

具体的，初始行为识别模型对模型训练样本进行学习训练的过程，首先会对训练样本进行预处理，进行特征的初步提取，得到初始特征。该步骤是采用预设特征提取模型对视频片段中的各视频帧进行特征提取，并分别对各视频帧的特征进行最大池化处理。其中，预设特征提取模型优选为ResNet50模型(预先训练好的残差神经网络)。然后，基于经过最大池化处理的各特征构建待学习特征。

在一种优选的实施方式中，还可以进一步的在经过最大池化处理的各特征中按照预设步长进行抽样，如在1秒钟30帧的视频图像的特征中，抽取出10帧视频图像对应的经过最大池化的特征，叠得到一个特征，即待学习特征，以进一步的降低计算消耗并避免计算冗余数据。若每帧视频图像中提取出的特征维度2048*1，那么，按照视频图像帧的时间顺序堆叠得到的待学习特征的维度是10*2048*1＝20480。

在初步得到待学习特征之后，则进一步的采用预设卷积核进行特征的学习。在一种优选的实时方式中，分别采用四组不同卷积核对待学习特征进行特征提取，四组不同卷积核包括三组时间卷积核和一组空间卷积核。然后，基于提取到的特征输出行为识别结果，并基于所述行为识别结果调整所述初始行为识别模型的参数。

在一个具体的实例中，进一步的待学习特征进行学习的四组卷积核结构如图2所示。在图2中，待学习特征(即视频特征)是一个维度为10*2048*1的特征数据，分别采用四个不同的卷积核对待学习特征进一步的特征提取。

左侧第一数据链路中，先通过8个维度为2*49的卷积核(conv)对待学习特征进行特征提取，然后进行3*1的最大池化(maxpooling)，并进一步通过8个维度是1*5、步长(stride)也是1*5的卷积核进行特征提取，得到第一特征。左侧第二数据链路中，先通过8个维度为5*49的卷积核(conv)对待学习特征进行特征提取，然后进行2*1的最大池化(maxpooling)，并进一步通过8个维度是1*5、步长也是1*5的卷积核进行特征提取，得到第二特征。左侧第三数据链路中，先通过8个维度为8*49的卷积核(conv)对待学习特征进行特征提取，然后进一步通过8个维度是1*5、步长也是1*5的卷积核进行特征提取，得到第三特征。右侧第一数据链路中，先通过16个维度为1*49的卷积核(conv)对待学习特征进行特征提取，然后进行1*5的最大池化(maxpooling)，并进一步通过16个维度是1*20的卷积核进行特征提取，再进行一次1*5的的最大池化(maxpooling)，最终再通过16个维度为1*15的卷积核(conv)对第二次池化结果进行特征提取得到第四特征。

进一步的，将最终提取到的第一特征、第二特征、第三特征和第四特征进行堆叠(concatenat)后输入到包括512个神经元/单元(units)的第一全联接层(dense)进行分类。该全连接层中，以relu为激活函数，L2正则化系数为0.001。输出的结果会经过dropout层进行筛选(筛选系数0.5)。第一全连接层输出的结果经过dropout层筛选后，输入至包含两个神经元(unit)的第二全连接层(dense)，最终输出行为类别，即对待学习特征进行学习后的结果。仍以识别小鼠的交配行为为例，输出的行为类别即视频片段中的小鼠行为是否是交配行为。

S130、当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

在初始行为识别模型经过多次的迭代学习之后，其对训练样本进行学习输出的结果满足预设分类评价指标时，即可结束模型训练的过程，说明最终训练得到的目标行为识别模型对特定行为识别的准确率达到了预设的准确程度。其中，分类评价指标可以根据具体的模型训练情况采用混淆矩阵、准确率、精确率、召回率或F1 Score等指标中的任意一种。

本实施例的技术方案，通过获取目标对象的行为观察视频，并以预设时间间隔对行为观察视频进行切分得到多个视频片段；以经过行为类别标记的各视频片段作为模型训练样本，输入到初始行为识别模型中，对初始行为识别模型进行训练；当行为识别模型的损失函数的结果满足预设条件时，得到目标行为识别模型。本发明实施例的技术方案解决了现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，无需对采集到的视频数据逐帧标注，也能够训练得到一种端对端的行为识别模型，对输入的行为视频数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本，优化模型训练过程。

实施例二

图2为本发明实施例二提供的一种行为识别方法的流程图，本实施例与上述实施例中的行为识别模型训练方法属于同一个发明构思，进一步的描述了对训练得到的行为识别模型进行应用的过程。该方法可以由行为识别装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。

如图2所示，行为识别方法包括以下步骤：

S210、取目标对象的待分析行为视频。

目标对象时需要观察分析的目标对象。待分析行为视频是通过摄像头设备采集的信息。

S220、将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

当然，行为识别模型的训练样本也是对目标对象进行观察采集到的视频信息。然后，根据采集到的视频信息，通过上述实施例中的行为识别模型训练方法训练得到最终的行为识别模型。

经过上述实施例的方法训练得到的行为识别模型，是一种端到端的模型，直接将采集到的待分析行为视频输入至模型中，即可得到相应的输出结果，以确定输入视频中的目标对象的行为是否为特定的行为。

本实施例的技术方案，通过将采集到的目标对象的待分析行为视频，输入到通过上述实施例的模型训练方法预先训练好的行为识别模型中，可以得到相应的目标对象的行为分析识别结果。本发明实施例的技术方案解决了高效的识别目标对象的行为，确定行为分析结果，提高了现有行为分析模型的输出结果的准确度。

实施例三

图4为本发明实施例三提供的一种行为识别模型训练装置的结构示意图，本实施例可适用于基于观察对象的行为观察视频进行模型训练，训练一种端到端的行为识别模型的情况，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机终端设备中。

如图4所示，行为识别模型训练装置包括：数据获取模块310、模型训练模块320和模型确定模块330。

其中，数据获取模块310，用于获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；模型训练模块320，用于将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；模型确定模块330，用于当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

本实施例的技术方案，通过获取目标对象的行为观察视频，并以预设时间间隔对行为观察视频进行切分得到多个视频片段；以经过行为类别标记的各视频片段作为模型训练样本，输入到初始行为识别模型中，对初始行为识别模型进行训练；当行为识别模型的损失函数的结果满足预设条件时，得到目标行为识别模型。本发明实施例的技术方案解决了现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，无需对采集到的视频数据逐帧标注，也能够训练得到一种端对端的行为识别模型，对输入的行为视频数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本，优化模型训练过程。

可选的，模型训练模块320具体用于：

采用预设特征提取模型对所述视频片段中的各视频帧进行特征提取，并分别对各视频帧的特征进行最大池化处理；

基于经过最大池化处理的各特征构建待学习特征；

分别采用四个不同卷积核对所述待学习特征进行特征提取，并基于提取到的特征输出行为识别结果，并基于所述行为识别结果调整所述初始行为识别模型的参数。

可选的，所述四个不同卷积核包括三个时间卷积核和一个空间卷积核。

可选的，模型训练模块320还可用于：

按照预设步长，对经过池化处理的各特征进行特征抽样；

将抽样得到的经过池化处理特征组合得到所述待学习特征。

可选的，行为识别模型训练装置还包括数据扩增模块，用于在将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型之前，对所述视频片段分别进行水平旋转、垂直翻转和/或水平水质翻转处理，以扩增模型训练数据。

本发明实施例所提供的行为识别模型训练装置可执行本发明任意实施例所提供的行为识别模型训练方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的行为识别装置的结构示意图，本实施例与上述实施例中的行为识别模型训练装置属于同一个发明构思，进一步的描述了对训练得到的行为识别模型进行应用的过程，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的服务器设备中。

如图5所示，行为识别装置包括：待识别数据获取模块410和行为识别模块420。

其中，待识别数据获取模块410，用于获取目标对象的待分析行为视频；行为识别模块420，用于将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方法训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

本实施例的技术方案，通过将采集到的目标对象的待分析行为视频，输入到通过上述实施例的模型训练方法预先训练好的行为识别模型中，可以得到相应的目标对象的行为分析识别结果。本发明实施例的技术方案解决了高效的识别目标对象的行为，确定行为分析结果，提高了现有行为分析模型的输出结果的准确度。

本发明实施例所提供的行为识别装置可执行本发明任意实施例所提供的应用于行为识别方法，具备执行方法相应的功能模块和有益效果。

实施例五

图6为本发明实施例五提供的一种行为识别系统的结构示意图，本实施例与上述实施例中的行为识别方法属于同一个发明构思，进一步描述了采集实验对象观察视频的设备，以及采集视频并基于视频进行实验对象的行为分析的具体过程。该系统可配置于具有应用开发功能的服务器设备中。

如图6所示，行为识别系统包括如下结构：多个容积相同且在空间上相邻接的立体实验旷场，多个视频信息采集设备以及视频数据处理子系统。

其中，图6中所示的是实验旷场的俯视图，每一个格子代表一个实验旷场空间，如6中格子的数量仅做示例，并不对实际应用中实验旷场的数量进行限制。实验旷场是一个立体的空间结构，用于容纳被观察实验对象。例如，在观察小鼠交配行为的实验中，每一个旷场空间内会容纳两只小鼠。设置个多实验旷场便可以同时采集多组实验对象的视频信息，提高数据采集的效率。

视频信息采集设备固定于与立体实验旷场相对应的预设位置处，用于同步采集在预设时间段内的各实验旷场内实验对象的行为视频数据。视频信息采集设备可以是摄像头等设备，预设位置是能够清楚的拍摄到实验旷场内实验对象活动的位置。各视频信息采集设备的拍摄视野范围(field of view，FOV)各不同，多个摄像头的拍摄视野能整体上覆盖实验旷场所在区域即可，可以根据该条件调整视频信息采集设备的数量。

各视频信息采集设备拍摄的行为视频数据，均会传输到视频数据处理子系统中。由视频数据处理子系统根据各实验旷场的位置关系，对行为视频数据中每一帧视频图像进行分割，得到与各所述实验旷场中实验对象匹配的行为视频数据；并基于分割后得到各视频数据对实验对象的预设行为进行识别或者进行行为识别模型的训练，具体的行为识别方法和行为识别模型的训练可参考前述实施例中具体的执行过程。

在一个具体的实例中，行为识别系统如图7所示。在图7中，实验旷场是一个九宫格的立体空间结构，每一个格子是一个长、宽、高分别为46、46、50厘米的空间。九宫格外隔板6毫米厚，足够坚固，内隔板3毫米厚，足够透光，反射较低。视频信息采集设备使用的是单视角工业摄像机。针对采集到的小鼠的行为视频，可以对照九宫格的尺寸比例，对视频中每一帧图像进行切分，切成九份。然后将每一帧图像相同位置的切分结果连在一起，即可得到九份行为视频数据。最终将获取到的行为视频数据应用到行为类型的数据分析中，或者行为分析模型的训练中。

本实施例的技术方案，通过多个容积相同且在空间上相邻接的立体实验旷场，多个视频信息采集设备以及视频数据处理子系统构建了一个行为识别系统，可以同时采集多组实验对象的行为视频数据，提高了实验数据的采集效率。而且，通过视频数据处理子系统进行模型训练或者行为类别识别，现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，无需对采集到的视频数据逐帧标注，也能够训练得到一种端对端的行为识别模型，对输入的行为视频数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本，优化模型训练过程。

实施例六

图8为本发明实施例六提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图8显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。

如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的行为识别模型训练方法或行为识别方法。

其中，行为识别模型训练方法，包括：

获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

行为识别方法，该包括：

获取目标对象的待分析行为视频；

将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

实施例七

本实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的行为识别模型训练方法或行为识别方法。

其中，行为识别模型训练方法，包括：

获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

行为识别方法，该包括：

获取目标对象的待分析行为视频；

将所述待分析行为视频输入至通过任一实施例所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种行为识别模型训练方法，其特征在于，所述方法包括：

获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

2.根据权利要求1所述的方法，其特征在于，所述初始行为识别模型对所述模型训练样本进行学习训练的过程，包括：

采用预设特征提取模型对所述视频片段中的各视频帧进行特征提取，并分别对各视频帧的特征进行最大池化处理；

基于经过最大池化处理的各特征构建待学习特征；

分别采用四组不同卷积核对所述待学习特征进行特征提取，并基于提取到的特征输出行为识别结果，并基于所述行为识别结果调整所述初始行为识别模型的参数。

3.根据权利要求2所述的方法，其特征在于，所述四组不同卷积核包括三组时间卷积核和一组空间卷积核。

4.根据权利要求2所述的方法，其特征在于，所述基于经过最大池化处理的各特征构建待学习特征，包括：

按照预设步长，对经过最大池化处理的各特征进行特征抽样；

将抽样得到的经过最大池化处理特征进行堆叠得到所述待学习特征。

5.根据权利要求1所述的方法，其特征在于，在将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型之前，所述方法还包括：

对所述视频片段分别进行水平旋转、垂直翻转和/或水平水质翻转处理，以扩增模型训练数据。

6.一种行为识别方法，其特征在于，所述方法包括：

获取目标对象的待分析行为视频；

将所述待分析行为视频输入至通过权利要求1-5中任一所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

7.一种行为识别模型训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；

模型训练模块，用于将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；

模型确定模块，用于当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。

8.一种行为识别装置，其特征在于，所述装置包括：

待识别数据获取模块，用于获取目标对象的待分析行为视频；

行为识别模块，用于将所述待分析行为视频输入至通过权利要求1-5中任一所述的行为识别模型训练方法训练得到的行为识别模型中，获得所述目标对象的行为识别结果。

9.一种行为识别系统，其特征在于，所述系统包括：

多个容积相同且在空间上相邻接的立体实验旷场，多个视频信息采集设备以及视频数据处理子系统；

其中，所述立体实验旷场用于容纳被观察实验对象；

所述视频信息采集设备固定于与所述立体实验旷场相对应的预设位置处，用于同步采集在预设时间段内的各所述实验旷场内所述实验对象的行为视频数据；

所述视频数据处理子系统用于基于所述行为视频数据对所述实验对象的预设行为进行识别。

10.根据权利要求9所述的系统，其特征在于，所述视频数据处理子系统具体用于：

根据各所述实验旷场的位置关系，对所述行为视频数据中每一帧视频图像进行分割，得到与各所述实验旷场中实验对象匹配的行为视频数据；

针对与每一个实验旷场中实验对象匹配的行为视频数据，将行为视频数据输入至通过权利要求1-6中任一所述的行为识别模型训练方法或行为识别方法。

11.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的行为识别模型训练方法或行为识别方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的行为识别模型训练方法或行为识别方法。

Images