CN111325289A - 一种行为识别方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种行为识别方法、装置、设备及介质，所述方法包括：获取原始行为数据，对所述原始行为数据进行预处理，得到序列化行为数据；将所述序列化行为数据输入至预先训练好的行为识别模型中，获得所述行为识别模型的输出结果；根据所述输出结果生成行为识别结果，并将所述行为识别结果进行输出。本发明实施例提供的行为识别方法通过使用序列化行为数据进行行为识别，充分利用了原始行为数据中的信息，提高了行为识别的准确性，进而提高了基于行为识别确定的检测结果的效率及准确性。

Description

一种行为识别方法、装置、设备及介质

技术领域

本发明实施例涉及行为识别技术领域，尤其涉及一种行为识别方法、装置、设备及介质。

背景技术

动物行为识别在药物研发方面具有重要作用。以神经精神类药物的研发为例，研究动物用药前后的行为差异是判断药效的重要指标。例如在焦虑症药物的研发中，高架十字迷宫实验或旷场实验经常被用来判断实验小鼠用药前后的焦虑水平。高架十字迷宫实验(Elevated Plus Maze，EPM)或旷场实验(Open Field Test，OFT)经常被用来判断实验小鼠用药前后的焦虑水平。EPM由开放臂和封闭臂各两条组成，呈十字形交叉，交叉部分为中央区域，整个十字形迷宫距地面有一定的高度。小鼠面对开放臂产生好奇心而想要探索，同时又有着趋暗避明的天性，两者之间发生探究与回避的冲突行为，产生焦虑心理，可以通过比较小鼠在开放臂和封闭臂内的滞留时间和路程来评价小鼠的焦虑行为。OFT装置一般有一个正方形的箱子，顶部有摄像机。这个正方形的场地可以划分为中央区域和周边区域，小鼠如果在中央区域的活动越多，说明小鼠的焦虑水平相对就越低。然而，在医学临床中，焦虑症状表现多样，针对患者不同的症状，也存在不同的用药类型与用药方式。但是，在药效检测的关键层面—小鼠的焦虑行为判断中，其过于简单的参数(在EPM开放臂停留时间、在OFT中央区域停留时间)与药效的精确检测产生了矛盾。该矛盾不仅仅出现在焦虑症药物的研发中，在阿尔兹海默症、自闭症等几乎所有的神经精神类药物的研发中均不同程度地存在着。因此，如何精细化的识别动物行为是一个亟待解决的技术问题。

发明内容

本发明实施例提供了一种行为识别方法、装置、设备及介质，以实现提高行为识别的准确性，进而提高基于行为识别确定的检测结果的效率及准确性。

第一方面，本发明实施例提供了一种行为识别方法，包括：

获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；

将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；

根据输出结果生成行为识别结果，并将行为识别结果进行输出。

第二方面，本发明实施例还提供了一种行为识别装置，包括：

序列化数据获取模块，用于获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；

输出结果获取模块，用于将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；

识别结果输出模块，用于根据输出结果生成行为识别结果，并将行为识别结果进行输出。

第三方面，本发明实施例还提供了一种计算机设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的行为识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的行为识别方法。

本发明实施例通过获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；根据输出结果生成行为识别结果，并将行为识别结果进行输出，通过使用序列化行为数据进行行为识别，充分利用了原始行为数据中的信息，提高了行为识别的准确性，进而提高了基于行为识别确定的检测结果的效率及准确性。

附图说明

图1a是本发明实施例一所提供的一种行为识别方法的流程图；

图1b是本发明实施例一所提供的一种动物行为掠影图的示意图；

图2是本发明实施例二所提供的一种行为识别方法的流程图；

图3a是本发明实施例三所提供的一种列化的动物行为识别分类系统的结构示意图；

图3b是本发明实施例三所提供的一种行为识别方法的流程图；

图4是本发明实施例四所提供的一种行为识别装置的结构示意图；

图5是本发明实施例五所提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a是本发明实施例一所提供的一种行为识别方法的流程图。本实施例可适用于对原始行为数据进行行为识别时的情形，尤其适用于对用于对动物行为数据进行识别时的情形。该方法可以由行为识别装置执行，该行为识别装置可以采用软件和/或硬件的方式实现，例如，该行为识别装置可配置于计算机设备中。如图1a所示，所述方法包括：

S110、获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据。

在本实施例中，原始行为数据可以为通过不同采集方式采集的行为数据。可选的，原始行为数据可以包含图像数据、视频数据以及生理信号数据等，其中，生理信号数据可以为心率数据、血压数据、脑电数据等数据。也就是说，原始行为数据可以包括多模态的信号采集数据。另外，动物的原始行为数据为时间序列，即动物行为数据中的模式状态是随时间而变化的，因此，在区分动物不同的行为模式时需要考虑时间的动态性。在本实施例中，通过将多模态的原始行为数据预处理为序列化行为数据，使用序列化行为数据进行行为识别，充分利用了原始行为数据的多模态性及时间动态性，使得行为识别的结果更加准确。其中，将多模态的原始行为数据预处理为序列化行为数据可以为，将多模态的原始行为数据进行融合，然后对融合后的数据进行分割，得到多段序列化行为数据。

在本发明的一种实施方式中，原始行为数据包括多模态的信号采集数据，对原始行为数据进行预处理，得到序列化行为数据，包括：根据信号采集数据中的时间戳对各模态的信号采集数据进行数据对齐，得到对齐行为数据；使用设定分割算法对对齐行为数据进行分割，得到分割行为数据；将分割行为数据进行序列化映射，得到序列化行为数据。

可选的，多模态的信号采集数据可以包括图像数据、视频数据以及各种生理信号数据等。可以将各模态的信号采集数据根据信号采集数据中携带的时间戳进行数据对齐后，对得到的对齐行为数据进行分割，得到多段分割行为数据，然后将分割行为数据进行序列化映射，得到多段序列化行为数据。其中，在将各模态的信号采集数据进行数据对齐时，由于各模态的信号采集数据的采集频率可能不同，导致各模态的信号采集数据无法在每个时刻对齐，需要对部分信号采集数据进行重采样，以使重采样后的各模态的信号采集数据的采样频率一致，保证各模态的信号采集数据在各时刻均能对齐，即保证使用不同设备采集到的信号采集数据需要保证在相同时刻均存在相应的数据，例如在记录到动物跑动的时刻开始应该会伴随着动物心率的上升，且跑动的速度曲线的上升沿需一定程度上与动物心电信号曲线的上升沿对齐。

示例性的，可以在获取到对齐行为数据后，采用动态时间规整(Dynamic TimeWarping，DTW)方法分割具有相似模式的行为数据。DTW方法可以保证时间序列在时间维度的连续性，并且通过最优化搜索的方式找到其数据内在最相似的模式，将模式之间的差异抽象为最优化的距离，并通过数据距离的差别将相同模式的数据聚类到一起，不同模式的数据分开，保证类别之内相似度高(距离小)，类别之间相似度低(距离大)。在使用DTW将动物行为分割聚类后，将同类数据映射到一个低维空间，考虑到训练好的行为识别模型中包含单次向量映射部分，因此只需要将同类数据映射到字符表中。可选的映射字符表可以选择美国信息交换标准代码表(American Standard Code for Information Interchange，ASCII)，ASCII是最通用的信息交换标准，是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，到目前为止共定义了128个字符，将这128个字符取一部分分别映射到同类数据上，形成一串序列化的动物行为语言，得到多段序列化行为数据。

S120、将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果。

在本实施例中，获得序列化行为数据后，将序列化行为数据输入至训练好的行为识别模型中，得到行为识别模型的输出结果。可选的，行为识别模型的输出结果可以为各行为及各行为对应的概率。其中，针对每段序列化行为数据，行为识别模型输出的行为可能为单一行为，也可能为复杂行为，示例性的，针对某段序列化行为数据，行为识别模型输出的行为可能为行走，也可能为行走和探头。

S130、根据输出结果生成行为识别结果，并将行为识别结果进行输出。

在本实施例中，可以将输出结果直接作为行为识别结果进行输出，还可以根据对输出结果进行统计，生成可视化行为统计结果，将生成的可视化行为统计加过进行输出。优选的，可以对输出结果进行统计，生成可视化行为统计结果进行输出，输出可视化行为统计结果能够使检测人员能够更加生动、直观的了解动物行为。

在本发明的一种实施方式中，根据输出结果生成行为识别结果，包括：根据输出结果确定各行为对应的特征信息，基于各行为对应的特征信息生成可视化行为统计结果，并将可视化行为统计结果作为行为识别结果。以动物行为识别为例，可视化行为统计结果可以包括序列化动物行为数据的统计结果可视化和动物行为识别和分类结果可视化。

一个实施例中，使用一定的统计学方法描述输出结果中各行为的规律，得到可视化的序列化动物行为数据的统计结果。如在所有的行为中某一类特殊的行为所占据的比例，或者对检测目标执行不同的操作后，检测目标行为前后的差异，例如对小鼠使用不同的药物后，小鼠不同行为前后的差异。需要说明的是，行为的差异不仅会体现在不同行为的数量或者时间上，也会体现在不同行为之间的状态转移中。例如在不同转基因品系的小鼠中，其整体的行为表现没有显著差异，即每种行为的数量和发生的时间没有差异，然而其内在的不同行为之间的转移模式却有着较大的差异。通俗来讲，可能不同转基因品系的小鼠整体行为无差异，如品系1小鼠与品系2小鼠均探头10次，嗅探5次，但可能品系1小鼠与品系2小鼠探头与嗅探之间的转移方式不同，而这在统计学上具有显著性差异。

在行为学研究中，直接观察行为是应用最广泛的方法，因此需要进行动物行为识别和分类结果可视化。动物行为识别和分类结果可视化不但需要对全局的动物行为在时间维度上进行可视化，而且需要在局部，即单个行为进行可视化。在全局对动物行为进行可视化采用行为图谱的方式，在局部对动物行为进行可视化采用掠影图的方式。相应的，可视化行为统计结果包括行为掠影图和/或行为图谱。

图1b是本发明实施例一所提供的一种动物行为掠影图的示意图，如图1b所示，动物行为掠影图由上下两部分组成。上部为行为掠影图，下部为行为识别模型的不同行为识别概率。掠影图将该时间段的某一行为按照一定的时间间隔抽样，去除背景之后横向排开拼接，高效展示行为序列。识别概率直接描述模型对当前行为的识别结果，在图1b中，模型识别到老鼠有约70％的概率为蜷缩(Twisting)行为，约25％的概率为观察(Observing)行为，约5％的概率为理毛(Grooming)行为。显然，该模型对于当前行为的识别较为准确，掠影图与识别概率可以准确对应。

行为图谱中，横坐标为时间，纵坐标为不同的行为种类。可以使用不同颜色表示不同的行为，颜色的透明度表示模型识别行为的概率。在行为图谱的每一列中，允许出现多个颜色条，这种数据显示形式可以有效表示高维的动物行为数据，对于描述相同时刻发生的不同行为模式，以及每种不同行为的发生概率相比于传统的无透明度描述的行为图谱而言，包含更为大量的行为信息。

本发明实施例通过获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；根据输出结果生成行为识别结果，并将行为识别结果进行输出，通过使用序列化行为数据进行行为识别，充分利用了原始行为数据中的信息，提高了行为识别的准确性，进而提高了基于行为识别确定的检测结果的效率及准确性。

实施例二

图2是本发明实施例二所提供的一种行为识别方法的流程图。本实施例在上述实施例的基础上，增加了对行为识别模型进行训练的操作。如图2所示，所述方法包括：

S210、获取样本序列化数据以及样本序列化数据对应的标签，根据样本序列化数据以及样本序列化数据对应的标签生成训练样本数据。

在本实施例中，样本序列化数据可以为对样本行为数据进行预处理后得到的序列化行为数据。可以理解的是，样本行为数据所属检测目标与原始行为数据所属检测目标为同一类检测目标。示例性的，若原始行为数据为小鼠的行为数据，则样本行为数据也应该为小鼠的行为数据。

可选的，样本序列化数据对应的标签采用人工标注方式实现。可以在对样本行为数据进行预处理，得到样本序列化数据后，将样本序列化数据与样本行为数据按照时间顺序播放，由实验人员观察样本行为数据，确定需要标记的行为，在样本序列化数据中进行标注，得到样本序列化数据对应的标签。其中，由样本行为数据得到样本序列化数据的方式可参见上述实施例中由原始行为数据得到序列化行为数据的方式，在此不再赘述。

在本发明的一种实施方式中，样本序列化数据对应的标签包括单一标签、多标签以及语言描述标签中的至少一种。可选的，人工标记的行为标签可以包含多种形式，如单一标签、多标签、语言描述标签、精细化标签等。其中，单一标签为将不同行为标记为单一标签，是最为传统的标注形式，将非同类的行为序列用单个词语描述，作为类别的标签；多标签是将不同行为标记为多标签。多标签是考虑到动物行为存在高维的属性，即在同一时刻或同一段时间内，会存在行为同时发生的情况(如小鼠可能在行走的同时嗅探)，需要使用多个词语去描述动物在同一时刻发生的行为；语言描述标签是将不同行为使用语言描述形式进行标记。动物的自发行为在所有行为中占据较高比例，而且这些自发行为常常无法使用一个简单的词语或者几个描述性的名词进行定义，例如，老鼠在行走的过程中停了下来抬起了头并用右前抓抓挠了右耳。这样一个复杂的序列无法用简单的几个词语定义，因此需要使用描述性的行为定义方式；精细化标签是关注行为的精细标注形式。在生物实验过程中，为了控制变量，会给予动物一定的刺激同时观察动物对于刺激的响应，即给予动物刺激时间点前后动物行为的改变。在这种情况下，自发的行为以及其他的实验不关注的行为对于本实验并不存在较大的研究意义，因此可以将不关注的行为类别标注为“其他行为”类，同时对于实验关注的行为进行精细的标注，这里的精细标注可以使用前述的三种标记形式，根据具体实验的需求进行选择。

S220、使用训练样本数据对预先构建的行为识别模型进行训练，得到训练好的行为识别模型。

获得训练样本数据后，使用训练样本数据对预先构建的行为识别模型进行训练，得到训练好的行为识别模型。其中预先构建的行为识别模型可以为

在本发明的一种实施方式中，预先构建的行为识别模型可以使用自然语言处理(Natural Language Processing，NLP)任务中的常用模型，如基于注意力机制的序列到序列(seq2seq)网络、Bidirectional Encoder Representations from Transformers(BERT)模型等。

seq2seq模型是在NLP领域常用的编解码模型。其由编码(Encoder)部分和解码(Decoder)部分组成。自然语言序列存在时间动态性，因此在时间维度对自然语言序列编码需要使用循环神经网络(Recurrent Neural Network,RNN)，在seq2seq模型中使用长短时记忆网络(Long Short Term Memory，LSTM)对输入序列进行编码，使用RNN对从输入序列中学习到的特征进行解码，LSTM在解决时间序列的长时程依赖问题中具有优异的效果。与传统的seq2seq模型不同的是，本实施例中，应用引入注意力机制的seq2seq模型作为行为识别模型，该注意力模块被用于语义特征的解码，替代传统seq2seq模型中的RNN。人类在处理自然语言处理任务例如中英翻译任务时，会选择性的关注一句话中的关键词，这种机制被称作注意力机制。在模型中，将关键词的注意力权重提升，非关键词的注意力权重降低，即可得到与人类相似的注意力机制。在动物行为学识别与分类的过程中，也存在类似的结论。在同一时刻发生的动物行为一定存在一个或者几个主成分(主要行为或核心行为)，而这些主成分所对应的序列化动物行为数据中的特定的字母也理所应当地是识别这些主成分的重要语义特征。因此，引入注意力机制的seq2seq模型相比于传统的seq2seq模型而言，可以更好地描述主要的行为成分以及主要行为成分的组成部分。

在本发明的一种实施方式中，在对行为识别模型进行训练的过程中，可以将训练性能可视化，以使检测人员了解行为识别模型的训练程度。示例性的，可以可视化行为识别模型的训练损失(Training Loss)、识别的准确率(Precision)和召回率(Recall)以及混淆矩阵(Confusion Matrix)。训练损失直接描述模型的优化情况，训练损失越小，模型的优化效果越好。同时，在模型参数调优的过程中，训练损失的下降规律可以起到一定的指导作用。例如训练损失随时间而减小，说明模型还在优化学习；训练损失随时间而增大，说明模型没有学到有用的数据规律；训练损失震荡，说明当前模型已经达到最佳性能，想要继续增加模型的识别效果需要调整参数。识别的准确率和召回率直接反映当前测试数据的识别效果。准确率描述模型在所有数据中的某一类判断正确的比例，即在所有类中对这一类数据的识别分类能力；召回率描述在数据的某一类中，被模型判断正确的比例，即模型对该类数据的区分度。混淆矩阵是机器学习模型最基本的指标，直接描述数据的标签与模型预测结果的对应程度。

S230、获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据。

S240、将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果。

S250、根据输出结果生成行为识别结果，并将行为识别结果进行输出。

本发明实施例通过获取样本序列化数据以及样本序列化数据对应的标签，根据样本序列化数据以及样本序列化数据对应的标签生成训练样本数据；使用训练样本数据对预先构建的行为识别模型进行训练，得到训练好的行为识别模型，通过基于待多种类型标记的样本序列化数据作为训练样本数据，使得行为识别模型在学习行为特征时充分利用了行为数据的时序性特征，提高了行为识别模型行为识别的准确性。

实施例三

本实施例在上述实施例的基础上，提供了一种优选实施例。在本实施例中，行为识别方法可以由序列化的动物行为识别分类系统执行。具体的，该系统通过首先将动物行为学采集设备获取的数据进行序列化处理，然后进行序列化的动物行为数据标记，手工标注数据标签，最后使用标记过的序列化动物行为数据训练引入注意力机制的seq2seq循环神经网络模型，获得与行为标签所对应的动物行为序列。该系统适用于不同的动物行为识别分类任务与动物行为的大数据分析，自动获得实验关注的行为以及行为的固有转移模式，提高动物行为学数据分析的效率。

图3a是本发明实施例三所提供的一种列化的动物行为识别分类系统的结构示意图，如图3a所示，序列化的动物行为识别分类系统包括：动物行为数据序列化单元、序列化数据标记单元、seq2seq模型训练单元、行为序列识别分类单元、数据可视化单元、控制主机六个部分。其中，动物行为数据序列化单元包括数据采集模块和数据序列化模块，数据采集模块获取动物行为的图像、视频和生理信号数据，数据序列化模块负责对数据采集模块获取的时间数据进行离散化、聚类和编码生成动物行为的序列化数据。序列化数据标记单元包括数据播放模块和数据标记模块，数据播放模块将数据序列化模块中已完成聚类的数据映射到原始数据空间进行播放和可视化，供实验人员观察。实验人员根据观察行为数据(图像、视频和生理信号)的模式为特定的动物行为序列使用数据标记模块手工标记标签。seq2seq模型训练单元包括序列数据预处理模块和seq2seq模型训练模块，序列数据预处理模块按照不同的数据标记形式对数据进行不同的预处理，seq2seq模型训练模块获取经过预处理后的数据训练引入注意力机制的seq2seq循环神经网络模型。行为序列识别分类单元包括seq2seq模型识别分类模块和识别数据分割标记模块，seq2seq模型识别分类模块将需要进行识别的序列化动物行为数据输入到seq2seq模型中实现动物行为的自动识别与分类，识别数据分割标记模块获取已识别和分类的数据标签，并将原始动物行为数据与序列化的数据标签映射到相同的时间维度，同时按照设定的规则将同类数据分割至同一个文件夹中。数据可视化单元包括数据统计模块和数据绘图模块，数据统计模块将分割好的数据按照设定的规则进行统计，挖掘动物行为数据中存在的规律与差异，数据绘图模块将动物行为数据和统计结果绘制成条形图、饼图和行为图谱等统计数据可视化的图表，有效展示数据。控制主机是整个算法运行的基础，其支持动物行为数据的采集，支持大量动物行为数据的存储与调用，为数据的序列化处理提供硬件算力，为seq2seq模型的训练与动物行为的识别和分类提供并行运算的图形处理单元，加快了模型的训练与验证速度。控制主机也为实验人员提供可以使用该方法的交互式界面，高性能的控制主机给实验人员节省大量调整模型参数以及统计检验数据的时间，保证数据模型运行的效率，缩短实验周期。

图3b是本发明实施例三所提供的一种行为识别方法的流程图。如图3b所示，所述方法包括：

S310、使用控制主机采集动物行为数据并处理，得到序列化数据。

在本实施例中，采集动物行为数据可以分为两种方式，一是将采集动物行为的传感器与控制主机相连，通过控制主机中的数据采集模块采集到动物行为数据；二是将离线设备采集过的动物行为数据通过接入硬盘的方式加载至该系统中。采集动物行为数据后，将加载完成的数据进行序列化处理，序列化处理分为三个步骤：多模态数据对齐、动物行为数据分割以及动物行为数据序列化映射。其中，对数据进行序列化处理的更加详细的方案可参见上述实施例，在此不再赘述。

S320、对序列化数据进行标记。

可选的，可以将序列化数据与动物原始数据由序列化数据标记单元中的数据播放模块按照时间顺序播放，由实验人员观察其需要进行标记的行为，并通过数据标记模块为特定的行为序列手工标记标签。人工标记的行为标签可以包含多种形式：不同行为单一标签的形式、不同行为多标签形式、不同行为的语言描述形式以及关注行为的精细标注形式。

S330、使用标记好的序列化数据对引入注意力机制的seq2seq循环神经网络模型进行训练，得到训练好的模型。

S340、使用训练好的模型对未标记的序列化数据识别分类。

需要说明的是，由于数据标记形式的不同，最后的识别和分类结果也不同。使用不同行为单一标签的形式标记数据，识别和分类的结果为不同行为的单一标签的标注。使用不同行为多标签形式标记数据，识别和分类的结果有可能存在多种标记形式，也有可能出现单一标签。在行为数据序列化的过程中，相当于对数据进行压缩操作，会在尽可能保留主要特征的情况下去除数据的冗余信息，降低数据存在的噪声。在手工标记的过程中，因为复合行为存在一定的复合比例，例如老鼠在行走的过程中同时探头，可能行走的成分占比为90％，探头的行为占比为5％，其他的细小的行为占比5％，在这里标记人员只可能将其所看到的较为明显的行为标记出来。在这个例子下，数据标记人员会根据其主观判断来标记当前行为，而这一主观性也存在时间的动态，对于行为的占比来说无法准确判断。标记为行走、探头或者行走、探头、摆尾等等复合的行为都会存在可能。然而，该模型会抽提出数据中最为明显的、最为可信的结果作为输出，这一结果往往体现在数据的期望中。因此在这个例子中，最后有可能会得到90％的数据中为单一的行走，5％的数据中为行走和探头，剩下5％有可能为行走、探头和嗅探等其他的细小的、肉眼难以判断的行为。最后，使用不同行为的语言描述形式标记数据，识别和分类的结果和前面seq2seq模型训练单元部分描述的基本一致，会将动物行为语言翻译为数据标记人员所定义的语言，并且得到动物行为序列的描述。

S350、将模型识别结果使用数据可视化单元进行显示。

在本实施例中，数据可视化单元中包含：神经网络训练性能结果可视化、序列化动物行为数据的统计结果可视化以及动物行为识别和分类结果可视化。更加详细的可视化方案可参见上述实施例，在此不再赘述。

本实施例提供了一种通用的动物行为识别与分类系统，通过将动物行为学采集设备获取的数据进行序列化处理，在融合多模态数据的同时保留行为数据在时间维度的连续性；使用引入注意力机制的seq2seq循环神经网络模型抽提出行为序列数据中高维的语义特征，并将该特征解码到人工标记的行为标签空间中，在有效提取高维行为数据中低维信息的同时保留动物行为的高维结构。并且人工标记的行为标签可以包含多种形式，极大地丰富了动物行为的描述指标，为药物的研发提供更多的参考数据，提高了药效检测的效率与准确性。

实施例四

图4是本发明实施例四所提供的一种行为识别装置的结构示意图。该行为识别装置可以采用软件和/或硬件的方式实现，例如该行为识别装置可以配置于计算机设备中。如图4所示，装置包括序列化数据获取模块410、输出结果获取模块420和识别结果输出模块430，其中：

序列化数据获取模块410，用于获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；

输出结果获取模块420，用于将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；

识别结果输出模块430，用于根据输出结果生成行为识别结果，并将行为识别结果进行输出。

本发明实施例通过序列化数据获取模块获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；输出结果获取模块将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；识别结果输出模块根据输出结果生成行为识别结果，并将行为识别结果进行输出，通过使用序列化行为数据进行行为识别，充分利用了原始行为数据中的信息，提高了行为识别的准确性，进而提高了基于行为识别确定的检测结果的效率及准确性。

可选的，在上述方案的基础上，原始行为数据包括多模态的信号采集数据，序列化数据获取模块410具体用于：

根据信号采集数据中的时间戳对各模态的信号采集数据进行数据对齐，得到对齐行为数据；

使用设定分割算法对对齐行为数据进行分割，得到分割行为数据；

将分割行为数据进行序列化映射，得到序列化行为数据。

可选的，在上述方案的基础上，装置还包括模型训练模块，用于：

在将序列化行为数据输入至预先训练好的行为识别模型之前，获取样本序列化数据以及样本序列化数据对应的标签，根据样本序列化数据以及样本序列化数据对应的标签生成训练样本数据；

使用训练样本数据对预先构建的行为识别模型进行训练，得到训练好的行为识别模型。

可选的，在上述方案的基础上，预先构建的行为识别模型为基于注意力机制的序列到序列网络。

可选的，在上述方案的基础上，样本序列化数据对应的标签包括单一标签、多标签以及语言描述标签中的至少一种。

可选的，在上述方案的基础上，识别结果输出模块430具体用于：

根据输出结果确定各行为对应的特征信息，基于各行为对应的特征信息生成可视化行为统计结果，并将可视化行为统计结果作为行为识别结果。

可选的，在上述方案的基础上，可视化行为统计结果包括行为掠影图和/或行为图谱。

本发明实施例所提供的行为识别装置可执行本发明任意实施例所提供的行为识别方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五所提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的行为识别方法，该方法包括：

获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；

将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；

根据输出结果生成行为识别结果，并将行为识别结果进行输出。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的行为识别方法的技术方案。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的行为识别方法，该方法包括：

获取原始行为数据，对原始行为数据进行预处理，得到序列化行为数据；

将序列化行为数据输入至预先训练好的行为识别模型中，获得行为识别模型的输出结果；

根据输出结果生成行为识别结果，并将行为识别结果进行输出。

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的行为识别方法的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种行为识别方法，其特征在于，包括：

获取原始行为数据，对所述原始行为数据进行预处理，得到序列化行为数据；

将所述序列化行为数据输入至预先训练好的行为识别模型中，获得所述行为识别模型的输出结果；

根据所述输出结果生成行为识别结果，并将所述行为识别结果进行输出。

2.根据权利要求1所述的方法，其特征在于，所述原始行为数据包括多模态的信号采集数据，所述对所述原始行为数据进行预处理，得到序列化行为数据，包括：

根据所述信号采集数据中的时间戳对各模态的信号采集数据进行数据对齐，得到对齐行为数据；

使用设定分割算法对所述对齐行为数据进行分割，得到分割行为数据；

将所述分割行为数据进行序列化映射，得到所述序列化行为数据。

3.根据权利要求1所述的方法，其特征在于，在将所述序列化行为数据输入至预先训练好的行为识别模型中之前，还包括：

获取样本序列化数据以及所述样本序列化数据对应的标签，根据所述样本序列化数据以及所述样本序列化数据对应的标签生成训练样本数据；

使用所述训练样本数据对预先构建的行为识别模型进行训练，得到训练好的行为识别模型。

4.根据权利要求3所述的方法，其特征在于，所述预先构建的行为识别模型为基于注意力机制的序列到序列网络。

5.根据权利要求3所述的方法，其特征在于，所述样本序列化数据对应的标签包括单一标签、多标签以及语言描述标签中的至少一种。

6.根据权利要求1所述的方法，其特征在于，所述根据所述输出结果生成行为识别结果，包括：

根据所述输出结果确定各行为对应的特征信息，基于各行为对应的特征信息生成可视化行为统计结果，并将所述可视化行为统计结果作为所述行为识别结果。

7.根据权利要求6所述的方法，其特征在于，所述可视化行为统计结果包括行为掠影图和/或行为图谱。

8.一种行为识别装置，其特征在于，包括：

序列化数据获取模块，用于获取原始行为数据，对所述原始行为数据进行预处理，得到序列化行为数据；

输出结果获取模块，用于将所述序列化行为数据输入至预先训练好的行为识别模型中，获得所述行为识别模型的输出结果；

识别结果输出模块，用于根据所述输出结果生成行为识别结果，并将所述行为识别结果进行输出。

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的行为识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的行为识别方法。

Images