CN111476119A - 一种基于时空上下文的昆虫行为识别方法及装置 - Google Patents

Abstract

本发明涉及昆虫行为识别技术领域，公开了一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质，包括以下步骤：获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；从原始图像中提取目标昆虫所在区域得到昆虫图像，将原始图像转换成灰度图像；通过时间窗口从昆虫图像中生成空间图像，通过时间窗口从灰度图像中生成时间图像；根据空间图像以及时间图像生成特征图像，对特征图像中的昆虫行为进行标注，并按行为分类；以分类后的特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；通过昆虫行为识别模型对待测视频中昆虫行为进行识别。本发明具有昆虫行为识别准确度高、训练数据获取简单的技术效果。

Description

一种基于时空上下文的昆虫行为识别方法及装置

技术领域

本发明涉及昆虫行为识别技术领域，具体涉及一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质。

背景技术

随着近年来计算机视觉技术的快速发展，利用计算机处理与分析各行各业中的视频数据以减轻人工劳动已成为必然趋势。但是在农业昆虫行为分析领域，我们了解到大部分的研究人员仍然在使用人工观察、统计的方式，不仅效率偏低，而且在长时间观察的情况下人员疲劳的增加导致的统计错误问题也会渐渐增多。所以，研发出一个能够快速、准确识别昆虫当前行为的技术具有十分重大的实用意义，让研究人员能够将时间与精力更多地投入到数据的获取与数据的分析过程中，从而提高整个实验的研究质量。

目前，基于计算机视觉的人体行为检测方法已经取得了一定的成果，例如openpose、MaskRCNN等；在动物姿态跟踪领域上，也有例如deeplabcut这种比较知名的框架，这些方法对人体以及较大动物的目标关键点的跟踪与检测效果都比较理想。但应用到昆虫的行为识别上时却不够理想，首先是精度不理想，昆虫体积小、肢体细、运动快，且有时还会出现肢体部位互相遮挡的情况，加上拍摄视频时所使用的录像设备也较为常规，这些在人体以及其它动物行为检测中不会出现的问题在昆虫行为识别过程中便成为了很大的阻碍，导致关键点的识别失真率较高；其次是不能直接给出昆虫当前动作的行为名称，这些方法只能给出检测关键点的坐标并标识，但却不能根据这些信息来得出昆虫当前的行为，可以根据坐标判断，但还需要二次开发判断方法，比较复杂；最后是训练流程复杂，很多开源的动物行为检测方法没有明确地阐述整个训练流程，自己制作自己的训练数据也比较困难。

发明内容

本发明的目的在于克服上述技术不足，提供一种基于时空上下文的昆虫行为识别方法、装置以及计算机存储介质，解决现有技术中昆虫行为识别精度低、训练数据获取复杂的技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于时空上下文的昆虫行为识别方法，包括以下步骤：

获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；

从所述原始图像中提取目标昆虫所在区域得到昆虫图像，将所述原始图像转换成灰度图像；

通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像；

根据所述空间图像以及时间图像生成特征图像，对所述特征图像中的昆虫行为进行标注，并按行为分类；

以分类后的所述特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；

通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别。

本发明还提供一种基于时空上下文的昆虫行为识别装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述基于时空上下文的昆虫行为识别方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述基于时空上下文的昆虫行为识别方法。

与现有技术相比，本发明的有益效果包括：本发明在收集了原始图像后，对原始图像进行处理，分别得到昆虫图像和灰度图像。然后，基于时空上下文的方法，通过对一段时间窗口内的视频帧进行处理而得出这一段时间内的多帧图像之间的差异，得出可以描绘时间信息的时间图像以及可以描绘空间信息的空间图像，这意味着即便当想要检测的目标昆虫因某些原因在一些帧中不可见，通过时空上下文方法仍然能预测其在这段时间窗口内大致的轨迹，这一步骤大大提高了后续特征图像作为训练样本时的准确性、代表性以及全面性。也正是基于时空上下文的处理方法，提取出的特征图像可以更明显的体现各类动物行为的特征，便于对特征图像进行标注以及分类，因此本发明对于昆虫行为对于视频质量的要求不高，降低了对于图像进行标注和分类的难度，降低了使用门槛与收集训练数据的难度。最后基于时间图像和空间图像生成特征图像，以特征图像作为训练样本，由于特征图像准确的描绘了目标昆虫的运动特征，因此基于特征图像进行神经网络的训练，可以得出识别精确度很高的昆虫行为识别模型。通过昆虫行为识别模型可以直接识别出待测视频中的各种昆虫行为。昆虫行为识别模型训练完成后，不需要过多的人工干涉，即可自动而准确的进行昆虫行为识别工作。

附图说明

图1是本发明提供的基于时空上下文的昆虫行为识别方法一实施方式的流程图；

图2是本发明提供的从原始图像中提取昆虫图像一实施方式的流程示意图；

图3是本发明提供的通过时间窗口进行图像裁剪的原理示意图；

图4是本发明提供的几种不同昆虫行为的特征图像的示意图；

图5是本发明提供的从原始图像中提取昆虫图像一实施方式的识别统计结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了基于时空上下文的昆虫行为识别方法，包括以下步骤：

S1、获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；

S2、从所述原始图像中提取目标昆虫所在区域得到昆虫图像，将所述原始图像转换成灰度图像；

S3、通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像；

S4、根据所述空间图像以及时间图像生成特征图像，对所述特征图像中的昆虫行为进行标注，并按行为分类；

S5、以分类后的所述特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；

S6、通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别。

本实施例首先获取昆虫行为视频，具体的，以柑橘大实蝇，简称大实蝇为例，本实施例中昆虫行为视频由专业人员在实验过程中以固定角度从上至下拍摄的大实蝇背面与腹面的视频，大实蝇在拍摄区域可以自由活动，视频分辨率为1920*1080，帧率为25帧/秒。以50个已进行人工观察统计的大实蝇行为视频作为原始视频。接着，按时间顺序依次读取昆虫行为视频中已经人工标注过的原始图像，但是并没有直接将原始图像作为训练样本进行训练，而是基于时空上下文的方法对原始图像进行了处理，提取原始图像中的时空信息，以便后续训练时神经网络可以更快更好的学习到不同昆虫行为的不同特征，从而提高识别效率和准确率。具体的，先对原始图像进行截取、转换，分别得到昆虫图像和灰度图像，昆虫图像体现静态信息，即空间信息，时间窗口内的灰度图像进行变换之后体现了时间信息。然后，基于时空上下文的方法，通过对时间窗口内的视频进行处理而得出可以描述时间信息的时间图像以及可以描述空间信息的空间图像。由于时间窗口结合了一段连续时间内多帧图像的图像信息，因此，即便当想要检测的目标昆虫因某些原因在一些帧中不可见，通过时空上下文，即结合时间窗口中相邻的几帧图像仍然能预测昆虫在这段时间窗口内大致的轨迹，这一步骤大大提高了后续特征图像作为训练样本时的准确性、代表性以及全面性；同时，也正是基于时空上下文的处理方法，得出特征图像可以很好的体现各类动物行为之间的特征区别，因此本发明对于昆虫行为视频中截取的原始图像的要求并不高，大大降低了收集训练数据的难度。最后，基于时间图像和空间图像生成特征图像，以特征图像作为训练样本，由于特征图像准确的描绘了目标昆虫的运动特征，因此基于特征图像进行神经网络的训练，可以得出识别精确度很高的昆虫行为识别模型。通过昆虫行为识别模型可以直接识别出待测视频中的各种昆虫行为。昆虫行为识别模型训练完成后，不需要过多的人工干涉，即可自动而准确的进行昆虫行为识别工作。

本发明以更高的识别准确率为目标，提供了一种训练集制作过程简单、训练步骤清晰、识别效果好的昆虫行为识别模型，可以自动识别昆虫行为。

优选的，如图2所示，从所述原始图像中提取目标昆虫所在区域得到昆虫图像，具体为：

通过设置背景颜色区间阈值，从所述原始图像中提取出背景图像；

将所述背景图像的颜色进行翻转，得到只包含目标昆虫的昆虫图像。

图2中左边的图像即为原始图像，应该理解的，原始图像其实是彩色，由于专利申请文件的相关要求将其处理为没有彩色的。将视频中原始图像的背景部分使用opencv中的inRange方法通过设定背景颜色区间阈值取出，得到一个含有背景信息的背景灰度图像，即图2中中间位置的图像。再将该背景灰度图像的颜色反转，即可得该帧中只含有昆虫身体像素信息的图像，即图2中右边的图像。这一部分昆虫图像将被用来增强特征图像的空间信息。应该理解的，背景颜色区间阈值可以根据需求随意更改，以便适用于不同颜色的背景情况。

得到昆虫图像后，接下来将原始图像转换为灰度图像，并将原始图像和灰度图像调整至相同大小。本实施例中先将灰度图像和昆虫图像分别填充为正方形的像素区域，即用0素填充短边上的像素区域，将灰度图像和昆虫图像均调整为500*500大小，调整图像大小主要是为了减少计算量以提高生成特征图像的速率。

优选的，如图3所示，通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像，具体为：

计算所述时间窗口中原始图像的每个像素的灰度变化值：

其中，D为原始图像中第j个像素的灰度变化值，W为时间窗口的帧数，ABS表示绝对值函数，F_i表示时间窗口中第i帧原始图像中第j个像素的灰度值，F_i-1表示时间窗口中第i-1帧原始图像中第j个像素的灰度值；

以灰度变化值最大的像素点为中心，从所述原始图像中裁剪设定大小的区域作为ROI区域；

从所述昆虫图像中裁剪与所述ROI区域相应的图像作为空间图像；

从所述灰度图像中裁剪与所述ROI区域相应的图像作为时间图像。

本实施例通过检测7帧的时间窗口(w＝7)中每个像素的灰度变化来确定柑橘大实蝇在视频中的位置，图3中Pixels Y表示Y方向像素，Pixels X表示X方向像素，与X方向和Y方向垂直的即为时间窗口的时间轴，应该理解的检测的时间窗口的帧数长度可以根据实际情况修改。用第i帧灰度图像中第j个像素的灰度值减去第i-1帧灰度图像中第j个像素的灰度值，得到相邻两帧灰度图像中第j个像素的灰度差值。累加时间窗口中各相邻帧中第j个像素的灰度差值得到灰度变化值，以灰度变化值最大的像素点的坐标为中心，裁剪出一块100*100的大小的区域作为ROI区域。裁剪昆虫图像中与ROI区域相对应的区域作为空间图像，空间图像用于生成视频的空间信息，我们称其为Space ROI(S-ROI)。裁剪灰度图像中与ROI区域相对应的区域作为时间图像，空间图像用于生成视频的时间信息，我们称其为TimeROI(T-ROI)。

优选的，根据所述空间图像以及时间图像生成特征图像，具体为：

将各时间图像转换为行向量，结合同一时间窗口中各时间图像对应的行向量得到矩阵T:

其中，t_ij为第i帧时间图像中第j个像素的像素值，i＝1,2,…,W，W为时间窗口的帧数，j＝1,2,…,p，p为所述时间图像所包含的像素数量；

将矩阵T在列方向上进行傅里叶变换得到矩阵F：

其中，ABS表示绝对值函数，FFT为傅里叶变换，ft_ij为矩阵T进行傅里叶变换后与t_ij相对应的值；

根据矩阵F计算每一个像素的质心：

其中，g_j表示第j个像素的质心；

结合各像素的质心，得到质心向量：

G＝[g₁ g₂ … g_p]

其中，G为质心向量；

将所述质心向量还原成与所述时间图像的像素相对应的质心矩阵，根据所述质心矩阵从所述时间图像中筛选出光谱重心高于设定值的高光谱像素区域；

将所述时间图像中的高光谱像素区域标记为第一设定颜色，将所述时间图像中除所述高光谱像素区域以外的其他像素区域标记为第二设定颜色，将所述空间图像对应的像素区域标记为第三设定颜色，得到所述特征图像。

将本实施例中7个T-ROI转换为行向量，行向量长度等于T-ROI中的像素数量p，本实施例中p＝10000。将7个行向量在列方向上堆叠得到矩阵T，将矩阵T在列方向上进行傅立叶变换(FFT)得到矩阵F。根据矩阵F计算每一个像素j的质心，最后我们得到一个含有每一个像素的质心的列向量G。将向量G重新构造成一个与T-ROI相同大小的矩阵，即100*100的矩阵。灰度周期性变化的像素区域一般会具有更高的光谱重心，将T-ROI中具有更高光谱重心的像素区域在对应位置上保存为红色像素值，T-ROI中其它像素保存为蓝色像素值，将S-ROI保存为绿色像素值。这样就得到了一个新的RGB图像，且可以明显区分出昆虫的行为，接下来再使用神经网络对各类昆虫行为对应的特征图片进行学习训练。

具体的，本实施例中根据所述质心矩阵从所述时间图像中筛选出光谱重心高于设定值的高光谱像素区域的方法为：构造一个同维矩阵G_N＝G-1,并令G_N中大于1的元素等于1:

G_N[(G-1)＞1]＝1

上式为python写法，表示将G-1矩阵中所有大于1的元素对应G_N的位置赋值为1。

具体的，本实施例中将所述时间图像中的高光谱像素区域标记为第一设定颜色的方法为：将G_N乘255，标记为第一设定颜色，即红色。

具体的，本实施例中将所述时间图像中除所述高光谱像素区域以外的其他像素区域标记为第二设定颜色的方法为：直接保存矩阵t₂的灰度信息，矩阵t₂为矩阵T的第二行重构为ROI大小的矩阵，标记为第二设定颜色，即蓝色。

三种通道颜色的生成方式可表示为下式：

red＝255G_N

green＝SROI/1.8

blue＝255t₂；

其中，SROI表示S-ROI中像素。

通过本实施例生成的特征图像，昆虫的头部梳理行为与前足梳理行为产生了明显的区别；后足梳理与腹部梳理同样产生了区别；梳理翅膀与中足参与的梳理行为与前面几种行为也有十分明显的区别。虽然头部与尾部的几类行为有相似之处，但通过绿色通道的大实蝇身体部位像素特征也可明显区分出大实蝇的头尾。图4示出了本实施例中得出的几种不同类型昆虫行为的特征图像，由于说明书附图的相关要求，红、蓝、绿三种色素没有在图4中体现。但是从图4中仍然可以看出，各类动作的主要特征得到明显体现。例如前足梳理中，大实蝇的前足体现为高亮，具体为其前足被标记为红色像素值；头部梳理中，大实蝇的头部体现为高亮，具体为其头部被标记为红色像素值；中足参与的梳理中，大实蝇的中足体现为高亮，具体为其中足被标记为红色像素值；后足梳理中，大实蝇的后足体现为高亮，具体为其后足被标记为红色像素值；腹部梳理中，大实蝇的腹部体现为高亮，具体为其腹部被标记为红色像素值；翅膀梳理中，大实蝇的翅膀体现为高亮，具体为其翅膀被标记为红色像素值。基于可以明显区分各类昆虫行为的特征图像即可构建神经网络对其进行训练，以达到预期的识别目的。

优选的，所述特征图像中的昆虫行为进行标注，并按行为分类，具体为：

筛除噪声大于设定值或不包含目标昆虫的特征图像；

对每一所述特征图像的昆虫行为进行标注，并建立与昆虫行为类别一一对应的文件夹，根据标注结果将各所述特征图像保存至对应的文件夹中，实现分类。

具体的，筛除特征图像中存在模糊，噪声明显的样本、筛除直接观察起来就有明显一致特征的样本、筛除不包含目标昆虫的样本，确保每一张特征图像都清晰的反应了该类动作的特点，且尽可能使得昆虫的朝向、昆虫在图像中的位置具有多样性，以便获取更丰富多样和全面的训练样本。通过对昆虫各类行为特征之间的对比，我们将大实蝇的动作分为以下具有明显特征区别的几类：“无动作”、“头部动作”(包含触角、口器及复眼梳理)、“前足梳理”、“中足参与的梳理”、“后足梳理”、“腹部梳理”(包含腹部与产卵器梳理)、“翅膀梳理”。我们将每类昆虫行为的训练特征图片分别存储至对应名称的文件夹中。这种标注方法由只需在收集特征图像时对其进行分类，并存储至相应文件夹即可，不需要再对收集的原始图像的进行人工标注，且特征图像由于进行处理后行为特征明显，因此相比原始图像更容易进行分辨和标注，降低训练数据的收集复杂性。

优选的，所述神经网络包括卷积层、池化层、全连接层以及softmax分类器。

神经网络的训练采用批量处理，一个批一次会处理多张图片，神经网络会将输入图片统一缩放为100*100。神经网络结构为三层卷积池化层+一层全连接层+一层softmax分类器。由于采用小卷积核，本实施例中卷积核大小统一采用3*3卷积，3*3卷积是最小的能捕获像素信息的尺寸；两个3*3的堆叠卷积层的有限感受野是5*5，三个3*3的堆叠卷积层的感受野是7*7，故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层，并且感受野大小不变；且使用3*3卷积比其他大尺寸的卷积具有更少的参数量。第一层卷积有32个卷积核，激活函数为relu；第二层卷积有64个卷积核，激活函数为relu；第三层卷积有128个卷积核，激活函数为relu；每个卷积池化层进行卷积计算后都进行最大池化操作，池化大小为2*2，步幅为2。然后再进行一次全连接操作，将数据平铺为512个节点，使用relu激活函数；再将这512个节点连接至softmax分类器分出7种不同的昆虫行为类别。

优选的，通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别，具体为：

按时间顺序从所述待测视频中截取多帧待测图像；

将多帧所述待测图像输入所述昆虫行为识别模型，得到每一所述待测图像对应的昆虫行为；

保存待测图像的帧数与昆虫行为之间的对应关系；

统计持续帧数大于设定帧数的昆虫行为，并在所述待测视频中划分出每一昆虫行为对应的持续区间。

在对待测视频进行识别时，可以采用与昆虫行为视频相同的方法对待测视频进行处理，即按时间顺序从待测视频中截取多帧待测图像，并筛除噪声大于设定值或不包含目标昆虫的待测图像。使用训练得到的昆虫行为识别模型对处理后的待测视频进行自动识别预测，昆虫行为识别模型会检测待测视频的每一帧待测图像并判断待测图像中的昆虫行为，并实时将待测图像的帧数ID与该帧待测图像的昆虫行为信息进行存储。

对整个待测视频检测完成后，根据检测出的每一帧的行为结果划分出每个昆虫行为对应的持续区间。由于昆虫行为一般会持续一段时间，所以仅统计持续时间大于设定时间的持续区间。在本实施例中，由于大实蝇一次行为至少持续0.5秒，所以只统计连续持续大于等于10帧的昆虫行为，这在一定程度上也减少了神经网络预测时偶尔出现的误差情况。统计完成后会生成一个含有7种动作情况的初步结果。

优选的，通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别，还包括：

对所述持续区间进行人工核查；

如果人工核查的结果为识别错误，则对相应持续区间的动物行为进行人工修正；

判断修正后的持续区间是否与其相邻的持续区间属于同一种动物行为，如果是，则对属于同一种动物行为的两个持续区间进行合并；

人工核查完成后，根据重新划分的持续区间统计各动物行为的开始时间、结束时间以及持续时间。

由于某一些行为在特殊情况下会生成相似的特征图像，因此昆虫行为识别模型可能会出现识别误差，本优选实施例在昆虫行为识别模型进行自动识别后，对识别结果进行人工核查，具体的，本实施例中大实蝇的中足由于动作形态多样，所以拟合性较其它动作略差，易被识别为头部、腹部动作，在人工核查时可重点关注。人工核查的具体方法是，依次读取昆虫识别模型自动识别的识别结果，根据持续区间的开始与结束时间向核查人员播放待测视频中对应的区间，并提示核查人员该持续区间的行为识别结果，核查人员需要输入确认信号，即确认识别正确，或者确认识别错误并输入正确行为，在核查人员确认之前该区间会一直重复播放，直到有一个确认信号，便会继续播放下一个持续区间。

对于核查出的识别错误的情况，若人工修改后，两个连续持续区间的昆虫行为相同，则自动将这两个区间合并，整个过程中核查人员只需确认持续区间对应的昆虫行为是否正确，不需要再寻找昆虫行为的开始点与结束点，也不需要计算持续时间。待核查完成，自动生成统计表格，统计表格包括每一昆虫行为的“开始时间”、“结束时间”、“持续时间”，时间可精确到毫秒。本实施例的统计表格如图5所示，该统计表格的表头中，“s分”表示开始时间的分钟数，“s秒”表示开始时间的秒数，“s帧”表示开始时间的帧数，“e分”表示结束时间的分钟数，“e秒”表示结束时间的秒数，“e帧”表示结束时间的帧数，s帧与e帧分别表示开始时间和结束时间不足一秒的余出的帧数；图5的统计表格中，持续时间分别以两种不同的单位(秒/帧)进行了统计，两种统计结果是一样的；“行为”表示行为识别的结果，识别结果中包含两种的，例如第八行中“复眼/前足”，表示识别不成功，即模型未将这两种行为区分开，即此种情况在人工核查的时候能看出有两种行为，但该方法却把其算成了一种行为，这种误差便是所述的人工确认后与真实结果的持续区间划分误差，即模型在划分持续区间时将两种不同行为的持续区间划分为了同一个持续区间。

本实施例能够自动识别出每个昆虫行为的开始时间与结束时间，并计算出持续时间，不需要人工一秒一秒的播放寻找甚至逐帧寻找开始点与结束点，核查人员只需要最后检查确认一次持续区间的昆虫动作即可，大幅节约了核查人员重复观看、寻找视频关键时间点的时间。

就本发明目前的使用情况来看，分析一个15分钟含有约100个昆虫动作的待测视频，区间划分准确率可达90％，划分区间行为经过人工确认后行为识别准确率可达90％，人工参与的时间可以缩短80％，大大降低了人工参与度，提高了自动化程度，提高了识别效率。

实施例2

本发明的实施例2提供了基于时空上下文的昆虫行为识别装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的基于时空上下文的昆虫行为识别方法。

本发明实施例提供的基于时空上下文的昆虫行为识别装置，用于实现方法，因此，基于时空上下文的昆虫行为识别方法所具备的技术效果，基于时空上下文的昆虫行为识别装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的基于时空上下文的昆虫行为识别方法。

本发明实施例提供的计算机存储介质，用于实现基于时空上下文的昆虫行为识别方法，因此，基于时空上下文的昆虫行为识别方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于时空上下文的昆虫行为识别方法，其特征在于，包括以下步骤：

获取昆虫行为视频，获取所述昆虫行为视频中经人工标注后的原始图像；

从所述原始图像中提取目标昆虫所在区域得到昆虫图像，将所述原始图像转换成灰度图像；

通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像；

根据所述空间图像以及时间图像生成特征图像，对所述特征图像中的昆虫行为进行标注，并按行为分类；

以分类后的所述特征图像作为训练样本对神经网络进行训练，得到昆虫行为识别模型；

通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别。

2.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，从所述原始图像中提取目标昆虫所在区域得到昆虫图像，具体为：

通过设置背景颜色区间阈值，从所述原始图像中提取出背景图像；

将所述背景图像的颜色进行翻转，得到只包含目标昆虫的昆虫图像。

3.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，通过时间窗口从所述昆虫图像中生成空间图像，通过时间窗口从所述灰度图像中生成时间图像，具体为：

计算所述时间窗口中原始图像的每个像素的灰度变化值：

其中，D为原始图像中第j个像素的灰度变化值，W为时间窗口的帧数，ABS表示绝对值函数，F_i表示时间窗口中第i帧原始图像中第j个像素的灰度值，F_i-1表示时间窗口中第i-1帧原始图像中第j个像素的灰度值；

以灰度变化值最大的像素点为中心，从所述原始图像中裁剪设定大小的区域作为ROI区域；

从所述昆虫图像中裁剪与所述ROI区域相应的图像作为空间图像；

从所述灰度图像中裁剪与所述ROI区域相应的图像作为时间图像。

4.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，根据所述空间图像以及时间图像生成特征图像，具体为：

将各时间图像转换为行向量，结合同一时间窗口中各时间图像对应的行向量得到矩阵T:

其中，t_ij为第i帧时间图像中第j个像素的像素值，i＝1,2,…,W，W为时间窗口的帧数，j＝1,2,…,p，p为所述时间图像所包含的像素数量；

将矩阵T在列方向上进行傅里叶变换得到矩阵F：

其中，ABS表示绝对值函数，FFT为傅里叶变换，ft_ij为矩阵T进行傅里叶变换后与t_ij相对应的值；

根据矩阵F计算每一个像素的质心，结合各像素的质心，得到质心向量：

G＝[g₁ g₂ … g_p]

其中，G为质心向量，g_j表示第j个像素的质心；

将所述质心向量还原成与所述时间图像的像素相对应的质心矩阵，根据所述质心矩阵从所述时间图像中筛选出光谱重心高于设定值的高光谱像素区域；

将所述时间图像中的高光谱像素区域标记为第一设定颜色，将所述时间图像中除所述高光谱像素区域以外的其他像素区域标记为第二设定颜色，将所述空间图像对应的像素区域标记为第三设定颜色，得到所述特征图像。

5.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，所述特征图像中的昆虫行为进行标注，并按行为分类，具体为：

筛除噪声大于设定值或不包含目标昆虫的特征图像；

对每一所述特征图像的昆虫行为进行标注，并建立与昆虫行为类别一一对应的文件夹，根据标注结果将各所述特征图像保存至对应的文件夹中，实现分类。

6.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，所述神经网络包括卷积层、池化层、全连接层以及softmax分类器。

7.根据权利要求1所述的基于时空上下文的昆虫行为识别方法，其特征在于，通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别，具体为：

按时间顺序从所述待测视频中截取多帧待测图像；

将多帧所述待测图像输入所述昆虫行为识别模型，得到每一所述待测图像对应的昆虫行为；

保存待测图像的帧数与昆虫行为之间的对应关系；

统计持续帧数大于设定帧数的昆虫行为，并在所述待测视频中划分出每一昆虫行为对应的持续区间。

8.根据权利要求7所述的基于时空上下文的昆虫行为识别方法，其特征在于，通过所述昆虫行为识别模型对待测视频中昆虫行为进行识别，还包括：

对所述持续区间进行人工核查；

如果人工核查的结果为识别错误，则对相应持续区间的动物行为进行人工修正；

判断修正后的持续区间是否与其相邻的持续区间属于同一种动物行为，如果是，则对属于同一种动物行为的两个持续区间进行合并；

人工核查完成后，根据重新划分的持续区间统计各动物行为的开始时间、结束时间以及持续时间。

9.一种基于时空上下文的昆虫行为识别装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8任一所述的基于时空上下文的昆虫行为识别方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一所述的基于时空上下文的昆虫行为识别方法。

Images