CN111009000A

CN111009000A - 昆虫取食行为分析方法、装置和存储介质

Info

Publication number: CN111009000A
Application number: CN201911188827.9A
Authority: CN
Inventors: 李娜; 李胜
Original assignee: Guangmeiyuan R & D Center Key Laboratory Of Insect Developmental Biology And Applied Technology Huashi Meizhou City; South China Normal University
Current assignee: Guangmeiyuan R & D Center Key Laboratory Of Insect Developmental Biology And Applied Technology Huashi Meizhou City; South China Normal University
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2020-04-14
Also published as: US20210166390A1

Abstract

本发明公开了昆虫取食行为分析方法、装置和存储介质，方法包括以下步骤：利用神经网络通过深度学习方法对视频中的昆虫进行检测，其中视频记录有多只昆虫的取食状态；根据检测结果，得到昆虫的轨迹；根据昆虫的轨迹，得到分析结果。本发明能通过事先录制的视频，通过视频利用神经网络通过深度学习方法进行检测分析，再根据检测结果，得到昆虫的轨迹和分析结果，不需要人工进行观察、记录和分析，效率高，同时排除主观臆断，准确性高。本发明作为一种昆虫取食行为分析方法、装置和存储介质，可广泛应用于昆虫行为分析技术领域。

Description

昆虫取食行为分析方法、装置和存储介质

技术领域

本发明昆虫行为分析技术领域，尤其是一种昆虫取食行为分析方法、装置和存储介质。

背景技术

昆虫行为学是研究昆虫的行为类型、模式及其产生机制的一门科学，是昆虫学研究不可或缺的基础部分。通过昆虫行为可以分析行为表现背后隐藏的错综复杂的背景和机制，然后能够将得到的分析结果应用于预防虫害或杀害昆虫等。

昆虫的行为模式主要包括取食行为、繁殖行为、定向和移动行为、通讯行为等等。而现今对昆虫取食行为的分析通过人工近距离直接观察、手工记录和分析，耗费人力且存在主观臆断的可能，效率低且准确性低。同时，当昆虫的体积小时，难以通过肉眼观察。

发明内容

有鉴于此，为了解决上述技术问题，本发明的目的是提供效率和准确性高的昆虫取食行为分析方法、装置和存储介质。

本发明采用的技术方案是：昆虫取食行为分析方法，包括以下步骤：

利用神经网络通过深度学习方法对视频中的昆虫进行检测，其中视频记录有多只昆虫的取食状态；

根据检测结果，得到昆虫的轨迹；

根据昆虫的轨迹，得到分析结果。

进一步，所述利用神经网络通过深度学习方法对视频中的昆虫进行检测的步骤中，包括以下步骤：

利用真实框对图片中的昆虫进行标注，其中视频包括多帧图片；

将标注后的图片输入神经网络进行深度学习，根据预设阈值得到检测结果。

进一步，所述将标注后的图片输入神经网络进行深度学习，根据预设阈值得到检测结果的步骤中，包括以下步骤：

通过神经网络将标注后的图片分成多个格子；

根据真实框的中心位置与格子的位置关系进行深度学习，得到预测信息；

根据预设阈值和置信度，得到检测结果；

其中，预测信息包括每一格子预测的多个边界框信息和对应的置信度，以及每一格子预测的类别信息，边界框信息包括真实框的中心位置相对格子位置的偏移、宽度和高度；

检测结果包括至少一部分预测信息。

进一步，所述根据预设阈值和置信度，得到检测结果的步骤中，包括以下步骤：

将置信度低于预设阈值的边界框信息过滤；

将过滤后保留的边界框信息进行非极大值抑制处理，得到检测结果。

进一步，根据检测结果，得到昆虫的轨迹的步骤中，包括以下步骤：

利用卡尔曼滤波对检测结果进行处理，得到昆虫位置的预测值；

根据预测值，得到昆虫的轨迹；

其中，检测结果包括第一帧图片的昆虫质心的位置，预测值包括预测后第一帧图片的昆虫质心的位置，视频包括多帧图片。

进一步，根据预测值，得到昆虫的轨迹这一步骤，具体为：

根据预测值和第二帧图片的昆虫质心的位置，得到第二帧图片的昆虫质心的位置与预测值之间的欧氏距离；

根据欧氏距离，利用匈牙利算法，确定每只昆虫的轨迹；

其中，检测结果包括第二帧图片的昆虫质心的位置，第二帧大于第一帧。

进一步，根据昆虫的轨迹，得到分析结果这一步骤，具体为：

根据昆虫的轨迹，获得昆虫经过位置的轨迹图，和/或昆虫经过位置的频次，和/或昆虫取食的聚集情况。

本发明还提供，昆虫取食行为分析装置，包括：

检测模块，利用神经网络通过深度学习方法对视频中的昆虫进行检测，其中视频记录有多只昆虫的取食状态；

追踪模块，用于根据检测结果，得到昆虫的轨迹；

分析模块，用于根据昆虫的轨迹，得到分析结果。

本发明还提供，昆虫取食行为分析装置，包括：

至少一处理器；

至少一存储器，用于存储至少一程序；

当所述至少一程序被所述至少一处理器执行，使得所述至少一处理器实现所述昆虫取食行为分析方法。

本发明还提供，存储介质，存储有处理器可执行的指令，处理器执行所述处理器可执行的指令时执行所述昆虫取食行为分析方法。

本发明的有益效果是：利用神经网络通过深度学习方法对视频中的昆虫进行检测，根据检测结果，得到昆虫的轨迹，根据昆虫的轨迹，得到分析结果；本发明能通过事先录制的视频，通过视频利用神经网络通过深度学习方法进行检测分析，再根据检测结果，得到昆虫的轨迹和分析结果，不需要人工进行观察、记录和分析，效率高，同时排除主观臆断，准确性高。

附图说明

图1为本发明方法的步骤流程示意图；

图2为本发明具体实施例数据处理流程示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本实施例的昆虫取食行为分析方法，包括以下步骤：

根据检测结果，得到昆虫的轨迹；

根据昆虫的轨迹，得到分析结果。

在本实施例中，具体地，包括以下步骤：

1)设置饲养装置；

在本实施例中，饲养装置包括红外灯板和饲养盘。昆虫为蟑螂，在其他实施例中可以为寄生蜂、蓟马、蝗虫、蝴蝶、蜜蜂、蜻蜓、草蜢等其他昆虫。饲养盘内放置多只蟑螂，饲养盘的形状为正方形，在正方形的四个角设置有扇形取食区，每一扇形取食区里面均放置有食物。红外灯板放在饲养盘下方，为拍摄系统提供红外照明，而使用红外照明的原因在于蟑螂对红外光不敏感，不会影响蟑螂的行为，在其他实施例中可以根据昆虫的种类设置其他种类的光源。

2)设置拍摄系统；

在本实施例中，拍摄系统由高清摄像机和工业电脑组成，高清摄像机置于饲养盘上方，拍摄视频，记录整个饲养盘区域内多只蟑螂的活动情况，包括取食状态。工作电脑与高清摄像机连接，为数据的存储和处理中心，具有设置的多种算法和分析工具，对拍摄的视频进行存储和分析。在本实施例中，利用的是事先拍摄的视频进行处理分析，而在其他实施例中可以通过获取实时视频，直接通过神经网络利用深度学习方法对实时视频中的昆虫进行检测分析；

3)视频预处理；

对视频进行预处理，主要包括两个步骤，首先对需视频进行裁剪，得到合适大小的目标区域，例如某一段特定的时间或蟑螂开始活动；然后对视频进行高斯滤波，滤除随机噪声，以便后续进一步进行的数据处理。

4)利用神经网络通过深度学习方法对视频中的昆虫进行检测；

1.进行数据标记：一个视频具有多帧，每一帧看作一张图片，从预处理后的视频中获得多张图片，优选地为代表蟑螂运动的图片，使用真实框对图片中的多只蟑螂进行标记，真实框的轮廓与蟑螂的轮廓相同或近似，或利用大小与蟑螂相近的长方形方框；

2.进行检测：通过工业计算机的GPU(英伟达显卡，做智能计算使用)进行训练，得到网络参数，利用网络参数进行蟑螂检测。

在本实施例中，神经网络采用的是Yolo-V3，将标注后的图片整张输入到神经网络中，神经网络将图片分成S×S个格子，若蟑螂的Ground truth(真实框)的中心位置(质心)的坐标落入到某个格子，那么这个格子就负责检测出这只蟑螂。通过深度学习，每个格子预测得到预测信息，预测信息包括B个bounding box(即边界框，边界框用于预测边界框信息)及其对应confidence score(置信度)，以及C个类别概率。其中，S、B、C的大小可以根据需求自定义。

边界框信息包括(x，y)、w、h，(x，y)分别表示蟑螂(即真实框)的中心位置相对格子位置的偏移坐标及宽度和高度，且均被归一化。置信度为Pr(Object)×IOUtruthpred，其中Pr(Object)∈{0,1}，当有蟑螂落在一个格子里，那这个格子的Pr(Object)取1，否则取0；IOUtruthpred是预测边界框和实际的真实框之间的IoU值(Intersection-over-Union-交并比)，置信度代表了所预测的边界框中含有蟑螂的真实度和这个边界框预测的有多准这两重信息，反映是否包含蟑螂以及包含蟑螂情况下位置的准确性。由于每个边界框要预测边界框信息和置信度共5个值，每个格子还要预测一个类别信息，记为C类，因此深度学习网络最终输出为S×S×(5×B+C)的向量，能表示边界框的位置和其所属的类别，在本实施例中只有一种昆虫，因此C＝1。

通过预先设置的阈值，先将置信度小于阈值的边界框信息过滤，再将过滤后的保留的边界框信息进行NMS(Non-Maximum Suppression，非极大值抑制)处理，得到检测结果(包括至少一部分预测信息，其中，类别信息不会过滤，只过滤一些重叠的边界框，如果有多个结果重叠，则融合为一个)，该检测结果为对多只蟑螂进行检测的结果，即在每一帧图片中检测到多只蟑螂，分别利用边界框进行了标记，每一边界框具有一质心(相当于昆虫质心的位置)。

在本实施例中，由于将一个单神经网络应用于整张图片中，因此在预测时利用了图像中的全局信息，即与需要数千张单一目标图像的R-CNN不同，本方案通过单一网络评估进行预测，因此使得Yolo-V3处理速度快，除了能对离线数据进行处理外，还能适用于实时处理，应用于蟑螂的实时监测。

5)利用卡尔曼滤波对检测结果进行处理；

在本实施例中，由于在实际情况中，检测会有噪声、误差以及漏检的情况，因此需要采用离散型卡尔曼滤波消除上述的影响。具体地，采用离散型卡尔曼滤波对检测结果中的第一帧图片进行处理，得到预测后的第一帧图片的昆虫质心的位置，即预测值(或称为预测结果)

其中第一帧指的是视频多帧中的其中一帧，只是为了方便说明，而不仅仅局限于视频中的最先一帧。

而离散卡尔曼滤波的状态方程、测量方程以及状态预测方程如下：

根据蟑螂之前的位置X(k-1)，估计蟑螂X(k)的位置，首先：

估计的状态方程：

而由于预测值

不一定准确，因此需要另外的信息进行修正，例如用观测值Z(k)来修正

观测值指的就是每帧的图片的上述检测结果。

测量方程：

上两式中，k代表时刻(帧)，

代表预测的k时刻蟑螂的位置，

为位置的状态转移矩阵，Γ(k)为噪声的状态转移矩阵，即描述特定噪声对蟑螂位置的影响，w(k)为噪声矩阵，Z(k)为k时刻的检测结果，H(k)为测量转移矩阵，v(k)为测量噪声。

状态预测方程：

其中，k(k)为卡尔曼增益，主要作用为调节

与Z(k)的权重，取小的值，那么系统更相信预测的结果，取大的值，则更加相信检测的结果，在本实施例中，每次更新该值；X(k)为k时刻蟑螂的位置的最佳预测结果。

在卡尔曼滤波过程中，需要对初始状态进行初始化，然后在每次有新的测量值，则启动卡尔曼滤波，一直这样循环下去，直到没有新的测量值。在本实施例中，测量值就是检测结果，代表每次检测到的蟑螂位置。

6)利用匈牙利算法进行数据处理；

在本实施例中，由于蟑螂有多只，因此涉及多目跟踪。在前面步骤中，得到的为某一帧图片中的标记的多只蟑螂，而在下一帧图片中同样得到该帧图片中标记的多只蟑螂，因此要使两帧图片中的蟑螂分别对应起来，从而获得多只蟑螂对应的不同的蟑螂的轨迹。

例如，设k-1时刻的最佳预测结果(或称为跟踪结果)X(k-1)＝{X1,X2,…Xn},Xn代表最佳检测结果包含的元素，n为蟑螂的数量，根据蟑螂的运动速度我们可以对k时刻的蟑螂位置进行估计。因此，对X(k-1)中的每个元素Xn进行预测可以得到每个元素对应的预测值

因此

组成k时刻的预测结果为

k时刻的检测结果为Z(k),但该检测结果并不包含蟑螂的序号信息，即并不知道检测到的结果属于具体哪一只蟑螂，因此

与Z(k)中元素的对应关系可以看作一个指派问题，将元素之间的欧式距离作为“费用”，组成费用矩阵，使用匈牙利算法确定其指派结果。

在本实施例中，利用匈牙利算法(匈牙利算法匹配算法)进行蟑螂的配对。匈牙利匹配算法是一种利用增广路径求取二分图最大匹配的算法，由宽度优先搜索(BFS)构成，例如本实施例的欧氏距离。

增广路径指的是从一个未匹配点出发，走交替路，如果途径另一个未匹配点(出发的点不算)，则这条交替路称为增广路径，交替路指的是从一个未匹配点出发，依次经过非匹配边、匹配边、非匹配边……形成的路径叫交替路。

具体地，获取检测结果中包含的第二帧图片的蟑螂质心的位置，其中第二帧指的是时间上在上述第一帧之后的某一帧，只是为了方便说明，而不仅仅局限于视频中的第二帧，优选地，第二帧与第一帧为相邻的；根据预测值(预测后第一帧图片的蟑螂质心的位置)和第二帧图片的蟑螂质心的位置(检测结果)，计算第二帧图片的蟑螂质心的位置与预测值之间的欧氏距离；由于欧式距离具有多个，因此根据最小化的欧式距离进行增广路径的优先匹配，通过prev数组来记录路径上的点(追踪结果)，根据多个追踪结果，最终得到每只蟑螂的轨迹。

其中，当第二帧图片的某一只蟑螂位于取食区而被遮挡，导致第二帧图片无法检测到该蟑螂时，能够自动利用卡尔曼滤波处理后的第一帧图片中该只蟑螂的预测值，代替最终的该只蟑螂的追踪结果。

如图2所示，为卡尔曼滤波和匈牙利算法的处理过程，Z(k)＝{Z1,Z2,…Zn},Zn代表分配检测结果后包含的元素。

7)损失调整；

通过卡尔曼滤波计算并预测每只蟑螂的追踪结果在下一帧图片中的位置，然后计算预测的位置和实际的检测结果中对应蟑螂之间的欧式距离(质心之间)，将计算的度量结果作为损失函数矩阵进行调整。损失矩阵的大小为(M,N)，其中M是轨迹数目，N是检测到的运动物体数目。

8)根据蟑螂的轨迹，得到分析结果；

1.获得轨迹图：利用图片中设置的坐标，当蟑螂经过一个坐标，则进行标记，得到记录有每只蟑螂经过的位置的轨迹图；

2.获得热力图：在图片坐标系中的每个坐标设置一个热力计数器，若有一只蟑螂经过该坐标，这个坐标的热力计数器便加1，将视频所有帧的结果累加后，得到每个坐标蟑螂经过的频次；

3.获得聚集情况：实时统计四个取食区的蟑螂数目，得到蟑螂在取食区的聚集情况；

4.获得基本参数：计算蟑螂的速度、路程等参数。

而在得到上述分析结果后，能够在实际中进行应用。如根据轨迹图和热力图，在蟑螂经过路径、经过频率最高的位置上放置药物提高杀虫效果；杀虫时根据聚集情况进行药物不同区域分配，提高杀虫效率等等。

本发明还提供一种昆虫取食行为分析装置，包括：

检测模块，用于利用神经网络通过深度学习方法对视频中的昆虫进行检测，其中视频记录有多只昆虫的取食状态；

追踪模块，用于根据检测结果，得到昆虫的轨迹；

分析模块，用于根据昆虫的轨迹，得到分析结果。

本发明实施例还提供昆虫取食行为分析装置，包括：

至少一处理器；

至少一存储器，用于存储至少一程序；

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

综上所述，相较于现有技术，本发明具有以下优点：

1)通过事先录制的视频，通过视频利用神经网络通过深度学习方法进行检测分析，再根据检测结果，得到昆虫的轨迹和分析结果，不需要人工进行观察、记录和分析，效率高，同时排除主观臆断，准确性高；

2)通过卡尔曼滤波对检测结果，即使蟑螂位于取食区而被遮挡，仍然将蟑螂进行检测，防止出现漏检测的问题，准确性高；

3)卡尔曼滤波结合匈牙利算法能准确得出蟑螂的轨迹，相对人工记录效率高且准确性高；

4)利用蟑螂轨迹结合工业计算机的统计分析工具，能快速准确得出分析结果，效率极高。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明并且采用方块图的形式举例说明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

本发明实施例还提供了存储介质，存储有处理器可执行的指令，处理器执行所述处理器可执行的指令时执行所述昆虫取食行为分析方法。

同样可见，上述方法实施例中的内容均适用于本存储介质实施例中，实现的功能和有益效果与方法实施例相同。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本说明书的描述中，参考术语“一个实施例”、“本实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.昆虫取食行为分析方法，其特征在于，包括以下步骤：

根据检测结果，得到昆虫的轨迹；

根据昆虫的轨迹，得到分析结果。

2.根据权利要求1所述昆虫取食行为分析方法，其特征在于：所述利用神经网络通过深度学习方法对视频中的昆虫进行检测的步骤中，包括以下步骤：

3.根据权利要求2所述昆虫取食行为分析方法，其特征在于：所述将标注后的图片输入神经网络进行深度学习，根据预设阈值得到检测结果的步骤中，包括以下步骤：

通过神经网络将标注后的图片分成多个格子；

根据预设阈值和置信度，得到检测结果；

检测结果包括至少一部分预测信息。

4.根据权利要求3所述昆虫取食行为分析方法，其特征在于：所述根据预设阈值和置信度，得到检测结果的步骤中，包括以下步骤：

将置信度低于预设阈值的边界框信息过滤；

5.根据权利要求1所述昆虫取食行为分析方法，其特征在于：根据检测结果，得到昆虫的轨迹的步骤中，包括以下步骤：

根据预测值，得到昆虫的轨迹；

6.根据权利要求5所述昆虫取食行为分析方法，其特征在于：根据预测值，得到昆虫的轨迹这一步骤，具体为：

根据欧氏距离，利用匈牙利算法，确定每只昆虫的轨迹；

7.根据权利要求1所述昆虫取食行为分析方法，其特征在于：根据昆虫的轨迹，得到分析结果这一步骤，具体为：

8.昆虫取食行为分析装置，其特征在于，包括：

追踪模块，用于根据检测结果，得到昆虫的轨迹；

分析模块，用于根据昆虫的轨迹，得到分析结果。

9.昆虫取食行为分析装置，其特征在于，包括：

至少一处理器；

至少一存储器，用于存储至少一程序；

当所述至少一程序被所述至少一处理器执行，使得所述至少一处理器实现如权利要求1-7任一项所述昆虫取食行为分析方法。

10.存储介质，存储有处理器可执行的指令，其特征在于：处理器执行所述处理器可执行的指令时执行如权利要求1-7任一项所述昆虫取食行为分析方法。