CN108573226B - 基于级联姿势回归的果蝇幼虫体节关键点定位方法 - Google Patents

Abstract

本发明公开了一种基于级联姿势回归的果蝇幼虫体节关键点自动定位方法，通过记录体节清晰的果蝇幼虫在二维平面上运动的行为数据，并构建体节关键点数据集，用于训练体节关键点定位模型，根据果蝇幼虫自身特点，设计体节关键点回归流程，用于自动化获取果蝇幼虫身体体节信息。本发明结合计算机视觉算法来自动化处理果蝇幼虫数据，得到体节精度的果蝇幼虫身体的表征，避免了大量对果蝇幼虫运动的干扰因素。本发明可节省大量人力物力，并可用于自动化的果蝇幼虫行为分析和将复杂运动进行分解等；无需人工干预，可处理大量数据，为体节精度的自动化行为分析提供了基础。

Description

基于级联姿势回归的果蝇幼虫体节关键点定位方法

技术领域

本发明属于行为学领域，涉及一种果蝇幼虫体节自动化提取的方法，具体涉及一种基于级联姿势回归的果蝇幼虫体节关键点定位方法。

背景技术

计算行为学主要是采用计算机技术研究动物行为的学科，它是应用计算机视觉、机器学习等方法研究动物的运动行为。最常见的就是记录并自动化分析动物运动的视频，这对于我们量化运动行为，处理大量数据具有重要意义。利用计算机技术，不仅可以辅助我们完成一些之前需要人来完成的任务，它还可以无监督发现一些新的知识，是当前研究动物行为学和神经科学不可或缺的工具。

果蝇幼虫是一种易于处理的模式生物，它们的神经系统和身体外形都比较简单，但同时拥有比较丰富的行为。对于果蝇幼虫，也许可以确定出所有编码它们复杂运动的神经通路。为了实现这个目的，必须记录在行为发生过程中神经元和肌肉的状态，因此构建自动化量化和分析果蝇幼虫行为的工具非常必要。传统上对果蝇行为的分析主要是依赖于专家的手工操作，比如通过观察记录某个时刻发生了某个行为，这种方式有很多缺点，包括效率低下主观性强等。基于计算机的技术是更好的选择，可以自动并快速提取我们需要的果蝇幼虫运动信息。当前已经有很多针对果蝇幼虫行为分析的工具，但这些工具都不能精细到果蝇幼虫体节的运动。

果蝇幼虫是通过体节蠕动实现运动，因此不管多么复杂的运动都可以分解成体节蠕动。掌握体节运动规律对于研究果蝇幼虫更广泛的行为有重要意义，果蝇幼虫身体可以划分为11个可见的体节，包括三个胸部体节(T₁,T₂T₃)和八个腹部体节(A₁,...,A₈)，相邻体节间有边界，边界与幼虫轮廓的交点可以清晰定位，用这些相交点来表示体节，并称之为体节关键点，人工标注体节也主要是从果蝇幼虫图片中点出这些关键点。而更高效的自动化关键点提取方法对于体节提取有重要意义。当前还没有直接从普通高清摄像头获取果蝇幼虫体节清晰的方法。

级联关键点回归将体节关键点定位作为一个回归问题，从一个初始估计的位置开始，逐渐迭代回归到关键点真实的位置，而算法的关键是如何学习出回归器。我们发现基于回归的关键点定位方法可以用在果蝇幼虫关键点定位上，但针对果蝇幼虫还有一些难点需要解决，当前还没有关于果蝇幼虫体节关键点自动提取方面工作的报道。

发明内容

本发明的目的是提供一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，采用关键点回归方法从果蝇幼虫运动图片中定位出体节关键点，克服当前基于手工标注所具有的各种缺点，适用于基于大量数据的果蝇幼虫运动行为分析。本发明方法通过以下步骤实现：

(1)记录体节清晰的果蝇幼虫在二维平面上运动的视频数据，并构建体节关键点数据集，用于训练体节关键点定位模型；

(2)基于级联姿势回归方法，并根据果蝇幼虫自身特点，设计的体节关键点回归方法，用于自动化处理果蝇幼虫图片。

本发明用改进的关键点回归方法来解决果蝇幼虫体节识别问题。用染色的方法使得果蝇幼虫体节分割线在直观可见，然后直接用高时空分辨率的摄像头采集体节清晰的果蝇幼虫自由爬行视频，并且人工标定部分体节关键点数据构成训练和测试数据集，然后设计关键点回归方法自动提取视频中果蝇幼虫身体的体节关键点。从而可以作为一个自动化体节标定的系统。

所述体节关键点回归方法即级联关键点回归方法。

本发明的具体步骤如下：

(1)采集体节清晰果蝇幼虫自由爬行视频作为原始数据

首先采用染色剂对果蝇幼虫身体进行突显，使得果蝇幼虫身体体节分割线更明显，然后将有果蝇幼虫的培养皿放置于平板LED光源上，摄像头放置于正上方，这样进入摄像头的光源最大且均匀，同时果蝇幼虫身体体节分割线和身体本身有最大的反差，摄像头通过USB数据线与电脑链接，将图像传输到电脑上，当果蝇幼虫处于视频中时点击开始，而当果蝇幼虫爬出视频区域时停止记录，采集的帧率为30帧/秒，每帧视频大小为1280×960。

(2)收集体节关键点数据集，是从得到的视频中提取出单帧图片，并对这些图片人工标注关键点，对于果蝇幼虫，一共标定22个体节关键点，顺序是从尾部点开始，沿着身体轮廓顺时针方向一次点击体节交叉点，因此1号点是尾部，12号点是头部，身体左右轮廓分别是(2,...,11)和(13,...,22)，结合图片和它们对应的标定的关键点构成了训练和测试数据集。

将果蝇幼虫身体划分为(T₁,T₂T₃)和(A₁,...,A₈)一共11个体节。所述体节关键点是指从果蝇幼虫尾部作为起点，沿顺时针方向，体节分割线与轮廓线的交点，一共22个分割体节关键点。

为了指导算法进行学习(作为损失函数)以及比较算法结果，需要参考人脸关键点定位的量化标准，制定一个针对果蝇幼虫体节关键点定位错误大小的指标。计算估计的关键点坐标和真实坐标的欧式距离，为了对尺度变化不敏感，还需要对结果进行归一化，选择将欧式距离除以第二个腹部体节与第三个体节分割线的距离，这个距离能比较好地代表身体的大小。

(3)基于关键点回归的体节关键点定位方法，是一种通过学习得到回归函数，并将函数用于关键点逐渐逼近。由于该方法对于形变比较敏感，因此需要一些预处理使得它能处理果蝇幼虫数据。首先需要计算以尾部对齐的果蝇幼虫身体方向，第一步是检测果蝇幼虫区域，鉴于前背景区分明显，采用混合高斯背景建模来提取前景和背景，从而得到了果蝇幼虫区域的大致的二值图像，经过填充、膨胀操作，得到一个覆盖果蝇幼虫的稍大一点的区域，为了得到更精确并边缘光滑的区域，利用活动轮廓Chan-Vese算法迭代收敛到更好的位置，最后用得到的区域经过细化操作获得骨架线。计算以尾部点为原点，到骨架线上从尾部点开始一定距离的点的角度θ将图片旋转-θ使得尾部方向与底部垂直。由于运动过程中摆头导致果蝇幼虫身体形变非常严重，虽然每一步都要做归一化，但这对于相似变换具有不变性，而对于非相似的变换，例如大的蜷缩则没有效果，原因在于形变导致姿势索引特征与回归目标可能是一对多的映射，即计算出来的姿势索引特征一样时，对应的回归残差不同，这使得不能学习出有效的回归函数。解决的方法是根据摆头角度将数据划分，并分别训练点回归模型，每个子集里的图片形变非常小，使得可以忽略形变带来的影响。摆头角度即头部与身体成的夹角，在得到了骨架线后，定义摆头角度为骨架线上头部与中点连线和中点与尾部连线的夹角，这个角度表示了果蝇幼虫身体变形的范围。将所有训练图片按照这个角度范围划分为m份，每个部分单独训练一个模型。在真实使用过程中将新的图片也计算这样一个夹角，并用对应的模型进行处理。

本发明具备的有益效果：

(1)本发明通过对果蝇染色并利用高清摄像头就可以记录果蝇幼虫体节清晰的视频，不用显微镜放大。目前其他方法做不到采集体节清晰的果蝇幼虫视频。

(2)本发明对果蝇幼虫的爬行不进行限制，不需要固定幼虫或其他的限制，避免了大量对果蝇幼虫运动的干扰因素。这些干扰因素对行为研究有影响。

(3)采用基于关键点回归的方法自动提取果蝇幼虫体节关键点，不需要人工干预，可以处理大量数据，为体节精度的自动化行为分析提供了基础。而当前一些研究在需要体节信息时，都是通过手工标注来获取，会消耗大量人力物力。

附图说明

图1为发明的基于级联姿势回归的果蝇幼虫体节关键点自动定位的方法的拍摄系统。

图2为体节模型和设定的关键点顺序。

图3为从体节数据集中采样的样本。

图4为发明的基于级联姿势回归的果蝇幼虫体节关键点自动定位的方法中处理算法的流程。

图5为跟踪监测果蝇幼虫身体并计算身体骨架线的结果。

图6为根据骨架线估计身体方向进行旋转。

图7为计算摆头角度，用于数据划分。

图8为基于关键点回归方法在测试集上的效果。

图9为在测试集上累计错误分布效果。

图10为在测试集上的错误平均值。

具体实施方式

本发明结合附图和实施例作进一步的说明。

实施例1

如图1所示，为发明的基于级联姿势回归的果蝇幼虫体节关键点自动定位的方法的记录视频的实验平台，用铁甲台固定摄像头1，摄像头1和电脑直接相连，摄像头型号ASI178MM，采用的是SONY IMX178传感器，LED底板光源2放置于桌面，培养皿3放置于LED板2上方，果蝇幼虫4在培养皿上爬行，摄像头1垂直于桌面位于LED板2正上方，用USB数据线连接电脑，可以随时记录和停止记录视频，我们记录到的是空间分辨率1280×960，时间分辨率30fp/s。

如图2所示为建立的体节模型和关键点顺序，体节分为三个胸部体节(T1,T2,T3)和八个腹部体节(A1,...,A8)，以及图中不能看出来的头部和尾部，如图所示，用体节关键点可以识别体节。从尾部开始，按身体轮廓顺时针方向，得到从1到22一共22个关键点，我们将这22个点的坐标称为一个果蝇幼虫的姿势。为了构建用于训练和测试的数据，我们采集了4个果蝇幼虫自由爬行的视频，我们把其中三个视频的图片作为训练数据，另一个视频的图片作为测试数据，而不是将四个视频所有图片随机划分为训练集和测试集，这样做的原因是我们最终的目的是从整个视频中提取体节关键点序列，随机方式不能体现算法对单个视频的效果，并且算法本身也可以使用视频帧之间的约束，如果随机图片则不能利用这种约束。最后，我们的数据集一共943张图片，其中训练图片740张，测试图片203张。如图3所示为从数据集中采样的部分标定好的数据，这些数据具有多种不同的形态，形变也非常丰富。

如图4所示是我们设计的果蝇幼虫关键点定位算法流程，原始数据集中果蝇幼虫朝向各异，我们想要实现旋转不变性，即当一张图片以任何角度旋转后，用算法获取的关键点位置应该保持不变，解决这个问题的方法是将任意输入图片按照一定方向对齐，具体步骤是要获取身体区域并得到骨架线，用骨架线估计出尾部方向并旋转对齐。第一步是检测果蝇幼虫区域，鉴于前背景区分明显，我们直接找出一个阈值来分割前景和背景，这个阈值不需要人工设置，通过统计区域内所有像素的亮度，我们发现它们大致符合两个高斯分布组成的高斯混合模型，用离两个高斯分布均值最远的像素值作为阈值效果非常好，从而得到了果蝇幼虫区域的大致的二值图像，经过填充、膨胀操作，我们得到一个覆盖果蝇幼虫的稍大一点的区域，为了得到更精确并边缘光滑的区域，我们利用活动轮廓Chan-Vese算法迭代收敛到更好的位置，最后用得到的区域经过细化操作获得骨架线。处理结果如图5所示，我们将获取到的区域的掩膜覆盖在了原始图片上，红色线是计算得到的骨架线数据，绿色点是我们按照时间上约束区分出来的靠近尾部的骨架线点，这个区域掩膜有非常好的性质，没有边缘锯齿或覆盖区域过大等缺点，骨架线也非常好地描述了果蝇幼虫身体的形态，并且没有出现骨架分叉。得到骨架线和骨架线上靠近尾部的点后，就可以估计尾部方向，如图6所示，计算以尾部点为原点，到骨架线上从尾部点开始20个点的角度，将图片旋转θ使得尾部方向与底部垂直。

由于运动过程中摆头导致果蝇幼虫身体形变非常严重，虽然每一步我们都要做归一化，但这对于相似变换具有不变性，而对于非相似的变换，例如大的蜷缩则没有效果，原因在于形变导致姿势索引特征与回归目标可能是一对多的映射，即计算出来的姿势索引特征一样时，对应的回归残差不同，这使得我们不能学习出有效的回归函数。解决的方法是根据摆头角度将数据划分，如图7所示计算骨架线上头部与中点连线和中点与尾部连线的夹角α，并根据角度大小将数据划分，并分别训练点回归模型，每个子集里的图片形变非常小，使得我们可以忽略形变带来的影响。

我们采用了3中不同的基于回归的关键点定位算法，分别是ESR，RCPR和ERT，三种算法在人脸关键点定位上都取得了较好效果。为了比较效果，在将数据对齐后分别训练模型，然后将对齐的数据按照摆头角度分为5个子集，在每个子集上单独训练模型，测试时也计算测试图片的摆头角度，并用相应模型进行关键点定位。

为了说明算法的有效性，我们在测试集上验证算法。直观结果如图8所示，我们从测试结果中随机选择了四张图片，总的来说，关键点定位非常精确，完全可用与自动化体节识别的任务。量化结果如图所示，首先我们直接计算了不同算法得到的归一化的测试错误的平均值和方差，一共比较这三种方法分别用两种不同数据集训练的六个结果结果，如图9右图所示，可以得出两个结果，第一是任意方法利用了对齐加数据集分割都好于只使用对齐，第二是对于具体一个算法，对齐加分割的版本也明显好于只使用对齐的版本。同时，采用了对齐加分割的ERT算法得到了最好的结果，它的平均错误率小于了0.04。除了有平均值，还有各个方法错误的方差，我们发现错误的平均值越小对应的方差也越小，表示了效果越好的方法越稳定，也说明了通过分割数据集可以让算法本身的歧义更少。如图9是不同方法的累计的错误分布，曲线越靠近左边表示结果越好，可以看到对齐加分割的方式包住了只对齐的版本，这表明了对齐加分割方式的有效性。我们可以得出结论，即对齐和数据集分割对于果蝇幼虫体节关键点定位有非常好的效果，同时如图10所示，结合ERT算法取得了最好结果，我们也抽查了错误比较大的测试样例，发现主要是幼虫身体收缩比较严重导致难以分清体节，这种情况人也很难判断，因此算法识别的结果完全可以接受。

Claims (4)

1. 一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，其特征在于，通过以下步骤实现：

(1) 采集体节清晰果蝇幼虫自由爬行视频作为原始数据

采用染色剂对果蝇幼虫身体进行突显，然后将有果蝇幼虫的培养皿放置于光源上，摄像头放置于正上方，摄像头通过USB数据线与电脑链接传输图像到电脑，当果蝇幼虫处于视频中时点击开始，而当果蝇幼虫爬出视频区域时停止记录，采集的帧率为30帧/秒，每帧视频大小为1280×960；

(2) 收集体节关键点数据集

从得到的视频中提取出单帧图片，并标注关键点，对于果蝇幼虫，一共标定22个体节关键点，顺序是从尾部点开始，沿着身体轮廓顺时针方向一次点击体节交叉点，因此1号点是尾部，12号点是头部，身体左右轮廓分别是2,...,11和13,...,22，结合图片和它们对应的标定的关键点构成了训练和测试数据集；

(3) 基于关键点回归的体节关键点定位方法

首先是将每张图片进行旋转，使得每张图片中果蝇幼虫的尾部都与图片底部垂直，减小果蝇幼虫在平面上运动方向各异带来的影响，然后根据果蝇幼虫的摆头角度大小将图片分成几个子集，在训练阶段分别用几个子集训练得到对应的级联姿势回归模型，在测试阶段将训练完成的级联姿势回归算法得到的回归模型用于估计高精度的体节关键点。

2.根据权利要求1所述的一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，其特征在于，步骤（1）所述光源为白色平板LED光源，培养皿放置在光源上，果蝇幼虫在培养皿上自由爬行，在正上方用高清摄像头记录果蝇幼虫自由爬行视频。

3.根据权利要求1所述的一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，其特征在于，步骤（2）将果蝇幼虫身体划分为

,

,

和

,...,

一共11个体节，所述体节关键点是指从果蝇幼虫尾部作为起点，沿顺时针方向，体节分割线与轮廓线的交点，一共22个分割体节关键点。

4.根据权利要求1所述的一种基于级联姿势回归的果蝇幼虫体节关键点定位方法，其特征在于，步骤（3）中第一步是检测果蝇幼虫区域，采用混合高斯背景建模来提取前景和背景，从而得到果蝇幼虫区域的二值图像，经过填充、膨胀操作，得到一个覆盖果蝇幼虫的区域，利用活动轮廓Chan-Vese算法迭代收敛到更好的位置，得到边缘光滑的区域，最后用得到的区域经过细化操作获得骨架线。

Images