CN107038712B - 一种基于运动图像序列的啄木鸟关节点定位方法 - Google Patents

Abstract

本发明提供了一种基于运动图像序列的啄木鸟关节点定位方法，包括以下步骤：首先在啄木鸟关节点近似位置做标记点，采集啄木鸟啄击行为的视频图像序列；对各有效帧图像进行预处理，得到各标记关节点的位置坐标；利用优化算法，对关节点位置进行优化，设与标记关节点编号对应的假设关节点，相邻编号的两个假设关节点的间距等于所有有效帧中相邻编号的两个标记关节点的间距的平均值，建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解；根据所有有效帧的最优关节点的位置坐标，获取运动数据。本发明能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。

Description

一种基于运动图像序列的啄木鸟关节点定位方法

技术领域

本发明涉及啄木鸟关节点定位领域，特别是涉及一种基于运动图像序列的啄木鸟关节点定位方法。

背景技术

啄木鸟是一种常见的鸟类，它靠又尖又硬的喙啄开树皮并凿出树洞进行捕食或筑巢。有研究表明，啄木鸟体积虽小，但啄击最大加速度可达2000g以上，而且又能快速传递啄击所产生的非常大的冲击力，进行连续精确啄击。因此，对啄木鸟的啄木行为的研究对医学、电子学、材料学、力学和机械学科有着重要的理论研究和工程应用价值。

早期的对啄木鸟的研究主要集中在对啄木鸟头部抗冲击机制的研究，但在研究中逐步发现，啄木鸟的抗冲击机制和高频高速啄击动作的产生机制需依赖于对啄木鸟整体的运动学和动力学研究。现有的对啄木鸟整体的研究主要包括啄木鸟全身结构的应力波传播和能量流动的研究和啄木鸟啄击动作运动学和动力学研究，但由于缺乏对啄木鸟生物本源的研究，导致理论模型与实际生物结构差别较大，进而影响研究结果的准确性与应用性。所以，仍需基于啄木鸟的整体结构和运动特性对啄木鸟的运动学和动力学进行深入研究。

随着计算机技术的发展，图像处理技术逐步应用到了动物与人体的运动捕获中。图像处理方法不受动物或人体动作部位大小的限制，通过对特征点的捕获，实现对动作数据的测定，包括位置、速度、加速度、运动轨迹等。因为动物或人体的运动姿态主要由骨骼和关节构成，所以在动物或人体的运动捕捉技术的研究中，通常需要先捕获运动对象的主要关节点，目前主要采用人工标记法和无标记法。人工标记法是指人工对动物或人体的关节点进行特殊标记，在图像处理中便于识别，但此方法要求关节点标记尽可能精确，否则会导致结果不准确；无标记法指的是利用图像处理的方法进行关节点识别，此方法需精确提取运动对象的轮廓，相比人工标记法图像处理过程非常复杂，并且对研究对象有一定的局限性。

啄木鸟体积小、身体羽毛图案复杂，在啄木动作中运动行程小、身体和尾部动作较小，很难利用无标记点法在啄木动作图像序列中精确识别啄木鸟的关节点，并且误差很大。所以采用人工标记法，但是由于啄木鸟体积小、结构简单，其关节点基本均由羽毛和肌肉包覆很难找到关节点所在，并且在啄木鸟运动过程中羽毛和肌肉运动幅度较大，影响标记关节点的正确性。所以，现有的关节点定位方法达不到对啄木鸟啄击运动研究的要求。

发明内容

本发明的主要目的在于提供一种基于运动图像序列的啄木鸟关节点定位方法，能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。

为了实现上述目的，本发明所采用的技术方案是：

一种基于运动图像序列的啄木鸟关节点定位方法，包括如下步骤：

步骤1：在啄木鸟关节点近似位置设置标记关节点；

步骤2：采集并筛选啄木鸟啄击动作的图像序列；

步骤3：对各帧图像进行预处理，得到标记关节点的位置坐标；

步骤4：建立假设关节点，并对假设关节点进行位置优化，得到最优关节点位置坐标。

述标记关节点为用不同颜色的圆形标记点对活体啄木鸟的喙、颈、胸、臀、尾部位进行标记。

所述对各帧图像进行预处理包括以下过程：

步骤1：根据各帧图像中标记关节点颜色的灰度值筛选出标记关节点，并将图像中除标记关节点以外的部分设置为黑色背景；

步骤2：设置喙、颈、胸、臀、尾部位标记点的灰度值范围，将图像中标记关节点的灰度值与喙、颈、胸、臀、尾部位标记点的灰度值范围进行匹配，并按照喙、颈、胸、臀、尾的顺序将标记关节点进行编号；

步骤3：对图像中的标记关节点进行腐蚀处理，得到标记关节点对应的单像素点；

步骤4：以图像左上角为原点，水平上边界为X轴，竖直左边界为Y轴建立图像的直角坐标系，得到单像素点的位置坐标，作为标记关节点的位置坐标。

建立假设关节点的过程为：

求所有帧图像上相邻编号的标记关节点间距的平均值，并将该平均值作为近似骨骼长度；

与标记关节点对应设置假设关节点，使相邻编号的假设关节点间距等于对应的近似骨骼长度。

所述对假设关节点进行位置优化过程为：

步骤1：建立同编号假设关节点和标记关节点位置间的距离求和函数，作为优化目标函数；

步骤2：当优化目标函数取最小值时，得到的假设关节点位置坐标为最优关节点位置坐标。

所述优化目标函数为：

其中，X_i为优化变量，X_i＝(x_i1,y_i1,x_i2,y_i2,x_i3,y_i3,x_i4,y_i4,x_i5,y_i5)；x_ij,y_ij分别为标记关节点的位置的横坐标和纵坐标，i为有效帧的编号，i＝1,2,3,···,n；j为标记关节点编号，j＝1,2,3,4,5；a_ij,b_ij分别为假设关节点的位置的横坐标和纵坐标。

本发明的有益效果及优点：

本发明能够在啄木鸟啄击动作的图像序列中较为精确地定位啄木鸟的关节点，同时该方法具有运算简单、精度较高和易推广等特点。

附图说明

图1是本发明的方法流程图；

图2是本发明啄木鸟的标记关节点位置示意图；其中1为喙、2为颈、3为胸、4为臀、5为尾；

图3是本发明假设关节点与标记关节点对应示意图。

具体实施方式

下面结合实施例及其附图进一步叙述本发明：

包括以下步骤：首先在啄木鸟关节点近似位置做标记点，采集啄木鸟啄击行为的视频图像序列；对各有效帧图像进行预处理，得到各标记关节点的位置坐标；利用优化算法，对关节点位置进行优化，设与标记关节点编号对应的假设关节点，建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解。将所有有效帧的最优关节点的位置坐标表示在同一坐标系中，获取运动数据。

首先在啄木鸟身体上标记近似关节点，并进行运动数据采集。经过对啄木鸟的观察和对骨骼结构的研究，初步确定啄木鸟啄取动作中的五个关键关节点，分别为：喙、颈、胸、臀、尾。分别用不同颜色的圆形标记点对活体啄木鸟的上述五个关键关节点进行标记，为了便于在图像处理中识别标记点，五种颜色应尽量避开啄木鸟羽毛颜色和背景颜色，所以五个标记点对应的颜色依次是：绿色、黄色、蓝色、紫色、橙色。然后布置好高速摄像机录制啄木鸟啄木的视频，录制好后筛选出包含一次完整啄击动作有效帧，以此作为研究样本。

然后对有效帧的图像进行预处理，并建立坐标系获得标记关节点坐标。在数字图像的处理中，是将图像用一个数组或矩阵表示，每一个元素即为对应像素点的灰度值。在本发明中，利用图片中颜色的灰度值，筛选出五个标记关节点，其余均为黑色背景。然后根据颜色不同进行编号。由于标记点较大，且在运动过程中形状发生改变不是圆形，所以对图像进行腐蚀处理，使标记关节点尽可能缩小至单像素。最后以图像左下角为原点建立坐标系，得到各标记关节点的位置坐标。

最后设置与标记关节点对应的假设标记点，通过优化算法对关节点位置进行优化。因为人工标记的关节点存在误差，导致两相邻关节点的间距在运动图像中发生改变，然而在实际中两关节间应为骨骼，在运动过程中骨骼的长度是不发生变化的，所以通过计算机计算所有有效帧中相邻编号标记关节点的间距的平均值，作为近似骨骼长度。在图像范围内假设与标记关节点一一对应的假设关节点位置坐标，用上述的近似骨骼长度约束相邻编号假设关节点的间距，建立同编号假设关节点和标记关节点间距求和函数作为优化目标函数，最终求取假设关节点位置坐标的最优解，定义其为最优关节点。

如图1是本发明的方法流程图。

一种基于运动图像序列的啄木鸟关节点定位方法包括如下步骤：

S1：在啄木鸟关节点近似位置做标记点：

如图2所示为啄木鸟的标记关节点位置示意图，在啄木鸟啄取动作的主要关节处做近似标记点，标记点均为直径6mm的圆形标记点，因为大斑啄木鸟羽毛颜色主要是黑、白、红，所以用绿色标记点标记喙，黄色标记点标记颈，蓝色标记点标记胸，紫色标记点标记臀，橙色标记点标记尾。标记点标记好后使用高速摄像机对啄木鸟啄木行为进行录制，录制后对视频进行剪辑，保留啄木鸟完整一次啄击动作的视频片段，并进行解帧处理，将有效帧由1至n重新按顺序编号，n为有效帧总数。

S2：对各有效帧图像进行预处理，得到各标记关节点的位置坐标。

因为各关节点颜色与背景不同，所以可依据标记点的灰度值进行筛选，仅保留五个标志点的灰度值不变，其余均变为黑色。然后根据五个标志点的灰度值，判断关节点颜色，对其进行编号：绿色为1，黄色为2，蓝色为3，紫色为4，橙色为5。对图像进行腐蚀处理，将标记关节点缩小为单像素点。以图像左上角为坐标原点建立坐标系，得到各记关节点的位置坐标，记为A_ij(a_ij,b_ij)，其中i为有效帧的编号，i＝1,2,3,···,n；j为标记关节点编号，j＝1,2,3,4,5。

S3：利用优化算法，对关节点位置进行优化。

设两个相邻编号标志关节点间距为l_ij＝[(a_ij+1-a_ij)²+(b_ij+1-b_ij)²]^0.5，进而得到在有效帧中两个相邻编号的标志关节点平均间距

所以求得关节1和关节2的间距为l₁，关节2和关节3间距为l₂，关节3和关节4间距为l₃，关节4和关节5间距为l₄。

S4：设与标记关节点编号对应的假设关节点。

如图3所示为本发明假设关节点与标记关节点对应示意图；

设与标记关节点编号对应的假设关节点位置坐标为B_ij(x_ij,y_ij),约束同一帧中两个相邻编号的假设关节点间距为标志关节点平均间距，即L_ij＝[(x_ij+1-x_ij)²+(y_ij+1-y_ij)²]^0.5＝l_j。

S5：建立同一帧中同编号假设关节点和标记关节点的间距求和函数作为优化目标函数，并进行最优化求解。

建立优化目标函数为

X_i＝(x_i1,y_i1,x_i2,y_i2,x_i3,y_i3,x_i4,y_i4,x_i5,y_i5)，求MinD(X_i)。等价于求解

最终求得每一张有效帧上的最优关节点的位置坐标。

S6：根据所有帧中的最优关节点的位置坐标，采集运动数据。

因为所有有效帧的坐标系原点和方向相同，所以将各帧最优关节点的位置坐标在同一坐标系中表示。可以得到啄木鸟啄击时整体的运动状态和各个关节的运动数据。可将最优关节点按编号进行分类筛选，拟合关节点的运动曲线，并且根据各个关节的运动数据可对关节点的位移、速度、加速度进行计算。

以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为本发明专利范围的限制。上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出若干变形和改进，这些均属于本发明的保护范围内。

Claims (2)

1.一种基于运动图像序列的啄木鸟关节点定位方法，其特征在于，包括如下步骤：

步骤1：在啄木鸟关节点近似位置设置标记关节点；

步骤2：采集并筛选啄木鸟啄击动作的图像序列；

步骤3：对各帧图像进行预处理，得到标记关节点的位置坐标；

步骤4：建立假设关节点，并对假设关节点进行位置优化，得到最优关节点位置坐标；

所述建立假设关节点的过程为：

求所有帧图像上相邻编号的标记关节点间距的平均值，并将该平均值作为近似骨骼长度；

与标记关节点对应设置假设关节点，使相邻编号的假设关节点间距等于对应的近似骨骼长度；

所述对假设关节点进行位置优化过程为：

步骤1：建立同编号假设关节点和标记关节点位置间的距离求和函数，作为优化目标函数；

步骤2：当优化目标函数取最小值时，得到的假设关节点位置坐标为最优关节点位置坐标；

标记关节点为用不同颜色的圆形标记点对活体啄木鸟的喙、颈、胸、臀、尾部位进行标记；对各帧图像进行预处理包括以下过程：

步骤1：根据各帧图像中标记关节点颜色的灰度值筛选出标记关节点，并将图像中除标记关节点以外的部分设置为黑色背景；

步骤2：设置喙、颈、胸、臀、尾部位标记点的灰度值范围，将图像中标记关节点的灰度值与喙、颈、胸、臀、尾部位标记点的灰度值范围进行匹配，并按照喙、颈、胸、臀、尾的顺序将标记关节点进行编号；

步骤3：对图像中的标记关节点进行腐蚀处理，得到标记关节点对应的单像素点；

步骤4：以图像左上角为原点，水平上边界为X轴，竖直左边界为Y轴建立图像的直角坐标系，得到单像素点的位置坐标，作为标记关节点的位置坐标。

2.根据权利要求1所述的基于运动图像序列的啄木鸟关节点定位方法，其特征在于，所述优化目标函数为：

其中，X_i为优化变量，X_i＝(x_i1,y_i1,x_i2,y_i2,x_i3,y_i3,x_i4,y_i4,x_i5,y_i5)；x_ij,y_ij分别为标记关节点的位置的横坐标和纵坐标，i为有效帧的编号，i＝1,2,3,…,n；j为标记关节点编号，j＝1,2,3,4,5；a_ij,b_ij分别为假设关节点的位置的横坐标和纵坐标。

Images