CN112528823A - 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 - Google Patents

Abstract

本发明提供一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统，该方法包括采集鱼体视频，抽取鱼体的运动子图序列；基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；将关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。本发明利用视频分析技术，监测鱼体动作变化，为进一步实现自动化水产养殖，监测鱼体异常行为，实现早期预警，避免大规模病死提供了有效途径。

Description

一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析 方法及系统

技术领域

本发明涉及机器视觉技术领域，具体而言，尤其涉及一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统。

背景技术

条纹斑鲨是一种小型的海生软骨鱼，体内蛋白质含量丰富，可供食用，营养价值高；在药理研究中，作为药材又具有极高的药用价值；鲨鱼还是一种公认的不会患癌症的动物，常用作抗癌药物的研究，医用价值高；而且，相较于其他鱼类，条斑鲨对人类没有攻击性，可进行人工驯养和观赏。人工驯养斑鲨鱼，不仅具有较高的经济价值，而且，在鱼类行为研究领域、医学研究领域、仿生学领域，都有着不可替代的作用，具有广阔的研究前景与指导意义。但是，人工驯养斑鲨鱼对环境要求较高，极易造成斑鲨鱼规模性死亡的情况。应用机器视觉，对视频中的鱼进行运动行为分析，自动识别行为并判断是否出现异常，对异常行为进行诊断，作出早期的预警和养护，具有较高的应用前景和现实意义。

发明内容

根据上述提出的技术问题，而提供一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统。本发明主要利用视频分析技术，监测鱼体动作变化，为进一步实现自动化水产养殖，监测鱼体异常行为，实现早期预警，避免大规模病死提供了有效途径。

本发明采用的技术手段如下：

一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，包括：

采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

进一步地，所述采集鱼体视频，抽取鱼体视频中运动鱼体的子图序列，包括：

基于视频数据采集设备，自上而下的采集鱼体视频；

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪，抽取出鱼体的运动子序列图。

进一步地，所述基于关键帧算法，对一个时段运动鱼体的子图序列进行检测，得到运动鱼体的关键帧子图序列，包括：

设置阈值K的帧数，在每K帧内利用关键帧算法对运动子图序列进行逐一检测；

计算熵值，熵的计算公式为：

其中，

表示灰度值为i的单帧像素所占比；

表示帧f_i的概率密度函数，通过对帧f_i灰度级像素强度直方图进行归一化得到；

提取局部极值点，即熵值间进行比较，提取出其中的极大值点和极小值点；熵值间的比较公式为：

利用密度聚类算法，对提取的局部极值点进行聚类，计算每个极值的局部密度和各密度间的距离；其中，局部密度计算为：

上式中，

d_c为截至距离；

各密度间的距离计算公式为：

比较局部密度间的距离和密度值大小，选择局部密度值高以及密度间距离大的点作为聚类中心，利用聚类中心对应的帧号提取出关键帧序列。

进一步地，所述将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列，包括：

训练模型：基于全卷积网络FCN的语义分割模型，将标记鱼的数据集，输入到网络中，通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割，经过训练，使模型识别出鱼体部件类别和所在区域；

分割处理：将关键帧子图序列输入到训练后的网络中进行分割，将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。

进一步地，所述对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间，包括：

将图像二值化，计算各部件质心，并利用最大连通域和孔洞填充，确保求取的数值准确性；

利用各部件质心建立随体坐标系，以躯干和头部质心点连线作为Y轴，过躯干质心点且垂直于Y轴的方向为X轴，建立随体坐标系；以Y1轴为横轴，X1轴为纵轴，建立图像坐标系；

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角，体态朝向角度值的计算公式为：

上式中，A为头部质心；B为躯干质心；

为躯干和头部质心连线的向量；

为图像坐标系X方向的单位向量。

进一步地，所述分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签，包括：

以序列的第一帧体态朝向角度值为参照值，设为F；设置阈值G；

将序列每一帧的角度都与第一帧进行比较：

当经过f帧时，体态朝向角度值都没有大于(F+G)或小于(F-G)，则判定为正在直行，出现大于(F+G)或小于(F-G)的帧，判定直行结束；在第一帧上添加开始直行动作标签，在结束帧上添加结束直行的动作标签；

当经过第f帧时，体态朝向角度值大于(F+G)，判定子序列正在左转，达到峰值处完成转向，在第一帧上添加开始左转的动作标签，在峰值帧处添加结束左转的动作标签；

当经过第f帧时，体态朝向角度小于(F-G)，判定为正在右转，达到峰值处完成转向，在第一帧添加开始右转的动作标签，在峰值帧处添加结束右转的动作标签；

以每一种运动行为子序列的结束帧体态朝向角度值为参照值设为F₁，按照上述方法继续进行判断并添加语义标签。

本发明还提供了一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统，包括：视频数据采集处理模块、关键帧检测与提取模块、语义分割技术模块、随体坐标建立模块、运动方向识别模块；

所述视频数据采集处理模块，用于采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

所述关键帧检测与提取模块，用于基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

所述语义分割技术模块，用于将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

所述随体坐标建立模块，用于对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

所述运动方向识别模块，用于分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

进一步地，所述视频数据采集处理模块包括养殖设备和视频数据采集设备；

所述养殖设备为养殖池；

所述视频数据采集设备包括工业相机、支架以及计算机，相机安装在支架上，使相机垂直位于养殖池上方50cm处，实现自上而下的全景录制；计算机用于控制相机的拍摄、录制、存储、光照控制、实现子图序列抽取。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，可以记录、摘要、储存和回放鱼体的运动序列图像，分析并评估鱼体的行为变化，实现视频数据的可追溯、可回查，克服了传统的动物行为识别分析通过人眼观察记录的局限性。

2、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其关键帧提取技术，对视频序列进行检测，定量抽取，降低冗余度，节省存储空间；提取关键的动作变化帧，突出动作的改变，减少定量分析的时间，提高效率。

3、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，利用语义分割网络分割鱼体，使不同部位被标记，在序列运动变化的观测上更具直观性；对比其他方法，应用语义分割网络，提高了分割的准确度，减少因图像处理产生的误差。

4、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，利用分割后得到的部件质心建立鱼体的随体坐标系，主要作为分析鱼体动作变化的依据；坐标系下体态朝向角度为识别鱼体的异常行为变化奠定基础。

5、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，给动作变化帧添加语义标签，可以通过视频对鱼的运动行为进行监测，分析鱼的动作变化，代替以人眼观察和记录，对异常行为作出判断。

6、本发明提供的基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统，其视频数据采集设备属于非倾入式的，可以实现自上而下的对养殖池进行全景拍摄。

基于上述理由本发明可在机器视觉等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程示意图。

图2为本发明系统结构框图。

图3为本发明系统视频采集模块示意图。

图4为本发明序列流程示意图，包含原始视频、运动子序列、语义信息序列、随体坐标序列、各部位质心。

图5为本发明关键帧提取示意图。

图6为本发明体态朝向角度曲线图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，包括：

S1、采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

具体实施时，作为本发明优选的实施方式，所述采集鱼体视频，抽取鱼体视频中运动鱼体的子图序列，包括：

基于视频数据采集设备，自上而下的采集鱼体视频；

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪，抽取出鱼体的运动子序列图。

S2、基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

具体实施时，作为本发明优选的实施方式，所述基于关键帧算法，对一个时段运动鱼体的子图序列进行检测，得到运动鱼体的关键帧子图序列，包括：

设置阈值K的帧数，本实施例中，K＝50帧，在每50帧内利用关键帧算法对运动子图序列进行逐一检测；

计算熵值，熵的计算公式为：

其中，

表示灰度值为i的单帧像素所占比；

表示帧f_i的概率密度函数，通过对帧f_i灰度级像素强度直方图进行归一化得到；图像熵是一种特征统计量，表示图像中灰度分布的聚集所包含的信息量，动作变化大灰度越复杂熵值越大，计算包含语义信息序列的每一帧熵值，并将其映射到二维空间。

提取局部极值点，即熵值间进行比较，提取出其中的极大值点和极小值点；熵值间的比较公式为：

利用密度聚类算法，对提取的局部极值点进行聚类，计算每个极值的局部密度和各密度间的距离；其中，局部密度计算为：

上式中，

d_c为截至距离；

各密度间的距离计算公式为：

比较局部密度间的距离和密度值大小，选择局部密度值高以及密度间距离大的点作为聚类中心，利用聚类中心对应的帧号提取出关键帧序列。除去相似度高的帧，减少冗余，放大帧间的动作变化程度，提高效率。

S3、将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

具体实施时，作为本发明优选的实施方式，所述将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列，包括：

训练模型：基于全卷积网络FCN的语义分割模型，将标记鱼的数据集，输入到网络中，通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割，经过训练，使模型识别出鱼体部件类别和所在区域；

分割处理：将关键帧子图序列输入到训练后的网络中进行分割，将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。

S4、对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

具体实施时，作为本发明优选的实施方式，所述对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间，包括：

将图像二值化，计算各部件质心，并利用最大连通域和孔洞填充，确保求取的数值准确性；

利用各部件质心建立随体坐标系，以躯干和头部质心点连线作为Y轴，过躯干质心点且垂直于Y轴的方向为X轴，建立随体坐标系；以Y1轴为横轴，X1轴为纵轴，建立图像坐标系；

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角，体态朝向角度值的计算公式为：

上式中，A为头部质心；B为躯干质心；

为躯干和头部质心连线的向量；

为图像坐标系X方向的单位向量。

S5、分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

具体实施时，作为本发明优选的实施方式，所述分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签，包括：

以序列的第一帧体态朝向角度值为参照值，设为F；设置阈值G；

将序列每一帧的角度都与第一帧进行比较：

当经过f帧时，体态朝向角度值都没有大于(F+G)或小于(F-G)，则判定为正在直行，出现大于(F+G)或小于(F-G)的帧，判定直行结束；在第一帧上添加开始直行动作标签，在结束帧上添加结束直行的动作标签；

当经过第f帧时，体态朝向角度值大于(F+G)，判定子序列正在左转，达到峰值处完成转向，在第一帧上添加开始左转的动作标签，在峰值帧处添加结束左转的动作标签；

当经过第f帧时，体态朝向角度小于(F-G)，判定为正在右转，达到峰值处完成转向，在第一帧添加开始右转的动作标签，在峰值帧处添加结束右转的动作标签；

以每一种运动行为子序列的结束帧体态朝向角度值为参照值设为F₁，按照上述方法继续进行判断并添加语义标签。

本发明实施例提供了一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统，包括：视频数据采集处理模块、关键帧检测与提取模块、语义分割技术模块、随体坐标建立模块、运动方向识别模块；

所述视频数据采集处理模块，用于采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

所述关键帧检测与提取模块，用于基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

所述语义分割技术模块，用于将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

所述随体坐标建立模块，用于对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

所述运动方向识别模块，用于分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

具体实施时，作为本发明优选的实施方式，所述视频数据采集处理模块包括养殖设备和视频数据采集设备；

所述养殖设备为养殖池；

所述视频数据采集设备包括工业相机、支架以及计算机，相机安装在支架上，使相机垂直位于养殖池上方50cm处，实现自上而下的全景录制；计算机用于控制相机的拍摄、录制、存储、光照控制、实现子图序列抽取。

下面通过具体实施例对发明的技术方案做进一步说明。

如图2所示，一种关键帧检测和语义部件分割下的斑鲨运动行为分析系统，包括：视频数据采集模块、关键帧检测和提取模块、语义分割技术模块、随体坐标建立模块、运动方向识别模块。

作为本发明的进一步地优选实施方案，如图3所示，所述视频数据采集模块包括养殖设备和视频数据采集设备，其中养殖设备为养殖池，池内溶解氧保持在6mg/L左右,水温保持在16～22℃，光照光源为普通光照，可调节亮度。视频数据采集设备包括一台工业相机、支架以及控制台的计算机。将相机安装在搭建好的的支架上，使相机垂直位于养殖池上方50cm处，实现自上而下的全景录制。计算机设备主要控制相机的拍摄、录制、存储、光照控制。

作为本发明的进一步地优选实施方案，采用基于混合高斯模型的目标跟踪算法，对图像中的每一个点建立K个高斯模型，按照权值和标准差的比值将像素点的高斯分布由大到小排序，将当前帧的像素值和高斯分布匹配，判断前景点和背景点，建立目标的背景提取模型。如图4所示，应用模型在原视频的鱼群进行检测，对单个运动目标实施跟踪，提取出运动鱼的序列共计500张图片。

作为本发明的进一步地实施方案，如图5所示，对提取的500张子图序列进行关键帧的检测，以阈值K＝50为间隔，计算每帧的熵值，逐个比较熵值间的大小取出局部极值点，计算每个极值点的局部密度和各密度间的距离，比较局部密度间的距离和局部密度值的大小，找出聚类中心。如图5所示，第一个50帧内，选取的聚类中心对应的帧号为(5、12、28、36、48)，将这5帧提取为关键帧。对每个阈值内的所有帧进行计算，共提取50张关键帧子图序列，除去相似度高的帧，减少冗余，提高效率。

作为本发明的进一步地实施方案，对鱼的数据集进行标记，输入到全卷积网络FCN语义分割网络中，通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割，经过数据集的训练，使模型能够识别出鱼体部件类别和所在区域。如图4所示，将关键帧的子图序列输入到网络中进行分割，将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。

作为本发明的进一步地实施方案，如图4所示，将含有语义信息的运动子图做二值化处理，利用孔洞填充和最大连通域处理二值化图像，计算各部件的质心。以躯干和头部质心点连线作为Y轴，过躯干质心点且垂直于Y轴的方向为X轴，建立随体坐标系。以随体坐标系Y轴和图像坐标系X1轴，利用公式

计算体态朝向角度值，并将其映射到二维空间。

作为本发明的进一步地实施方案，以体态朝向角度作为判定条件对运动进行分析。如图6所示，以序列的第一帧体态朝向角度值F＝170度为参照值，并设置阈值为G＝30度，此后帧的体态朝向角度与第一帧进行比较，经过3帧体态朝向角度没有大于200度和小于140度的帧出现，则判定为正在直行，直到第9帧时角度值小于140度，判定为直行结束，在第一帧和第9帧上分别添加开始直行和结束直行的动作标签；以第9帧的体态朝向角度F1＝120度为参考值，在经过3帧到达12帧时体态朝向角度小于90度，则判定为正在右转，在第17帧达到峰值，判定结束右转，分别在第9帧和第12帧上添加开始右转和结束右转的动作标签。再以第12帧的体态朝向角度F2＝0度为参考值，在经过3帧后，没有出现大于30度和小于330度的帧，则判定为一直保持直行，并在第12帧上添加开始直行的动作标签。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，包括：

采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

2.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述采集鱼体视频，抽取鱼体视频中运动鱼体的子图序列，包括：

基于视频数据采集设备，自上而下的采集鱼体视频；

基于混合高斯模型的目标跟踪算法对运动的目标鱼进行跟踪，抽取出鱼体的运动子序列图。

3.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述基于关键帧算法，对一个时段运动鱼体的子图序列进行检测，得到运动鱼体的关键帧子图序列，包括：

设置阈值K的帧数，在每K帧内利用关键帧算法对运动子图序列进行逐一检测；

计算熵值，熵的计算公式为：

其中，

表示灰度值为i的单帧像素所占比；

表示帧f_i的概率密度函数，通过对帧f_i灰度级像素强度直方图进行归一化得到；

提取局部极值点，即熵值间进行比较，提取出其中的极大值点和极小值点；熵值间的比较公式为：

利用密度聚类算法，对提取的局部极值点进行聚类，计算每个极值的局部密度和各密度间的距离；其中，局部密度计算为：

上式中，

d_c为截至距离；

各密度间的距离计算公式为：

比较局部密度间的距离和密度值大小，选择局部密度值高以及密度间距离大的点作为聚类中心，利用聚类中心对应的帧号提取出关键帧序列。

4.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列，包括：

训练模型：基于全卷积网络FCN的语义分割模型，将标记鱼的数据集，输入到网络中，通过全卷积、池化、上采样、跳跃结构将鱼体的各部位进行分割，经过训练，使模型识别出鱼体部件类别和所在区域；

分割处理：将关键帧子图序列输入到训练后的网络中进行分割，将鱼体的头部、躯干、左右胸鳍、左右尾鳍、尾部标记。

5.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间，包括：

将图像二值化，计算各部件质心，并利用最大连通域和孔洞填充，确保求取的数值准确性；

利用各部件质心建立随体坐标系，以躯干和头部质心点连线作为Y轴，过躯干质心点且垂直于Y轴的方向为X轴，建立随体坐标系；以Y1轴为横轴，X1轴为纵轴，建立图像坐标系；

体态朝向角度为随体坐标系Y轴与图像坐标系X1轴的夹角，体态朝向角度值的计算公式为：

上式中，A为头部质心；B为躯干质心；

为躯干和头部质心连线的向量；

为图像坐标系X方向的单位向量。

6.根据权利要求1所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法，其特征在于，所述分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签，包括：

以序列的第一帧体态朝向角度值为参照值，设为F；设置阈值G；

将序列每一帧的角度都与第一帧进行比较：

当经过f帧时，体态朝向角度值都没有大于(F+G)或小于(F-G)，则判定为正在直行，出现大于(F+G)或小于(F-G)的帧，判定直行结束；在第一帧上添加开始直行动作标签，在结束帧上添加结束直行的动作标签；

当经过第f帧时，体态朝向角度值大于(F+G)，判定子序列正在左转，达到峰值处完成转向，在第一帧上添加开始左转的动作标签，在峰值帧处添加结束左转的动作标签；

当经过第f帧时，体态朝向角度小于(F-G)，判定为正在右转，达到峰值处完成转向，在第一帧添加开始右转的动作标签，在峰值帧处添加结束右转的动作标签；

以每一种运动行为子序列的结束帧体态朝向角度值为参照值设为F₁，按照上述方法继续进行判断并添加语义标签。

7.一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统，其特征在于，包括：视频数据采集处理模块、关键帧检测与提取模块、语义分割技术模块、随体坐标建立模块、运动方向识别模块；

所述视频数据采集处理模块，用于采集鱼体视频，抽取鱼体视频中鱼体的运动子图序列；

所述关键帧检测与提取模块，用于基于关键帧算法，对一个时段鱼体的运动子图序列进行检测，得到运动鱼体的关键帧子图序列；

所述语义分割技术模块，用于将得到的关键帧子图序列输入到语义分割网络模型中，在模型中对鱼体部件做分割处理，输出具有语义信息的子图序列；

所述随体坐标建立模块，用于对输出的具有语义信息的子图序列进行处理，得到鱼的体态朝向角度值，并映射到二维空间；

所述运动方向识别模块，用于分析体态朝向角度作为判据，判定鱼的运动方向，给变化的动作帧添加语义动作标签。

8.根据权利要求7所述的基于关键帧检测和语义部件分割的条斑鲨运动行为分析系统，其特征在于，所述视频数据采集处理模块包括养殖设备和视频数据采集设备；

所述养殖设备为养殖池；

所述视频数据采集设备包括工业相机、支架以及计算机，相机安装在支架上，使相机垂直位于养殖池上方50cm处，实现自上而下的全景录制；计算机用于控制相机的拍摄、录制、存储、光照控制、实现子图序列抽取。

Images