CN113326850A - 一种基于实例分割的日本蟳群体行为视频分析方法 - Google Patents

Abstract

本申请涉及日本蟳群体行为视频分析技术，公开了一种基于实例分割的日本蟳群体行为视频分析方法，包括：步骤一、生物暂养与视频采集；步骤二、实例分割数据集建立；步骤三、日本蟳整体分割和头胸甲分割模型的建立；步骤四、日本蟳整体分割、头胸甲分割及ID号判断；步骤五、日本蟳运动能力和接触度评估。本发明方法可有效解决因日本蟳个体接触而带来ID难以预测的问题，为包括日本蟳在内的类似蟹类群体行为研究提供视频分析方法，且准确率满足行为学研究的需要，具有非常大的实用价值和产业应用价值。

Description

一种基于实例分割的日本蟳群体行为视频分析方法

技术领域

本申请涉及日本蟳群体行为视频分析技术，具体涉及一种基于实例分割的日本蟳群体行为视频分析方法。

背景技术

海洋生物群体行为特征量化，是海洋生态监测、水产养殖以及海洋牧场建设等多个行业的重要需求，同时也是全球变化影响下海洋生物生理生态响应和适应研究的重要领域。目前实验室内常用的生物群体行为研究方法仍以视频分析法为主，包括视频采集、个体识别、个体位置等信息提取、群体行为指标计算等步骤。海洋生物群体行为涉及的指标包括个体的总位移、速度、加速度等运动行为指标，以及物种特异的个体间接触频率、争斗等社会关系行为指标。

采用视频技术进行单个体海洋生物行为的研究，可以采用背景差分法、阈值分割法等直接提取目标生物个体连通域，进而跟踪其运动轨迹等行为特征。而对于群体行为研究，要回答海洋生物行为中与“社会性”、“集群性”有关的问题，则需要能够正确识别视频中各个体的ID编号及其位置坐标，以解答生物个体间的相互关系。在海洋生物群体行为研究中，出现个体之间互相交叉、接触等现象较为普遍，给生物个体ID编号的准确判断带来很大困难，位置和轨迹跟踪的准确率也难以提高。因此，生物个体编号的准确识别是群体运动行为分析方法建立的关键，即当两个或多个体在出现交叉前、交叉期间及交叉分离后的各阶段，都能准确识别不同个体的ID编号和位置，使得ID编号和位置识别不应过多受到交叉和重叠现象的影响。比如在鱼类行为学研究中，IDTracker是较为新颖的群体行为研究方法，采用深度卷积神经网络建立分类模型进行ID预测，通多阈值分割提取连通域，对独立个体进行ID预测，但该方法对出现交叉的连通域则不进一步分割和分析。

日本蟳，俗称赤甲红，喜好栖息于岩礁区域，是我国北方近海人工鱼礁区蟹类优势种，目前尚缺少群体行为研究的有效方法。日本蟳等蟹类与鱼类群体行为模式存在差异，鱼类个体间交叉后很快会因彼此游动而分开，而日本蟳则可能出现相对较长时间的互相接触。这致使将鱼类群体行为研究思路应用于日本蟳研究中，则会损失大量的日本蟳个体互相接触时的行为信息，比如日本蟳群体中不同个体间生存空间的利用和竞争等。

此外，日本蟳形态与鱼类不同，在运动过程中日本蟳头胸甲的图像形态变化可以忽略，该特点可作为日本蟳ID识别的特征，从而提高ID识别准确率。针对日本蟳缺少群体行为视频分析方法这一问题，在利用日本蟳自身形态特点的基础上，本发明基于图像分割等计算机视觉技术建立了一种日本蟳群体行为的视频分析方法。

发明内容

针对目前尚未有适用于日本蟳群体行为观测的视频分析方法的现状，本发明的目的在于提供一种基于图像分割的日本蟳群体行为视频分析方法。

为实现以上目的，本发明采用如下技术方案：

一种基于实例分割的日本蟳群体行为视频分析方法，具体包括以下步骤：

步骤一、生物暂养与视频采集；

步骤二、实例分割数据集建立：

（21）选择图像进行截图保存；

（22）使用图像标注软件，对每张截图中的全部日本蟳个体的轮廓进行多边形标注，依次标记为ribenxun _{i [i=1, 2, ..., N]} ；该数据集记作D0；

（23）将数据集D0中多边形标注框的标签ribenxun _{i[i=1, 2, ..., N]}，全部修改为ribenxun，新产生的数据集记作日本蟳整体分割数据集D1；

（24）基于数据集D0，依次裁剪出各日本蟳个体图像，日本蟳多边形轮廓外的像素区域填充为黑色，获得日本蟳个体图片并按照其ID号分别存放；

（25）使用图像标注软件，对上述图片进行头胸甲轮廓的多边形标注，标注名称依然为该日本蟳ID号，即ribenxun _{i[i=1, 2, ..., N]}，此数据集记作头胸甲分割数据集D2；

步骤三、日本蟳整体分割和头胸甲分割模型的建立：

（31）使用数据集D1进行日本蟳整体实例分割模型的训练和验证；若模型训练结果能够接受，记为日本蟳整体分割模型M1；

（32）使用数据集D2进行头胸甲实例分割模型的训练和验证；若模型训练结果能够接受，记为头胸甲分割模型M2；

步骤四、日本蟳整体分割、头胸甲分割及ID号判断，依次读取待分析视频中的各帧图像，人为设定日本蟳最大移动像素距离Smax，每一帧图像处理的步骤如下：

（41）使用M1模型对当前帧图像进行日本蟳整体分割，分割出的图像记为RBX _{j[j=1,2,...N]}；

（42）利用M2模型依次对RBX _j 进行头胸甲分割，每个RBX _j 的分割预测结果记为TXJ _k[k=1,2…] ；

（43）根据所设定日本蟳最大移动像素距离Smax，进行TXJ _k 错误分割结果的筛除；（44）选择置信度最高的预测结果中的标签，作为当前RBX _j 所对应的日本蟳ID；

（45）对该帧中所有日本蟳RBX _j 进行ID分配后，若N个预测结果互不相同，则接受该帧预测，否则放弃该帧的预测结果并跳过对该帧的处理；

步骤五、日本蟳运动能力和接触度评估：

（51）根据保存的每帧预测结果，将各日本蟳头胸甲外接矩形框的中点连结则得到该编号日本蟳的运动轨迹；

（52）根据视频中每一帧所分割的日本蟳整体RBX _{j[j=1,2,...N]}，计算N个实例分割结果中矩形框的两两之间的交并比，作为两者间的接触度的定量指标。

进一步地，所述步骤一，具体包括：

（11）日本蟳群体行为视频采集前，在实验室环境内暂养不少于48小时；选择正常活动日本蟳个体于浅色水槽中进行群体行为研究，日本蟳数量记为N。

（12）采用俯视的方式对日本蟳群体行为进行视频拍摄，视频像素分辨率不小于720×480，帧率不小于7.5帧/秒。

进一步地，步骤（21）中，选择不少于50帧图像进行截图保存，所截图像应包含不同的日本蟳个体相对位置和姿态，并且所截取图像中出现日本蟳互相接触的图像数量不低于25张。

优选的，步骤（22）和（25）中使用的图像标注软件为Labelme或其他图像标注软件。

进一步地，步骤（31）中选择MaskRCNN或其他实例分割模型，使用该模型在COCO数据集上的预训练参数，采用迁移学习的方法，进行日本蟳整体实例分割模型的训练和验证，在置信度阈值为0.9和交并比（IOU）阈值为0.5的条件下进行模型评估，若bbox和mask的精确率、召回率和平均精准率均大于0.98，则认为该模型训练结果可以接受，记为日本蟳整体分割模型M1。

进一步地，步骤（31）中，若模型训练结果不能接受，则采用调整模型训练的Epoch数及学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型等方法，获得验证集的精确率、召回率和平均精准率满足条件的日本蟳整体分割模型。

进一步地，步骤（32）中选择MaskRCNN或其他实例分割模型，使用该模型在COCO数据集上的预训练参数，采用迁移学习的方法，进行头胸甲实例分割模型的训练和验证。在置信度阈值为0.9和交并比（IOU）阈值为0.5的条件下进行模型评估，若所有类别的bbox和mask精确率、召回率和平均精准率均大于0.98，则认为该模型训练结果可以接受，记为头胸甲分割模型M2。

进一步地，步骤（32）中，若模型的训练结果不能接受，则采用调整模型训练的Epoch数和学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型等方法，获得验证集的精确率、召回率和平均精准率满足条件的日本蟳头胸甲分割模型。

进一步地，步骤（41）中，以0.9为预测框的置信度阈值，使用M1模型对当前帧图像进行日本蟳整体分割；若得到预测框数量等于日本蟳个体数N，则利用分割预测结果裁剪出各日本蟳个体图像，并设其轮廓外的像素值为0，该分割出的图像记为RBX _{j[j=1,2,...N]}；若得到预测框数量不等于日本蟳个体数N，则放弃对该帧图像的处理，不继续执行接下来的步骤，而继续分析下一帧。

进一步地，步骤（43）中，筛除方法如下：根据TXJ _k[k=1,2…] 各标签对应的日本蟳ID，查找前一帧中相同ID的日本蟳个体在图像中位置，计算该位置与TXJ _k 当前位置的像素距离，若该距离大于Smax，则认为该预测不准确并舍弃；如果当前帧为第1帧，则不进行该步。

与现有技术相比，本发明具有以下有益效果及优点：

（1）本发明方法充分利用了日本蟳头胸甲在图像中的形变可忽略这一特点，有效解决了因日本蟳个体接触而带来ID难以预测的问题，为包括日本蟳在内的类似蟹类群体行为研究提供视频分析方法，且准确率满足行为学研究的需要，具有非常大的科研价值和产业应用价值；

（2）本发明方法可提取日本蟳个体的位置、日本蟳个体间接触程度等群体行为相关的数据，对于分析日本蟳群体运动行为、生境空间利用规律等提供方法。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为日本蟳群体行为分析流程；

图2为用于日本蟳整体分割模型训练的数据集D1中的示例图片；

图3（a）为ID号为ribenxun1的日本蟳多边形标注示例图片，图3（b）为ID号为ribenxun2的日本蟳多边形标注示例图片，图3（c）为ID号为ribenxun3的日本蟳多边形标注示例图片；

图4为日本蟳整体实例分割模型的训练过程中外接矩形框mmAP的变化；

图5为日本蟳头胸甲实例分割模型的训练过程中外接矩形框mmAP的变化；

图6（a）为日本蟳个体间无接触，图6（b）为日本蟳个体间有接触；

图7为视频前500帧3个日本蟳个体的移动轨迹；

图8为视频前500帧日本蟳两两之间的IOU分值。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例1

一种基于实例分割的日本蟳群体行为视频分析方法，流程如图1所示，具体包括以下步骤：

步骤一、视频采集：

（11）将野外采集的日本蟳于实验室内暂养48小时以上，选择正常活动日本蟳个体3只，于白色水槽中；

（12）使用映美精DFK72AUC02黑白单色工业相机，搭配4mm焦距镜头，以自上而下的方式对日本蟳群体的运动及接触行为进行视频拍摄，视频像素分辨率为720*480，帧率为7.5帧/秒；

步骤二、实例分割数据集建立：

（21）选择85帧图像进行截图保存，所截图像应包含不同的日本蟳个体相对位置和姿态，并且所截取图像中出现日本蟳互相接触的图像数量为69张；

（22）使用Labelme图像标注软件，对每张截图中的全部日本蟳个体的轮廓进行多边形标注，各截图中各日本蟳轮廓标注的名称对应于日本蟳ID，依次标记为ribenxun _{i[i=1, 2, 3]}；该数据集记作D0；

（23）将数据集D0中多边形标注框的标签ribenxun _{i[i=1, 2, 3]}，全部修改为ribenxun，新产生的数据集记作日本蟳整体分割数据集D1；该数据集用于日本蟳整体分割模型的训练和验证，由于该模型只进行日本蟳的检测和分割，并不进行日本蟳ID的分类，因此数据集D1中不需含有日本蟳ID信息；如附图2所示；

（24）基于数据集D0中的多边形标注计算各日本蟳个体的外接矩形，依次裁剪出各日本蟳个体图像，日本蟳多边形轮廓外的像素点统一填充为0，获得日本蟳个体图像按照其ID号分不同的文件夹存放；

（25）使用Labelme图像标注软件，对上述图片进行头胸甲轮廓的多边形标注，标注名称依然为该日本蟳ID号，即ribenxun _{i[i=1, 2, 3]}，此数据集记作头胸甲分割数据集D2；如图3（a）、图3（b）、图3（c）所示；

步骤三、日本蟳整体分割和头胸甲分割模型的建立：

（31）日本蟳整体实例分割模型的建立。按照0.7 : 0.2 : 0.1的比例，将数据集D1划分为训练集、验证集和测试集。使用该训练集和验证集，利用PaddleX深度学习模型开发工具，选择MaskRCNN实例分割模型，使用该模型在COCO数据集上的预训练参数，采用迁移学习的方法，进行日本蟳整体实例分割模型的训练和验证，在置信度阈值为0.9和交并比（IOU）阈值为0.5的条件下进行模型评估，在验证集中bbox和mask的精确率、召回率和平均精准率均为1.0000，该模型训练结果可以接受，记为日本蟳整体分割模型M1。M1模型训练过程中外接矩形框mmAP（IOU=0.50:0.95）指标的可视化如图4所示。

（32）头胸甲实例分割模型的建立。按照0.7 : 0.2 : 0.1的比例，将数据集D2划分为训练集、验证集和测试集。使用训练集和验证集，利用PaddleX深度学习模型开发工具，选择MaskRCNN实例分割模型，使用该模型在COCO数据集上的预训练参数，采用迁移学习的方法，进行头胸甲实例分割模型的训练和验证。在置信度阈值0.9和交并比（IOU）阈值0.5的条件下进行模型评估，在验证集3个类别ribenxun _{i[i=1, 2, 3]}上bbox和mask的精确率、召回率和平均精准率均为1.0000，该模型训练结果可以接受，记为头胸甲分割模型M2。M2模型训练过程中外接矩形框mmAP（IOU=0.50:0.95）指标的可视化如图5所示。

步骤四、日本蟳整体分割、头胸甲分割及ID号判断：

通过人工浏览视频，确定任一日本蟳个体在连续两帧间可能出现的最大像素位移的上限值，记作Smax，即任一日本蟳个体在某连续两帧间的像素位移都应该小于此Smax，该Smax在整个视频分析流程中只设置一次即可，用于对错误ID进行筛除；本实施例中通过人工浏览视频，确定任一日本蟳个体在连续两帧间可能出现的最大像素位移的上限值 Smax为200像素，即任一日本蟳个体在某连续两帧间的像素位移应该小于200像素。

依次读取待分析视频中的各帧图像，并使用M1和M2模型对日本蟳进行整体分割和头胸甲分割，若M1或M2的分割结果不满足相应的条件，则舍弃该帧的结果并跳过对该帧的处理。每一帧图像处理的步骤如下：

（41）以0.9为预测框的置信度阈值，使用M1模型对当前帧图像进行日本蟳整体分割。若得到预测框数量等于日本蟳个体数3，则利用分割预测结果裁剪出各日本蟳个体图像，并设其轮廓外的像素值为0，该分割出的图像记为RBX _j[j=1,2,3]。若得到预测框数量不等于日本蟳个体数3，则放弃对该帧图像的处理，不继续执行接下来的步骤，而继续分析下一帧。

（42）利用M2模型依次对RBX _j 进行头胸甲分割，每个RBX _j 的分割预测结果记为TXJ _k[k=1,2…] ，分割预测结果中标签和外接矩形框对应为日本蟳ID和头胸甲外接矩形框。计算头胸甲外接矩形框的中点，作为该预测日本蟳在当前帧的位置点，如图6（a）和图6（b）中日本蟳头胸甲上的白色实心点，不同的矩形框代表不同日本蟳个体占用的空间，矩形框间的交并比则代表个体间的接触程度；相应实心圆点和折线分别为日本蟳当前帧图像中的位置及历史运动轨迹；。

（43）根据人为设定日本蟳最大移动像素距离为200像素，进行TXJ _k 错误分割结果的筛除，如果当前帧为第1帧，则不进行该步。筛除方法如下：根据TXJ _k[k=1,2…] 各标签对应的日本蟳ID，查找前一帧中相同ID的日本蟳个体在图像中位置，计算该位置与TXJ _k 当前位置的像素距离，若该距离大于Smax，则认为该预测不准确并舍弃。

（44）选择置信度最高的预测结果中的标签，作为当前RBX _j 所对应的日本蟳ID。

（45）对该帧中所有日本蟳RBX _j 进行ID分配后，若3个预测结果互不相同，则接受该帧预测，否则放弃该帧的预测结果并跳过对该帧的处理。

步骤五、日本蟳运动能力和接触度评估：

（51）根据保存的每帧预测结果，将各日本蟳中点连结则得到该编号日本蟳的运动轨迹，从而可结合各帧所对应的录制时间计算其运动位移和速度等与运动行为相关的指标；轨迹路径如附图7所示。

（52）根据视频中每一帧所分割的日本蟳整体RBX _j[j=1,2,3],计算3个实例分割结果中矩形框的两两之间的交并比，作为两者间的接触度的定量指标；日本蟳两两之间的交并比如附图8所示。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于实例分割的日本蟳群体行为视频分析方法，其特征在于，包括以下步骤：

步骤一、生物暂养与视频采集；

步骤二、实例分割数据集建立：

（21）选择图像进行截图保存；

（22）使用图像标注软件，对每张截图中的全部日本蟳个体的轮廓进行多边形标注，依次标记为ribenxun _{i[i=1, 2, ..., N]}；该数据集记作D0；

（23）将数据集D0中多边形标注框的标签ribenxun _{i[i=1, 2, ..., N]}，全部修改为ribenxun，新产生的数据集记作日本蟳整体分割数据集D1；

（24）基于数据集D0，依次裁剪出各日本蟳个体图像，日本蟳轮廓外的像素点统一填充为0，获得日本蟳个体图片按照其ID号分别存放；

（25）使用图像标注软件，对上述图片进行头胸甲轮廓的多边形标注，标注名称依然为该日本蟳ID号，即ribenxun _{i[i=1, 2, ..., N]}，此数据集记作头胸甲分割数据集D2；

步骤三、日本蟳整体分割和头胸甲分割模型的建立：

（31）使用数据集D1进行日本蟳整体实例分割模型的训练和验证；若模型训练结果能够接受，记为日本蟳整体分割模型M1；

（32）使用数据集D2进行头胸甲实例分割模型的训练和验证；若模型训练结果能够接受，记为头胸甲分割模型M2；

步骤四、日本蟳整体分割、头胸甲分割及ID号判断，依次读取待分析视频中的各帧图像，人为设定日本蟳最大移动像素距离Smax，每一帧图像处理的步骤如下：

（41）使用M1模型对当前帧图像进行日本蟳整体分割，分割出的图像记为RBX _{j[j=1,2,…N]}；

（42）利用M2模型依次对RBX _j 进行头胸甲分割，每个RBX _j 的分割预测结果记为TXJ _k[k=1,2…] ；

（43）根据所设定日本蟳最大移动像素距离Smax，进行TXJ _k 错误分割结果的筛除；

（44）选择置信度最高的预测结果中的标签，作为当前RBX _j 所对应的日本蟳ID；

（45）对该帧中所有日本蟳RBX _j 进行ID分配后，若N个预测结果互不相同，则接受该帧预测，否则放弃该帧的预测结果并跳过对该帧的处理；

步骤五、日本蟳运动能力和接触度评估：

（51）根据保存的每帧预测结果，将各日本蟳头胸甲外接矩形框的中点连结则得到该编号日本蟳的运动轨迹；

（52）根据视频中每一帧所分割的日本蟳整体RBX _{j[j=1,2,...N]}，计算N个实例分割结果中矩形框的两两之间的交并比，作为两者间的接触度的定量指标。

2.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，所述步骤一，具体包括：

（11）日本蟳群体行为视频采集前，在实验室环境内暂养不少于48小时；选择正常活动日本蟳个体于浅色水槽中进行群体行为研究，日本蟳数量记为N；

（12）采用俯视的方式对日本蟳群体行为进行视频拍摄，视频像素分辨率不小于720×480，帧率不小于7.5帧/秒。

3.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（21）中，选择不少于50帧图像进行截图保存，所截图像应包含不同的日本蟳个体相对位置和姿态，并且所截取图像中出现日本蟳互相接触的图像数量不低于25张。

4.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（22）和（25）中使用的图像标注软件为Labelme。

5.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（31）中，选择MaskRCNN实例分割模型，使用该模型在COCO数据集上的预训练参数，采用迁移学习的方法，进行日本蟳整体实例分割模型的训练和验证，在置信度阈值为0.9和交并比阈值为0.5的条件下进行模型评估，若bbox和mask的精确率、召回率和平均精准率均大于0.98，则认为该模型训练结果可以接受，记为日本蟳整体分割模型M1。

6.根据权利要求5所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（31）中，若模型训练结果不能接受，则采用调整模型训练的Epoch数及学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型方法，获得验证集的精确率、召回率和平均精准率满足条件的日本蟳整体分割模型。

7.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（32）中，在置信度阈值为0.9和交并比（IOU）阈值为0.5的条件下进行模型评估，若所有类别的bbox和mask精确率、召回率和平均精准率均大于0.98，则认为该模型训练结果可以接受，记为头胸甲分割模型M2。

8.根据权利要求7所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（32）中，若模型的训练结果不能接受，则采用调整模型训练的Epoch数和学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型方法，获得验证集的精确率、召回率和平均精准率满足条件的日本蟳头胸甲分割模型。

9.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（41）中，以0.9为预测框的置信度阈值，使用M1模型对当前帧图像进行日本蟳整体分割；若得到预测框数量等于日本蟳个体数N，则利用分割预测结果裁剪出各日本蟳个体图像，并设其轮廓外的像素值为0，该分割出的图像记为RBX _{j[j=1,2,...N]}；若得到预测框数量不等于日本蟳个体数N，则放弃对该帧图像的处理，不继续执行接下来的步骤，而继续分析下一帧。

10.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法，其特征在于，步骤（43）中，筛除方法如下：根据TXJ _k[k=1,2…] 中的对应的日本蟳ID，查找前一帧的具有相同ID的日本蟳个体的位置，计算该位置与TXJ _k 当前位置的像素距离，若该距离大于Smax，则认为该预测不准确并舍弃；如果当前帧为第1帧，则不进行该步。

Images