CN113326850B - 一种基于实例分割的日本蟳群体行为视频分析方法 - Google Patents
一种基于实例分割的日本蟳群体行为视频分析方法 Download PDFInfo
- Publication number
- CN113326850B CN113326850B CN202110883453.3A CN202110883453A CN113326850B CN 113326850 B CN113326850 B CN 113326850B CN 202110883453 A CN202110883453 A CN 202110883453A CN 113326850 B CN113326850 B CN 113326850B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- charybdis japonica
- charybdis
- japonica
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及日本蟳群体行为视频分析技术,公开了一种基于实例分割的日本蟳群体行为视频分析方法,包括:步骤一、生物暂养与视频采集;步骤二、实例分割数据集建立;步骤三、日本蟳整体分割和头胸甲分割模型的建立;步骤四、日本蟳整体分割、头胸甲分割及ID号判断;步骤五、日本蟳运动能力和接触度评估。本发明方法可有效解决因日本蟳个体接触而带来ID难以预测的问题,为包括日本蟳在内的类似蟹类群体行为研究提供视频分析方法,且准确率满足行为学研究的需要,具有非常大的实用价值和产业应用价值。
Description
技术领域
本申请涉及日本蟳群体行为视频分析技术,具体涉及一种基于实例分割的日本蟳群体行为视频分析方法。
背景技术
海洋生物群体行为特征量化,是海洋生态监测、水产养殖以及海洋牧场建设等多个行业的重要需求,同时也是全球变化影响下海洋生物生理生态响应和适应研究的重要领域。目前实验室内常用的生物群体行为研究方法仍以视频分析法为主,包括视频采集、个体识别、个体位置等信息提取、群体行为指标计算等步骤。海洋生物群体行为涉及的指标包括个体的总位移、速度、加速度等运动行为指标,以及物种特异的个体间接触频率、争斗等社会关系行为指标。
采用视频技术进行单个体海洋生物行为的研究,可以采用背景差分法、阈值分割法等直接提取目标生物个体连通域,进而跟踪其运动轨迹等行为特征。而对于群体行为研究,要回答海洋生物行为中与“社会性”、“集群性”有关的问题,则需要能够正确识别视频中各个体的ID编号及其位置坐标,以解答生物个体间的相互关系。在海洋生物群体行为研究中,出现个体之间互相交叉、接触等现象较为普遍,给生物个体ID编号的准确判断带来很大困难,位置和轨迹跟踪的准确率也难以提高。因此,生物个体编号的准确识别是群体运动行为分析方法建立的关键,即当两个或多个体在出现交叉前、交叉期间及交叉分离后的各阶段,都能准确识别不同个体的ID编号和位置,使得ID编号和位置识别不应过多受到交叉和重叠现象的影响。比如在鱼类行为学研究中,IDTracker是较为新颖的群体行为研究方法,采用深度卷积神经网络建立分类模型进行ID预测,通多阈值分割提取连通域,对独立个体进行ID预测,但该方法对出现交叉的连通域则不进一步分割和分析。
日本蟳,俗称赤甲红,喜好栖息于岩礁区域,是我国北方近海人工鱼礁区蟹类优势种,目前尚缺少群体行为研究的有效方法。日本蟳等蟹类与鱼类群体行为模式存在差异,鱼类个体间交叉后很快会因彼此游动而分开,而日本蟳则可能出现相对较长时间的互相接触。这致使将鱼类群体行为研究思路应用于日本蟳研究中,则会损失大量的日本蟳个体互相接触时的行为信息,比如日本蟳群体中不同个体间生存空间的利用和竞争等。
此外,日本蟳形态与鱼类不同,在运动过程中日本蟳头胸甲的图像形态变化可以忽略,该特点可作为日本蟳ID识别的特征,从而提高ID识别准确率。针对日本蟳缺少群体行为视频分析方法这一问题,在利用日本蟳自身形态特点的基础上,本发明基于图像分割等计算机视觉技术建立了一种日本蟳群体行为的视频分析方法。
发明内容
针对目前尚未有适用于日本蟳群体行为观测的视频分析方法的现状,本发明的目的在于提供一种基于图像分割的日本蟳群体行为视频分析方法。
为实现以上目的,本发明采用如下技术方案:
一种基于实例分割的日本蟳群体行为视频分析方法,具体包括以下步骤:
步骤一、生物暂养与视频采集;
步骤二、实例分割数据集建立:
(21)选择图像进行截图保存;
(22)使用图像标注软件,对每张截图中的全部日本蟳个体的轮廓进行多边形标注,依次标记为ribenxun i [i=1, 2, ..., N] ;该数据集记作D0;
(23)将数据集D0中多边形标注框的标签ribenxun i[i=1, 2, ..., N],全部修改为ribenxun,新产生的数据集记作日本蟳整体分割数据集D1;
(24)基于数据集D0,依次裁剪出各日本蟳个体图像,日本蟳多边形轮廓外的像素区域填充为黑色,获得日本蟳个体图片并按照其ID号分别存放;
(25)使用图像标注软件,对上述图片进行头胸甲轮廓的多边形标注,标注名称依然为该日本蟳ID号,即ribenxun i[i=1, 2, ..., N],此数据集记作头胸甲分割数据集D2;
步骤三、日本蟳整体分割和头胸甲分割模型的建立:
(31)使用数据集D1进行日本蟳整体实例分割模型的训练和验证;若模型训练结果能够接受,记为日本蟳整体分割模型M1;
(32)使用数据集D2进行头胸甲实例分割模型的训练和验证;若模型训练结果能够接受,记为头胸甲分割模型M2;
步骤四、日本蟳整体分割、头胸甲分割及ID号判断,依次读取待分析视频中的各帧图像,人为设定日本蟳最大移动像素距离Smax,每一帧图像处理的步骤如下:
(41)使用M1模型对当前帧图像进行日本蟳整体分割,分割出的图像记为RBX j[j=1,2,...N];
(42)利用M2模型依次对RBX j 进行头胸甲分割,每个RBX j 的分割预测结果记为TXJ k[k=1,2…] ;
(43)根据所设定日本蟳最大移动像素距离Smax,进行TXJ k 错误分割结果的筛除;(44)选择置信度最高的预测结果中的标签,作为当前RBX j 所对应的日本蟳ID;
(45)对该帧中所有日本蟳RBX j 进行ID分配后,若N个预测结果互不相同,则接受该帧预测,否则放弃该帧的预测结果并跳过对该帧的处理;
步骤五、日本蟳运动能力和接触度评估:
(51)根据保存的每帧预测结果,将各日本蟳头胸甲外接矩形框的中点连结则得到该编号日本蟳的运动轨迹;
(52)根据视频中每一帧所分割的日本蟳整体RBX j[j=1,2,...N],计算N个实例分割结果中矩形框的两两之间的交并比,作为两者间的接触度的定量指标。
进一步地,所述步骤一,具体包括:
(11)日本蟳群体行为视频采集前,在实验室环境内暂养不少于48小时;选择正常活动日本蟳个体于浅色水槽中进行群体行为研究,日本蟳数量记为N。
(12)采用俯视的方式对日本蟳群体行为进行视频拍摄,视频像素分辨率不小于720×480,帧率不小于7.5帧/秒。
进一步地,步骤(21)中,选择不少于50帧图像进行截图保存,所截图像应包含不同的日本蟳个体相对位置和姿态,并且所截取图像中出现日本蟳互相接触的图像数量不低于25张。
优选的,步骤(22)和(25)中使用的图像标注软件为Labelme或其他图像标注软件。
进一步地,步骤(31)中选择MaskRCNN或其他实例分割模型,使用该模型在COCO数据集上的预训练参数,采用迁移学习的方法,进行日本蟳整体实例分割模型的训练和验证,在置信度阈值为0.9和交并比(IOU)阈值为0.5的条件下进行模型评估,若bbox和mask的精确率、召回率和平均精准率均大于0.98,则认为该模型训练结果可以接受,记为日本蟳整体分割模型M1。
进一步地,步骤(31)中,若模型训练结果不能接受,则采用调整模型训练的Epoch数及学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型等方法,获得验证集的精确率、召回率和平均精准率满足条件的日本蟳整体分割模型。
进一步地,步骤(32)中选择MaskRCNN或其他实例分割模型,使用该模型在COCO数据集上的预训练参数,采用迁移学习的方法,进行头胸甲实例分割模型的训练和验证。在置信度阈值为0.9和交并比(IOU)阈值为0.5的条件下进行模型评估,若所有类别的bbox和mask精确率、召回率和平均精准率均大于0.98,则认为该模型训练结果可以接受,记为头胸甲分割模型M2。
进一步地,步骤(32)中,若模型的训练结果不能接受,则采用调整模型训练的Epoch数和学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型等方法,获得验证集的精确率、召回率和平均精准率满足条件的日本蟳头胸甲分割模型。
进一步地,步骤(41)中,以0.9为预测框的置信度阈值,使用M1模型对当前帧图像进行日本蟳整体分割;若得到预测框数量等于日本蟳个体数N,则利用分割预测结果裁剪出各日本蟳个体图像,并设其轮廓外的像素值为0,该分割出的图像记为RBX j[j=1,2,...N];若得到预测框数量不等于日本蟳个体数N,则放弃对该帧图像的处理,不继续执行接下来的步骤,而继续分析下一帧。
进一步地,步骤(43)中,筛除方法如下:根据TXJ k[k=1,2…] 各标签对应的日本蟳ID,查找前一帧中相同ID的日本蟳个体在图像中位置,计算该位置与TXJ k 当前位置的像素距离,若该距离大于Smax,则认为该预测不准确并舍弃;如果当前帧为第1帧,则不进行该步。
与现有技术相比,本发明具有以下有益效果及优点:
(1)本发明方法充分利用了日本蟳头胸甲在图像中的形变可忽略这一特点,有效解决了因日本蟳个体接触而带来ID难以预测的问题,为包括日本蟳在内的类似蟹类群体行为研究提供视频分析方法,且准确率满足行为学研究的需要,具有非常大的科研价值和产业应用价值;
(2)本发明方法可提取日本蟳个体的位置、日本蟳个体间接触程度等群体行为相关的数据,对于分析日本蟳群体运动行为、生境空间利用规律等提供方法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为日本蟳群体行为分析流程;
图2为用于日本蟳整体分割模型训练的数据集D1中的示例图片;
图3(a)为ID号为ribenxun1的日本蟳多边形标注示例图片,图3(b)为ID号为ribenxun2的日本蟳多边形标注示例图片,图3(c)为ID号为ribenxun3的日本蟳多边形标注示例图片;
图4为日本蟳整体实例分割模型的训练过程中外接矩形框mmAP的变化;
图5为日本蟳头胸甲实例分割模型的训练过程中外接矩形框mmAP的变化;
图6(a)为日本蟳个体间无接触,图6(b)为日本蟳个体间有接触;
图7为视频前500帧3个日本蟳个体的移动轨迹;
图8为视频前500帧日本蟳两两之间的IOU分值。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
一种基于实例分割的日本蟳群体行为视频分析方法,流程如图1所示,具体包括以下步骤:
步骤一、视频采集:
(11)将野外采集的日本蟳于实验室内暂养48小时以上,选择正常活动日本蟳个体3只,于白色水槽中;
(12)使用映美精DFK72AUC02黑白单色工业相机,搭配4mm焦距镜头,以自上而下的方式对日本蟳群体的运动及接触行为进行视频拍摄,视频像素分辨率为720*480,帧率为7.5帧/秒;
步骤二、实例分割数据集建立:
(21)选择85帧图像进行截图保存,所截图像应包含不同的日本蟳个体相对位置和姿态,并且所截取图像中出现日本蟳互相接触的图像数量为69张;
(22)使用Labelme图像标注软件,对每张截图中的全部日本蟳个体的轮廓进行多边形标注,各截图中各日本蟳轮廓标注的名称对应于日本蟳ID,依次标记为ribenxun i[i=1, 2, 3];该数据集记作D0;
(23)将数据集D0中多边形标注框的标签ribenxun i[i=1, 2, 3],全部修改为ribenxun,新产生的数据集记作日本蟳整体分割数据集D1;该数据集用于日本蟳整体分割模型的训练和验证,由于该模型只进行日本蟳的检测和分割,并不进行日本蟳ID的分类,因此数据集D1中不需含有日本蟳ID信息;如附图2所示;
(24)基于数据集D0中的多边形标注计算各日本蟳个体的外接矩形,依次裁剪出各日本蟳个体图像,日本蟳多边形轮廓外的像素点统一填充为0,获得日本蟳个体图像按照其ID号分不同的文件夹存放;
(25)使用Labelme图像标注软件,对上述图片进行头胸甲轮廓的多边形标注,标注名称依然为该日本蟳ID号,即ribenxun i[i=1, 2, 3],此数据集记作头胸甲分割数据集D2;如图3(a)、图3(b)、图3(c)所示;
步骤三、日本蟳整体分割和头胸甲分割模型的建立:
(31)日本蟳整体实例分割模型的建立。按照0.7 : 0.2 : 0.1的比例,将数据集D1划分为训练集、验证集和测试集。使用该训练集和验证集,利用PaddleX深度学习模型开发工具,选择MaskRCNN实例分割模型,使用该模型在COCO数据集上的预训练参数,采用迁移学习的方法,进行日本蟳整体实例分割模型的训练和验证,在置信度阈值为0.9和交并比(IOU)阈值为0.5的条件下进行模型评估,在验证集中bbox和mask的精确率、召回率和平均精准率均为1.0000,该模型训练结果可以接受,记为日本蟳整体分割模型M1。M1模型训练过程中外接矩形框mmAP(IOU=0.50:0.95)指标的可视化如图4所示。
(32)头胸甲实例分割模型的建立。按照0.7 : 0.2 : 0.1的比例,将数据集D2划分为训练集、验证集和测试集。使用训练集和验证集,利用PaddleX深度学习模型开发工具,选择MaskRCNN实例分割模型,使用该模型在COCO数据集上的预训练参数,采用迁移学习的方法,进行头胸甲实例分割模型的训练和验证。在置信度阈值0.9和交并比(IOU)阈值0.5的条件下进行模型评估,在验证集3个类别ribenxun i[i=1, 2, 3]上bbox和mask的精确率、召回率和平均精准率均为1.0000,该模型训练结果可以接受,记为头胸甲分割模型M2。M2模型训练过程中外接矩形框mmAP(IOU=0.50:0.95)指标的可视化如图5所示。
步骤四、日本蟳整体分割、头胸甲分割及ID号判断:
通过人工浏览视频,确定任一日本蟳个体在连续两帧间可能出现的最大像素位移的上限值,记作Smax,即任一日本蟳个体在某连续两帧间的像素位移都应该小于此Smax,该Smax在整个视频分析流程中只设置一次即可,用于对错误ID进行筛除;本实施例中通过人工浏览视频,确定任一日本蟳个体在连续两帧间可能出现的最大像素位移的上限值 Smax为200像素,即任一日本蟳个体在某连续两帧间的像素位移应该小于200像素。
依次读取待分析视频中的各帧图像,并使用M1和M2模型对日本蟳进行整体分割和头胸甲分割,若M1或M2的分割结果不满足相应的条件,则舍弃该帧的结果并跳过对该帧的处理。每一帧图像处理的步骤如下:
(41)以0.9为预测框的置信度阈值,使用M1模型对当前帧图像进行日本蟳整体分割。若得到预测框数量等于日本蟳个体数3,则利用分割预测结果裁剪出各日本蟳个体图像,并设其轮廓外的像素值为0,该分割出的图像记为RBX j[j=1,2,3]。若得到预测框数量不等于日本蟳个体数3,则放弃对该帧图像的处理,不继续执行接下来的步骤,而继续分析下一帧。
(42)利用M2模型依次对RBX j 进行头胸甲分割,每个RBX j 的分割预测结果记为TXJ k[k=1,2…] ,分割预测结果中标签和外接矩形框对应为日本蟳ID和头胸甲外接矩形框。计算头胸甲外接矩形框的中点,作为该预测日本蟳在当前帧的位置点,如图6(a)和图6(b)中日本蟳头胸甲上的白色实心点,不同的矩形框代表不同日本蟳个体占用的空间,矩形框间的交并比则代表个体间的接触程度;相应实心圆点和折线分别为日本蟳当前帧图像中的位置及历史运动轨迹;。
(43)根据人为设定日本蟳最大移动像素距离为200像素,进行TXJ k 错误分割结果的筛除,如果当前帧为第1帧,则不进行该步。筛除方法如下:根据TXJ k[k=1,2…] 各标签对应的日本蟳ID,查找前一帧中相同ID的日本蟳个体在图像中位置,计算该位置与TXJ k 当前位置的像素距离,若该距离大于Smax,则认为该预测不准确并舍弃。
(44)选择置信度最高的预测结果中的标签,作为当前RBX j 所对应的日本蟳ID。
(45)对该帧中所有日本蟳RBX j 进行ID分配后,若3个预测结果互不相同,则接受该帧预测,否则放弃该帧的预测结果并跳过对该帧的处理。
步骤五、日本蟳运动能力和接触度评估:
(51)根据保存的每帧预测结果,将各日本蟳中点连结则得到该编号日本蟳的运动轨迹,从而可结合各帧所对应的录制时间计算其运动位移和速度等与运动行为相关的指标;轨迹路径如附图7所示。
(52)根据视频中每一帧所分割的日本蟳整体RBX j[j=1,2,3],计算3个实例分割结果中矩形框的两两之间的交并比,作为两者间的接触度的定量指标;日本蟳两两之间的交并比如附图8所示。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种基于实例分割的日本蟳群体行为视频分析方法,其特征在于,包括以下步骤:
步骤一、生物暂养与视频采集;
步骤二、实例分割数据集建立:
(21)选择图像进行截图保存;
(22)使用图像标注软件,对每张截图中的全部日本蟳个体的轮廓进行多边形标注,依次标记为ribenxun i ,i=1,2,...,N;该数据集记作D0;
(23)将数据集D0中多边形标注框的标签ribenxun i ,i=1,2,...,N,全部修改为ribenxun,新产生的数据集记作日本蟳整体分割数据集D1;
(24)基于数据集D0,依次裁剪出各日本蟳个体图像,日本蟳轮廓外的像素点统一填充为0,获得日本蟳个体图片按照其ID号分别存放;
(25)使用图像标注软件,对上述图片进行头胸甲轮廓的多边形标注,标注名称依然为该日本蟳ID号,即ribenxun i ,i=1,2,...,N,此数据集记作头胸甲分割数据集D2;
步骤三、日本蟳整体分割和头胸甲分割模型的建立:
(31)使用数据集D1进行日本蟳整体实例分割模型的训练和验证;若模型训练结果能够接受,记为日本蟳整体分割模型M1;
(32)使用数据集D2进行头胸甲实例分割模型的训练和验证;若模型训练结果能够接受,记为头胸甲分割模型M2;
步骤四、日本蟳整体分割、头胸甲分割及ID号判断,依次读取待分析视频中的各帧图像,人为设定日本蟳最大移动像素距离Smax,每一帧图像处理的步骤如下:
(41)使用M1模型对当前帧图像进行日本蟳整体分割,分割出的图像记为RBX j ,j=1,2,...,N;
(42)利用M2模型依次对RBX j 进行头胸甲分割,每个RBX j 的分割预测结果记为TXJ k ,k=1,2,...;
(43)根据所设定日本蟳最大移动像素距离Smax,进行TXJ k 错误分割结果的筛除;
(44)选择置信度最高的预测结果中的标签,作为当前RBX j 所对应的日本蟳ID;
(45)对该帧中所有日本蟳RBX j 进行ID分配后,若N个预测结果互不相同,则接受该帧预测,否则放弃该帧的预测结果并跳过对该帧的处理;
步骤五、日本蟳运动能力和接触度评估:
(51)根据保存的每帧预测结果,将各日本蟳头胸甲外接矩形框的中点连结则得到所对应的各日本蟳的运动轨迹;
(52)根据视频中每一帧所分割的日本蟳整体RBX j ,j=1,2,...,N,计算N个实例分割结果中矩形框的两两之间的交并比,作为两者间的接触度的定量指标。
2.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,所述步骤一,具体包括:
(11)日本蟳群体行为视频采集前,在实验室环境内暂养不少于48小时;选择正常活动日本蟳个体于浅色水槽中进行群体行为研究,日本蟳数量记为N;
(12)采用俯视的方式对日本蟳群体行为进行视频拍摄,视频像素分辨率不小于720×480,帧率不小于7.5帧/秒。
3.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(21)中,选择不少于50帧图像进行截图保存,所截图像应包含不同的日本蟳个体相对位置和姿态,并且所截取图像中出现日本蟳互相接触的图像数量不低于25张。
4.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(22)和(25)中使用的图像标注软件为Labelme。
5.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(31)中,选择MaskRCNN实例分割模型,使用该模型在COCO数据集上的预训练参数,采用迁移学习的方法,进行日本蟳整体实例分割模型的训练和验证,在置信度阈值为0.9和交并比阈值为0.5的条件下进行模型评估,若bbox和mask的精确率、召回率和平均精准率均大于0.98,则认为该模型训练结果可以接受,记为日本蟳整体分割模型M1。
6.根据权利要求5所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(31)中,若模型训练结果不能接受,则采用调整模型训练的Epoch数及学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型方法,获得验证集的精确率、召回率和平均精准率满足条件的日本蟳整体分割模型。
7.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(32)中,在置信度阈值为0.9和交并比阈值为0.5的条件下进行模型评估,若所有类别的bbox和mask精确率、召回率和平均精准率均大于0.98,则认为该模型训练结果可以接受,记为头胸甲分割模型M2。
8.根据权利要求7所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(32)中,若模型的训练结果不能接受,则采用调整模型训练的Epoch数和学习率和/或增加截图图片和/或检查是否有标注错误和/或更换模型方法,获得验证集的精确率、召回率和平均精准率满足条件的日本蟳头胸甲分割模型。
9.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(41)中,以0.9为预测框的置信度阈值,使用M1模型对当前帧图像进行日本蟳整体分割;若得到预测框数量等于日本蟳个体数N,则利用分割预测结果裁剪出各日本蟳个体图像,并设其轮廓外的像素值为0,该分割出的图像记为RBX j ,j=1,2,...,N;若得到预测框数量不等于日本蟳个体数N,则放弃对该帧图像的处理,不继续执行接下来的步骤,而继续分析下一帧。
10.根据权利要求1所述基于实例分割的日本蟳群体行为视频分析方法,其特征在于,步骤(43)中,筛除方法如下:根据TXJ k ,k=1,2,...中的对应的日本蟳ID,查找前一帧的具有相同ID的日本蟳个体的位置,计算该位置与TXJ k 当前位置的像素距离,若该距离大于Smax,则认为该预测不准确并舍弃;如果当前帧为第1帧,则不进行该步。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110883453.3A CN113326850B (zh) | 2021-08-03 | 2021-08-03 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110883453.3A CN113326850B (zh) | 2021-08-03 | 2021-08-03 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113326850A CN113326850A (zh) | 2021-08-31 |
CN113326850B true CN113326850B (zh) | 2021-10-26 |
Family
ID=77426834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110883453.3A Active CN113326850B (zh) | 2021-08-03 | 2021-08-03 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326850B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018146328A (ja) * | 2017-03-03 | 2018-09-20 | 日本海洋資源開発株式会社 | 漁業情報収集システム |
CN111105443A (zh) * | 2019-12-26 | 2020-05-05 | 南京邮电大学 | 一种基于特征关联的视频群体人物运动轨迹跟踪方法 |
CN111428785A (zh) * | 2020-03-23 | 2020-07-17 | 厦门大学 | 基于深度学习的河豚鱼个体识别方法 |
CN211149516U (zh) * | 2019-08-15 | 2020-07-31 | 湖北经济学院 | 一种基于sort的多目标跟踪识别装置 |
CN111666897A (zh) * | 2020-06-08 | 2020-09-15 | 鲁东大学 | 基于卷积神经网络的斑石鲷个体识别方法 |
CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
CN111862119A (zh) * | 2020-07-21 | 2020-10-30 | 武汉科技大学 | 基于Mask-RCNN的语义信息提取方法 |
CN112070799A (zh) * | 2020-05-29 | 2020-12-11 | 清华大学 | 基于人工神经网络的鱼类轨迹跟踪方法和系统 |
CN112149612A (zh) * | 2020-10-12 | 2020-12-29 | 海略(连云港)科技有限公司 | 一种基于深度神经网络的海洋生物识别系统及识别方法 |
CN112215116A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种移动式面向2d图像的3d河蟹实时检测方法 |
CN112528823A (zh) * | 2020-12-04 | 2021-03-19 | 燕山大学 | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 |
CN112598713A (zh) * | 2021-03-03 | 2021-04-02 | 浙江大学 | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 |
CN112766404A (zh) * | 2021-01-29 | 2021-05-07 | 安徽工大信息技术有限公司 | 一种基于深度学习的中华绒螯蟹的真伪识别方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7835542B2 (en) * | 2005-12-29 | 2010-11-16 | Industrial Technology Research Institute | Object tracking systems and methods utilizing compressed-domain motion-based segmentation |
CN108830862B (zh) * | 2018-06-08 | 2021-11-30 | 江南大学 | 基于图像分割的螃蟹朝向识别方法 |
-
2021
- 2021-08-03 CN CN202110883453.3A patent/CN113326850B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018146328A (ja) * | 2017-03-03 | 2018-09-20 | 日本海洋資源開発株式会社 | 漁業情報収集システム |
CN211149516U (zh) * | 2019-08-15 | 2020-07-31 | 湖北经济学院 | 一种基于sort的多目标跟踪识别装置 |
CN111105443A (zh) * | 2019-12-26 | 2020-05-05 | 南京邮电大学 | 一种基于特征关联的视频群体人物运动轨迹跟踪方法 |
CN111428785A (zh) * | 2020-03-23 | 2020-07-17 | 厦门大学 | 基于深度学习的河豚鱼个体识别方法 |
CN112070799A (zh) * | 2020-05-29 | 2020-12-11 | 清华大学 | 基于人工神经网络的鱼类轨迹跟踪方法和系统 |
CN111666897A (zh) * | 2020-06-08 | 2020-09-15 | 鲁东大学 | 基于卷积神经网络的斑石鲷个体识别方法 |
CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
CN111862119A (zh) * | 2020-07-21 | 2020-10-30 | 武汉科技大学 | 基于Mask-RCNN的语义信息提取方法 |
CN112215116A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种移动式面向2d图像的3d河蟹实时检测方法 |
CN112149612A (zh) * | 2020-10-12 | 2020-12-29 | 海略(连云港)科技有限公司 | 一种基于深度神经网络的海洋生物识别系统及识别方法 |
CN112528823A (zh) * | 2020-12-04 | 2021-03-19 | 燕山大学 | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 |
CN112766404A (zh) * | 2021-01-29 | 2021-05-07 | 安徽工大信息技术有限公司 | 一种基于深度学习的中华绒螯蟹的真伪识别方法及系统 |
CN112598713A (zh) * | 2021-03-03 | 2021-04-02 | 浙江大学 | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 |
Non-Patent Citations (5)
Title |
---|
An Algorithm for Tracking Multiple Fish Based on Biological Water Quality Monitoring;XIAOQIANG ZHAO 等;《IEEE Access》;20190212;15018-15026 * |
Aquatic Toxic Analysis by Monitoring Fish Behavior Using Computer Vision: A Recent Progress;Chunlei Xia 等;《Journal of Toxicology》;20180403;1-11 * |
In situ sea cucumber detection based on deep learning approach;Chunlei Xia 等;《2018 OCEANS - MTS/IEEE Kobe Techno-Oceans (OTO)》;20181206;1-4 * |
基于改进 Mask RCNN 和 SVR 的无接触梭子蟹体质量预测研究;唐潮 等;《宁波大学学报(理工版)》;20210331;第34卷(第2期);31-41 * |
基于机器视觉的水下河蟹识别方法;赵德安 等;《农业机械学报》;20190331;第50卷(第3期);151-158 * |
Also Published As
Publication number | Publication date |
---|---|
CN113326850A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
Parham et al. | An animal detection pipeline for identification | |
Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
CN109816689A (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
Parham et al. | Animal population censusing at scale with citizen science and photographic identification | |
CN105740758A (zh) | 基于深度学习的互联网视频人脸识别方法 | |
CN112801236B (zh) | 图像识别模型的迁移方法、装置、设备及存储介质 | |
CN111027377A (zh) | 一种双流神经网络时序动作定位方法 | |
Kratzert et al. | Fish species classification in underwater video monitoring using Convolutional Neural Networks | |
CN112258525A (zh) | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 | |
Harasyn et al. | Detection and tracking of belugas, kayaks and motorized boats in drone video using deep learning | |
CN118537320A (zh) | 一种基于神经网络的精子活力确定方法及装置 | |
CN114882586A (zh) | 一种群体猴运动活跃状态监测系统和方法 | |
CN110674823A (zh) | 一种基于深海大型底栖动物自动识别的样本库构建方法 | |
CN113326850B (zh) | 一种基于实例分割的日本蟳群体行为视频分析方法 | |
CN108376238B (zh) | 一种多目标无标记的水生生物识别追踪方法及系统 | |
CN112597842B (zh) | 基于人工智能的运动检测面瘫程度评估系统 | |
CN114947751A (zh) | 基于深度学习的移动端智能舌诊方法 | |
CN113192108A (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
CN113392927A (zh) | 一种基于单阶深度神经网络的动物目标检测方法 | |
Lestari et al. | Segmentation of seagrass (Enhalus acoroides) using deep learning mask R-CNN algorithm | |
CN112215107A (zh) | 一种猪的行为识别方法及装置、电子设备和存储介质 | |
CN116883745B (zh) | 一种基于深度学习的动物定位模型及方法 | |
CN116721131A (zh) | 一种基于EStag和SORT的昆虫多个体跟踪方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |