CN111968159A - 一种简单通用的鱼群视频图像轨迹追踪方法 - Google Patents

一种简单通用的鱼群视频图像轨迹追踪方法 Download PDF

Info

Publication number
CN111968159A
CN111968159A CN202010885653.8A CN202010885653A CN111968159A CN 111968159 A CN111968159 A CN 111968159A CN 202010885653 A CN202010885653 A CN 202010885653A CN 111968159 A CN111968159 A CN 111968159A
Authority
CN
China
Prior art keywords
fish
frame
image
tracking
bodies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010885653.8A
Other languages
English (en)
Inventor
丁剑勇
许肖梅
周阳亮
涂星滨
王荣鑫
陶毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010885653.8A priority Critical patent/CN111968159A/zh
Publication of CN111968159A publication Critical patent/CN111968159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种简单通用的鱼群视频图像轨迹追踪方法，涉及视频图像轨迹追踪领域。利用大部分的鱼体在二维平面游动时，俯视角的面积几乎保持不变，以及鱼体游动方向短时间内不可能发生突变这两个特征，结合最近邻法进行鱼群追踪；在追踪某条鱼时，首先根据这条鱼的历史信息排除面积差别较大的鱼体，而后采用连续两帧的鱼体质心连线作为鱼体的游动方向，排除方向角差别过大的目标；最后采用最邻近法对鱼体坐标位置进行前后帧间关联完成追踪；并且采用图像腐蚀的方法，解决鱼体相互遮挡的问题。追踪结果更加精确。易于泛化推广，具有广泛应用前景。可用于各类实验室鱼类行为学的研究，以获取生物群体精确的行动轨迹，构建生物活动模型，或者辅助验证假说。

Description

一种简单通用的鱼群视频图像轨迹追踪方法
技术领域
本发明涉及视频图像轨迹追踪领域，尤其是涉及一种简单通用的鱼群视频图像轨迹追踪方法。
背景技术
研究鱼类正常环境下的游泳轨迹，以及干扰条件下(如声刺激)的行为变化轨迹，常常需要测量其行为参数，如移动距离、方向和距离速度等，以评价干扰大小对其行为的影响，而这些参数的获取需要建立在准确追踪鱼群运动轨迹的基础之上。
早期的鱼群追踪仅依靠观察者肉眼观察手动记录，其追踪结果往往粗糙且带有观察者的主观性，鱼群行为可能会受到来自于观察者的影响。随着科技的进步，计算机视觉技术受到了很多生物行为研究者的青睐，其原理是借助摄像机的帮助获取被观察群体的视频图像，而后在计算机上进行量化的分析，从而提取生物群体精确的行动轨迹，以构建生物活动模型，或者辅助验证假说。这种生物自自动行为监视系统的主要优点是观察过程中不需要人为干预，不受气候等客观条件影响且可进行长期监视。
荷兰的Noldus公司2001年最早开发出了EthoVision系统，用于观察单条鱼的行为轨迹，Kato(Kato S,Nakagawa T,Ohkawa M,et al.A computer image processing systemfor quantification of zebrafishbehavior[J].Journal of Neuroscience Methods,2004,134(1):1-7)于2004年在日本提出的观察系统则可以用于两条鱼的行为测量，并且提出了腐蚀方法以分离鱼体，而后比利时列日大学的Delcourt(DelcourtJ,Mathieu
Figure BDA0002655493670000011
Ylieff M,et al.Video multitracking of fish behaviour:A synthesis and futureperspectives[J].Fish and Fisheries,2013,14(2):186-204)于2006年开发出了一个多轨系统来记录多达100条鱼的运动轨迹，认为鱼在较短时间内的运动为匀速运动，据此预测每条个体鱼的理论位置，并与预测位置最邻近的位置相匹配来完成跟踪，但是作者未处理遮挡时的鱼体，而是直接将发生遮挡的多个鱼体身份赋予给遮挡形成的单个粒子，因此最终的追踪准确率99.9％有些虚高。2016年我国的Xia Chunlei等(Xia C,Chon T S,Liu Y,et al.Posture tracking of multiple individual fish for behavioral monitoringwith visual sensors[J].Ecological Informatics,2016,36(Complete):S1574954116300887)利用鱼体图像的灰度特征，区分出鱼头鱼尾以确定鱼体的方向，追踪时利用鱼体的方向寻找候选对象，在这些候选对象中使用找到最近的个体完成追踪。法国生物物理学家Pérez-Escudero(Pérez-Escudero,Alfonso,Vicente-Page,Julián,Hinz RC,et al.idTracker:tracking individuals in a group by automatic identificationof unmarked animals[J].Nature Methods,2014,11(7):743-748)在2014年开发的指纹系统，为每条鱼创建了独立的指纹库用于识别个体鱼，可同时跟踪20条个体。随着对轨迹追踪精度要求的不断提高，后续有学者利用卷积神经网络的强大学习能力，开发出了各种精度更高的追踪系统，但这些轨迹追踪系统由于采用逐帧逐条连通域进行灰度特征计算区分头尾以获取方向，在精确度较高的同时也具有计算量大的缺陷，同时对硬件(如摄像头和计算机)的要求也较高等问题。且对于上面介绍的这些追踪系统，所以每个系统都需要特定的使用实验环境和面对特定的监视对象，在具体追踪时需要根据被追踪种类的特征，选择特定的追踪方式。而对于不同的实验场景及不同种类的实验对象，很难达到满意的追踪效果。
发明内容
本发明的目的在于提供采用图像腐蚀方法解决鱼体相互遮挡的问题，追踪结果更加精确，具有普适性，易于泛化推广的一种简单通用的鱼群视频图像轨迹追踪方法。
本发明包括以下步骤：
1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；
2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；
3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；
4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；
5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；
6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；
7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向；
8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子(粒子即连通域)进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；
9)对所有帧所要追踪的鱼体追踪结束后，输出所有鱼体的轨迹并绘图。
在步骤1)中，所述鱼群视频应以俯视角拍摄获取，无多余视觉干扰(如水质不清澈，水面反光)，以保持鱼体的表面特征在追踪过程中在摄像头下尽量不变，从而获取更好的追踪效果，所述无多余视觉干扰选择水质不清澈、水面反光等；所述鱼群视频，推荐帧率30Hz，视频像素大于576×720，以确保每一条鱼在视频中的长度大于等于15像素，推荐鱼体数目不超过20条。
在步骤2)中，所述获取背景图像的具体方法可使用时域中值滤波方法获取背景图像B，B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}，其中Pt为图像中的每一个像素点。
在步骤4)中，所述二值化可采用最大类间方差法(Ostu法)来确定最佳的自适应分割阈值，以保证更好的分割效果。
在步骤5)中，所述中值滤波方式是以3×3或5×5为单元块进行的，即用像素点3×3或5×5的邻域灰度值中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，以5×5为单元块进行中值滤波会有更好的去噪效果，但会丢失一些细节，使用时根据需要自行选择。
在步骤6)中，所述帧间最大方向角度变化为0～2π，通常小于
Figure BDA0002655493670000031
优选45°；所述最大鱼体面积变化率可为0～100％，通常小于15％，优选0.15；最大帧间方向变化值和最大鱼体面积变化率可根据不同鱼种游动的实际情况进行适当调整，直至获取到满意的跟踪效果。
在步骤7)中，所述选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向的具体步骤可为：
选定未发生遮挡的一帧图像作为第一帧，帧数N＝1，分析帧内所有连通域，由于没有发生遮挡，因此每一个连通域必然对应单独的一条鱼体，连通域的面积即为鱼体的俯视面积，给所有鱼体连通域编号，并记录鱼体俯视面积和质心坐标，帧数N＝2时开始记录每条鱼体的方向。
在步骤8)中，所述追踪的方法可为：将当前帧所有连通域全部作为候选连通域，排除面积大于s×(1+R)或小于s×(1-R)的连通域(s为上一帧的更新完成后所记录的鱼体m的俯视面积)，而后排除方向角与上一帧的方向角度差值大于最大帧间方向变化值的连通域，在剩下的候选连通域中，分别计算这些连通域的质心坐标与鱼体m在上一帧的坐标的距离，其中，距离最小的连通域即为当前帧的鱼体m。
在步骤9)中，所述输出所有鱼体的轨迹，可输出所有鱼体的全局轨迹、单体轨迹、单体速度等。
本发明巧妙利用大部分的鱼体在二维平面游动时，俯视角的面积(以下称俯视面积)几乎保持不变，以及鱼体游动方向短时间(如连续两帧)内不可能发生突变这两个特征，结合最近邻法进行鱼群追踪；在追踪某条鱼时，首先根据这条鱼的历史信息(俯视面积大小，上一帧的游动方向)排除面积差别较大的鱼体，而后采用连续两帧的鱼体质心连线作为鱼体的游动方向，排除方向角差别过大的目标；最后采用最邻近法对鱼体坐标位置进行前后帧间关联完成追踪；并且采用图像腐蚀的方法，解决鱼体相互遮挡的问题。
与现有鱼群视频图像轨迹追踪方法相比，本发明有如下优点：
(1)本发明选用连续两帧的质心连线作为鱼体的方向，与传统的逐帧逐条之连通域进行灰度特征计算区分头尾以获取方向的方法相比，极大减少了计算量。另外，本发明从图像处理到图像分析至帧间关联部分都没有采用计算量很高的算法，对于帧间信息的关联，也无需使用各种复杂的预测算法。
(2)本发明从原理上讲，鱼体在二维平面游动时，俯视角的面积几乎保持不变，以及鱼体游动方向短时间(如连续两帧)内不可能发生突变这两条符合鱼群行为规律的特性，结合最近邻法进行轨迹追踪，相较于只在方向的约束下使用的最近邻法，原理上更严谨。并且采用图像腐蚀的方法，解决鱼体图像相互遮挡的问题，使得追踪结果更加精确。
(3)本发明易于泛化推广，具有广泛应用前景。传统的鱼类追踪系统，其大多数追踪实验对象是斑马鱼，并且根据斑马鱼的灰度图像特征使用特异的追踪方式，如斑马鱼头部存在着灰度极值。而本发明的方法由于采用了俯视面积和运动方向2个特征，对绝大多数鱼群轨迹追踪都适用，因此具有普适性，可用于各类实验室鱼类行为学的研究，以获取生物群体精确的行动轨迹，构建生物活动模型，或者辅助验证假说。
附图说明
图1为本发明实施例的流程示意图。
图2为视频图像分帧后的原始灰度图像。
图3为使用时域中值滤波所计算出来的背景图像。
图4为图2减去图3以后，使用Ostu法计算出来的二值图像。
图5为腐蚀分离的示意图。
图6为追踪原理说明示意图。
图7为对10条鱼体进行450帧追踪所得到的全局轨迹图。
图8记录了图7中4号鱼在每一帧的位移曲线。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤：
1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；所述鱼群视频应以俯视角拍摄获取，无多余视觉干扰(如水质不清澈，水面反光)，以保持鱼体的表面特征在追踪过程中在摄像头下尽量不变，从而获取更好的追踪效果，所述无多余视觉干扰选择水质不清澈、水面反光等；所述鱼群视频，推荐帧率30Hz，视频像素大于576×720，以确保每一条鱼在视频中的长度大于等于15像素，推荐鱼体数目不超过20条。
2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；所述获取背景图像的具体方法可使用时域中值滤波方法获取背景图像B，B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}，其中Pt为图像中的每一个像素点。
3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；
4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；所述二值化可采用最大类间方差法(Ostu法)来确定最佳的自适应分割阈值，以保证更好的分割效果。
5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；所述中值滤波方式是以3×3或5×5为单元块进行的，即用像素点3×3或5×5的邻域灰度值中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，以5×5为单元块进行中值滤波会有更好的去噪效果，但会丢失一些细节，使用时根据需要自行选择。
6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；所述帧间最大方向角度变化为0～2π，通常小于
Figure BDA0002655493670000051
优选45°；所述最大鱼体面积变化率可为0～100％，通常小于15％，优选0.15；最大帧间方向变化值和最大鱼体面积变化率可根据不同鱼种游动的实际情况进行适当调整，直至获取到满意的跟踪效果。
7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向：选定未发生遮挡的一帧图像作为第一帧，帧数N＝1，分析帧内所有连通域，由于没有发生遮挡，因此每一个连通域必然对应单独的一条鱼体，连通域的面积即为鱼体的俯视面积，给所有鱼体连通域编号，并记录鱼体俯视面积和质心坐标，帧数N＝2时开始记录每条鱼体的方向。
8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子(粒子即连通域)进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；所述追踪的方法可为：将当前帧所有连通域全部作为候选连通域，排除面积大于s×(1+R)或小于s×(1-R)的连通域(s为上一帧的更新完成后所记录的鱼体m的俯视面积)，而后排除方向角与上一帧的方向角度差值大于最大帧间方向变化值的连通域，在剩下的候选连通域中，分别计算这些连通域的质心坐标与鱼体m在上一帧的坐标的距离，其中，距离最小的连通域即为当前帧的鱼体m。
9)对所有帧所要追踪的鱼体，追踪结束后，输出所有鱼体的轨迹并绘图，追踪结束。所述输出所有鱼体的轨迹，可输出所有鱼体的全局轨迹、单体轨迹、单体速度等。
图1为本发明实施例的流程示意图。录制好的视频经过分帧及减背景，二值化等处理后，开始追踪。首先排除俯视面积差别较大的鱼体，而后采用连续两帧的鱼体质心连线作为鱼体的游动方向，排除方向角差别过大的目标；最后采用最邻近法对鱼体坐标位置进行前后帧间关联完成追踪。并且采用图像腐蚀的方法，解决鱼体相互遮挡的问题。
以对于10条鲫鱼苗的追踪为例，鱼体的长度在2～4cm之间，矩形鱼缸的长36cm，宽24cm,相机的分辨率为1440*1080，帧率30Hz，视频长度为450帧，时长15秒。导入原始视频以后，需分帧，并且进行灰度化处理，如图2所示。
灰度化以后的视频图像中包含被追踪目标和背景的图像，因此接下来要选择合适的方法将被追踪目标与背景分离出来，在实验场景并不复杂的条件下，背景往往较为简单，因此可采用背景减法。背景减法的主要思想是将当前帧图像与事先存储或实时更新得到的背景图像进行减运算，背景减法需要提前获取背景，这里获取背景的方法是时域中值滤波的方法，背景图像，B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}，其中Pt为图像中的每一个像素点。选取连续的n帧画面，对每一个像素点取中位数值，B为计算出来的背景图像，如图3所示，并且假设背景图像在一段时间内是不变的；对减去背景以后的图像使用阈值化分割，得到二值图像，还需进行一次中值滤波以消除上述过程中出现的噪声，再进行一次闭运算处理，可消除细小的空洞，此时的二值图像即可直接用于分析，如图4所示，其中高亮部分为鱼体的图像，无关的背景部分被自动设成黑色。
对这些二值图像进行连通域分析得到各帧的连通域信息，其中包括个体连通域或多个个体连通域。在追踪开始之前，需要初始化一些参数，如图像总帧数,当前帧数，总鱼数,当前帧联通域数目，最大帧间方向变化值D和最大鱼体俯视面积变化率R。这两个参数需要根据实际情况进行调整，直至获取到满意的跟踪效果，建议D为45°，R为0.15。接着是如何将两帧图像中的同一个个体匹配起来。
选定未发生遮挡的一帧作为第一帧，帧数N＝1，分析帧内所有联通域，因此所有的连通域都为一条单独的鱼体，给所有鱼体编号，并记录鱼体面积和质心。帧数N＝2时开始记录每条鱼体的方向。鱼体面积每一帧更新，更新值为该鱼体在到当前帧截止的每一帧面积均值，不包括发生遮挡期间。鱼体方向每一帧更新，更新值为从该鱼体从上一帧质心坐标指向当前帧质心坐标的向量的方向。帧数N≥3时，分析帧内所有连通域，先检查当前帧连通域数目是否等于预设鱼体数，若等于，说明未发生遮挡，可进行追踪。对于编号为N的鱼体追踪方式为，将当前帧所有连通域全部作为候选对象，排除面积大于m*(1+R)或小于m*(1-R)的连通域，而后排除方向角与上一帧的方向角差值大于D的连通域，在剩下的候选连通域中，分别计算这些连通域质心坐标与鱼体N在上一帧的坐标的距离，距离最小的连通域即为当前帧的鱼体N。
图6为追踪示意图，在对于鱼B的追踪中，鱼A和鱼C都是干扰目标，如果只使用方向角的限制排除掉鱼A，使用最近邻法会与当前帧的鱼C关联，导致关联出错；如果先使用鱼体B的俯视面积信息来排除掉鱼C，再使用方向角的限制排除掉鱼A，最后使用最近邻法则可正确的完成鱼B的追踪。以图7中的4号鱼体为例，4号鱼体在帧数N＝2时(以下用上一帧代替帧数N＝2)的坐标(261.5,343.8)及面积(52像素面积)和方向(-1.5885)，方向是以arctan函数计算出来的弧度值表示的，需要根据帧数N＝3时(以下用当前帧代替帧数N＝3)连通域分析出来的连通域质心和面积信息来完成帧间匹配。首先根据4号鱼体在上一帧时的面积为52，预设的面积变化率为15％，在此范围之内的当前帧备选目标有面积分别为(54,52,43,46)四条鱼体，这是第一步筛选；接下来进行方向的筛选，以四条鱼当前帧的坐标与4号鱼体在上一帧的坐标，分别计算方向，4号鱼体在上一帧的方向值为-1.5885，预设的方向变化为45°，转化为弧度值以后,可得到4号鱼体在当前帧的方向值范围在[-2,3739,-0.8031]之间，则满足条件方向值的鱼体只剩方向值分别为-1.6643和-0.7763的两条鱼体；最后一步筛选即为计算最近邻的目标；经过三步筛选以后，满足三个条件的鱼体之坐标为(261.3,341.98),面积为52像素面积，当前帧的方向值为-1.6643，这样就完成了4号鱼体在帧数N＝2到帧数N＝3之间的追踪。
帧数N＝46时，当前帧内的连通域数目为9，小于预设鱼体数10，说明鱼体间发生了遮挡，即鱼体图像发生了部分重叠，且重叠的数条鱼体总俯视面积必然会大于其他未发生重叠的单个鱼体，因此只需利用这点，将俯视面积较大的斑点进行图像腐蚀，直至发生遮挡的斑点成功分离，过程如图5。腐蚀对于二者的质心坐标的影响可以忽略但无法复原发生遮挡鱼体的面积，因此在发生遮挡的该帧只更新方向不更新面积。将分离成功的鱼体质心坐标替换掉发生遮挡的鱼体坐标。再使用步骤8)中所使用的方法，在帧间最大角度变化的限制下使用最近邻法完成追踪。
帧数N＝450时，追踪结束，根据所记录的每一帧每条鱼之坐标，可以画出全局轨迹图，如图7所示。如果想了解某条鱼的速度与时间的关系，也可以根据该鱼体每一帧内的位移，画出时间位移图，在此之前需要根据鱼缸的真实大小以及在视频中所占的像素高宽，将像素换算成真实世界的距离，如本实施例中鱼缸长度36cm，在视频中长度约为1200像素点，那么每一像素长度约为0.03cm。如图8所示，是图7中4号鱼体在整个450帧(即15秒)内的时间速度图，横坐标是用帧数换算的时间，单位为秒，纵坐标为该帧内的位移。分析结果可以用于各种生物行为学研究，如了解鱼群对于场景的偏好，也可用于集群理论研究等。
本发明利用鱼体俯视面积在整个视频范围内不会发生大的变化，缩小追踪范围，同时选用简便的方式来表示鱼体的方向，根据鱼体在帧间方向不会有较大改变的自然规律下，再次缩小追踪范围，在此范围下使用最近邻法完成帧间关联，对于发生遮挡的鱼体采用腐蚀的方式进行分离。选用简便的方式来表示鱼体的方向，意味着不需要对鱼体图像的每一帧每一个联通域进行复杂计算即可得到关键信息(鱼体方向)，极大的减少了计算量。对于帧间信息的关联，也无需使用各种复杂的预测算法。两个约束条件确保了较高的追踪精确度，图像腐蚀解决遮挡则使追踪轨迹更加细致。本发明在对于10条鱼450帧和对于20条鱼200帧的追踪中，都达到了99％以上的追踪准确率，具体结果如表1所示。
表1
鱼体数目(条) 总帧数 发生遮挡帧数 遮挡解决数目(个) 追踪准确率(％)
10 450 5 5 100
20 198 7 7 99
本发明提供一种简单通用的鱼群视频图像轨迹追踪方法。利用鱼体在二维平面游动时鱼体俯视角的面积几乎保持不变，以及鱼体游动方向短时间(如连续两帧)内不可能发生突变这两条特性，结合最近邻法进行鱼群追踪。在追踪某条鱼时，利用该条鱼的历史信息(俯视面积和方向)，首先排除俯视面积差别较大的鱼体；而后采用连续两帧的鱼体质心连线作为鱼体的游动方向，排除方向角差别过大的目标；最后采用最邻近法对鱼体坐标位置进行前后帧间关联处理，完成多条鱼的追踪。本发明还采用图像腐蚀的方法，解决鱼体之间相互遮挡的问题。相较于传统的鱼群跟踪方法(使用卡尔曼滤波，粒子滤波等对鱼体进行预测，将与预测位置最近的实际位置分配给相应的目标；或使用深度学习，将每一条鱼体区分开来)，本发明具有计算量小、计算速度快等优点，且对于各种大小不同种类的鱼群均可实现有效、精确的追踪。本发明对于鱼类追踪具有普适性，可用于各类实验室鱼类行为学的研究，以获取生物群体精确的行动轨迹，构建生物活动模型，或者辅助验证假说。

Claims (10)

1.一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于包括以下步骤：
1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；
2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；
3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；
4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；
5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；
6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；
7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向；
8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；
9)对所有帧所要追踪的鱼体追踪结束后，输出所有鱼体的轨迹并绘图。
2.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤1)中，所述鱼群视频是以俯视角拍摄获取，无多余视觉干扰，如水质不清澈或水面反光，以保持鱼体的表面特征在追踪过程中在摄像头下尽量不变，从而获取更好的追踪效果。
3.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤1)中，所述鱼群视频，采用帧率30Hz，视频像素大于576×720，以确保每一条鱼在视频中的长度大于等于15像素，鱼体数目不超过20条。
4.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤2)中，所述获取背景图像是使用时域中值滤波方法获取背景图像B；
B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}
其中，Pt为图像中的每一个像素点。
5.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤4)中，所述二值化采用最大类间方差法来确定最佳的自适应分割阈值，以保证更好的分割效果。
6.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤5)中，所述中值滤波方式是以3×3或5×5为单元块进行的，即用像素点3×3或5×5的邻域灰度值中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点。
7.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤6)中，所述帧间最大方向角度变化为0～2π，通常小于
Figure FDA0002655493660000021
优选45°；所述最大鱼体面积变化率为0～100％，通常小于15％，优选0.15；最大帧间方向变化值和最大鱼体面积变化率可根据不同鱼种游动的实际情况进行适当调整，直至获取到满意的跟踪效果。
8.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤7)中，所述选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向的具体步骤为：选定未发生遮挡的一帧图像作为第一帧，帧数N＝1，分析帧内所有连通域，由于没有发生遮挡，因此每一个连通域必然对应单独的一条鱼体，连通域的面积即为鱼体的俯视面积，给所有鱼体连通域编号，并记录鱼体俯视面积和质心坐标，帧数N＝2时开始记录每条鱼体的方向。
9.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤8)中，所述追踪的方法为：将当前帧所有连通域全部作为候选连通域，排除面积大于s×(1+R)或小于s×(1-R)的连通域，s为上一帧的更新完成后所记录的鱼体m的俯视面积，而后排除方向角与上一帧的方向角度差值大于最大帧间方向变化值的连通域，在剩下的候选连通域中，分别计算这些连通域的质心坐标与鱼体m在上一帧的坐标的距离，其中，距离最小的连通域即为当前帧的鱼体m。
10.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤9)中，所述所有鱼体的轨迹包括所有鱼体的全局轨迹、单体轨迹和单体速度。
CN202010885653.8A 2020-08-28 2020-08-28 一种简单通用的鱼群视频图像轨迹追踪方法 Pending CN111968159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885653.8A CN111968159A (zh) 2020-08-28 2020-08-28 一种简单通用的鱼群视频图像轨迹追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885653.8A CN111968159A (zh) 2020-08-28 2020-08-28 一种简单通用的鱼群视频图像轨迹追踪方法

Publications (1)

Publication Number Publication Date
CN111968159A true CN111968159A (zh) 2020-11-20

Family

ID=73400619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885653.8A Pending CN111968159A (zh) 2020-08-28 2020-08-28 一种简单通用的鱼群视频图像轨迹追踪方法

Country Status (1)

Country Link
CN (1) CN111968159A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396626A (zh) * 2020-12-24 2021-02-23 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN112967313A (zh) * 2021-02-10 2021-06-15 华北水利水电大学 一种基于运动图像回溯的床面颗粒辨识追踪方法
CN112967318A (zh) * 2021-03-23 2021-06-15 武汉大学 一种电场中鱼类行为的分析方法、装置及设备
CN115049692A (zh) * 2022-08-15 2022-09-13 山东万牧农业科技有限公司郯城分公司 模拟自然生态的海洋水产养殖光照智能调节方法及系统
TWI801911B (zh) * 2021-06-18 2023-05-11 國立臺灣海洋大學 水中生物辨識方法及系統
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447672A (zh) * 2016-09-14 2017-02-22 燕山大学 一种交叉遮挡鱼体识别计数方法
CN107066931A (zh) * 2017-01-12 2017-08-18 张家港全智电子科技有限公司 一种基于监控视频的目标轨迹跟踪方法
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447672A (zh) * 2016-09-14 2017-02-22 燕山大学 一种交叉遮挡鱼体识别计数方法
CN107066931A (zh) * 2017-01-12 2017-08-18 张家港全智电子科技有限公司 一种基于监控视频的目标轨迹跟踪方法
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁永明等: "基于图像处理的鱼群运动监测方法研究", 《南方水产科学》, vol. 14, no. 5, pages 1 - 2 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396626A (zh) * 2020-12-24 2021-02-23 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN112396626B (zh) * 2020-12-24 2023-06-27 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN112967313A (zh) * 2021-02-10 2021-06-15 华北水利水电大学 一种基于运动图像回溯的床面颗粒辨识追踪方法
CN112967313B (zh) * 2021-02-10 2024-02-20 华北水利水电大学 一种基于运动图像回溯的床面颗粒辨识追踪方法
CN112967318A (zh) * 2021-03-23 2021-06-15 武汉大学 一种电场中鱼类行为的分析方法、装置及设备
CN112967318B (zh) * 2021-03-23 2023-09-15 武汉大学 一种电场中鱼类行为的分析方法、装置及设备
TWI801911B (zh) * 2021-06-18 2023-05-11 國立臺灣海洋大學 水中生物辨識方法及系統
CN115049692A (zh) * 2022-08-15 2022-09-13 山东万牧农业科技有限公司郯城分公司 模拟自然生态的海洋水产养殖光照智能调节方法及系统
CN115049692B (zh) * 2022-08-15 2022-12-16 山东万牧农业科技有限公司郯城分公司 模拟自然生态的海洋水产养殖光照智能调节方法及系统
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统
CN117218161B (zh) * 2023-11-09 2024-01-16 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN111968159A (zh) 一种简单通用的鱼群视频图像轨迹追踪方法
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
CN110580472B (zh) 一种基于全卷积网络和条件对抗网络的视频前景检测方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Atienza-Vanacloig et al. Vision-based discrimination of tuna individuals in grow-out cages through a fish bending model
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
CN109993770B (zh) 一种自适应时空学习与状态识别的目标跟踪方法
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
Huang et al. Fish tracking and segmentation from stereo videos on the wild sea surface for electronic monitoring of rail fishing
CN111126190B (zh) 一种基于自由能理论和动态纹理分析的伪装人脸识别方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN104200492B (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Liu et al. A high-density fish school segmentation framework for biomass statistics in a deep-sea cage
CN112233145A (zh) 一种基于rgb-d时空上下文模型的多目标遮挡跟踪方法
Hammami et al. A comparative study of proposed moving object detection methods
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
Shah et al. An enhanced YOLOv5 model for fish species recognition from underwater environments
Winkler et al. Activity Segmentation and Fish Tracking from Sonar Videos by combining Artifacts Filtering and a Kalman Approach
CN106651921B (zh) 运动检测方法及躲避和跟踪运动目标的方法
CN108038872B (zh) 一种基于动静态目标检测与实时压缩感知追踪研究方法
CN104616323A (zh) 一种基于慢特征分析的时空显著性检测方法
Kumar et al. Saliency subtraction inspired automated event detection in underwater environments
Zhang et al. In situ holothurian noncontact counting system: A general framework for holothurian counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination