CN117218161B - 一种鱼缸内鱼类轨迹跟踪方法及系统 - Google Patents
一种鱼缸内鱼类轨迹跟踪方法及系统 Download PDFInfo
- Publication number
- CN117218161B CN117218161B CN202311482134.7A CN202311482134A CN117218161B CN 117218161 B CN117218161 B CN 117218161B CN 202311482134 A CN202311482134 A CN 202311482134A CN 117218161 B CN117218161 B CN 117218161B
- Authority
- CN
- China
- Prior art keywords
- fish
- frame
- active video
- video frame
- search window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000001133 acceleration Effects 0.000 claims abstract description 69
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及鱼类轨迹方向跟踪技术领域，具体涉及一种鱼缸内鱼类轨迹跟踪方法及系统。该方法首先对鱼缸内鱼类的活动视频帧进行角点检测，得到鱼类特征点；对鱼类特征点的运动数据进行分析，得到鱼类加速度和鱼类运动方向；基于鱼类加速度确定搜索窗口的边长；将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口；根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点；基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪。本发明对鱼类的活动视频帧进行分析，实现对光流法搜索窗口大小的调整，增强窗口整体的一致性，提高了轨迹跟踪的准确性，同时减少了光流法的运算量。
Description
技术领域
本发明涉及鱼类轨迹方向跟踪技术领域，具体涉及一种鱼缸内鱼类轨迹跟踪方法及系统。
背景技术
在鱼类饲养以及研究的过程中，通常需要对鱼类的行为模式做出分析和判断，例如对鱼类行为获取的环节中，常常需要对鱼类的活动轨迹进行跟踪，通过轨迹了解鱼类的状态特征和行为习惯。
目前常见的，对鱼类轨迹进行跟踪的过程中，通常采用光流法实现对物体跟踪的目的。其光流计算是一种基于像素间强度变化的方法，窗口大小用于确定计算光流的像素邻域范围，窗口大小也可以说是决定了在当前帧中寻找与之前帧中的特征点相匹配的对应点时所考虑的像素邻域的大小。光流法通常以一个固定大小的窗口为基础在图片中进行搜索。但是当生物或物体大小的变化或者运动速度变快时，固定窗口大小就可能不能精准地实现轨迹跟踪。窗口的尺寸太大会违背空间一致性假设并且计算量大，计算复杂度高，窗口的尺寸太小又会追踪不到窗口外的点。
发明内容
为了解决在光流法中，固定窗口大小可能不能精准地实现轨迹跟踪的技术问题，本发明的目的在于提供一种鱼缸内鱼类轨迹跟踪方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种鱼缸内鱼类轨迹跟踪方法，该方法包括以下步骤：
获取鱼缸内鱼类的活动视频帧；
对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点；
根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度；
根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向；
基于鱼类加速度确定搜索窗口的边长；将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口；根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点；
基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪。
优选的，所述对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点，包括：
利用ShiTomasi角点检测的方法，对活动视频帧进行角点检测，得到活动视频帧中的角点，记为鱼类特征点。
优选的，所述根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度，包括：
获取相邻帧活动视频帧中相对应的鱼类特征点之间的平均距离除以相邻帧活动视频帧的采样时间间隔，得到鱼类特征点的加速度；
根据之前帧活动视频帧中鱼类特征点的加速度，对当前帧活动视频帧中鱼类特征点的鱼类加速度进行预测，得到当前帧活动视频帧内鱼类特征点的鱼类加速度。
优选的，所述当前帧活动视频帧内鱼类特征点的鱼类加速度的计算公式为：
其中，为预测第z帧活动视频帧内鱼类特征点的鱼类加速度；/>为加速度加权平均的超参数；/>为第z-2帧和之前帧活动视频帧中鱼类特征点的加速度指数加权求平均；/>为第z-1帧活动视频帧中鱼类特征点的加速度。
优选的，所述根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向，包括：
获取当前帧和前一帧活动视频帧中所有对应的鱼类特征点的运动方向与水平向右方向的夹角的均值，作为运动方向角；将相邻两帧活动视频帧对应的运动方向角的差值，作为可参考方向角；
将当前帧和前一帧活动视频帧的可参考方向角加上前一帧和前两帧活动视频帧对应的可参考方向角，得到鱼类运动方向角，将鱼类运动方向角对应的方向作为当前帧的鱼类特征点的鱼类运动方向。
优选的，所述基于鱼类加速度确定搜索窗口的边长，包括：
将两倍的鱼类加速度的值作为搜索窗口的边长。
优选的，所述将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口，包括：
根据上一帧活动视频帧内鱼类运动方向、鱼类加速度和相邻帧采样时间间隔，确定当前帧活动视频帧中鱼类的预测位置；
滑窗窗口的边的方向与鱼类运动方向保持一致，并沿着鱼类运动方向滑动；将窗口的中心从鱼类的预测位置到上一帧的鱼类特征点进行遍历，计算每个滑窗窗口对应的运动离散性；选取运动离散性最小的窗口作为搜索窗口。
优选的，所述每个滑窗窗口对应的运动离散性的计算公式为：
其中，为第w个滑窗窗口对应的运动离散性；/>为第z帧活动视频帧中搜索窗口的边长；/>为第w个滑窗窗口内第v个像素点的灰度值随时间变化的偏导数；/>为第w个滑窗窗口内第v个像素点的灰度值的偏导数；/>为第w个滑窗窗口内第v个像素点的单一离散性；/>为第w个窗口内所有像素点的单一离散性的均值。
优选的，所述根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点，包括：
计算搜索窗口中各像素点的离散性，该离散性的计算公式为：
其中，为搜索窗口中第v个像素点的离散性权重；max为最大值函数；/>为搜索窗口对应的运动离散性；/>为去除搜索窗口内第v个像素点后计算的运动离散性；
基于离散性权重，对搜索窗口内的像素点进行聚类，得到两个聚类簇，计算两个聚类簇内像素点的离散性均值；将离散性均值最小的聚类簇对应的像素点进行剔除。
第二方面，本发明一个实施例提供了一种鱼缸内鱼类轨迹跟踪系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种鱼缸内鱼类轨迹跟踪方法。
本发明实施例至少具有如下有益效果：
本发明涉及鱼类轨迹方向跟踪技术领域。由于光流法在对鱼类进行追踪时，当鱼类的运动速度与搜索窗口大小不匹配时，会追踪不到窗口外的特征点，所以光流法的搜索窗口内需要包含当前帧内特征点的位置。该方法首先对鱼缸内鱼类的活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点，进而对鱼类特征点的运动数据进行分析，确定鱼类加速度和鱼类运动方向；基于鱼类加速度确定搜索窗口的边长，将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口，实现对光流法的搜索窗口的大小进行调整，使用光流法的前提为空间一致性，即局部区域的像素运动是一致的，当鱼类交汇或者鱼类特征点附近被物体遮挡时会违背空间一致性原则，故本发明根据局部区域的空间一致性进行计算，选择空间一致性最强的窗口。在得到搜索窗口之后，对空间一致性较弱的像素点进行剔除，从而增强窗口整体的空间一致性，同时减少光流法的运算量，基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪。本发明对鱼类的活动视频帧进行分析，实现对光流法搜索窗口大小的调整，增强窗口整体的一致性，提高了轨迹跟踪的准确性，同时减少了光流法的运算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种鱼缸内鱼类轨迹跟踪方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种鱼缸内鱼类轨迹跟踪方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种鱼缸内鱼类轨迹跟踪方法及系统的具体实施方法，该方法适用于鱼类轨迹跟踪场景。该场景下通过摄像机采集鱼缸内鱼类的活动视频，利用光流法对鱼类的活动轨迹进行跟踪时，通过自适应调节光流法的搜索窗口位置及大小，实现对鱼类轨迹的精准跟踪。为了解决在光流法中，固定窗口大小可能不能精准地实现轨迹跟踪的技术问题。本发明根据特征点的运动数据进行分析，预测特征点在当前帧的位置信息，对光流法搜索窗口的大小进行调整；根据局部区域的空间一致性进行计算，选择空间一致性最强的窗口，并对空间一致性较弱的像素点进行剔除，从而增强窗口整体的空间一致性，同时减少光流法的运算量。
下面结合附图具体的说明本发明所提供的一种鱼缸内鱼类轨迹跟踪方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种鱼缸内鱼类轨迹跟踪方法的步骤流程图，该方法包括以下步骤：
步骤S100，获取鱼缸内鱼类的活动视频帧。
本发明利用可以采用30帧每秒的摄像机对鱼缸内鱼类的活动视频进行采集，将摄像机架设与鱼缸正前方，使得录像机可以完整采集鱼缸内的图像。调整视频采集环境光照，使得环境光均匀，尽量减少光照对视频采集和数据处理的影响。之后，对鱼类的活动视频进行采集。
对获取到的鱼类的活动视频进行分帧操作；提取每一帧的RGB图像，对每一帧RGB图像进行灰度化处理，将得到的灰度体系那个作为鱼缸内鱼类的活动视频帧。
步骤S200，对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点。
在得到多帧活动视频帧之后，利用ShiTomasi角点检测的方法，对活动视频帧进行角点检测，得到活动视频帧中的角点，记为鱼类特征点。
首先利用e×e的Lucas Kanade光流法搜索窗口，在本发明实施例中e的取值为15，在其他实施例中可由实施者根据实际情况调整该取值。需要说明的是，在本发明实施例中对特征点进行前10帧的轨迹跟踪，得到前10帧的每一帧活动视频帧中热整点的位置信息，从而获取特征点在10帧内的运动轨迹，用于后续的特征分析。
步骤S300，根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度。
由于鱼类的前进的过程中，有可能均速、加速、减速或者静止不懂，其前进的速度可能发明改变。但是摄像机在以30帧每秒的速率对其运动状态进行采集时，由于每两帧采集时间间隔极短，即可认为特征点此刻在前进时的加速度与前几帧保持不变。故可根据特征点的前几帧的位置以及运动状态，预测此刻特征点可能存在的位置，进而确定窗口的大小和方向。
光流法具有空间一致性的基本前提，故窗口内的像素点在两帧运动前后的运动速度具有一致性，根据窗口内运动速度一致性原则，选择最适窗口位置。同时将运动速度不一致的像素点剔除，减少光流法的计算误差，同时减少运算量，提高运算效率。
本发明对采集的鱼缸内鱼类的活动视频帧进行处理，获得光流法自适应窗口的过程为：根据特征点的前几帧运动状态计算自适应窗口的大小和方向。根据窗口内像素点运动的一致性选择最适搜索窗口。
首先根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度。
摄像机在对鱼的状态进行视频拍摄采集时，由于每两帧活动视频帧的采集时间间隔很短，所以可认为鱼在此帧与上一帧内的运动加速度保持不变。
但是只使用当前帧的前一帧的加速度大小作为当前帧的加速度大小，噪声的影响可能会比较大，所以对前n帧的加速度大小，使用指数加权平均的方法，进行前n帧的加速度大小值的平滑，降低噪声的影响，进而为了进一步降低干扰，选择当前帧附近的多帧的加速度，用于当前帧的加速度预估。
获取鱼类加速度的步骤首先，获取相邻帧活动视频帧中相对应的鱼类特征点之间的平均距离除以相邻活动视频帧采样时间间隔，得到鱼类特征点的加速度；进一步的，根据之前帧活动视频帧中鱼类特征点的加速度，对当前帧活动视频帧中鱼类特征点的鱼类加速度进行预测，得到当前帧活动视频帧内鱼类特征点的鱼类加速度。
该当前帧活动视频帧内鱼类特征点的鱼类加速度的计算公式为：
其中，为预测第z帧活动视频帧内鱼类特征点的鱼类加速度；/>为加速度加权平均的超参数；/>为第z-2帧和之前帧活动视频帧中鱼类特征点的加速度指数加权求平均；/>为第z-1帧活动视频帧中鱼类特征点的加速度。且在本发明实施例中之前帧活动视频帧，仅指的是前10帧的活动视频帧。
利用近几帧的鱼类特征点位置计算鱼类运动的加速度，根据加速度的指数加权平均的方法预测鱼类的此帧运动加速度。其中，加速度加权平均的超参数的范围为0<β<1，在本发明实施例中加速度加权平均的超参数的取值为0.9，在其他实施例中可由实施者根据实际情况调整该取值。该超参数越小，附近活动视频帧的加速度权重越大，受噪声的影响越大。该超参数越大，会多平均一些帧的加速度。根据附近活动视频帧特征点的加速度进行指数加权平均，将其作为当前帧的加速度，一定程度上避免了噪声的影响。
根据当前帧活动视频帧加速度的预测值，可根据上一帧的速度与拍摄间隔预测出当前帧的特征点相比上一帧特征点的位移距离。
步骤S400，根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向。
鱼类的游动方向是连续变化的，具有连续性的特征，根据鱼类游动方向的变化，预测特征点在当前帧的移动方向，从而确定搜索窗口的最小尺寸。
由于采集两帧图像的间隔较短，鱼类的速度方向不会发生很大变化，所以根据前几帧的速度方向变化率来判断速度方向变化的趋势。已知此前几帧的特征点位置，根据前几帧特征点的位置，获得两帧间特征点的运动方向与横向方向的夹角，以其夹角表示运动方向。相邻帧运动方向差值除以时间即可获得方向随时间的变化率，利用拍摄时间较短，方向变化率不大的特性，利用时间变化率乘以时间加上前帧的上一帧特征点位移方向，从而获得的当前帧的特征点运动方向。
鱼类运动方向的更具体获取方法为：获取当前帧和前一帧活动视频帧中所有对应的鱼类特征点的运动方向与水平向右方向的夹角的均值，作为前一帧的运动方向角；将相邻两帧活动视频帧对应的运动方向角的差值，作为可参考方向角；将当前帧和前一帧活动视频帧的可参考方向角加上前一帧和前第二帧活动视频帧对应的可参考方向角，得到鱼类运动方向角，将鱼类运动方向角对应的方向作为当前帧的鱼类特征点的鱼类运动方向。
步骤S500，基于鱼类加速度确定搜索窗口的边长；将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口；根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点。
鱼类在运动时，以上计算可能无法精准预测鱼类特征点的运动方向和位移距离，所以以上述方式预测的当前帧特征点位置可能存在些许偏差，故将后续预测的特征点的位置作为参考，确定搜索窗口的大小和方向。
基于鱼类加速度确定搜索窗口的边长，具体的：将两倍的鱼类加速度作为搜索窗口的边长。滑窗窗口方向的x轴则沿着得到的鱼类运动方向滑动。
此时窗口在包含预测位置的同时，同时可以容纳运动的预测偏差。此时，只需确定搜索窗口的中心位置，即可确定当前帧的搜索窗口。
由于光流法的假设前提为空间一致性，即局部区域的像素运动是一致的。在鱼类特征点的追踪过程中，可能出现两鱼交汇，窗口中可能含有不属于相同的表面部分点，其不具有相似的移动，对光流法的假设前提的符合性较差。
故需要在确保搜索窗口包含当前帧预测位置以及上一帧特征点位置的前提下，使得搜索窗口内部的像素点运动速度近似，即运动速度的离散程度越小，则该搜索窗口使得光流法的追踪效果越准确。
鱼类在当前帧活动视频帧内的实际位移方向，可能向预测位移方向的两侧产生些许偏离，当窗口的中心在搜索窗口的连线上运动时，其包含特征点在上一帧活动视频帧的位置，且实际特征点位置在预测特征点位置的附近，对偏差的容纳性最好，光流法计算的特征点位置会更加准确。
首先根据上一帧活动视频帧内鱼类运动方向、鱼类加速度和相邻帧采样时间间隔，确定当前帧活动视频帧中鱼类的预测位置，具体的：将鱼类加速度和相邻帧采样时间间隔的乘积作为位移距离，将上一帧活动视频帧中鱼类特征点作为起点，沿着鱼类运动方向移动该位移距离的长度得到一个点，将该点作为当前帧活动视频帧中鱼类的预测位置。
滑窗窗口的边的方向与鱼类运动方向保持一致，并沿着鱼类运动方向滑动；将窗口的中心从当前帧鱼类的预测位置到上一帧中对应的鱼类特征点进行遍历，计算每个滑窗窗口对应的运动离散性；选择运动离散性最小的窗口作为搜索窗口。
该运动离散性的计算公式为：
其中，为第w个滑窗窗口对应的运动离散性；/>为第z帧活动视频帧中搜索窗口的边长；/>为第w个滑窗窗口内第v个像素点的灰度值随时间变化的偏导数；/>为第w个滑窗窗口内第v个像素点的灰度值的偏导数；/>为第w个滑窗窗口内第v个像素点的单一离散性；/>为第w个窗口内所有像素点的单一离散性的均值。
在窗口遍历的过程中，像素运动速度离散度最小的窗口最符合光流法的假设条件。
在得到每个滑窗窗口对应的运动离散性后，选择运动离散性最小的窗口作为搜索窗口。
选择遍历窗口中的最小值所对应的窗口作为搜索窗口，但是当两鱼交汇或者跟踪的特征点搜索窗口被其他物体遮挡时，窗口内的部分像素点将不符合光流法运动离散性的基本要求，当利用运动离散性联立方程时，由于部分像素点的运动非一致性，使得计算结果产生偏差，故需要将运动速度不具有一致性的像素点剔除，从而使得光流法的计算结果更加准确。
在得到搜索窗口后，进一步，根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点，具体的：
首先计算搜索窗口中各像素点的离散性，该离散性的计算公式为：
其中，为搜索窗口中第v个像素点的离散性权重；max为最大值函数；/>为搜索窗口对应的运动离散性；/>为去除搜索窗口内第v个像素点后计算的运动离散性。
表示搜索窗口中第v个像素点在离散程度的计算过程中所占的权重，其值为0时，说明其速度与大部分像素点的速度一致，其值不为0则说明其与大部分像素点的运动速度有部分偏差，其值越大，偏差程度越大，其越不满足运动一致性。
越不具有运动一致性的像素点，即其运动速度与大部分像素点的运动速度偏差越大，其越不可能属于相同的表面。所以利用k-means聚类算法，基于每个像素点对应的离散性权重，对搜索窗口中的像素点进行k=2的聚类，剔除在窗口内运动速度偏差过大的像素点，从而得到窗口内剩余的连通域窗口灰度矩阵/>从而减少计算误差，同时减少光流法的运算量，具体的也即为基于离散性权重，对搜索窗口内的像素点进行聚类，得到两个聚类簇，计算两个聚类簇内像素点的离散性均值；将离散性均值最小的聚类簇对应的像素点进行剔除。
在得到搜索窗口中每个像素点对应的离散性之后，也即通过对窗口内像素点运动速度一致性的分析之后，确定了光流法的搜索窗口，同时减少了光流法的运算量。
步骤S600，基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪。
输入前一帧灰度图像和特征点位置、以及当前帧的灰度图像，利用所得的自适应窗口中的灰度矩阵，也即为利用剔除部分像素点后的搜索窗口，作为光流法当前帧的搜索窗口，其余输入值保持默认，即可得到当前帧中特征点的准确位置，当前帧的位置与前一帧活动视频帧中鱼类特征点的位置连线即为特征点在一帧内的运动轨迹。进而重复利用光流法，即可获得视频中特征点的运动轨迹。特征点的运动轨迹即可作为鱼类的运动轨迹，进而得到了鱼类的完整运动轨迹。
综上所述，本发明涉及鱼类轨迹方向跟踪技术领域。该方法首先获取鱼缸内鱼类的活动视频帧；对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点；根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度；根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向；基于鱼类加速度确定搜索窗口的边长；将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口；根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点；基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪。本发明对鱼类的活动视频帧进行分析，实现对光流法搜索窗口大小的调整，增强窗口整体的一致性，同时减少了光流法的运算量。
本发明实施例还提出了一种鱼缸内鱼类轨迹跟踪系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种鱼缸内鱼类轨迹跟踪方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (6)
1.一种鱼缸内鱼类轨迹跟踪方法，其特征在于，该方法包括以下步骤：
获取鱼缸内鱼类的活动视频帧；
对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点；
根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度；
根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向；
基于鱼类加速度确定搜索窗口的边长；将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口；根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点；
基于剔除部分像素点后的搜索窗口，利用光流法对鱼类的活动视频帧中的鱼类进行轨迹跟踪；
其中，基于鱼类加速度确定搜索窗口的边长，包括：将两倍的鱼类加速度的值作为搜索窗口的边长；
其中，将鱼类运动方向上对应区域内运动速度离散情况最小的窗口作为搜索窗口，包括：根据上一帧活动视频帧内鱼类运动方向、鱼类加速度和相邻帧采样时间间隔，确定当前帧活动视频帧中鱼类的预测位置；滑窗窗口的边的方向与鱼类运动方向保持一致，并沿着鱼类运动方向滑动；将窗口的中心从鱼类的预测位置到上一帧的鱼类特征点进行遍历，计算每个滑窗窗口对应的运动离散性；选取运动离散性最小的窗口作为搜索窗口；
其中，每个滑窗窗口对应的运动离散性的计算公式为：
其中，为第w个滑窗窗口对应的运动离散性；/>为第z帧活动视频帧中搜索窗口的边长；/>为第w个滑窗窗口内第v个像素点的灰度值随时间变化的偏导数；/>为第w个滑窗窗口内第v个像素点的灰度值的偏导数；/>为第w个滑窗窗口内第v个像素点的单一离散性；/>为第w个窗口内所有像素点的单一离散性的均值；
其中，根据搜索窗口内像素点的离散情况，剔除搜索窗口内的部分像素点，包括：
计算搜索窗口中各像素点的离散性，该离散性的计算公式为：
其中，为搜索窗口中第v个像素点的离散性权重；max为最大值函数；/>为搜索窗口对应的运动离散性；/>为去除搜索窗口内第v个像素点后计算的运动离散性；
基于离散性权重，对搜索窗口内的像素点进行聚类，得到两个聚类簇，计算两个聚类簇内像素点的离散性均值；将离散性均值最小的聚类簇对应的像素点进行剔除。
2.根据权利要求1所述的一种鱼缸内鱼类轨迹跟踪方法，其特征在于，所述对活动视频帧进行角点检测，得到活动视频帧中的鱼类特征点，包括：
利用ShiTomasi角点检测的方法，对活动视频帧进行角点检测，得到活动视频帧中的角点，记为鱼类特征点。
3.根据权利要求1所述的一种鱼缸内鱼类轨迹跟踪方法，其特征在于，所述根据当前帧和上一帧活动视频帧中鱼类特征点之间的距离，确定当前帧活动视频帧内鱼类特征点的鱼类加速度，包括：
获取相邻帧活动视频帧中相对应的鱼类特征点之间的平均距离除以相邻帧活动视频帧的采样时间间隔，得到鱼类特征点的加速度；
根据之前帧活动视频帧中鱼类特征点的加速度，对当前帧活动视频帧中鱼类特征点的鱼类加速度进行预测，得到当前帧活动视频帧内鱼类特征点的鱼类加速度。
4.根据权利要求3所述的一种鱼缸内鱼类轨迹跟踪方法，其特征在于，所述当前帧活动视频帧内鱼类特征点的鱼类加速度的计算公式为：
其中，为预测第z帧活动视频帧内鱼类特征点的鱼类加速度；/>为加速度加权平均的超参数；/>为第z-2帧和之前帧活动视频帧中鱼类特征点的加速度指数加权求平均；为第z-1帧活动视频帧中鱼类特征点的加速度。
5.根据权利要求1所述的一种鱼缸内鱼类轨迹跟踪方法，其特征在于，所述根据当前帧和上一帧活动视频帧中特征点的鱼类位移方向，确定当前帧活动视频帧内鱼类特征点的鱼类运动方向，包括：
获取当前帧和前一帧活动视频帧中所有对应的鱼类特征点的运动方向与水平向右方向的夹角的均值，作为运动方向角；将相邻两帧活动视频帧对应的运动方向角的差值，作为可参考方向角；
将当前帧和前一帧活动视频帧的可参考方向角加上前一帧和前两帧活动视频帧对应的可参考方向角，得到鱼类运动方向角，将鱼类运动方向角对应的方向作为当前帧的鱼类特征点的鱼类运动方向。
6.一种鱼缸内鱼类轨迹跟踪系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~5任意一项所述一种鱼缸内鱼类轨迹跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482134.7A CN117218161B (zh) | 2023-11-09 | 2023-11-09 | 一种鱼缸内鱼类轨迹跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482134.7A CN117218161B (zh) | 2023-11-09 | 2023-11-09 | 一种鱼缸内鱼类轨迹跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218161A CN117218161A (zh) | 2023-12-12 |
| CN117218161B true CN117218161B (zh) | 2024-01-16 |
Family
ID=89044788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311482134.7A Active CN117218161B (zh) | 2023-11-09 | 2023-11-09 | 一种鱼缸内鱼类轨迹跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218161B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456428B (zh) * | 2023-12-22 | 2024-03-29 | 杭州臻善信息技术有限公司 | 基于视频图像特征分析的垃圾投放行为检测方法 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054329A (ko) * | 2000-06-01 | 2000-09-05 | 이성환 | 동영상 데이터상의 객체 추적 방법 |
| CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
| KR20120107698A (ko) * | 2011-03-22 | 2012-10-04 | 부산대학교 산학협력단 | 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법 |
| CN102737385A (zh) * | 2012-04-24 | 2012-10-17 | 中山大学 | 一种基于camshift和卡尔曼滤波的视频目标跟踪方法 |
| WO2013021275A1 (en) * | 2011-08-10 | 2013-02-14 | Yitzchak Kempinski | A method for optimizing size and position of a search window of a tracking system |
| CN105374049A (zh) * | 2014-09-01 | 2016-03-02 | 浙江宇视科技有限公司 | 一种基于稀疏光流法的多角点跟踪方法及装置 |
| CN107742305A (zh) * | 2017-10-17 | 2018-02-27 | 张家港全智电子科技有限公司 | 一种基于时空约束的轨迹提取方法 |
| CN107862704A (zh) * | 2017-11-06 | 2018-03-30 | 广东工业大学 | 一种目标跟踪方法、系统及其使用的云台相机 |
| CN108198205A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 一种基于Vibe和Camshift算法的目标跟踪方法 |
| CN108681243A (zh) * | 2018-05-03 | 2018-10-19 | 南京理工大学 | 一种机器人轨迹跟踪方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN109917373A (zh) * | 2019-04-04 | 2019-06-21 | 电子科技大学 | 运动补偿搜索的动平台雷达的动态规划检测前跟踪方法 |
| CN110009665A (zh) * | 2019-03-12 | 2019-07-12 | 华中科技大学 | 一种遮挡环境下的目标检测跟踪方法 |
| DE102018202360A1 (de) * | 2018-02-15 | 2019-08-22 | Robert Bosch Gmbh | Verfahren zum Verfolgen eines Objekts in einem optischen Suchfenster einer Kamera für ein Fahrzeug |
| CN110646792A (zh) * | 2019-11-04 | 2020-01-03 | 中国人民解放军空军工程大学 | 一种基于观察哨数字望远镜的雷达搜索窗口设置方法 |
| CN111780781A (zh) * | 2020-06-23 | 2020-10-16 | 南京航空航天大学 | 基于滑动窗口优化的模板匹配视觉和惯性组合里程计 |
| CN111968159A (zh) * | 2020-08-28 | 2020-11-20 | 厦门大学 | 一种简单通用的鱼群视频图像轨迹追踪方法 |
| CN113592914A (zh) * | 2021-09-28 | 2021-11-02 | 南京天朗防务科技有限公司 | 红外弱小飞行目标自适应检测跟踪方法、装置 |
| CN114610023A (zh) * | 2022-02-21 | 2022-06-10 | 武汉理工大学 | 一种无人船路径跟踪控制方法 |
| CN114721413A (zh) * | 2022-03-25 | 2022-07-08 | 江苏理工学院 | 无人机及其避障方法、避障装置 |
| CN116363494A (zh) * | 2023-05-31 | 2023-06-30 | 睿克环境科技(中国)有限公司 | 一种鱼类数量监测、洄游跟踪的方法和系统 |
-
2023
- 2023-11-09 CN CN202311482134.7A patent/CN117218161B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054329A (ko) * | 2000-06-01 | 2000-09-05 | 이성환 | 동영상 데이터상의 객체 추적 방법 |
| CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
| KR20120107698A (ko) * | 2011-03-22 | 2012-10-04 | 부산대학교 산학협력단 | 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법 |
| WO2013021275A1 (en) * | 2011-08-10 | 2013-02-14 | Yitzchak Kempinski | A method for optimizing size and position of a search window of a tracking system |
| CN102737385A (zh) * | 2012-04-24 | 2012-10-17 | 中山大学 | 一种基于camshift和卡尔曼滤波的视频目标跟踪方法 |
| CN105374049A (zh) * | 2014-09-01 | 2016-03-02 | 浙江宇视科技有限公司 | 一种基于稀疏光流法的多角点跟踪方法及装置 |
| CN107742305A (zh) * | 2017-10-17 | 2018-02-27 | 张家港全智电子科技有限公司 | 一种基于时空约束的轨迹提取方法 |
| CN107862704A (zh) * | 2017-11-06 | 2018-03-30 | 广东工业大学 | 一种目标跟踪方法、系统及其使用的云台相机 |
| CN108198205A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 一种基于Vibe和Camshift算法的目标跟踪方法 |
| DE102018202360A1 (de) * | 2018-02-15 | 2019-08-22 | Robert Bosch Gmbh | Verfahren zum Verfolgen eines Objekts in einem optischen Suchfenster einer Kamera für ein Fahrzeug |
| CN108681243A (zh) * | 2018-05-03 | 2018-10-19 | 南京理工大学 | 一种机器人轨迹跟踪方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN110009665A (zh) * | 2019-03-12 | 2019-07-12 | 华中科技大学 | 一种遮挡环境下的目标检测跟踪方法 |
| CN109917373A (zh) * | 2019-04-04 | 2019-06-21 | 电子科技大学 | 运动补偿搜索的动平台雷达的动态规划检测前跟踪方法 |
| CN110646792A (zh) * | 2019-11-04 | 2020-01-03 | 中国人民解放军空军工程大学 | 一种基于观察哨数字望远镜的雷达搜索窗口设置方法 |
| CN111780781A (zh) * | 2020-06-23 | 2020-10-16 | 南京航空航天大学 | 基于滑动窗口优化的模板匹配视觉和惯性组合里程计 |
| CN111968159A (zh) * | 2020-08-28 | 2020-11-20 | 厦门大学 | 一种简单通用的鱼群视频图像轨迹追踪方法 |
| CN113592914A (zh) * | 2021-09-28 | 2021-11-02 | 南京天朗防务科技有限公司 | 红外弱小飞行目标自适应检测跟踪方法、装置 |
| CN114610023A (zh) * | 2022-02-21 | 2022-06-10 | 武汉理工大学 | 一种无人船路径跟踪控制方法 |
| CN114721413A (zh) * | 2022-03-25 | 2022-07-08 | 江苏理工学院 | 无人机及其避障方法、避障装置 |
| CN116363494A (zh) * | 2023-05-31 | 2023-06-30 | 睿克环境科技(中国)有限公司 | 一种鱼类数量监测、洄游跟踪的方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| MeanShift++: Extremely Fast Mode-Seeking With Application to Segmentation and Object Tracking;Jennifer Jang等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;4102-4113 * |
| Moving Object Tracking Based on Sparse Optical Flow with Moving Window and Target Estimator;Hosik Choi等;《Sensors》;第22卷(第8期);1-22 * |
| 基于图像序列的视频SAR运动目标检测与跟踪方法研究;柯凌;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2023年卷(第7期);I136-897 * |
| 煤矿井下视频目标的检测与跟踪研究;郭海涛;《中国优秀硕士学位论文全文数据库 工程科技I辑》;第2022年卷(第2期);B021-173 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218161A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460787B (zh) | 目标跟踪方法和装置、电子设备、程序、存储介质 | |
| CN110728697B (zh) | 基于卷积神经网络的红外弱小目标检测跟踪方法 | |
| CN110796010B (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
| CN117218161B (zh) | 一种鱼缸内鱼类轨迹跟踪方法及系统 | |
| EP1975879B1 (en) | Computer implemented method for tracking object in sequence of frames of video | |
| KR100364582B1 (ko) | 다중 이동물체 추적/감시 시스템 | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN109934846B (zh) | 基于时间和空间网络的深度集成目标跟踪方法 | |
| JP2023509953A (ja) | ターゲット追跡方法、装置、電子機器及び記憶媒体 | |
| CN105913028B (zh) | 一种基于face++平台的人脸跟踪方法及其装置 | |
| KR20180084085A (ko) | 얼굴 위치 추적 방법, 장치 및 전자 디바이스 | |
| CN108876820B (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
| CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
| CN111008991A (zh) | 一种背景感知的相关滤波目标跟踪方法 | |
| CN114708300A (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
| KR102434397B1 (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
| CN116740126A (zh) | 目标跟踪方法、高速相机及存储介质 | |
| CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
| CN110660077A (zh) | 一种融合多个特征的多尺度目标跟踪方法 | |
| CN116128769B (zh) | 摇摆运动机构的轨迹视觉记录系统 | |
| CN113763415B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| Weng et al. | Weather-adaptive flying target detection and tracking from infrared video sequences | |
| CN113378757A (zh) | 一种基于时序与频域过滤的物体检测与物体切割算法 | |
| CN109410254B (zh) | 一种基于目标和相机运动建模的目标跟踪方法 | |
| CN111260686A (zh) | 自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A fish trajectory tracking method and system in a fish tank Granted publication date: 20240116 Pledgee: Bank of China Limited Liaocheng branch Pledgor: Liaocheng keenness Information Technology Co.,Ltd. Registration number: Y2024980010944 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |