CN112070799A - 基于人工神经网络的鱼类轨迹跟踪方法和系统 - Google Patents

基于人工神经网络的鱼类轨迹跟踪方法和系统 Download PDF

Info

Publication number
CN112070799A
CN112070799A CN202010478461.5A CN202010478461A CN112070799A CN 112070799 A CN112070799 A CN 112070799A CN 202010478461 A CN202010478461 A CN 202010478461A CN 112070799 A CN112070799 A CN 112070799A
Authority
CN
China
Prior art keywords
fish
fish body
neural network
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010478461.5A
Other languages
English (en)
Inventor
徐梦珍
雷发楷
张玍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010478461.5A priority Critical patent/CN112070799A/zh
Publication of CN112070799A publication Critical patent/CN112070799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人工神经网络的鱼类轨迹跟踪方法和系统，该方法包括：S1，获取目标鱼类的视频或图像；S2，获取带有标签的鱼体图像作为初始训练样本集并输入U‑net卷积神经网络通过深度学习算法进行迭代训练得到鱼体识别神经网络模型；S3，利用鱼体识别神经网络模型对采集的目标鱼类的视频或图像中的鱼体进行识别并分割出鱼体形态，计算鱼体中预设点的位置；S4，利用目标跟踪算法得到目标鱼类的运动轨迹，分析目标鱼类的运动特征。该方法能够精确地对鱼体进行识别和轨迹跟踪，从而降低实验对光照条件的依赖及克服鱼缸的镜面反射和水面波动的影响，计算效率高，可以应用到长时间的实验视频中，识别和轨迹跟踪的效果提高。

Description

基于人工神经网络的鱼类轨迹跟踪方法和系统
技术领域
本发明属于鱼类轨迹跟踪的技术领域，具体涉及一种基于人工神经网络的鱼类轨迹跟踪方法和系统。
背景技术
鱼类在摄食、迁徙、逃避敌害时均有游泳行为，通过对鱼类游泳行为的监控分析，能够很好的服务于水质监测、生物医学、水产养殖、生态保护和工程规划、建设。洞穴鱼广义上是指生活在岩溶喀斯特地貌的地下洞穴、河流和湖泊中的淡水鱼，中国是世界上洞穴鱼种类最丰富的国家，近些年为保护洞穴鱼，关于洞穴鱼的实验室研究将逐渐增多。实验室洞穴鱼行为学研究中，跟踪鱼类的运动轨迹和行为，可以帮助分析鱼类对不同水流、水质条件的偏好性，为鱼道设计及鱼类栖息地的修复规划提供依据。野外洄游鱼类观测中，如青海湖裸鲤，对鱼类的洄游进行跟踪，可以为保护鱼类的洄游路径，产卵场以及育幼场提供技术支持。
目前，没有专门对洞穴鱼的轨迹跟踪软件，洞穴鱼的轨迹跟踪只能靠其他鱼类研究的经验，进行识别并跟踪其运动轨迹。目前，实验室内的鱼类识别和轨迹跟踪方法，主要基于前景检测算法，前景检测的方法是将运动前景与静止的背景区分开，不受鱼类在游动过程中姿态变化的影响。前景检测的方法得到鱼类游动的二值图，使用区域搜索，将上一帧的结果作为下一帧搜索的起始位置。
目前基于这种方法，市面上已经有了一些收费或免费的软件，但是这种方法的跟踪精度容易受到实验的光照条件、鱼缸的镜面反射投影，以及水面的波动影响，部分软件的计算效率也比较低，难以应用到长时间的实验视频中去。由于前景检测法本身的局限，目前这些鱼类识别和轨迹跟踪的方法，很难提高识别和跟踪效果，无法突破前景检测法的局限。
在野外的跟踪当中，目前常用的是通过在鱼体内打入跟踪器，并在潜在洄游路径的某些断面布置接收器来研究鱼类的洄游行为。但是这种方法操作复杂，对于研究区域的信号条件，气候条件都有要求，结果的可靠度与打入跟踪器的数量有关，为了提高结果的可靠度，必须增加跟踪器数量，但是又会增加投入成本，成本和可靠度之间的矛盾很难协调。
发明内容
针对上述现有技术存在的目前鱼类识别和轨迹跟踪方法的计算效率比较低，难以应用到长时间的实验视频中，以及较难提高识别和轨迹跟踪的效果的技术问题，本发明提供一种基于人工神经网络的鱼类轨迹跟踪方法，U-net卷积神经网络通过前期的训练学习，经测试合格后构建鱼体识别神经网络模型，根据学习到的鱼的轮廓，颜色，姿态等特征推断实验获取的视频中的鱼类信息，能够精确地对鱼体进行识别和轨迹跟踪，从而降低实验对光照条件的依赖及克服鱼缸的镜面反射和水面波动的影响，计算效率高，可以应用到长时间的实验视频中，识别和轨迹跟踪的效果提高。本发明还涉及一种基于人工神经网络的鱼类轨迹跟踪系统。
本发明的技术方案如下：
一种基于人工神经网络的鱼类轨迹跟踪方法，其特征在于，所述方法包括如下步骤：
S1，获取目标鱼类的视频或图像；
S2，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型；
S3，将所述采集的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型；利用所述鱼体识别神经网络模型对所述采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出所述一个或多个鱼体在所述视频或图像中的形态；再根据分割出来的鱼体的形态，计算鱼体中预设点的位置；
S4，根据所述鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。
优选地，在步骤S2中，所述带有标签的鱼体图像分为训练组和验证组，首先将训练组输入U-net卷积神经网络进行训练，得到初步训练模型，再利用所述验证组对所述初步训练模型进行迭代训练得到用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型。
优选地，所述训练组和验证组的数量比例为8:2。
优选地，在步骤S2中，所述获取带有标签的鱼体图像的数量为200-400张，野外获取则增加20—30％的数量。
优选地，在步骤S1之后，所述方法还包括步骤S1+，对采集的目标鱼类的视频或图像进行镜头校正；此时步骤S3是将镜头校正后的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型。
优选地，在步骤S3中，所述鱼体中预设点包括：鱼体的头部端点、尾部端点以及鱼体形心点。
优选地，在步骤S4中，在所述根据所述鱼体中预设点的位置，得到鱼类的运动轨迹，并在输出的过程中每隔预设时间还输出一张整个鱼体的形态的识别结果。
优选地，在步骤S4中，基于所述鱼类的运动轨迹，还分析鱼体运动特征，所述鱼体运动特征包括鱼类的摆尾幅度、摆尾频率以及鱼类的运动速度。
一种基于人工神经网络的鱼类轨迹跟踪系统，其特征在于，包括依次连接的鱼类图像采集模块、人工神经网络训练建模模块、模型识别计算模块和鱼类轨迹计算模块，所述鱼类图像采集模块与模型识别计算模块相连接，
所述鱼类图像采集模块，获取目标鱼类的视频或图像；
所述人工神经网络训练建模模块，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型；
所述模型识别计算模块，将所述采集的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型；利用所述鱼体识别神经网络模型对所述采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出所述一个或多个鱼体在所述视频或图像中的形态；再根据分割出来的鱼体的形态，计算鱼体中预设点的位置；
所述鱼类轨迹计算模块，根据所述鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。
优选地，还包括镜头校正模块，所述镜头校正模块与鱼类图像采集模块相连接，用于对采集的目标鱼类的视频或图像进行镜头校正，所述模型识别计算模块将镜头校正后的目标鱼类的视频或图像输入至鱼体识别神经网络模型。
本发明的技术效果如下：
本发明提供一种基于人工神经网络的鱼类轨迹跟踪方法，该方法通过训练过的人工神经网络对鱼体进行识别并对鱼体的某个部位进行跟踪以输出鱼类的运动轨迹，一旦鱼体识别神经网络模型被训练好后，该模型就能够预测实验数据中鱼体的位置信息。整个过程中，无需用程序或软件对视频或图像进行灰度化，拉伸、降噪等预处理，不受程序处理实验视频时长的限制，如Zootracer和Idtracker等现有方法都不能处理超过半小时的视频，且支持并行计算，并且在不并行计算的情况下，每小时能计算鱼运动轨迹的实验视频时长也大大增加；且不同于现有方法只能输出鱼类运动轨迹，该鱼类轨迹跟踪方法的输出结果可控，可以只输出鱼体的预设点位置变动，也可以输出任一个时刻整个鱼体在空间的分布，在输出预设点运动轨迹的过程中，可以设置在预设时间另外再输出一张整个鱼体的识别结果，方便通过肉眼随机检查跟踪结果可靠性；并且鱼类轨迹跟踪方法对视频和图像的质量要求低，适用范围广，对于采集到的光照均匀度低等质量不太高的视频或图像，可以通过提高模型训练量来提高轨迹跟踪效果，因此本发明能够降低对实验条件的要求，并能够应用到部分野外洄游鱼类的跟踪上。该方法被证明针对洞穴鱼类，如犀角金线鲃的实验室行为研究和浅水、清澈地区洄游鱼类，如青海湖裸鲤的识别和轨迹跟踪有效。
本发明还涉及一种基于人工神经网络的鱼类轨迹跟踪系统，该系统与上述基于人工神经网络的鱼类轨迹跟踪方法相对应，可以理解为是实现上述基于人工神经网络的鱼类轨迹跟踪方法的系统，设置鱼类图像采集模块、人工神经网络训练建模模块、模型识别计算模块和鱼类轨迹计算模块，通过初始训练样本集对初始人工神经网络模型利用深度学习算法进行迭代训练，得到用于鱼体识别和鱼类轨迹跟踪的神经网络模型，根据学习到的鱼的轮廓，颜色，姿态等特征推断实验获取的视频中的鱼类信息，能够精确地对鱼体进行识别和轨迹跟踪，从而降低实验对光照条件的依赖及克服鱼缸的镜面反射和水面波动的影响，计算效率高，可以应用到长时间的实验视频中，提高了识别和轨迹跟踪的效率。
附图说明
图1为本发明基于人工神经网络的鱼类轨迹跟踪方法的流程示意图。
图2为本发明基于人工神经网络的鱼类轨迹跟踪方法的优选流程示意图。
图3为本发明基于人工神经网络的鱼类轨迹跟踪系统的结构框图。
图4为本发明基于人工神经网络的鱼类轨迹跟踪系统的优选结构框图。
图5A和图5B为随机挑选出来的鱼体的俯视图像和侧视图像，图5a和图5b为利用labelme对图5A，图5B中的鱼体进行标记的结果示意图。
图6A和图6B为某一时刻的鱼体的俯视图像和侧视图像，图6a和图6b为训练后构建的鱼体识别神经网络模型推断出的鱼体的分割及预设点位置结果示意图。
图7中是犀角金线鲃在40cm长×25cm宽的鱼缸内半个小时内的运动轨迹示意图。
图8A为2018年在青海湖泉吉河用无人机拍摄的裸鲤洄游场景，图8B为通过鱼体识别神经网络模型识别分割出的鱼体形态效果图。
具体实施方式
为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
本发明涉及一种基于人工神经网络的鱼类轨迹跟踪方法，该方法对现有的基于前景检测的鱼类识别和轨迹跟踪方法进行改进，采用基于人工神经网络的鱼类轨迹跟踪方法，该方法不受实验视频时长限制，可以并行计算；输出结果可控；潜在可开发性高，基于每一帧中识别出的鱼体除了可以跟踪形心点运动，还可以跟踪鱼体的头部端点、尾部端点，能够帮助分析摆尾幅度和频率等特征；并且对视频和图像的要求低，适用范围广，对于采集到的光照均匀度低等质量不太高的视频或图像，可以通过提高模型训练量来提高轨迹跟踪效果，因此，对于视频、图像质量的要求更低，本发明所采用的方法具体体现在如下几个步骤，如图1所示：
S1，获取目标鱼类的视频或图像，该步骤也可称为是鱼类图像采集步骤。
具体地，获取视频或图像时，应用相机或摄像头进行采集或应用无人机进行采集，本发明对此不作具体限定。目标鱼类包括洞穴鱼类，如犀角金线鲃；以及浅水、清澈地区洄游鱼类，如青海湖裸鲤，本发明对目标鱼类不做具体限定。
S2，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型。该步骤也可称为是人工神经网络训练建模步骤。
具体地，可以对S1步骤获取的目标鱼类的部分图像设置标签，如采用labelme软件打标，再将带有标签的鱼体图像分为训练组和验证组，首先将训练组输入U-net卷积神经网络进行训练，得到初步训练模型(也就是还不完善的神经网络模型，利用此模型进行鱼体识别和轨迹跟踪时有可能会有偏差，需要进一步迭代训练，以进一步完善模型)，再利用验证组对所述初步训练模型进行迭代训练得到用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型(也就是训练完成后的精度较高、可准确对鱼体进行识别和对鱼类进行轨迹跟踪的神经网络模型)。优选地，训练组和验证组的数量比例为8:2。进一步说明的是，初始训练样本集中的训练组输入U-net卷积神经网络进行训练，此时的U-net卷积神经网络可理解为是一种初始训练模型，得到的初步训练模型理解为是中间训练模型，利用验证组迭代训练后的鱼体识别神经网络模型为最终训练模型，为后续进行目标分割的应用模型。本发明采用了U-net卷积神经网络，其是一种优选地卷积神经网络，由一个收缩路径(左侧)和一个扩展路径(右侧)组成。收缩路径遵循卷积网络的典型架构，由两个3×3卷积的重复应用组成，每个卷积后跟一个整流线性单位(ReLU)和一个2×2最大合并运算，步长为2，用于下采样。在每个下采样步骤中，将特征通道的数量加倍。扩展路径中的每个步骤都包括对特征图进行上采样，然后进行2×2卷积(“向上卷积”)，以将特征通道的数量减半，并与从收缩路径中相应剪裁的特征图进行级联，再进行两个3×3卷积，每个后跟一个ReLU。在最后一层，使用1×1卷积将每个64分量特征映射到所需的类数。该卷积神经网络总共有23个卷积层，具有计算速度快，分割准确等优点。
具体地，在该实施例中，获取带有标签的鱼体图像的数量为200-400张，如果在野外进行获取则相应增加20—30％的数量。
S3，将采集的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型；利用该鱼体识别神经网络模型对采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出一个或多个鱼体在视频或图像中的形态；再根据分割出来的鱼体的形态，计算鱼体中预设点的位置。该步骤也可称为是模型识别计算步骤，或是目标分割步骤或是目标识别步骤。
具体地，鱼体中预设点包括：鱼体的头部端点、尾部端点以及鱼体形心点。头部端点通过计算运动方向上最靠前的鱼体像素位置点获得，尾部端点通过计算运动方向上最靠后的鱼体像素位置点获得，形心位置通过加权平均所有鱼体像素位置点获得。
具体地，鱼体的形心位置通过如公式(1)-(3)进行计算：
Figure BDA0002516556450000061
Figure BDA0002516556450000062
Figure BDA0002516556450000063
式中，N,M,Q是图像分别在长，宽，高方向上的像素点数，xc，yc，zc是运动鱼体在某一时刻的形心位置坐标，x，y，z分别为任一时刻，鱼体上任一点在长，宽和高方向上的位置坐标。
S4，根据鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。该步骤也可称为是鱼类轨迹计算步骤。
具体地，在该实施例中，在所述根据所述鱼体中预设点的位置，得到鱼类的运动轨迹，可以输出鱼体的运动轨迹分布图，并在输出的过程中每隔预设时间还输出一张整个鱼体的形态的识别结果。更进一步地，可以只输出鱼体的形心位置(如同Noldous,idtracker等)，也可以输出任一个时刻整个鱼体在空间的分布，在输出形心运动轨迹的过程中每隔预设时间，例如每隔5min，再另外输出一张整个鱼体的识别结果，方便通过肉眼随机检查跟踪结果是否可靠。
此外，基于所述鱼类的运动轨迹，还可以分析鱼体运动特征：鱼类的摆尾幅度、摆尾频率以及鱼类的运动速度。鱼类的运动速度通过计算相邻两个时刻之间预设点的位置移动获得，鱼类的摆尾幅度通过计算尾部端点到头部端点与形心点之间连线的距离获得，摆尾频率通过计算单位时间内的尾部摆动次数获得。
如当计算鱼类在某一个时刻点tn的速度vn，可以通过上一时刻点的位置(xn-1，yn-1，zn-1),当前时刻点的位置(xn，yn，zn),和下一时刻点的位置(xn+1，yn+1，zn+1)计算得到，具体如公式(4)-(7)所示：
Figure BDA0002516556450000071
Figure BDA0002516556450000072
Figure BDA0002516556450000073
Figure BDA0002516556450000074
式中，vn为n时刻速度的模量，Δt为两个时刻之间的时间差。
如图2所示的优选实施例，对基于人工神经网络的轨迹跟踪流程进行了整体的说明，具体流程如下：
(1)S1，图像采集：可应用相机或摄像头或无人机进行图像或视频采集；
(2)S1+，镜头校正：消除由于镜头畸变导致的鱼体位置在鱼缸空间内产生的误差(若实验范围小，镜头畸变误差可以忽略，则可以不进行该步骤)，实际是对采集的图像或视频所做的校正；参见图5A和图5B所示的随机挑选出来的鱼体的俯视图像和侧视图像，并且已经进行了镜头校正，并理解为是不同时刻的图像；
(3)S2，训练建模：利用标定的鱼体图像训练+测试(该测试即为验证，或称为迭代训练)初始人工神经网络模型(标定200张图片，80％用于训练，20％用于验证，且一次标定过后，后续试验都不用再进行标定，训练和验证)，以优化神经网络模型，构建鱼体识别神经网络模型，使其更精确；如图5a和图5b为利用labelme工具对图5A，图5B中的鱼体进行标记的结果，也就是进行了标定，或者说是打标签作为初始训练样本集；
(4)S3，目标分割：利用鱼体识别神经网络模型对校正后的图像或视频中的鱼体进行识别，推断并分割出鱼体在空间中的位置，计算鱼体的头部端点、尾部端点以及形心点位置，针对图6A和图6B所示的已经进行了镜头校正的某一时刻的鱼体的俯视图像和侧视图像，图6a和图6b所示的为训练后的模型—鱼体识别神经网络模型推断出的某一时刻的鱼体的分割及预设点位置结果，鱼体内的三个黑点即为三个预设点(头部端点、鱼体形心点以及尾部端点)位置，由此可见通过人工神经网络对鱼体进行轨迹跟踪的精确度很高，跟踪效果很好。
(5)S4，目标跟踪、轨迹输出以及运动特征分析：根据计算出的形心位置，采用目标跟踪算法，描绘鱼体的运动轨迹，进行轨迹输出，参见图7，图7中是犀角金线鲃在40cm长×25cm宽的鱼缸内(或者说是实验水槽中)半个小时内的运动轨迹，并进行运动特征分析，如分析其游动偏好，速度等行为。(程序都是利用GPU进行计算，1080Ti或2080Ti，经过训练后的模型，在处理1920×1080分辨率的视频时，在不并行的情况下，每小时约能计算3小时的运动轨迹)。
基于本发明的实施例，本发明提供的一种基于人工神经网络的鱼类轨迹跟踪方法，被证明针对洞穴鱼类，如犀角金线鲃的实验室行为研究和浅水、清澈地区洄游鱼类，如青海湖裸鲤的识别和轨迹跟踪有效，参见图8A所示的2018年在青海湖泉吉河用无人机拍摄的裸鲤洄游场景及图8B所示的通过鱼体识别神经网络模型识别分割出的鱼体形态效果图。该方法通过训练过的人工神经网络对鱼体进行识别并对鱼体的某个部位进行跟踪以输出鱼类的运动轨迹，一旦鱼体识别神经网络模型被训练好后，该模型就能够预测实验数据中鱼体的位置信息，并把鱼体分割出来，整个过程中，无需再用程序或软件对视频或图像进行灰度化，拉伸、降噪等预处理，也不用寻找最合适的阈值信息等，不受程序处理实验视频时长的限制，如Zootracer和Idtracker等现有方法都不能处理超过半小时的视频，且支持并行计算，并且在不并行计算的情况下，每小时能计算鱼运动轨迹的时长也大大增加；且不同于现有方法—只能输出鱼类运动轨迹，该鱼类轨迹跟踪方法的输出结果可控，可以只输出鱼体的预设点位置变动，也可以输出任一个时刻整个鱼体在空间的分布，在输出预设点运动轨迹的过程中，可以设置在预设时间另外再输出一张整个鱼体的识别结果，方便通过肉眼随机检查跟踪结果可靠性；并且鱼类轨迹跟踪方法对视频和图像的质量要求低，适用范围广，对于采集到的光照均匀度低等质量不太高的视频或图像，可以通过提高模型训练量来提高轨迹跟踪效果，因此本发明能够降低对实验条件的要求，和应用到部分野外洄游鱼类的跟踪上。
本发明还涉及一种基于人工神经网络的鱼类轨迹跟踪系统，该系统与上述基于人工神经网络的鱼类轨迹跟踪方法相对应，可以理解为是实现上述基于人工神经网络的鱼类轨迹跟踪方法的系统，该系统如图3所示，该系统包括依次连接的鱼类图像采集模块、人工神经网络训练建模模块、模型识别计算模块和鱼类轨迹计算模块，鱼类图像采集模块与模型识别计算模块相连接，鱼类图像采集模块，获取目标鱼类的视频或图像；人工神经网络训练建模模块，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型；模型识别计算模块，将采集的目标鱼类的视频或图像输入到鱼体识别神经网络模型；利用鱼体识别神经网络模型对采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出一个或多个鱼体在视频或图像中的形态，再根据分割出来的鱼体的形态，计算鱼体中预设点的位置；鱼类轨迹计算模块，根据鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。
在该实施例中，如图4所示，该系统还包括：镜头校正模块，镜头校正模块与鱼类图像采集模块相连接，用于对采集的目标鱼类的视频或图像进行镜头校正，镜头校正后的目标鱼类的视频或图像输入至模型识别计算模块，由模型识别计算模块将镜头校正后的目标鱼类的视频或图像输入至鱼体识别神经网络模型。此时，认为是鱼类图像采集模块通过镜头校正模块与模型识别计算模块相连接，也就是说，鱼类图像采集模块与模型识别计算模块间接连接。
基于本发明的实施例，本发明涉及的一种基于人工神经网络的鱼类轨迹跟踪系统，设置鱼类图像采集模块、人工神经网络训练建模模块、模型识别计算模块和鱼类轨迹计算模块，通过初始训练样本集对初始人工神经网络模型利用深度学习算法进行迭代训练，得到用于鱼体识别和鱼类轨迹跟踪的神经网络模型，根据学习到的鱼的轮廓，颜色，姿态等特征推断实验获取的视频中的鱼类信息，能够精确地对鱼体进行识别和轨迹跟踪，从而降低实验对光照条件的依赖及克服鱼缸的镜面反射和水面波动的影响，计算效率高，可以应用到长时间的实验视频中，提高了识别和轨迹跟踪的效率。本发明基于人工神经网络的鱼类轨迹跟踪方法和系统，被证明针对洞穴鱼类，如犀角金线鲃的实验室行为研究和浅水、清澈地区洄游鱼类，如青海湖裸鲤的识别和轨迹跟踪有效。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。

Claims (10)

1.一种基于人工神经网络的鱼类轨迹跟踪方法，其特征在于，所述方法包括如下步骤：
S1，获取目标鱼类的视频或图像；
S2，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型；
S3，将所述采集的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型；利用所述鱼体识别神经网络模型对所述采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出所述一个或多个鱼体在所述视频或图像中的形态；再根据分割出来的鱼体的形态，计算鱼体中预设点的位置；
S4，根据所述鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，所述带有标签的鱼体图像分为训练组和验证组，首先将训练组输入U-net卷积神经网络进行训练，得到初步训练模型，再利用所述验证组对所述初步训练模型进行迭代训练得到用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述训练组和验证组的数量比例为8:2。
4.根据权利要求3所述的方法，其特征在于，在步骤S2中，所述获取带有标签的鱼体图像的数量为200-400张，野外获取则增加20—30％的数量。
5.根据权利要求1～4中任一项所述的方法，其特征在于，在步骤S1之后，所述方法还包括步骤S1+，对采集的目标鱼类的视频或图像进行镜头校正；此时步骤S3是将镜头校正后的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型。
6.根据权利要求1～4中任一项所述的方法，其特征在于，在步骤S3中，所述鱼体中预设点包括：鱼体的头部端点、尾部端点以及鱼体形心点。
7.根据权利要求6所述的方法，其特征在于，在步骤S4中，在所述根据所述鱼体中预设点的位置，得到鱼类的运动轨迹，并在输出的过程中每隔预设时间还输出一张整个鱼体的形态的识别结果。
8.根据权利要求1～4中任一项所述的方法，其特征在于，在步骤S4中，基于所述鱼类的运动轨迹，还分析鱼体运动特征，所述鱼体运动特征包括鱼类的摆尾幅度、摆尾频率以及鱼类的运动速度。
9.一种基于人工神经网络的鱼类轨迹跟踪系统，其特征在于，包括依次连接的鱼类图像采集模块、人工神经网络训练建模模块、模型识别计算模块和鱼类轨迹计算模块，所述鱼类图像采集模块与模型识别计算模块相连接，
所述鱼类图像采集模块，获取目标鱼类的视频或图像；
所述人工神经网络训练建模模块，获取带有标签的鱼体图像作为初始训练样本集并输入U-net卷积神经网络，通过深度学习算法进行迭代训练，得到基于人工神经网络的用于鱼体识别和鱼类轨迹跟踪的鱼体识别神经网络模型；
所述模型识别计算模块，将所述采集的目标鱼类的视频或图像输入到所述鱼体识别神经网络模型；利用所述鱼体识别神经网络模型对所述采集的目标鱼类的视频或图像中的一个或多个鱼体进行识别，并分割出所述一个或多个鱼体在所述视频或图像中的形态；再根据分割出来的鱼体的形态，计算鱼体中预设点的位置；
所述鱼类轨迹计算模块，根据所述鱼体中预设点的位置，利用目标跟踪算法得到目标鱼类的运动轨迹，并输出预设点的运动轨迹或某一时刻鱼体的形态，分析目标鱼类的运动特征。
10.根据权利要求9所述的系统，其特征在于，还包括镜头校正模块，所述镜头校正模块与鱼类图像采集模块相连接，用于对采集的目标鱼类的视频或图像进行镜头校正，所述模型识别计算模块将镜头校正后的目标鱼类的视频或图像输入至鱼体识别神经网络模型。
CN202010478461.5A 2020-05-29 2020-05-29 基于人工神经网络的鱼类轨迹跟踪方法和系统 Pending CN112070799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478461.5A CN112070799A (zh) 2020-05-29 2020-05-29 基于人工神经网络的鱼类轨迹跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478461.5A CN112070799A (zh) 2020-05-29 2020-05-29 基于人工神经网络的鱼类轨迹跟踪方法和系统

Publications (1)

Publication Number Publication Date
CN112070799A true CN112070799A (zh) 2020-12-11

Family

ID=73657665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478461.5A Pending CN112070799A (zh) 2020-05-29 2020-05-29 基于人工神经网络的鱼类轨迹跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN112070799A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112931309A (zh) * 2021-02-02 2021-06-11 中国水利水电科学研究院 一种鱼类增殖放流去向的监测方法及系统
CN113038670A (zh) * 2021-05-26 2021-06-25 武汉中科瑞华生态科技股份有限公司 光源控制方法和光源控制装置
CN113326850A (zh) * 2021-08-03 2021-08-31 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN113743324A (zh) * 2021-09-07 2021-12-03 易科捷(武汉)生态科技有限公司成都分公司 一种基于物联网的自动更新式鱼类识别系统
CN113822233A (zh) * 2021-11-22 2021-12-21 青岛杰瑞工控技术有限公司 一种深海养殖异常鱼类跟踪方法及系统
CN113869149A (zh) * 2021-09-13 2021-12-31 泰州蝶金软件有限公司 大数据应用节点服务系统
CN114065520A (zh) * 2021-11-17 2022-02-18 西安理工大学 一种鱼类洄游通道确定方法及系统
CN114403076A (zh) * 2021-12-06 2022-04-29 国罡(无锡)能源服务有限公司 一种基于ai的鱼类标记和组网方法
CN116363494A (zh) * 2023-05-31 2023-06-30 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN104766346A (zh) * 2015-04-15 2015-07-08 楚雄师范学院 一种基于视频图像的斑马鱼跟踪方法
CN110031597A (zh) * 2019-04-19 2019-07-19 燕山大学 一种生物式水质监测方法
WO2020023467A1 (en) * 2018-07-24 2020-01-30 Aquabyte, Inc. Unique identification of freely swimming fish in an aquaculture environment
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN104766346A (zh) * 2015-04-15 2015-07-08 楚雄师范学院 一种基于视频图像的斑马鱼跟踪方法
WO2020023467A1 (en) * 2018-07-24 2020-01-30 Aquabyte, Inc. Unique identification of freely swimming fish in an aquaculture environment
CN110031597A (zh) * 2019-04-19 2019-07-19 燕山大学 一种生物式水质监测方法
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUO HONGWANG等: "Robust tracking of fish schools using CNN for head identification", 《MULTIMED TOOLS APPLICATIONS》 *
严升: "基于鱼群跟踪轨迹的生物水质预警方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112931309A (zh) * 2021-02-02 2021-06-11 中国水利水电科学研究院 一种鱼类增殖放流去向的监测方法及系统
CN112931309B (zh) * 2021-02-02 2021-11-09 中国水利水电科学研究院 一种鱼类增殖放流去向的监测方法及系统
CN113038670A (zh) * 2021-05-26 2021-06-25 武汉中科瑞华生态科技股份有限公司 光源控制方法和光源控制装置
CN113038670B (zh) * 2021-05-26 2021-08-06 武汉中科瑞华生态科技股份有限公司 光源控制方法和光源控制装置
CN113326850A (zh) * 2021-08-03 2021-08-31 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN113326850B (zh) * 2021-08-03 2021-10-26 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN113743324A (zh) * 2021-09-07 2021-12-03 易科捷(武汉)生态科技有限公司成都分公司 一种基于物联网的自动更新式鱼类识别系统
CN113743324B (zh) * 2021-09-07 2022-10-18 易科捷(武汉)生态科技有限公司成都分公司 一种基于物联网的自动更新式鱼类识别系统
CN113869149A (zh) * 2021-09-13 2021-12-31 泰州蝶金软件有限公司 大数据应用节点服务系统
CN114065520A (zh) * 2021-11-17 2022-02-18 西安理工大学 一种鱼类洄游通道确定方法及系统
CN114065520B (zh) * 2021-11-17 2022-07-05 西安理工大学 一种鱼类洄游通道确定方法及系统
CN113822233A (zh) * 2021-11-22 2021-12-21 青岛杰瑞工控技术有限公司 一种深海养殖异常鱼类跟踪方法及系统
CN114403076A (zh) * 2021-12-06 2022-04-29 国罡(无锡)能源服务有限公司 一种基于ai的鱼类标记和组网方法
CN116363494A (zh) * 2023-05-31 2023-06-30 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统

Similar Documents

Publication Publication Date Title
CN112070799A (zh) 基于人工神经网络的鱼类轨迹跟踪方法和系统
Dong et al. 4D crop monitoring: Spatio-temporal reconstruction for agriculture
CN112308860B (zh) 基于自监督学习的对地观测图像语义分割方法
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
Lieb et al. Adaptive Road Following using Self-Supervised Learning and Reverse Optical Flow.
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
CN112257502A (zh) 一种监控视频行人识别与跟踪方法、装置及存储介质
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
Jin et al. Corn plant sensing using real‐time stereo vision
Xie et al. Detecting trees in street images via deep learning with attention module
Peretroukhin et al. Reducing drift in visual odometry by inferring sun direction using a bayesian convolutional neural network
CN106228570B (zh) 一种真值数据确定方法和装置
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN111582410B (zh) 图像识别模型训练方法、装置、计算机设备及存储介质
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
Getahun et al. A deep learning approach for lane detection
Buddha et al. Weed detection and classification in high altitude aerial images for robot-based precision agriculture
Kluger et al. Temporally consistent horizon lines
Kennedy et al. A perception pipeline for robotic harvesting of green asparagus
Pais et al. Omnidrl: Robust pedestrian detection using deep reinforcement learning on omnidirectional cameras
Rosales et al. Faster r-cnn based fish detector for smart aquaculture system
Savinykh et al. Darkslam: Gan-assisted visual slam for reliable operation in low-light conditions
CN104156977A (zh) 基于多线列时差扫描扩展采样的点目标运动速度探测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination