CN117292305A - 鱼类受精卵胎动次数确定方法、系统、电子设备及介质 - Google Patents

鱼类受精卵胎动次数确定方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN117292305A
CN117292305A CN202311575325.8A CN202311575325A CN117292305A CN 117292305 A CN117292305 A CN 117292305A CN 202311575325 A CN202311575325 A CN 202311575325A CN 117292305 A CN117292305 A CN 117292305A
Authority
CN
China
Prior art keywords
fertilized egg
fish
video
predicted
fetal movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311575325.8A
Other languages
English (en)
Other versions
CN117292305B (zh
Inventor
段明
邹青青
段瑞
冯丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Hydrobiology of CAS
Original Assignee
Institute of Hydrobiology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Hydrobiology of CAS filed Critical Institute of Hydrobiology of CAS
Priority to CN202311575325.8A priority Critical patent/CN117292305B/zh
Publication of CN117292305A publication Critical patent/CN117292305A/zh
Application granted granted Critical
Publication of CN117292305B publication Critical patent/CN117292305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种鱼类受精卵胎动次数确定方法、系统、电子设备及介质，涉及鱼类生理生态学技术领域，方法包括：利用Two stage目标检测算法识别受精卵，利用key points提取算法提取出受精卵的关键点，利用多目标跟踪算法跟踪记录受精卵的关键点的轨迹，利用余弦距离计算受精卵的关键点位置变化关系，利用受精卵对应的关键点位置变化关系和优化后的胎动模型预测受精卵发生胎动的概率值，根据受精卵发生胎动的概率值，统计出单位时间内受精卵的胎动次数。本发明可高效、准确地确定出单位时间内鱼类受精卵的胎动次数。

Description

鱼类受精卵胎动次数确定方法、系统、电子设备及介质
技术领域
本发明涉及鱼类生理生态学技术领域，特别是涉及一种鱼类受精卵胎动次数确定方法、系统、电子设备及介质。
背景技术
近几年，由于水资源污染、大坝阻隔、城市建设等人工活动对中国渔业资源造成了严重的威胁，其中在鱼卵胚胎发育方面，由于生存环境的急剧变化不仅严重影响中国相关鱼类胚胎的正常发育和生长，还造成中国的野生鱼群体资源锐减，种质资源出现了退化等现象，这对中国的未来渔业发展是非常不利的。
基于鱼类胚胎发育的研究目前非常普遍，涉及渔业资源评估、良种选育、增殖放流等多个方面，同时也是动物遗传和发育生物学中重要的研究课题，受精卵的发育与测量以及胎动测量的技术也是水产育种工作中最为关键的一个环节。因为胚胎发育是从一个受精卵不断发育成比较成熟且形态正常、健康个体的过程。所以对于发育过程的监测研究，以及受精卵的健康状况监督，不仅可以为鱼类胚胎发育的理论研究提供更好的技术手段，也能够建立目前缺乏的相关标准。一直以来，众多学者使用不同方法对鱼类胚胎发育的各个生物学特征进行深入研究，大大提高了中国相关鱼类的孵化率和成活率，但目前监测鱼类受精卵发育的手段主要依靠人工镜检去进行分析、测量、计数，不仅效率低、耗时长，还耗费了大量的人力物力，此外进行受精卵发育的监测手段受人为影响大，易产生大误差，具有较强的专家依赖性，无法满足现有的研究需求。
在鱼类受精卵发育的监测中，统计单位时间内鱼类受精卵的胎动次数是非常必要的，目前主要依靠人工镜检统计单位时间内鱼类受精卵的胎动次数，不仅效率低，而且统计结果也不准确。
发明内容
本发明的目的是提供一种鱼类受精卵胎动次数确定方法、系统、电子设备及介质，可高效、准确地确定出单位时间内鱼类受精卵的胎动次数。
为实现上述目的，本发明提供了如下方案：
一种鱼类受精卵胎动次数确定方法，所述方法包括：
获取多个带标签的鱼类受精卵视频样本；所述标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动；
利用Two stage目标检测算法识别出每个带标签的所述鱼类受精卵视频样本中每个受精卵；
利用key points提取算法提取出每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点；
利用多目标跟踪算法跟踪记录每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹；
根据每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的所述鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系；
利用每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型；
获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；所述待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频；
将所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入所述优化后的胎动模型中，得到所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；所述概率值在0~1之间；
根据所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内所述待预测鱼类受精卵视频中每个受精卵的胎动次数。
可选地，所述获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系，之前还包括：
获取待预测鱼类受精卵视频；
利用Two stage目标检测算法识别出所述待预测鱼类受精卵视频中每个受精卵；
利用key points提取算法提取出所述待预测鱼类受精卵视频中每个受精卵的关键点；
利用多目标跟踪算法跟踪记录所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹；
根据所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算所述待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
可选地，所述多目标跟踪算法使用的是ReID技术。
可选地，所述胎动模型使用卷积神经网络做回归任务。
本发明还提供了如下方案：
一种鱼类受精卵胎动次数确定系统，所述系统包括：
视频样本获取模块，用于获取多个带标签的鱼类受精卵视频样本；所述标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动；
受精卵识别模块，用于利用Two stage目标检测算法识别出每个带标签的所述鱼类受精卵视频样本中每个受精卵；
关键点提取模块，用于利用key points提取算法提取出每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点；
关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹；
关键点位置变化关系计算模块，用于根据每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的所述鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系；
胎动模型训练和优化模块，用于利用每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型；
待预测关键点位置变化关系获取模块，用于获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；所述待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频；
胎动模型预测模块，用于将所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入所述优化后的胎动模型中，得到所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；所述概率值在0~1之间；
单位时间内胎动次数统计模块，用于根据所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内所述待预测鱼类受精卵视频中每个受精卵的胎动次数。
可选地，所述系统还包括：
待预测视频获取模块，用于获取待预测鱼类受精卵视频；
待预测受精卵识别模块，用于利用Two stage目标检测算法识别出所述待预测鱼类受精卵视频中每个受精卵；
待预测关键点提取模块，用于利用key points提取算法提取出所述待预测鱼类受精卵视频中每个受精卵的关键点；
待预测关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹；
待预测关键点位置变化关系计算模块，用于根据所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算所述待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
可选地，所述多目标跟踪算法使用的是ReID技术。
可选地，所述胎动模型使用卷积神经网络做回归任务。
本发明还提供了如下方案：
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的鱼类受精卵胎动次数确定方法。
本发明还提供了如下方案：
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的鱼类受精卵胎动次数确定方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开的鱼类受精卵胎动次数确定方法、系统、电子设备及介质，利用Twostage目标检测算法识别受精卵，利用key points提取算法提取出受精卵的关键点，利用多目标跟踪算法跟踪记录受精卵的关键点的轨迹，利用余弦距离计算受精卵的关键点位置变化关系，利用受精卵对应的关键点位置变化关系和优化后的胎动模型预测受精卵发生胎动的概率值，根据受精卵发生胎动的概率值，统计出单位时间内受精卵的胎动次数，相比目前依靠人工镜检统计单位时间内鱼类受精卵的胎动次数，可高效、准确地确定出单位时间内鱼类受精卵的胎动次数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明鱼类受精卵胎动次数确定方法实施例一的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种鱼类受精卵胎动次数确定方法、系统、电子设备及介质，可高效、准确地确定出单位时间内鱼类受精卵的胎动次数。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明鱼类受精卵胎动次数确定方法实施例一的流程图。如图1所示，本实施例提供了一种鱼类受精卵胎动次数确定方法，包括如下步骤：
步骤101：获取多个带标签的鱼类受精卵视频样本；标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动。
步骤102：利用Two stage目标检测算法识别出每个带标签的鱼类受精卵视频样本中每个受精卵。
步骤103：利用key points提取算法提取出每个带标签的鱼类受精卵视频样本中每个受精卵的关键点。
步骤104：利用多目标跟踪算法跟踪记录每个带标签的鱼类受精卵视频样本中每个受精卵的关键点的轨迹。
其中，多目标跟踪算法使用的是ReID技术。
步骤105：根据每个带标签的鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系。
步骤106：利用每个带标签的鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型。
其中，胎动模型使用卷积神经网络做回归任务。
步骤107：获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频。
该步骤107之前还包括：
获取待预测鱼类受精卵视频。
利用Two stage目标检测算法识别出待预测鱼类受精卵视频中每个受精卵。
利用key points提取算法提取出待预测鱼类受精卵视频中每个受精卵的关键点。
利用多目标跟踪算法跟踪记录待预测鱼类受精卵视频中每个受精卵的关键点的轨迹。
根据待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
步骤108：将待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入优化后的胎动模型中，得到待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；概率值在0~1之间。
步骤109：根据待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内待预测鱼类受精卵视频中每个受精卵的胎动次数。
下面以一个具体实施例说明本发明的技术方案：
本发明鱼类受精卵胎动次数确定方法是一种鱼类受精卵检测及胎动计算的方法，通过计算机视觉技术，利用深度学习算法来代替人眼进行测量学习和胎动计算，不仅能够准确识别受精卵目标以及跟踪轨迹信息，还能够精确的测算胚胎的胎动，这能够为实验提供更多的生物学指标和数据参考，同时还能够对测量信息进行实时输出，达到实时分析的目的。
本发明鱼类受精卵检测及胎动计算的方法，基于深度学习算法，实时识别受精卵目标、实时计算受精卵中每个目标的轨迹和实时叠加受精卵轨迹信息，并对受精卵进行测试，进行胎动计算，达到实时动态分析鱼类受精卵胎动的目的。本发明鱼类受精卵检测及胎动计算的方法具体包括：
第一步：目标检测，检测画面中受精卵的位置。
第二步：KeyPoints关键点提取，检测受精卵的关键点。
第三步：ReID，利用多目标跟踪算法，跟踪记录每一个受精卵的关键点。
第四步：基于关键点波动关系的胎动模型建模。
第五步：回归算法，计算每个受精卵的胎动。
第六步：统计每个受精卵的胎动次数。
其中，第一步受精卵目标检测，具体步骤如下：
将受精卵内置于培养皿内，置于显微镜或解剖镜等物镜下，先用4倍物镜找到要观察的受精卵，然后换10倍物镜仔细观察，同时可通过与显微镜相连的专业照相系统进行视频录制。录制视频的帧数根据相机和自身需求选择，该实施例为每秒24帧。
从图片（视频每帧画面）中定位到目标并完成目标的分类识别功能，采用twostage目标识别算法实现，即：将问题分两个阶段解决，首先从原图选出一系列候选框(object proposal)作为图中各个物体可能的bbox；然后将这些候选框输入到网络中，得出受精卵的框的位置结果和受精卵的框的分类结果（对图片中所包含的物体进行分类，确定出哪些是受精卵）。
该步骤基于视频逐帧处理，采用two-stage目标识别算法（Two stage目标检测算法）识别出获取到的图片中哪个是受精卵，并得到每个受精卵的位置。通过该步骤实现当前图像中多个受精卵目标的定位，为后续计算提供精确的目标信息，即后续计算都是基于受精卵区域的小图进行，提高算法精度。two stage算法参见《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》。
第二步KeyPoints关键点提取（关键点提取属于数据标注的范畴），具体步骤如下：
在上述受精卵小图区域内，通过KeyPoints关键点提取，提取目标关键点，关键点具有构建目标轮廓，对图像旋转、收缩、平移、失真等不变性。该实施例中关键点是指受精卵轮廓中曲率比较大的点、离质点较远或者较近的点。为了统一计算，该实施例选取关键点个数20个，定义为[p1,p2,......,p20]，p1,p2,......,p20分别为第1个关键点，第2个关键点，......，第20个关键点。
通过选取关键点，能够进一步加快后续识别、计算等数据的处理速度，且提高算法精度。
第三步关键点ReID，具体步骤如下：
利用多目标跟踪算法，确定每一个受精卵，跟踪记录每一个受精卵关键点的轨迹。
距离度量方法是ReID任务在测试阶段来评价特征与特征之间的距离构建度量矩阵所需的，对于一个ReID任务来说，选用一个好的度量方式，可以为ReID提供很好的性能。距离度量方法一般有以下两种，本发明采用第2种方法：
1、Eucildean欧几里得度量（euclidean metric），也称欧氏距离，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。假设特征向量A、B，则其计算公式为：，其中，/>表示特征向量A、B之间的欧式距离。
2、Cosine在机器学习领域中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时，常用余弦相似度表示。与欧式距离不同的是，欧式距离的大小很容易受到向量长度的影响，而余弦距离只考虑两个生成的向量的夹角，余弦相似度的取值范围是[-1,1]，相同两个向量之间的相似度为1，余弦距离的取值范围是[0,2]。
如果特征向量A、B经过归一化之后，其中余弦距离的计算公式为：，其中，/>表示特征向量A、B之间的余弦距离。
欧式距离和余弦距离之间的关系为：。
该实施例中采用第二种方法（即余弦距离）作为距离度量方法，计算得到前后两帧关键点位置变化关系D，进行如下计算：
假设前后两个关键点A（x1，y1），B（x2，y2），则D=（x2-x1，y2-y1），计算20个关键点对的位置变化关系D，则前后两帧关键点的位置变化关系D=[D1,D2,......,D20]，D1,D2,......,D20分别为前后两帧第1个关键点对的位置变化关系，前后两帧第2个关键点对的位置变化关系，......，前后两帧第20个关键点对的位置变化关系。
ReID参见《Scalable Person Re-Identification: A Benchmark》。
第四步基于关键点波动关系的胎动模型建模，具体步骤如下：
4.1、数据生成：离线选择胎动和未发生胎动的视频，进行上述三步计算。
4.2、数据标注：根据实验发现一个胎动过程大约持续15帧，一般情况下一秒钟是24帧，所以15帧数据就是15/24秒，一组数据是15帧，相当于一个视频片段，因此该实施例选择14组位置变化关系D作为模型训练的数据（训练的视频数据量根据需求确定），一段视频一个结果，15帧视频共有14组结果，14组胎动的数据I=[D1,D2,......,D14]，标注（标注标签）为1，否则标注为0。
4.3、胎动模型建模：设计卷积神经网络，输入为14组数据I，标记标签为1维数据，即0或者1，损失函数采用如下损失函数：
其中，L表示损失函数，y表示训练样本标签，正样本标签为1，负样本标签为0，p表示预测为正样本的概率。
第四步建立模型，然后使用模型进行回归计算，输入向量为I，其维数为1，具体计算步骤在第五步。
第五步回归算法，具体步骤如下：
计算每个受精卵的胎动。回归方法是一种对数值型连续随机变量进行预测和建模的监督学习算法。回归任务的特点是标注的数据集具有数值型的目标变量。也就是说，每一个观察样本都有一个数值型的标注真值以监督算法。
具体过程如下：
假设输入向量为I，其维数为1，输出类别为Y，共有N个类别，对于上面的分类问题，如果把问题简化，就变为对二维平面上的点，以及一系列代表类别的线，求距离该点最近的直线的问题。如果推广到高维空间，上述分类问题可以表示为：Y=Wx+b，其中x表示输入变量，W为权重矩阵，b为偏移量矩阵，将权值矩阵和偏移量向量称为模型的参数集。
有了上面的定义之后，可以得到数学表示：
其中，x表示输入变量，W为权重矩阵，b为偏移量矩阵，i表示输出节点的序号，softmax表示归一化指数函数，softmaxi表示第i个softmax值，Wx表示输入变量和权重矩阵乘积，即卷积运算，Wx+b表示卷积运算加上偏置，e为自然常数，Wi表示第i个权重矩阵，Wi+b为第i个输出节点的输出值，N为输出节点的个数，即分类的类别个数，P为0~1间的数据，用来表示概率，即胎动的概率。
1.采用第四步训练的模型，根据实时计算的14组数据I，即输入模型的数据，根据模型输出结果计算得到胎动的概率。
2.由于胎动模型输出结果是0~1之间的数值，即发生胎动的概率，该实施例中将概率大于0.8的认为发生胎动，减少由于外部环境或者其他干扰造成的误差。
回归算法属于统计学概念，回归算法具体采用的一元线性回归算法：一元线性回归算法是分析只有一个自变量和一个应变量（自变量x和应变量y）线性相关关系的方法。一个经济指标的数值往往受许多因素影响，若其中只有一个因素是主要的，起决定性作用，则可用一元线性回归进行预测分析。
第六步统计每个受精卵的胎动次数，具体步骤如下：
根据第五步计算的胎动结果，即模型输出结果大于0.8的一组数据，即完成了一次胎动（一组数据对应一个胎动的概率，进一步计算是否发生胎动），统计出单位时间内每个受精卵的胎动次数。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，本实施例提供了一种鱼类受精卵胎动次数确定系统，该系统包括如下模块：
视频样本获取模块，用于获取多个带标签的鱼类受精卵视频样本；标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动。
受精卵识别模块，用于利用Two stage目标检测算法识别出每个带标签的鱼类受精卵视频样本中每个受精卵。
关键点提取模块，用于利用key points提取算法提取出每个带标签的鱼类受精卵视频样本中每个受精卵的关键点。
关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录每个带标签的鱼类受精卵视频样本中每个受精卵的关键点的轨迹。
关键点位置变化关系计算模块，用于根据每个带标签的鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系。
胎动模型训练和优化模块，用于利用每个带标签的鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型。
待预测关键点位置变化关系获取模块，用于获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频。
胎动模型预测模块，用于将待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入优化后的胎动模型中，得到待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；概率值在0~1之间。
单位时间内胎动次数统计模块，用于根据待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内待预测鱼类受精卵视频中每个受精卵的胎动次数。
具体的，该系统还包括如下模块：
待预测视频获取模块，用于获取待预测鱼类受精卵视频。
待预测受精卵识别模块，用于利用Two stage目标检测算法识别出待预测鱼类受精卵视频中每个受精卵。
待预测关键点提取模块，用于利用key points提取算法提取出待预测鱼类受精卵视频中每个受精卵的关键点。
待预测关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录待预测鱼类受精卵视频中每个受精卵的关键点的轨迹。
待预测关键点位置变化关系计算模块，用于根据待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
其中，多目标跟踪算法使用的是ReID技术。胎动模型使用卷积神经网络做回归任务。
实施例三
本发明实施例三提供了一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的鱼类受精卵胎动次数确定方法。
上述电子设备可以是服务器。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的鱼类受精卵胎动次数确定方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种鱼类受精卵胎动次数确定方法，其特征在于，所述方法包括：
获取多个带标签的鱼类受精卵视频样本；所述标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动；
利用Two stage目标检测算法识别出每个带标签的所述鱼类受精卵视频样本中每个受精卵；
利用key points提取算法提取出每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点；
利用多目标跟踪算法跟踪记录每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹；
根据每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的所述鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系；
利用每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型；
获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；所述待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频；
将所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入所述优化后的胎动模型中，得到所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；所述概率值在0~1之间；
根据所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内所述待预测鱼类受精卵视频中每个受精卵的胎动次数。
2.根据权利要求1所述的鱼类受精卵胎动次数确定方法，其特征在于，所述获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系，之前还包括：
获取待预测鱼类受精卵视频；
利用Two stage目标检测算法识别出所述待预测鱼类受精卵视频中每个受精卵；
利用key points提取算法提取出所述待预测鱼类受精卵视频中每个受精卵的关键点；
利用多目标跟踪算法跟踪记录所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹；
根据所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算所述待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
3.根据权利要求1所述的鱼类受精卵胎动次数确定方法，其特征在于，所述多目标跟踪算法使用的是ReID技术。
4.根据权利要求1所述的鱼类受精卵胎动次数确定方法，其特征在于，所述胎动模型使用卷积神经网络做回归任务。
5.一种鱼类受精卵胎动次数确定系统，其特征在于，所述系统包括：
视频样本获取模块，用于获取多个带标签的鱼类受精卵视频样本；所述标签包括0和1；1表示受精卵发生胎动；0表示受精卵未发生胎动；
受精卵识别模块，用于利用Two stage目标检测算法识别出每个带标签的所述鱼类受精卵视频样本中每个受精卵；
关键点提取模块，用于利用key points提取算法提取出每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点；
关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹；
关键点位置变化关系计算模块，用于根据每个带标签的所述鱼类受精卵视频样本中每个受精卵的关键点的轨迹，利用余弦距离计算每个带标签的所述鱼类受精卵视频样本的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系；
胎动模型训练和优化模块，用于利用每个带标签的所述鱼类受精卵视频样本中每个受精卵对应的多组关键点位置变化关系对胎动模型进行训练和优化，得到优化后的胎动模型；
待预测关键点位置变化关系获取模块，用于获取待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系；所述待预测鱼类受精卵视频为待确定鱼类受精卵胎动次数的鱼类受精卵视频；
胎动模型预测模块，用于将所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系输入所述优化后的胎动模型中，得到所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值；所述概率值在0~1之间；
单位时间内胎动次数统计模块，用于根据所述待预测鱼类受精卵视频中每个受精卵发生胎动的概率值，统计出单位时间内所述待预测鱼类受精卵视频中每个受精卵的胎动次数。
6.根据权利要求5所述的鱼类受精卵胎动次数确定系统，其特征在于，所述系统还包括：
待预测视频获取模块，用于获取待预测鱼类受精卵视频；
待预测受精卵识别模块，用于利用Two stage目标检测算法识别出所述待预测鱼类受精卵视频中每个受精卵；
待预测关键点提取模块，用于利用key points提取算法提取出所述待预测鱼类受精卵视频中每个受精卵的关键点；
待预测关键点轨迹跟踪记录模块，用于利用多目标跟踪算法跟踪记录所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹；
待预测关键点位置变化关系计算模块，用于根据所述待预测鱼类受精卵视频中每个受精卵的关键点的轨迹，利用余弦距离计算所述待预测鱼类受精卵视频的每相邻两帧图像中每个受精卵的关键点位置变化关系，得到所述待预测鱼类受精卵视频中每个受精卵对应的多组关键点位置变化关系。
7.根据权利要求5所述的鱼类受精卵胎动次数确定系统，其特征在于，所述多目标跟踪算法使用的是ReID技术。
8.根据权利要求5所述的鱼类受精卵胎动次数确定系统，其特征在于，所述胎动模型使用卷积神经网络做回归任务。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-4中任一项所述的鱼类受精卵胎动次数确定方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的鱼类受精卵胎动次数确定方法。
CN202311575325.8A 2023-11-24 2023-11-24 鱼类受精卵胎动次数确定方法、系统、电子设备及介质 Active CN117292305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311575325.8A CN117292305B (zh) 2023-11-24 2023-11-24 鱼类受精卵胎动次数确定方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311575325.8A CN117292305B (zh) 2023-11-24 2023-11-24 鱼类受精卵胎动次数确定方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN117292305A true CN117292305A (zh) 2023-12-26
CN117292305B CN117292305B (zh) 2024-02-20

Family

ID=89244712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311575325.8A Active CN117292305B (zh) 2023-11-24 2023-11-24 鱼类受精卵胎动次数确定方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117292305B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138791A1 (en) * 2016-08-10 2019-05-09 Tencent Technology (Shenzhen) Company Limited Key point positioning method, terminal, and computer storage medium
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
US20210209351A1 (en) * 2020-01-06 2021-07-08 X Development Llc Fish biomass, shape, size, or health determination
CN114627047A (zh) * 2022-01-26 2022-06-14 山东易华录信息技术有限公司 一种基于改进sort算法的鱼类计数统计的方法
CN115578423A (zh) * 2022-08-31 2023-01-06 大愚科技(湖州)有限公司 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN115810140A (zh) * 2022-12-26 2023-03-17 青岛农业大学 一种斑石鲷行为智能检测与跟踪方法及模型搭建方法
CN116486311A (zh) * 2023-05-26 2023-07-25 中国科学院水生生物研究所 一种鱼类摆尾频次计数方法、系统及产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138791A1 (en) * 2016-08-10 2019-05-09 Tencent Technology (Shenzhen) Company Limited Key point positioning method, terminal, and computer storage medium
US20210209351A1 (en) * 2020-01-06 2021-07-08 X Development Llc Fish biomass, shape, size, or health determination
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN114627047A (zh) * 2022-01-26 2022-06-14 山东易华录信息技术有限公司 一种基于改进sort算法的鱼类计数统计的方法
CN115578423A (zh) * 2022-08-31 2023-01-06 大愚科技(湖州)有限公司 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN115810140A (zh) * 2022-12-26 2023-03-17 青岛农业大学 一种斑石鲷行为智能检测与跟踪方法及模型搭建方法
CN116486311A (zh) * 2023-05-26 2023-07-25 中国科学院水生生物研究所 一种鱼类摆尾频次计数方法、系统及产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭红梅: "基于生物水质监测的鱼体运动状态检测系统研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑, no. 9, pages 027 - 217 *

Also Published As

Publication number Publication date
CN117292305B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Zhou et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision
Cai et al. A modified YOLOv3 model for fish detection based on MobileNetv1 as backbone
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Chen et al. SVIA dataset: A new dataset of microscopic videos and images for computer-aided sperm analysis
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
Ma et al. A state-of-the-art survey of object detection techniques in microorganism image analysis: from classical methods to deep learning approaches
Mei et al. Recent advances of target tracking applications in aquaculture with emphasis on fish
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
Yu et al. Counting method for cultured fishes based on multi-modules and attention mechanism
Du et al. Broodstock breeding behaviour recognition based on Resnet50-LSTM with CBAM attention mechanism
CN111666897A (zh) 基于卷积神经网络的斑石鲷个体识别方法
Jia et al. Accurate segmentation of green fruit based on optimized mask RCNN application in complex orchard
CN111325181B (zh) 一种状态监测方法、装置、电子设备及存储介质
Isa et al. CNN transfer learning of shrimp detection for underwater vision system
CN115578423A (zh) 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
Li et al. Intelligent detection and behavior tracking under ammonia nitrogen stress
Chen et al. A lightweight detection method for the spatial distribution of underwater fish school quantification in intensive aquaculture
CN117292305B (zh) 鱼类受精卵胎动次数确定方法、系统、电子设备及介质
CN117253192A (zh) 用于桑蚕养殖的智能系统及方法
Wang et al. Biological characters identification for hard clam larva based on the improved YOLOX-s
CN116597309A (zh) 集成萌芽期生长和苗期生理指标鉴选植物抗性品种的方法
Han et al. Mask_LaC R-CNN for measuring morphological features of fish
Zhou et al. Counting, locating, and sizing of shrimp larvae based on density map regression
Zhang et al. EORNet: An improved rotating box detection model for counting juvenile fish under occlusion and overlap

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant