CN115375977A - 一种深海养殖鱼类体征参数识别系统与识别方法 - Google Patents

一种深海养殖鱼类体征参数识别系统与识别方法 Download PDF

Info

Publication number
CN115375977A
CN115375977A CN202211321741.0A CN202211321741A CN115375977A CN 115375977 A CN115375977 A CN 115375977A CN 202211321741 A CN202211321741 A CN 202211321741A CN 115375977 A CN115375977 A CN 115375977A
Authority
CN
China
Prior art keywords
image
fish
binocular vision
images
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211321741.0A
Other languages
English (en)
Other versions
CN115375977B (zh
Inventor
赵奎
崔海朋
秦朝旭
魏代善
黄元涛
刘鲁西
倪亚东
赵巍
李志荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Jari Industry Control Technology Co ltd
Original Assignee
Qingdao Jari Industry Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Jari Industry Control Technology Co ltd filed Critical Qingdao Jari Industry Control Technology Co ltd
Priority to CN202211321741.0A priority Critical patent/CN115375977B/zh
Publication of CN115375977A publication Critical patent/CN115375977A/zh
Application granted granted Critical
Publication of CN115375977B publication Critical patent/CN115375977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深海养殖鱼类体征参数识别系统与识别方法，涉及海洋生物体征识别分析领域，将鱼类关键点检测方法与双目视觉相结合，利用单目视觉图像与双目视觉图像建立了两阶段鱼类特征检测模型，通过不同环境下不同鱼类不同生长阶段单目视觉图像进行第一阶段训练，解决了实际深海养殖环境下初期难以采集具有多样性的数据样本的问题，提高了方法的适用性，同时通过在第二阶段训练损失函数中考虑鱼类体征参数识别的准确性，将关键点检测结果对于计算出的体征参数准确性的影响考虑到模型训练过程中，有效提高方法的精确性。

Description

一种深海养殖鱼类体征参数识别系统与识别方法
技术领域
本发明涉及海洋生物体征识别分析领域，尤其是一种深海养殖鱼类体征参数识别系统与识别方法。
背景技术
渔业是我国农业领域的重要组成部分，随着水产领域的飞速发展，渔业当前已在我国经济中占据了相当一部分比重。随着养殖装备与技术的不断进步，深海养殖成为了渔业的重要研究方向。为确保鱼类深海养殖过程中生长状况实时监控及科学化养殖管理，需要实现深海养殖环境下高效化、自动化的鱼类体征识别与监测。
针对鱼类体征参数的识别与监测，目前结合计算机视觉算法与立体视觉系统的研究多是通过搭建实验室环境下立体视觉系统，采集图像信息以构建用于体征参数识别的算法模型，导致建立的检测模型适用性极大受限于图像数据采集环境。但深海养殖实际条件下环境复杂多样，同时内部参数已知的双目视觉图像采集难度大，在深海养殖初期采集的图像训练样本数量多样性不足，无法保证算法对于养殖鱼类各个生长阶段均具有良好适用性，难以适应深海养殖实际环境，存在精度不足、适用性差等问题。
发明内容
为了克服现有技术中存在的上述问题，本发明提出一种深海养殖鱼类体征参数识别系统与识别方法。
本发明解决其技术问题所采用的技术方案是：一种深海养殖鱼类体征参数的识别方法，包括如下步骤：
步骤1，收集不同环境下不同鱼类不同生长阶段单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
步骤2，确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
步骤3，建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型；
步骤4，利用步骤2所得的鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
步骤5，利用步骤2所得的鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
步骤6，将待检测双目视觉图像输入步骤5训练后的鱼类体征检测模型，输出获得鱼类体征参数。
上述的一种深海养殖鱼类体征参数的识别方法，所述步骤1中，搭建双目视觉系统，收集深海养殖双目视觉图像，具体包括：对双目视觉系统摄像机进行标定，确定双目视觉系统内部参数，所述双目视觉系统内部参数包括左右摄像机之间基线长度l与摄像机焦距f；利用确定内部参数的双目视觉系统中左右摄像机对同一鱼类目标进行图像采集，左右图像组成一组双目视觉图像。
上述的一种深海养殖鱼类体征参数的识别方法，所述步骤2中鱼类关键特征点包括头部最前端、鳃盖后缘、尾鳍基部、尾鳍末端、腹部最低点与背部最高端，所述步骤2中体征参数包括鱼类的体长、全长、体高、头长以及尾鳍长。
上述的一种深海养殖鱼类体征参数的识别方法，所述步骤2具体包括：
步骤2.1，按照预设分辨率尺寸w×h对原始单目视觉图像与双目视觉图像进行缩放或裁剪，使所有图像保持相同的分辨率尺寸，获得预处理后的单目视觉图像与双目视觉图像，其中，w为图像的宽度，h为图像的高度；
步骤2.2，确定单目视觉图像中鱼类各个关键特征点位置，并标注其像素坐标，作为单目视觉图像标签，形成单目视觉图像数据集；
步骤2.3，分别确定每组双目视觉图像中左右图像中鱼类各个关键特征点位置，并标注其像素坐标，进一步根据双目视觉系统内部参数计算每组双目视觉图像中目标鱼类各关键特征点真实坐标(x,y,z)，计算公式为：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE005
式中，x l 与x r 分别为关键特征点在左右图像成像面上的图像x轴坐标，y l =y r 为关键特征点在左右图像成像面上的图像y轴坐标，l为双目视觉系统基线距离，f为双目视觉系统摄像机焦距，d=x l -x r 为左右图像成像面上关键特征点的视差；
步骤2.4，根据步骤2.3所得的真实坐标计算各个鱼类体征参数，左右图像关键特征点像素坐标与目标鱼类体征参数共同作为双目视觉图像标签，形成双目视觉图像数据集。
上述的一种深海养殖鱼类体征参数识别系统与识别方法，所述步骤3具体包括：
步骤3.1，将尺寸为w×h×3的原始输入图像通过卷积操作获取尺寸为(w/4)×(h/4)×c的原始特征图像，并通过金字塔分割通道注意力模块处理获得尺寸为(w/4)×(h/4)×(c/8)的一级分辨率特征图像，其中，c为图像通道数，w为图像的宽度，h为图像的高度；
步骤3.2，将一级分辨率特征图像下采样生成尺寸为(w/8)×(h/8)×(c/4)的二级分辨率特征图像，并将一级分辨率特征图像与二级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像与二级分辨率特征图像；
步骤3.3，将二级分辨率特征图像下采样生成尺寸为(w/16)×(h/16)×(c/2)的三级分辨率特征图像，并将一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像；
步骤3.4，对二级分辨率特征图像与三级分辨率特征图像上采样至一级分辨率，与一级分辨率特征图像进行结合，并经卷积处理后获得尺寸为(w/4)×(h/4)×n的关键特征点概率热力图输出图像，其中，n为识别目标关键特征点的数量，w为图像的宽度，h为图像的高度。
上述的一种深海养殖鱼类体征参数的识别方法，所述步骤4具体包括：以鱼类单目视觉图像数据集中每张原始图像作为训练集样本输入，标注的关键特征点坐标作为训练集样本标签，对鱼类体征检测模型进行第一阶段训练，损失函数设置为检测关键特征点概率热力图与真实关键特征点坐标标注图像之间的均方误差，计算公式为：
Figure 110804DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE007
表示第一阶段训练均方误差的值，
Figure 9489DEST_PATH_IMAGE008
与
Figure DEST_PATH_IMAGE009
分别表示图像宽度方 向与高度方向上像素个数，
Figure 709504DEST_PATH_IMAGE010
表示真实关键特征点坐标标注图像在(i,j)像素点的灰 度值，
Figure DEST_PATH_IMAGE011
表示检测关键特征点概率热力图在(i,j)像素点的灰度值。
上述的一种深海养殖鱼类体征参数的识别方法，所述步骤5具体包括：以鱼类双目视觉图像数据集中每一组鱼类双目视觉原始图像作为训练集样本输入，标注的鱼类体征参数作为训练集样本标签对第一阶段训练后的鱼类体征检测模型进行第二阶段训练，损失函数设置为每一组图像检测得到关键点坐标后根据双目视觉系统内部参数计算获得的体征参数与真实体征参数之间的均方误差，计算公式为：
Figure 187890DEST_PATH_IMAGE012
式中，
Figure DEST_PATH_IMAGE013
表示第二阶段训练均方误差的值，
Figure 34623DEST_PATH_IMAGE014
表示识别目标体征参数数 量，
Figure DEST_PATH_IMAGE015
表示第k个体征参数的真实结果，
Figure 822320DEST_PATH_IMAGE016
表示第k个特征参数的检测结果。
基于上述任意一种深海养殖鱼类体征参数识别方法的识别系统，包括鱼类图像数据采集单元，图像数据处理单元，模型建立单元，第一训练单元，第二训练单元，结果输出单元；
其中，鱼类图像数据采集单元用于收集不同环境下不同鱼类单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
图像数据处理单元用于确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
模型建立单元用于建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型；
第一训练单元用于利用鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
第二训练单元用于利用鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
结果输出单元用于将待检测双目视觉图像输入训练后的鱼类体征检测模型，输出获得鱼类体征参数。
本发明的有益效果是，本发明识别方法通过不同环境下不同鱼类不同生长阶段单目视觉图像进行第一阶段训练，解决了实际深海养殖环境下初期难以采集具有多样性的数据样本的问题，提高了方法的适用性，同时通过在第二阶段训练损失函数中考虑鱼类体征参数识别的准确性，将关键点检测结果对于计算出的体征参数准确性的影响考虑到模型训练过程中，能够有效提高方法的精确性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明鱼类体征参数识别方法流程图；
图2为本发明实施例识别目标鱼类关键特征点位置示意图；
图3为本发明实施例图像预处理前后对比图；
图4为本发明实施例建立的基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型结构示意图；
图5为本发明实施例测试集中各组双目视觉图像样本检测相对误差分布图；
图6为本发明实施例测试集体征检测结果相对误差总体分布图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。
本发明实施例公开了一种深海养殖鱼类体征参数识别系统，包括鱼类图像数据采集单元，图像数据处理单元，模型建立单元，第一训练单元，第二训练单元，结果输出单元；
其中，鱼类图像数据采集单元用于收集不同环境下不同鱼类单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
图像数据处理单元用于确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
模型建立单元用于建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型；
第一训练单元用于利用鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
第二训练单元用于利用鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
结果输出单元用于将待检测双目视觉图像输入训练后的鱼类体征检测模型，输出获得鱼类体征参数。
基于上述识别系统，本发明实施例还公开了一种深海养殖鱼类体征参数的识别方法，如图1所示，包括如下步骤：
步骤1，收集不同环境下不同鱼类不同生长阶段单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
步骤1中，搭建双目视觉系统，收集深海养殖双目视觉图像，具体包括：对双目视觉系统摄像机进行标定，确定双目视觉系统内部参数，所述双目视觉系统内部参数包括左右摄像机之间基线长度l与摄像机焦距f；利用确定内部参数的双目视觉系统中左右摄像机对同一鱼类目标进行图像采集，左右图像组成一组双目视觉图像。
步骤2，确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
步骤2中鱼类关键特征点包括头部最前端A、鳃盖后缘B、尾鳍基部E、尾鳍末端F、腹部最低点C与背部最高点D，如图2所示，体征参数包括鱼类的体长、全长、体高、头长以及尾鳍长。
步骤2具体包括：
步骤2.1，按照预设分辨率尺寸640×480对原始单目视觉图像与双目视觉图像进行缩放或裁剪，使所有图像保持相同的分辨率尺寸，获得预处理后的单目视觉图像与双目视觉图像，处理前后图像对比示例如图3所示；
步骤2.2，确定单目视觉图像中鱼类各个关键特征点位置，并标注其像素坐标，作为单目视觉图像标签，形成单目视觉图像数据集；
步骤2.3，分别确定每组双目视觉图像中左右图像中鱼类各个关键特征点位置，并标注其像素坐标，进一步根据双目视觉系统内部参数计算每组双目视觉图像中目标鱼类各关键特征点真实坐标(x,y,z)，计算公式为：
Figure 285662DEST_PATH_IMAGE001
Figure 98897DEST_PATH_IMAGE003
Figure 331295DEST_PATH_IMAGE005
式中，x l 与x r 分别为关键特征点在左右图像成像面上的图像x轴坐标，y l =y r 为关键特征点在左右图像成像面上的图像y轴坐标，l为双目视觉系统基线距离，f为双目视觉系统摄像机焦距，d=x l -x r 为左右图像成像面上关键特征点的视差；
步骤2.4，根据步骤2.3所得的真实坐标计算各个鱼类体征参数，左右图像关键特征点像素坐标与目标鱼类体征参数共同作为双目视觉图像标签，形成双目视觉图像数据集。
步骤3，建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型，结构如图4所示；
步骤3.1，将尺寸为640×480×3的原始输入图像通过卷积操作获取尺寸为160×120×256的原始特征图像，并通过金字塔分割通道注意力模块处理获得尺寸为160×120×32的一级分辨率特征图像，其中，256为图像通道数，640为图像的宽度，480为图像的高度；
步骤3.2，将一级分辨率特征图像下采样生成尺寸为80×60×64的二级分辨率特征图像，并将一级分辨率特征图像与二级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像与二级分辨率特征图像；
步骤3.3，将二级分辨率特征图像下采样生成尺寸为40×30×128的三级分辨率特征图像，并将一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像；
步骤3.4，对二级分辨率特征图像与三级分辨率特征图像上采样至一级分辨率，与一级分辨率特征图像进行结合，并经卷积处理后获得尺寸为160×120×6的关键特征点概率热力图输出图像，其中，6为识别目标关键特征点的数量。
步骤4，利用步骤2所得的鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
以鱼类单目视觉图像数据集中每张原始图像作为训练集样本输入，标注的关键特征点坐标作为训练集样本标签，对鱼类体征检测模型进行第一阶段训练，损失函数设置为检测关键特征点概率热力图与真实关键特征点坐标标注图像之间的均方误差，计算公式为：
Figure 571784DEST_PATH_IMAGE006
式中，
Figure 506111DEST_PATH_IMAGE007
表示第一阶段训练均方误差的值，
Figure 123037DEST_PATH_IMAGE008
与
Figure 944362DEST_PATH_IMAGE009
分别表示图像宽度方 向与高度方向上像素个数，
Figure 621331DEST_PATH_IMAGE010
表示真实关键特征点坐标标注图像在(i,j)像素点的灰 度值，
Figure 528107DEST_PATH_IMAGE011
表示检测关键特征点概率热力图在(i,j)像素点的灰度值。
检测关键特征点概率热力图像素点的灰度值越接近1表示当前像素越可能为目标关键特征点，真实关键特征点坐标标注图像中关键特征点所在像素灰度值为1，其余像素灰度值均为0。
步骤5，利用步骤2所得的鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
以鱼类双目视觉图像数据集中每一组鱼类双目视觉原始图像作为训练集样本输入，标注的鱼类体征参数作为训练集样本标签对第一阶段训练后的鱼类体征检测模型进行第二阶段训练，损失函数设置为每一组图像检测得到关键点坐标后根据双目视觉系统内部参数计算获得的体征参数与真实体征参数之间的均方误差，计算公式为：
Figure 683145DEST_PATH_IMAGE012
式中，
Figure 139403DEST_PATH_IMAGE013
表示第二阶段训练均方误差的值，
Figure 987274DEST_PATH_IMAGE014
表示识别目标体征参数数 量，
Figure 381346DEST_PATH_IMAGE015
表示第k个体征参数的真实结果，
Figure 340075DEST_PATH_IMAGE016
表示第k个特征参数的检测结果。
步骤6，将待检测双目视觉图像输入步骤5训练后的鱼类体征检测模型，输出获得鱼类体征参数。
为验证鱼类体征检测模型效果，将收集的双目视觉样本集按照8:2的比例随机划分为训练集与测试集，利用训练集对鱼类体征检测模型进行第二阶段训练，利用测试集测试模型效果，通过检测得到的体征参数与真实体征参数相对误差，各组双目视觉图像样本检测相对误差如图5所示，图5中绝大多数样本点集中分布在表征误差为10%的虚线内部，可见对于绝大多数测试样本，其体征参数识别相对误差均小于10%，证明了方法的可靠性。从整体来看，所有测试样本的相对误差总体分布如图6所示，可见相对误差分布整体呈现正态分布特征，大多数体征的相对误差在5%以内，只有极小部分体征参数由于受到拍摄角度、标注误差等限制，最终识别结果的相对误差超过了15%。以上鱼类体征识别的结果对比，综合表明了本发明提出的的深海养殖鱼类体征参数识别方法的有效性。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (8)

1.一种深海养殖鱼类体征参数的识别方法，其特征在于：包括如下步骤：
步骤1，收集不同环境下不同鱼类不同生长阶段单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
步骤2，确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
步骤3，建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型；
步骤4，利用步骤2所得的鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
步骤5，利用步骤2所得的鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
步骤6，将待检测双目视觉图像输入步骤5训练后的鱼类体征检测模型，输出获得鱼类体征参数。
2.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤1中，搭建双目视觉系统，收集深海养殖双目视觉图像，具体包括：对双目视觉系统摄像机进行标定，确定双目视觉系统内部参数，所述双目视觉系统内部参数包括左右摄像机之间基线长度l与摄像机焦距f；利用确定内部参数的双目视觉系统中左右摄像机对同一鱼类目标进行图像采集，左右图像组成一组双目视觉图像。
3.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤2中鱼类关键特征点包括头部最前端、鳃盖后缘、尾鳍基部、尾鳍末端、腹部最低点与背部最高端，所述步骤2中体征参数包括鱼类的体长、全长、体高、头长以及尾鳍长。
4.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤2具体包括：
步骤2.1，按照预设分辨率尺寸w×h对原始单目视觉图像与双目视觉图像进行缩放或裁剪，使所有图像保持相同的分辨率尺寸，获得预处理后的单目视觉图像与双目视觉图像，其中，w为图像的宽度，h为图像的高度；
步骤2.2，确定单目视觉图像中鱼类各个关键特征点位置，并标注其像素坐标，作为单目视觉图像标签，形成单目视觉图像数据集；
步骤2.3，分别确定每组双目视觉图像中左右图像中鱼类各个关键特征点位置，并标注其像素坐标，进一步根据双目视觉系统内部参数计算每组双目视觉图像中目标鱼类各关键特征点真实坐标(x,y,z)，计算公式为：
Figure 343703DEST_PATH_IMAGE001
Figure 116487DEST_PATH_IMAGE002
Figure 63714DEST_PATH_IMAGE003
式中，x l 与x r 分别为关键特征点在左右图像成像面上的图像x轴坐标，y l =y r 为关键特征点在左右图像成像面上的图像y轴坐标，l为双目视觉系统基线距离，f为双目视觉系统摄像机焦距，d=x l -x r 为左右图像成像面上关键特征点的视差；
步骤2.4，根据步骤2.3所得的真实坐标计算各个鱼类体征参数，左右图像关键特征点像素坐标与目标鱼类体征参数共同作为双目视觉图像标签，形成双目视觉图像数据集。
5.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤3具体包括：
步骤3.1，将尺寸为w×h×3的原始输入图像通过卷积操作获取尺寸为(w/4)×(h/4)×c的原始特征图像，并通过金字塔分割通道注意力模块处理获得尺寸为(w/4)×(h/4)×(c/8)的一级分辨率特征图像，其中，c为图像通道数，w为图像的宽度，h为图像的高度；
步骤3.2，将一级分辨率特征图像下采样生成尺寸为(w/8)×(h/8)×(c/4)的二级分辨率特征图像，并将一级分辨率特征图像与二级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像与二级分辨率特征图像；
步骤3.3，将二级分辨率特征图像下采样生成尺寸为(w/16)×(h/16)×(c/2)的三级分辨率特征图像，并将一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像通过上采样与下采样操作进行融合，再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像、二级分辨率特征图像与三级分辨率特征图像；
步骤3.4，对二级分辨率特征图像与三级分辨率特征图像上采样至一级分辨率，与一级分辨率特征图像进行结合，并经卷积处理后获得尺寸为(w/4)×(h/4)×n的关键特征点概率热力图输出图像，其中，n为识别目标关键特征点的数量，w为图像的宽度，h为图像的高度。
6.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤4具体包括：以鱼类单目视觉图像数据集中每张原始图像作为训练集样本输入，标注的关键特征点坐标作为训练集样本标签，对鱼类体征检测模型进行第一阶段训练，损失函数设置为检测关键特征点概率热力图与真实关键特征点坐标标注图像之间的均方误差，计算公式为：
Figure 441606DEST_PATH_IMAGE004
式中，
Figure 573510DEST_PATH_IMAGE005
表示第一阶段训练均方误差的值，与
Figure 36852DEST_PATH_IMAGE006
分别表示图像宽度方向与高 度方向上像素个数，
Figure 44164DEST_PATH_IMAGE007
表示真实关键特征点坐标标注图像在(i,j)像素点的灰度值，
Figure 338879DEST_PATH_IMAGE008
表示检测关键特征点概率热力图在(i,j)像素点的灰度值。
7.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法，其特征在于，所述步骤5具体包括：以鱼类双目视觉图像数据集中每一组鱼类双目视觉原始图像作为训练集样本输入，标注的鱼类体征参数作为训练集样本标签对第一阶段训练后的鱼类体征检测模型进行第二阶段训练，损失函数设置为每一组图像检测得到关键点坐标后根据双目视觉系统内部参数计算获得的体征参数与真实体征参数之间的均方误差，计算公式为：
Figure 844947DEST_PATH_IMAGE009
式中，
Figure 467689DEST_PATH_IMAGE010
表示第二阶段训练均方误差的值，
Figure 84615DEST_PATH_IMAGE011
表示识别目标体征参数数量，
Figure 968258DEST_PATH_IMAGE012
表示第k个体征参数的真实结果，
Figure 582910DEST_PATH_IMAGE013
表示第k个特征参数的检测结果。
8.基于权利要求1-7任意一项所述的一种深海养殖鱼类体征参数的识别系统，其特征在于，包括鱼类图像数据采集单元，图像数据处理单元，模型建立单元，第一训练单元，第二训练单元，结果输出单元；
其中，鱼类图像数据采集单元用于收集不同环境下不同鱼类单目视觉图像，搭建双目视觉系统，收集深海养殖鱼类双目视觉图像；
图像数据处理单元用于确定鱼类关键特征点和体征参数识别目标，对鱼类单目视觉图像与双目视觉图像进行预处理与标注，分别建立鱼类单目视觉图像数据集与双目视觉图像数据集；
模型建立单元用于建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测模型；
第一训练单元用于利用鱼类单目视觉图像数据集对鱼类体征检测模型进行第一阶段训练；
第二训练单元用于利用鱼类双目视觉图像数据集对鱼类体征检测模型进行第二阶段训练；
结果输出单元用于将待检测双目视觉图像输入训练后的鱼类体征检测模型，输出获得鱼类体征参数。
CN202211321741.0A 2022-10-27 2022-10-27 一种深海养殖鱼类体征参数识别系统与识别方法 Active CN115375977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211321741.0A CN115375977B (zh) 2022-10-27 2022-10-27 一种深海养殖鱼类体征参数识别系统与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211321741.0A CN115375977B (zh) 2022-10-27 2022-10-27 一种深海养殖鱼类体征参数识别系统与识别方法

Publications (2)

Publication Number Publication Date
CN115375977A true CN115375977A (zh) 2022-11-22
CN115375977B CN115375977B (zh) 2023-01-31

Family

ID=84073575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211321741.0A Active CN115375977B (zh) 2022-10-27 2022-10-27 一种深海养殖鱼类体征参数识别系统与识别方法

Country Status (1)

Country Link
CN (1) CN115375977B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118397073A (zh) * 2024-05-08 2024-07-26 大连海洋大学 一种基于关键点和双目立体视觉估算养殖鱼类长度的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338590A (zh) * 2016-09-22 2017-01-18 首都师范大学 一种基于计算机视觉监测鱼类生命体征的水质监测方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
WO2021032473A2 (en) * 2019-08-20 2021-02-25 Aquaticode Ltd. Methods and systems for recognizing fish and traits of fish through non-invasive means
CN112949408A (zh) * 2021-02-02 2021-06-11 华电西藏能源有限公司 一种过鱼通道目标鱼类实时识别方法和系统
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338590A (zh) * 2016-09-22 2017-01-18 首都师范大学 一种基于计算机视觉监测鱼类生命体征的水质监测方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
WO2021032473A2 (en) * 2019-08-20 2021-02-25 Aquaticode Ltd. Methods and systems for recognizing fish and traits of fish through non-invasive means
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN112949408A (zh) * 2021-02-02 2021-06-11 华电西藏能源有限公司 一种过鱼通道目标鱼类实时识别方法和系统
CN114155481A (zh) * 2021-11-30 2022-03-08 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于语义分割的非结构化田间道路场景识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRIEDHELM HAMANN ET AL.: "Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
任佰刚: "水质监测中鱼类行为学数据的采集及处理与节律模型的构建", 《知网》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118397073A (zh) * 2024-05-08 2024-07-26 大连海洋大学 一种基于关键点和双目立体视觉估算养殖鱼类长度的方法

Also Published As

Publication number Publication date
CN115375977B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN110889844B (zh) 一种基于深度聚类分析的珊瑚分布及健康状况评估方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN113139489B (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
Dewan et al. Learning a local feature descriptor for 3d lidar scans
CN115375977B (zh) 一种深海养殖鱼类体征参数识别系统与识别方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117132914B (zh) 通用电力设备识别大模型方法及系统
CN116703932A (zh) 一种基于卷积注意力机制的CBAM-HRNet模型小麦穗粒分割与计数方法
CN115880594A (zh) 一种基于无人机视觉感知和深度学习的堤坝裂缝智能检测方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN118314196B (zh) 基于YOLOv9-DSM网络的水果体积检测方法
CN109815973A (zh) 一种适用于鱼类细粒度识别的深度学习方法
Wang et al. Biological characters identification for hard clam larva based on the improved YOLOX-s
Deng et al. An automatic body length estimating method for Micropterus salmoides using local water surface stereo vision
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法
CN111401203A (zh) 基于多维图像融合的目标识别方法
CN115330747A (zh) 基于DPS-Net深度学习的水稻植株计数、定位和大小估计方法
CN115359324A (zh) 一种中华绒螯蟹头胸甲特征点识别的方法
TW202309776A (zh) 智慧養殖魚隻數量估算方法及系統
CN113673422A (zh) 一种宠物种类识别方法及识别系统
CN112925932A (zh) 一种高清晰的水下激光图像处理系统
CN109409278A (zh) 基于估计网络的图像目标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant