CN113628182A - 鱼类重量自动估计方法、装置、电子设备及存储介质 - Google Patents

鱼类重量自动估计方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113628182A
CN113628182A CN202110886695.8A CN202110886695A CN113628182A CN 113628182 A CN113628182 A CN 113628182A CN 202110886695 A CN202110886695 A CN 202110886695A CN 113628182 A CN113628182 A CN 113628182A
Authority
CN
China
Prior art keywords
fish
frame
image
perimeter
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110886695.8A
Other languages
English (en)
Other versions
CN113628182B (zh
Inventor
安冬
于晓宁
王雅倩
位耀光
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202110886695.8A priority Critical patent/CN113628182B/zh
Publication of CN113628182A publication Critical patent/CN113628182A/zh
Application granted granted Critical
Publication of CN113628182B publication Critical patent/CN113628182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种鱼类重量自动估计方法、装置、电子设备及存储介质，方法包括：采集待测鱼类的水下双目视频；确定待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图；将轮廓特征与视差图进行匹配，并计算待测鱼类的周长；将周长输入周长‑重量估计模型，得到待测鱼类的重量估计结果。本发明提供的鱼类重量自动估计方法、装置、电子设备及存储介质，通过获取视频中适合鱼类尺寸参数估计的测量帧，可以降低鱼类身体弯曲度对周长‑重量估计模型精度的影响，从而更准确、高效的对鱼类重量进行估计。

Description

鱼类重量自动估计方法、装置、电子设备及存储介质
技术领域
本发明涉及图像分析处理和生物测量技术领域，尤其涉及一种鱼类重量自动估计方法、装置、电子设备及存储介质。
背景技术
在水产养殖中，定期获取养殖鱼类的重量对于养殖密度监控、分级预警及投喂量调节等饲养过程具有重要意义。而鱼类的重量与鱼类的体长、体宽、周长等尺寸参数密切相关，因此鱼类的尺寸估计是影响鱼类重量估计准确性的重要因素。
现有基于图像处理的鱼类尺寸估计方法主要包括两个方面，一方面是将鱼类放置在相机与载物台之间距离固定的设备上，并在鱼体周围放置大小已知的参照物，通过估计参照物在图像中所占像素数目与鱼类所占像素的数目来推断鱼类的轮廓或者表面积等参数。然而，该方法在测量过程中会对鱼类的健康产生不良影响，实用性不佳。
另一方面，借助水下双目相机，利用图像-世界坐标变换可以获取鱼类的三维坐标，采用手动标记或者姿态估计等方法可以获取鱼类的嘴巴与尾巴在图像中的位置，进而实现鱼类体长、体宽等参数的估计。但是，利用水下双目视觉对鱼类尺寸参数的估计精度受鱼类身体的弯曲度影响较大，鱼类身体的弯曲度越大，误差也越大。而在面对鱼类运动的不确定性与待处理视频数据量大的问题时，上述方法无法自动确定适合尺寸估计的测量帧，导致测量结果可靠性难以保证。
此外，已有的鱼类重量估计装置，在测量帧搜索及鱼类尺寸参数关键点确定等步骤中，主要以人工挑选与手动标记为主，数据处理方式费时费力、适应性差且自动化程度低，难以满足实际应用需求。
发明内容
本发明提供一种鱼类重量自动估计方法、装置、电子设备及存储介质，用以解决现有技术中鱼类重量估计方式实用性不佳、不够准确、自动化程度低的技术问题。
第一方面，本发明提供一种鱼类重量自动估计方法，包括：
采集待测鱼类的水下双目视频；
确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；
对所述测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取所述测量帧对应的视差图；
将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长；
将所述周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
根据本发明提供的一种鱼类重量自动估计方法，所述确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，包括：
将所述待测鱼类的水下双目视频中各帧图像分别输入至弯曲度估计模型中，得到各帧图像的鱼类弯曲度；其中，所述弯曲度估计模型是基于鱼类样本的每一帧图像与其鱼类体长相对误差一一对应的数据集训练得到的。
根据本发明提供的一种鱼类重量自动估计方法，所述鱼类样本的每一帧图像与其鱼类体长相对误差一一对应的数据集的构建过程，包括：
测量鱼类样本的体长，得到体长实测值；
拍摄鱼类样本的水下双目视频，并估测所述鱼类样本的水下双目视频中每一帧图像内鱼类样本的体长，得到体长估测值；
根据所述体长实测值与所述体长估测值，计算每一帧图像的鱼类体长相对误差，所述鱼类体长相对误差用于评价鱼类样本的弯曲度；
根据每一帧图像的鱼类体长相对误差，构建得到每一帧图像与其鱼类体长相对误差一一对应的数据集。
根据本发明提供的一种鱼类重量自动估计方法，所述采集待测鱼类的水下双目视频之前，还包括：
对采集水下双目视频所用的双目相机进行标定。
根据本发明提供的一种鱼类重量自动估计方法，所述对所述测量帧进行前景分割，获得待测鱼类的轮廓特征之前，还包括：
对所述测量帧进行畸变校正。
根据本发明提供的一种鱼类重量自动估计方法，所述获取所述测量帧对应的视差图，包括：
分别计算所述测量帧中每个像素的视差，得到所述测量帧对应的视差图。
根据本发明提供的一种鱼类重量自动估计方法，所述将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长，包括：
将所述轮廓特征中的轮廓点映射至所述视差图中，并计算所述视差图中每个轮廓点的三维坐标；
分别计算三维坐标下相邻轮廓点之间的距离，将所述距离求和，得到待测鱼类的周长。
第二方面，本发明还提供一种鱼类重量自动估计装置，包括：
视频采集模块，用于采集待测鱼类的水下双目视频；
测量帧提取模块，用于确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；
测量帧处理模块，用于对所述测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取所述测量帧对应的视差图；
周长计算模块，用于将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长；
重量估计模块，用于将所述周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼类重量自动估计方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述鱼类重量自动估计方法的步骤。
本发明提供的鱼类重量自动估计方法、装置、电子设备及存储介质，通过获取采集的视频中适合鱼类尺寸参数估计的测量帧，并计算测量帧中待测鱼类的周长特征，进而借助于周长-重量模型实现鱼类重量的自动估计，测量帧的提取环节，可以有效降低鱼类身体弯曲度对周长-重量估计模型精度的影响，从而更准确、高效的对鱼类重量进行估计。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的鱼类重量自动估计方法的流程示意图；
图2是双目相机标定的基本流程示意图；
图3是弯曲度估计模型的构建流程示意图；
图4是弯曲度估计模型的网络训练过程示意图；
图5是本发明提供的鱼类重量自动估计装置的结构示意图；
图6为本发明实施例提供的电子设备的结构架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的鱼类重量自动估计方法，包括：
S110：采集待测鱼类的水下双目视频。
本实施例通过双目相机采集待测鱼类的水下双目视频，为了保证双目相机采集的视频数据更加可靠，同时为了便于后续对采集的视频进行处理，本实施例在采集待测鱼类的水下双目视频之前，还会对采集水下双目视频所用的双目相机进行标定。
具体地，参见附图2，双目相机标定的基本流程如下：
S210：输入多组不同角度、不同位置、不同距离的标定板的双目图像；
S220：消除双目图像中的图像畸变；
S230：对双目相机进行校正；
S240：输出双目相机的校正参数。
由于双目相机标定需要通过标定板完成，因此在进行标定前需要拍摄双目相机的两个镜头共同视野内不同角度、不同位置、不同距离的标定板的图像，根据标定板上已知尺寸的黑白格，对双目相机进行标定。
相机标定是从世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程，即求解投影矩阵的过程，相机标定的具体流程为已有技术，在此不再赘述。
S120：确定待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧。
在本步骤中，水下双目视频由多帧图像组成，测量帧为其中至少一帧图像，测量帧的提取需要借助弯曲度估计模型完成，将待测鱼类的水下双目视频中各帧图像分别输入至弯曲度估计模型中，得到各帧图像的鱼类弯曲度，进而提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧。
该弯曲度估计模型在构建时，包括数据集的制作、弯曲度估计模型的训练及测试等步骤。
具体地，参见附图3，弯曲度估计模型的构建过程包括：
S310：构建鱼类样本的每一帧图像与其鱼类体长相对误差一一对应的数据集；
S320：通过数据集对预先构建的深度学习网络进行训练，得到弯曲度估计模型。
在本步骤中，构建鱼类样本的水下双目视频中每一帧图像与其鱼类体长相对误差一一对应的数据集的过程，包括：
首先，需要获取鱼类样本的体长实测值L和体长估测值l，体长实测值通过人工测量鱼类样本的体长得到；体长估测值通过拍摄鱼类样本的水下双目视频，并估测鱼类样本的水下双目视频中每一帧图像内鱼类样本的体长得到。
然后，根据体长实测值与体长估测值，可以计算得到每一帧图像的鱼类体长相对误差。这里得到的鱼类体长相对误差主要用于衡量鱼类身体弯曲程度，即弯曲度。鱼类体长相对误差越小，表明弯曲度越小。具体地，鱼类体长相对误差的计算公式如下：
Figure BDA0003194475740000071
式中，Error表示鱼类体长相对误差，L表示体长实测值，l表示体长估测值。
根据视频中各帧图像与图像对应的鱼类体长相对误差，可以构建得到每一帧图像与其鱼类体长相对误差一一对应的数据集。通过得到的数据集对预先构建的深度学习网络进行训练，可以得到弯曲度估计模型。
图4示出了弯曲度估计模型的网络训练过程示意图，弯曲度估计模型由三列卷积神经网络与两个全连接层组成，并且每一列卷积网络包含三个卷积层与三个最大池化层。其中，三列卷积神经网络的结构相同，但是卷积核大小不同。对于第一列网络Net1，卷积核大小分别为9×9，7×7，7×7；对于第二列网络Net2，卷积核大小分别为7×7，5×5，5×5；对于第三列网络Net3，卷积核大小分别为5×5，3×3，3×3；上述三列卷积网络的每一个卷积层后均有一个最大池化层，其池化窗口为2×2，步长为2。具体的计算公式如下：
Figure BDA0003194475740000072
Figure BDA0003194475740000073
Figure BDA0003194475740000074
其中，W1 c，W2 c，W3 c分别为c列(c∈{1,2,3})卷积神经网络中第1个、第2个和第3个卷积层的卷积权值；
Figure BDA0003194475740000075
分别是c列(c∈{1,2,3})卷积神经网络中卷积层组的第1个、第2个和第3个卷积层的偏置；F1(Ic(x))，F2(Ic(x))，F3(Ic(x))分别是c列(c∈{1,2,3})卷积神经网络中卷积层组的第1个、第2个和第3个卷积层的输出结果，Ic(x)表示一帧图像。
进一步地，将三列卷积神经网络输出的特征图连接成一个特征图块B，并将其输入两个全连接层C1、C2中，具体计算公式如下：
Ffc1(I(x))＝max(Wfc1*{F3(I1(x)),F3(I2(x)),F3(I3(x))}+b4,0) (5)
Ffc2(I(x))＝max(Wfc2*Ffc1(I(x))+b5,0) (6)
其中，Wfc1，Wfc2分别为第1个和第2个全连接层的权值；b4，b5分别为第1个和第2个全连接层的偏置；Ffc1(I(x))，Ffc2(I(x))分别为第1个和第2个全连接层的输出结果。
对第二个全连接层输出的结果进行回归，输出图像对应的鱼类体长相对误差Fout(I(x))，即弯曲度，具体公式如下：
Fout(I(x))＝W·Ffc2(I(x))+b6 (7)
其中，W为回归权值，b6为回归的偏置。
由于构建弯曲度估计模型时所用的三列卷积神经网络采用不同大小的卷积核，能够提取不同尺度的特征，因此，最终得到的测量帧提取模型在获取适合鱼类周长估计的图像的能力上有了很大的提高。
构建好弯曲度估计模型后，进一步对该模型进行训练，训练过程如下：
预先设定训练的最大迭代次数、学习率、批处理大小和最小损失阈值；
当训练的迭代次数达到最大迭代次数或者前后两次训练得到的损失函数的差值小于最小损失阈值时，停止网络训练并确定最终的弯曲度估计模型。
具体地，训练模型之前需要预先设置该模型的基本参数。首先，设置训练集与验证集的比例为7：3，批处理大小为8，采用在线学习的方式，学习率为1×10-6，迭代次数为10000次，使用SGD(Stochastic Gradient Descent，随机梯度下降)优化算法更新模型的权重。为了缩小样本真实值与预测值之间的误差，本发明实施例使用的损失函数定义如下：
Figure BDA0003194475740000091
其中，gi表示样本真实值，pi表示经过测量帧提取模型运算后得到的预测值，N表示每批次样本数目。
训练好弯曲度估计模型后，通过测试集对弯曲度估计模型进行测试，在确定模型性能可以满足实际应用需求后，将视频中的各帧图像输入弯曲度估计模型，输出各帧图像的弯曲度，通过设定弯曲度阈值，从中提取弯曲度小于弯曲度阈值的图像作为测量帧，从而可以从水下双目视频中自动获取适合求解鱼类周长的双目图像。
S130：对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图。
本步骤中，具体利用帧平均、阈值分割以及形态学方法对测量帧进行前景分割，获取鱼类的轮廓特征。
同时，借助块匹配和绝对差值之和来计算测量帧中每个像素与双目相机的另一镜头同步采集的图像形成的视差，得到测量帧的视差图。
更优地，为了保证图像处理精度，本实施例在对测量帧进行前景分割，获得待测鱼类的轮廓特征之前，还对测量帧进行畸变校正。具体利用双目相机标定得到的相机参数对获取的测量帧进行校正。
S140：将轮廓特征与视差图进行匹配，并计算得到待测鱼类的周长。
图像中鱼类的轮廓由一系列点(pxi,pyi)组成，其中，i∈[1,N]，N表示轮廓点的数目。将图像中的轮廓点映射至视差图中，计算视差图中每一个轮廓点的三维坐标，根据三维坐标下两点间的距离计算公式获取相邻点之间的距离，依次求解，进而计算得到鱼类的周长，其中三维坐标下两点间的距离计算如下：
Figure BDA0003194475740000101
其中，(xi,yi,zi)和(xi+1,yi+1,zi+1)表示相邻两点的三维坐标。
S150：将周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
本发明实施例根据多条已知重量和周长的鱼类，对其周长、重量参数进行线性拟合，得到鱼类真实周长与鱼类重量的映射关系，即周长-重量估计模型。这样，将鱼类周长输入该周长-重量估计模型中，即可直接输出相应的重量估计结果。
由此可见，本发明实施例提供的鱼类重量自动估计方法，通过提取视频中适合鱼类尺寸参数估计的图像，即测量帧，并通过图像-世界坐标变换与图像分割获取鱼类的周长特征，进而借助于周长-重量模型实现鱼类重量的自动估计。其中，通过测量帧的提取环节得到的图像可以有效的降低鱼类身体弯曲度对周长-重量估计模型精度的影响，从而可以更准确且自动的对水产系统中的鱼类重量进行估计。由于弯曲度估计模型通过图像与其鱼类体长相对误差一一对应的数据集训练得到，因此使得最终得到的测量帧适用性更好，且得到的尺寸参数的准确性更高，从而有效提高了鱼类重量估计的精度。
下面结合附图5对本发明提供的鱼类重量自动估计装置进行描述，下文描述的鱼类重量自动估计装置与上文描述的鱼类重量自动估计方法可相互对应参照。
图5示出了本发明实施例提供的鱼类重量自动估计装置，包括：
视频采集模块510，用于采集待测鱼类的水下双目视频；
测量帧提取模块520，用于将待测鱼类的水下双目视频输入预先构建的测量帧提取模型中，得到测量帧；其中，测量帧为待测鱼类的水下双目视频中鱼类弯曲度小于预设弯曲度阈值的图像；
测量帧处理模块530，用于对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图；
周长计算模块540，用于将轮廓特征与视差图进行匹配，并计算得到待测鱼类的周长；
重量估计模块550，用于将周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
本实施例中视频采集模块510可以是双目相机，在使用双目相机采集水下双目视频之前，还需要对双目相机进行标定，具体通过印有黑白格的标定板实现相机标定，获得相机参数。
测量帧提取模块520利用构建好的弯曲度估计模型估计各帧图像的鱼类弯曲度，进而与预设弯曲度阈值进行比较，从采集的水下双目视频中提取适合鱼类重量估计的测量帧，从而保证后续计算得到的待测鱼类的周长更加准确可靠。
测量帧处理模块530在对测量帧进行前景分割前，还可以对测量帧进行畸变校正，畸变校正过程利用相机标定得到的相机参数完成，进一步保证图像处理精度和可靠性。
具体地，测量帧处理模块530通过分别计算测量帧中每个像素的视差，得到测量帧对应的视差图。视差图主要利用双目相机左右两个镜头同步采集的图像之间产生的视差获得。
本实施例中周长计算模块540包括三维坐标获取单元和周长求解单元，具体地，周长计算模块540通过三维坐标获取单元将轮廓特征中的轮廓点映射至视差图中，并计算视差图中每个轮廓点的三维坐标；通过周长求解单元分别计算三维坐标下相邻轮廓点之间的距离，将所述距离求和，得到待测鱼类的周长。
重量估计模块550通过预先构建的周长-重量估计模型完成重量估计，该模型在构建时，需要采集多条已知重量和周长的鱼类，对周长、重量参数进行线性拟合，得到鱼类真实周长与鱼类重量的映射关系，进而构建得到周长-重量估计模型。
由此可见，本发明实施例提供的鱼类重量自动估计装置，通过测量帧提取模块获取视频中适合鱼类尺寸参数估计的测量帧，并通过周长计算模块计算测量帧中待测鱼类的周长特征，进而通过重量估计模块借助于周长-重量模型实现鱼类重量的自动估计，测量帧的提取环节，可以有效降低鱼类身体弯曲度对周长-重量估计模型精度的影响，从而更准确、高效的对鱼类重量进行估计。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行鱼类重量自动估计方法，该方法包括：采集待测鱼类的水下双目视频；将待测鱼类的水下双目视频输入预先构建的测量帧提取模型中，得到测量帧；其中，测量帧为待测鱼类的水下双目视频中鱼类弯曲度小于预设弯曲度阈值的图像；对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图；将轮廓特征与视差图进行匹配，并计算得到待测鱼类的周长；将周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的鱼类重量自动估计方法，该方法包括：采集待测鱼类的水下双目视频；确定待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图；将轮廓特征与视差图进行匹配，并计算得到待测鱼类的周长；将周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的鱼类重量自动估计方法，该方法包括：采集待测鱼类的水下双目视频；确定待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；对测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取测量帧对应的视差图；将轮廓特征与视差图进行匹配，并计算得到待测鱼类的周长；将周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种鱼类重量自动估计方法，其特征在于，包括：
采集待测鱼类的水下双目视频；
确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；
对所述测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取所述测量帧对应的视差图；
将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长；
将所述周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
2.根据权利要求1所述的一种鱼类重量自动估计方法，其特征在于，所述确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，包括：
将所述待测鱼类的水下双目视频中各帧图像分别输入至弯曲度估计模型中，得到各帧图像的鱼类弯曲度；其中，所述弯曲度估计模型是基于鱼类样本的每一帧图像与其鱼类体长相对误差一一对应的数据集训练得到的。
3.根据权利要求2所述的一种鱼类重量自动估计方法，其特征在于，所述鱼类样本的每一帧图像与其鱼类体长相对误差一一对应的数据集的构建过程，包括：
测量鱼类样本的体长，得到体长实测值；
拍摄鱼类样本的水下双目视频，并估测所述鱼类样本的水下双目视频中每一帧图像内鱼类样本的体长，得到体长估测值；
根据所述体长实测值与所述体长估测值，计算每一帧图像的鱼类体长相对误差，所述鱼类体长相对误差用于评价鱼类样本的弯曲度；
根据每一帧图像的鱼类体长相对误差，构建得到每一帧图像与其鱼类体长相对误差一一对应的数据集。
4.根据权利要求1所述的一种鱼类重量自动估计方法，其特征在于，所述采集待测鱼类的水下双目视频之前，还包括：
对采集水下双目视频所用的双目相机进行标定。
5.根据权利要求4所述的一种鱼类重量自动估计方法，其特征在于，所述对所述测量帧进行前景分割，获得待测鱼类的轮廓特征之前，还包括：
对所述测量帧进行畸变校正。
6.根据权利要求1所述的一种鱼类重量自动估计方法，其特征在于，所述获取所述测量帧对应的视差图，包括：
分别计算所述测量帧中每个像素的视差，得到所述测量帧对应的视差图。
7.根据权利要求1所述的一种鱼类重量自动估计方法，其特征在于，所述将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长，包括：
将所述轮廓特征中的轮廓点映射至所述视差图中，并计算所述视差图中每个轮廓点的三维坐标；
分别计算三维坐标下相邻轮廓点之间的距离，将所述距离求和，得到待测鱼类的周长。
8.一种鱼类重量自动估计装置，其特征在于，包括：
视频采集模块，用于采集待测鱼类的水下双目视频；
测量帧提取模块，用于确定所述待测鱼类的水下双目视频中各帧图像的鱼类弯曲度，并提取鱼类弯曲度小于预设弯曲度阈值的图像作为测量帧；
测量帧处理模块，用于对所述测量帧进行前景分割，获得待测鱼类的轮廓特征，并获取所述测量帧对应的视差图；
周长计算模块，用于将所述轮廓特征与所述视差图进行匹配，并计算得到待测鱼类的周长；
重量估计模块，用于将所述周长输入预先构建的周长-重量估计模型，得到待测鱼类的重量估计结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述鱼类重量自动估计方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述鱼类重量自动估计方法的步骤。
CN202110886695.8A 2021-08-03 2021-08-03 鱼类重量自动估计方法、装置、电子设备及存储介质 Active CN113628182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110886695.8A CN113628182B (zh) 2021-08-03 2021-08-03 鱼类重量自动估计方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110886695.8A CN113628182B (zh) 2021-08-03 2021-08-03 鱼类重量自动估计方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113628182A true CN113628182A (zh) 2021-11-09
CN113628182B CN113628182B (zh) 2024-04-26

Family

ID=78382473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110886695.8A Active CN113628182B (zh) 2021-08-03 2021-08-03 鱼类重量自动估计方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113628182B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US20140210951A1 (en) * 2013-01-25 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing three-dimensional information
CN104008367A (zh) * 2014-05-08 2014-08-27 中国农业大学 基于计算机视觉的育肥猪的自动行为分析系统及方法
US20140270395A1 (en) * 2013-03-15 2014-09-18 Propel lP Methods and apparatus for determining information about objects from object images
CN106447732A (zh) * 2016-09-22 2017-02-22 成都通甲优博科技有限责任公司 采用视差信息和三维信息获取异样区域的方法
CN106969729A (zh) * 2017-04-05 2017-07-21 中国农业科学院北京畜牧兽医研究所 鸭肌胃重量活体预测方法
CN108175389A (zh) * 2017-12-22 2018-06-19 北京农业信息技术研究中心 一种多源信息融合奶牛行为监测系统及方法
US20180241923A1 (en) * 2015-08-26 2018-08-23 Zhejiang Dahua Technology Co., Ltd. Methods and systems for traffic monitoring
CN111134047A (zh) * 2020-01-19 2020-05-12 浙江大学 笼养蛋鸡的蛋鸡区位产蛋性能监测方法与系统
WO2020134255A1 (zh) * 2018-12-27 2020-07-02 南京芊玥机器人科技有限公司 一种基于机器视觉对鱼类生长情况进行监测的方法
KR102180077B1 (ko) * 2020-04-29 2020-11-17 주식회사 일루베이션 3d 영상을 기반으로한 가축 무게 추정 애플리케이션을 활용한 가축 무게 추정 시스템과, 이를 이용한 가축 무게 추정 방법
CN112233144A (zh) * 2020-09-24 2021-01-15 中国农业大学 水下鱼体重量测量方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210951A1 (en) * 2013-01-25 2014-07-31 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing three-dimensional information
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US20140270395A1 (en) * 2013-03-15 2014-09-18 Propel lP Methods and apparatus for determining information about objects from object images
CN104008367A (zh) * 2014-05-08 2014-08-27 中国农业大学 基于计算机视觉的育肥猪的自动行为分析系统及方法
US20180241923A1 (en) * 2015-08-26 2018-08-23 Zhejiang Dahua Technology Co., Ltd. Methods and systems for traffic monitoring
CN106447732A (zh) * 2016-09-22 2017-02-22 成都通甲优博科技有限责任公司 采用视差信息和三维信息获取异样区域的方法
CN106969729A (zh) * 2017-04-05 2017-07-21 中国农业科学院北京畜牧兽医研究所 鸭肌胃重量活体预测方法
CN108175389A (zh) * 2017-12-22 2018-06-19 北京农业信息技术研究中心 一种多源信息融合奶牛行为监测系统及方法
WO2020134255A1 (zh) * 2018-12-27 2020-07-02 南京芊玥机器人科技有限公司 一种基于机器视觉对鱼类生长情况进行监测的方法
CN111134047A (zh) * 2020-01-19 2020-05-12 浙江大学 笼养蛋鸡的蛋鸡区位产蛋性能监测方法与系统
KR102180077B1 (ko) * 2020-04-29 2020-11-17 주식회사 일루베이션 3d 영상을 기반으로한 가축 무게 추정 애플리케이션을 활용한 가축 무게 추정 시스템과, 이를 이용한 가축 무게 추정 방법
CN112233144A (zh) * 2020-09-24 2021-01-15 中国农业大学 水下鱼体重量测量方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨亚辉: "利用几何相似性快速测量鱼重的数学模型", 《电子技术与软件工程》, no. 20, pages 182 - 183 *

Also Published As

Publication number Publication date
CN113628182B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111243005B (zh) 牲畜估重方法、装置、设备以及计算机可读存储介质
CN109859101B (zh) 农作物冠层热红外图像识别方法及系统
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN113920453A (zh) 一种基于深度学习的猪只体尺体重估测方法
CN111488874A (zh) 一种指针式仪表倾斜校正方法及系统
CN111325217B (zh) 数据处理方法、装置、系统和介质
CN115690708A (zh) 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN113989353A (zh) 一种猪只背膘厚度测定方法及系统
CN113096178A (zh) 猪只体重的估测方法、装置、设备和存储介质
CN115512215A (zh) 水下生物监测方法、装置及存储介质
CN113344956A (zh) 基于无人机航摄三维建模的地物轮廓提取分类方法
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
CN113313047A (zh) 一种基于车道结构先验的车道线检测方法及系统
CN115886792A (zh) 一种牲畜智能体尺测定方法、系统及装置
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN116363494B (zh) 一种鱼类数量监测、洄游跟踪的方法和系统
CN113628182B (zh) 鱼类重量自动估计方法、装置、电子设备及存储介质
CN110533663B (zh) 一种图像视差确定方法、装置、设备及系统
CN116740703A (zh) 一种基于点云信息的小麦表型参数变化率估测方法和装置
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116434066B (zh) 基于深度学习的大豆豆荚考种方法、系统及装置
CN111681270A (zh) 一种实现图像帧之间配准的方法、装置和存储介质
CN115100688B (zh) 一种基于深度学习的鱼类资源快速识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant