CN111696150A - 一种叉尾鮰鱼表型数据的测量方法 - Google Patents

一种叉尾鮰鱼表型数据的测量方法 Download PDF

Info

Publication number
CN111696150A
CN111696150A CN202010424283.8A CN202010424283A CN111696150A CN 111696150 A CN111696150 A CN 111696150A CN 202010424283 A CN202010424283 A CN 202010424283A CN 111696150 A CN111696150 A CN 111696150A
Authority
CN
China
Prior art keywords
point
fish
top view
length
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010424283.8A
Other languages
English (en)
Inventor
高广春
郑一琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Feirui Technology Co ltd
Original Assignee
Hangzhou Feirui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Feirui Technology Co ltd filed Critical Hangzhou Feirui Technology Co ltd
Priority to CN202010424283.8A priority Critical patent/CN111696150A/zh
Publication of CN111696150A publication Critical patent/CN111696150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

本发明公开了一种叉尾鮰鱼表型数据的测量方法，包括以下步骤：S1、拍摄多张叉尾鮰鱼在水中的侧视图图像以及俯视图图像；S2、分别标注侧视图图像以及俯视图图像的检测关键点，制作标签文件；S3、获取侧视图图像以及俯视图图像的标尺比例参数；S4、采用基于Hourglass网络的关键点检测算法，对斑点叉尾鮰鱼的表型数据测量；S5、根据获取得到的关键点，结合三维空间变换以及比例参数获取表型数据。本发明不仅可以带来鱼较小的应激反应，而且即使鱼身体在弯曲的状态下也可以一次采集和测量完成多个表型数据指标，提高测量效率，减少人工成本，且测量精度稳定。

Description

一种叉尾鮰鱼表型数据的测量方法
技术领域
本发明属于水产技术领域，具体涉及一种叉尾鮰鱼表型数据的测量方法。
背景技术
水产养殖是农业生产的重要组成部分，近几十年来，中国水产养殖业迅速 发展，取得了举世瞩目的成就。自1989年来，中国水产品总产量已连续20多 年位居世界首位，养殖产量占世界总产量的70％以上，是世界上唯一的渔业养 殖产量超过捕捞产量的国家。在水产养殖过程中，水产生物的表型数据(尺寸， 形状，颜色等)对于渔业研究人员来说是一项非常重要的基础信息，它不仅反 映了鱼类个体的生长状况，也是养殖者进行喂养、喂药、育种、选别、分级等 进行相关研究的主要信息依据。在很长的一段时间内，主流的测量方法依然是 人工作业，即将待测的鱼类个体捞起，待鱼类个体无应激反应时，用游标卡尺 读取相应的待测量数据，当测量数据较多时，一般采用流水线作业，多人分工， 每人测量固定的形态学指标数据，待全部人员测完后，再将鱼类个体放回养殖 池中。从这种方法上可以看出，当测量数据较少时，这种方法具有一定可行性， 对鱼类个体的影响较小，但是当测量数据较多时，这种测量方法就存在很大的 弊端。
对于传统的鱼类表型数据测量方法，其存在的问题可以总结如下：
1、检测方法需要大量的人力物力，且随着测量指标的增加而增加，效率 比较低。
2、方法易受经验、习惯、偏好等主观因素和外部环境干扰的影响，致使检 测过程耗时费力，检测结果主观性强、一致性差、出错率高，无法形成一个统 一的标准。
3、由于鱼类个体脱离水后存在一定的应激反应，且长时间脱水，接触式的 测量方法会对鱼类个体的活性造成一定的影响，对后续的育种研究造成一定的 干扰。
4、人工测量的数据样本量一般较少，不具有完整的统计学意义，无法通过 大批量样本的表型数据为后续的育种等研究提供指导性的建议。
传统的鱼类表型数据测量方法可以分为接触式直接测量和非接触式间接测 量两张方法。在对于鱼的表型数据测量研究当中，国内外的相关学者基于计算 机视觉技术也做出了大量的研究。研究学者的一部分思路都是在图像上做预处 理后，提取轮廓，再通过算法获取到特征点，基于特征点计算像素点的距离， 另一种思路是基于深度学习的方法检测出特定区域的位置，根据得到的检测框 计算表型数据，再根据比例尺关系得到最终的尺度信息。
余心杰等人(余心杰,吴雄飞,王建平,等.基于机器视觉的大黄鱼形态参 数快速检测方法[J].集成技术,2014(5):45-51.)基于机器视觉技术来测量鱼的表 型数据，首先对图像预处理，去除噪声干扰，然后通过设置参数，相机标定， 测量固定长度的标准尺寸，计算出像素与实际长度的比例，通过在操作界面上 标记特征点来测量出待测量的表型数据的标准尺寸。此方法较为直接，但是还 是通过手动方法测量出表型数据，测量的效率不高。
Hsieh等(Hsieh C L,Chang H Y,Chen F H,et al.A simple and effectivedigital imaging approach for tuna fish length measurement compatible withfishing operations[J].Computers and Electronics in Agriculture,2011,75(1):44-51.)提出利 用基于梯度的边缘检测和霍夫变换定位金枪鱼的头尾以及颜色板方格的两侧， 根据图像上的像素距离以及实际颜色板的实际长度，确定最终的长度。该方法 简单易用，但只适合硬骨鱼的长度测量，适用范围较小，且易受环境干扰。
Balaban等(Balaban M O,Gülgün F Unal
Figure BDA0002498090490000031
Soriano M G,et al.UsingImage Analysis to Predict the Weight of Alaskan Salmon of Different Species[J]. Journal of Food Science,2010,75(3):E157-62.)提出利用边界框确定鱼的宽度和长 度，通过旋转包围鱼的边界框，得到最小面积的包围边界框，进而确定宽度和 长度。该方法能同时测量出宽度和长度，但是只适合测量笔直鱼身的长度，测 量的数据指标有限。
Abdullah等(Abdullah N,Shafry M,Rahim M,et al.Measuring fish lengthfrom digital images(FiLeDI)[C]//International Conference on InteractionSciences: Information Technology.ACM,2009.)利用机器视觉技术来提取鱼的长度参数， 首先将图像经过预处理后提取出鱼的边界，在鱼的边界图像上，利用曲率信息 找出头和尾部的相关角点，然后根据得到的头尾点两点之间的像素个数和像素 尺寸计算最终的鱼体全长，该方法虽能计算出全长信息，但是提取的信息，且 步骤较为繁琐。
胡祝华(胡祝华,曹路,张逸然,等.基于图像处理和线性拟合的鱼体尾柄 测量方法研究[J].渔业现代化,2017(2).)提出基于图像处理和线性拟合的鱼体尾 柄测量方法，首先对图像进行预处理，通过边缘检测和轮廓提取得到鱼体的外 部轮廓，根据先验知识提取鱼尾柄ROI区域，在对于其进行角点检测和最小二 乘拟合，得到最终的长度，该方法测量的精度较高，但是测量的指标数量较少， 不适合大范围推广。
龚瑞通过利用两张方法提取虾的表型数据，一种是通过构建基于LBP特征 的级联分类器，在二值化图像上寻找头部，胸甲部，尾部的具体举行位置，通 过与实际的标尺长度在图像上的距离比较就可以得出头胸甲长，头胸甲宽以及 体长的具体长度。另一种方法是基于Faster-Rcnn的深度学习方法，通过构建特 定区域的样本数据集，训练网络模型，在通过模型预测出来的候选框坐标计算 最终的表型数据。这两种相对于传统的图像处理方法有了很大的改进，但该方 法在测量时脱水测量，对虾个体的生物活性造成了一定的干扰。
Strachan等(Strachan N J C.Length measurement of fish by computervision[J]. Computers and Electronics in Agriculture,1993,8(2):93-104.)用关键点法测量输送 机上黑线鳕鱼的长度。该论文确定了鱼类的种类及其方向和长度。发现最好的 线是测量捕获在灯箱中的鱼图像的长度，该灯箱由图像中的五个不同的中点组 成，见图1。同时，使用最佳拟合矩形方法作为支持工具来测量长度。通过两个 相邻点之间的距离之和来计算长度。总共测量了35个黑线鳕鱼，误差小于1％。
White等人(White D J,Svellingen C,Strachan N J C.Automated measurementof species and length of fish by computer vision[J].Fisheries Research(Amsterdam), 2006,80(2-3):0-210.)通过对预处理后经过二值化后的图像检测鱼头和鱼尾的方 向，再与这个方向垂直的方向等分切割二值化图像，获取一系列在图像上与轮 廓相交的点，再将这些点的重点连接起来计算最终的鱼体长度。该方法的精度 较高，但是若鱼尾角度较大，则最终测量的误差较大。
由上述可知，虽然近年来，鱼类表型数据测量方法取得了较大的进展，但 是也存在一定的问题。列举如下：
1、对于传统图像处理中，通过获取图像轮廓，在轮廓上通过构建特定的特 征寻找关键点，再通过关键点得到最终的表型数据，这种方法具有一定的可取 性，但是受鱼体形态，姿势等影响，人工构建的特征存在一定的误差。
2、在二值化图像上基于等分距离获取到等分线与鱼体的交叉点，进而分段 处理，再讲各段的长度相加得到最终的长度。虽具有一定的可取性，但是其受 限于鱼体轮廓的获取以及鱼头鱼尾的定位，存在一定的误差，且测量的参数较 少。
3、现阶段大部分的表型数据测量方法都是对鱼体进行脱水测量，对于鱼体 的活性具有一定的损害，没有一个通用的，具体的测量方案。
4、大部分的测量方法测量的参数都不是很多，且无法测量鱼体的厚度，对 于后续的研究指导意义较少，且传统的基于图像处理技术的测量方案受限于环 境的影响，局限性大。
发明内容
本发明提供了一种叉尾鮰鱼表型数据的测量方法，可以尽量小的减小测量 给叉尾鮰带来的应激反应。
本发明的技术方案为：一种叉尾鮰鱼表型数据的测量方法，包括以下步骤：
S1、拍摄多张叉尾鮰鱼在水中的侧视图图像以及俯视图图像；
S2、分别标注侧视图图像以及俯视图图像的检测关键点，制作标签文件；
S3、获取侧视图图像以及俯视图图像的标尺比例参数；
S4、采用基于Hourglass网络的关键点检测算法，对斑点叉尾鮰鱼的表型数 据测量；
S5、根据获取得到的关键点，结合三维空间变换以及比例参数获取表型数 据。
本发明以叉尾鮰鱼为研究对象，实现了鱼在水中自然游动的状态下非接触 的表型数据(例如全长，体长，头长，体高，体厚，尾柄长，尾柄高)测量方 法。针对拍摄的叉尾鮰样本俯视图和侧视图，本发明中可以设定多个关键点， 然后基于深度学习算法，确定叉尾鮰鱼体上的关键点，建立三维坐标空间，完 成叉尾鮰表型数据的测量。本发明不仅可以带来鱼较小的应激反应，而且即使 鱼身体在弯曲的状态下也可以一次采集和测量完成多个表型数据指标。
作为优选，所述步骤S1中，将叉尾鮰鱼放入装载有水的水盒中，在水盒的 上方以及侧面布置相机，启动相机采集放到水盒内的叉尾鮰鱼的侧视图图像和 俯视图图像。
作为优选，所述步骤S2中俯视图图像一共选取10个关键点，10个关键点 的名称以及对应的位置为：side_head，鱼头的位置标记一个点；head_fin，鱼鳃 痕迹线离鱼嘴垂直距离最远点；head_up，上鱼鳍点的拐角点；head_down，上 鱼鳍点关于鱼身中垂线对应在底部的点；front_small，在鱼尾最短处底部的靠近 前方的一个点；small_up，鱼尾最短处的上方坐标点；small_down，鱼尾最短处 上方坐标点关于鱼身中线在底部的对应点，当鱼体倾斜的时候为关于鱼身中线 对应的点；side_tail，鱼体侧面中轴线，与鱼体鱼尾连接痕迹线的交叉点；tail_up， 尾巴的上方点；tail_down，尾巴的下方点。
作为优选，所述步骤S3中侧视图图像一共选取9个关键点，9个关键点的 名称以及对应的位置为：top_head，鱼头的位置点；fin_right，右边的第一个鱼 鳍点的拐点；fin_left，左边的第一个鱼鳍点的拐点；fin_up，从侧面看上鱼鳍点 的拐点在俯视图的位置；middle_right，鱼身第二个鱼鳍的在右侧的对应点； midlle_left，鱼身第二个鱼鳍在左侧的对应点；middle，从侧视图看上部的第二 个鱼鳍点在俯视图对应的位置；small_tail，从侧视图看鱼尾巴处最短处在俯视 图中的位置；top_tail，从侧视图看鱼尾巴最长处在俯视图中的位置。
本发明中采用了Hourglassnet人体姿势关键点检测的深度学习网络模型，进 行本发明提出的19个叉尾鮰鱼体关键点检测。
作为优选，根据公式(1)和公式(2)分别获取侧面视图图像和俯向视图 图像的标尺比例，
Figure BDA0002498090490000071
Figure BDA0002498090490000072
其中，leftbiao为侧面视图图像的标尺比例；
upbiao为俯向视图图像的标尺比例；
Pixel length in left image为侧面视图图像的标尺像素长度；
Pixel length in up image为俯向视图图像的的标尺像素长度；
truth length为实际长度。
作为优选，所述步骤S4中，Hourglass网络的基本组成模块是resnet残差模 块，所述resnet残差模块的第一行为卷积路，由三个核尺度不同的卷积层串联而 成，间插有Batch Normalization层和Relu层；第二行为跳跃路，是只包含一个 核尺度为1的卷积层；如果跳跃路的输入输出通道数相同，则这一路为单位映 射；简化版的残差模块Residual模块由两个参数控制：输入深度M和输出深度 N，可以对任意尺寸图像操作。
作为优选，所述步骤S4中，所述残差模块构成了一阶Hourglass模块，所 述一阶Hourglass模块上下两个半路都包含若干Residual模块，用来逐步提取更 深层次特征，上半路在原尺度进行，下半路经历了先降采样再升采样的过程， 其中降采样使用maxpooling，升采样使用最近邻插值；
把一阶Hourglass模块的灰框内部分替换成一个一阶Hourglass模块，得到 二阶Hourglass模块，两个层次的下半路组成了一条两次降采样，再两次升采样 的过程，两个层次的下半路则分别在原始尺寸和1/2原始尺寸，辅助升采样；
四阶Hourglass模块和二阶Hourglass模块原理相同，能够获取到更深层次 的特征信息，每次降采样之前，分出上半路保留原尺度信息；每次升采样之后， 和上一个尺度的数据相加；两次降采样之间，使用三个Residual模块提取特征； 两次相加之间，使用一个Residual模块提取特征。
作为优选，所述步骤S4中，最终的网络模型是利用所述的两个四阶 Hourglass模型堆叠形成的深度神经网络模型，损失函数采用的是均方差损失函 数。
作为优选，所述步骤S5中，结合三维变换提取点的长度，根据公式(3) 计算出三维空间中的物体真实长度OA的实际长度，
Figure RE-GDA0002629287450000081
其中，OA’为线段OA在平面YOZ上的投影，α为线段OA’与OY方向轴的 夹角，β为先算OA在平面XOY上的投影与方向轴OY的夹角；
所述步骤S5中，将侧视图图像得到的点综合处理，在俯视图图像上，将俯 视图的关键点坐标信息分段处理提取出俯视图鱼身的分段曲线角度；在侧视图 上，结合俯视图获取得到的鱼身曲线分段角度，计算出鱼体表型数据像素值， 然后结合实验获取标尺在水中的比例尺信息，计算出最终的鱼体表型数据。
作为优选，测量的叉尾鮰鱼的表型数据包括全长、体长、头长、体高、体 厚、尾柄长以及尾柄高7个表型数据。
与现有技术相比，本发明的有益效果体现在：
(1)本发明中鱼在水中身体完全自然展开，表型数据关键点位置更准确。 无论是人工测量，还是离水采用计算机视觉进行鱼体表型数据测量，鱼体都会 不同程度的受到挤压，影响了表型数据起始位置的坐标。而采用本发明的方法， 鱼体关键点位置是在鱼体自然伸展状态下获得的，位置更准确。
(2)本发明中活体非接触一次可获取7种表型数据，尽可能的减小了鱼的 应激反应；另外，本发明的方法测量鱼表型数据时鱼处在水中自然游动状态下， 表型数据整个测量过程在20秒内完成，减少了接触造成的应激反应。
(3)本发明中叉尾鮰鱼在测量过程中，没有严格的约束，增强了算法的鲁 棒性。而且本发明的测量方法并没有对鱼体的姿态进行约束，允许鱼在水盒内 自由游动，即使鱼体弯曲，本发明也可以一次性准确的获取叉尾鮰的7种表型 数据，算法鲁棒性强。
附图说明
图1为基于中点的黑线鳕鱼体长测量方法。
图2为叉尾鮰鱼的外形及表型数据示例图(侧视图)。
图3为叉尾鮰鱼的外形及表型数据示例图(俯视图)。
图4为实施例1中叉尾鮰鱼的俯视图和侧视图图像采集设备的结构示意图。
图5为实施例1中叉尾鮰鱼的侧视图标注信息以及侧视图标签图。
图6为实施例1中斑点叉尾鮰的俯视图标注信息以及侧视图标签图。
图7为实施例1中用于计算标尺比例的图像示意图。
图8为实施例1中resnet残差模块。
图9为实施例1中一阶Hourglass模块。
图10为实施例1中二阶Hourglassnet模块。
图11为实施例1中四阶Hourglass模块。
图12为实施例1中最终的网络模型。
图13为实施例1中三维空间实际长度计算图。
图14为实施例1中算法检测出来的关键点。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例1
本实施例为一种叉尾鮰鱼的表型数据测量方法，具体过程如下
1)表型数据
本实施例是基于叉尾鮰鱼的表型数据测量方法，叉尾鮰鱼需要测量包含全 长、体长、头长、体高、体厚、尾柄长以及尾柄高7个表型数据。本实施例关 注的重点是如何能高效准确的测量出鮰鱼的7个表型数据，同时不伤害鮰鱼的 活性，降低人力和物力成本。
斑点叉尾鮰的外形以及表型数据示例，见图2(叉尾鮰鱼的侧视图图像)和 图3(叉尾鮰鱼的俯视图图像)。
其中，体厚表示为俯视图中靠近鱼头的两侧鱼鳍与鱼身的交点之间的长度。 由于活体鱼在水中的姿势并非时时刻刻保持一个直线状态，大部分状态为弯曲 的，无法通过一个摄像头精准有效的测量出鱼的表型数据，为此本实施例中通 过两个摄像头分别提取出鮰鱼个体在密闭盒子内的俯视图和侧视图图像，然后 通过传统的图像处理方法和基于深度学习的关键点检测方法，检测鮰鱼在水中 时，鱼身各关键点的位置。利用提取到的关键点的位置，提取最终的表型数据。
2)采集设备的硬件图
图4所示的设备为叉尾鮰鱼图像样本采集设备，在该设备的上面和左侧布 置了工业相机。当装满3/4水的水盒内放入叉尾鮰后，将水盒放入测试箱体内， 启动工业相机可以采集放到水盒内叉尾鮰鱼的侧面和俯视图像样本。
3)数据准备
本实施例中基于深度学习的关键点检测方法分为两个步骤，①将鱼类关键 点检测问题转化为鱼样本图像的关键点检测问题；②将检测得到的俯视图和侧 视图关键点综合起来做最终实现叉尾鮰表型数据测量。为此本实施例中需要准 备10000张斑点叉尾鮰在水中的俯视图图像和侧视图图像，并按照下列要求标 注相关的关键点位置坐标。
斑点叉尾鮰鱼侧视图的关键点位置如图5所示，侧视图一共需要10待检测 关键点，依据点的位置顺序排列，标注信息以及标签图说明，见表1。
表1斑点叉尾鮰侧视图关键点标注说明
Figure BDA0002498090490000111
叉尾鮰鱼俯视图的关键点显示图如图6所示，在俯视图上，一共需要检 测9个关键点，标注信息以及标签图说明，见表2。
表2斑点叉尾鮰侧视图关键点标注说明
Figure BDA0002498090490000112
Figure BDA0002498090490000121
根据俯视图和侧视图标记的点的信息来制作标签文件。
4)比例参数获取
由于像素上的距离与实际的距离存在一定的偏差，对于计算鱼体在鱼盒中 的真实长度值有一定的影响，根据比例关系获取鱼盒左侧摄像头和上方摄像头 拍摄得到的标尺像素长度与实际长度的比值，即为侧视图的标尺比例(公式(1)) 和俯视图的标尺比例(公式(2))。
Figure BDA0002498090490000122
Figure BDA0002498090490000123
5)网络模型
Hourglassnet网络是Newell等人于2016年提出的一种用于人体姿势关键点 检测的深度学习网络模型，通过级联的Hourglass网络模块实现人体关键点精准 定位。相对于其他方法，这种基于Hourglass网络模块的深度网络模型拥有简明 且易于拓展的结构，表现出了准确高效的性能。因此，本实施例中通过研究基 于Hourglass网络的关键点检测算法，实现对斑点叉尾鮰的表型数据测量。
Hourglass模块的基本组成模块是resnet残差模块，其结构如图8所示：
第一行为卷积路，由三个核尺度不同的卷积层串联而成，间插有BatchNormalization层和Relu层；第二行为跳跃路，是只包含一个核尺度为1的卷积 层；如果跳跃路的输入输出通道数相同，则这一路为单位映射。该结构有助于 深度网络模型更高的提取特征信息，而不至于产生梯度爆炸。简化版的残差模 块Residual Module由两个参数控制：输入深度M和输出深度N。可以对任意尺 寸图像操作。
上述的残差模块构成了一阶Hourglass模块(见图9)，上下两个半路都包 含若干Residual模块，用来逐步提取更深层次特征。上半路在原尺度进行，下 半路经历了先降采样再升采样的过程。其中，降采样使用max pooling，升采样 使用最近邻插值。
把一阶模块的灰框内部分替换成一个一阶Hourglass模块(输入通道256， 输出通道N)，得到二阶Hourglass模块(见图10)。两个层次的下半路组成了 一条两次降采样，再两次升采样的过程，两个层次的下半路则分别在原始尺寸 和1/2原始尺寸，辅助升采样。
四阶Hourglass模块(见图11)原理和二阶Hourglass模块相同，能够获取 到更深层次的特征信息。每次降采样之前，分出上半路保留原尺度信息；每次 升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个Residual 模块提取特征；两次相加之间，使用一个Residual模块提取特征。
最终的网络模型是利用上述的两个四阶Hourglass模块堆叠形成的深度神经 网络模型(见图12)，损失函数采用的是均方差损失函数。
6)表型数据获取
根据获取得到的关键点，结合三维空间变换以及比例参数获取表型数据。 因为本实施例中获取到的点是从侧视图和俯视图中得到，那么就需要结合三维 变换提取点的长度，三维空间变换显示，见图13。
在图13中显示的三维变换中，OA为三维空间中的物体真实长度，OA’为线 段OA在平面YOZ上的投影，α为线段OA’与OY方向轴的夹角，β为先算OA 在平面XOY上的投影与方向轴OY的夹角。由此，可以计算出OA的实际长度 为式(3)所示，
Figure RE-GDA0002629287450000131
根据从侧视图和俯视图获取得到的点的信息，结合三维空间变化，计算如 下：
将侧视图得到的点综合处理，在俯视图上，将俯视图的关键点坐标信息分 段处理提取出俯视图鱼身的分段曲线角度，在侧视图上，结合俯视图获取得到 的鱼身曲线分段角度，计算出鱼体表型数据像素值，然后结合实验获取标尺在 水中的比例尺信息，计算出最终的鱼体表型数据。
7)实验结果
7.1定位效果图
采用上述的叉尾鮰鱼俯视图和侧视图的关键点定位方法和深度学习鱼样本 关键点检测算法，叉尾鮰鱼的关键点检测结果，见图14。
从图14中可以看出，本实施例中提出的测量模型能够很好的定位鱼身的关 键点位置，且在鱼身弯曲的时候也能定位鱼的关键点，为后续的表型数据计算 提供依据。
7.2测量误差
基于关键点检测的结果和三维坐标变换方程，本发明测量了20条斑点叉尾 鮰鱼的数据样本，每条斑点叉尾鮰鱼的表型数据真实值由具有测量经验的研究 人员测量得出，同时将计算机测量出的预测值一起记录在表3中，其中左侧的7 个测量值为手动测量值，右侧的7个测量值为通过本实施例提出的测量方法测 量出来的值。
表3人工测量表型数据和预测的表型数据
Figure BDA0002498090490000141
Figure BDA0002498090490000151
为了更好的评价本实施例中提出的算法模型对于斑点叉尾鮰鱼测量中的 误差，本实施例中采用均方根误差(RMSE)平均绝对误差(MAE)平均相对 误差(MRE)表示估计值和测量值之间的差异，本发明中统计了不同的表型数 据测量误差，见表4。
表4三种误差统计方式汇总
类型 全长 体长 体高 体厚 头长 尾柄长 尾柄高
MRE 0.037862 0.028483 0.081012 0.075499 0.095884 0.096026 0.264205
MAE 0.5167 0.304 0.20655 0.15595 0.25865 0.14045 0.25735
RMSE 0.579181 0.388685 0.31787 0.180716 0.313231 0.18601 0.303943
8)结论
本发明提出一种基于深度学习的鱼类表型数据测量方法，该方法实现了基 于关键点检测思路的表型数据测量。本发明计的测量系统长度测量平均绝对误 差在0.51cm左右，平均相对误差在3％左右，对于每个鱼样本可同时实现体长， 全长，头长，体高，尾柄长，尾柄高，体厚的测量，测量计算平均时间小于1s。
本发明除了对叉尾鮰鱼的表型数据进行测量以外，也可以应用于其他的鱼 类的测量，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (10)

1.一种叉尾鮰鱼表型数据的测量方法，其特征在于，包括以下步骤：
S1、拍摄多张叉尾鮰鱼在水中的侧视图图像以及俯视图图像；
S2、分别标注侧视图图像以及俯视图图像的检测关键点，制作标签文件；
S3、获取侧视图图像以及俯视图图像的标尺比例参数；
S4、采用基于Hourglass网络的关键点检测算法，对斑点叉尾鮰鱼的表型数据测量；
S5、根据获取得到的关键点，结合三维空间变换以及比例参数获取表型数据。
2.如权利要求1所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S1中，将叉尾鮰鱼放入装载有水的水盒中，在水盒的上方以及侧面布置相机，启动相机采集放到水盒内的叉尾鮰鱼的侧视图图像和俯视图图像。
3.如权利要求1或2所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S2中俯视图图像一共选取10个关键点，10个关键点的名称以及对应的位置为：side_head，鱼头的位置标记一个点；head_fin，鱼鳃痕迹线离鱼嘴垂直距离最远点；head_up，上鱼鳍点的拐角点；head_down，上鱼鳍点关于鱼身中垂线对应在底部的点；front_small，在鱼尾最短处底部的靠近前方的一个点；small_up，鱼尾最短处的上方坐标点；small_down，鱼尾最短处上方坐标点关于鱼身中线在底部的对应点，当鱼体倾斜的时候为关于鱼身中线对应的点；side_tail，鱼体侧面中轴线，与鱼体鱼尾连接痕迹线的交叉点；tail_up，尾巴的上方点；tail_down，尾巴的下方点。
4.如权利要求3所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S3中侧视图图像一共选取9个关键点，9个关键点的名称以及对应的位置为：top_head，鱼头的位置点；fin_right，右边的第一个鱼鳍点的拐点；fin_left，左边的第一个鱼鳍点的拐点；fin_up，从侧面看上鱼鳍点的拐点在俯视图的位置；middle_right，鱼身第二个鱼鳍的在右侧的对应点；midlle_left，鱼身第二个鱼鳍在左侧的对应点；middle，从侧视图看上部的第二个鱼鳍点在俯视图对应的位置；small_tail，从侧视图看鱼尾巴处最短处在俯视图中的位置；top_tail，从侧视图看鱼尾巴最长处在俯视图中的位置。
5.如权利要求4所述的叉尾鮰鱼表型数据的测量方法，其特征在于，根据公式(1)和公式(2)分别获取侧面视图图像和俯向视图图像的标尺比例，
Figure RE-FDA0002629287440000021
Figure RE-FDA0002629287440000022
其中，leftbiao为侧面视图图像的标尺比例；
upbiao为俯向视图图像的标尺比例；
Pixel length in left image为侧面视图图像的标尺像素长度；
Pixel length in up image为俯向视图图像的的标尺像素长度；
truth length为实际长度。
6.如权利要求5所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S4中，Hourglass网络的基本组成模块是resnet残差模块，所述resnet残差模块的第一行为卷积路，由三个核尺度不同的卷积层串联而成，间插有Batch Normalization层和Relu层；第二行为跳跃路，是只包含一个核尺度为1的卷积层；如果跳跃路的输入输出通道数相同，则这一路为单位映射；简化版的残差模块Residual模块由两个参数控制：输入深度M和输出深度N，可以对任意尺寸图像操作。
7.如权利要求6所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S4中，所述残差模块构成了一阶Hourglass模块，所述一阶Hourglass模块上下两个半路都包含若干Residual模块，用来逐步提取更深层次特征，上半路在原尺度进行，下半路经历了先降采样再升采样的过程，其中降采样使用max pooling，升采样使用最近邻插值；
把一阶Hourglass模块的灰框内部分替换成一个一阶Hourglass模块，得到二阶Hourglass模块，两个层次的下半路组成了一条两次降采样，再两次升采样的过程，两个层次的下半路则分别在原始尺寸和1/2原始尺寸，辅助升采样；
四阶Hourglass模块和二阶Hourglass模块原理相同，能够获取到更深层次的特征信息，每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个Residual模块提取特征；两次相加之间，使用一个Residual模块提取特征。
8.如权利要求7所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S4中，最终的网络模型是利用所述的两个四阶Hourglass模型堆叠形成的深度神经网络模型，损失函数采用的是均方差损失函数。
9.如权利要求8所述的叉尾鮰鱼表型数据的测量方法，其特征在于，所述步骤S5中，结合三维变换提取点的长度，根据公式(3)计算出三维空间中的物体真实长度OA的实际长度，
Figure RE-FDA0002629287440000031
其中，OA’为线段OA在平面YOZ上的投影，α为线段OA’与OY方向轴的夹角，β为先算OA在平面XOY上的投影与方向轴OY的夹角；
所述步骤S5中，将侧视图图像得到的点综合处理，在俯视图图像上，将俯视图的关键点坐标信息分段处理提取出俯视图鱼身的分段曲线角度；在侧视图上，结合俯视图获取得到的鱼身曲线分段角度，计算出鱼体表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的鱼体表型数据。
10.如权利要求9所述的叉尾鮰鱼表型数据的测量方法，其特征在于，测量的叉尾鮰鱼的表型数据包括全长、体长、头长、体高、体厚、尾柄长以及尾柄高7个表型数据。
CN202010424283.8A 2020-05-19 2020-05-19 一种叉尾鮰鱼表型数据的测量方法 Pending CN111696150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424283.8A CN111696150A (zh) 2020-05-19 2020-05-19 一种叉尾鮰鱼表型数据的测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424283.8A CN111696150A (zh) 2020-05-19 2020-05-19 一种叉尾鮰鱼表型数据的测量方法

Publications (1)

Publication Number Publication Date
CN111696150A true CN111696150A (zh) 2020-09-22

Family

ID=72477234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424283.8A Pending CN111696150A (zh) 2020-05-19 2020-05-19 一种叉尾鮰鱼表型数据的测量方法

Country Status (1)

Country Link
CN (1) CN111696150A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112861872A (zh) * 2020-12-31 2021-05-28 浙大城市学院 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
CN112906510A (zh) * 2021-02-02 2021-06-04 中国水利水电科学研究院 一种渔业资源统计方法及系统
CN114723965A (zh) * 2022-06-10 2022-07-08 武汉古奥基因科技有限公司 一种鱼类关键点表型数据测量方法
CN114742806A (zh) * 2022-04-21 2022-07-12 海南大学 一种基于关键点坐标回归的鱼体形态学特征测量方法
JP7309953B1 (ja) 2022-03-24 2023-07-18 日揮株式会社 サイズ算出方法、サイズ算出装置、およびプログラム
CN116576782A (zh) * 2023-03-24 2023-08-11 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
CN108564573A (zh) * 2018-03-30 2018-09-21 大连工业大学 面向鲅鱼切段机的鱼头鱼尾图像自动识别方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN108917616A (zh) * 2018-08-21 2018-11-30 杭州飞锐科技有限公司 活体对虾生长表型检测设备及方法
CN109275609A (zh) * 2018-11-14 2019-01-29 常州大学 基于图像处理的常见淡水鱼种类自动识别方法
US20200104602A1 (en) * 2018-05-03 2020-04-02 X Development Llc Fish measurement station keeping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
CN108564573A (zh) * 2018-03-30 2018-09-21 大连工业大学 面向鲅鱼切段机的鱼头鱼尾图像自动识别方法
US20200104602A1 (en) * 2018-05-03 2020-04-02 X Development Llc Fish measurement station keeping
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN108917616A (zh) * 2018-08-21 2018-11-30 杭州飞锐科技有限公司 活体对虾生长表型检测设备及方法
CN109275609A (zh) * 2018-11-14 2019-01-29 常州大学 基于图像处理的常见淡水鱼种类自动识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADIA: "论文笔记Stacked Hourglass Networks", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/45002720》 *
XIANGYUAN LI等: "Deep cascaded convolutional models for cattle pose estimation", 《COMPUTER AND ELECTRONICS IN AGRICULTURE》 *
余心杰等: "基于机器视觉的大黄鱼形态参数快速检测方法", 《集成技术》 *
龚瑞: "基于计算机视觉的鱼虾识别和形态参数测量", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112669348B (zh) * 2020-12-18 2023-11-28 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112861872A (zh) * 2020-12-31 2021-05-28 浙大城市学院 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
CN112906510A (zh) * 2021-02-02 2021-06-04 中国水利水电科学研究院 一种渔业资源统计方法及系统
JP7309953B1 (ja) 2022-03-24 2023-07-18 日揮株式会社 サイズ算出方法、サイズ算出装置、およびプログラム
JP2023141683A (ja) * 2022-03-24 2023-10-05 日揮株式会社 サイズ算出方法、サイズ算出装置、およびプログラム
CN114742806A (zh) * 2022-04-21 2022-07-12 海南大学 一种基于关键点坐标回归的鱼体形态学特征测量方法
CN114723965A (zh) * 2022-06-10 2022-07-08 武汉古奥基因科技有限公司 一种鱼类关键点表型数据测量方法
CN114723965B (zh) * 2022-06-10 2022-09-09 武汉古奥基因科技有限公司 一种鱼类关键点表型数据测量方法
CN116576782A (zh) * 2023-03-24 2023-08-11 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法
CN116576782B (zh) * 2023-03-24 2024-02-06 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法

Similar Documents

Publication Publication Date Title
CN111696150A (zh) 一种叉尾鮰鱼表型数据的测量方法
Shi et al. An automatic method of fish length estimation using underwater stereo system based on LabVIEW
Hao et al. The measurement of fish size by machine vision-a review
CN109145808B (zh) 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
Zhou et al. An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images
US12039733B2 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
Yu et al. Counting method for cultured fishes based on multi-modules and attention mechanism
Ibrahim Aliyu et al. A proposed fish counting algorithm using digital image processing technique
CN112861872A (zh) 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
Lou et al. Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping
CN110163798B (zh) 渔场围网破损检测方法及系统
CN117029673B (zh) 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN112825791B (zh) 一种基于深度学习与点云凸包化特征的奶牛体况评分方法
EP3353744A1 (en) Image analysis for making animal measurements including 3-d image analysis
CN110097537A (zh) 一种基于三维纹理特征的肉质定量分析评价方法
Hao et al. A novel method of fish tail fin removal for mass estimation using computer vision
CN115512215B (zh) 水下生物监测方法、装置及存储介质
Zhang et al. Intelligent fish feeding based on machine vision: A review
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
Zhao et al. A novel centerline extraction method for overlapping fish body length measurement in aquaculture images
Shi et al. Underwater fish mass estimation using pattern matching based on binocular system
Zhang et al. Fully automatic system for fish biomass estimation based on deep neural network
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922