CN114723965A - 一种鱼类关键点表型数据测量方法 - Google Patents

一种鱼类关键点表型数据测量方法 Download PDF

Info

Publication number
CN114723965A
CN114723965A CN202210651980.6A CN202210651980A CN114723965A CN 114723965 A CN114723965 A CN 114723965A CN 202210651980 A CN202210651980 A CN 202210651980A CN 114723965 A CN114723965 A CN 114723965A
Authority
CN
China
Prior art keywords
key points
top view
fish
view
aioi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210651980.6A
Other languages
English (en)
Other versions
CN114723965B (zh
Inventor
肖世俊
刘唯真
李东野
袁晓辉
杨哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Gooal Gene Technology Co ltd
Original Assignee
Wuhan Gooal Gene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Gooal Gene Technology Co ltd filed Critical Wuhan Gooal Gene Technology Co ltd
Priority to CN202210651980.6A priority Critical patent/CN114723965B/zh
Publication of CN114723965A publication Critical patent/CN114723965A/zh
Application granted granted Critical
Publication of CN114723965B publication Critical patent/CN114723965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种鱼类关键点表型数据测量方法，涉及标识解析技术领域。该方法首先拍摄多张鱼类的侧视图图像和俯视图图像，并获取侧视图图像以及俯视图图像的标尺比例参数；并利用标注软件标注俯视图及侧视图图像的关键点；通过标注了关键点的俯视图及侧视图图像训练AIOI‑CNet网络模型，利用已经训练好的AIOI‑CNet网络模型，对俯视图下自定义的多个关键点及侧视图下自定义的多个关键点进行检测，得到各关键点坐标；根据AIOI‑CNet网络模型检测得到的侧视图以及俯视图上关键点坐标，结合侧视图以及俯视图相机参数比例获取侧视图和俯视图上鱼体的表型数据。该方法解决了现有模型检测关键点出现空间信息丢失、训练时间长，鲁棒性不强等问题，提高整体关键点检测精度。

Description

一种鱼类关键点表型数据测量方法
技术领域
本发明涉及标识解析技术领域，尤其涉及一种鱼类关键点表型数据测量方法。
背景技术
近年来，我国每年的水产品养殖产量保持在较为稳定的水平，是世界上唯一养殖水产品总量超过捕捞总量的主要渔业国。水产品产量一方面来自于捕捞，一方面来自于养殖。其中中国水产养殖业历史悠久，其历史可追溯到3000多年前的殷代。在人工养殖的过程中，水产生物的一系列“表型数据”是养殖者进行喂养、配种、差别分级等进行相关研究的主要信息。研究者根据个体鱼类的“表型数据”，能够得到个体鱼的生长状况，发育状态，进而制定养殖策略，提高经济效益。表型数据为基因型和环境决定的形状、结构、大小、颜色等生物体的外在性状数据。
主流的测量方法主要是人工测量个体鱼的表型数据，即将鱼捕捞后用相应的工具进行测量相关的数据，当需要测量大量的个体鱼类时候，需要消耗大量人力物力，且人为手工操作存在的一定人为误差，增加了研究者对数据分析的难度，费时费力。
另外一种方法主要是利用新兴的人工智能技术进行图像处理来检测测量鱼的表型数据。现有的人工智能技术大多数都是在设计网络时，通过不断地跳层连接的方式来保证在每个分辨率下保留多个空间特征，尽管这些方法都开始保持目标对象的细节，更多地关注了长期依赖性和全局特征。对于局部细节关注度不够。
对于传统的鱼类表型数据测量方法，其存在的问题可以总结如下：
手工测量鱼类数据，有大量的时间和精力消耗，效率低下。
手工测量鱼类数据，个人主观因素强，存在一定的人为误差，对总结数据的规律性带来困难。
手工测量数据样本太少，少量的鱼类表型数据无法给研究者带来指导性规律。
对于新兴的人工智能技术测量方法，利用计算机视觉，对鱼类图像进行一系列预处理，算法处理并获得研究对象鱼类“关键点”、“特征点”等数据，根据参数数据映射到实物，并计算其他“表型”数据。相关一些定义如下：
关键点：对分析特定问题有帮助的点；
特征点：能够在其他含有相同场景或目标的相似图像中以一种相同的或至少非常相似的不变形式表示图像或目标；
表型：基因型和环境决定的形状、结构、大小、颜色等生物体的外在性状；
虽然近些年利用深度学习模型来检测鱼类表型的方法有了很大的进步，但是也存在一些无法忽视的问题。其存在的问题可以总结如下：
对于一些边缘轮廓检测的方法，通过公式转换来测量鱼类表型数据，这种方法通过测量得到的指标表型类少，不适合大规模商用。
简单的深度神经网络模型训练过程时间长，在从一种鱼类到另外一种鱼类迁移时，准确率会降低很多，鲁棒性不强。
现有应用在鱼类关键点检测的深度神经网络模型往往过于关注了长期依赖性和全局特征。网络模型对图像的空间信息没有加以关注，对于图像局部细节关注度不够，整体精度不高。
传统深度神经网络模型在对物体进行关键点检测训练时，网络模型没有关注关键点之间的相关性，如空间位置上的相对位置，因此在检测物体关键点时出现误检和像素分类错误的情况。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种鱼类关键点表型数据测量方法，实现对鱼类关键点和表型数据的测量。
为解决上述技术问题，本发明所采取的技术方案是：一种鱼类关键点表型数据测量方法，包括以下步骤：
步骤1、拍摄多张纺锤型鱼类的侧视图图像和俯视图图像，获取侧视图图像以及俯视图图像的标尺比例参数；
步骤2、利用标注软件标注俯视图及侧视图图像的关键点，并存储为 *.csv格式文件；
步骤3、通过标注了关键点的俯视图及侧视图图像训练AIOI-CNet网络模型，利用已经训练好的AIOI-CNet网络模型，对俯视图下自定义的多个关键点及侧视图下自定义的多个关键点进行检测，得到各关键点坐标；
所述AIOI-CNet网络模型的主干提取网络设计为ResNet50；分类和回归网络设计成一种基于多阶段迭代的关键点检测结构，包括特征提取模块和关键点解码模块；AIOI-CNet网络的损失函数采用
Figure 22320DEST_PATH_IMAGE001
和
Figure 627876DEST_PATH_IMAGE002
，两者计算出的损失值loss占总体损失值loss的占比都是0.5；输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图；特征图通过关键点解码模块，得到关键点的位置坐标；所述关键点解码模块包括上下两个分支结构，其中，上分支结构用于预测得到关键点的位置坐标，下分支结构用于预测得到关键点的位移补偿量；再将关键点的位置坐标和关键点的位移补偿量两者结合得到最终的关键点坐标并可视化在图像上；
所述输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图的具体方法为：
[1] 输入的图像Image经过resize 大小变为3xwxh，其中，w和h分别为图像的宽和高，图像经过主干提取网络ResNet50进行特征提取，生成一个维度为2048x(w/32)x(h/32)的高维特征图V0；
[2] 利用256个3x3的卷积核对高维特征图V0进行卷积，经过归一化BN，relu激活函数处理，然后再通过3x3的步长为2的反卷积生成一个维度为256x(w/16)x(h/16)的特征图V1；
[3] 特征图V1经过BN归一化，relu激活函数处理，利用128个3x3的卷积核对高维特征图V1进行卷积，再经过BN归一化，relu激活函数处理后，通过3x3的步长为2反卷积生成一个维度为128x(w/8)x(h/8)的特征图V2；
[4] 特征图V2经过BN归一化，relu激活函数处理，利用64个3x3的卷积核对高维特征图V2进行卷积，再经过归一化BN，relu激活函数处理后，通过3x3的步长为2的反卷积生成一个维度为64x(w/4)x(h/4)特征图V3；
所述上分支结构预测得到关键点的位置坐标的具体方法为：
（1）特征图V3通过64个3x3卷积，relu激活函数，利用numclass个 1x1卷积得到numclass个大小为(w/4)x(h/4)的热力图heatmap；
（2）基于AIOI块对numclass个热力图heatmap进行训练，得到关键点分类模型；
在numclass个热力图heatmap中，自动取一张热力图heatmap设计成一个初始阶段的AIOI块，利用AIOI块传递关键点之间的位置空间信息，间接提高网络模型的整体精度；根据关键点之间不同的纹理特征和形状特征，将关键点分为“先验关键点”和“后验关键点”，利用“先验关键点”和“后验关键点”之间的关联信息和空间位置信息，根据前一张热力图heatmap辅助预测后一张热力图heatmap，此过程进行循环迭代，直至达到设定的训练次数，最终得到一个最优参数的分类模型文件；
所述“先验关键点”为在AIOI-CNet网络结构中置信度分数高于设定阈值的关键点；
所述“后验关键点”为在AIOI-CNet网络结构中置信度分数低于设定阈值的关键点；
（3）将训练后的numclass个热力图heatmap经过NMS处理得到关键点的位置坐标；
所述下分支结构得到关键点的位移补偿量的具体方法为：
通过64个3x3卷积，relu激活函数，利用2个 1x1卷积得到2个大小为(w/4)x(h/4)的偏移量Offset特征图；2个偏移量Offset特征图组成的维度为2x(w/4)x(h/4)；2个偏移量Offset分别是关键点横纵坐标偏移量，即关键点的位移补偿量；
测试阶段，选择热力图中的最大激活点位置
Figure 204351DEST_PATH_IMAGE003
，并同时选择offset特征图的最大激活位置的值
Figure 6085DEST_PATH_IMAGE004
是关键点横坐标偏移量，
Figure 351615DEST_PATH_IMAGE005
是关键点纵坐标偏移量；
步骤4、根据AIOI-CNet网络模型检测得到的侧视图以及俯视图上关键点坐标，结合侧视图以及俯视图相机参数比例获取侧视图图像上鱼体的表型数据和俯视图图像上鱼体的表型数据；
俯视图相机参数比例如下公式所示：
Figure 95449DEST_PATH_IMAGE006
其中，camera_param1为俯视图相机参数比例，
Figure 769007DEST_PATH_IMAGE007
为纺锤型鱼类体长真实长度值，单位m，
Figure 764645DEST_PATH_IMAGE008
为俯视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离；
侧视图相机参数比例，如下公式所示：
Figure 593711DEST_PATH_IMAGE009
其中， camera_param2为侧视图相机参数比例，
Figure 118233DEST_PATH_IMAGE010
为侧视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离；
步骤5、根据侧视图图像上鱼体的体长
Figure 544666DEST_PATH_IMAGE011
来验证俯视图图像上鱼体的体长
Figure 937470DEST_PATH_IMAGE012
，利用侧视图方向和俯视图方向两个方向的数据比例映射关系，验证关键点检测的精度；侧视图方向和俯视图方向两个方向的数据比例映射关系如下公式：
Figure 257593DEST_PATH_IMAGE013
其中，M为侧视图中，侧视图工业相机与直线 AH的距离；
Figure 359541DEST_PATH_IMAGE014
为俯视图鱼体长中点与直线
Figure 758424DEST_PATH_IMAGE011
的距离；
Figure 830285DEST_PATH_IMAGE015
是
Figure 880281DEST_PATH_IMAGE012
与
Figure 746606DEST_PATH_IMAGE011
的锐夹角。
采用上述技术方案所产生的有益效果在于：本发明提供的一种鱼类关键点表型数据测量方法，采用AIOI-CNet网络模型进行关键点预测，该网络模型采取多阶段迭代策略，融合关键点之间的相对位置信息，先预测出较容易预测的先验关键点位置。再利用预测出来“先验关键点”来辅助网络预测出后验关键点。由于此网络不断的循环递归迭代，不断地修正关键点的位置，这能够解决现有模型检测关键点出现空间信息丢失、训练时间长，鲁棒性不强等问题，提高整体关键点检测精度。
传统神经网络预测表型类别少，本发明的AIOI-CNet网络模型，可以精准又高效的测量鱼类表型数据，且表型种类多，模型融合关键点之间的空间位置信息，训练时间大大减少，且在整体上和细节上对高维特征进行有效的保留，模型迁移其他鱼类时泛化性很强。本方法具有耗时短，成本小，易迁移使用等优点。
附图说明
图1为本发明实施例提供的带有表型标记的纺锤型鱼类示意图；
图2为本发明实施例提供的一种鱼类关键点表型数据测量方法的流程图；
图3为本发明实施例提供的俯视图上关键点标注示意图；
图4为本发明实施例提供的侧视图上关键点标注示意图；
图5为本发明实施例提供的AIOI-CNet网络模型结构示意图；
图6为本发明实施例提供的侧视图方向和俯视图方向两个方向的数据比例映射关系图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以如图1所示纺锤型鱼类为例，采用本发明的鱼类关键点表型数据测量方法对该纺锤型鱼类的表型数据进行测量。
本实施例中，根据图1，纺锤型鱼类的表型数据为：AI：全长；AH：体长；AD：头长；AB：吻长；BC：眼径；CD：眼后头长；JM：体高；KL：头高；PR：腹臂鳍基距；GV：尾柄高；SH：尾柄长；TU：背鳍基长；NO：胸鳍长；PQ:腹鳍长；RS:臂鳍基长；SI:尾鳍长；AE:背鳍前距；EH:背鳍后距；NT:胸背鳍距；NP:胸腹鳍距；PT腹背鳍距。
本实施例中，针对拍摄的鱼体样本侧视图图像和俯视图图像，可以设定多个关键点，然后根据深度学习训练出来的模型来预测个体鱼的关键点，进而计算机可自动地利用关键点数据来计算个体鱼的一系列表型数据。
本实施例中，一种鱼类关键点表型数据测量方法，如图2所示，包括以下步骤：
步骤1、拍摄多张纺锤型鱼类的侧视图图像和俯视图图像，获取侧视图图像以及俯视图图像的标尺比例参数；
本实施例中，通过平台支架，将两个专业相机中的一个放入到图像采集设备正前方，一个固定在图像采集设备上方，搭建数据采集拍摄平台；将纺锤型鱼放入到图像采集设备中，使鱼平放在图像采集设备底部，分别从上方、侧方拍两张照片，输出数据图片格式为jpg格式。
本实施例中，分别拍摄150张纺锤型鱼类的侧视图图像和俯视图图像用于对步骤3的AIOI-CNet网络模型进行训练。
步骤2、利用标注软件标注俯视图及侧视图图像的关键点，并存储为 *.csv格式文件；
本实施例中，对批量拍摄得到的鱼图片利用标注软件进行关键点标注，以鱼的体长为X轴，以鱼的高度Y轴，以鱼的厚度为Z轴，建立空间三维直角坐标系，以鱼头朝平面直角坐标系x轴正方向，鱼尾朝平面直角坐标系x轴的负方向，采集设备上方拍摄为鱼的正面，采集设备正前方拍摄为鱼的侧面，对鱼的正面进行标注；
本实施例中，从俯视图中选取22个关键点进行标注，标注结果如图3和表1所示，22个关键点的名称以及对应的位置为：吻端、鳃盖骨后缘、头部最高点、峡部、背缘最高点、腹缘最低点、尾柄上、尾柄下、尾鳍末端、尾椎骨后缘、眼前缘、眼后缘、胸鳍起点、胸鳍基部末端、腹鳍起点、腹鳍基部末端、臀鳍起点、臀鳍基部后端、臀鳍外缘、背鳍起点、背鳍基部后端和背鳍外缘。从侧视图中选取6个关键点进行标注，标注结果如图4和表2所示，6个关键点的名称以及对应的位置为:吻端、峡部、最高点、最低点、腹鳍起点和尾鳍末端。
表1 纺锤鱼类俯视图上关键点
序号 关键点名称
1 吻端
2 鳃盖骨后缘
3 头部最高点
4 峡部
5 背缘最高点
6 腹缘最低点
7 尾柄上
8 尾柄下
9 尾鳍末端
10 尾椎骨后缘
11 眼前缘
12 眼后缘
13 胸鳍起点
14 胸鳍基部末端
15 腹鳍起点
16 腹鳍基部末端
17 臀鳍起点
18 臀鳍基部后端
19 臀鳍外缘
20 背鳍起点
21 背鳍基部后端
22 背鳍外缘
表2 纺锤鱼类侧视图上关键点
序号 关键点名称
1 吻端
2 峡部
3 最高点
4 最低点
5 腹鳍起点
6 尾鳍末端
本实施例中，针对俯视图的标注文件的格式为*.csv文件，文件内容为23行4列，列名分别为:序号，关键点坐标x，关键点坐标y和关键点名称；行名是选取的22个不同的关键点类别。
步骤3、通过标注了关键点的俯视图及侧视图图像训练AIOI-CNet网络模型，利用已经训练好的AIOI-CNet网络模型，对俯视图下自定义的多个关键点及侧视图下自定义的多个关键点进行检测，得到各关键点坐标；
所述AIOI-CNet网络模型的主干提取网络设计为ResNet50；分类和回归网络设计成一种基于多阶段迭代的关键点检测结构，包括特征提取模块和关键点解码模块；AIOI-CNet网络的损失函数采用
Figure 396899DEST_PATH_IMAGE016
和
Figure 882238DEST_PATH_IMAGE017
，两者计算出的损失值loss占总体损失值loss的占比都是0.5；
输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图；特征图通过关键点解码模块，得到关键点的位置坐标；所述关键点解码模块包括上下两个分支结构，其中，上分支结构用于预测得到关键点的位置坐标，下分支结构用于预测得到关键点的位移补偿量；再将关键点的位置坐标和关键点的位移补偿量两者结合得到最终的关键点坐标并可视化在图像上。
所述输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图的具体方法为：
[1] 输入的图像Image经过resize 大小变为3xwxh，其中，w和h分别为图像的宽和高，图像经过主干提取网络ResNet50进行特征提取，生成一个维度为2048x(w/32)x(h/32)的高维特征图V0；ResNet50有两个基本的模块，C-Block和I-Block。C-Block输入和输出的维度不同，不能连续串联，作用是改变网络的维度；I-Block输入维度和输出维度相同，可以串联，作用是加深网络。
[2] 利用256个3x3的卷积核对高维特征图V0进行卷积，经过归一化BN，relu激活函数处理，然后再通过3x3的步长为2的反卷积生成一个维度为256x(w/16)x(h/16)的特征图V1；
[3] 特征图V1经过BN归一化，relu激活函数处理，利用128个3x3的卷积核对高维特征图V1进行卷积，再经过BN归一化，relu激活函数处理后，通过3x3的步长为2反卷积生成一个维度为128x(w/8)x(h/8)的特征图V2；
[4] 特征图V2经过BN归一化，relu激活函数处理，利用64个3x3的卷积核对高维特征图V2进行卷积，再经过归一化BN，relu激活函数处理后，通过3x3的步长为2的反卷积生成一个维度为64x(w/4)x(h/4)特征图V3。
本实施例中，AIOI-CNet网络模型如图5所示，输入的俯视图及侧视图图像维度为3x1152x864，经过resize 变为3x576x448；图像再经过ResNet50特征提取，生成一个维度为2048x18x14的高维特征图V0；利用256个3x3的卷积核对这个2048x18x14的高维特征图V0进行卷积，经过归一化BN，relu激活函数处理，然后通过3x3的步长为2的反卷积生成一个维度为256x36x28的特征图V1；特征图V1经过BN归一化，relu激活函数处理，利用128个3x3的卷积核对这个256x36x28的高维特征图进行卷积，经过BN归一化，relu激活函数处理，然后通过3x3的步长为2反卷积生成一个维度为128x72x56的特征图V2；特征图V2经过BN归一化，relu激活函数处理，利用64个3x3的卷积核对这个128x72x56的高维特征图进行卷积，经过归一化BN，relu激活函数处理，然后通过3x3的步长为2的反卷积生成一个维度为64x144x112特征图V3。
所述上分支结构预测得到关键点的位置坐标的具体方法为：
（1）特征图V3通过64个3x3卷积，relu激活函数，利用numclass个 1x1卷积得到numclass个大小为(w/4)x(h/4)的热力图heatmap；
heatmap是一个标签热力图，是标注的关键点在二维图像上做高斯标签软化得到的一个groundtruth，这个groundtruth可视化图像就是一个热力图；
本实施例中，如图5所示，特征图V3通过64个3x3卷积，relu激活函数，利用22个1x1卷积得到22个大小为144x112的热力图heatmap。
（2）基于AIOI块对numclass个热力图heatmap进行训练，得到关键点分类模型；
在numclass个热力图heatmap中，自动取一张热力图heatmap设计成一个初始阶段的AIOI，根据关键点之间不同的纹理特征和形状特征，将关键点分为“先验关键点”和“后验关键点”，利用“先验关键点”和“后验关键点”之间的关联信息和空间位置信息，根据前一张热力图heatmap辅助预测后一张热力图heatmap，此过程进行循环迭代，直至达到设定的训练次数，最终得到一个最优参数的分类模型文件；
所述“先验关键点”为在AIOI-CNet网络结构中置信度分数高于设定阈值的关键点；
所述“后验关键点”为在AIOI-CNet网络结构中置信度分数低于设定阈值的关键点；
（3）将训练后的numclass个热力图heatmap经过NMS(非极大抑制)处理得到关键点的位置坐标；
所述下分支结构得到关键点的位移补偿量的具体方法为：
通过64个3x3卷积，relu激活函数，利用2个 1x1卷积得到2个大小为(w/4)x(h/4)的偏移量Offset特征图；2个偏移量Offset特征图组成的维度为2x(w/4)x(h/4)；2个偏移量Offset分别是关键点横纵坐标偏移量，即关键点的位移补偿量；
本实施例中，如图5所示，下分支结构针对特征图V3通过64个3x3卷积，relu激活函数，利用2个 1x1卷积得到2个大小为144x112的偏移量Offset；2个偏移量Offset组成的维度为2x144x112的offset特征图；
测试阶段，选择热力图中的最大激活点位置
Figure 176953DEST_PATH_IMAGE018
，并同时选择offset特征图的最大激活位置的值
Figure 102927DEST_PATH_IMAGE019
是关键点横坐标偏移量，
Figure 725669DEST_PATH_IMAGE020
是关键点纵坐标偏移量；
本实施例中，使用Python 自带的包工具类numpy中的argmax函数，对俯视图预测得到的22个热力图进行位置坐标置信度
Figure 139333DEST_PATH_IMAGE021
最大值筛选，得到每个热力图上关键点位置坐标为
Figure 147609DEST_PATH_IMAGE018
，将
Figure 886895DEST_PATH_IMAGE018
和
Figure 996934DEST_PATH_IMAGE022
进行相加得到关键点坐标
Figure 574808DEST_PATH_IMAGE023
；再经过比例k还原到真实图像上，得到真实图像上关键点的精确位置；
Figure 578536DEST_PATH_IMAGE024
是热力图中位置坐标
Figure 98510DEST_PATH_IMAGE025
的置信度；其中，k等于resize处理后的图像分辨率/原图分辨率；
本实施例中，AIOI-CNet网络采用的损失函数分别如下公式所示：
Figure 820478DEST_PATH_IMAGE026
其中，
Figure 966158DEST_PATH_IMAGE027
是自定义的超参数，
Figure 434179DEST_PATH_IMAGE028
用于平衡正负样本的重要性，
Figure 515268DEST_PATH_IMAGE029
用于调节简单样本（预测时与真值标签误差较小的样本）权重降低的速率；
Figure 99700DEST_PATH_IMAGE030
是特征图坐标为
Figure 799803DEST_PATH_IMAGE025
处置信度，
Figure 512544DEST_PATH_IMAGE031
是groundtruth中坐标为
Figure 358009DEST_PATH_IMAGE025
的置信度；训练过程中超参数设置为
Figure 54570DEST_PATH_IMAGE032
。
Figure 292784DEST_PATH_IMAGE033
其中，
Figure 751710DEST_PATH_IMAGE034
是目标中心的偏置损失，因为上述步骤中对图像进行了R=4的下采样，特征图重新映射到原图会带来误差，因此对每一个关键点，额外采用了一个
Figure 643442DEST_PATH_IMAGE034
去补偿它的损失；
Figure 437086DEST_PATH_IMAGE035
是AIOI-CNet网络预测出来的偏置，
Figure 603625DEST_PATH_IMAGE036
，其中，
Figure 150013DEST_PATH_IMAGE037
是原图经过resize后的分辨率，
Figure 619172DEST_PATH_IMAGE038
是下采样的倍率；
Figure 759166DEST_PATH_IMAGE039
，其中，
Figure 86986DEST_PATH_IMAGE040
是关键点
Figure 894405DEST_PATH_IMAGE041
缩小倍率
Figure 268885DEST_PATH_IMAGE038
向下取整；
步骤4、根据AIOI-CNet网络模型检测得到的侧视图以及俯视图上关键点坐标，结合侧视图图像以及俯视图相机参数比例获取侧视图图像上鱼体的表型数据和俯视图图像上鱼体的表型数据；
俯视图相机参数比例如下公式所示：
Figure 896176DEST_PATH_IMAGE042
其中，camera_param1为俯视图相机参数比例，
Figure 263572DEST_PATH_IMAGE043
为纺锤型鱼类体长真实长度值，单位m，
Figure 800864DEST_PATH_IMAGE044
为俯视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离；
侧视图相机参数比例如下公式所示
Figure 736459DEST_PATH_IMAGE045
其中，camera_param2为侧视图相机参数比例，
Figure 477144DEST_PATH_IMAGE046
为侧视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离；
步骤5、根据侧视图图像上鱼体的体长
Figure 398963DEST_PATH_IMAGE047
来验证俯视图图像上鱼体的体长
Figure 915395DEST_PATH_IMAGE048
，利用如图6所示的侧视图方向和俯视图方向两个方向的数据比例映射关系，验证关键点检测的精度；侧视图方向和俯视图方向两个方向的数据比例映射关系如下公式：
Figure 880946DEST_PATH_IMAGE049
其中，M为侧视图中，侧视图工业相机与直线
Figure 748408DEST_PATH_IMAGE048
的距离；
Figure 208339DEST_PATH_IMAGE050
为俯视图鱼体长中点与直线
Figure 579278DEST_PATH_IMAGE047
的距离；
Figure 485704DEST_PATH_IMAGE051
是
Figure 184670DEST_PATH_IMAGE048
与
Figure 838505DEST_PATH_IMAGE047
的锐夹角。
本实施例中，采用本发明的AIOI-CNet网络模型及Hourglassnet模型计算得到的三个表型数据结果与手工测量结果的对比，如表3所示：
表3模型精度对比
Figure 188584DEST_PATH_IMAGE052
表3可以看出，本发明的AIOI-CNet网络模型，相比已应用的在鱼类关键点识别的网络模型Hourglassnet，AIOI-CNet网络模型有明显的优势。本发明的AIOI-CNet网络模型能够精准的预测多个关键点，且用于训练的网络参数量少，参数上，从8层Hourglass 1.5亿参数减少到AIOI-CNet 3000万参数； 耗时少，模型收敛速度快，GPU参数为1张1080Ti 11G，训练时长epoch为300轮，bachsize为4，时长花费2.4h，迁移到其他鱼的种类快。在关键点精度OKS(Object Keypoint Similarity)上AIOI-CNet网络模型的预测精度也比Hourglass要高出很多；使时间花费和机器损耗有所降低，模型整体在训练上性能有非常大的提升。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种鱼类关键点表型数据测量方法，其特征在于：包括以下步骤：
步骤1、拍摄多张鱼类的侧视图图像和俯视图图像，获取侧视图图像以及俯视图图像的标尺比例参数；
步骤2、利用标注软件标注俯视图及侧视图图像的关键点，并存储为 *.csv格式文件；
步骤3、通过标注了关键点的俯视图及侧视图图像训练AIOI-CNet网络模型，利用已经训练好的AIOI-CNet网络模型，对俯视图下自定义的多个关键点及侧视图下自定义的多个关键点进行检测，得到各关键点坐标；
步骤4、根据AIOI-CNet网络模型检测得到的侧视图以及俯视图上关键点坐标，结合侧视图以及俯视图相机参数比例获取侧视图图像上鱼体的表型数据和俯视图图像上鱼体的表型数据。
2.根据权利要求1所述的一种鱼类关键点表型数据测量方法，其特征在于：步骤2所述AIOI-CNet网络模型的主干提取网络设计为ResNet50；分类和回归网络设计成一种基于多阶段迭代的关键点检测结构，包括特征提取模块和关键点解码模块；AIOI-CNet网络的损失函数采用
Figure 382244DEST_PATH_IMAGE001
和
Figure 958719DEST_PATH_IMAGE002
，两者计算出的损失值loss占总体损失值loss的占比都是0.5；输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图；特征图通过关键点解码模块，得到关键点的位置坐标；所述关键点解码模块包括上下两个分支结构，其中，上分支结构用于预测得到关键点的位置坐标，下分支结构用于预测得到关键点的位移补偿量；再将关键点的位置坐标和关键点的位移补偿量两者结合得到最终的关键点坐标并可视化在图像上。
3.根据权利要求2所述的一种鱼类关键点表型数据测量方法，其特征在于：所述输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信息的特征图的具体方法为：
[1] 输入的图像Image经过resize 大小变为3xwxh，其中，w和h分别为图像的宽和高，图像经过主干提取网络ResNet50进行特征提取，生成一个维度为2048x(w/32)x(h/32)的高维特征图V0；
[2] 利用256个3x3的卷积核对高维特征图V0进行卷积，经过归一化BN，relu激活函数处理，然后再通过3x3的步长为2的反卷积生成一个维度为256x(w/16)x(h/16)的特征图V1；
[3] 特征图V1经过BN归一化，relu激活函数处理，利用128个3x3的卷积核对高维特征图V1进行卷积，再经过BN归一化，relu激活函数处理后，通过3x3的步长为2反卷积生成一个维度为128x(w/8)x(h/8)的特征图V2；
[4] 特征图V2经过BN归一化，relu激活函数处理，利用64个3x3的卷积核对高维特征图V2进行卷积，再经过归一化BN，relu激活函数处理后，通过3x3的步长为2的反卷积生成一个维度为64x(w/4)x(h/4)特征图V3。
4.根据权利要求3所述的一种鱼类关键点表型数据测量方法，其特征在于：所述上分支结构预测得到关键点的位置坐标的具体方法为：
（1）特征图V3通过64个3x3卷积，relu激活函数，利用numclass个 1x1卷积得到numclass个大小为(w/4)x(h/4)的热力图heatmap；
（2）基于AIOI块对numclass个热力图heatmap进行训练，得到关键点分类模型；
在numclass个热力图heatmap中，自动取一张热力图heatmap设计成一个初始阶段的AIOI块，利用AIOI块传递关键点之间的位置空间信息，间接提高网络模型的整体精度；根据关键点之间不同的纹理特征和形状特征，将关键点分为“先验关键点”和“后验关键点”，利用“先验关键点”和“后验关键点”之间的关联信息和空间位置信息，根据前一张热力图heatmap辅助预测后一张热力图heatmap，此过程进行循环迭代，直至达到设定的训练次数，最终得到一个最优参数的分类模型文件；
所述“先验关键点”为在AIOI-CNet网络结构中置信度分数高于设定阈值的关键点；
所述“后验关键点”为在AIOI-CNet网络结构中置信度分数低于设定阈值的关键点；
（3）将训练后的numclass个热力图heatmap经过非极大抑制处理得到关键点的位置坐标。
5.根据权利要求4所述的一种鱼类关键点表型数据测量方法，其特征在于：所述下分支结构得到关键点的位移补偿量的具体方法为：
通过64个3x3卷积，relu激活函数，利用2个 1x1卷积得到2个大小为(w/4)x(h/4)的偏移量Offset特征图；2个偏移量Offset特征图组成的维度为2x(w/4)x(h/4)；2个偏移量Offset分别是关键点横纵坐标偏移量，即关键点的位移补偿量；
测试阶段，选择热力图中的最大激活点位置
Figure 275299DEST_PATH_IMAGE003
，并同时选择offset特征图的最大激活位置的值
Figure 496196DEST_PATH_IMAGE004
，
Figure 380976DEST_PATH_IMAGE005
是关键点横坐标偏移量，
Figure 805266DEST_PATH_IMAGE006
是关键点纵坐标偏移量。
6.根据权利要求1所述的一种鱼类关键点表型数据测量方法，其特征在于：步骤4所述俯视图相机参数比例，如下公式所示：
Figure 676270DEST_PATH_IMAGE007
其中，camera_param1为俯视图相机参数比例，
Figure 610728DEST_PATH_IMAGE008
为纺锤型鱼类体长真实长度值，
Figure 791042DEST_PATH_IMAGE009
为俯视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离；
侧视图相机参数比例如下公式所示：
Figure 76530DEST_PATH_IMAGE010
其中， camera_param2为侧视图相机参数比例，
Figure 485646DEST_PATH_IMAGE011
为侧视图下的AIOI-CNet网络模型预测的个体鱼体长像素距离。
7.根据权利要求1所述的一种鱼类关键点表型数据测量方法，其特征在于：所述方法还根据侧视图图像上鱼体的体长
Figure 423078DEST_PATH_IMAGE012
来验证俯视图图像上鱼体的体长
Figure 384081DEST_PATH_IMAGE013
，利用侧视图方向和俯视图方向两个方向的数据比例映射关系，验证关键点检测的精度。
8.根据权利要求7所述的一种鱼类关键点表型数据测量方法，其特征在于：所述侧视图方向和俯视图方向两个方向的数据比例映射关系，如下公式所示：
Figure 766652DEST_PATH_IMAGE014
其中，M为侧视图中，侧视图工业相机与直线 AH的距离；
Figure 838513DEST_PATH_IMAGE015
为俯视图鱼体长中点与直线
Figure 403356DEST_PATH_IMAGE016
的距离；
Figure 410626DEST_PATH_IMAGE017
是AH与
Figure 670706DEST_PATH_IMAGE016
的锐夹角。
CN202210651980.6A 2022-06-10 2022-06-10 一种鱼类关键点表型数据测量方法 Active CN114723965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210651980.6A CN114723965B (zh) 2022-06-10 2022-06-10 一种鱼类关键点表型数据测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651980.6A CN114723965B (zh) 2022-06-10 2022-06-10 一种鱼类关键点表型数据测量方法

Publications (2)

Publication Number Publication Date
CN114723965A true CN114723965A (zh) 2022-07-08
CN114723965B CN114723965B (zh) 2022-09-09

Family

ID=82232741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651980.6A Active CN114723965B (zh) 2022-06-10 2022-06-10 一种鱼类关键点表型数据测量方法

Country Status (1)

Country Link
CN (1) CN114723965B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375917A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 一种目标边缘特征提取方法、装置、终端及存储介质
CN117029673A (zh) * 2023-07-12 2023-11-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117346685A (zh) * 2023-10-11 2024-01-05 华中农业大学 一种鲇形目鱼表型特征测量的装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696150A (zh) * 2020-05-19 2020-09-22 杭州飞锐科技有限公司 一种叉尾鮰鱼表型数据的测量方法
CN111862048A (zh) * 2020-07-22 2020-10-30 浙大城市学院 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
CN112347861A (zh) * 2020-10-16 2021-02-09 浙江工商大学 一种基于运动特征约束的人体姿态估计方法
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN114241031A (zh) * 2021-12-22 2022-03-25 华南农业大学 基于双视角融合的鱼类体尺测量和体重预测的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN111696150A (zh) * 2020-05-19 2020-09-22 杭州飞锐科技有限公司 一种叉尾鮰鱼表型数据的测量方法
CN111862048A (zh) * 2020-07-22 2020-10-30 浙大城市学院 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
CN112347861A (zh) * 2020-10-16 2021-02-09 浙江工商大学 一种基于运动特征约束的人体姿态估计方法
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN114241031A (zh) * 2021-12-22 2022-03-25 华南农业大学 基于双视角融合的鱼类体尺测量和体重预测的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENTAO LIU ET AL.: "A Cascaded Inception of Inception Network with Attention Modulated Feature Fusion for Human Pose Estimation", 《THE THIRTY-SECOND AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
周波: "基于深度学习的人体行为识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375917A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 一种目标边缘特征提取方法、装置、终端及存储介质
CN117029673A (zh) * 2023-07-12 2023-11-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117029673B (zh) * 2023-07-12 2024-05-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117346685A (zh) * 2023-10-11 2024-01-05 华中农业大学 一种鲇形目鱼表型特征测量的装置及方法

Also Published As

Publication number Publication date
CN114723965B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN114723965B (zh) 一种鱼类关键点表型数据测量方法
CN111862048B (zh) 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
CN109145808B (zh) 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN110232685B (zh) 基于深度学习的空间骨盆参数自动测量方法
CN114241031B (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN111696150A (zh) 一种叉尾鮰鱼表型数据的测量方法
CN114863263B (zh) 基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法
CN111862246A (zh) 对虾苗种智能计数方法及装置
CN112825791A (zh) 一种基于深度学习与点云凸包化特征的奶牛体况评分方法
CN112861872A (zh) 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN117029673B (zh) 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN110415246B (zh) 一种腹部脂肪成分的分析方法
CN112417378A (zh) 一种基于无人机图像处理的中华绒螯蟹质量估算方法
Zhou et al. Detection of abnormal chicken droppings based on improved Faster R-CNN
CN212379883U (zh) 对虾苗种智能计数装置
CN108990833A (zh) 一种基于位置信息的动物运动行为判别方法及装置
CN114419432A (zh) 一种鱼群摄食强度评估方法及装置
CN108182380B (zh) 一种基于机器学习的鱼眼瞳孔智能测量方法
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
CN112801118B (zh) 基于人工智能和大数据的肉猪出栏效益评估系统及方法
CN116434066B (zh) 基于深度学习的大豆豆荚考种方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant