CN111784649A - 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 - Google Patents

一种无损鱼骨的鱼骨表型信息自动检测系统及方法 Download PDF

Info

Publication number
CN111784649A
CN111784649A CN202010585963.8A CN202010585963A CN111784649A CN 111784649 A CN111784649 A CN 111784649A CN 202010585963 A CN202010585963 A CN 202010585963A CN 111784649 A CN111784649 A CN 111784649A
Authority
CN
China
Prior art keywords
fish
image
fishbone
contour
terminal computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010585963.8A
Other languages
English (en)
Inventor
袁晓辉
李东野
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Gooal Gene Technology Co ltd
Original Assignee
Wuhan Gooal Gene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Gooal Gene Technology Co ltd filed Critical Wuhan Gooal Gene Technology Co ltd
Priority to CN202010585963.8A priority Critical patent/CN111784649A/zh
Publication of CN111784649A publication Critical patent/CN111784649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种无损鱼骨的鱼骨表型信息自动检测系统及方法，涉及图像处理提取轮廓技术及深度学习实例分割识别目标轮廓技术领域。该系统包括数据采集装置、信号传输系统、终端计算机及终端显示器；该方法通过数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，并通过信号传输系统传输到终端计算机；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示。该系统及方法能够在不损伤鱼体本身的情况下检测鱼厚、鱼长及鱼骨表型信息。

Description

一种无损鱼骨的鱼骨表型信息自动检测系统及方法
技术领域
本发明涉及图像处理提取轮廓技术及深度学习实例分割识别目标轮廓技术领域，尤其涉及一种无损鱼骨的鱼骨表型信息自动检测系统及方法。
背景技术
一方面，随着人工养殖渔业的飞速发展，使用自动化识别鱼类生长发育情况成为目前急需解决的问题；另一方面，为了推动渔业经济的可持续发展，珍贵鱼类资源的保护研究工作正逐步展开，揭示珍贵鱼中的内部和外部结构数据特征，有利于研究其分类、种质鉴定、增殖和保护提供参考依据。在传统研究方法中，使用游标卡尺测量鱼的各部位长度信息，通过对不同的部位比值关系数据进行平方比、标准差、方差、线性回归分析和主成分分析，通过这些指标来提取鱼骨的表型信息。随着研究的进一步深化，传统方法的弊端也显露出来：
1.传统方法需要人工使用游标卡尺测量鱼各部位长度信息，人为误差大，使用游标卡尺也容易产生随机误差；
2.传统方法对鱼骨表型进行检测必须进行解剖测量，自动化程度较低，人工操作效率低、速度慢，一条鱼需要两小时以上操作时间。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种无损鱼骨的鱼骨表型信息自动检测系统及方法，实现对鱼类表型信息的提取。
为解决上述技术问题，本发明所采取的技术方案是：
一方面，本发明提供一种无损鱼骨的鱼骨表型信息自动检测系统，包括数据采集装置、信号传输系统、终端计算机及终端显示器；所述数据采集装置包括带有入槽口的透明鱼缸、摆放在鱼缸上侧的摄像机和鱼缸正前方的与终端计算机相连的X光摄像仪；所述鱼缸内还设置有带孔的可调节透明隔板；所述可调节透明隔板上设有由终端计算机控制的机械臂，通过机械臂调节隔板与鱼缸的距离；
所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，鱼侧身图像和鱼正面的X光图像通过信号传输系统传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示；
优选地，所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
优选地，所述可调节透明隔板上还设有调节阀，在机械臂推动隔板没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。
另一方面，本发明还提供一种无损鱼骨的鱼骨表型信息自动检测方法，包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口滑入鱼缸，鱼在鱼缸里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图像通过信号传输系统传递给终端计算机进行存储计算；
步骤2、终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置；
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
终端计算机将计算得到的鱼厚度信息通过信号传输系统发射给机器臂，机械臂接收到鱼厚度信息后启动，将带孔透明隔板向有鱼一侧推进，使得带孔透明隔板与该侧鱼缸距离等于鱼厚，之后机械臂保持该位置不变；此时，机械臂将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X光摄像仪通过自带系统拍摄单张鱼正面的X光图像后回传给终端计算机；
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASKRCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，并自动调用表格查询鱼骨各表型信息。
采用上述技术方案所产生的有益效果在于：本发明提供的一种无损鱼骨的鱼类表型信息自动检测系统及方法，应用范围广，适用于多种鱼类表型信息检测的场景；检测过程全程自动化，自动采集图像、识别图像、提取鱼骨表型信息，可大幅度减少人工参与，提高工作效率，降低人工与时间成本；通过MASKRCNN网络模型可自动提取鱼骨表型信息，大大降低了误差，集成性和泛化能力强。
附图说明
图1为本发明实施例提供的一种无损鱼骨的鱼骨表型信息自动检测系统的结构示意图；
图2为本发明实施例提供的一种无损鱼骨的鱼骨表型信息自动检测方法的流程图；
图3为本发明实施例提供的终端计算机计算鱼背厚度的流程图；
图4为本发明实施例提供的计算鱼骨表型信息的流程图；
图5为本发明实施例提供的武昌鱼部分面型信息提取检测结果图。
图中：1、鱼缸；2、透明隔板；3、入槽口；4、信号传输系统；5、机械臂；6、天花板。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以一条武昌鱼为例，采用本发明的一种无损鱼骨的鱼类表型信息自动检测系统及方法对该鱼的表型信息进行检测。
本实施例中，一种无损鱼骨的鱼骨表型信息自动检测系统，如图1所示，包括数据采集装置、信号传输系统4、终端计算机及终端显示器；所述数据采集装置包括带有入槽口3的透明鱼缸1、摆放在鱼缸1上侧的摄像机和鱼缸1正前方的与终端计算机相连的X光摄像仪。所述鱼缸1内还设置有带孔的可调节透明隔板2；所述可调节透明隔板2上设有由终端计算机控制的机械臂5，通过机械臂5调节隔板2与鱼缸1的距离。所述可调节透明隔板2上还设有调节阀，在机械臂5推动隔板2没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。本实施例中，鱼缸1上侧的摄像机安装在天花板6上。
所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，鱼侧身图像和鱼正面的X光图像通过信号传输系统4传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示；所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
本实施例中，一种无损鱼骨的鱼骨表型信息自动检测方法，如图2所示，包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口3滑入鱼缸1，鱼在鱼缸1里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图片通过信号传输系统4传递给终端计算机进行存储计算；
步骤2、终端计算机选取鱼身笔直的鱼侧身图像通过图像处理技术提取鱼背轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置，如图3所示，具体方法为：
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
终端计算机将计算得到的鱼厚度信息通过信号传输系统4发射给机器臂5，机械臂5接收到长度信息后启动，将带孔透明隔板2向左推进，使得带孔透明隔板2与左侧鱼缸1距离等于鱼厚，之后机械臂5保持该位置不变；此时，机械臂5将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X摄像仪接收指令后通过自带系统对该鱼拍摄单张鱼正面的X光照片后回传给终端计算机；
本实施例中，终端计算机根据鱼正面的X光照片检测鱼各部位信息的过程如图4所示，具体方法如下：
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用labelme标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASK RCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值(阈值范围在50-150之间)将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数(cv2.contourArea()计算面积，cv2.arcLength()计算周长)计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数(肋骨数)、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，如图5所示，并自动调用表格查询鱼骨各表型信息。
本实施例中，到此，该武昌鱼鱼骨整个识别过程结束，终端计算机发出控制指令给机械臂5，机械臂5将带孔透明隔板2向右推进，使得鱼能正常游动，将鱼打捞后，可以继续重复上述过程对其他鱼种进行测量识别。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：包括数据采集装置、信号传输系统、终端计算机及终端显示器；所述数据采集装置包括带有入槽口的透明鱼缸、摆放在鱼缸上侧的摄像机和鱼缸正前方的与终端计算机相连的X光摄像仪；所述鱼缸内还设置有带孔的可调节透明隔板；所述可调节透明隔板上设有由终端计算机控制的机械臂，通过机械臂调节隔板与鱼缸的距离；所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，并通过信号传输系统传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示。
2.根据权利要求1所述的一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
3.根据权利要求1所述的一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：所述可调节透明隔板上还设有调节阀，在机械臂推动隔板没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。
4.一种无损鱼骨的鱼骨表型信息自动检测方法，采用权利要求1所述系统进行检测，其特征在于：包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口滑入鱼缸，鱼在鱼缸里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图像通过信号传输系统传递给终端计算机进行存储计算；
步骤2、终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，并自动调用表格查询鱼骨各表型信息。
5.根据权利要求4所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度。
6.根据权利要求5所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤3的具体方法为：
终端计算机将计算得到的鱼厚度信息通过信号传输系统发射给机器臂，机械臂接收到鱼厚度信息后启动，将带孔透明隔板向有鱼一侧推进，使得带孔透明隔板与该侧鱼缸距离等于鱼厚，之后机械臂保持该位置不变；此时，机械臂将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X光摄像仪通过自带系统拍摄单张鱼正面的X光图像后回传给终端计算机。
7.根据权利要求4所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤4的具体方法为：
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASK RCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图。
8.根据权利要求7所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤5的具体方法为：
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数。
CN202010585963.8A 2020-06-24 2020-06-24 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 Pending CN111784649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585963.8A CN111784649A (zh) 2020-06-24 2020-06-24 一种无损鱼骨的鱼骨表型信息自动检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585963.8A CN111784649A (zh) 2020-06-24 2020-06-24 一种无损鱼骨的鱼骨表型信息自动检测系统及方法

Publications (1)

Publication Number Publication Date
CN111784649A true CN111784649A (zh) 2020-10-16

Family

ID=72759689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585963.8A Pending CN111784649A (zh) 2020-06-24 2020-06-24 一种无损鱼骨的鱼骨表型信息自动检测系统及方法

Country Status (1)

Country Link
CN (1) CN111784649A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN113326850A (zh) * 2021-08-03 2021-08-31 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN113591671A (zh) * 2021-07-28 2021-11-02 常州大学 一种基于Mask-Rcnn识别鱼类生长检测方法
CN114485415A (zh) * 2021-12-27 2022-05-13 中国水产科学研究院黄海水产研究所 一种底栖鱼类生长表型高效测量方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112669348B (zh) * 2020-12-18 2023-11-28 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN113591671A (zh) * 2021-07-28 2021-11-02 常州大学 一种基于Mask-Rcnn识别鱼类生长检测方法
CN113591671B (zh) * 2021-07-28 2023-10-24 常州大学 一种基于Mask-Rcnn识别鱼类生长检测方法
CN113326850A (zh) * 2021-08-03 2021-08-31 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN113326850B (zh) * 2021-08-03 2021-10-26 中国科学院烟台海岸带研究所 一种基于实例分割的日本蟳群体行为视频分析方法
CN114485415A (zh) * 2021-12-27 2022-05-13 中国水产科学研究院黄海水产研究所 一种底栖鱼类生长表型高效测量方法及装置

Similar Documents

Publication Publication Date Title
CN111784649A (zh) 一种无损鱼骨的鱼骨表型信息自动检测系统及方法
Le et al. An automated fish counting algorithm in aquaculture based on image processing
CN109145808B (zh) 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN108960011B (zh) 部分遮挡的柑橘果实图像识别方法
CN107480585B (zh) 基于dpm算法的目标检测方法
CN111738279B (zh) 一种无接触式鱼类形态表型自动获取装置及方法
CN112634202A (zh) 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN112825791B (zh) 一种基于深度学习与点云凸包化特征的奶牛体况评分方法
CN112017200A (zh) 一种基于视觉识别的鱼类姿态判定方法
CN113269191A (zh) 一种农作物叶片病害识别方法、装置和存储介质
CN105913425B (zh) 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法
CN114240978A (zh) 基于自适应形态学的细胞边缘分割方法和装置
CN113781421A (zh) 基于水下的目标识别方法、装置及系统
CN110348344B (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法
CN113793385A (zh) 鱼头鱼尾定位方法及装置
CN113180640B (zh) 一种家畜养殖用尺寸测量方法及系统
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN112132884B (zh) 基于平行激光和语义分割的海参长度测量方法及系统
CN111274851A (zh) 一种活体检测方法及装置
CN113516071A (zh) 一种猪只估重方法
CN106846398B (zh) 一种基于图像行数据扫描的星空目标最大光强位置的识别方法
CN112818983A (zh) 一种利用图片相识度判断字符倒置的方法
CN114882095B (zh) 一种基于轮廓匹配的物体高度在线测量方法
CN115861276A (zh) 石墨膜片表面划痕检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination