CN111784649A - 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 - Google Patents
一种无损鱼骨的鱼骨表型信息自动检测系统及方法 Download PDFInfo
- Publication number
- CN111784649A CN111784649A CN202010585963.8A CN202010585963A CN111784649A CN 111784649 A CN111784649 A CN 111784649A CN 202010585963 A CN202010585963 A CN 202010585963A CN 111784649 A CN111784649 A CN 111784649A
- Authority
- CN
- China
- Prior art keywords
- fish
- image
- fishbone
- contour
- terminal computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 241000251468 Actinopterygii Species 0.000 claims abstract description 258
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 230000008054 signal transmission Effects 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000005192 partition Methods 0.000 claims description 26
- 230000003187 abdominal effect Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 210000001015 abdomen Anatomy 0.000 claims description 5
- 230000004323 axial length Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000003631 expected effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 241001275890 Megalobrama amblycephala Species 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000002352 blister Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种无损鱼骨的鱼骨表型信息自动检测系统及方法，涉及图像处理提取轮廓技术及深度学习实例分割识别目标轮廓技术领域。该系统包括数据采集装置、信号传输系统、终端计算机及终端显示器；该方法通过数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，并通过信号传输系统传输到终端计算机；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示。该系统及方法能够在不损伤鱼体本身的情况下检测鱼厚、鱼长及鱼骨表型信息。
Description
技术领域
本发明涉及图像处理提取轮廓技术及深度学习实例分割识别目标轮廓技术领域，尤其涉及一种无损鱼骨的鱼骨表型信息自动检测系统及方法。
背景技术
一方面，随着人工养殖渔业的飞速发展，使用自动化识别鱼类生长发育情况成为目前急需解决的问题；另一方面，为了推动渔业经济的可持续发展，珍贵鱼类资源的保护研究工作正逐步展开，揭示珍贵鱼中的内部和外部结构数据特征，有利于研究其分类、种质鉴定、增殖和保护提供参考依据。在传统研究方法中，使用游标卡尺测量鱼的各部位长度信息，通过对不同的部位比值关系数据进行平方比、标准差、方差、线性回归分析和主成分分析，通过这些指标来提取鱼骨的表型信息。随着研究的进一步深化，传统方法的弊端也显露出来：
1.传统方法需要人工使用游标卡尺测量鱼各部位长度信息，人为误差大，使用游标卡尺也容易产生随机误差；
2.传统方法对鱼骨表型进行检测必须进行解剖测量，自动化程度较低，人工操作效率低、速度慢，一条鱼需要两小时以上操作时间。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种无损鱼骨的鱼骨表型信息自动检测系统及方法，实现对鱼类表型信息的提取。
为解决上述技术问题，本发明所采取的技术方案是：
一方面，本发明提供一种无损鱼骨的鱼骨表型信息自动检测系统，包括数据采集装置、信号传输系统、终端计算机及终端显示器；所述数据采集装置包括带有入槽口的透明鱼缸、摆放在鱼缸上侧的摄像机和鱼缸正前方的与终端计算机相连的X光摄像仪；所述鱼缸内还设置有带孔的可调节透明隔板；所述可调节透明隔板上设有由终端计算机控制的机械臂，通过机械臂调节隔板与鱼缸的距离；
所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，鱼侧身图像和鱼正面的X光图像通过信号传输系统传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示；
优选地，所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
优选地，所述可调节透明隔板上还设有调节阀，在机械臂推动隔板没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。
另一方面，本发明还提供一种无损鱼骨的鱼骨表型信息自动检测方法，包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口滑入鱼缸，鱼在鱼缸里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图像通过信号传输系统传递给终端计算机进行存储计算；
步骤2、终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置；
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
终端计算机将计算得到的鱼厚度信息通过信号传输系统发射给机器臂，机械臂接收到鱼厚度信息后启动，将带孔透明隔板向有鱼一侧推进，使得带孔透明隔板与该侧鱼缸距离等于鱼厚，之后机械臂保持该位置不变；此时，机械臂将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X光摄像仪通过自带系统拍摄单张鱼正面的X光图像后回传给终端计算机；
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASKRCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，并自动调用表格查询鱼骨各表型信息。
采用上述技术方案所产生的有益效果在于：本发明提供的一种无损鱼骨的鱼类表型信息自动检测系统及方法，应用范围广，适用于多种鱼类表型信息检测的场景；检测过程全程自动化，自动采集图像、识别图像、提取鱼骨表型信息，可大幅度减少人工参与，提高工作效率，降低人工与时间成本；通过MASKRCNN网络模型可自动提取鱼骨表型信息，大大降低了误差，集成性和泛化能力强。
附图说明
图1为本发明实施例提供的一种无损鱼骨的鱼骨表型信息自动检测系统的结构示意图；
图2为本发明实施例提供的一种无损鱼骨的鱼骨表型信息自动检测方法的流程图；
图3为本发明实施例提供的终端计算机计算鱼背厚度的流程图；
图4为本发明实施例提供的计算鱼骨表型信息的流程图；
图5为本发明实施例提供的武昌鱼部分面型信息提取检测结果图。
图中：1、鱼缸；2、透明隔板；3、入槽口；4、信号传输系统；5、机械臂；6、天花板。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以一条武昌鱼为例，采用本发明的一种无损鱼骨的鱼类表型信息自动检测系统及方法对该鱼的表型信息进行检测。
本实施例中，一种无损鱼骨的鱼骨表型信息自动检测系统，如图1所示，包括数据采集装置、信号传输系统4、终端计算机及终端显示器；所述数据采集装置包括带有入槽口3的透明鱼缸1、摆放在鱼缸1上侧的摄像机和鱼缸1正前方的与终端计算机相连的X光摄像仪。所述鱼缸1内还设置有带孔的可调节透明隔板2；所述可调节透明隔板2上设有由终端计算机控制的机械臂5，通过机械臂5调节隔板2与鱼缸1的距离。所述可调节透明隔板2上还设有调节阀，在机械臂5推动隔板2没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。本实施例中，鱼缸1上侧的摄像机安装在天花板6上。
所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，鱼侧身图像和鱼正面的X光图像通过信号传输系统4传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示；所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
本实施例中，一种无损鱼骨的鱼骨表型信息自动检测方法，如图2所示，包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口3滑入鱼缸1，鱼在鱼缸1里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图片通过信号传输系统4传递给终端计算机进行存储计算；
步骤2、终端计算机选取鱼身笔直的鱼侧身图像通过图像处理技术提取鱼背轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置，如图3所示，具体方法为：
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
终端计算机将计算得到的鱼厚度信息通过信号传输系统4发射给机器臂5，机械臂5接收到长度信息后启动，将带孔透明隔板2向左推进，使得带孔透明隔板2与左侧鱼缸1距离等于鱼厚，之后机械臂5保持该位置不变；此时，机械臂5将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X摄像仪接收指令后通过自带系统对该鱼拍摄单张鱼正面的X光照片后回传给终端计算机；
本实施例中，终端计算机根据鱼正面的X光照片检测鱼各部位信息的过程如图4所示，具体方法如下：
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用labelme标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASK RCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值(阈值范围在50-150之间)将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数(cv2.contourArea()计算面积，cv2.arcLength()计算周长)计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数(肋骨数)、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，如图5所示，并自动调用表格查询鱼骨各表型信息。
本实施例中，到此，该武昌鱼鱼骨整个识别过程结束，终端计算机发出控制指令给机械臂5，机械臂5将带孔透明隔板2向右推进，使得鱼能正常游动，将鱼打捞后，可以继续重复上述过程对其他鱼种进行测量识别。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (8)
1.一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：包括数据采集装置、信号传输系统、终端计算机及终端显示器；所述数据采集装置包括带有入槽口的透明鱼缸、摆放在鱼缸上侧的摄像机和鱼缸正前方的与终端计算机相连的X光摄像仪；所述鱼缸内还设置有带孔的可调节透明隔板；所述可调节透明隔板上设有由终端计算机控制的机械臂，通过机械臂调节隔板与鱼缸的距离；所述数据采集装置采集待检测鱼的鱼侧身图像和鱼正面的X光图像，并通过信号传输系统传输到终端计算机进行存储并计算；终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓并计算鱼的厚度信息，然后控制数据采集装置采集鱼正面的X光图像，并根据接收的鱼正面的X光图像通过实例分割技术识别鱼的各个轮廓，通过轮廓得到掩码图识别鱼的各个轮廓，计算得到鱼骨表型信息，并将检测结果通过终端显示模块进行显示。
2.根据权利要求1所述的一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：所述鱼骨表型信息包括鱼身、鱼头、鱼泡的周长、面积和长轴长、短轴长、鱼颈椎骨节数、分区脊椎骨数、鳍条数、鱼脊椎骨节数、鳍条数、主鱼刺、尾刺和中后部刺的个数。
3.根据权利要求1所述的一种无损鱼骨的鱼骨表型信息自动检测系统，其特征在于：所述可调节透明隔板上还设有调节阀，在机械臂推动隔板没有达到预期效果的情况下手动调节调节阀达到固定鱼的目的。
4.一种无损鱼骨的鱼骨表型信息自动检测方法，采用权利要求1所述系统进行检测，其特征在于：包括以下步骤：
步骤1、通过数据采集装置的摄像机采集待检测鱼的侧身图像并将采集的图像通过信号传输系统传输到终端计算机进行存储计算；
将待检测的鱼通过入槽口滑入鱼缸，鱼在鱼缸里游动的过程中，启动摄像机对鱼侧身进行连续拍照，将拍摄的图像通过信号传输系统传递给终端计算机进行存储计算；
步骤2、终端计算机根据接收的鱼侧身图像通过图像处理技术提取鱼侧身轮廓，进而计算鱼的厚度信息，并将鱼厚度信息传输到数据采集装置；
步骤3、数据采集装置的机械臂接收鱼厚度信息，并调节隔板与鱼缸间距离后启动X光摄像仪拍摄鱼的正面X图像；
步骤4、终端计算机根据接收的鱼正面的X光图像通过MASK RCNN网络模型得到鱼骨各部位的分割掩码图；
步骤5、在得到鱼骨各部位分割掩码图基础上，通过图像处理技术提取鱼骨表型信息；
步骤6、终端计算机将计算得到的鱼骨表型信息及鱼背厚度、长度信息写入自动生成表格中，通过终端显示模块将各部位轮廓框出，并自动调用表格查询鱼骨各表型信息。
5.根据权利要求4所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1、将接收的鱼侧身图像进行灰度化，转化为灰度图像；
步骤2.2、将得到的灰度图像通过图像灰度值自适应取阈值转化为二值化图像，将鱼侧身图像中的鱼背轮廓全变为白色，图像背景全变为黑色；
步骤2.3、在二值化图像基础上使用轮廓发现算法提取鱼背轮廓；
步骤2.4、通过轮廓发现算法的内部函数画出鱼背轮廓的最小外接矩形；
步骤2.5、提取鱼背轮廓最小外接矩形的高和宽，比较两者大小，将两者中的较小值作为鱼的厚度，较大值作为鱼的长度，以此来得到鱼的厚度。
6.根据权利要求5所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤3的具体方法为：
终端计算机将计算得到的鱼厚度信息通过信号传输系统发射给机器臂，机械臂接收到鱼厚度信息后启动，将带孔透明隔板向有鱼一侧推进，使得带孔透明隔板与该侧鱼缸距离等于鱼厚，之后机械臂保持该位置不变；此时，机械臂将动作结束信息反馈给终端计算机，终端计算机向X光摄像仪发送拍摄指令，X光摄像仪通过自带系统拍摄单张鱼正面的X光图像后回传给终端计算机。
7.根据权利要求4所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤4的具体方法为：
步骤4.1、判断是否已存在训练好的MASK RCNN模型，若有进入4.3测试阶段，若无进入4.2训练阶段；
步骤4.2、训练阶段；
步骤4.2.1、使用标注软件标注鱼头、鱼泡、鱼身、背前驱脊椎骨、腹部脊椎骨、中部脊椎骨、尾部脊椎骨、鱼鳍、尾部、中后部这些鱼骨各部位轮廓，读取鱼正面的X光图像和对应标注目标位置的标注文件，将标注文件进行储存；
步骤4.2.2、通过MASK RCNN网络模训练，经过前向传播得到预测分类、检测位置、分割掩码三个预测值，并将这三个预测值与标注文件做对比，计算三者损失；
步骤4.2.3、反向传播不断的迭代使三个预测值的损失逐渐变小，直至模型收敛；
步骤4.2.4、输出收敛后的模型；
步骤4.3、调用MASK RCNN网络模型进入测试阶段，得到鱼骨各部位的分割掩码图。
8.根据权利要求7所述一种无损鱼骨的鱼骨表型信息自动检测方法，其特征在于：所述步骤5的具体方法为：
步骤5.1、在得到的鱼头、鱼泡和鱼身掩码图上涂上特定纯色，并将其转化为HSV色彩空间追踪其颜色，然后进行灰度化，转化为灰度图像；
步骤5.2、通过调节阈值将灰度图转化为二值化图，得到的二值化图中包含掩码图目标的区域为白色，背景其他区域为黑色；
步骤5.3、使用轮廓发现算法提取黑白边界轮廓，调用该算法内部函数计算出轮廓的周长和面积，由此得到目标鱼头、鱼泡、鱼身的周长和面积；
步骤5.4、以该轮廓的周长为基准使用轮廓逼近的方式画凸包，计算凸包中两两边缘点的距离，找到最大距离作为目标轮廓的长轴长，最短距离作为短轴长，由此得到了目标鱼的轴长信息；
步骤5.5、在得到的鱼鳍、鱼尾、中后部的掩码图基础上，创建一张与原鱼正面的X光图像相同大小的空白图，通过轮廓发现算法将鱼鳍从原鱼正面的X光图像中提取到空白图中，对鱼鳍使用图像锐化算法突出边缘，使用高斯滤波算法消除小的噪点，使用霍夫直线变换算法将每条鱼鳍画出，统计鱼鳍的个数；鱼尾、中后部使用上述相同的方法得到鱼尾刺个数和中后部鱼刺个数；
步骤5.6、在得到的脊椎骨的掩码图基础上，统计各分区脊椎骨的数量，得到背前区脊椎数、腹部脊椎数、中部脊椎数和尾部脊椎数，将各分区脊椎骨进行相加得到总的脊椎数；腹部脊椎骨上端连接单个鱼刺，下端连接两个鱼刺，在腹部区域主鱼刺为鱼骨数的三倍，中部和尾部脊椎骨上下端各连接一个鱼刺，在中部和尾部区域主鱼刺为鱼骨数的两倍，将腹部和中部尾部区域主鱼刺进行相加，得到主鱼刺个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585963.8A CN111784649B (zh) | 2020-06-24 | 2020-06-24 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010585963.8A CN111784649B (zh) | 2020-06-24 | 2020-06-24 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784649A true CN111784649A (zh) | 2020-10-16 |
| CN111784649B CN111784649B (zh) | 2024-09-13 |
Family
ID=72759689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010585963.8A Active CN111784649B (zh) | 2020-06-24 | 2020-06-24 | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784649B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669348A (zh) * | 2020-12-18 | 2021-04-16 | 浙江大学 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
| CN113326850A (zh) * | 2021-08-03 | 2021-08-31 | 中国科学院烟台海岸带研究所 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
| CN113591671A (zh) * | 2021-07-28 | 2021-11-02 | 常州大学 | 一种基于Mask-Rcnn识别鱼类生长检测方法 |
| CN114485415A (zh) * | 2021-12-27 | 2022-05-13 | 中国水产科学研究院黄海水产研究所 | 一种底栖鱼类生长表型高效测量方法及装置 |
| CN114972367A (zh) * | 2021-02-25 | 2022-08-30 | 上海复旦微电子集团股份有限公司 | 分割图像的方法、装置、设备和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101167567B1 (ko) * | 2011-10-19 | 2012-07-27 | (주)그린시스 | 어류 모니터링을 위한 영상감시장치 및 방법 |
| KR101540707B1 (ko) * | 2014-10-30 | 2015-08-03 | 대한민국 | 영상처리기술을 이용한 전복 자동선별 방법 |
| CN206652726U (zh) * | 2017-03-29 | 2017-11-21 | 河南省水产科学研究院 | 鱼类自动测量分选装置 |
| CN109146947A (zh) * | 2018-09-04 | 2019-01-04 | 清华-伯克利深圳学院筹备办公室 | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 |
-
2020
- 2020-06-24 CN CN202010585963.8A patent/CN111784649B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101167567B1 (ko) * | 2011-10-19 | 2012-07-27 | (주)그린시스 | 어류 모니터링을 위한 영상감시장치 및 방법 |
| KR101540707B1 (ko) * | 2014-10-30 | 2015-08-03 | 대한민국 | 영상처리기술을 이용한 전복 자동선별 방법 |
| CN206652726U (zh) * | 2017-03-29 | 2017-11-21 | 河南省水产科学研究院 | 鱼类自动测量分选装置 |
| CN109146947A (zh) * | 2018-09-04 | 2019-01-04 | 清华-伯克利深圳学院筹备办公室 | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李亨凡等: "基于Mask RCNN的机器鱼定位技术研究", 机器人技术与应用, no. 05, 15 October 2019 (2019-10-15) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669348A (zh) * | 2020-12-18 | 2021-04-16 | 浙江大学 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
| CN112669348B (zh) * | 2020-12-18 | 2023-11-28 | 浙江大学 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
| CN114972367A (zh) * | 2021-02-25 | 2022-08-30 | 上海复旦微电子集团股份有限公司 | 分割图像的方法、装置、设备和计算机可读存储介质 |
| CN114972367B (zh) * | 2021-02-25 | 2024-06-07 | 上海复旦微电子集团股份有限公司 | 分割图像的方法、装置、设备和计算机可读存储介质 |
| CN113591671A (zh) * | 2021-07-28 | 2021-11-02 | 常州大学 | 一种基于Mask-Rcnn识别鱼类生长检测方法 |
| CN113591671B (zh) * | 2021-07-28 | 2023-10-24 | 常州大学 | 一种基于Mask-Rcnn识别鱼类生长检测方法 |
| CN113326850A (zh) * | 2021-08-03 | 2021-08-31 | 中国科学院烟台海岸带研究所 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
| CN113326850B (zh) * | 2021-08-03 | 2021-10-26 | 中国科学院烟台海岸带研究所 | 一种基于实例分割的日本蟳群体行为视频分析方法 |
| CN114485415A (zh) * | 2021-12-27 | 2022-05-13 | 中国水产科学研究院黄海水产研究所 | 一种底栖鱼类生长表型高效测量方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784649B (zh) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784649B (zh) | 一种无损鱼骨的鱼骨表型信息自动检测系统及方法 | |
| Le et al. | An automated fish counting algorithm in aquaculture based on image processing | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN109145808B (zh) | 一种基于自适应鱼体弯曲模型的金枪鱼识别方法 | |
| CN108960011B (zh) | 部分遮挡的柑橘果实图像识别方法 | |
| CN108491784A (zh) | 面向大型直播场景的单人特写实时识别与自动截图方法 | |
| CN107480585B (zh) | 基于dpm算法的目标检测方法 | |
| CN111738279B (zh) | 一种无接触式鱼类形态表型自动获取装置及方法 | |
| CN112634202A (zh) | 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统 | |
| CN113516071B (zh) | 一种猪只估重方法 | |
| CN113269191A (zh) | 一种农作物叶片病害识别方法、装置和存储介质 | |
| CN114155445B (zh) | 基于改进YOLOv3的SAR图像目标检测方法 | |
| CN105913425B (zh) | 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法 | |
| CN114240978A (zh) | 基于自适应形态学的细胞边缘分割方法和装置 | |
| CN116740528A (zh) | 一种基于阴影特征的侧扫声呐图像目标检测方法及系统 | |
| CN113781421A (zh) | 基于水下的目标识别方法、装置及系统 | |
| CN110348344B (zh) | 一种基于二维和三维融合的特殊人脸表情识别的方法 | |
| CN103177244B (zh) | 水下显微图像中快速检测目标生物的方法 | |
| CN113793385A (zh) | 鱼头鱼尾定位方法及装置 | |
| CN113180640B (zh) | 一种家畜养殖用尺寸测量方法及系统 | |
| CN112132884B (zh) | 基于平行激光和语义分割的海参长度测量方法及系统 | |
| CN113822927A (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
| CN113284164A (zh) | 虾群自动计数方法、装置、电子设备及存储介质 | |
| CN106846398B (zh) | 一种基于图像行数据扫描的星空目标最大光强位置的识别方法 | |
| CN112818983A (zh) | 一种利用图片相识度判断字符倒置的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |