CN112991430A - 一种基于机器视觉检测跟踪的鱼苗计数装置及方法 - Google Patents
一种基于机器视觉检测跟踪的鱼苗计数装置及方法 Download PDFInfo
- Publication number
- CN112991430A CN112991430A CN202110242776.4A CN202110242776A CN112991430A CN 112991430 A CN112991430 A CN 112991430A CN 202110242776 A CN202110242776 A CN 202110242776A CN 112991430 A CN112991430 A CN 112991430A
- Authority
- CN
- China
- Prior art keywords
- fry
- image
- counting
- observation cabin
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 74
- 241000251468 Actinopterygii Species 0.000 claims abstract description 42
- 238000005192 partition Methods 0.000 claims abstract description 31
- 238000007789 sealing Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000712 assembly Effects 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000009825 accumulation Methods 0.000 abstract description 4
- 230000005012 migration Effects 0.000 abstract description 4
- 238000013508 migration Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000009395 breeding Methods 0.000 abstract description 2
- 230000001488 breeding effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000565 sealant Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Farming Of Fish And Shellfish (AREA)
Abstract
本发明涉及渔业养殖装备技术，旨在提供一种基于机器视觉检测跟踪的鱼苗计数装置及方法。该装置包括用于采集、分析图片或视频数据的摄像设备和计算机终端，摄像设备的镜头对准鱼苗通过的观察舱；鱼苗分离模块、观察舱和集鱼容器通过水管依次连接，鱼苗分离模块中利用环形隔板将锥形漏斗与角度调节阀门之间的空间分隔成连续的螺旋状通道。本发明的装置能够对鱼苗进行自动分散，有效避免了鱼苗的堆积、粘连，降低了鱼苗检测跟踪难度，有效保证了计数精度；同时，观察舱隔绝了外部光源干扰、且方管底部为白色，连续拍摄检测跟踪计数，提高了计数效率；通过对鱼苗进行连续检测和跟踪，消除了鱼苗洄游对计数精度的影响，有效提高计数精度。
Description
技术领域
本发明涉及渔业养殖装备技术领域，具体涉及一种基于机器视觉检测跟踪的鱼苗计数装置及方法。
背景技术
随着“智慧渔业”的提出，我国鱼类养殖也将更关注机械化、智能化和信息化水平。准确估计鱼苗数量作为机械化、智能化渔业养殖中的重要课题，是实现科学投饵、鱼苗存活率评估、养殖密度控制、鱼苗销购等规范化、科学化管理的基础保障。传统的计数方法多采用人工估算法，如称重估算，不仅耗时、费力、存在15-25％的误差，而且容易对鱼苗产生物理损伤和生存性压力，降低鱼苗的存活率。国内外渔业以及计量专业相关人员早已鱼苗计数方法展开了研究，国外也已经出现的一些鱼苗计数器，如光电鱼苗计数器、多通道鱼苗计数器等，但装置复杂，成本高，且易受鱼苗通过速度、鱼苗和通道尺寸等因素的限制，进而降低计数精度和效率。
随着机器视觉技术的快速发展，基于视觉检测技术的鱼苗计数方法因其高效、精确、成本低、可重复强等优点，目前已经成为鱼类计数方法的研究热点。
申请公布号CN110766123A公开了一种鱼苗计数系统及鱼苗计数方法，通过在待测鱼苗水箱底处设置有输出口供多个鱼苗进入单向水道，并在单向水道内图像采集和计数，但在实际操作过程中，鱼苗游动是随机的、喜逆流的，并不一定会进入单向水道，影响计数效率。而且单向水道的尺寸固定，适应的鱼苗尺寸有限。
申请公布号CN110973036A公开了一种基于机器视觉的鱼苗计数装置及方法，通过旋转门对鱼苗进行分批计数，但未考虑鱼苗在计数区域存在粘连、堆积等问题，使得计数数量小于真实数量。
因此，研制一种无损、快速、准确且经济可行的鱼苗计数系统具有重大意义。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种基于机器视觉检测跟踪的鱼苗计数装置及方法。
为解决技术问题，本发明的解决方案是：
提供一种基于机器视觉检测跟踪的鱼苗计数装置，包括用于采集、分析图片或视频数据的摄像设备和计算机终端，摄像设备的镜头对准鱼苗通过的观察舱；该装置还包括鱼苗分离模块和集鱼容器，鱼苗分离模块、观察舱和集鱼容器通过水管依次连接，且均固定安装在支撑框架中；
所述鱼苗分离模块包括锥形漏斗、环形隔板和角度调节阀门；锥形漏斗包括圆柱状侧壁、锥形底部和底部的中央开孔，角度调节阀门呈圆环状且设于锥形漏斗的圆柱状空间的中心位置；环形隔板将锥形漏斗与角度调节阀门之间的空间分隔成连续的螺旋状通道；角度调节阀门具有至少一个能调开度的开口，螺旋状通道接至角度调节阀门的外侧，并且经该开口与角度调节阀门内侧、锥形漏斗底部开孔、圆柱形水管依次连通。
作为一种改进，所述鱼苗分离模块还包括两级漏斗；其中，第一级漏斗上部敞口的边缘接至角度调节阀门的底部边缘，第一级漏斗底部出口对接至第二级漏斗的上部敞口；两级漏斗均位于锥形漏斗底部的圆柱形水管中。
作为一种改进，所述角度调节阀门由嵌套安装的旋转空心圆柱和固定空心圆柱组成；旋转空心圆柱和固定空心圆柱的侧面分别均匀开设三个大小相同的开口，通过改变两者之间相对旋转角度能够调节开口的开度大小。
作为一种改进，所述环形隔板由外圈隔板和内圈隔板首尾相连而成，外圈隔板、内圈隔板和角度调节阀门通过连接杆实现在锥形漏斗中的固定安装。
作为一种改进，所述观察舱的主体呈方管状，其两端分别通过变径连接组件与进水管和出水管相连，且在方管状主体两端分别设有补光设备；观察舱的顶面板为透明板材且与摄像设备相对，其它三个侧面板为无镜面反射且透光的白色板材；在支撑框架中固定安装由六块遮光板构成的箱体，所述观察舱、补光设备和摄像设备均位于箱体内部。
作为一种改进，所述观察舱两端的变径连接组件均由变径偏心接头、O型橡胶密封圈和直接接头组成；直接接头通过螺栓与变径偏心接头紧固连接，两者夹紧O型橡胶密封圈以实现密封。
作为一种改进，所述集鱼容器呈箱式结构，其底部为斜面，侧壁底部连接出水管和阀门；集鱼容器内部设有水泵，水泵出口通过软管接至锥形漏斗中；水泵通过线缆依次连接流速控制面板和电源。
作为一种改进，所述支撑框架是由多根方形连接杆组成，底部设置多个万向轮。
本发明进一步提供了一种基于机器视觉检测跟踪的鱼苗计数方法，包括如下步骤：
(1)关闭角度调节阀门，使观察舱内的初始鱼苗数量(NF＝0)；
(2)打开水泵和角度调节阀门，使锥形漏斗中的鱼苗随着水流进入观察舱，最终收集在集鱼容器中；在此过程中，摄像设备持续获取观察舱内部全部可视区域的图像或视频信号，并向计算机终端传输数据；
(3)计算机终端对接收到的图像或视频数据进行预处理，包括裁剪、矫正、滤波和形态学操作；在观察舱的出口位置前设置虚拟的计数线；
(4)从经过预处理的图像或视频数据中获取可视区域内当前第i帧图像中的鱼苗特征信息，包括各个连通域的面积特征
和位置特征
式中各符号含义是：c为第i帧图像中的连通域数量，
分别为第i帧图像中第j个连通域的面积特征以及在图像中的位置特征，其中
为横坐标，
为纵坐标；
(5)对步骤(4)所获取的全部信息进行归一化处理，构建关联特征矩阵、损失函数及关联模型，并对第i-1帧和第i帧的鱼苗进行匹配关联，当第i帧中鱼苗相对于第i-1帧的鱼苗有n条从观察舱入口往出口方向穿过计数线(顺游)，m条鱼苗从观察舱出口往入口方向穿过计数线(洄游)时，更新鱼苗数量(NF′＝NF+n-m)；
(6)重复上述步骤(3)、(4)和(5)，待鱼苗分离模块中的鱼苗全部进入集鱼容器视为计数结束；则，鱼苗总数即为NF′。
本发明中，所述步骤(3)包括：
(3.1)对图像进行裁剪，去除观察舱以外的图像，获得裁剪后的图像；
(3.2)对裁剪后的图像进行矫正，减少由于摄像设备安装误差和观察舱边缘对后续计数的影响，获得矫正后的图像；
(3.3)对矫正后的图像进行均值滤波和高斯滤波，获得滤波后的图像；
(3.4)将滤波后的图像转换为灰度图和二值图，获得滤波后的图像；
(3.5)在矫正后的图像中于观察舱出口前方设置虚拟计数线，应当保证新出现的鱼苗不能在被检测到的第一帧图像中穿过虚拟的计数线。
本发明中，所述步骤(4)包括：
(4.1)测定标准鱼苗的连通域面积特征为s，以及当前帧(第i帧)图像中各个连通域的面积特征为
位置特征为
(4.2)当前帧(第i帧)图像中第j个连通域中包含的鱼苗数量为
β＝0.5为面积阈值；
则第j个连通域内nj条鱼苗的面积均为
位置均为
当前帧(第i帧)图像中包含鱼苗数量为
本发明中，所述步骤(5)包括：
(5.1)对特征信息进行归一化处理
其中w1为权重；
分别为前一帧(第i-1帧)中的第a(1≤a≤cni-1)条鱼苗(鱼苗a)与当前帧(第i帧)的第b(1≤b≤cni)条鱼苗(鱼苗B)的面积特征；
分别为鱼苗a和鱼苗b的位置特征；Δcsab，Δcpab分别为鱼苗a和鱼苗b之间的面积特征、位置特征的变化量；cvab为鱼苗a和鱼苗B的面积特征和位置特征进行归一化后的关联特征值；csmax，cpmax分别表示前一帧(第i-1帧)中的鱼苗与当前帧(第i帧)的鱼苗之间的面积特征、位置特征的变化量最大值；
(5.2)构建关联特征矩阵A：
(5.3)构建损失函数，为了简化运算，设置位置变化阈值T0：
(5.4)当前帧和前一帧的关联模型为：
若xab＝1，表示鱼苗a与鱼苗b能够关联，即鱼苗a和鱼苗b是前后帧中的同一条鱼苗，否则不是同一条鱼苗；
本发明中，采用匈牙利算法求解关联模型的全局最优值。
与现有技术相比，本发明具有以下有益效果及优点：
(1)本发明的装置能够对鱼苗进行自动分散，有效避免了鱼苗的堆积、粘连，降低了鱼苗检测跟踪难度，有效保证了计数精度；同时，观察舱隔绝了外部光源干扰、且方管底部为白色，连续拍摄检测跟踪计数，提高了计数效率；
(2)本发明的装置通过观察舱中的隔板减少了外部光源干扰，补光灯提供均匀光源，方管底部为白色，使拍摄的鱼苗更清晰，有效保证了计数精度的稳定性；
(3)本发明通过对鱼苗进行实时计数，有效提高了计数效率；同时，通过对鱼苗进行连续检测和跟踪，消除了鱼苗洄游对计数精度的影响，有效提高计数精度。
(4)本发明的装置方便移动、成本低、操作简单，且对鱼苗无创。
附图说明
图1是本发明鱼苗计数装置的正视图；
图2是本发明鱼苗计数装置中的鱼苗分离模块的爆炸图；
图3是本发明鱼苗计数装置中的鱼苗分离模块示意图；
图4是本发明鱼苗计数装置中的观察舱爆炸图；
图5是本发明鱼苗计数装置中的方管及变径连接组件爆炸图；
图6是本发明鱼苗计数装置的俯视图；
图7是本发明鱼苗计数装置中的水箱示意图；
图8是本发明鱼苗计数装置中的支撑平台示意图；
图9是本发明鱼苗计数装置的整体示意图；
图10是本发明鱼苗计数装置的实施方框图；
图11是本发明鱼苗计数方法的流程图。
附图标记说明：
1-锥形漏斗，2-圆柱形水管，3-变径弯头，4-连接水管，41-连接水管，42-连接水管，5-变径连接组件，6-补光设备，7-观察舱，8-摄像设备，9-软管，10-活接，11-连接弯头，12-阀门，13-集鱼容器，14-万向轮，15-连接杆，16-外圈隔板，17-内圈隔板，18-角度调节阀门，19-两级漏斗，20-固定杆，21-支撑件，22_1-遮光板，22_2-遮光板，23-遮光板，24-遮光板，25-遮光板，26-水泵、27-方形连接杆、28-直接接头，29-O型橡胶密封圈，30-变径偏心接头，31-旋转空心圆柱，32-固定空心圆柱，33-第一级漏斗，34-第二级漏斗，35-变压器，36-计算机终端，37-显示器，38-流速控制面板，39-线缆。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
如图所示，基于机器视觉检测跟踪的鱼苗计数装置，包括用于采集、分析图片或视频数据的摄像设备8和计算机终端36，以及通过水管依次连接的鱼苗分离模块、观察舱7和集鱼容器13。
鱼苗分离模块包括锥形漏斗1、环形隔板和角度调节阀门18；锥形漏斗1包括圆柱状侧壁、锥形底部和底部的中央开孔，角度调节阀门18呈圆环状且设于锥形漏斗1的圆柱状空间的中心位置；环形隔板将锥形漏斗1与角度调节阀门18之间的空间分隔成连续的螺旋状通道。角度调节阀门18由嵌套安装的旋转空心圆柱31和固定空心圆柱32组成；旋转空心圆柱31和固定空心圆柱32的侧面分别均匀开设三个大小相同的开口，通过改变两者之间相对旋转角度能够调节开口的开度大小。螺旋状通道接至角度调节阀门18的外侧，并且经该开口与角度调节阀门18的内侧、锥形漏斗底部开孔、圆柱形水管2依次连通。两级漏斗19位于锥形漏斗1底部的圆柱形水管2中，其中第一级漏斗33上部敞口的边缘接至固定空心圆柱32的底部边缘，第一级漏斗33底部出口对接至第二级漏斗34的上部敞口。二级漏斗34可选偏心结构，且偏心方向相反。环形隔板由外圈隔板16和内圈隔板17首尾相连而成，外圈隔板16、内圈隔板17和角度调节阀门18通过连接杆15实现在锥形漏斗1中的固定安装。
观察舱7的主体呈方管状，其两端分别通过变径连接组件5与进水的连接水管4和出水的连接水管41相连。观察舱7两端的变径连接组件5均由变径偏心接头30、O型橡胶密封圈29和直接接头28组成；直接接头28通过螺栓与变径偏心接头30紧固连接，两者夹紧O型橡胶密封圈29以实现密封。在观察舱7的主体两端分别设有补光设备6；观察舱7的顶面板为透明板材且与摄像设备8相对，其它三个侧面板为无镜面反射且透光的白色板材；在支撑框架中固定安装由六块遮光板构成的箱体，所述观察舱7、补光设备6和摄像设备8均位于箱体内部。
集鱼容器13呈箱式结构，其底部为斜面，侧壁底部连接出水的连接水管42和阀门12；集鱼容器13内部设有水泵26，水泵26出口通过软管9接至锥形漏斗1中；水泵26通过线缆39依次连接流速控制面板38和电源。
支撑框架是由多根方形连接杆27组成，底部设置多个万向轮。鱼苗分离模块、观察舱7和集鱼容器13均固定安装在支撑框架中。鱼苗分离模块可以容纳部分水和待计数的鱼苗，且可以减少大量鱼苗的堆积；观察舱7的一端与鱼苗分离模块连接，另一端通过出水口接至集鱼容器13中，集鱼容器13可以容纳一定量的水和已完成计数的鱼苗，并实现装置内的水循环。
下面对各部件结构组成具体描述：
如图2所示，锥形漏斗1和圆柱形水管2构成了鱼苗分离模块的外部结构，锥形漏斗1可以容纳一定量的水和待计数的鱼苗，锥形漏斗1与大圆柱水管2的连接采用密封胶连接。外圈隔板16、内圈隔板17、角度调节阀门18和两级漏斗19构成了鱼苗分离模块的内部结构。角度调节阀门18中的固定空心圆柱32通过密封胶固定于锥形漏斗1的中心开口处，旋转空心圆柱31放置在固定空心圆柱32上方。特别地，旋转空心圆柱31和固定空心圆柱32侧面都均匀开设三个大小为60°的开口，通过调整旋转空心圆柱31的角度可以调节角度调节阀门18侧面的开口大小，进而适应不同尺寸的鱼苗通过。此外，固定空心圆柱32采用柔性硅胶材料，防止鱼苗在通过开口的过程中刮伤。外圈隔板16、内圈隔板17首尾相连且均与角度调节阀门18同心，同时与锥形漏斗1上表面贴合放置，将锥形漏斗内的空间划分成一条连续的螺旋形通道。连接杆15将外圈隔板16、内圈隔板17和角度调节阀门18连接成一个整体。具体地，采用螺栓和螺母分别将外圈隔板16与连接杆15、内圈隔板17与连接杆15连接，采用铜柱和螺母将连接杆15与角度调节阀门18中的固定空心圆柱32连接。两级漏斗19放置在圆柱形水管2的内腔中，具体地，第一级漏斗33与角度调节阀门18固连，第二级漏斗34放置在第一级漏斗33下方，采用胶水固定在圆柱形水管2上。
观察舱7的一端通过连接水管4和圆柱形水管2与鱼苗分离模块连接，另一端依次连接至连接水管41、活接10、连接弯头11、阀门12从而构成出水通道。如图4所示，观察舱7两端均连接变径连接组件5，具体地，靠近鱼苗分离模块一端的变径连接组件5的小口径接近观察舱7的上表面，靠近出水口的变径连接组件5的小口径靠近观察舱7的下表面。特别地，观察舱7只有顶部一个面板是透明材质的，其他三个面均为不存在镜面反射且透光的白色面板。变径连接组件5由变径偏心接头30、连接螺栓、橡胶材质的O形密封圈29和直接接头28组成，便于方便替换观察舱7。具体地，变径偏心接头30在与直接接头28的连接面上开有圆形凹槽，O型橡胶密封圈29放置在变径偏心接头30的圆形凹槽内，O型橡胶密封圈30的半径应略大于凹槽深度。通过连接螺栓和螺母将直接接头28与变径偏心接头30紧固连接，通过挤压O型橡胶密封圈29变形实现水密封。补光设备6布置在与观察舱7连接的两个变径偏心接头30四周。具体地，补光设备6通过缆线39连接变压器35，变压器35通过缆线39连接220V家用电源；在变压器35与家用电源之间的缆线39上可添加通断开关。多块遮光板共同构成了箱式的遮光结构，分别布置在观察舱7外部的六个方向，其中一对相向的遮光板设有开口供连接水管通过，各遮光板均通过螺栓螺母固定在支撑框架上。
摄像设备8通过固定杆20安装在箱式的遮光结构内部，其镜头对准观察舱7的顶部的透明面板。在进行装配时需要调整摄像设备8的位置，使摄像设备8能恰好完整获取观察舱7内部全部可视区域的图像。
集鱼容器13的主体为一水箱，其附属部件包括连接水管42、阀门12、水箱13、软管9、水泵26和流速控制面板38。水箱底部为斜面，底部一侧有连接水管4和阀门12，用于将完成计数的鱼苗转移到其他地方。水泵26放置在水箱底部斜面上，流速控制面板通38过缆线39分别连接水泵26和220V家用电源，可用于控制水泵26流速。软管9一端固连在水泵26上，另一端放置于锥形漏斗1内。具体地，软管9的末端应放置在外圈挡板16与锥形漏斗1边缘形成的通道内，水流沿着轨道将鱼苗分散分布在螺旋形通道内，并通过水流迫使鱼苗通过角度调节阀门18的开口，依次进入圆柱形水管2和观察舱7，便于实现摄像和精确计数。
支撑框架由多根方形连接杆27和多个万向轮14组成，方形连接杆之间位置相对固定。具体地，可采用角码固定，连接位置根据鱼苗分离模块、观察舱7、集鱼容器13的尺寸做相应调整。此外，通过支撑件21支撑观察舱7。万向轮14具有刹车功能，通过螺栓固定在支撑框架的底部，与地面接触。
所述计算机终端36(计算单元)是常规的计算机，与显示器37(显示单元)相连。计算机终端36可对摄像设备8采集到的图片进行实时处理和存储，存储内容包括摄像设备8采集到的图像、原始视频以及处理后的视频、鱼苗数量和处理时间等，显示器37用于实时显示计算机处理后的图片、计数结果和计数时间等，并提示计算机是否需要对图片进行计算。
通过对上述鱼苗计数装置的运用，本发明所述基于机器视觉检测跟踪的鱼苗计数方法，包括如下步骤：
a、依次打开电源、补光设备6、水泵26，并调节水泵26的流速，并在观察舱7的出口前设置计数线；
b、通过计算机终端36发送打开摄像设备和开始计数的指令；
c、摄像设备8持续获取观察舱7内的图像，其中图像需包括全部可视区域，初始鱼苗数量(NF＝0)；
d、摄像设备8持续向计算机终端36传输获取的图像；
e、计算机终端36持续对图像进行预处理，主要包括裁剪、矫正、滤波和形态学操作；包括以下步骤：
e1、计算单元对图像进行裁剪，去除观察舱以外的图像，获得裁剪后的图像；
e2、步骤e1后，计算单元对裁剪后的图像进行矫正，减少由于摄像设备安装误差和方管边缘对后续计数的影响，获得矫正后的图像；
e3、步骤e2后，计算单元对矫正后的图像进行均值滤波和高斯滤波，获得滤波后的图像；
e4、步骤e3后，计算单元将滤波后的图像转换为灰度图和二值图，获得滤波后的图像；
e5、在矫正后的图像中，于观察舱出口前方设置虚拟的计数线，具体地，应当保证新出现的鱼苗不能在被检测到的第一帧图像中穿过虚拟计数线。
f、计算机终端36获取观察舱内当前帧(第i帧)图像中的鱼苗的特征信息，包括各个连通域的面积特征
以及位置特征
式中c为第i帧图像中的连通域数量，
分别为第i帧图像中第j个连通域的面积特征和在图像中的位置特征，其中
为横坐标，
为纵坐标；该步骤具体包括：
f1、测定标准鱼苗的连通域面积特征为s，以及当前帧(第i帧)图像中各个连通域的面积特征为
位置特征为
f2、当前帧(第i帧)图像中第j个连通域中包含的鱼苗数量为
β＝0.5为面积阈值，
则第j个连通域内nj条鱼苗的面积均为
位置均为
当前帧(第i帧)图像中包含鱼苗数量为
h、计算机终端36根据步骤f获取的信息进行归一化处理，构建关联特征矩阵，损失函数及匹配模型，并对前一帧(第i-1帧)和当前帧(第i帧)的鱼苗进行匹配关联，如当第i帧中鱼苗相对于第i-1帧的鱼苗有n条从观察舱入口往出口方向穿过计数线(顺游)，m条鱼苗从观察舱出口往入口方向穿过计数线(洄游)时，更新鱼苗数量为NF′＝NF+n-m；
所述步骤h具体包括：
h1、对特征信息进行归一化处理
其中w1为权重；
分别为前一帧(第i-1帧)中的第a(1≤a≤cni-1)条鱼苗(鱼苗a)与当前帧(第i帧)的第b(1≤b≤cni)条鱼苗(鱼苗B)的面积特征；
分别为鱼苗a和鱼苗b的位置特征；Δcsab，Δcpab分别为鱼苗a和鱼苗B之间的面积特征、位置特征的变化量；cvab为鱼苗a和鱼苗B的面积特征和位置特征进行归一化后的关联特征值；csmax，cpmax分别表示前一帧(第i-1帧)中的鱼苗与当前帧(第i帧)的鱼苗之间的面积特征、位置特征的变化量最大值；
h2、获得联特征矩阵A：
h3、构建损失函数(为了简化运算，设置位置变化阈值T0)：
h4、当前帧和前一帧的关联模型为：
若xab＝1，表示鱼苗a与鱼苗b能够关联，即鱼苗a和鱼苗b是前后帧中的同一条鱼苗，否则不是同一条鱼苗；采用匈牙利算法求解关联模型全局最优值。
i、重复上述步骤d-h，计算机终端36将预处理后的图像和鱼苗数量显示在显示器37上，并进行存储；
j、待鱼苗分离模块中的鱼苗全部进入集鱼容器视为计数结束，鱼苗总数为NF′；
k、关闭电源。
以上实施例是供理解发明之用，并非对本发明的限制，有关领域的普通技术人员，在权利要求技术方案的基础上，还可以做出多种变化或变型，这些变化或变型应当理解为仍属于本发明的保护范围。
Claims (13)
1.一种基于机器视觉检测跟踪的鱼苗计数装置，包括用于采集、分析图片或视频数据的摄像设备和计算机终端，摄像设备的镜头对准鱼苗通过的观察舱；其特征在于，该装置还包括鱼苗分离模块和集鱼容器，鱼苗分离模块、观察舱和集鱼容器通过水管依次连接，且均固定安装在支撑框架中；
所述鱼苗分离模块包括锥形漏斗、环形隔板和角度调节阀门；锥形漏斗包括圆柱状侧壁、锥形底部和底部的中央开孔，角度调节阀门呈圆环状且设于锥形漏斗的圆柱状空间的中心位置；环形隔板将锥形漏斗与角度调节阀门之间的空间分隔成连续的螺旋状通道；角度调节阀门具有至少一个能调开度的开口，螺旋状通道接至角度调节阀门的外侧，并且经该开口与角度调节阀门内侧、锥形漏斗底部开孔、圆柱形水管依次连通。
2.根据权利要求1所述的鱼苗计数装置，其特征在于，所述鱼苗分离模块还包括两级漏斗；其中，第一级漏斗上部敞口的边缘接至角度调节阀门的底部边缘，第一级漏斗底部出口对接至第二级漏斗的上部敞口；两级漏斗均位于锥形漏斗底部的圆柱形水管中。
3.根据权利要求1所述的鱼苗计数装置，其特征在于，所述角度调节阀门由嵌套安装的旋转空心圆柱和固定空心圆柱组成；旋转空心圆柱和固定空心圆柱的侧面分别均匀开设三个大小相同的开口，通过改变两者之间相对旋转角度能够调节开口的开度大小。
4.根据权利要求1所述的鱼苗计数装置，其特征在于，所述环形隔板由外圈隔板和内圈隔板首尾相连而成，外圈隔板、内圈隔板和角度调节阀门通过连接杆实现在锥形漏斗中的固定安装。
5.根据权利要求1所述的鱼苗计数装置，其特征在于，所述观察舱的主体呈方管状，其两端分别通过变径连接组件与进水管和出水管相连，且在方管状主体两端分别设有补光设备；观察舱的顶面板为透明板材且与摄像设备相对，其它三个侧面板为无镜面反射且透光的白色板材；在支撑框架中固定安装由六块遮光板构成的箱体，所述观察舱、补光设备和摄像设备均位于箱体内部。
6.根据权利要求1所述的鱼苗计数装置，其特征在于，所述观察舱两端的变径连接组件均由变径偏心接头、O型橡胶密封圈和直接接头组成；直接接头通过螺栓与变径偏心接头紧固连接，两者夹紧O型橡胶密封圈以实现密封。
7.根据权利要求1所述的鱼苗计数装置，其特征在于，所述集鱼容器呈箱式结构，其底部为斜面，侧壁底部连接出水管和阀门；集鱼容器内部设有水泵，水泵出口通过软管接至锥形漏斗中；水泵通过线缆依次连接流速控制面板和电源。
8.根据权利要求1所述的鱼苗计数装置，其特征在于，所述支撑框架是由多根方形连接杆组成，底部设置多个万向轮。
9.一种基于机器视觉检测跟踪的鱼苗计数方法，其特征在于，包括如下步骤：
(1)关闭角度调节阀门，使观察舱内的初始鱼苗数量NF＝0；
(2)打开水泵和角度调节阀门，使锥形漏斗中的鱼苗随着水流进入观察舱，最终收集在集鱼容器中；在此过程中，摄像设备持续获取观察舱内部全部可视区域的图像或视频信号，并向计算机终端传输数据；
(3)计算机终端对接收到的图像或视频数据进行预处理，包括裁剪、矫正、滤波和形态学操作；在观察舱的出口位置前设置虚拟的计数线；
(4)从经过预处理的图像或视频数据中获取可视区域内当前第i帧图像中的鱼苗特征信息，包括各个连通域的面积特征
以及位置特征
式中各符号含义是：c为第i帧图像中的连通域数量，
分别为第i帧图像中第j个连通域的面积特征和在图像中的位置特征，其中
为横坐标，
为纵坐标；
(5)对步骤(4)所获取的全部信息进行归一化处理，构建关联特征矩阵、损失函数及关联模型，并对第i-1帧和第i帧的鱼苗进行匹配关联，当第i帧中鱼苗相对于第i-1帧的鱼苗有n条从观察舱入口往出口方向顺游穿过计数线，m条鱼苗从观察舱出口往入口方向洄游穿过计数线时，更新鱼苗数量为NF′＝NF+n-m；
(6)重复上述步骤(3)、(4)和(5)，待鱼苗分离模块中的鱼苗全部进入集鱼容器视为计数结束；则，鱼苗总数即为NF′。
10.根据权利要求9所述的方法，其特征在于，所述步骤(3)包括：
(3.1)对图像进行裁剪，去除观察舱以外的图像，获得裁剪后的图像；
(3.2)对裁剪后的图像进行矫正，减少由于摄像设备安装误差和观察舱边缘对后续计数的影响，获得矫正后的图像；
(3.3)对矫正后的图像进行均值滤波和高斯滤波，获得滤波后的图像；
(3.4)将滤波后的图像转换为灰度图和二值图，获得滤波后的图像；
(3.5)在矫正后的图像中于观察舱出口前方设置虚拟计数线，应当保证新出现的鱼苗不能在被检测到的第一帧图像中穿过虚拟的计数线。
11.根据权利要求9所述的方法，其特征在于，所述步骤(4)包括：
(4.1)测定标准鱼苗的连通域面积特征为s，以及当前帧即第i帧图像中各个连通域的面积特征为
位置特征为
(4.2)当前帧图像中第j个连通域中包含的鱼苗数量为
β＝0.5为面积阈值；
则第j个连通域内nj条鱼苗的面积均为
位置均为
当前帧图像中包含鱼苗数量为
12.根据权利要求9所述的方法，其特征在于，所述步骤(5)包括：
(5.1)对特征信息进行归一化处理
其中w1为权重；
分别为前一帧中的第a条鱼苗与当前帧的第b条鱼苗的面积特征，1≤a≤cni-1，1≤b≤cni；
分别为鱼苗a和鱼苗b的位置特征；Acsab，Δcpab分别为鱼苗a和鱼苗b之间的面积特征、位置特征的变化量；cvab为鱼苗a和鱼苗b的面积特征和位置特征进行归一化后的关联特征值；csmax，cpmax分别表示前一帧中的鱼苗与当前帧的鱼苗之间的面积特征、位置特征的变化量最大值；
(5.2)构建关联特征矩阵A：
(5.3)构建损失函数，为了简化运算，设置位置变化阈值T0：
(5.4)当前帧和前一帧的关联模型为：
若xab＝1，表示鱼苗a与鱼苗b能够关联，即鱼苗a和鱼苗b是前后帧中的同一条鱼苗，否则不是同一条鱼苗。
13.根据权利要求11所述的方法，其特征在于，采用匈牙利算法求解关联模型的全局最优值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242776.4A CN112991430B (zh) | 2021-03-04 | 2021-03-04 | 一种基于机器视觉检测跟踪的鱼苗计数装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242776.4A CN112991430B (zh) | 2021-03-04 | 2021-03-04 | 一种基于机器视觉检测跟踪的鱼苗计数装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991430A true CN112991430A (zh) | 2021-06-18 |
| CN112991430B CN112991430B (zh) | 2024-03-19 |
Family
ID=76352903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242776.4A Active CN112991430B (zh) | 2021-03-04 | 2021-03-04 | 一种基于机器视觉检测跟踪的鱼苗计数装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991430B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408687A (zh) * | 2021-06-24 | 2021-09-17 | 浙江大学 | 一种高通量鱼苗在线计数装置和方法 |
| CN114568374A (zh) * | 2022-03-22 | 2022-06-03 | 浙江大学 | 一种集成化鱼苗自动计数装置 |
| CN115281139A (zh) * | 2022-01-23 | 2022-11-04 | 仰恩大学 | 一种鱼苗计数及分类装置 |
| CN115299389A (zh) * | 2022-08-01 | 2022-11-08 | 江苏省淡水水产研究所 | 一种沙塘鳢苗种过滤、分筛及计数的方法 |
| CN116267753A (zh) * | 2023-03-23 | 2023-06-23 | 江苏科技大学 | 一种基于视觉和触觉的鱼苗分类计数装置及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203490730U (zh) * | 2013-08-08 | 2014-03-19 | 曲楠 | 鱼（虾）苗计数机 |
| CN105374042A (zh) * | 2015-11-30 | 2016-03-02 | 中国计量学院 | 基于机器视觉的鱼苗在线自动计数装置与方法 |
| CN106339752A (zh) * | 2016-09-21 | 2017-01-18 | 浙江省海洋水产研究所 | 一种鱼苗计数装置及计数方法 |
| CN109509175A (zh) * | 2018-10-15 | 2019-03-22 | 浙江大学 | 一种基于机器视觉和深度学习的鱼苗便携式计数器及计数方法 |
| MX2018002664A (es) * | 2018-03-02 | 2019-09-03 | Univ Autonoma Del Estado De Baja California | Sistema y metodo contador automatico de peces vivos usando procesamiento digital de imagenes en tiempo real. |
| WO2020165122A1 (en) * | 2019-02-15 | 2020-08-20 | Fmc Kongsberg Subsea As | Aquaculture fish pen system and related method |
| CN112215798A (zh) * | 2020-09-14 | 2021-01-12 | 江苏大学 | 一种基于机器视觉的鱼苗计数检测方法与装置 |
-
2021
- 2021-03-04 CN CN202110242776.4A patent/CN112991430B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203490730U (zh) * | 2013-08-08 | 2014-03-19 | 曲楠 | 鱼（虾）苗计数机 |
| CN105374042A (zh) * | 2015-11-30 | 2016-03-02 | 中国计量学院 | 基于机器视觉的鱼苗在线自动计数装置与方法 |
| CN106339752A (zh) * | 2016-09-21 | 2017-01-18 | 浙江省海洋水产研究所 | 一种鱼苗计数装置及计数方法 |
| MX2018002664A (es) * | 2018-03-02 | 2019-09-03 | Univ Autonoma Del Estado De Baja California | Sistema y metodo contador automatico de peces vivos usando procesamiento digital de imagenes en tiempo real. |
| CN109509175A (zh) * | 2018-10-15 | 2019-03-22 | 浙江大学 | 一种基于机器视觉和深度学习的鱼苗便携式计数器及计数方法 |
| WO2020165122A1 (en) * | 2019-02-15 | 2020-08-20 | Fmc Kongsberg Subsea As | Aquaculture fish pen system and related method |
| CN112215798A (zh) * | 2020-09-14 | 2021-01-12 | 江苏大学 | 一种基于机器视觉的鱼苗计数检测方法与装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408687A (zh) * | 2021-06-24 | 2021-09-17 | 浙江大学 | 一种高通量鱼苗在线计数装置和方法 |
| CN113408687B (zh) * | 2021-06-24 | 2022-06-10 | 浙江大学 | 一种高通量鱼苗在线计数装置和方法 |
| CN115281139A (zh) * | 2022-01-23 | 2022-11-04 | 仰恩大学 | 一种鱼苗计数及分类装置 |
| CN114568374A (zh) * | 2022-03-22 | 2022-06-03 | 浙江大学 | 一种集成化鱼苗自动计数装置 |
| CN115299389A (zh) * | 2022-08-01 | 2022-11-08 | 江苏省淡水水产研究所 | 一种沙塘鳢苗种过滤、分筛及计数的方法 |
| CN116267753A (zh) * | 2023-03-23 | 2023-06-23 | 江苏科技大学 | 一种基于视觉和触觉的鱼苗分类计数装置及方法 |
| CN116267753B (zh) * | 2023-03-23 | 2024-05-03 | 江苏科技大学 | 一种基于视觉和触觉的鱼苗分类计数装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991430B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991430A (zh) | 一种基于机器视觉检测跟踪的鱼苗计数装置及方法 | |
| EP2681303B1 (en) | Image capture and lighting apparatus | |
| CA2145275A1 (en) | Imaging Apparatus and Method of Fiber Analysis | |
| CN113408687B (zh) | 一种高通量鱼苗在线计数装置和方法 | |
| CN101905215A (zh) | 数字化水稻考种机 | |
| CN115035327B (zh) | 一种植物流水线表型采集平台及植物表型融合解析方法 | |
| CN108917616A (zh) | 活体对虾生长表型检测设备及方法 | |
| CN108921848A (zh) | 基于多目相机的桥梁缺陷检测装置及检测图像拼接方法 | |
| CN107287119A (zh) | 一种细胞培养计数装置 | |
| CN114485415A (zh) | 一种底栖鱼类生长表型高效测量方法及装置 | |
| CN114965472A (zh) | 浮游生物多维成像在线自动鉴定系统 | |
| CN108303427B (zh) | 基于图像处理的家居破损程度检测系统 | |
| CN110736750A (zh) | 一种基于多角度田间高清成像的小麦赤霉病检测方法 | |
| CN211780007U (zh) | 一种便于调节的视觉测距装置用支架 | |
| CN210924657U (zh) | 一种基于机器视觉的多种类蚕茧计数装置 | |
| CN210676021U (zh) | 一种工业流水线柚果无损检测设备 | |
| CN105027732B (zh) | 玉米果穗考种的方法及系统 | |
| CN116843743A (zh) | 一种基于三视角图像轮廓拟合的柚果体积测量方法 | |
| CN213544416U (zh) | 隧洞外观检测照明补光及成像机构及设备 | |
| CN108801160A (zh) | 种虾体形检测和选型设备及方法 | |
| CN208795171U (zh) | 种虾体形检测和选型装置 | |
| CN209533371U (zh) | 用于测试室内无线信号的机器人 | |
| CN112782381A (zh) | 一种物业管理水质监控系统 | |
| CN215415362U (zh) | 海洋水质检测装置 | |
| CN217180567U (zh) | 一种轴承端面成像采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |