CN112465778A - 一种水下鱼群观测装置及方法 - Google Patents
一种水下鱼群观测装置及方法 Download PDFInfo
- Publication number
- CN112465778A CN112465778A CN202011347922.1A CN202011347922A CN112465778A CN 112465778 A CN112465778 A CN 112465778A CN 202011347922 A CN202011347922 A CN 202011347922A CN 112465778 A CN112465778 A CN 112465778A
- Authority
- CN
- China
- Prior art keywords
- fish
- underwater
- shoal
- unit
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 8
- 230000036541 health Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001113556 Elodea Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种水下鱼群观测装置及方法，包括：拍照单元，安装在水池内壁上，所述拍照单元由多个相机组成，多个所述相机从不同角度拍摄获得水下鱼群照片；激光扫描单元，安装在水池内壁上，所述激光扫描单元由多个激光器组成，相邻两个所述相机的对称中心上布置一个所述激光器，所述激光器用于获取待测鱼群到所述激光器的距离；照明单元，安装在水池内壁上，且位于所述拍照单元的两侧，用于为所述拍照单元提供补充光源；图像处理单元，用于获取所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
Description
技术领域
本申请涉及水下监测领域，尤其涉及一种水下鱼群观测装置及方法。
背景技术
21世纪以来，随着人们生产生活水平的提高，水产品养殖已经成为了又一大热点。但是由于水下鱼群监测设备的发展水平的制约，一直难以实现对水下鱼群的数量、鱼的大小种类、鱼的种类以及鱼的健康程度的准确判断。传统的鱼群监测设备主要分为两类。一类是声像法，即采用声纳系统采集一定范围内的鱼群回波数据，然后生成相应的鱼群影像。但声呐设备较为昂贵，而且采集的数据需要配套的软件对其处理转化成为声学图像，处理过程较为繁琐，并且容易受到水下其他运动的物体(如：水草、非鱼类生物等)干扰，自然环境下鱼群监测精度始终无法得到有效的提升。另外一类是基于人工特征方法利用预先设计的鱼群种类特征信息，提取待测图像中的鱼群目标。但这种方法却很大程度上限制了鱼群的大小和生活环境，无法推广到更复杂的场景。就现阶段而言，鱼群监测设备主要存在以下两个问题：一是面对鱼群尺寸分布不一致的情况，同时识别不同大小的目标困难；二是水下光线暗，目标和背景的分割困难，导致鱼群检测精度难以进一步提高。
发明内容
本申请实施例的目的是提供一种基于光纤照明技术的水下照明装置，以解决水下鱼群遮挡的技术不准确以及水下环境光线严重不足的问题。
根据本申请实施例的第一方面，提供一种水下鱼群观测装置，包括：拍照单元，安装在水池内壁上，所述拍照单元由多个相机组成，多个所述相机从不同角度拍摄获得水下鱼群照片；激光扫描单元，安装在水池内壁上，所述激光扫描单元由多个激光器组成，相邻两个所述相机的对称中心上布置一个所述激光器，所述激光器用于获取待测鱼群到所述激光器的距离；照明单元，安装在水池内壁上，且位于所述拍照单元的两侧，用于为所述拍照单元提供补充光源；图像处理单元，用于获取所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
进一步地，利用双目立体视觉测距算法对每条鱼体长大小的测定，包括：
由三角关系可得：
其中，Xleft为在激光器左侧的相机图像平面中的水平坐标值，Xlright为在激光器右侧的相机图像平面中的水平坐标值，f为激光器左右两个相机的焦距，(x、y、z)为鱼在世界坐标系中的位置，B是基线；
根据基线B的长度和鱼的在图像中的像素长度，计算出鱼的体长大小。
进一步地，所述相机还从不同角度拍摄获得水下鱼群视频。
进一步地，还包括：视频处理单元，所述视频处理单元用于利用所述水下鱼群视频中帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的实际运动速度。
进一步地，还包括：显示模块，所述显示模块用于实时显示鱼群的种类、大小、数量以及鱼的健康程度的信息。
进一步地，还包括：信息存储单元，所述信息存储单元用于存储数据库，所述数据库由鱼信息构成，所述鱼信息包括形态、大小、名称、健康标准的信息。
根据本申请实施例的第二方面，提供一种水下鱼群观测方法，包括：从不同角度拍摄获得水下鱼群照片；获取待测鱼群到观测点的距离；根据所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
本申请的实施例提供的技术方案可以包括以下有益效果：
本发明可实现对水下鱼群的鱼的种类的辨识，还可以对水下鱼群的数量、鱼的大小以及鱼的健康程度的准确判断。与传统的鱼群监测设备相比，其具有成本低设别效率高的有点，处理过程简单，可以有效克服水下其他运动的物体(如：水草、非鱼类生物等)干扰，有效的解决了自然环境中鱼群监测精度始终无法得到有效的提升的问题。
本发明基于YOLO算法以及深度学习模型可有效解决鱼群尺寸分布不一致的情况，该设备能够同时识别不同大小的目标；
本发明基于YOLO算法和深度学习模型，另加激光扫描单元和照明单元，能有效的克服水下光线暗，目标和背景的分割困难的限制，保证了鱼群的检测精度。
由上述实施例可知，本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种水下鱼群观测方法的流程图
图2是根据一示例性实施例示出的一种水下鱼群观测方法中双目立体视觉的原理示意图。
图3是根据一示例性实施例示出的一种水下鱼群监测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1是根据一示例性实施例示出的一种水下鱼群观测方法的流程图，如图1所示，该方法可包括：
步骤S101，从不同角度拍摄获得水下鱼群照片；双目立体视觉(Binocular StereoVision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。其具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。本发明从不同角度拍摄获得水下鱼群照片，利用双目立体视觉的方法，达到使用二维数字图像得到场景中三维信息。
步骤S102，获取待测鱼群到观测点的距离；
步骤S103，根据所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
具体地，本实施例中，如图2所示，利用双目立体视觉测距算法对每条鱼体长大小的测定，包括：
由三角关系可得：
其中，Xleft为在激光器左侧的相机图像平面中的水平坐标值，Xlright为在激光器右侧的相机图像平面中的水平坐标值，f为激光器左右两个相机的焦距，(x、y、z)为鱼在世界坐标系中的位置，B是基线；
通过上述公式可以计算出各个变量所在的坐标系。(其中Xleft和Xright分别在左、右相机的图像平面下讨论，即它们的坐标系在各自的图像平面坐标系下的坐标，原点分别为各自光轴与像平面的交点。f和B均为常数，Y也是在图像坐标系下讨论，但是是相同的。x，y，z则是在左相机坐标系下讨论，原点为OL)另外视差D就是Xleft-Xright，故可得
根据基线B的长度和鱼的在图像中的像素长度，计算出鱼的体长大小。
本发明利用基于YOLO模型实现目标检测，达到统计鱼群数量和鱼的种类的测量。目标检测是指在一张图片上找到待检测的目标、识别目标并完成目标定位的过程。随着标注数据集的增加和GPU计算能力的不断提升，基于深度学习的目标检测算法也不断发展，检测性能大幅提升。YOLO目标检测算法将目标检测问题转换为目标边框回归问题，算法的输入是一张图像，经过YOLO，输出为图像中目标的位置和类别。由于YOLO直接对目标类别和位置进行回归，算法运行的算法快，能满足实时检测的要求。
首先要对相机传回的图像帧进行图像处理(色彩增强，对比度增强，亮度增强，图像锐化等)，使得传回的图像数据质量提高。对比度增强使用gamma算法和直方图均衡化结合，利用幂运算对亮度进行增强。最后利用高斯滤波器对图像进行锐化处理，使得边缘更加清晰。
对质量增强后的图片进行预测，利用之前训练好的机器学习模型YOLO，对静态帧进行图像分割和识别，标识出鱼类的小框，提供给用户。考虑到在拥挤空间中，鱼的掩码(即遮挡情况)比较常见，为了保证每一条都能被识别，同时保证不会把一条鱼画两个框，采用鱼头作为唯一标注，提高准确率。为了保证YOLO模型的准确性，在机器学习训练中，对训练图片进行水平，垂直翻转和旋转，并且采用伸缩，使得鱼的各个角度都可以轻易的被识别出来，大大增强系统的鲁棒性，并且本发明使用部分裁剪的鱼图片去作为加强训练，使得准确率更加提高。在接受到模型处理结果后，将所有的相机获得的图像帧经过图像关键点检测，以及特征方向不变等处理后，合成3D全景图像提供给用户，完成对鱼群数量的统计。
本实施例中，还包括：步骤S104，从不同角度拍摄获得水下鱼群视频。还包括：步骤S105，利用所述水下鱼群视频中帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的实际运动速度。
鱼的健康程度是通过鱼游动的速度所判断的。本发明视频处理模块通过利用帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的具体速度鱼的具体速度可以准确判断鱼群的健康程度。并且尽可能还原帧数，给用户流畅的实时摄像视频。
鱼的速度和加速的具体测定方法如下：
假设帧与帧之间的拍摄时间间隔为Δt，前一帧利用基于YOLO算法深度学习目标检测后鱼头的位置坐标为(x1，y1，z1)，当前帧利用基于YOLO算法深度学习目标检测后鱼头的位置坐标为(x2，y2，z2)。
则Δt时间内，鱼所移动的位移为
所以鱼的平均速度为
通过上述的描述，本发明可最基础的实现对水下鱼群的鱼的种类的辨识，另外还可以对水下鱼群的数量、鱼的大小以及鱼的健康程度的准确判断。
图3是根据一示例性实施例示出的一种水下鱼群观测装置的示意图，如图3所示，该装置可包括：
拍照单元21，安装在水池内壁上，所述拍照单元由多个相机组成，多个所述相机从不同角度拍摄获得水下鱼群照片；
激光扫描单元22，安装在水池内壁上，所述激光扫描单元由多个激光器组成，用于在水下鱼群上呈现光亮标记点，相邻两个所述相机的对称中心上布置一个所述激光器，所述激光器用于获取待测鱼群到所述激光器的距离；
照明单元23，安装在水池内壁上，且位于所述拍照单元的两侧，用于为所述拍照单元提供补充光源，大大改善水下由于水下杂质的光的吸收和折射作用导致水下环境光线严重不足的问题，使得高清摄像机获得高分辨的图片。
图像处理单元24，用于获取所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
本实施例中，所述相机还从不同角度拍摄获得水下鱼群视频。
本实施例中，还包括：视频处理单元25，所述视频处理单元用于利用所述水下鱼群视频中帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的实际运动速度。鱼的具体速度为判断鱼群的健康程度的重要指标。鱼的速度和加速的具体测定方法如下：
假设帧与帧之间的拍摄时间间隔为Δt，前一帧利用基于YOLO算法深度学习目标检测后鱼头的位置坐标为(x1，y1，z1)，当前帧利用基于YOLO算法深度学习目标检测后鱼头的位置坐标为(x2，y2，z2)。
则Δt时间内，鱼所移动的位移为
所以鱼的平均速度为
所述视频处理单元通过深度学习可完成对鱼运动轨迹的记录分析从而实现对鱼群健康程度的估算。本发明结构合理、安装便捷，能够快速的对水下鱼群数量、鱼的大小、鱼的种类以及鱼的健康程度的统计和判断，为传统水下养殖业的发展起到巨大的推进作用。
本实施例中，还包括：显示模块26，所述显示模块用于实时显示鱼群的种类、大小、数量以及鱼的健康程度的信息。
本实施例中，还包括：信息存储单元27，所述信息存储单元用于存储数据库，所述数据库由鱼信息构成，所述鱼信息包括形态、大小、名称、健康标准的信息。
需要说明的是，为了提高识别精度，相机采用高清相机，优选分辨率为1920*1080，当然不限于此。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种水下鱼群观测装置，其特征在于，包括：
拍照单元，安装在水池内壁上，所述拍照单元由多个相机组成，多个所述相机从不同角度拍摄获得水下鱼群照片；
激光扫描单元，安装在水池内壁上，所述激光扫描单元由多个激光器组成，相邻两个所述相机的对称中心上布置一个所述激光器，所述激光器用于获取待测鱼群到所述激光器的距离；
照明单元，安装在水池内壁上，且位于所述拍照单元的两侧，用于为所述拍照单元提供补充光源；
图像处理单元，用于获取所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
2.根据权利要求1所述的一种水下鱼群观测装置，其特征在于，利用双目立体视觉测距算法对每条鱼体长大小的测定，包括：
由三角关系可得：
其中，Xleft为在激光器左侧的相机图像平面中的水平坐标值，Xlright为在激光器右侧的相机图像平面中的水平坐标值，f为激光器左右两个相机的焦距，(x、y、z)为鱼在世界坐标系中的位置，B是基线；
根据基线B的长度和鱼的在图像中的像素长度，计算出鱼的体长大小。
3.根据权利要求1所述的一种水下鱼群观测装置，其特征在于，所述相机还从不同角度拍摄获得水下鱼群视频。
4.根据权利要求1所述的一种水下鱼群观测装置，其特征在于，还包括：
视频处理单元，所述视频处理单元用于利用所述水下鱼群视频中帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的实际运动速度。
5.根据权利要求1所述的一种水下鱼群观测装置，其特征在于，还包括：
显示模块，所述显示模块用于实时显示鱼群的种类、大小、数量以及鱼的健康程度的信息。
6.根据权利要求1所述的一种水下鱼群观测装置，其特征在于，还包括：
信息存储单元，所述信息存储单元用于存储数据库，所述数据库由鱼信息构成，所述鱼信息包括形态、大小、名称、健康标准的信息。
7.一种水下鱼群观测方法，其特征在于，包括：
从不同角度拍摄获得水下鱼群照片；
获取待测鱼群到观测点的距离；
根据所述水下鱼群照片和所述距离，利用双目立体视觉测距算法对每条鱼体长大小的测定，基于深度学习以及YOLO算法，将所述水下鱼群照片中鱼的特征与数据库中的鱼信息进行对比，判断鱼的种类。
8.根据权利要求7所述的一种水下鱼群观测方法，其特征在于，利用双目立体视觉测距算法对每条鱼体长大小的测定，包括：
由三角关系可得：
其中，Xleft为在激光器左侧的相机图像平面中的水平坐标值，Xlright为在激光器右侧的相机图像平面中的水平坐标值，f为激光器左右两个相机的焦距，(x、y、z)为鱼在世界坐标系中的位置，B是基线；
根据基线B的长度和鱼的在图像中的像素长度，计算出鱼的体长大小。
9.根据权利要求7所述的一种水下鱼群观测方法，其特征在于，还包括：
从不同角度拍摄获得水下鱼群视频。
10.根据权利要求7所述的一种水下鱼群观测方法，其特征在于，还包括：
利用所述水下鱼群视频中帧与帧之间的画面的差异，利用多目标跟踪算法，结合鱼在画面内的像素变化，计算出鱼的实际运动速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347922.1A CN112465778A (zh) | 2020-11-26 | 2020-11-26 | 一种水下鱼群观测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347922.1A CN112465778A (zh) | 2020-11-26 | 2020-11-26 | 一种水下鱼群观测装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465778A true CN112465778A (zh) | 2021-03-09 |
Family
ID=74808622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011347922.1A Pending CN112465778A (zh) | 2020-11-26 | 2020-11-26 | 一种水下鱼群观测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465778A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113324475A (zh) * | 2021-05-22 | 2021-08-31 | 青岛科美创视智能科技有限公司 | 一种基于双相机的水下鱼尺寸检测系统 |
| JP7237321B1 (ja) | 2022-07-29 | 2023-03-13 | 株式会社MizLinx | 魚体長計測装置 |
| CN117522951A (zh) * | 2023-12-29 | 2024-02-06 | 深圳市朗诚科技股份有限公司 | 鱼类监测方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949721A (zh) * | 2009-12-22 | 2011-01-19 | 中国矿业大学(北京) | 一种基于激光和双目视觉的煤仓料位测量方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN104061876A (zh) * | 2014-07-17 | 2014-09-24 | 宏峰集团(福建)有限公司 | 基于数字图像测量原理的建筑模板施工监测系统 |
| CN206658887U (zh) * | 2017-04-06 | 2017-11-24 | 北京臻迪科技股份有限公司 | 一种探鱼系统 |
| CN107561545A (zh) * | 2017-08-24 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种鱼群探测方法、装置及探测器 |
| CN107764183A (zh) * | 2017-11-07 | 2018-03-06 | 浙江大学 | 用于水下目标物尺寸测量的原位激光‑图像融合测量系统及其测量方法 |
| CN108121968A (zh) * | 2017-12-20 | 2018-06-05 | 佛山市洛克威特科技有限公司 | 一种鱼群监测方法 |
| CN108520511A (zh) * | 2018-03-19 | 2018-09-11 | 中国海洋大学 | 一种基于鱼探仪的水下鱼类目标探测与识别方法 |
| CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
| CN111640152A (zh) * | 2020-05-21 | 2020-09-08 | 浙江大学 | 一种鱼类生长监控方法和系统 |
| CN111887853A (zh) * | 2020-07-13 | 2020-11-06 | 中国农业大学 | 一种基于双目视觉的鱼体长度测量装置及方法 |
-
2020
- 2020-11-26 CN CN202011347922.1A patent/CN112465778A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101949721A (zh) * | 2009-12-22 | 2011-01-19 | 中国矿业大学(北京) | 一种基于激光和双目视觉的煤仓料位测量方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN104061876A (zh) * | 2014-07-17 | 2014-09-24 | 宏峰集团(福建)有限公司 | 基于数字图像测量原理的建筑模板施工监测系统 |
| CN206658887U (zh) * | 2017-04-06 | 2017-11-24 | 北京臻迪科技股份有限公司 | 一种探鱼系统 |
| CN107561545A (zh) * | 2017-08-24 | 2018-01-09 | 北京臻迪科技股份有限公司 | 一种鱼群探测方法、装置及探测器 |
| CN107764183A (zh) * | 2017-11-07 | 2018-03-06 | 浙江大学 | 用于水下目标物尺寸测量的原位激光‑图像融合测量系统及其测量方法 |
| CN108121968A (zh) * | 2017-12-20 | 2018-06-05 | 佛山市洛克威特科技有限公司 | 一种鱼群监测方法 |
| CN108520511A (zh) * | 2018-03-19 | 2018-09-11 | 中国海洋大学 | 一种基于鱼探仪的水下鱼类目标探测与识别方法 |
| CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
| CN111640152A (zh) * | 2020-05-21 | 2020-09-08 | 浙江大学 | 一种鱼类生长监控方法和系统 |
| CN111887853A (zh) * | 2020-07-13 | 2020-11-06 | 中国农业大学 | 一种基于双目视觉的鱼体长度测量装置及方法 |
Non-Patent Citations (5)
| Title |
|---|
| 李庆忠;李宜兵;牛炯;: "基于改进YOLO和迁移学习的水下鱼类目标实时检测", 模式识别与人工智能, no. 03, 15 March 2019 (2019-03-15) * |
| 沈军宇;李林燕;夏振平;张艳宁;温尧乐;胡伏原;: "一种基于YOLO算法的鱼群检测方法", 中国体视学与图像分析, no. 02, 25 June 2018 (2018-06-25) * |
| 沈军宇;李林燕;戴永良;王军;胡伏原;: "基于YOLO算法的鱼群探测监控系统", 苏州科技大学学报(自然科学版), no. 03, 15 September 2020 (2020-09-15) * |
| 王成钢;刘海;谭中慧;: "一种基于视频图像的车辆测速算法", 上海船舶运输科学研究所学报, no. 01, 30 March 2019 (2019-03-30) * |
| 王文成;蒋慧;乔倩;祝捍皓;郑红;: "基于深度学习的鱼类识别与检测的算法研究", 信息技术与网络安全, no. 08, 10 August 2020 (2020-08-10) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113324475A (zh) * | 2021-05-22 | 2021-08-31 | 青岛科美创视智能科技有限公司 | 一种基于双相机的水下鱼尺寸检测系统 |
| JP7237321B1 (ja) | 2022-07-29 | 2023-03-13 | 株式会社MizLinx | 魚体長計測装置 |
| JP7398764B1 (ja) | 2022-07-29 | 2023-12-15 | 株式会社MizLinx | 魚体長計測方法 |
| JP2024018218A (ja) * | 2022-07-29 | 2024-02-08 | 株式会社MizLinx | 魚体長計測装置 |
| CN117522951A (zh) * | 2023-12-29 | 2024-02-06 | 深圳市朗诚科技股份有限公司 | 鱼类监测方法、装置、设备及存储介质 |
| CN117522951B (zh) * | 2023-12-29 | 2024-04-09 | 深圳市朗诚科技股份有限公司 | 鱼类监测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106091984B (zh) | 一种基于线激光的三维点云数据获取方法 | |
| CN112465778A (zh) | 一种水下鱼群观测装置及方法 | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| CN109146947B (zh) | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| CN104463899B (zh) | 一种目标对象检测、监控方法及其装置 | |
| CN114241031B (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
| CN111368601B (zh) | 活体检测方法和装置、电子设备和计算机可读存储介质 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN114119739A (zh) | 一种基于双目视觉的手部关键点空间坐标获取方法 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 | |
| Liu et al. | High quality depth map estimation of object surface from light-field images | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| Wexler et al. | Learning epipolar geometry from image sequences | |
| Ubina et al. | Intelligent underwater stereo camera design for fish metric estimation using reliable object matching | |
| Chen et al. | Structnerf: Neural radiance fields for indoor scenes with structural hints | |
| CN110889868A (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| Ramirez et al. | Booster: a benchmark for depth from images of specular and transparent surfaces | |
| Angot et al. | A 2D to 3D video and image conversion technique based on a bilateral filter | |
| Liu et al. | The applications and summary of three dimensional reconstruction based on stereo vision | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| KR20210141922A (ko) | 객체의 3d 재구성 방법 | |
| CN113808070A (zh) | 一种双目数字散斑图像相关的视差测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |