CN116724964A - 基于灯光诱集的鱼类检测系统及方法 - Google Patents

基于灯光诱集的鱼类检测系统及方法 Download PDF

Info

Publication number
CN116724964A
CN116724964A CN202310945135.4A CN202310945135A CN116724964A CN 116724964 A CN116724964 A CN 116724964A CN 202310945135 A CN202310945135 A CN 202310945135A CN 116724964 A CN116724964 A CN 116724964A
Authority
CN
China
Prior art keywords
fish
target
image
species
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310945135.4A
Other languages
English (en)
Inventor
张英
黄小双
陈新军
孔祥洪
刘必林
姜书侠
李炳麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Publication of CN116724964A publication Critical patent/CN116724964A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K79/00—Methods or means of catching fish in bulk not provided for in groups A01K69/00 - A01K77/00, e.g. fish pumps; Detection of fish; Whale fishery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Artificial Intelligence (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于灯光诱集的鱼类检测系统及方法。本发明的鱼类检测系统基于水下无人潜航器，在水下无人潜航器上设置有集鱼灯系统、成像系统和导航定位系统。本发明的鱼类检测方法包括：集鱼灯系统将鱼诱集到附近，成像系统获取周边的视频图像；采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种，控制鱼类检测系统对目标鱼种进行跟踪。本发明的鱼类检测系统和检测方法能够在较为宽广的水域中快速精准地定位找到目标鱼种鱼群，有利于对某一特定种群鱼种的精准定位及捕捞，从而大大提高了作业效率，有效降低了时间成本和人力成本，提升了经济效益。

Description

基于灯光诱集的鱼类检测系统及方法
技术领域
本发明涉及海洋工程装备领域，尤其涉及一种基于灯光诱集的鱼类检测系统及方法。
背景技术
随着科学技术的发展，人类远洋捕捞水产的能力也在不断进步，然而目前的远洋捕捞作业仍然面临着一些需要解决问题。
就目前而言，针对需要捕捞的目标鱼种，如何在广大的水域中精准定位目标鱼种鱼群，一直是困扰远洋捕捞业的一大难题。目前来说，主要是靠有经验的船员依据经验来判断鱼群的所在位置，这种靠经验的判断方法，准确率较低，难以精准地找到目标鱼种鱼群，从而使得捕捞作业的效率较低，所耗费的时间成本和人力成本较高，进而拉低了经济效益。
发明内容
本发明的目的在于提供一种基于灯光诱集的鱼类检测系统及方法，该鱼类检测系统和检测方法能够在较为宽广的水域中快速精准地定位找到目标鱼种鱼群。
为了实现上述技术目的，本发明采用如下技术方案：
一种基于灯光诱集的鱼类检测系统，所述鱼类检测系统基于水下无人潜航器，在所述水下无人潜航器上设置有集鱼灯系统、成像系统和导航定位系统；
所述集鱼灯系统用于引诱鱼集中；
所述成像系统用于获取周边的视频图像；
所述导航定位系统用于获取定位信息。
一种鱼类检测方法，包括：
采用如上述的鱼类检测系统；
将鱼类检测系统投入水体，开启鱼类检测系统的集鱼灯系统以及成像系统；
所述集鱼灯系统将鱼诱集到附近，所述成像系统获取周边的视频图像；
采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种；
将识别找出的目标鱼种作为跟踪目标，控制鱼类检测系统对目标鱼种进行跟踪。
进一步地，在开启集鱼灯系统之后，依据目标鱼种的喜好来调整集鱼灯系统发出的光照。
进一步地，在所述成像系统获取周边视频图像的过程中，将目标鱼种所在的区域设为兴趣区域，只对兴趣区域内的关键信息进行目标追踪。
进一步地，在成像系统获取周边视频图像的过程中还包括：
相机标定，采用基于平面棋盘格标记物的摄像机标定法
其中，A为摄像机内部参数矩阵，s为尺度因子，R和t为描述相机与全局坐标系之间的关系，即摄像头的外参矩阵，ri表示R的第i列向量，u，v为像素坐标系；
双目校正，将实际中的非共面行对准的两幅图像，进行消除畸变操作，校正成共面行对准；
双目匹配，将图像进行立体匹配，建立图像的立体模型；
计算深度，根据匹配结果计算像素的深度信息，立体视觉方程式如下
其中，f为相机焦距，xL，xR为目标在左右相机成像平面中的横向位置,d为视差，b为基线，X为目标横向距离，Y为目标高度，Z为目标纵向距离。
进一步地，所述采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种，其所采用的图像识别技术为：
采用鱼种识别模块对视频图像中的鱼体进行识别，以识别找出图像中的目标鱼种；
所述鱼种识别模块为基于深度学习模型构建起来的图像识别模块。
进一步地，所述对视频图像中的鱼体进行识别，其具体过程包括：
对图像进行预处理，得到一系列包含目标鱼体的候选区域；
对于每一个候选区域，使用深度学习模型提取候选区域特征向量，将特征向量转化为一定维度的数值表示；
使用分类器判断每个候选区域是否属于目标鱼种存在区域，并输出目标鱼种存在的概率值；
对于被判断为包含目标鱼种的候选区域，通过回归算法来计算得到目标鱼种的精确位置和大小；
对于重叠的边界框进行去重处理，对于置信度较低的边界框进行筛选处理，最终得到目标鱼种检测结果。
进一步地，在识别找到目标鱼种之后，导航定位系统获得当前所在的空间坐标，并与成像系统获取的目标鱼种的相对坐标进行叠加运算，获得目标鱼种的位置坐标信息，基于该目标鱼种的位置坐标来对目标鱼种进行跟踪。
进一步地，所述控制鱼类检测系统对目标鱼种进行跟踪，其是基于目标跟踪算法来实施的，所述目标跟踪算法为卡尔曼算法。
进一步地，所述控制鱼类检测系统对目标鱼种进行跟踪，其具体过程包括：
状态初始化：定义目标状态向量，包括位置和速度信息，并设定初始协方差矩阵；
状态预测：通过上一时刻的状态向量，结合运动模型，预测目标在当前时刻的位置；
预测协方差更新：通过运动模型，预测当前时刻的状态协方差矩阵；
观测输入：得到当前时刻的观测信息；
估计滤波增益：利用预测协方差和观测噪声协方差，计算出估计滤波增益阵；
状态修正：根据观测值和估计滤波增益阵，得到当前时刻的目标状态估计值；
方差修正：根据估计滤波增益阵，修正当前时刻的状态协方差矩阵。
在本发明的鱼类检测系统和检测方法中，采用集鱼灯系统将鱼诱集到附近，采用成像系统获取周边鱼群的视频图像，采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种，将识别找出的目标鱼种作为跟踪目标，基于导航定位系统来获取目标鱼种位置信息，对目标鱼种进行跟踪，从而可以快速定位找到目标鱼种鱼群，然后针对目标鱼种鱼群实施作业(商业捕捞或科学研究)。
本发明的鱼类检测系统和检测方法相对现有技术，其有益效果在于：能够在较为宽广的水域中快速精准地定位找到目标鱼种鱼群，有利于对某一特定种群鱼种的精准定位及捕捞，从而大大提高了作业效率，有效降低了时间成本和人力成本，提升了经济效益。
附图说明
图1为根据本发明的鱼类检测方法的流程图；
图2为基于成像系统检测的原理图；
图3为采用目标跟踪算法对目标鱼种跟踪的流程图。
具体实施方式
下面用具体实施例对本发明作进一步说明：
本实施方式提供了一种基于灯光诱集的鱼类检测系统，该鱼类检测系统实质是以现有技术的水下无人潜航器为基础而构建的。
本领域的技术人员可以理解，通常的水下无人潜航器，潜航器设置有推进装置，在本实施方式中采用的是非螺旋桨的矢量喷水推进器，潜航器胸部(可以理解为下部靠前的部位)的两侧均设置有胸鳍，即两个胸鳍。
具体来说，
本实施方式的鱼类检测系统，其在水下无人潜航器的基础上，设置有成像系统、导航定位系统和集鱼灯系统，并且，为了实现整个鱼类检测系统的总体协同控制运作，还设置了一个控制模块。
所述成像系统作用是，拍摄获取周边环境的视频图像数据信息。
所述成像系统中具体包括有前向摄像头和后向摄像头，所述前向摄像头设置在潜航器的背部，所述后向摄像头设置在潜航器的腹部，前向摄像头和后向摄像头摄取的图像组合在一起则可实现360度的周边图像获取。
需要说明的是，在本实施方式中，所述成像系统为三维立体成像系统，其中的前向摄像头和后向摄像头均为双目摄像头，从而能够实现立体成像，这样一来，与导航定位系统配合，可实现对图像中目标物体(目标鱼种)的三维空间定位。
所述集鱼灯系统作用是，利用灯光来引诱鱼群集中到鱼类检测系统附近，简称“诱集”。
所述集鱼灯系统中具体包括有两个集鱼灯以及光谱测量子系统。
所述两个集鱼灯分别为前向集鱼灯和后向集鱼灯。
所述前向集鱼灯设置在潜航器的背部，具体来说，在潜航器的背部设置有前向的圆孔，所述前向集鱼灯则设置在该圆孔中。
所述后向集鱼灯设置在潜航器的腹部，具体来说，在潜航器的腹部设置有后向的圆孔，所述后向集鱼灯则设置在该圆孔中。
所述光谱测量子系统由两个光谱测量传感器组合构成，这两个光谱测量传感器分别通过夹板固定在潜航器的两侧胸鳍内部，并且，该光谱测量传感器能够与水体接触。基于光谱测量传感器，所述光谱测量子系统能够测量光谱数据。在本实施方式中，光谱测量子系统用于测量集鱼灯在水下的光谱数据信息；
所述集鱼灯系统“利用灯光来引诱鱼群集中”，其具体原理为：打开集鱼灯，利用光谱测量子系统检测集鱼灯发出光线的频率，然后依据光谱测量子系统检测到的集鱼灯发出光线的频率来调整集鱼灯的发光频率，直至达到所需要的能够引诱鱼群集中目标频率。鱼群则会循着灯光集中过来，从而实现诱集鱼群的效果。
所述导航定位系统用于获取卫星定位信息，以确定鱼类检测系统以及目标鱼种所在的位置(空间坐标数据信息)。
之前所述的水下无人潜航器、成像系统、导航定位系统、以及集鱼灯系统，均通过电气线路与控制模块信号连接，控制模块能够接收所有电气部件发送的电气信号，并能够控制所有电气部件协同运行。
需要说明的是，之前提及的水下无人潜航器、成像系统、导航定位系统、以及集鱼灯系统，均采用现有技术的装置或设备。
本实施方式的鱼类检测系统通常是设置在一艘母船上，当需要使用该鱼类检测系统进行水下作业时，工作人员将鱼类检测系统从母船上释放到水中，母船与鱼类检测系统之间通过一根极细的通讯线缆和安全绳联系在一起，母船设置上有专用的计算机系统，该计算机系统称其为“主控计算机”，通过所述通讯线缆，鱼类检测系统与母船主控计算机之间能够实现数据信息交互(即通信联系)。
本实施方式的鱼类检测系统，其主要功能是，在水下寻找定位跟踪目标鱼种，直至找到目标鱼种鱼群。
为了实现上述功能，本实施方式还提供了一种鱼类检测方法，其中具体包括如下步骤S1至S4。
S1，在需要作业时，母船上的工作人员将鱼类检测系统投入到目标水域中，当鱼类检测系统进入水体后，工作人员通过主控计算机控制开启鱼类检测系统上的集鱼灯系统，并且，依据预先确定的目标鱼种对于光照的喜好来调整集鱼灯系统发出的光照，使光照符合目标鱼种的喜好，以达到通过灯光诱集目标鱼种至附近的目的。
所述“调整集鱼灯系统发出的光照”，具体来说，就是调整光照的频率、光强以及光色，等等，各种光照的参数。
额外的说明，大多数鱼种都具有趋光特性，鱼会被一定频谱特性的光线所吸引，但是，不同的鱼种会表现出不同的趋光特性。使集鱼灯系统发出的光照尽量符合目标鱼种的喜好，目标鱼种则更容易被引诱而来。
需要说明的是，采用集鱼灯系统来诱集目标鱼种，这是现有技术，其具体实施的方式和过程是本领域技术人员均知晓的常识。
S2，开启成像系统，通过该成像系统获取鱼类检测系统周边的视频图像数据，尤其是获取周边鱼体的图像数据；所获取的视频图像数据通过鱼类检测系统与母船之间的通讯线缆传送至母船上的主控计算机中。
在本实施方式中，所述成像系统在获取周边鱼体的图像数据的过程中，将目标所在的区域设为兴趣区域，只对兴趣区域内的关键信息进行目标追踪，从而能够减少处理的数据量，有效地提高跟踪精度。
此外，为了保证获取图像的质量，成像系统在获取图像的过程中还包括下述步骤S21至S24。
S21，相机标定，采用基于平面棋盘格标记物的摄像机标定法
其中，A为摄像机内部参数矩阵，s为尺度因子，R和t为描述相机与全局坐标系之间的关系，即摄像头的外参矩阵，r_i表示R的第i列向量，u，v为像素坐标系。
S22，双目校正，将实际中的非共面行对准的两幅图像，进行消除畸变操作，校正成共面行对准。
S23，双目匹配，将图像进行立体匹配，建立图像的立体模型。
S24，计算深度，根据匹配结果计算像素的深度信息，立体视觉方程式如下
其中，f为相机焦距，x_L，x_R为目标在左右相机成像平面中的横向位置,d为视差，b为基线，X为目标横向距离，Y为目标高度，Z为目标纵向距离。
S3，采用现有的图像识别技术，通过图像识别方式连续不断地对视频图像中的鱼体进行识别，以识别找出图像中的目标鱼种。
具体来说，
在母船上的主控计算机中预先配置有鱼种识别模块(软件模块)，并且对该鱼种识别模块设置好需要识别的目标鱼种，在主控计算机接收到鱼类检测系统传送的视频图像数据之后，采用鱼种识别模块连续不断地对视频图像中的鱼体进行识别，以识别找出图像中的目标鱼种。
需要说明的是，在本实施方式中，所述鱼种识别模块实质为一个基于深度学习模型构建起来的图像识别模块。
更具体地，对视频图像中的鱼体进行识别的具体过程包括如下步骤S31至S35。
S31，使用现有的图像处理手段对图像进行预处理，得到一系列包含目标鱼体的候选区域。
所采用的图像处理手段包括图像金字塔、滑动窗口，等等。
S32，对于每一个候选区域，使用深度学习模型提取其特征向量，将其转化为一定维度的数值表示。
S33，使用分类器判断每个候选区域是否属于目标鱼种存在区域，并输出目标鱼种存在的概率值。
在本实施方式中，所使用的分类器为softmax分类器。
S34，对于那些被判断为包含目标鱼种的候选区域，进一步通过回归算法来计算得到目标鱼种的精确位置和大小。
所采用的回归算法可以是线性回归、多项式回归，等等。
S35，对于那些重叠的边界框或置信度较低的边界框，进行去重或筛选，以得到最终的目标鱼种检测结果。
此外，在识别找到目标鱼种之后，导航定位系统获得鱼类检测系统当前所在的空间坐标，并与成像系统获取的目标鱼种的相对坐标进行叠加运算，从而可获得目标鱼种在三维空间内的位置信息，从而有利于后续对目标鱼种的跟踪。
S4，待识别找到目标鱼种之后，将其作为跟踪目标，采用现有技术的目标跟踪技术来控制鱼类检测系统对目标鱼种进行跟踪，直至找到目标鱼种所在的鱼群。
在跟踪目标鱼种的过程中，控制成像系统的镜头始终朝向被跟踪的目标鱼种，使目标鱼种始终处于视频图像的中央区域。
在本实施方式中，采用现有的目标跟踪算法来实现对目标鱼种的跟踪。该目标跟踪算法通过定义每一窗口为当前帧的一个状态量，通过预测下一状态量实现三维物体的运动跟踪。
在本实施方式中，所采用的目标跟踪算法为卡尔曼算法。
参见图3，在本实施方式中，采用目标跟踪算法对目标鱼种跟踪的过程具体包括如下步骤S41至S47。
S41，状态初始化：定义目标状态向量，包括位置和速度等信息，并设定初始协方差矩阵。
需要说明的是，这里所述的目标就是指图像中的鱼体。
S42，状态预测：通过上一时刻的状态向量，结合运动模型，预测目标在当前时刻的位置。
S43，预测协方差更新：通过运动模型，预测当前时刻的状态协方差矩阵。
S44，观测输入：得到当前时刻的观测信息。
S45，估计滤波增益：利用预测协方差和观测噪声协方差，计算出估计滤波增益阵。
S46，状态修正：根据观测值和估计滤波增益阵，得到当前时刻的目标状态估计值。
S47，方差修正：根据估计滤波增益阵，修正当前时刻的状态协方差矩阵。
参见图2，需要说明的是，基于深度学习的目标跟踪算法通过建立图像与世界坐标系之间的联系实现3D目标检测，并且得到目标的类别以及真实尺寸，在实现过程中将图像分为多个网格区域，每个网格中建立小步幅窗口进行不断卷积。
在本实施方式中，提供了运动物体在世界中的位置信息通过上述双目摄像头与卫星导航系统相结合，利用卫星导航系统获取仪器当前所在的位置，并结合计算出来的物体坐标，得到物体在世界坐标系中的位置信息，其中相机坐标到世界坐标系的转化如下：
其中，(Xc,Yc,Zc)是相机坐标系，(XW,YW,ZW)是世界坐标系。
需要说明的是，本文中所提及的“目标鱼种”是指，渔业捕捞作业目标捕获的鱼种，或者，科学研究目标对象鱼种。
在本实施方式的鱼类检测系统中设置了集鱼灯系统、成像系统和导航定位系统，在本实施方式的鱼类检测方法中，采用集鱼灯系统将鱼诱集到附近，采用成像系统获取周边鱼群的视频图像，采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种，将识别找出的目标鱼种作为跟踪目标，基于导航定位系统来获取目标鱼种位置信息，对目标鱼种进行跟踪，从而可以快速定位找到目标鱼种鱼群，然后针对目标鱼种鱼群实施作业(商业捕捞或科学研究)。
本实施方式的鱼类检测系统和检测方法能够快速精准地定位找到目标鱼种鱼群，有利于对某一特定种群鱼种的精准定位及捕捞，从而大大提高了作业效率，有效降低了时间成本和人力成本，提升了经济效益。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于灯光诱集的鱼类检测系统，其特征在于：所述鱼类检测系统基于水下无人潜航器，在所述水下无人潜航器上设置有集鱼灯系统、成像系统和导航定位系统；
所述集鱼灯系统用于引诱鱼集中；
所述成像系统用于获取周边的视频图像；
所述导航定位系统用于获取定位信息。
2.一种鱼类检测方法，其特征在于：包括：
采用如权利要求1所述的鱼类检测系统；
将鱼类检测系统投入水体，开启鱼类检测系统的集鱼灯系统以及成像系统；
所述集鱼灯系统将鱼诱集到附近，所述成像系统获取周边的视频图像；
采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种；
将识别找出的目标鱼种作为跟踪目标，控制鱼类检测系统对目标鱼种进行跟踪。
3.根据权利要求2所述鱼类检测方法，其特征在于：在开启集鱼灯系统之后，依据目标鱼种的喜好来调整集鱼灯系统发出的光照。
4.根据权利要求2所述鱼类检测方法，其特征在于：在所述成像系统获取周边视频图像的过程中，将目标鱼种所在的区域设为兴趣区域，只对兴趣区域内的关键信息进行目标追踪。
5.根据权利要求4所述鱼类检测方法，其特征在于：在成像系统获取周边视频图像的过程中还包括：
相机标定，采用基于平面棋盘格标记物的摄像机标定法
其中，A为摄像机内部参数矩阵，s为尺度因子，R和t为描述相机与全局坐标系之间的关系，即摄像头的外参矩阵，ri表示R的第i列向量，u，v为像素坐标系；
双目校正，将实际中的非共面行对准的两幅图像，进行消除畸变操作，校正成共面行对准；
双目匹配，将图像进行立体匹配，建立图像的立体模型；
计算深度，根据匹配结果计算像素的深度信息，立体视觉方程式如下
其中，f为相机焦距，xL，xR为目标在左右相机成像平面中的横向位置,d为视差，b为基线，X为目标横向距离，Y为目标高度，Z为目标纵向距离。
6.根据权利要求2所述鱼类检测方法，其特征在于：所述采用图像识别技术对视频图像中的鱼体进行识别，识别找出图像中的目标鱼种，其所采用的图像识别技术为：
采用鱼种识别模块对视频图像中的鱼体进行识别，以识别找出图像中的目标鱼种；
所述鱼种识别模块为基于深度学习模型构建起来的图像识别模块。
7.根据权利要求6所述鱼类检测方法，其特征在于：所述对视频图像中的鱼体进行识别，其具体过程包括：
对图像进行预处理，得到一系列包含目标鱼体的候选区域；
对于每一个候选区域，使用深度学习模型提取候选区域特征向量，将特征向量转化为一定维度的数值表示；
使用分类器判断每个候选区域是否属于目标鱼种存在区域，并输出目标鱼种存在的概率值；
对于被判断为包含目标鱼种的候选区域，通过回归算法来计算得到目标鱼种的精确位置和大小；
对于重叠的边界框进行去重处理，对于置信度较低的边界框进行筛选处理，最终得到目标鱼种检测结果。
8.根据权利要求2所述鱼类检测方法，其特征在于：在识别找到目标鱼种之后，导航定位系统获得当前所在的空间坐标，并与成像系统获取的目标鱼种的相对坐标进行叠加运算，获得目标鱼种的位置坐标信息，基于该目标鱼种的位置坐标来对目标鱼种进行跟踪。
9.根据权利要求2所述鱼类检测方法，其特征在于：所述控制鱼类检测系统对目标鱼种进行跟踪，其是基于目标跟踪算法来实施的，所述目标跟踪算法为卡尔曼算法。
10.根据权利要求9所述鱼类检测方法，其特征在于：所述控制鱼类检测系统对目标鱼种进行跟踪，其具体过程包括：
状态初始化：定义目标状态向量，包括位置和速度信息，并设定初始协方差矩阵；
状态预测：通过上一时刻的状态向量，结合运动模型，预测目标在当前时刻的位置；
预测协方差更新：通过运动模型，预测当前时刻的状态协方差矩阵；
观测输入：得到当前时刻的观测信息；
估计滤波增益：利用预测协方差和观测噪声协方差，计算出估计滤波增益阵；
状态修正：根据观测值和估计滤波增益阵，得到当前时刻的目标状态估计值；
方差修正：根据估计滤波增益阵，修正当前时刻的状态协方差矩阵。
CN202310945135.4A 2023-05-25 2023-07-31 基于灯光诱集的鱼类检测系统及方法 Pending CN116724964A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310596515 2023-05-25
CN2023105965151 2023-05-25

Publications (1)

Publication Number Publication Date
CN116724964A true CN116724964A (zh) 2023-09-12

Family

ID=87909796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310945135.4A Pending CN116724964A (zh) 2023-05-25 2023-07-31 基于灯光诱集的鱼类检测系统及方法

Country Status (1)

Country Link
CN (1) CN116724964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994293A (zh) * 2023-09-25 2023-11-03 中国水产科学研究院南海水产研究所 一种基于图像识别的网具捕捞效率优化方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994293A (zh) * 2023-09-25 2023-11-03 中国水产科学研究院南海水产研究所 一种基于图像识别的网具捕捞效率优化方法及系统
CN116994293B (zh) * 2023-09-25 2024-01-12 中国水产科学研究院南海水产研究所 一种基于图像识别的网具捕捞效率优化方法及系统

Similar Documents

Publication Publication Date Title
Saberioon et al. Automated multiple fish tracking in three-dimension using a structured light sensor
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
US8005264B2 (en) Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
CN110718137B (zh) 目标物密度分布地图的构建方法及装置、终端、移动装置
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN106886017B (zh) 基于双频识别声呐的水下目标空间位置计算方法
CN116724964A (zh) 基于灯光诱集的鱼类检测系统及方法
Katija et al. Visual tracking of deepwater animals using machine learning-controlled robotic underwater vehicles
CN111765974B (zh) 一种基于微型制冷红外热像仪的野生动物观测系统及方法
Xi et al. Review of underwater machine vision technology and its applications
CN112947419B (zh) 避障方法、装置及设备
Zacchini et al. Forward-looking sonar CNN-based automatic target recognition: an experimental campaign with FeelHippo AUV
US20240029347A1 (en) Generating three-dimensional skeleton representations of aquatic animals using machine learning
WO2019198611A1 (ja) 特徴推定装置および特徴推定方法
Zacchini et al. Deep learning for on-board AUV automatic target recognition for optical and acoustic imagery
CN113538702A (zh) 一种海洋养殖区水下场景全景图生成方法
Xia et al. In situ sea cucumber detection based on deep learning approach
CN116778310A (zh) 一种水产养殖的声光图像融合监控方法及系统
Xiang et al. PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN107323677A (zh) 无人机辅助降落方法、装置、设备及存储介质
Fu et al. Performance of a visual fixation model in an autonomous micro robot inspired by drosophila physiology
CN113792593A (zh) 一种基于深度融合的水下近距离目标识别跟踪方法及系统
CN116916157A (zh) 一种水体采样潜水机器人控制系统
CN111652118A (zh) 基于水下目标近邻分布的海产品自主抓取引导方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination