CN117214904A

CN117214904A - 一种基于多传感器数据的鱼类智能识别监测方法和系统

Info

Publication number: CN117214904A
Application number: CN202311145520.7A
Authority: CN
Inventors: 刘卫平; 张忠德; 韩巧玲
Original assignee: Beijing Forestry University
Current assignee: Beijing Forestry University
Priority date: 2023-09-06
Filing date: 2023-09-06
Publication date: 2023-12-12

Abstract

本申请提供了一种基于多传感器数据的鱼类智能识别监测方法和系统，其中，鱼类智能识别监测系统包括：水下探鱼机器人，水下探鱼机器人搭载有多波束成像声呐和高清摄像机；鱼群密度处理器，用于根据鱼群密度反演算法对多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息；鱼类智能识别处理器，用于根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息；鱼类生态可视化监测平台，用于对鱼群密度信息和鱼类识别信息进行可视化处理，实时显示鱼群密度信息和鱼类识别信息。本申请的技术方案能解决现有技术中单一的计算机视觉技术活声学信号监测技术难以满足多细粒度的鱼类资源监测需求的问题。

Description

一种基于多传感器数据的鱼类智能识别监测方法和系统

技术领域

本申请涉及鱼类监测技术领域，尤其涉及一种基于多传感器数据的鱼类智能识别监测方法和系统。

背景技术

水库是一种人造湖泊，具有为附近地区提供水源供应、灌溉、发电、防洪和渔业等功能。水库由于其面积广大以及连通河流的原因，通常存在大量鱼类。因此从生态安全的角度，非常有必要对水库鱼类多样性的历史变化规律进行研究。

近年来随着计算机视觉技术和声学信号监测技术的发展，特别是高清摄像设备和多波束成像声呐性能的提高，实现鱼类智能识别和个体密度的自动监测已无技术障碍。目前，传统的鱼类监测方法主要分为计算机视觉技术和声学信号监测技术；其中，基于计算机视觉的鱼类监测技术通常以视频拍摄、图片观察和手工记录为主，并借助专家经验实现鱼类识别的目的。而基于声学信号的鱼类监测技术，能够通过发射的声波信号对鱼群进行探测和识别，主要应用于鱼类资源丰度、分布密度和生理行为等研究，具有监测范围广的优点。上述两种鱼类监测方式各有优缺点。

然而，通常水库较深，水下能见度较低，计算机视觉技术难以实时追踪鱼群位置，监测范围较小；而声学信号监测技术相较于光学信号，其分辨率较低，难以对鱼类进行精准识别。由此可见，单一的计算机视觉技术或声学信号监测技术难以满足多细粒度的鱼类资源监测需求。

申请内容

本申请提供一种基于多传感器数据的鱼类智能识别监测方案，通过使用多传感数据融合的鱼类资源监测方法，具体应用多波束成像声呐对水下状态进行实时扫描，获取鱼群密度和运动轨迹等信息，并引导高清摄像机抵近鱼群进行拍照识别，进而实现对探测鱼群的多细粒度量化分析。

为解决上述问题，根据本申请的第一方面，本申请提出了一种基于多传感器数据的鱼类智能识别监测系统，包括：

水下探鱼机器人，水下探鱼机器人搭载有多波束成像声呐和高清摄像机；

鱼群密度处理器，用于根据鱼群密度反演算法对多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息；

鱼类智能识别处理器，用于根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息；

鱼类生态可视化监测平台，用于对鱼群密度信息和鱼类识别信息进行可视化处理，实时显示鱼群密度信息和鱼类识别信息。

优选的，上述鱼类智能识别监测系统中，水下探鱼机器人包括：

供电设备、运载平台和传感设备；其中，

供电设备分别与运载平台和传感设备电连接，用于分别为运载平台和传感设备供电；

运载平台配置有多个推进器，且搭载有传感设备；

传感设备用于获取鱼群传感数据；

运载平台，还用于根据鱼群传感数据生成规划路径，按照规划路径控制推进器推进水下探鱼机器人移动至鱼群附近。

优选的，上述鱼类智能识别监测系统中，传感设备包括：

多波束成像声呐、高清摄像机、传感器阵列和无线数传模块；其中，

多波束成像声呐，用于实时扫描水下状态，获取鱼群声呐数据；

高清摄像机，用于当水下探鱼机器人移动至鱼群附近预定距离范围内时，对鱼群进行拍摄，得到鱼群图像数据；

传感器阵列内置有多种信号接口，用于外接多种类型的传感器；

无线数传模块分别与多波束成像声呐、高清摄像机和传感器阵列电连接，用于通过无线方式上传鱼群声呐数据、鱼群图像数据和多型的传感器得到的传感器信号。

优选的，上述鱼类智能识别监测系统中，鱼群密度处理器包括：

回波信号接收模块，用于使用接收换能器接收多波束成像声呐的鱼群回波信号；

信号预处理模块，用于使用图像解析算法，去除鱼群回波信号中的图像噪点和边界模糊，得到预处理后的鱼群回波信号；

响应估计模块，用于根据回波积分和计数算法，对预处理后的鱼群回波信号估计滤波冲击响应，得到鱼群密度信息；

鱼群声散射模型构建模块，用于构建鱼群声散射模型，将鱼群回波信号输入至鱼群声散射模型，检测得到鱼群种类和行为轨迹信息。

优选的，上述鱼类智能识别监测系统中，鱼群声散射模型构建模块包括：

声散射模型构建单元，用于使用深度卷积神经网络构建包含多普勒频移信息的鱼群声散射模型；

声散射模型训练单元，用于从鱼群回波信号中提取多普勒频移信息，将多普勒频移信息输入至鱼群声散射模型进行训练，得到鱼群空间分布曲线；

鱼群种类和行为轨迹分析单元，用于根据鱼群空间分布曲线，分析得到鱼群种类和行为轨迹信息。

优选的，上述鱼类智能识别监测系统中，鱼类智能识别处理器包括：

图像增强处理模块，用于使用图像增强处理技术对鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据；

生成对抗网络模块，用于使用对抗生成网络对图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据；

鱼群特征提取模块，用于使用密集连接卷积网络提取鱼群图像数据中的鱼群特征；

鱼类模型构建模块，用于通过迁移学习算法选择模型网络参数，使用模型网络参数和鱼群特征构建鱼类识别模型；

鱼类图像识别模块，用于使用鱼类识别模型识别鱼类图像数据，得到鱼类识别信息。

优选的，上述鱼类智能识别监测系统中，鱼类模型构建模块包括：

迁移学习单元，用于使用迁移学习技术，从源领域或多网络框架中学习迁移知识和迁移模式；

参数选择单元，用于使用迁移知识和迁移模式，选择深度卷积神经网络的模型网络参数；

网络搭建单元，用于使用模型网络参数，根据预先设定的鱼群分类标准搭建深度卷积神经网络；

识别模型构建单元，用于将鱼群特征输入至深度卷积神经网络进行训练，构建生物物种识别模型。

优选的，上述鱼类智能识别监测系统中，鱼类生态可视化监测平台包括：

图像模型建立模块，用于使用地理信息技术建立被监测区域的三维图像模型；

信息管理融合模块，用于使用数据管理工具对三维图像模型、鱼群密度信息和鱼类识别信息进行关联和融合，建立综合信息数据库；

鱼群分布模型构建模块，用于根据鱼类识别算法，使用三维图像模型融合鱼群密度信息和鱼类识别模型，得到鱼群分布空间模型，将鱼群分布空间模型存储至综合信息数据库；

可视化展示模块，用于从综合信息数据库中提取并展示鱼群分布空间模型。

根据本发明的第二方面，本发明还提供了一种基于多传感器数据的鱼类智能识别监测方法，用于上述任一项技术方案提供的鱼类智能识别监测系统，该鱼类智能识别监测方法包括：

使用水下探鱼机器人搭载多波束成像声呐和高清摄像机分别获取水下被监测区域的鱼群声呐数据和鱼群图像数据；

根据鱼群密度反演算法对多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息；

根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息；

优选的，鱼类智能识别监测方法，根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息的步骤，包括：

使用图像增强处理技术对鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据；

使用对抗生成网络对图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据；

使用密集连接卷积网络提取鱼群图像数据中的鱼群特征；

通过迁移学习算法选择模型网络参数，使用模型网络参数和鱼群特征构建鱼类识别模型；

使用鱼类识别模型识别鱼类图像数据，得到鱼类识别信息。

本申请技术方案提供的基于多传感器数据的鱼类智能识别监测方案，其工作原理如下：

水下探鱼机器人搭载有多波束成像声呐和高清摄像机，采用多波束成像声呐获取鱼群的鱼群声呐数据，利用高清摄像机获取鱼群的鱼群图像数据；然后使用鱼群密度处理器，通过鱼群密度反演算法对多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，从而得到鱼群密度信息，其中，该鱼群密度信息包括鱼群密度、分布位置、鱼群规模和运动轨迹等信息；同时使用鱼类智能识别处理器，根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，从而得到鱼类识别信息，该鱼类识别信息包括鱼群类型和鱼类特征等信息。最后在分别得到鱼群密度信息和鱼类识别信息后，使用鱼类生态可视化监测平台对鱼群密度信息和鱼类识别信息进行可视化处理，从而实时显示上述鱼群密度信息和鱼类识别信息。

综上，本申请提供的基于多传感器数据的鱼类智能识别监测方案，通过构建水下探鱼机器人，该水下探鱼机器人搭载多波束成像声呐和高清摄像机分别获取鱼群声呐数据和鱼群图像数据，通过图像AI智能识别技术对鱼群类别进行识别，能够利于鱼类的自动监测和水生态管理工作，同时使用基于机器视觉的AI智能识别技术，得到鱼群密度信息和鱼类识别信息，通过鱼类生态可视化监测平台进行可视化处理，从而能够实时显示实时鱼群密度信息和鱼类识别信息。综上，本申请上述技术方案提供的技术方案，能够解决现有技术中单一的计算机视觉技术活声学信号监测技术难以满足多细粒度的鱼类资源监测需求的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本申请实施例提供的一种基于多传感器数据的鱼类智能识别监测系统的结构示意图；

图2是图1所示实施例提供的一种水下探鱼机器人的结构示意图；

图3是本发明实施例提供的一种多波束成像声呐系统的架构图；

图4是本发明实施例提供的一种多波束成像声呐的探头扫描示意图；

图5是本发明实施例提供的一种密集连接卷积网络分类识别执行过程的流程示意图；

图6是本发明实施例提供的一种鱼群密度处理器的结构示意图；

图7是图6所示实施例提供的一种鱼群声散射模型构建模块的结构示意图；

图8是本申请实施例提供的一种鱼类智能识别处理器的结构示意图；

图9是图8所示实施例提供的一种鱼类模型构建模块的结构示意图；

图10是本申请实施例提供的一种鱼类生态可视化监测平台的结构示意图；

图11是本申请实施例提供的一种基于多传感器数据的鱼类智能识别监测方法的流程示意图。

图12是图11所示实施例提供的一种鱼类识别计算方法的流程示意图；

图13是本发明实施例提供的一种Retinex算法的原理示意图；

图14是本发明实施例提供的一种鱼类智能识别监测系统的技术路线图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

相关附图标记如下：

100-水下探鱼机器人、101-多波束成像声呐、102-高清摄像机、103-供电设备、1031-蓄电池、1032-太阳能充电控制器、1033-太阳能电池板、104-运载平台、1041-诱鱼系统、1042-水下探测机器人、1043-导航系统、105-传感设备、1051-传感器阵列、1052-无线数传模块、1053-数据采集/控制器、106-推进器、200-鱼群密度处理器、201-回波信号接收模块、202-信号预处理模块、203-响应估计模块、204-鱼群声散射模型构建模块、2041-声散射模型构建单元、2042-声散射模型训练单元、2043-鱼群种类和行为轨迹分析单元、300-鱼类智能识别处理器、301-图像增强处理模块、302-生成对抗网络模块、303-鱼群特征提取模块、304-鱼类模型构建模块、3041-迁移学习单元、3042-参数选择单元、3043-网络搭建单元、3044-识别模型构建单元、305-鱼类图像识别模块、400-鱼类生态可视化监测平台、401-图像模型建立模块、402-信息管理融合模块、403-鱼群分布模型构建模块、404-可视化展示模块、4041-鱼群密度可视化单元、4042-鱼类识别可视化单元、4043-水质参数可视化单元、4044-气象参数可视化单元。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决的技术问题是：

传统的鱼类监测方案主要分为计算机视觉技术和声学信号监测技术。然而通常水库较深，水下能见度较低，计算机视觉技术难以实时追踪鱼群位置，监测范围较小；而声学信号监测技术相较于光学信号，其分辨率较低，难以对鱼类进行精准识别。由此可见，单一的计算机视觉技术或声学信号监测技术难以满足多细粒度的鱼类资源监测需求。

为了解决上述问题，本申请下述实施例提供了基于多传感器数据的鱼类智能识别监测方案。通过采用物联网技术、智能感知技术、惯性导航技术、无线通讯技术和GPS定位技术，并结合人工智能、深度学习和大数据处理等智能识别算法，实现对垂直剖面鱼类和水体质量的智能采集以及远程无线传输和海量数据的分析与处理。通过研发水下探鱼机器人实现水下垂直剖面的自动监测，获得鱼群声呐数据和鱼群图像数据；并且基于神经网络智能学习，自主挖掘鱼类的多重特征信息，从而达到鱼群密度反演和鱼群种类的高精度识别，全方位掌握水域健康动态，为应急响应、决策分析、规划开发、科学研究提供有力支持的目的。

本申请技术方案在技术上存在以下三个层面：

(1)硬件层：研制基于多波束程序声呐和高清摄像机的水下探鱼机器人，实现水下鱼群、水质参数和气象参数的实时监测。

(2)算法层：设计基于多波束程序声呐的鱼群密度反演算法和基于高清摄像机的鱼类识别算法，实现对探测鱼群的多细粒度量化分析。

(3)平台层：开发基于Web技术的鱼类生态可视化监测平台，实现鱼群密度、鱼群种类、水质参数和气象参数的实时显示。

为实现上述目的，参见图1，图1为本发明实施例提供的一种基于多传感器数据的鱼类智能识别监测系统的结构示意图。如图1所示，该鱼类智能识别监测系统包括：

水下探鱼机器人100，结合图1和图2可知，水下探鱼机器人100搭载有多波束成像声呐101和高清摄像机102。本申请实施例在硬件层面研发基于多波束成像声呐101和高清摄像机102的水下探鱼机器人100，实现水下鱼群密度、鱼群种类、水质参数和气象参数的实时监测。其中，多波束成像声呐101能够获取水下的鱼群声呐数据，高清摄像机102能够采集得到鱼群图像数据。

鱼群密度处理器200，用于根据鱼群密度反演算法对多波束成像声呐101上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息。该鱼群密度反演算法基于多波束成像声呐101设计，能够通过鱼群声呐数据对鱼群密度进行反演计算。具体地，鱼群密度反演算法包括图像解析算法、预测滤波算法、回波积分和回波计数算法等多种信息获取方法。通过接收换能器接收探测目标的回波信号，对不同探测回波信号进行数据分析，然后采样图像增强和边缘检测等图像解析手段，剔除回波信号中的图像噪点和边界模糊现象。另外，由于检测目标粒径分布信息对目标密度的精度影响较大，容易造成漏检，因此通过预测滤波技术、回波积分算法和回波技术算法等多重信息获取算法，对鱼群滤波系统冲击响应进行估计，完成不同密度鱼群或鱼层分布位置、规模和丰度的高精度检测。鱼类智能识别处理器300，用于根据鱼类识别算法对高清摄像机102上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息。猞猁的鱼类识别算法能够采用深度学习相关算法进行识别检测，具体地，能够采用图像增强技术和对抗生成网络预先对鱼群图像数据进行分辨率和清晰度的处理，然后使用人工智能中由数据驱动的密集连接卷积网络深入挖掘鱼类特征，采用迁移学习方法从源领域和多网络框架中自主学习相关知识和模数，迁移应用于鱼类目标域识别模型网络参数的旋转，构建基于深度卷积网络的鱼类识别模型，实现监测场景下不同鱼类的高精度自动识别。

鱼类生态可视化监测平台400，用于对鱼群密度信息和鱼类识别信息进行可视化处理，实时显示鱼群密度信息和鱼类识别信息。通过对鱼类密度信息和鱼类识别信息等多源数据进行融合，对鱼群分布情况进行三维重建，能够实现对鱼群种类、鱼群数据的识别和鱼群位置的定位，从而构建完整的鱼类智能识别监测系统。其中，如图1所示，该鱼类生态可视化监测平台400包括鱼群密度可视化单元4041、鱼类识别可视化单元4042、水质参数可视化单元4043和气象参数可视化单元4044等。

鱼类分布情况的三维重建技术如下：

本申请设计采用基于点云的三维重建技术，由于当前开源的鱼类三维模型较少，因此本申请实施例在未知三维模型的情况下试图通过点云数据的采集来表示三维物体或场景，主要采用主被动视觉结合法，即使用高清摄像机102，该高清摄像机采用RGB-D相机，也称为“基于fusion系列方法。RGB-D相机又称深度相机，结合了主动和被动传感器的优点，由被动RGB相机和主动深度传感器组成。根据RGB-D图像的信息和相机的内参便可计算出相机坐标系下的点云数据。因为三维重建在多数应用场景下有着空间层次还原和色彩纹理还原的双重需求，因此主被动视觉结合的方式是目前最有效的解决方案。

基于fusion系列的三维重建其实可以大体分为两种，一种是对于静态场景的三维重建，以KinectFusion为典型代表，一种是对于动态场景的三维重建，以DynamicFusion为典型代表。而不论是静态场景亦或是动态场景的fusion系列重建，最大特点就是使用了TSDF模型(截断符号距离函数模型)，当然也有个别工作使用了面元(Surfel)的表示方法(面元简单来讲就是点、法线、颜色、权重、半径以及时间戳等属性的集合)。值得一提的是，基于动态场景的三维重建的难度远大于基于静态场景的三维重建，当然，对于拓扑不会发生变化的重建(比如驱动一个三维网格模板模型)，难度会下降很多。

TSDF(Truncated Signed Distance Function，截断符号距离函数)，通常先选定要建模的三维空间，比如2m×2m×2m大小的三维空间，然后将这个三维空间分割成许多小块，分辨率通常为256×256×256或是128×128×128，每一个小块被称为体素。

TSDF模型中每个体素存储的是该小块与其最近的物体表面的距离。如果该小块在该物体表面的的前面，则它存储一个正值；如果该小块位于物体表面之后，那么就存储一个负值。进一步，通常认为物体表面是有厚度的，所以把太大的值和太小的值都置为1或是-1，这样就得到了截断之后的距离，也就是所谓的TSDF模型。最后按照定义，TSDF为0的地方就是重建表面所在。换种说法就是TSDF数值由负数过渡到正数的地方。

RGB-D相机采集点云数据的主要流程如下：

步骤一、将RGB-D相机获取的空间点云数据和色彩强度数据进行整合并以工程化的方式管理和输出；

步骤二、利用PCL技术(一个用于三维点云处理的模块化跨平台开源C++编程库)对点云数据进行预处理，包括去噪、分割、滤波、配准和采样等操作，输出特证明显且数据精简的点云。

步骤三、点云数据网格化，即使用一系列的网格来近似拟合点云，一般使用三角网格和四边形网格，这一步骤实现了三维表示形式上点云到网格(Mesh)的转化。

步骤四、全景纹理贴图，将RGB-D相机采集的色彩和纹理信息映射到网格模型上，加以精修美化，输出逼真的三维模型。

本次设计主要针对动态场景的三维重建，因此主要采用以下几个算法对鱼群进行三维重建：

1、Dynamic Fusion：Dynamic Fusion是不基于任何模板先验信息的动态重建算法，Dynamic Fusion系统在重建场景的几何的同时也在估计稠密体积表示的6D形变域。该系统能随着深度数据的采集，而获得一个逐渐去噪，保留细节并且较为完整的重建结果。但同时由于Dynamic Fusion没有采用任何先验信息使得该算法对于帧间较大的运动以及遮挡区域的运动都不具备鲁棒性；此外Dynamic Fusion可以较好得处理封闭拓扑的表面重建。

2、Volume Deform：volume Deform算法和dynamic Fusion类似，都无需预先定义的模板，同样采用体积表示(volumetric representation)的方法来参数化重建模型的几何以及运动。该算法的运动追踪基于提取的全局稀疏彩色特征(如SIFT算子)以及稠密的深度图两者的结合，增强了特征匹配点寻找准确的鲁棒性，进而极大地减小了重建模型的累积误差以及漂移现象。

3、Double Fusion：该系统将数字驱动的模板(SMPL模型)以及实时重建的稠密几何、非刚性运动以及内层人体形状充分结合在一起。该系统的关键贡献之一在于提出了双层表面的表示，这里的两层主要是指里层的参数化模型表面(innerbody)，也就是SMPL模型的shape，以及外层通过深度融合得到的表面(outer surface)。该算法的另一个关键贡献在于提出了一个基于双层表面表示的联合运动追踪，使得整个系统可以在快速运动的情况下仍然具有鲁棒性。

综上，本申请实施例提供的基于多传感器数据的鱼类智能识别监测系统，通过构建水下探鱼机器人100，该水下探鱼机器人100搭载多波束成像声呐101和高清摄像机102分别获取鱼群声呐数据和鱼群图像数据，通过图像AI智能识别技术对鱼群类别进行识别，能够利于鱼类的自动监测和水生态管理工作，同时使用基于机器视觉的AI智能识别技术，得到鱼群密度信息和鱼类识别信息，通过鱼类生态可视化监测平台400进行可视化处理，从而能够实时显示实时鱼群密度信息和鱼类识别信息。综上，本申请上述技术方案提供的技术方案，能够解决现有技术中单一的计算机视觉技术活声学信号监测技术难以满足多细粒度的鱼类资源监测需求的问题。

其中，作为一种优选的实施例，如图2所示，上述鱼类智能识别监测系统中，水下探鱼机器人100的硬件架构包括：

供电设备103、运载平台104和传感设备105；其中，

供电设备103分别与运载平台104和传感设备105电连接，用于分别为运载平台104和传感设备105供电；如图2所示，该供电设备103包括蓄电池1031、太阳能充电控制器1032和太阳能电池板1033，通过太阳能电池板接收太阳光的光能，使用太阳能充电控制器的光电转换功能为蓄电池充电。在水下作业时，太阳能充电控制器从蓄电池中获取电能并为运载平台104和传感设备105分别充电。本申请实施例中供电设备103采用太阳能+锂电池组的负荷供电方式，分别为运载平台104和传感设备105供电。

运载平台104配置有多个推进器106，且搭载有传感设备105；如图2所示，运载平台104包括诱鱼系统1041、水下探测机器人1042和导航系统1043，该运载平台104的核心为水下探测机器人，该水下探测机器人1042配置有6个推进器106，通过6个推进器106的转动和推进，能够实现水平和垂直两个方向的运动，在导航系统1043的控制下能够实现水面和水下的自动巡航和路径规划等功能。该运载平台104在水下探测机器人部分还搭载有诱鱼系统1041，通过灯光和诱饵的方式吸引鱼群。这六个推进器106分别设置在水下探测机器人的前后以及左右各两个，位置分布类似于常见的六旋翼无人机的旋翼位置，为水下机器人的前进后退以及上浮等操作提供动力支持。另外，诱鱼系统1041位于水下机器人本体的正下方，通过灯光和饵料两种方式吸引鱼群。

传感设备105用于获取鱼群传感数据；如图2所示，传感设备105的核心是数据采集/控制器1053，该数据采集/控制器1053能够连接高清摄像机102、多波束成像声呐101、传感器阵列1051和无线数传模块1052等功能模块。通过传感设备105获取鱼群传感数据，能够将该传感数据上传至鱼群密度处理器200和鱼类智能识别处理器300，从而实现鱼群密度和鱼种类型的识别。

运载平台104，还用于根据鱼群传感数据生成规划路径，按照规划路径控制推进器106推进水下探鱼机器人100移动至鱼群附近。当传感设备105的多波束成像声呐101探测到鱼群后，能够引导水下探测机器人生成规划路径，按照该规划路径控制推进器106移动，从而控制水下探测机器人潜航至鱼群附近，调用高清云台摄像头对鱼群进行拍摄，从而为后续鱼类的高精度识别提供原始鱼群数据。因此基于多波束声呐与高清摄像的检测技术相互配合，可以实现对探测鱼群的多细粒度量化分析。

如图1和图2所示，该水下探鱼机器人100搭载有水质传感器、高清摄像机102和多波束成像声呐101等智能传感器，能够实现对垂直剖面的水体质量、水下图像的实时采集、处理和传输。具体如图2所示，作为一种优选的实施例，上述鱼类智能识别监测系统中，传感设备105包括：

多波束成像声呐101、高清摄像机102、传感器阵列1051和无线数传模块1052；其中，

多波束成像声呐101，用于实时扫描水下状态，获取鱼群声呐数据。多波束成像声呐101能够对水下状态进行实时扫描，获取鱼群密度和运动轨迹等信息。结合图3所示的多波束成像声呐可知，电源分别为采集及控制电路、发射电路和接收电路提供电能，在采集及控制电路的控制下，发射信号源至发射电路的发射机，然后收发转换器在声基阵和发射机的共同作用下，发射声呐信号，进而通过AD转换等方式发送至采集及处理电路的FPGA电路，再通过网络传输至PC端。其中，多波束成像声呐的探头结构如图4所示，包括宽波扫描和窄波扫描两种方式。其中宽波扫描的扫描角度在40-60度之间，窄波扫描的扫描角度范围在10-20度之间。

高清摄像机102，用于当水下探鱼机器人100移动至鱼群附近预定距离范围内时，对鱼群进行拍摄，得到鱼群图像数据。因为多波束成像声呐101探测到鱼群得到鱼群声呐数据后，使用该鱼群声呐数据能够引导水下探测机器人进行路径规划，控制水下机器人潜航至鱼群附近预定距离范围内，当水下探鱼机器人100移动至鱼群附近预定距离范围内时，高清摄像机102就能够对鱼群进行拍照，从而得到鱼群图像数据，为后续鱼类的精准识别提供原始数据的支撑。水下探测机器人的路径规划通常采用Dijkstra算法、A*算法和LPA算法等。以Dijkstra算法为例，Dijkstra算法规划的路径如下：

(1)初始化：

建立distance[](起点到其他所有点的距离信息)、Top_node[](最短路径信息)两个列表存放信息。其中，distance[]的维度为节点的个数，每一个数值为到达对应索引节点的最短路径距离，比如distance[2]的值代表当前迭代时刻到达3号节点的最短距离。初始状态distance[0 inf 10 inf 30 100]，其中0代表自身，inf代表无法到达；Top_node[num1]，其中num1代表一号节点并以此类推。

(2)搜索最小点：

找到当前节点到下一点的最小值，即从num1开始搜索到1->5/1->3/1->6三条路，并找到距离最小的路1->3。则此时到达num3点的最短路径确定为10，将num3存入Top_node[]。

(3)松弛：

确定num3找到最短路径，然后num3开始搜寻其弧尾，找到3->4路径，此时1->3->4路径距离为10+50＝60，小于inf，故将列表更新为distance[0 inf 10 60 30 100]。注意这里通过3->4这条路径缩短1->4这条路径的过程叫做“松弛”，该算法证实通过这样的方法进行路径寻优。

(4)重复迭代：

除去num1和num3，从剩余点搜寻距离最小，找到num5，故将num5加入Top_node[]。找到弧尾路径5->4/5->6，进行松弛，其中1->5->4距离为30+20＝50<60，1->5->6距离为30+60＝90<100，所以列表更新为distance[0 inf 10 50 30 90]。

(5)重复迭代：

除去num1、num3和num5，其余点寻最小，找到num4，将其加入Top_node[]。然后找到弧尾4->6，进行松弛，1->5->4->6距离30+20+10＝60<90，1->3->4->6距离10+50+10＝70>60，进行列表更新distance[0 inf 10 50 30 60]。

(6)重复迭代：

除去num1、num3、num4和num5，其余点寻最小，找到num6，将其加入Top_node[]，然后没有找到弧尾，则此时到达num6的最优路径找到。

另外，本申请实施例利用固定的高清摄像机102拍摄鱼群的实时视频，框出移动物体的轮廓(即FrogEyes蛙眼移动物体侦测)，首先将高清摄像机102中需要识别的区域圈出，然后在其检测区域只要物体有运动趋势，则能够检测得到运动物体的边缘部分，然后将边缘框出，形成一个移动物体的边缘检测识别。这里的识别运动：摄像头附近搭建红外传感器，当鱼群经过时，对其进行监测。

如图2所示，传感器阵列1051内置有多种信号接口，用于外接多种类型的传感器。传感器阵列1051预留多种信号接口，能够配置各类水质检测传感器(例如PH、浊度和溶解氧等传感器)和气象检测传感器(例如温湿度、风速和风向等传感器)。其中，水质检测传感器的传感数据能为水生态环境的治理提供辅助决策信息，气象检测传感器能为硬件系统的稳定运行提供辅助决策信息。

无线数传模块1052分别与多波束成像声呐101、高清摄像机102和传感器阵列1051电连接，用于通过无线方式上传鱼群声呐数据、鱼群图像数据和多型的传感器得到的传感器信号。无线数传模块1052能够对以上传感器的采集数据进行实时传输并保存在服务器端，结合平台专用软件，能够对水下图像、声呐数据和其他传感数据通过实时可视化展示，也能够实现服务器端对硬件系统的远程控制。

本申请实施例提供的技术方案，传感设备105包括多种传感器，例如多波束成像声呐101传感器、高清摄像机102以及传感器阵列1051等。当多波束成像声呐101探测到鱼群后，能够引导水下探鱼机器人100进行路径规划潜航至鱼群附近，并调用高清摄像机102对鱼群进行拍摄，为后续鱼类的精准识别采集原始数据。因此基于多波束声呐与高清摄像的检测技术相互配合，能够实现对探测鱼群的多细粒度量化分析。传感器阵列1051预留各类信号接口，可以配置各类检测传感器，为水生态环境的治理提供辅助决策信息并且为硬件系统的运行提供辅助决策信息。无线数传模块1052对以上采集数据进行实时传输并保存在服务器端，结合平台专用软件能够对水下图像、声呐数据和其他传感数据进行实时可视化，也可实现服务器端对硬件系统的远程控制。

另外，鱼群密度处理器200识别鱼群密度主要是通过帧差法的方式进行：移动侦测即是根据视频每帧或者几帧之间像素的差异，对差异值设置阈值，筛选差异值大于或等于阈值的像素点，做掩模图即可选出视频中存在变化的帧。帧差法较为简单的视频中物体移动侦测，帧差法分为：单帧差、两帧差和三帧差。随着帧数的增加能够防止检测结果的重影。由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同，通过检测不同图像帧中位置的不同就能够侦测到移动物体。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。

鱼群声呐数据容易受到环境、障碍物和机器传输等因素影响，并且检测目标的粒径分布信息对目标密度的精度影响较大，容易造成漏检情况。为了解决上述问题，作为一种优选的实施例，如图6所示，上述鱼类智能识别监测系统中，鱼群密度处理器200包括：

回波信号接收模块201，用于使用接收换能器接收多波束成像声呐101的鱼群回波信号。结合图3所示的多波束成像声呐的结构可知，多波束成像声呐101作为主动声呐，声基阵为电子舱中的发射装置提供能量，发射机在得到采集及处理电路的信号源后，能够利用收发换能器(即接收换能器)向水下预定半径范围发射不同类型和不同频率的声呐信号，利用接收换能器接收探测目标的回波信号。通过对不同探测目标的回波信号数据分析，辅于水下鱼类视觉特征提取算法和声学可见性度量技术，能够实现对不同水文条件下鱼群探测及密度反演研究。

信号预处理模块202，用于使用图像解析算法，去除鱼群回波信号中的图像噪点和边界模糊，得到预处理后的鱼群回波信号。基于回波信号图像，本申请实施例采用图像增强和边缘监测等图像解析算法，剔除容易受环境、障碍物和机器传输等影响引起的图像噪点和边界模糊现象，从而得到预处理后的鱼群回波信号。

另外，由于检测目标的粒径分布信息对目标密度的精度影响较大，容易造成漏检情况，因此本申请实施例采用基于预测滤波技术、回波积分和计数算法等多重信息获取方法，通过对鱼群滤波系统的冲击响应进行估计，能够完成不同密度鱼群或鱼层分布位置、分布规模和丰度的高精度检测。

响应估计模块203，用于根据回波积分和计数算法，对预处理后的鱼群回波信号估计滤波冲击响应，得到鱼群密度信息。通过采用基于预测滤波技术、回波积分法和回波计数算法等多重信息获取方法对鱼群回波信号估计滤波冲击响应，能够完成不同密度鱼群或鱼层分布位置、鱼群规模和丰度的高精度检测。回波统计鱼群数量密度的评估方法具有无需回波信号绝对量和鱼群中个体鱼的平均目标强度先验知识的优点，回波统计鱼群密度评估法参数的实际测量计算，通过能量阈值数据筛选方法，能够获取不同鱼群密度条件下分布比较均匀的鱼群回波数据。通过卡尔曼滤波预测算法，预测滤波通过比较测量输出与预测输出来估计对应的模型误差，从而修正滤波器状态，实现对真实状态的估计。其中，预测滤波算法包括图像滤波和预测仿真两大步骤，其中，常用的滤波技术包括有限记忆最小平方滤波、α-β-γ滤波和卡尔曼滤波等方法；而预测仿真步骤需要设计专门的仿真模型进行预测。回波积分法即回波能量积分法，具体在鱼群回波信号的波束形成后，计算每个波束中每个点的回波能量，将实际能量E₁的平均值记为<E>，则实际N次检测的均值是<E>的估计值。在检测次数足够多的情况下，趋近于实际值<E>，即回波积分结果的期望值。本申请实施例中，回波计数法指单位探测体积中获得的鱼类目标个体数量，适用于低密集度(可区分个体)的鱼类密度计算。通过上述方法能够减少鱼群回波信号出现的误差，得到鱼群密度信息。

鱼群声散射模型构建模块204，用于构建鱼群声散射模型，将鱼群回波信号输入至鱼群声散射模型，检测得到鱼群种类和行为轨迹信息。具体地，通过深度卷积网络的方法构建包含多普勒频移信息的鱼群声散射模型，使用该鱼群声散射模型分析不同鱼类种群和不同密度鱼群的行为轨迹，从而实现对鱼类信息的全面智能检测。鱼群声散射模型根据其是否以规则的几何形状为建模基础，可分为基准模型和非基准模型两大类。基准模型中的几何形状包括：球体、球形壳体、长椭球体及有限圆柱体。非基准模型则以数值计算方法为基础进行模型模拟分析。本申请实施例提供的技术方案，通过使用接收换能器接收多波束成像声呐101的鱼群回波信号，从而通过对不同探测目标的回波信号数据分析，实现不同水文条件下鱼群探测和密度反演研究，信号预处理模块202能够使用图像解析算法去除鱼群回波信号中的图像噪点和边界模糊情况，得到预处理后的鱼群回波信号，另外通过响应估计模型根据回波积分和计数算法对预处理后的鱼群回波信号估计滤波冲击响应，从而得到鱼群密度信息。最后使用鱼群声散射模型构建模块204构建鱼群声散射模型，监测得到鱼群种类和行为轨迹信息。通过上述方法能够实现鱼群信息的全面智能检测。

其中，作为一种优选的实施例，如图7所示，上述鱼类智能识别监测系统中，鱼群声散射模型构建模块204包括：

声散射模型构建单元2041，用于使用深度卷积神经网络构建包含多普勒频移信息的鱼群声散射模型。

声散射模型训练单元2042，用于从鱼群回波信号中提取多普勒频移信息，将多普勒频移信息输入至鱼群声散射模型进行训练，得到鱼群空间分布曲线。

鱼群种类和行为轨迹分析单元2043，用于根据鱼群空间分布曲线，分析得到鱼群种类和行为轨迹信息。这里对拍摄到的鱼类图片，放入预先建立好的鱼类识别算法模型中，就能够完成图像识别。该鱼类识别算法模型能够基于卷积神经网络搭建，通过大量鱼类图像作为数据集进行训练测试和验证，在模型收敛时，或者模型识别准确率达到预定高度时即可得到测试完成的鱼类识别算法模型，使用该鱼类识别算法模型就能够对拍摄到的鱼类图像进行鱼群种类的识别。

本发明实施例提供的技术方案中，在响应估计模块203估计得到鱼群密度信息的基础上，鱼群声散射模型构建模块204能够使用深度卷积神经网络构建包含多普勒频移信息的鱼群声散射模型，然后从鱼群回波信号中提取多普勒频移信息，将该多普勒频移信息输入至鱼群声散射模型中进行训练，得到鱼群空间分布曲线，从而根据鱼群空间分布区域，分析得到鱼群种类和行为轨迹信息，实现迁移鱼群游动速度的无损检测，分析得到不同鱼类种群和不同密度鱼群的行为轨迹，实现鱼类信息的全面智能检测。

另外，在得到鱼群图像数据后，本发明实施例通过图像AI智能识别的方式，从鱼群图像数据中提取得到鱼类识别信息。具体地，作为一种优选的实施例，如图8所示，上述鱼类智能识别监测系统中鱼类智能识别处理器300包括：

图像增强处理模块301，用于使用图像增强处理技术对鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据。本申请实施例以自主研制水下探鱼机器人100拍摄的鱼类高清图像为研究对象，为突出显示图像感兴趣目标区域，采用高斯滤波、自适应中值滤波和图像剪裁等图像增强处理技术，保证水下鱼类图像数据库数量和质量。

图像增强处理模块301使用的图像增强处理技术主要采用：

1、灰度世界算法：灰度世界算法以灰度世界假设为基础，该假设认为：对于一幅有着大量色彩变化的图像，R,G,B三个分量的平均值趋于同一灰度值Gray。从物理意义上讲，灰色世界法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”。颜色平衡算法将这一假设强制应用于待处理图像，可以从图像中消除环境光的影响，获得原始场景图像。一般有两种方法确定Gray值。

1)使用固定值，对于8位的图像(0～255)通常取128作为灰度值

2)计算增益系数,分别计算三通道的平均值avgR，avgG和avgB，则

Avg＝(avgR+avgG+avgB)/3

kr＝Avg/avgR

kg＝Avg/avgG

kb＝Avg/avgB

利用计算出的增益系数，重新计算每个像素值，构成新的图片。

2、Retinex算法：视网膜-大脑皮层(Retinex)理论认为世界是无色的，人眼看到的世界是光与物质相互作用的结果，也就是说，映射到人眼中的图像和光的长波(R)、中波(G)、短波(B)以及物体的反射性质有关。环境光照射分量，即入射光L，照射到反射物体R上，然后进入到观察者的眼睛中，就能够得到观察者看到的图像I。那么人眼中看到的图像I，其计算方法如下：

I(x,y)＝R(x,y)L(x,y)

其中，I是人眼中看到的图像，R是物体的反射分量，L是环境光照射分量，(x,y)是二维图像对应的位置。它通过估算L来计算R，具体来说，L可以通过高斯模糊和I做卷积运算求得，用公式表示为：

log)R_＝log(I)-log(L)

L＝F*L

其中F是高斯模糊的滤波器，*表示卷积运算

其中，σ称为高斯周围空间常数(Gaussian Surround Space Constant)，也就是算法中所谓的尺度，对图像处理有比较大的影响，对于二维图像，r²等于对应位置即：x²+y²，即一般认为光照分量是原图像经过高斯滤波后的结果。

3、自动色彩均衡(ACE)

ACE算法源自retinex算法，可以调整图像的对比度，实现人眼色彩恒常性和亮度恒常性，该算法考虑了图像中颜色和亮度的空间位置关系，进行局部特性的自适应滤波，实现具有局部和非线性特征的图像亮度与色彩调整和对比度调整，同时满足灰色世界理论假设和白色斑点假设。

第一步：对图像进行色彩/空域调整，完成图像的色差校正，得到空域重构图像；

式中，Rc是中间结果，I_c(p)-I_c(j)为两个不同点的亮度差，d(p,j)表示距离度量函数,r(*)为亮度表现函数，需是奇函数；这一步可以适应局部图像对比度，r(*)能够放大较小的差异，并丰富大的差异，根据局部内容扩展或者压缩动态范围。一般得，r(*)为：

第二步：对校正后的图像进行动态扩展。ACE算法是对单一色道进行的，对于彩色图片需要对每一个色道分别处理

其中存在一种简单的线性扩展：

R(x)＝round[127.5+ω*R_c(p)]，其中，ω表示线段[(0，m_c)],(255,M_c)的斜率，且有：

M_c＝min[R_c(p)],M_c＝max[R_c(p)]

第三步：利用下面的公式将R(x)展到[0,1]之间，得到增强后的通道

生成对抗网络模块302，用于使用对抗生成网络对图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据。考虑到水下不同垂直剖面位置处鱼群图像数据的亮度色度差异和水下有机碎屑对目标检测的影响，使用深度学习中对抗生成网络(Generative Adversarial Net)等图像超分辨率方法，能够解决鱼类运动过程中引起的模糊和背景对比度低的问题。对抗生成网络至少包括生成器、分类器和鉴别器；具体地，在本申请实施例中，使用目标鱼群图像数据集训练生成对抗网络，具体地过程如下：使用对抗生成网络中的生成器，根据鱼群图像数据中的鱼群特征生成伪鱼群特征图像；使用对抗生成网络中的分类器，从所述伪鱼群特征图像和上述鱼群图像数据集中识别得到真鱼群特征图像；将伪鱼群特征图像和真鱼群特征图像输入至所述生成对抗网络中的鉴别器进行分类；使用鉴别器的分类结果训练生成器；当所述生成器训练完成，即生成器生成的伪鱼群特征图像能够通过鉴别器的鉴别时，使用生成器生成具有高分辨率的鱼群图像数据合集。对抗生成网络通过一系列低分辨率图像和与之对应的高分辨率图像作为训练数据，学习从低分辨率图像到高分辨率图像的映射函数，这函数通过卷积神经网络来表示。传统的方法一般处理的是较小的放大倍数，当图像的放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节上的真实感。这是因为传统的方法使用的代价函数一般是最小均方差(MSE)，即

其中，为基于像素空间的最小均方差MSE的代价函数，为高分辨率图像，G_θG(I^LR)为生成网络输出的重建图像；rW为x变量的取值最大点，rH为y变量的取值最大点；LR为低分辨率图像，HR为高分辨率图像；SR为用SRGAN损失函数模型的指代变量没有拆分离开的具体含义；x,y指某一点于图像平面内的坐标表示。

进一步改进代价函数：

代价函数l^SR中，第一部分是基于内容X的代价函数，第二部分是基于对抗学习Gen的代价函数。基于内容的代价函数除了上述像素空间的最小均方差MSE以外，又包含了一个基于特征空间的最小均方差，该特征是利用VGG网络提取的图像高层次特征：

其中，为基于VGG网络的代价函数，为高分辨率图像I^HR经过VGG的第i层的中间输出结果，为上述中间输出结果在坐标(x,y)处的值，W和H分别为x和y变量的取值最大点。

对抗学习的代价函数是基于判别器输出的概率：

其中，D_θD是一个图像属于真实的高分辨率图像的概率。G_θG(I^LR)是重建的高分辨率图像。

因为水下鱼体形状弯曲、环境遮挡和拍摄角度等因素容易影响水下鱼群种类的识别，这就导致鱼群图像数据的特征提取困难。为了解决该问题，鱼类智能识别处理器300还包括：

鱼群特征提取模块303，用于使用密集连接卷积网络提取鱼群图像数据中的鱼群特征。通过使用人工智能数据中由数据驱动的密集连接卷积网络(例如：DenselyConnected Convolutional Networks和DenseNet)等方法，深入挖掘鱼类尺寸、形态和功能等多维度信息，从而筛选得到不同鱼类的精细可区分特征。密集连接卷积网络的的分类识别执行过程如图5所示，该过程包括：首先输入鱼群图像数据；通过卷积层对鱼群图像数据进行卷积，得到鱼群特征；然后使用密集块对卷积得到的鱼群特征进行标准化、激活和卷积等处理，再经过多次卷积池化以及密集块处理，就能够输出得到鱼群图像数据中的鱼群类型。其中，密集块包括多个卷积层和过滤层，经过多个卷年纪层分别进行多次标准化、激活函数处理和卷积处理，然后输入到过滤层进行过滤，能够进一步提取鱼类尺寸、形态和功能等多维度信息。

鱼类模型构建模块304，用于通过迁移学习算法选择模型网络参数，使用模型网络参数和鱼群特征构建鱼类识别模型。通过DTL(Deep Transfer Learning，深度迁移学习)、领域自适应DA(Domain Adaptation，领域自适应)等迁移学习方法，能够从源领域和多网络框架中自主学习相关知识和模式，迁移应用于鱼类目标域识别模型网络参数的选择，实现鱼类识别的无监督训练。在此基础上根据鱼类分类标准，通过融合鱼类全局特征和局部特征的方式构建基于深度卷积网络的鱼类识别模型，从而实现真实场景下不同鱼类的高精度自动识别。另外，鱼类模型是由鱼体模型和鱼鳔模型组成的。在低频区,鱼鳔作为主要散射体,可由球体模型表示；而在高频区，鱼体和鱼鳔都由基尔霍夫-射线近似模型表示,这种方法可包含鱼的实际形态。结合一种包含鱼之间多次散射和耦合效应的小鱼群低频声散射模型。为了进一步改进鱼丰度估计方法和鱼种识别方法的准确度和精确度，有必要仿真鱼群回波信号。在对鱼目标强度和鱼群目标强度仔细探讨的基础上，给出了一个能适用于不同成群条件下的鱼群回波仿真方案。

鱼类图像识别模块305，用于使用鱼类识别模型识别鱼类图像数据，得到鱼类识别信息。随着水下探鱼机器人100自动监测和深度网络自主学习，能够逐步丰富鱼类的数据库和标签库，从而逐步实现对城市湿地鱼类全口径智能监测。

在使用鱼类识别模型识别鱼类图像数据的方法中，主要采用YOLO算法作为目标检测的实用算法。YOLO算法作为one-stage目标检测算法最典型的代表，其基于深度神经网络进行对象的识别和定位，运行速度很快，可以用于实时系统。YOLO算法采用一个单独的CNN模型实现end-to-end的目标检测。首先将输入图片resize到448x448，然后送入CNN网络，最后处理网络预测结果得到检测的目标。相比R-CNN算法，其是一个统一的框架，其速度更快，而且YOLO的训练过程也是end-to-end的。YOLO的CNN网络将输入的图片分割成SxS网格，然后每个单元格负责去检测那些中心点落在该格子内的目标，每个单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为Pr(object)，当该边界框是背景时，即不含背景框，此时Pr(object)＝0。而当而当该边界框包含目标时，Pr(object)＝1。边界框边界框的准确度可以用预测框与实际框(ground truth)的IOU(intersection over union，交并比)来表征，记为：置信度可以定义为边界框的大小与位置可以用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。

本申请实施例提供的鱼类识别模块所采用的YOLO算法，主要使用YOLOv5模型，YOLOv5模型主要是用于进行鱼群图像数据目标检测的一个算法模型，目标是将这个模型在训练好之后进行量化以及裁剪，然后部署到操作系统内，在系统捕捉到图像后再通过该YOLOv5模型识别鱼类种类，将识别得到的鱼群种类返还给服务器，其中，反馈给服务器的是一个已经识别过鱼群种类的图像。

在本次设计中将采用自主拍摄的10000-20000张图片作为数据集，其中分为三个部分为训练集，验证集及测试集。通过对我们自己的训练集进行训练，预期最后对于图像识别的准确率达到90％以上。

其中，作为一种优选的实施例，如图9所示，上述鱼类智能识别监测系统中，鱼类模型构建模块304包括：

迁移学习单元3041，用于使用迁移学习技术，从源领域或多网络框架中学习迁移知识和迁移模式。

参数选择单元3042，用于使用迁移知识和迁移模式，选择深度卷积神经网络的模型网络参数。

网络搭建单元3043，用于使用模型网络参数，根据预先设定的鱼群分类标准搭建深度卷积神经网络。

识别模型构建单元3044，用于将鱼群特征输入至深度卷积神经网络进行训练，构建生物物种识别模型。

本申请实施例提供的技术方案，通过使用迁移学习技术从源领域或多网络框架中学习迁移知识和迁移模式，然后使用该迁移知识和迁移模式应用于鱼类目标域识别模型的模型网络参数的选择，从而实现鱼类识别的无监督训练。在此基础上根据鱼群分类标准，构建生物物种识别模型，就能够融合鱼类全局特征和局部特征，构建得到基于深度卷积神经网络的鱼类识别模型。其中，本申请实施例采用的无监督训练算法包括：聚类算法、无监督异常检测算法、小波变换、随机森林和Eclat算法等，对于通过传感器以及摄像头采集到的数据信息以及图像信息进行建立无监督训练模型。同样，识别模型构建单元3044构建得到的生物物种识别模型是通过基于CNN卷积神经网络，并将采集到的鱼群图像信息以及鱼类图像信息分别作为数据集，进行图像识别模型搭建的。

另外，作为一种优选的实施例，如图10所示，上述鱼类智能识别监测系统中，鱼类生态可视化监测平台400包括：

图像模型建立模块401，用于使用地理信息技术建立被监测区域的三维图像模型。鱼类生态可视化监测平台400基于web开发，部署在远程服务器上，该平台还能够用于生态监控状态评价。其中，鱼类生态可视化监测平台400的图像模型建立模块401基于高清影像和矢量地图数据搭建，依托二维和三维地理信息技术GIS技术建立被监测区域的三维图像模型，能够提供科学、快捷、动态和可视化的管理工具，管理展示包括水域地质地貌、环境和三维水体空间模型等基础数据以及水质、鱼类、鸟类和植物类型等专题数据。

信息管理融合模块402，用于使用数据管理工具对三维图像模型、鱼群密度信息和鱼类识别信息进行关联和融合，建立综合信息数据库。本申请实施例中以存储水域各类数据(例如上述基础数据和专题数据)为核心，开发数据管理工具，以上述三维图像模型的地理空间信息为基本载体，能够将鱼类数据、植物资源、鸟类数据、水质和气象等专题信息进行关联、融合和管理，从而建设得到综合信息数据库。

鱼群分布模型构建模块403，用于根据鱼类识别算法，使用三维图像模型融合鱼群密度信息和鱼类识别模型，得到鱼群分布空间模型，将鱼群分布空间模型存储至综合信息数据库。本申请实施例中，鱼类识别模块能够对远程识别计算机接收到的图像信息采用“鱼类识别”智能算法进行分析和计算，从而得到图像中鱼类的种类和数量信息，进而三维重建鱼群分布空间模型。在重建鱼群分布空间模型后将鱼类识别结果存储到上述综合信息数据库中，对于不能识别的未知鱼类，能够在图像中进行特殊标记，便于后续人工识别。本申请实施例是基于ALexNet、VGGNet等深度学习模型，以及基于鱼体背部轮廓相关系数算法，通过对鱼类数据集中的鱼类图像信息进行处理，将不同环境下采集到的图像信息进行旋转、平移和剪切等数据增广等手段对数据库中的数量进行扩大；空间分布模型的建立过程与前文中进行图像三维重建的过程相同。

可视化展示模块404，用于从综合信息数据库中提取并展示鱼群分布空间模型。结合图1所示是监测可知，本申请实施例提供的可视化展示模块404包括鱼群密度可视化单元、鱼类识别可视化单元、水质参数可视化单元和气象参数可视化单元。通过对水质数据、鱼类数据和水底植物数据进行分析，能够依托上述鱼类生态可视化监测平台400进一步构建水生态健康评价模型。

另外，基于上述方法实施例的同一构思，本申请实施例还提供了基于多传感器数据的鱼类智能识别监测方法，用于实现本申请的上述系统，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图11，图11为本发明实施例提供的一种基于多传感器数据的鱼类智能识别监测方法的流程示意图。如图11所示，该鱼类智能识别监测方法用于上述任一项实施例提供的鱼类智能识别监测系统，该鱼类智能识别监测方法包括：

S110：使用水下探鱼机器人搭载多波束成像声呐和高清摄像机分别获取水下被监测区域的鱼群声呐数据和鱼群图像数据。

S120：根据鱼群密度反演算法对多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息。在获取鱼群密度信息的同时，也能够对鱼群的日常行进轨迹以及分布进行建模，以便进行生态保护以及生物特性等方面的分析。

S130：根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息。

S140：鱼类生态可视化监测平台，用于对鱼群密度信息和鱼类识别信息进行可视化处理，实时显示鱼群密度信息和鱼类识别信息。

其中，作为一种优选的实施例，如图12所示，上述鱼类智能识别监测方法中，S130：根据鱼类识别算法对高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息的步骤，包括：

S131：使用图像增强处理技术对鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据；

S132：使用对抗生成网络对图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据；

S133：使用密集连接卷积网络提取鱼群图像数据中的鱼群特征；

S134：通过迁移学习算法选择模型网络参数，使用模型网络参数和鱼群特征构建鱼类识别模型；

S135：使用鱼类识别模型识别鱼类图像数据，得到鱼类识别信息。

另外，本申请上述实施例提供的鱼类智能识别监测系统是在LINUX操作系统基础上设计的。具体参见图14，图14所示的鱼类智能识别监测系统的技术路线图包括：

S201：Lunix系统硬件外设设计。

S202：应用程序功能设计，该应用程序功能设计包括摄像头定位旋转控制、摄像头拍照控制和采集图像上传功能等程序功能的设计。

S203：开发板模块设计，结合图2所示的水下探鱼机器人的结构图可知，该开发板模块设计包括电源模块设计、Linux核心板、信号采集单元设计和网络端口设计等模块的开发设计。

S204：系统与传感器整合设计。

S205：训练完成的算法模型部署到操作系统。这里的操作系统及S201所述的Lunix系统，训练完成的算法模块即上述用于识别鱼群种类的YOLOv5模型。

S206：检验系统自动控制准确性以及目标检测准确率。鱼类智能识别监测系统的相关算法模型部署到操作系统后，需要检测该鱼类智能识别监测系统在自动控制准确性和目标检测准确率方面的精度，当精度达标后方能将该鱼类智能识别监测系统投入使用。

作为一种优选的实施例，本申请实施例提供的鱼类智能识别监测方法包括以下步骤：

(1)图像获取：在进行图像处理之前，先要用高清摄像机获取三维物体的二维图像。获取二维图像需要考虑光照条件和相机的几何特性等问题对后续的图像处理造成的影响。

(2)摄像机标定：利用高清摄像机所拍摄到的图像来还原空间中的物体。在这里，假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]＝M[物]。这里，矩阵M可以看成是摄像机成像的几何模型。M中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。

(3)特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。

(4)立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。

(5)三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。

综上，本申请实施例提供的基于多传感器数据的鱼类智能识别监测系统，通过构建水下探鱼机器人，该水下探鱼机器人搭载多波束成像声呐和高清摄像机分别获取鱼群声呐数据和鱼群图像数据，通过图像AI智能识别技术对鱼群类别进行识别，能够利于鱼类的自动监测和水生态管理工作，同时使用基于机器视觉的AI智能识别技术，得到鱼群密度信息和鱼类识别信息，通过鱼类生态可视化监测平台进行可视化处理，从而能够实时显示实时鱼群密度信息和鱼类识别信息。综上，本申请上述技术方案提供的技术方案，能够解决现有技术中单一的计算机视觉技术活声学信号监测技术难以满足多细粒度的鱼类资源监测需求的问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种基于多传感器数据的鱼类智能识别监测系统，其特征在于，包括：

水下探鱼机器人(100)，所述水下探鱼机器人(100)搭载有多波束成像声呐(101)和高清摄像机(102)；

鱼群密度处理器(200)，用于根据鱼群密度反演算法对所述多波束成像声呐(101)上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息；

鱼类智能识别处理器(300)，用于根据鱼类识别算法对所述高清摄像机(102)上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息；

鱼类生态可视化监测平台(400)，用于对所述鱼群密度信息和鱼类识别信息进行可视化处理，实时显示所述鱼群密度信息和鱼类识别信息。

2.根据权利要求1所述的鱼类智能识别监测系统，其特征在于，所述水下探鱼机器人(100)还包括：

供电设备(103)、运载平台(104)和传感设备(105)；其中，

所述供电设备(103)分别与所述运载平台(104)和传感设备(105)电连接，用于分别为所述运载平台(104)和传感设备(105)供电；

所述运载平台(104)配置有多个推进器(106)，且搭载有所述传感设备(105)；

所述传感设备(105)用于获取鱼群传感数据；

所述运载平台(104)，还用于根据所述鱼群传感数据生成规划路径，按照所述规划路径控制所述推进器推进所述水下探鱼机器人移动至鱼群附近。

3.根据权利要求2所述的鱼类智能识别监测系统，其特征在于，所述传感设备(105)，包括：

所述多波束成像声呐(101)、所述高清摄像机(102)、传感器阵列(1051)和无线数传模块(1052)；其中，

所述多波束成像声呐(101)，用于实时扫描水下状态，获取所述鱼群声呐数据；

所述高清摄像机(102)，用于当所述水下探鱼机器人移动至鱼群附近预定距离范围内时，对所述鱼群进行拍摄，得到鱼群图像数据；

所述传感器阵列(1051)内置有多种信号接口，用于外接多种类型的传感器；

所述无线数传模块(1052)分别与所述多波束成像声呐(101)、所述高清摄像机(102)和传感器阵列(1051)电连接，用于通过无线方式上传所述鱼群声呐数据、所述鱼群图像数据和所述多种类型的传感器得到的传感器信号。

4.根据权利要求1所述的鱼类智能识别监测系统，其特征在于，所述鱼群密度处理器(200)，包括：

回波信号接收模块(201)，用于使用接收换能器接收所述多波束成像声呐的鱼群回波信号；

信号预处理模块(202)，用于使用图像解析算法，去除所述鱼群回波信号中的图像噪点和边界模糊，得到预处理后的鱼群回波信号；

响应估计模块(203)，用于根据回波积分和计数算法，对所述预处理后的鱼群回波信号估计滤波冲击响应，得到所述鱼群密度信息；

鱼群声散射模型构建模块(204)，用于构建鱼群声散射模型，将所述鱼群回波信号输入至所述鱼群声散射模型，检测得到鱼群种类和行为轨迹信息。

5.根据权利要求4所述的鱼类智能识别监测系统，其特征在于，所述鱼群声散射模型构建模块(204)，包括：

声散射模型构建单元(2041)，用于使用深度卷积神经网络构建包含多普勒频移信息的鱼群声散射模型；

声散射模型训练单元(2042)，用于从所述鱼群回波信号中提取多普勒频移信息，将所述多普勒频移信息输入至所述鱼群声散射模型进行训练，得到鱼群空间分布曲线；

鱼群种类和行为轨迹分析单元(2043)，用于根据所述鱼群空间分布曲线，分析得到所述鱼群种类和行为轨迹信息。

6.根据权利要求1所述的鱼类智能识别监测系统，其特征在于，所述鱼类智能识别处理器(300)，包括：

图像增强处理模块(301)，用于使用图像增强处理技术对所述鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据；

生成对抗网络模块(302)，用于使用对抗生成网络对所述图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据；

鱼群特征提取模块(303)，用于使用密集连接卷积网络提取所述鱼群图像数据中的鱼群特征；

鱼类模型构建模块(304)，用于通过迁移学习算法选择模型网络参数，使用所述模型网络参数和所述鱼群特征构建鱼类识别模型；

鱼类图像识别模块(305)，用于使用所述鱼类识别模型识别所述鱼类图像数据，得到所述鱼类识别信息。

7.根据权利要求6所述的鱼类智能识别监测系统，其特征在于，所述鱼类模型构建模块(304)，包括：

迁移学习单元(3041)，用于使用迁移学习技术，从源领域或多网络框架中学习迁移知识和迁移模式；

参数选择单元(3042)，用于使用所述迁移知识和迁移模式，选择深度卷积神经网络的模型网络参数；

网络搭建单元(3043)，用于使用所述模型网络参数，根据预先设定的鱼群分类标准搭建深度卷积神经网络；

识别模型构建单元(3044)，用于将所述鱼群特征输入至所述深度卷积神经网络进行训练，构建生物物种识别模型。

8.根据权利要求1所述的鱼类智能识别监测系统，其特征在于，所述鱼类生态可视化监测平台(400)，包括：

图像模型建立模块(401)，用于使用地理信息技术建立被监测区域的三维图像模型；

信息管理融合模块(402)，用于使用数据管理工具对所述三维图像模型、所述鱼群密度信息和所述鱼类识别信息进行关联和融合，建立综合信息数据库；

鱼群分布模型构建模块(403)，用于根据鱼类识别算法，使用所述三维图像模型融合所述鱼群密度信息和所述鱼类识别模型，构建得到鱼群分布空间模型，将所述鱼群分布空间模型存储至所述综合信息数据库；

可视化展示模块(404)，用于从所述综合信息数据库中提取并展示鱼群分布空间模型。

9.一种基于多传感器数据的鱼类智能识别监测方法，其特征在于，用于权利要求1-8中任一项所述的鱼类智能识别监测系统，所述鱼类智能识别监测方法包括：

根据鱼群密度反演算法对所述多波束成像声呐上传的鱼群声呐数据进行鱼群密度反演计算，得到鱼群密度信息；

根据鱼类识别算法对所述高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息；

鱼类生态可视化监测平台，用于对所述鱼群密度信息和鱼类识别信息进行可视化处理，实时显示所述鱼群密度信息和鱼类识别信息。

10.根据权利要求9所述的鱼类智能识别监测方法，其特征在于，所述根据鱼类识别算法对所述高清摄像机上传的鱼群图像数据进行鱼类识别计算，得到鱼类识别信息的步骤，包括：

使用图像增强处理技术对所述鱼群图像数据进行图像增强处理，得到多张图像增强后的鱼群图像数据；

使用对抗生成网络对所述图像增强后的鱼群图像数据进行分辨率处理，得到分辨率处理后的鱼群图像数据；

使用密集连接卷积网络提取所述鱼群图像数据中的鱼群特征；

通过迁移学习算法选择模型网络参数，使用所述模型网络参数和所述鱼群特征构建鱼类识别模型；

使用所述鱼类识别模型识别所述鱼类图像数据，得到所述鱼类识别信息。