CN112906510A - 一种渔业资源统计方法及系统 - Google Patents

Abstract

本发明涉及一种渔业资源统计方法及系统，该方法包括：获取待统计水域的水下视频图像；采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强；采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量；对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。本发明降低人工成本的同时提高了统计效率。

Description

一种渔业资源统计方法及系统

技术领域

本发明涉及资源统计领域，特别是涉及一种渔业资源统计方法及系统。

背景技术

西藏自治区位于青藏高原核心区域，是中国平均海拔最高、河流数量最多、湖泊面积最大的省区，也是西南重要安全屏障，战略地位尤为凸显。近年来，西藏雅鲁藏布江等重点水域受到外来物种入侵、过度捕捞、水电工程建设等人类活动影响，渔业资源出现衰退趋势。青藏高原是全球独特的生态地域，生态安全阈值幅度窄，环境人口容量低，生态系统一旦破坏，很难恢复。然而，近年来以雅江中游为代表的西藏人口密集区水能资源开发利用与渔业资源和生态环境保护之间的矛盾日益突出，已成为亟待解决的重大科学与民生问题。

水利工程设施的修建对河流上下游鱼类交流形成一定的天然阻隔，对作为鱼类重要栖息地的河流开发河段上下游的宽谷区段造成一定影响，从生境多样性和河流连通性保护的角度来看，在水利工程设施中研究设计过鱼设施对于保护渔业资源和生物多样性是必要的。

根据西藏鱼类区系和鱼类地理研究，西藏鱼类区系基本有3大类群组成：鲤形目鲤科的裂腹鱼亚科、鳅科的条鳅亚科和鲇形目的鮡科，三大类群的鱼类在整个西藏鱼类群体中占比为93.4％以上，因此针对以上三大鱼类种属进行渔业资源调查就可基本上涵盖93.4％以上的西藏鱼类。

传统的内陆渔业资源调查方法根据采样断面实际渔业生态环境分类情况可以划分为两类：(1)以围(拖)网具为主要渔法进行渔获物采集方法：水库(湖泊)的渔获物采集以设置定置网、刺网具为主，同时在水库(湖泊)水浅的区域、上游河流入库点利用设置定置网进行捕捞并以其他可采用的方法(目前以电捕居多)进行渔获物采集。(2)以定置网具为主要渔法进行渔获物采集方法：河流采样断面的渔获物采集以定置网具为主要渔法并附以其他可采用的方法(目前以电捕居多)进行渔获物采集。在进行鱼类现场调查采集渔获物过程中，对有代表性采集方法的过程进行录影、拍照，特别是对不易采集到的种类及时地进行录影、拍照将会是渔获物调查结果分析的有益补充。

通过对各类调查方法总结分析可以得出，人工观测、网具回捕、张网法等直接法，虽然可以判断过鱼种类，但无法自动统计过鱼数量，对运行管理人员对鱼类的识别的业务水平要求高，过度依赖人工操作，运行管理成本高。而且方法可重复性不高，效率和准确率较低，难以维持长时间的运行效果监测，在运行管理阶段不具备可操作性。

现有的调查技术和方法太依赖人工操作，无法实现鱼类调查的自动化管理。

发明内容

本发明的目的是提供一种渔业资源统计方法及系统，降低人工成本的同时提高了统计效率。

为实现上述目的，本发明提供了如下方案：

一种渔业资源统计方法，所述方法包括：

获取待统计水域的水下视频图像；

采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强；

采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量；

对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

可选地，所述获取待统计水域的水下视频图像，具体包括：

通过水下摄像头实时采集待统计水域的水下视频图像。

可选地，所述对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征，具体包括：

通过鱼类三维表型软件将识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

可选地，所述采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量，具体包括：

获取鱼类图像数据集；

对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

可选地，所述神经网络模型为Faster-RCNN算法模型。

本发明还公开了一种渔业资源统计系统，所述系统包括：

视频图像获取模块，用于获取待统计水域的水下视频图像；

图像增强模块，用于采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强；

鱼类识别模块，用于采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量；

表型特征提取模块，用于对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

可选地，所述视频图像获取模块，具体包括：

视频图像获取单元，用于通过水下摄像头实时采集待统计水域的水下视频图像。

可选地，所述表型特征提取模块，具体包括：

直接表型特征获取单元，用于通过鱼类三维表型软件将识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

间接表型特征获取单元，用于对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

可选地，所述鱼类识别模块，具体包括：

图像数据集获取单元，用于获取鱼类图像数据集；

标记单元，用于对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

识别单元，用于采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

可选地，所述神经网络模型为Faster-RCNN算法模型。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种渔业资源统计方法及系统，通过对获得的水下视频图像进行图像增强，并采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量，对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征，实现待统计水域中鱼的种类及各种类鱼的数量的自动化统计，以及各种鱼类的表型特征的自动化提取，降低人工成本的同时提高了统计效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种渔业资源统计方法流程示意图；

图2为本发明一种渔业资源统计系统结构示意图；

图3为本发明Faster-RCNN算法模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种渔业资源统计方法及系统，降低人工成本的同时提高了统计效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种渔业资源统计方法流程示意图，如图1所示，一种渔业资源统计方法，所述方法包括：

步骤101：获取待统计水域的水下视频图像。

所述获取待统计水域的水下视频图像，具体包括：

通过高清水下摄像头实时采集待统计水域的水下视频图像。水下视频图像以RTSP(Real Time Streaming Protocol，实时流传输协议)视频流的方式实时传输到图像增强终端。

步骤102：采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强。

图像增强终端采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强。

Retinex(视网膜大脑皮层理论)的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即Retinex是以色感一致性(颜色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。40多年来，研究人员模仿人类视觉系统发展了Retinex算法，从单尺度Retinex算法，MSR(Multi-Scale Retinex，多尺度视网膜算法)改进成多尺度加权平均的MSR算法，再发展成彩色恢复多尺度MSRCR(Multi-Scale Retinex with ColorRestoration，具有色彩恢复的多尺度视网膜图像增强算法)和色彩保护多尺度MSRCP(Multi-Scale Retinex with Chromaticity Preservation，具有色彩保护的多尺度视网膜图像增强算法)。

步骤103：采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

所述采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量，具体包括：

获取鱼类图像数据集；

对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

所述神经网络模型为Faster-RCNN(Faster-Region-Convolutional NeuralNetworks)算法模型。Faster-RCNN算法模型的结构示意图如图3所示。对于一副任意大小P×Q的图像：

首先缩放至固定大小M×N，然后将M×N图像送入网络；

而Conv layers(转换层)中包含了13个conv(卷积)层+13个relu(线性单元)层+4个pooling(池化)层；

RPN(region proposal network区域建议网络)首先经过3×3卷积，再分别生成positive anchors(正锚点)和对应bounding box regression(边界框回归)偏移量，然后计算出proposals(建议区域/候选框)；

而Roi Pooling(池化)层则利用proposals(建议区域/候选框)从feature maps(特征图)中提取proposal feature(建立特征图)送入后续全连接和softmax网络作classification(即分类proposal到底是什么object)。

Faster-RCNN是目前比较流行的目标检测算法，Faster-RCNN在精度和速度上都能满足鱼类识别的要求，其主要训练步骤如下：

第一步：将事先采集好的鱼类图像进行人工标注形成标注数据集，标注数据集包括训练集、验证集和测试集。

第二步：修改初始Faster-RCNN算法模型的系统设置和参数设置；

第三步：通过标注数据集训练候选区域生成网络：将图片输入到可共享的卷积层中，得到特征图；用一个小的卷积网络来卷积这些特征，在特征图上每一点对应原图的位置生成N个矩形窗口，称作锚点(Anchor)，然后将锚点分别输入到两个平行的全连接层中进行回归(求目标框的位置)和分类(确定该框中是不是目标)；训练集标记好了每个框的位置，和回归输出的框的位置比较，用梯度下降来训练得到与Faster-RCNN有一系列相同卷积层的候选区域生成网络。

第四步：通过训练好的候选区域生成网络选取标注数据集中的建议区域；

第五步：通过第四步得到的建议区域映射到第二步生成的基础卷积神经网络的最后一层卷积特征图上；

第六步：将第五步得到的特征图通过池化层使每个池化生成固定尺寸的建议特征图；

第七步：利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对第六步得到的建议特征图进行联合训练得到识别采集到的鱼群图像中鱼类种属的目标检测网络(神经网络模型)。

步骤104：对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

所述对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征，具体包括：

通过鱼类三维表型软件对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

下面以具体实施例的方式说明本发明一种渔业资源统计方法。

本发明一种渔业资源统计方法主要应用于包括视频采集系统、实时图像增强系统、鱼类智能化识别系统以及西藏鱼类三维表型软件。

首先，西藏地区河流水质普遍较为浑浊，给水下图像采集造成了极大地困难。因此通过高清水下摄像头搭配实时图像增强系统进行视频采集工作，水下摄像头配备补光光源，以解决水下拍摄光线不足的问题，采集到的视频图像以RTSP视频流的方式传输到实时图像增强系统终端，终端内置图像增强算法，对每一帧采集的视频图像进行增强，以解决水质浑浊产生的拍摄不清的问题。

然后，将经过实时图像增强系统处理的实时采集图像输入到鱼类智能化识别系统终端，终端内置训练好的基于深度学习的鱼类种类识别算法，通过输入的实时采集图像可以识别出图像中的鱼类种类(裂腹鱼科、高原鳅科、鮡科、其他鱼类)，并统计各类鱼类的数量。

最后将调查到的主要鱼类的图像输入到西藏鱼类三维表型软件进行表型特征提取。

本发明一种渔业资源统计方法主要步骤如下：

Step1：在渔船底部安装高清水下摄像头进行水下拍摄。

Step2：将高清水下摄像头采集的视频图像以RTSP视频流的方式实时传输到图像增强终端。

灰度调整可以突出图像中感兴趣的目标或灰度区间，抑制那些不感兴趣的灰度区间，同时不会改变图像中的空间关系，调整灰度值可以较好地将鱼和浑水分离出来，因此采用灰度变换增强实现图像增强。

Step3：将Step2得到的高清鱼类图像输入到鱼类智能化识别终端，通过训练好的内置深度学习算法的神经网络模型识别鱼类种类并计数。

Faster-RCNN是目前比较流行的目标检测算法，其在精度和速度上都能满足鱼类识别的要求，Faster-RCNN算法模型的主要训练步骤如下：

第一步：将事先采集好的西藏主要鱼类(裂腹鱼、高原鳅科、鮡科)图像进行人工标注形成标注数据集(训练集、验证集、测试集)。

第二步：修改初始Faster-RCNN模型的系统设置和参数设置，获得基础卷积神经网络。

第三步：通过标注数据集训练候选区域生成网络：将训练集中图片输入到可共享的卷积层中，得到特征图；用一个小的卷积网络来卷积这些特征，在特征图上每一点对应原图的位置生成N个矩形窗口，称作锚点(Anchor)，然后将锚点分别输入到两个平行的全连接层中进行回归(求目标框的位置)和分类(确定该框中是不是目标)；训练集标记好了每个框的位置和回归输出的框的位置比较，用梯度下降来训练得到与Faster-RCNN有一系列相同卷积层的候选区域生成网络。

第四步：通过训练好的候选区域生成网络选取标注数据集中的建议区域。

第五步：通过第四步得到的建议区域映射到第二步生成的基础卷积神经网络的最后一层卷积特征图上。

第六步：将第五步得到的特征图通过池化层使每个池化生成固定尺寸的建议特征图。

第七步：利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对第六步得到的建议特征图进行联合训练得到识别采集到的鱼群图像中鱼类种属的目标检测网络。

Step4：通过Step3得到的鱼类种类(裂腹鱼、高原鳅科、鮡科)以及数量数据，统计输出各个时间段的鱼类种类和数量。

Step5：通过Step4得出的调查鱼类种类统计资料，从采集到的鱼类图像中选取各种类鱼高清图像输入到西藏鱼类三维表型软件(高原鱼三维表型分析软件)进行直接表型特征提取及间接表型特征计算并建立各种主要鱼类表型特征数据库作为渔业资源调查结果输出。直接表型特征主要包括：全长、体长、头长、尾长、吻长、眼径等。间接表型特征通过直接表型特征进行二次计算，主要包括：长短轴之比、尾型特征、鳍型特征、相对位置特征等。

本发明实现了渔业资源调查中鱼类数量统计和鱼类种类识别的自动化操作，以及对调查鱼类进行三维表型分析和鱼类调查的智能化管理，提高了渔业资源统计效率、准确性和及时性。

图2为本发明一种渔业资源统计系统结构示意图，如图2所示，一种渔业资源统计系统包括：

视频图像获取模块201，用于获取待统计水域的水下视频图像。

所述视频图像获取模块201，具体包括：

视频图像获取单元，用于通过水下摄像头实时采集待统计水域的水下视频图像。

图像增强模块202，用于采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强。

鱼类识别模块203，用于采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

所述鱼类识别模块203，具体包括：

图像数据集获取单元，用于获取鱼类图像数据集；

标记单元，用于对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

识别单元，用于采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

所述神经网络模型为Faster-RCNN算法模型。

表型特征提取模块204，用于对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

所述表型特征提取模块204，具体包括：

直接表型特征获取单元，用于通过鱼类三维表型软件将识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

间接表型特征获取单元，用于对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种渔业资源统计方法，其特征在于，所述方法包括：

获取待统计水域的水下视频图像；

采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强；

采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量；

对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

2.根据权利要求1所述的渔业资源统计方法，其特征在于，所述获取待统计水域的水下视频图像，具体包括：

通过水下摄像头实时采集待统计水域的水下视频图像。

3.根据权利要求1所述的渔业资源统计方法，其特征在于，所述对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征，具体包括：

通过鱼类三维表型软件将识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

4.根据权利要求1所述的渔业资源统计方法，其特征在于，所述采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量，具体包括：

获取鱼类图像数据集；

对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

5.根据权利要求1所述的渔业资源统计方法，其特征在于，所述神经网络模型为Faster-RCNN算法模型。

6.一种渔业资源统计系统，其特征在于，所述系统包括：

视频图像获取模块，用于获取待统计水域的水下视频图像；

图像增强模块，用于采用具有色彩保护的多尺度视网膜图像增强算法对每一帧所述视频图像进行图像增强；

鱼类识别模块，用于采用深度学习算法识别增强后所述视频图像中鱼的种类及各种类鱼的数量；

表型特征提取模块，用于对识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的表型特征。

7.根据权利要求6所述的渔业资源统计系统，其特征在于，所述视频图像获取模块，具体包括：

视频图像获取单元，用于通过水下摄像头实时采集待统计水域的水下视频图像。

8.根据权利要求6所述的渔业资源统计系统，其特征在于，所述表型特征提取模块，具体包括：

直接表型特征获取单元，用于通过鱼类三维表型软件将识别到的各种鱼类的图像进行表型特征提取，获得各种鱼类的直接表型特征；所述直接表型特征包括鱼的全长、体长、头长、尾长、吻长和眼径；

间接表型特征获取单元，用于对所述直接表型特征进行二次计算获得间接表型特征；所述间接表型特征包括长短轴之比、尾型特征、鳍型特征和相对位置。

9.根据权利要求6所述的渔业资源统计系统，其特征在于，所述鱼类识别模块，具体包括：

图像数据集获取单元，用于获取鱼类图像数据集；

标记单元，用于对所述鱼类图像数据集进行鱼的种类的标记及各种类的鱼的数量统计，获得所述鱼类图像数据集中鱼的种类及对应数量；

模型训练单元，用于以所述鱼类图像数据集中鱼类图像为输入，以鱼的种类及对应数量为输出训练神经网络模型；所述神经网络模型内置所述深度学习算法；

识别单元，用于采用训练好的神经网络模型识别增强后所述视频图像中鱼的种类及各种类鱼的数量。

10.根据权利要求6所述的渔业资源统计系统，其特征在于，所述神经网络模型为Faster-RCNN算法模型。

Images