CN112949408A - 一种过鱼通道目标鱼类实时识别方法和系统 - Google Patents

一种过鱼通道目标鱼类实时识别方法和系统 Download PDF

Info

Publication number
CN112949408A
CN112949408A CN202110143951.4A CN202110143951A CN112949408A CN 112949408 A CN112949408 A CN 112949408A CN 202110143951 A CN202110143951 A CN 202110143951A CN 112949408 A CN112949408 A CN 112949408A
Authority
CN
China
Prior art keywords
neural network
network model
fish
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110143951.4A
Other languages
English (en)
Other versions
CN112949408B (zh
Inventor
申剑
柳春娜
蒋晓明
彭松涛
刘毅
余凌
晏国顺
朱蒙恩
訾进甲
刘轶
李建源
方仲超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Huadian Tibet Energy Co ltd
China Institute of Water Resources and Hydropower Research
Original Assignee
China Huadian Tibet Energy Co ltd
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Huadian Tibet Energy Co ltd, China Institute of Water Resources and Hydropower Research filed Critical China Huadian Tibet Energy Co ltd
Priority to CN202110143951.4A priority Critical patent/CN112949408B/zh
Publication of CN112949408A publication Critical patent/CN112949408A/zh
Application granted granted Critical
Publication of CN112949408B publication Critical patent/CN112949408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Abstract

本发明涉及一种过鱼通道目标鱼类实时识别方法和系统。所述过鱼通道目标鱼类实时识别方法包括:获取过鱼通道的待检测图像;获取目标鱼类检测模型;采用所述目标鱼类检测模型确定所述待检测图像中包含目标品种鱼类。本发明提供的过鱼通道目标鱼类实时识别方法和系统,基于目标鱼类检测模型,以在实现过鱼目标种类识别的高效性和高精确性的同时,能够实时识别过鱼通道内过鱼目标种类。

Description

一种过鱼通道目标鱼类实时识别方法和系统
技术领域
本发明涉及鱼类识别领域,特别是涉及一种过鱼通道目标鱼类实时识别方法和系统。
背景技术
传统的鱼类静态识别技术最初一般采用人工筛选,通过人为的设计特征,再基于这些特征选择分类器对目标进行识别,这种方法不仅劳动强度大,方法效率低下,提取的特征有限,分类精确度也较低。随着图像处理与机器视觉技术的发展,从基于特征值、相关系数、神经网络、分级分类、支持向量机,到后续利用多种形式的卷积神经网络对鱼类种类进行识别,新的鱼类识别技术不仅可以降低劳动强度,同时还可以提高准确率。
并且,早期的鱼类识别技术主要集中在品种识别、鱼龄判断和鱼类分级等方面。基本识别实现过程为:输入鱼类图像,选择鱼类特征,构建分类器,将特征向量输入分类器进行品种识别。其中分类方法包括:判别分析、BP(Back Propagation)神经网络、贝叶斯、轮廓匹配法和支持向量机(Support VectorMachine,SVM)等。
上世纪以来,计算机信息技术飞速发展,深度学习在计算机视觉等多个领域取得重大突破,将深度学习的强大能力及优势运用到鱼类图像识别领域,是对鱼类图像识别的一次重大创新和提升。鱼类体型各异、大小不一,识别起来较为复杂,而且同一类鱼的不同品种拥有相似的外形、尺寸以及纹理等特征,传统的监测识别方法很难得出正确的识别结果,而基于深度学习的方法,具有强大的学习能力及计算优势,不仅能保证鱼类识别的正确率,同时能以较高的效率得到监测分析结果。
目前基于深度学习的鱼类识别技术主要是目标检测算法。目标检测方法主要可分为RCNN(Region-CNN)系列的基于候选区域和深度学习分类的目标检测算法(如Fast RCNN、Faster RCNN以及R-FCN等)和以YOLO(You Only Look Once)为代表的基于深度学习的回归方法的目标检测算法(如YOLO、SSD),前者检测结果精度较高,但是速度较慢,后者精度较低但检测速度较快。
发明内容
为解决现有技术中存在的上述问题,本发明提供了一种过鱼通道目标鱼类实时识别方法和系统,以实现过鱼目标种类识别的高效性和高精确性。
为实现上述目的,本发明提供了如下方案:
一种过鱼通道目标鱼类实时识别方法,包括:
获取过鱼通道的待检测图像;
获取目标鱼类检测模型;所述目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型;
采用所述目标鱼类检测模型确定所述待检测图像中包含目标品种鱼类;所述目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
优选地,所述获取目标鱼类检测模型,之前还包括:
获取样本训练集、样本测试集和样本验证集;
获取初始神经网络模型;
采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型;
采用所述样本验证集验证所述第一神经网络模型是否满足预设收敛条件;当所述第一神经网络模型不满足预设收敛条件时,将所述样本训练集和所述样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至所述第一神经网络模型满足预设收敛条件;
采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型。
优选地,所述采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型,具体包括:
采用所述样本训练集对所述神经网络模型进行训练,得到所述神经网络模型输出的Softmax向量和坐标向量;
对所述Softmax向量进行交叉熵计算得到分类损失值;
对所述坐标向量进行Smooth L1 Loss计算得到回归损失值;
采用所述分类损失值和所述回归损失值替换所述神经网络模型的原始分类损失值和原始回归损失值,得到所述第一神经网络模型。
优选地,所述采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型,具体包括:
采用所述第一神经网络模型提取所述样本测试集中各测试图像的第一特征图;所述第一特征图包括多层卷积特征图;
采用候选区域网络生成特定数量的建议窗口,并将特定数量的所述建议窗口映射到所述第一特征图中的每层卷积特征图上,得到第二特征图;
通过池化层将所述第二特征图生成固定尺寸的建议特征图;
采用Softmax Loss损失函数和Smooth L1 Loss损失函数对所述建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
优选地,所述样本训练集的确定过程为:
获取训练图片;所述训练图片含有标注信息;
采用选择性搜索算法提取每一张所述训练图片的感兴趣区域;
根据所述训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值;
获取设定阈值;
确定所述IOU值和所述设定阈值间的关系;
当所述IOU值大于所述设定阈值时,将所述训练图片作为正样本;
依据所述正样本的IOU值对所述正样本进行排序,并提取每一所述正样本中的前n个标注信息的区域图像,保存所述区域图像得到样本训练集;n小于等于300。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的过鱼通道目标鱼类实时识别方法,通过采用目标鱼类检测模型可以对过鱼通道中是否含目标品种鱼类进行检测,并且,基于本发明提供的目标鱼类检测模型,以在实现过鱼目标种类识别的高效性和高精确性的同时,能够实时识别过鱼通道内过鱼目标种类。
此外,对应于上述提供的过鱼通道目标鱼类实时识别方法,本发明还提供了一种如下系统:
一种过鱼通道目标鱼类实时识别系统,包括:
待检测图像获取模块,用于获取过鱼通道的待检测图像;
目标鱼类检测模型获取模块,用于获取目标鱼类检测模型;所述目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型;
检测模块,用于采用所述目标鱼类检测模型确定所述待检测图像中包含目标品种鱼类;所述目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
优选地,还包括:
数据集获取模块,用于获取样本训练集、样本测试集和样本验证集;
初始神经网络模型获取模块,用于获取初始神经网络模型;
第一神经网络模型确定模块,用于采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型;
训练模块,用于采用所述样本验证集验证所述第一神经网络模型是否满足预设收敛条件;当所述第一神经网络模型不满足预设收敛条件时,将所述样本训练集和所述样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至所述第一神经网络模型满足预设收敛条件;
联合训练模块,用于采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型。
优选地,所述第一神经网络模型确定模块具体包括:
向量确定单元,用于采用所述样本训练集对所述神经网络模型进行训练,得到所述神经网络模型输出的Softmax向量和坐标向量;
分类损失值确定单元,用于对所述Softmax向量进行交叉熵计算得到分类损失值;
回归损失值确定单元,用于对所述坐标向量进行Smooth L1 Loss计算得到回归损失值;
第一神经网络模型确定单元,用于采用所述分类损失值和所述回归损失值替换所述神经网络模型的原始分类损失值和原始回归损失值,得到所述第一神经网络模型。
优选地,所述联合训练模块具体包括:
第一特征图确定单元,用于采用所述第一神经网络模型提取所述样本测试集中各测试图像的第一特征图;所述第一特征图包括多层卷积特征图;
第二特征图确定单元,用于采用候选区域网络生成特定数量的建议窗口,并将特定数量的所述建议窗口映射到所述第一特征图中的每层卷积特征图上,得到第二特征图;
建议特征图确定单元,用于通过池化层将所述第二特征图生成固定尺寸的建议特征图;
目标鱼类检测单元,用于采用Softmax Loss损失函数和Smooth L1 Loss损失函数对所述建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
优选地,包括样本训练集构建模块;所述样本训练集构建模块包括:
训练图片获取单元,用于获取训练图片;所述训练图片含有标注信息;
感兴趣区域提取模块,用于采用选择性搜索算法提取每一张所述训练图片的感兴趣区域;
IOU值确定单元,用于根据所述训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值;
设定阈值获取单元,用于获取设定阈值;
关系确定单元,用于确定所述IOU值和所述设定阈值间的关系;
正样本确定单元,用于当所述IOU值大于所述设定阈值时,将所述训练图片作为正样本;
样本训练集构建单元,用于依据所述正样本的IOU值对所述正样本进行排序,并提取每一所述正样本中的前n个标注信息的区域图像,保存所述区域图像得到样本训练集;n小于等于300。
因本发明提供的过鱼通道目标鱼类实时识别系统所实现的效果与本发明提供的过鱼通道目标鱼类实时识别方法所达到的效果相同,在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的过鱼通道目标鱼类实时识别方法的流程图;
图2为本发明实施例提供的神经网络模型的结构示意图;
图3为本发明实施例提供的各数据集使用的流程图;
图4为本发明实施例提供的确定IOU值的原理图;
图5为本发明实施例提供的Faster-RCNN的运行原理图;
图6为本发明提供的过鱼通道目标鱼类实时识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种具有高效性、高精确性的过鱼通道目标鱼类实时识别方法和系统。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的过鱼通道目标鱼类实时识别方法的流程图,如图1所示,一种过鱼通道目标鱼类实时识别方法,包括:
步骤100:获取过鱼通道的待检测图像。
步骤101:获取目标鱼类检测模型。目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型。
步骤102:采用目标鱼类检测模型确定待检测图像中包含目标品种鱼类。目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
优选地,在获取目标鱼类检测模型之前,需要对这一模型进行构建,本发明构建获取目标鱼类检测模型的过程具体包括:
A、获取样本训练集、样本测试集和样本验证集。
B、获取初始神经网络模型。本发明中,初始神经网络模型优选为Faster-RCNN卷积神经网络模型,其具体结构如图2所示。
C、采用样本训练集对神经网络模型进行训练,以调整初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型。该过程具体包括:
采用样本训练集对神经网络模型进行训练,得到神经网络模型输出的Softmax向量和坐标向量。
对Softmax向量进行交叉熵计算得到分类损失值。其中,分类损失的计算公式为:
Figure BDA0002929214870000071
式中,i表示第i个目标候选框索引,pi是第i个候选框为目标的概率,pi*为非目标的概率。
对坐标向量进行Smooth L1 Loss计算得到回归损失值。其中,回归损失值的计算公式为:
Figure BDA0002929214870000081
式中,ti是表示锚点在训练阶段预测的偏移量,ti*是表示锚点在训练阶段实际的偏移量,R是smoothL1函数。
Figure BDA0002929214870000082
式中,x=ti-ti*。
采用分类损失值和回归损失值替换神经网络模型的原始分类损失值和原始回归损失值,得到第一神经网络模型。
D、采用样本验证集验证第一神经网络模型是否满足预设收敛条件。当第一神经网络模型不满足预设收敛条件时,将样本训练集和样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用样本训练集对神经网络模型进行训练,以调整初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至第一神经网络模型满足预设收敛条件。
其中,收敛条件主要通过损失实时曲线判断,训练过程中损失曲线是下降的,一般认为损失曲线基本与X轴平行可判定为满足收敛条件。重新划分为新的样本训练集和新的样本验证集具体操作为:将原始训练集图像和验证集图像混合重新划分创建的新训练集和验证集,并且对训练集进行扩充再次进行训练,训练集扩充的方法一般包括翻转、旋转、缩放、裁剪、移位和其他一些方法。
E、采用样本测试集对第一神经网络模型进行联合训练,得到目标鱼类检测模型。该过程具体包括:
采用第一神经网络模型提取样本测试集中各测试图像的第一特征图。第一特征图包括多层卷积特征图。
采用候选区域网络生成特定数量的建议窗口,并将特定数量的建议窗口映射到第一特征图中的每层卷积特征图上,得到第二特征图。即用独立训练的候选区域网络生成建议窗口,在本发明中每张图片优选生成300个建议窗口。
通过池化层将第二特征图生成固定尺寸的建议特征图。具体的,Faster-RCNN采用区域候选网络生成检测框,候选区域网络将图像特征映射作为输入,生成一系列带有相应分数的候选对象,这些候选对象经由兴趣池化层修正到同样尺寸,最后候选对象将被传递给完全连接层,生成目标物体的边界框。同时为了增强网络检测不同形状及尺寸目标的鲁棒性,可以在原始Faster-RCNN的基础上运用多通道全连接、形变卷积以及增加锚点数量等方法以保证网络提取到不同尺度下的特征。这部分主要就是Faster-RCNN算法的运行原理(如图5所示)。
采用Softmax Loss损失函数和Smooth L1 Loss损失函数对建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
具体的,本发明开发基于深度学习的卷积神经网络(CNN)鱼类检测和精细化识别分类算法,研发鱼类动态识别技术。经过人工提取大量复杂图像的特征值,形成标注数据集和训练算法,以提高算法的准确度和识别效率。
本发明将标注数据集中的80%数据组成训练集、10%数据组成验证集,10%数据组成测试集。训练集的主要作用就是训练参数,验证集基本是在每次训练完成后调整超参数,防止模型在训练集上过拟合,测试集的主要作用就是测试训练好的模型的准确率。训练集包括问题域中的所有形态数据,并在算法训练阶段调整神经网络的权重。验证集在训练过程中用于测试神经网络对训练集中未出现的数据的分类性能,根据神经网络在测试集的性能情况,调整神经网络结构。测试集采用测试集和训练集中没有出现过的特征值数据,用于在神经网络结构确定后更好地测试和衡量网络地性能。每一数据集的使用过程如图3所示。
其中,本发明所采用的样本训练集的确定过程为:
获取训练图片。训练图片含有标注信息。
采用选择性搜索算法提取每一张训练图片的感兴趣区域。
根据训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值。基于如图4所示的计算原理,IOU值通过以下公式确定:
Figure BDA0002929214870000091
式中,area1表示感兴趣区域,area2表示标注信息,union表示感兴趣区域和标注信息间的公共区域。
获取设定阈值。在本发明中设定阈值优选为0.5,但不限于此。
确定IOU值和设定阈值间的关系。
当IOU值大于设定阈值时,将训练图片作为正样本。
依据正样本的IOU值对正样本进行排序,并提取每一正样本中的前n个标注信息的区域图像,保存区域图像得到样本训练集。n小于等于300。在本发明中n优选为64。
针对每种过鱼目标,需要对算法进行万次以上的训练、测试和验证,才可保证动态鱼类的特征值匹配准确度。训练好的神经网络主要是用于对过鱼通道内过鱼目标的品种识别,过鱼目标是异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼、尖裸鲤四种,训练得到的是多目标识别神经网络,识别结果通过概率实现,置信区间为90%则认为是目标品种鱼类。
此外,对应于上述提供的过鱼通道目标鱼类实时识别方法,本发明还提供了一种过鱼通道目标鱼类实时识别系统,如图6所示,该系统包括:待检测图像获取模块1、目标鱼类检测模型获取模块2和检测模块3。
其中,待检测图像获取模块1用于获取过鱼通道的待检测图像。
目标鱼类检测模型获取模块2用于获取目标鱼类检测模型。目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型。
检测模块3用于采用目标鱼类检测模型确定待检测图像中包含目标品种鱼类。目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
作为本发明的一优选实施例,上述过鱼通道目标鱼类实时识别系统还包括:数据集获取模块、初始神经网络模型获取模块、第一神经网络模型确定模块、训练模块和联合训练模块。
其中,数据集获取模块用于获取样本训练集、样本测试集和样本验证集。
初始神经网络模型获取模块用于获取初始神经网络模型。
第一神经网络模型确定模块用于采用样本训练集对神经网络模型进行训练,以调整初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型。
训练模块用于采用样本验证集验证第一神经网络模型是否满足预设收敛条件。当第一神经网络模型不满足预设收敛条件时,将样本训练集和样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用样本训练集对神经网络模型进行训练,以调整初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至第一神经网络模型满足预设收敛条件。
联合训练模块用于采用样本测试集对第一神经网络模型进行联合训练,得到目标鱼类检测模型。
作为本发明的另一优选实施例,上述第一神经网络模型确定模块具体包括:向量确定单元、分类损失值确定单元、回归损失值确定单元和第一神经网络模型确定单元。
其中,向量确定单元用于采用样本训练集对神经网络模型进行训练,得到神经网络模型输出的Softmax向量和坐标向量。
分类损失值确定单元用于对Softmax向量进行交叉熵计算得到分类损失值。
回归损失值确定单元用于对坐标向量进行Smooth L1 Loss计算得到回归损失值。
第一神经网络模型确定单元用于采用分类损失值和回归损失值替换神经网络模型的原始分类损失值和原始回归损失值,得到第一神经网络模型。
作为本发明的又一优选实施例,上述联合训练模块具体包括:第一特征图确定单元、第二特征图确定单元、建议特征图确定单元和目标鱼类检测单元。
其中,第一特征图确定单元用于采用第一神经网络模型提取样本测试集中各测试图像的第一特征图。第一特征图包括多层卷积特征图。
第二特征图确定单元用于采用候选区域网络生成特定数量的建议窗口,并将特定数量的建议窗口映射到第一特征图中的每层卷积特征图上,得到第二特征图。
建议特征图确定单元用于通过池化层将第二特征图生成固定尺寸的建议特征图。
目标鱼类检测单元用于采用Softmax Loss损失函数和Smooth L1 Loss损失函数对建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
作为本发明的再一优选实施例,上述过鱼通道目标鱼类实时识别系统还包括样本训练集构建模块。样本训练集构建模块包括:训练图片获取单元、感兴趣区域提取模块、IOU值确定单元、设定阈值获取单元、关系确定单元、正样本确定单元和样本训练集构建单元。
其中,训练图片获取单元用于获取训练图片。训练图片含有标注信息。
感兴趣区域提取模块用于采用选择性搜索算法提取每一张训练图片的感兴趣区域。
IOU值确定单元用于根据训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值。
设定阈值获取单元用于获取设定阈值。
关系确定单元用于确定IOU值和设定阈值间的关系。
正样本确定单元用于当IOU值大于设定阈值时,将训练图片作为正样本。
样本训练集构建单元用于依据正样本的IOU值对正样本进行排序,并提取每一正样本中的前n个标注信息的区域图像,保存区域图像得到样本训练集。n小于等于300。
综上,本发明提供的过鱼通道目标鱼类实时识别方法和系统,开发基于Faster-RCNN网络的鱼类自动识别技术可以更为准确的识别目标鱼类,同时提高识别效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种过鱼通道目标鱼类实时识别方法,其特征在于,包括:
获取过鱼通道的待检测图像;
获取目标鱼类检测模型;所述目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型;
采用所述目标鱼类检测模型确定所述待检测图像中包含目标品种鱼类;所述目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
2.根据权利要求1所述的过鱼通道目标鱼类实时识别方法,其特征在于,所述获取目标鱼类检测模型,之前还包括:
获取样本训练集、样本测试集和样本验证集;
获取初始神经网络模型;
采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型;
采用所述样本验证集验证所述第一神经网络模型是否满足预设收敛条件;当所述第一神经网络模型不满足预设收敛条件时,将所述样本训练集和所述样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至所述第一神经网络模型满足预设收敛条件;
采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型。
3.根据权利要求2所述的过鱼通道目标鱼类实时识别方法,其特征在于,所述采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型,具体包括:
采用所述样本训练集对所述神经网络模型进行训练,得到所述神经网络模型输出的Softmax向量和坐标向量;
对所述Softmax向量进行交叉熵计算得到分类损失值;
对所述坐标向量进行Smooth L1 Loss计算得到回归损失值;
采用所述分类损失值和所述回归损失值替换所述神经网络模型的原始分类损失值和原始回归损失值,得到所述第一神经网络模型。
4.根据权利要求2所述的过鱼通道目标鱼类实时识别方法,其特征在于,所述采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型,具体包括:
采用所述第一神经网络模型提取所述样本测试集中各测试图像的第一特征图;所述第一特征图包括多层卷积特征图;
采用候选区域网络生成特定数量的建议窗口,并将特定数量的所述建议窗口映射到所述第一特征图中的每层卷积特征图上,得到第二特征图;
通过池化层将所述第二特征图生成固定尺寸的建议特征图;
采用Softmax Loss损失函数和Smooth L1 Loss损失函数对所述建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
5.根据权利要求2所述的过鱼通道目标鱼类实时识别方法,其特征在于,所述样本训练集的确定过程为:
获取训练图片;所述训练图片含有标注信息;
采用选择性搜索算法提取每一张所述训练图片的感兴趣区域;
根据所述训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值;
获取设定阈值;
确定所述IOU值和所述设定阈值间的关系;
当所述IOU值大于所述设定阈值时,将所述训练图片作为正样本;
依据所述正样本的IOU值对所述正样本进行排序,并提取每一所述正样本中的前n个标注信息的区域图像,保存所述区域图像得到样本训练集;n小于等于300。
6.一种过鱼通道目标鱼类实时识别系统,其特征在于,包括:
待检测图像获取模块,用于获取过鱼通道的待检测图像;
目标鱼类检测模型获取模块,用于获取目标鱼类检测模型;所述目标鱼类检测模型为以图像为输入,以鱼类品种为输出的训练好的神经网络模型;
检测模块,用于采用所述目标鱼类检测模型确定所述待检测图像中包含目标品种鱼类;所述目标品种鱼类包括:异齿裂腹鱼、巨须裂腹鱼、拉萨裂腹鱼和尖裸鲤。
7.根据权利要求6所述的过鱼通道目标鱼类实时识别系统,其特征在于,还包括:
数据集获取模块,用于获取样本训练集、样本测试集和样本验证集;
初始神经网络模型获取模块,用于获取初始神经网络模型;
第一神经网络模型确定模块,用于采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型;
训练模块,用于采用所述样本验证集验证所述第一神经网络模型是否满足预设收敛条件;当所述第一神经网络模型不满足预设收敛条件时,将所述样本训练集和所述样本验证集进行混合后,重新划分为新的样本训练集和新的样本验证集,并返回“采用所述样本训练集对所述神经网络模型进行训练,以调整所述初始神经网络模型的分类损失值和回归损失值,得到第一神经网络模型”,直至所述第一神经网络模型满足预设收敛条件;
联合训练模块,用于采用所述样本测试集对所述第一神经网络模型进行联合训练,得到目标鱼类检测模型。
8.根据权利要求7所述的过鱼通道目标鱼类实时识别系统,其特征在于,所述第一神经网络模型确定模块具体包括:
向量确定单元,用于采用所述样本训练集对所述神经网络模型进行训练,得到所述神经网络模型输出的Softmax向量和坐标向量;
分类损失值确定单元,用于对所述Softmax向量进行交叉熵计算得到分类损失值;
回归损失值确定单元,用于对所述坐标向量进行Smooth L1 Loss计算得到回归损失值;
第一神经网络模型确定单元,用于采用所述分类损失值和所述回归损失值替换所述神经网络模型的原始分类损失值和原始回归损失值,得到所述第一神经网络模型。
9.根据权利要求7所述的过鱼通道目标鱼类实时识别系统,其特征在于,所述联合训练模块具体包括:
第一特征图确定单元,用于采用所述第一神经网络模型提取所述样本测试集中各测试图像的第一特征图;所述第一特征图包括多层卷积特征图;
第二特征图确定单元,用于采用候选区域网络生成特定数量的建议窗口,并将特定数量的所述建议窗口映射到所述第一特征图中的每层卷积特征图上,得到第二特征图;
建议特征图确定单元,用于通过池化层将所述第二特征图生成固定尺寸的建议特征图;
目标鱼类检测单元,用于采用Softmax Loss损失函数和Smooth L1 Loss损失函数对所述建议特征图进行分类概率和边框回归的联合训练后,得到目标鱼类检测模型。
10.根据权利要求7所述的过鱼通道目标鱼类实时识别系统,其特征在于,包括样本训练集构建模块;所述样本训练集构建模块包括:
训练图片获取单元,用于获取训练图片;所述训练图片含有标注信息;
感兴趣区域提取模块,用于采用选择性搜索算法提取每一张所述训练图片的感兴趣区域;
IOU值确定单元,用于根据所述训练图片的感兴趣区域和该训练图片中的标注信息确定IOU值;
设定阈值获取单元,用于获取设定阈值;
关系确定单元,用于确定所述IOU值和所述设定阈值间的关系;
正样本确定单元,用于当所述IOU值大于所述设定阈值时,将所述训练图片作为正样本;
样本训练集构建单元,用于依据所述正样本的IOU值对所述正样本进行排序,并提取每一所述正样本中的前n个标注信息的区域图像,保存所述区域图像得到样本训练集;n小于等于300。
CN202110143951.4A 2021-02-02 2021-02-02 一种过鱼通道目标鱼类实时识别方法和系统 Active CN112949408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143951.4A CN112949408B (zh) 2021-02-02 2021-02-02 一种过鱼通道目标鱼类实时识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143951.4A CN112949408B (zh) 2021-02-02 2021-02-02 一种过鱼通道目标鱼类实时识别方法和系统

Publications (2)

Publication Number Publication Date
CN112949408A true CN112949408A (zh) 2021-06-11
CN112949408B CN112949408B (zh) 2022-10-21

Family

ID=76241710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143951.4A Active CN112949408B (zh) 2021-02-02 2021-02-02 一种过鱼通道目标鱼类实时识别方法和系统

Country Status (1)

Country Link
CN (1) CN112949408B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049477A (zh) * 2021-11-16 2022-02-15 中国水利水电科学研究院 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法
CN114240686A (zh) * 2022-02-24 2022-03-25 深圳市旗扬特种装备技术工程有限公司 智慧渔业监测系统
CN114653610A (zh) * 2022-04-12 2022-06-24 闽江学院 一种鱼类识别分拣实现方法
CN114711181A (zh) * 2022-03-16 2022-07-08 四川农业大学 一种嵌入式草鱼病灶自动分流装置及检测方法
CN115375977A (zh) * 2022-10-27 2022-11-22 青岛杰瑞工控技术有限公司 一种深海养殖鱼类体征参数识别系统与识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
JP2020201879A (ja) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 画像処理装置、および、画像処理プログラム
CN112200211A (zh) * 2020-07-17 2021-01-08 南京农业大学 一种基于残差网络和迁移学习的小样本鱼识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921058A (zh) * 2018-06-19 2018-11-30 厦门大学 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN110210555A (zh) * 2019-05-29 2019-09-06 西南交通大学 基于深度学习的钢轨鱼鳞伤损检测方法
JP2020201879A (ja) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 画像処理装置、および、画像処理プログラム
CN110766013A (zh) * 2019-09-25 2020-02-07 浙江农林大学 一种基于卷积神经网络的鱼类识别方法和装置
CN112200211A (zh) * 2020-07-17 2021-01-08 南京农业大学 一种基于残差网络和迁移学习的小样本鱼识别方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049477A (zh) * 2021-11-16 2022-02-15 中国水利水电科学研究院 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法
CN114240686A (zh) * 2022-02-24 2022-03-25 深圳市旗扬特种装备技术工程有限公司 智慧渔业监测系统
CN114240686B (zh) * 2022-02-24 2022-06-03 深圳市旗扬特种装备技术工程有限公司 智慧渔业监测系统
CN114711181A (zh) * 2022-03-16 2022-07-08 四川农业大学 一种嵌入式草鱼病灶自动分流装置及检测方法
CN114653610A (zh) * 2022-04-12 2022-06-24 闽江学院 一种鱼类识别分拣实现方法
CN115375977A (zh) * 2022-10-27 2022-11-22 青岛杰瑞工控技术有限公司 一种深海养殖鱼类体征参数识别系统与识别方法
CN115375977B (zh) * 2022-10-27 2023-01-31 青岛杰瑞工控技术有限公司 一种深海养殖鱼类体征参数识别系统与识别方法

Also Published As

Publication number Publication date
CN112949408B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109697469A (zh) 一种基于一致性约束的自学习小样本遥感图像分类方法
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN107169417B (zh) 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
CN102385592B (zh) 图像概念的检测方法和装置
CN108959474B (zh) 实体关系提取方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
Luo et al. SFA: small faces attention face detector
CN112613428B (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN104616005A (zh) 一种领域自适应的人脸表情分析方法
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114882204A (zh) 船名自动识别方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN110704678B (zh) 评估排序方法、评估排序系统、计算机装置及储存介质
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN116935411A (zh) 一种基于字符分解和重构的部首级古文字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Shen Jian

Inventor after: Liu Die

Inventor after: Li Jianyuan

Inventor after: Fang Zhongchao

Inventor after: Liu Chunna

Inventor after: Jiang Xiaoming

Inventor after: Peng Songtao

Inventor after: Liu Yi

Inventor after: Yu Ling

Inventor after: Yan Guoshun

Inventor after: Zhu Mengen

Inventor after: Zi Jinjia

Inventor before: Shen Jian

Inventor before: Liu Die

Inventor before: Li Jianyuan

Inventor before: Fang Zhongchao

Inventor before: Liu Chunna

Inventor before: Jiang Xiaoming

Inventor before: Peng Songtao

Inventor before: Liu Yi

Inventor before: Yu Ling

Inventor before: Yan Guoshun

Inventor before: Zhu Mengen

Inventor before: Zi Jinjia

CB03 Change of inventor or designer information
CB02 Change of applicant information

Address after: 20 Chegongzhuang West Road, Haidian District, Beijing 100038

Applicant after: China Institute of Water Resources and Hydropower Research

Applicant after: CHINA HUADIAN TIBET ENERGY CO.,LTD.

Address before: 8 / F, outlets North building, 9 chagu Avenue, duilongdeqing District, Lhasa City, Tibet Autonomous Region

Applicant before: CHINA HUADIAN TIBET ENERGY CO.,LTD.

Applicant before: China Institute of Water Resources and Hydropower Research

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant