CN112528782B - 水下鱼类目标检测方法及装置 - Google Patents

水下鱼类目标检测方法及装置 Download PDF

Info

Publication number
CN112528782B
CN112528782B CN202011373485.0A CN202011373485A CN112528782B CN 112528782 B CN112528782 B CN 112528782B CN 202011373485 A CN202011373485 A CN 202011373485A CN 112528782 B CN112528782 B CN 112528782B
Authority
CN
China
Prior art keywords
network
fusion
target
subtraction
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011373485.0A
Other languages
English (en)
Other versions
CN112528782A (zh
Inventor
周超
赵振锡
孙传恒
杨信廷
刘杨
徐大明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN202011373485.0A priority Critical patent/CN112528782B/zh
Publication of CN112528782A publication Critical patent/CN112528782A/zh
Application granted granted Critical
Publication of CN112528782B publication Critical patent/CN112528782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种水下鱼类目标检测方法及装置，该方法包括：获取水下相机拍摄的待检测图像和无检测目标时的背景图像；将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，所述目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。通过主干网络和辅助网络的特征相减融合，可以有效去除环境干扰，从而提高待检测目标的检测准确率。

Description

水下鱼类目标检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种水下鱼类目标检测方法及装置。
背景技术
由于水产养殖现场光照度低及不均匀、水体浑浊、海床背景复杂、鱼类姿态多样、目标尺寸变化大、分辨率和对比度低和摄像设备等原因导致对水下目标检测干扰很大。传统的手工设计特征提取和单纯使用基于CNN的目标检测等算法并不能满足真实水下检测需求。
虽然目标检测算法发展迅速，模型泛用性强，但这些算法并没有结合水下环境的特点进行设计，在海床场景复杂、低分辨率、模糊和目标小等复杂场景下表现一般。
发明内容
针对现有技术存在的问题，本发明提供一种水下鱼类目标检测方法及装置。
本发明提供一种水下鱼类目标检测方法，包括：获取水下相机拍摄的待检测图像和无检测目标时的背景图像；将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，所述目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
根据本发明一个的水下鱼类目标检测方法，所述分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，包括：将含有目标对象的待检图像通过主干网络，及不含有目标对象的背景图片通过辅助网络，分别经浅层信息提取层输出初步特征，再依次通过主干网络的四个残差块和辅助网络的三个残差块进行特征处理；
将主干网络的浅层信息提取层的输出与辅助网络的第一残差块的输出进行特征相减融合，主干网络的第一残差块输出与辅助网络的第二残差块的输出进行特征相减融合，主干网络的第二残差块输出与辅助网络的第三残差块的输出进行特征相减融合，结合主干网络的第三残差块输出和第四残差块输出，得到相减融合后的四层特征。
根据本发明一个的水下鱼类目标检测方法，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果，包括：
将相减融合后的四层特征，进行特征融合；将融合后特征，输入RPN网络生成目标区域候选框；将所述目标区域候选框，输入多联检测器进行候选框筛选和分类，得到标有鱼类定位信息的图片检测结果。
根据本发明一个的水下鱼类目标检测方法，将相减融合后的四层特征，进行特征融合，包括：将相减融合后的四层特征x1,x2,x3和x4，以特征图作为输入，依次经过卷积层和批归一化层得到p1、p2、p3、p4；然后将p4、p3、p2均向下经PixelShuffle结构上采样，进行多尺度融合得到N4、N3、N2和N1；
p1、p2、p3、p4定义为：
其中，g(·)是PixelShuffle上采样方式将输入特征信息重建放大操作；Ni是多尺度高低层信息融合后的特征信息(i＝0,1,2,3,4)；Ni的计算公式为：
其中，D(·)是下采样非线性转换；fpnconv(·)是卷积操作。
根据本发明一个的水下鱼类目标检测方法，所述依次通过主干网络的四个残差块和辅助网络的三个残差块进行特征处理，包括根据如下公式进行特征提取：
xl＝Fl(xl-1-upconv(yl)),l≥2；
其中，Fl(·)为主干网络中第l-1层的残差块输入到下一层中的非线性转换；xl,yl分别为主干网络和辅助网络第l层残差块输出的特征信息；upconv(·)表示复合连接。
根据本发明一个的水下鱼类目标检测方法，将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络之前，还包括：
将含有已知目标对象的待检图像和不含有目标对象的背景图片作为检测网络的输入，对应的含有标注信息的待检图像样本作为目标检测网络的预期输出，设置网络初始参数，对构建的目标识别网络模型进行训练。
根据本发明一个的水下鱼类目标检测方法，所述设置网络初始参数，对构建的目标识别网络模型进行训练，包括使用如下损失函数进行训练：
其中，γ为聚焦参数，γ>＝0；y′是经过激活函数的输出，在0-1之间；α为平衡因子。
本发明还提供一种水下鱼类目标检测装置，包括：获取模块，用于获取水下相机拍摄的待检测图像和无检测目标时的背景图像；处理模块，用于将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，所述目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述水下鱼类目标检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述水下鱼类目标检测方法的步骤。
本发明提供的水下鱼类目标检测方法及装置，通过主干网络和辅助网络的特征相减融合，可以有效去除环境干扰，从而提高待检测目标的检测准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的水下鱼类目标检测方法的流程示意图之一；
图2是本发明提供的水下鱼类目标检测方法的残差块结构图；
图3是本发明提供的水下鱼类目标检测方法的流程示意图之二；
图4是本发明提供的水下鱼类目标检测装置的结构示意图；
图5是本发明提供的水下鱼类目标检测系统结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的水下鱼类目标检测方法及装置。图1是本发明提供的水下鱼类目标检测方法的流程示意图之一，如图1所示，本发明提供水下鱼类目标检测方法，包括：
101、获取水下相机拍摄的待检测图像和无检测目标时的背景图像。
在没有目标时，可通过水下相机获取无检测目标时的背景图像，并进行存储。在进行目标检测时，将水下相机拍摄的待检测图像和存储区中获取的背景图像，经过一些常规的预处理后，分别输入神经网络模型。预处理包括，将输入图像的短边调整为W，将长边限制为H，和训练时一致，以及进行图像翻转增强等预处理。例如，将输入图像的短边调整为800，将长边限制为1333，并进行图像翻转增强。
102、将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果。
本发明实施例中，预设有已经训练完成的目标识别网络模型。该目标识别网络模型，包括主干网络和辅助网络(或源域辅助学习网络)构成的复合主干网络。相应地，还可包括用于目标检测的目标检测网络，可基于常规的目标检测网络实现。
得到的含有目标对象的鱼类图像(W×H×3)和不含有目标对象的背景图片(W×H×3)作为检测网络的输入，含有目标对象的鱼类图像将通过主干网络，而不含有目标对象的背景图片将会通过辅助网络。主干网络和辅助网络，可以为多层结构。二者提取到的多层特征，分别进行特征信息相减，剔除复杂的源域信息干扰，再经过高低层信息融合后，输入目前的目标检测网络，则可以输出标有鱼类定位信息的图片检测结果。
相应地，目标识别网络模型是以已知目标对象作为标签，待检图像和背景图像作为样本训练后得到。其中，复合主干网络和目标检测网络，作为目标识别网络模型的两部分，同时进行训练。
本发明的水下鱼类目标检测方法，通过主干网络和辅助网络的特征相减融合，可以有效去除环境干扰，从而提高待检测目标的检测准确率。
在一个实施例中，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，包括：将含有目标对象的待检图像通过主干网络，及不含有目标对象的背景图片通过辅助网络，分别经浅层信息提取层输出初步特征，再依次通过主干网络的四个残差块和辅助网络的三个残差块进行特征处理；将主干网络的浅层信息提取层的输出与辅助网络的第一残差块的输出进行特征相减融合，主干网络的第一残差块输出与辅助网络的第二残差块的输出进行特征相减融合，主干网络的第二残差块输出与辅助网络的第三残差块的输出进行特征相减融合，结合主干网络的第三残差块输出和第四残差块输出，得到相减融合后的四层特征。
主干网络为常见的resnet包含四个局部残差块(res)。源域辅助学习网络则是由3个对应的res组成。用Adjacent Higher Level Composition方式将辅助主干网络中res1、res2、res3学习到的源域信息与backbone主干网络(ResNet)的浅层信息提取层、res1、res2的特征信息相减，剔除复杂的源域信息干扰。经过高低层信息融合后，backbone主干网络(Resnet)分别在res1、res2、res3、res4上输出W/4×H/4×256、W/8×H/8×512、W/16×H/16×1024和W/32×H/32×2048四种不同尺度大小的特征通道。
res1、res2、res3、res4则分别由3、4、23、3个bottleneck(瓶颈层)串联组成，其中bottleneck由2层卷积核为1×1的卷积层、3层批归一化(Batch Normalization，简称BN)层；一层卷积核为3×3、卷积步长为1的卷积层和ReLu激活层组成。以含有目标对象的特征图和不含有目标对象的背景特征图作为输入，输入特征图先依次经过卷积核为1×1的卷积层和Batch Normalization层；接着依次经过卷积核为3×3、卷积步长为1的卷积层、BatchNormalization层；经过随后依次经过卷积核为1×1的卷积层、Batch Normalization层和ReLu激活层，完成一次bottleneck层的特征图输出。图2是本发明提供的水下鱼类目标检测方法的残差块结构图，可参见图2。
在一个实施例中，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果，包括：将相减融合后的四层特征，进行特征融合；将融合后特征，输入RPN网络生成目标区域候选框；将目标区域候选框，输入多联检测器进行候选框筛选和分类，得到标有鱼类定位信息的图片检测结果。
输入复合主干网络的图像都会经过浅层信息提取层输出fn，再依次通过主干网络和源域辅助学习网络中若干个局部残差块(res)并进行信息融合，完成基本的图像特征提取并输出fn+1。
经过复合主干网络提取的特征fn+1，由特征融合网络(EPANet网络)实现多尺度特征信息融合，由区域选取网络(RPN)生成目标区域候选框，RPN可通过ROI pool层输出结果，再经多联检测器(Cascade R-CNN)判断正负样本，进行候选框筛选和分类，最终得到标有鱼类和定位信息的图片。
在一个实施例中，将相减融合后的四层特征，进行特征融合，包括：将相减融合后的四层特征x1,x2,x3和x4，以特征图作为输入，依次经过卷积层(如卷积核为1×1的卷积层)，和批归一化层(Batch Normalization)，得到p1、p2、p3、p4；然后p4、p3、p2均向下经PixelShuffle结构(如2倍上采样)，进行多尺度融合得到N4、N3、N2和N1；
p1、p2、p3、p4定义为：
其中，g(·)是PixelShuffle上采样方式将输入特征信息重建放大操作；Ni是多尺度高低层信息融合后的特征信息(i＝0,1,2,3,4)；Ni的计算公式为：
其中，D(·)是下采样非线性转换；fpnconv(·)是卷积操作。
图3是本发明提供的水下鱼类目标检测方法的流程示意图之二，如图3所示，EPANet将CBresnet输出的4种不同尺寸大小的特征图作为输入，输入的特征(x1,x2,x3和x4)依次经过依次经过卷积核为1×1和Batch Normalization(批标准化)层得到p1、p2、p3、p4。接着p4、p3、p2均向下经PixelShuffle结构上采样2倍，进行多尺度融合得到N4、N3、N2和N1。
g(·)是PixelShuffle上采样方式将输入特征信息重建放大操作，在本发明中PixelShuffle上采样方式将由1×1conv学习重建特征信息。其原理是利用1×1conv将原有输入的W×H大小的图像扩充为W×H×(r×r)，再重新排列为(W×r)×(H×r)从而实现r倍的图像放大(r＝2)。
可选的，D(·)代表着下采样2倍的非线性转换。fpnconv(·)为卷积核大小为3*3的卷积操作。
本发明的水下鱼类目标检测方法，采用PixelShuffle上采样方式并使用一个较小的卷积核学习上采样信息，不会引入太多计算量且能更加还原鱼类形状特征信息，增加浅层信息的利用。解决了目标检测算法中线性上采样方式重建特征信息效果不可靠的问题。
在一个实施例中，依次通过主干网络的四个残差块和辅助网络的三个残差块进行特征处理，包括根据如下公式进行特征提取：
xl＝Fl(xl-1-upconv(yl)),l≥2；
其中，Fl(·)为主干网络中第l-1层的残差块输入到下一层中的非线性转换；xl,yl分别为主干网络和辅助网络Backbone中第l层残差块输出的特征信息；upconv(·)表示复合连接，可由1×1卷积层和批处理归一化层组成以进行上采样操作。
在一个实施例中，将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络之前，还包括：将含有已知目标对象的待检图像和不含有目标对象的背景图片作为检测网络的输入，对应的含有标注信息的待检图像样本作为目标检测网络的预期输出，设置网络初始参数，对构建的目标识别网络模型进行训练。
目标识别网络模型的目标检测网络部分，可基于多联检测器(Cascade R-CNN)和非极大值抑制算法(NMS)实现。
采集多个已知目标已知的训练样本，可按0.85：0.15重新分配出训练集和测试集。m组水下视频可近似看成为m种风格的水下图像。每段视频中不含目标的海床背景图片可进行数据复制扩充得到与训练集和测试集对应的源域学习数据集。
将训练样本中的含有目标对象的鱼类图像和不含有目标对象的背景图片作为检测网络的输入，对应的含有标注信息的鱼类图像样本作为目标检测网络的预期输出，设置网络初始参数，并使用SSD优化器训练目标识别网络模型。
回归分类的损失函数可使用Focalloss函数，候选框损失函数使用IOUloss。IOUloss计算公式为：
其中，B为产生的候选框(candidate bound)，Bgt为原标记框(ground truthbound)。IoUloss将位置信息作为一个整体进行训练，而最小平方误差l2损失函数却把它们当作互相独立的四个变量进行训练，因此IoUloss能得到更为准确的训练效果；输入任意样本，IoU的值均介于[0,1]之间，这种自然的归一化损失使模型具有更强的处理多尺度图像的能力。
在一个实施例中，设置网络初始参数，对构建的目标识别网络模型进行训练，包括使用如下损失函数进行训练：
其中，γ为聚焦参数(focusing parameter)，γ>＝0；y′是经过激活函数的输出，在0-1之间；α为平衡因子。α可取0.25，即正样本要比负样本占比小。
本发明在标准交叉熵损失基础上修改得到损失函数。本发明的水下鱼类目标检测方法，在损失函数的设计上，考虑了鱼群种类样本数量上存在很大的差异。为了能使产生的正负样本数量趋近1:3，在回归分类上的损失函数使用Focalloss函数，候选框损失函数使用IOUloss。解决环境中采集的鱼类样本不平衡导致的低样本数量鱼类检测精度低下的问题。
针对类别不均衡问题，Focalloss可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
下面对本发明提供的水下鱼类目标检测装置进行描述，下文描述的水下鱼类目标检测装置与上文描述的水下鱼类目标检测方法可相互对应参照。
图4是本发明提供的水下鱼类目标检测装置的结构示意图，如图4所示，该水下鱼类目标检测装置包括：获取模块401和处理模块402。其中，获取模块401用于获取水下相机拍摄的待检测图像和无检测目标时的背景图像；处理模块402用于将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的水下鱼类目标检测装置，通过主干网络和辅助网络的特征相减融合，可以有效去除环境干扰，从而提高待检测目标的检测准确率。
图5是本发明提供的水下鱼类目标检测系统结构示意图，如图5所示，本发明还提供了水下鱼类目标检测系统，包括：水下相机1、光源2、光照度变送器3以及水下鱼类目标检测装置4。其中，水下鱼类目标检测装置与水下相机、光源和光照度变送器分别连接。
水下相机能够在水下鱼类目标检测装置的控制下采集鱼群的水下图像，光源用于为水下相机补光，光照度变送器能够感应环境的光线强度并将光线强度信息传送给水下鱼类目标检测装置，水下鱼类目标检测装置根据光线强度信息控制光源开关以及光照强度，且水下鱼类目标检测装置能接收水下相机采集的图像并对图像进行实时鱼类识别和定位。
进一步地，光照度变送器包括依次光照度传感器、微控制器以及通信接口，微控制器与光照度传感器和通信接口分别相连，微控制器能够控制光照度传感器采集数据，并通过通信接口将光照度传感器采集的数据传递给水下鱼类目标检测装置。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行水下鱼类目标检测方法，该方法包括：获取水下相机拍摄的待检测图像和无检测目标时的背景图像；将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的水下鱼类目标检测方法，该方法包括：获取水下相机拍摄的待检测图像和无检测目标时的背景图像；将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的水下鱼类目标检测方法，该方法包括：获取水下相机拍摄的待检测图像和无检测目标时的背景图像；将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；其中，目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种水下鱼类目标检测方法，其特征在于，包括：
获取水下相机拍摄的待检测图像和无检测目标时的背景图像；
将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；
其中，所述目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到；
主干网络包括浅层信息提取层和四个残差块，辅助网络包括浅层信息提取层和三个残差块，所述将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，包括：
将含有目标对象的待检图像通过主干网络，及不含有目标对象的背景图片通过辅助网络，分别经浅层信息提取层输出初步特征；
将主干网络的浅层信息提取层的输出与辅助网络的第一残差块的输出进行特征相减融合，并输入主干网络的第一残差块，主干网络的第一残差块输出与辅助网络的第二残差块的输出进行特征相减融合，获得相减融合后的第一层特征，并将相减融合后的第一层特征输入主干网络的第二残差块，主干网络的第二残差块输出与辅助网络的第三残差块的输出进行特征相减融合，获得相减融合后的第二层特征，并将相减融合后的第二层特征输入主干网络的第三残差块，主干网络的第三残差块输出相减融合后的第三层特征，将相减融合后的第三层特征输入主干网络的第四残差块，第四残差块输出相减融合后的第四层特征，从而得到相减融合后的四层特征；
所述根据相减融合后特征，输出标有鱼类定位信息的图片检测结果，包括：
将相减融合后的四层特征，进行特征融合；
将融合后特征，输入RPN网络生成目标区域候选框；
将所述目标区域候选框，输入多联检测器进行候选框筛选和分类，得到标有鱼类定位信息的图片检测结果；
所述将相减融合后的四层特征，进行特征融合，包括：
将相减融合后的四层特征x1,x2,x3和x4，以特征图作为输入，依次经过卷积层和批归一化层得到p1、p2、p3、p4；
然后将p4、p3、p2均向下经PixelShuffle结构上采样，进行多尺度融合得到N4、N3、N2和N1；
p1、p2、p3、p4定义为：
其中，g(·)是PixelShuffle上采样方式将输入特征信息重建放大操作；Ni是多尺度高低层信息融合后的特征信息(i＝0,1,2,3,4)；Ni的计算公式为：
其中，D(·)是下采样非线性转换；fpnconv(·)是卷积操作。
2.根据权利要求1所述的水下鱼类目标检测方法，其特征在于，所述依次通过主干网络的四个残差块和辅助网络的三个残差块进行特征处理，包括根据如下公式进行特征提取：
xl＝Fl(xl-1-upconv(yl)),l≥2；
其中，Fl(·)为主干网络中第l-1层的残差块输入到下一层中的非线性转换；xl,yl分别为主干网络和辅助网络第l层残差块输出的特征信息；upconv(·)表示复合连接。
3.根据权利要求1所述的水下鱼类目标检测方法，其特征在于，将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络之前，还包括：
将含有已知目标对象的待检图像和不含有目标对象的背景图片作为检测网络的输入，对应的含有标注信息的待检图像样本作为目标检测网络的预期输出，设置网络初始参数，对构建的目标识别网络模型进行训练。
4.根据权利要求3所述的水下鱼类目标检测方法，其特征在于，所述设置网络初始参数，对构建的目标识别网络模型进行训练，包括使用如下损失函数进行训练：
其中，γ为聚焦参数，γ>＝0；y'是经过激活函数的输出，在0-1之间；α为平衡因子。
5.一种水下鱼类目标检测装置，其特征在于，包括：
获取模块，用于获取水下相机拍摄的待检测图像和无检测目标时的背景图像；
处理模块，用于将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，根据相减融合后特征，输出标有鱼类定位信息的图片检测结果；
其中，所述目标识别网络模型，根据已知目标对象作为标签的待检图像和背景图像作为样本训练后得到；
主干网络包括浅层信息提取层和四个残差块，辅助网络包括浅层信息提取层和三个残差块，所述将含有目标对象的待检图像和不含有目标对象的背景图片，分别输入预设的目标识别网络模型的主干网络和辅助网络，分别提取特征并进行主干网络和辅助网络的特征相减融合，包括：
将含有目标对象的待检图像通过主干网络，及不含有目标对象的背景图片通过辅助网络，分别经浅层信息提取层输出初步特征；
将主干网络的浅层信息提取层的输出与辅助网络的第一残差块的输出进行特征相减融合，并输入主干网络的第一残差块，主干网络的第一残差块输出与辅助网络的第二残差块的输出进行特征相减融合，获得相减融合后的第一层特征，并将相减融合后的第一层特征输入主干网络的第二残差块，主干网络的第二残差块输出与辅助网络的第三残差块的输出进行特征相减融合，获得相减融合后的第二层特征，并将相减融合后的第二层特征输入主干网络的第三残差块，主干网络的第三残差块输出相减融合后的第三层特征，将相减融合后的第三层特征输入主干网络的第四残差块，第四残差块输出相减融合后的第四层特征，从而得到相减融合后的四层特征；
所述根据相减融合后特征，输出标有鱼类定位信息的图片检测结果，包括：
将相减融合后的四层特征，进行特征融合；
将融合后特征，输入RPN网络生成目标区域候选框；
将所述目标区域候选框，输入多联检测器进行候选框筛选和分类，得到标有鱼类定位信息的图片检测结果；
所述将相减融合后的四层特征，进行特征融合，包括：
将相减融合后的四层特征x1,x2,x3和x4，以特征图作为输入，依次经过卷积层和批归一化层得到p1、p2、p3、p4；
然后将p4、p3、p2均向下经PixelShuffle结构上采样，进行多尺度融合得到N4、N3、N2和N1；
p1、p2、p3、p4定义为：
其中，g(·)是PixelShuffle上采样方式将输入特征信息重建放大操作；Ni是多尺度高低层信息融合后的特征信息(i＝0,1,2,3,4)；Ni的计算公式为：
其中，D(·)是下采样非线性转换；fpnconv(·)是卷积操作。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述水下鱼类目标检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述水下鱼类目标检测方法的步骤。
CN202011373485.0A 2020-11-30 2020-11-30 水下鱼类目标检测方法及装置 Active CN112528782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011373485.0A CN112528782B (zh) 2020-11-30 2020-11-30 水下鱼类目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011373485.0A CN112528782B (zh) 2020-11-30 2020-11-30 水下鱼类目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112528782A CN112528782A (zh) 2021-03-19
CN112528782B true CN112528782B (zh) 2024-02-23

Family

ID=74995133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011373485.0A Active CN112528782B (zh) 2020-11-30 2020-11-30 水下鱼类目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112528782B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191222B (zh) * 2021-04-15 2024-05-03 中国农业大学 水下鱼类目标检测方法及装置
CN113284164A (zh) * 2021-05-19 2021-08-20 中国农业大学 虾群自动计数方法、装置、电子设备及存储介质
CN113313678A (zh) * 2021-05-20 2021-08-27 上海北昂医药科技股份有限公司 一种基于多尺度特征融合的精子形态学自动分析方法
CN113887368A (zh) * 2021-09-18 2022-01-04 中国农业大学 水产品检测方法、装置、电子设备和存储介质
CN113869330A (zh) * 2021-10-12 2021-12-31 大连智慧渔业科技有限公司 水下鱼类目标检测方法、装置及存储介质
CN114187463A (zh) * 2021-11-09 2022-03-15 深圳云天励飞技术股份有限公司 电子档案生成方法、装置、终端设备及存储介质
CN114547361A (zh) * 2022-02-24 2022-05-27 特赞（上海）信息科技有限公司 商品素材自动标注方法、装置及存储介质
CN114897848A (zh) * 2022-05-20 2022-08-12 中国农业大学 一种鱼苗计数方法、装置、电子设备与存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015002780A1 (en) * 2013-07-01 2015-01-08 The Board Of Regents Of The University Of Texas System Transcription activator-like effector (tale) libraries and methods of synthesis and use
CN105184804A (zh) * 2015-10-12 2015-12-23 上海海大技术转移有限公司 基于机载红外相机航拍图像的海面小目标检测方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
WO2020019102A1 (en) * 2018-07-23 2020-01-30 Intel Corporation Methods, systems, articles of manufacture and apparatus to train a neural network
CN111192201A (zh) * 2020-04-08 2020-05-22 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111310746A (zh) * 2020-01-15 2020-06-19 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111639877A (zh) * 2020-06-07 2020-09-08 上海应用技术大学 一种行道树健康状况评价方法及系统
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111709415A (zh) * 2020-04-29 2020-09-25 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN111754531A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 图像实例分割方法和装置
CN111814754A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间场景的单帧图像行人检测方法和装置
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN111881913A (zh) * 2019-07-05 2020-11-03 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN111950610A (zh) * 2020-07-29 2020-11-17 中国科学院大学 基于精确尺度匹配的弱小人体目标检测方法
CN111967538A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 应用于小目标检测的特征融合方法、装置、设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7888210B2 (en) * 2007-12-19 2011-02-15 Sandisk Corporation Non-volatile memory fabrication and isolation for composite charge storage structures

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015002780A1 (en) * 2013-07-01 2015-01-08 The Board Of Regents Of The University Of Texas System Transcription activator-like effector (tale) libraries and methods of synthesis and use
CN105184804A (zh) * 2015-10-12 2015-12-23 上海海大技术转移有限公司 基于机载红外相机航拍图像的海面小目标检测方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
WO2020019102A1 (en) * 2018-07-23 2020-01-30 Intel Corporation Methods, systems, articles of manufacture and apparatus to train a neural network
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111881913A (zh) * 2019-07-05 2020-11-03 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
CN111310746A (zh) * 2020-01-15 2020-06-19 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN111192201A (zh) * 2020-04-08 2020-05-22 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111709415A (zh) * 2020-04-29 2020-09-25 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN111639877A (zh) * 2020-06-07 2020-09-08 上海应用技术大学 一种行道树健康状况评价方法及系统
CN111754531A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 图像实例分割方法和装置
CN111950610A (zh) * 2020-07-29 2020-11-17 中国科学院大学 基于精确尺度匹配的弱小人体目标检测方法
CN111915490A (zh) * 2020-08-14 2020-11-10 深圳清研智城科技有限公司 一种基于多尺度特征的车牌图像超分辨率重建模型及方法
CN111814754A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间场景的单帧图像行人检测方法和装置
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN111967538A (zh) * 2020-09-25 2020-11-20 北京百度网讯科技有限公司 应用于小目标检测的特征融合方法、装置、设备以及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"CBNet: A Novel Composite Backbone Network Architecture for Object Detection";Yudong Liu等;《arxiv》;第1-8页 *
"Path Aggregation Network for Instance Segmentation";Liu S等;《Salt Lake City》;第1-13页 *
"Yolo-C：基于单阶段网络的X光图像违禁品检测";郭守向等;《激光与光电子学进展》;第1-12页 *
"不平衡数据集下的水下目标快速识别方法";刘有用等;《计算机工程与应用》;第56卷(第17期);第1-8页 *
"基于深度学习的行人再识别技术研究综述";魏文钰等;《计算机应用》;第40卷(第9期);第2479-2492页 *
Jiaqi Wang等."CARAFE：Content-Aware ReAssembly of FEatures".《Seoul,Korea》.2019,第3007-3016页. *

Also Published As

Publication number Publication date
CN112528782A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112528782B (zh) 水下鱼类目标检测方法及装置
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111209952A (zh) 基于改进ssd和迁移学习的水下目标检测方法
CN107273870A (zh) 一种监控场景下融合上下文信息的行人位置检测方法
CN112396645A (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN112766040B (zh) 残余饵料的探测方法、设备、装置及可读存储介质
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN110288568A (zh) 眼底图像处理方法、装置、设备和存储介质
CN111612759B (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN116342953A (zh) 基于残差收缩注意力网络的双模态目标检测模型及方法
CN109766918A (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN115331024A (zh) 一种基于深度监督和逐步学习的肠道息肉检测方法
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN117649657A (zh) 基于改进Mask R-CNN的骨髓细胞检测系统
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质
CN116630763A (zh) 一种基于多尺度上下文感知的多聚焦图像融合方法
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN116580187A (zh) 基于人工智能的膝关节图像分割方法、装置及电子设备
CN115860139A (zh) 一种基于深度学习的多尺度船舶目标检测方法
Liao et al. Pyramid Spatial Feature Transform and Shared-Offsets Deformable Alignment Based Convolutional Network for HDR Imaging
CN111127327B (zh) 一种图片倾斜检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant