CN109583343A - 一种鱼类图像处理系统和方法 - Google Patents
一种鱼类图像处理系统和方法 Download PDFInfo
- Publication number
- CN109583343A CN109583343A CN201811391974.1A CN201811391974A CN109583343A CN 109583343 A CN109583343 A CN 109583343A CN 201811391974 A CN201811391974 A CN 201811391974A CN 109583343 A CN109583343 A CN 109583343A
- Authority
- CN
- China
- Prior art keywords
- rain
- network
- image
- demisting
- fish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000013178 mathematical model Methods 0.000 claims abstract description 5
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 239000003595 mist Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000269957 Thunnus obesus Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种鱼类图像处理方法，包括：获取第一鱼类图像，第一鱼类图像中包含鱼类信息；根据去雨除雾数学模型：建立去雨除雾网络，并运用去雨除雾网络对获取的第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1‑α)为物体表面反射光传播到摄像头过程中的衰减比例；使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对第二鱼类图像中鱼类的位置进行标注。本发明的有益效果为：通过深度学习的方法使去雨和除雾操作在同一阶段完成，并且通过鱼类检测算法有效地定位出鱼类位置并标明类别，提高了鱼类识别的效率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种鱼类图像处理系统和方法。
背景技术
非法且不可持续的捕鱼活动在全球各个地区都极为常见，这样的违法作业已经极大地影响了全球海洋生态系统。一方面以大眼金枪鱼为代表的许多鱼群数量已经低于警戒线；另一方面全球近50％人口以海产品作为主要蛋白质来源且如瑙鲁等许多中西部太平洋岛国的经济严重依赖金枪鱼等海洋生物，加强监管以实现可持续发展迫在眉睫。
上世纪末以来，不少国家与国际组织在渔船甲板上安装了监控摄像头，希望用这种方式来制止渔民在不恰当的时节捕捞不恰当的鱼类，其原因在于海洋作业过程中常见的雨浪交杂、水雾弥漫等情况严重影响监控画质，监管者难以辨识画面中的鱼类，并且审查海量的监控视频需要大量的人力资源。实际测试中，对于单帧图像，经过初步培训的监管者平均需要花费1.3秒左右的时间对清晰画面进行判断并标记，而对有浓雾影响的画面需要更久，对同时有雾、有水滴影响的图像则常常无法分辨。
发明内容
为了解决现有技术存在的水雾干扰，鱼类识别困难等问题，本发明提供了一种图像处理系统和方法，其具有能够消除雨雾干扰，有效识别鱼类等特点。
本发明的目的是提供一种能够有效去除拍摄的鱼类图像中的雨雾并能对图像中的鱼类进行准确识别的方法和系统。
根据本发明的具体实施方式的一种鱼类图像处理方法，包括：
获取第一鱼类图像，所述第一鱼类图像中包含鱼类信息；
根据去雨除雾数学模型：建立去雨除雾网络，并运用所述去雨除雾网络对获取的所述第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；
使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对所述第二鱼类图像中鱼类的位置进行标注。
进一步地，所述去雨除雾网络的去雨过程包括：
对获取的所述第一图像进行初步卷积后采用空洞卷积进一步获取所述第一图像的特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨。
进一步地，所述去雨除雾网络的除雾过程包括：
对特征F进行多尺度映射，以提高不同分辨率下特征提取的鲁棒性；
对映射后的特征F进行取局部极值操作，对透过率α进行估计；
对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
进一步地，所述鱼类检测算法包括：
使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的所述第二图像的图像特征；
选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；
再将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
进一步地，使用ROI Alignment的方法将所述候选框域处理为同样的尺寸：
将根据区域建议网络预测的ROI坐标映射回卷积特征图上；
将特征图上所有的候选区域均分为相同的含n*n个小区域的区域；
分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特征金字塔网络的检测。
根据本发明的具体实施方式的一种鱼类图像处理系统，包括：
去雨除雾网络处理单元，所述去雨除雾网络处理单元对获取的图像进行去雨和除雾处理；以及
鱼类检测单元，所述鱼类检测单元对去雨除雾后的图像进行处理，对图像中鱼类的位置进行标注。
进一步地，所述去雨除雾网络处理单元包括：去雨网络处理模块，所述去雨网络处理模块对获取的图像进行初步卷积后采用空洞卷积进一步获取图像特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨；其中B是指没有任何干扰的背景图像，表示雨图层，R表示实际记录图像每个像素的雨水有无。
进一步地，所述去雨除雾网络处理单元还包括：除雾网络处理模块，所述除雾网络处理单元对特征F进行多尺度映射提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
进一步地，所述鱼类检测单元包括：
深度残差网络模块，使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的图像的图像特征；
区域建议网络模块，所述区域建议网络模块将选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；以及
特征金字塔网络模块，所述特征金字塔网络模块将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
进一步地，所述鱼类检测单元还包括：
ROI对准模块，所述ROI对准模块将根据区域建议网络模块预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的包含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续所述特征金字塔网络模块的检测。
本发明的有益效果为：建立了一套综合去雨除雾网络，通过深度学习的方法去求解物理模型，将雾带来的大气背景光强度估计作为一项训练目标，使去雨和除雾操作在同一阶段完成，可有效去除采集图像的雨雾，并且通过鱼类检测算法有效地定位出鱼类位置并标明类别，能够较为明显地改善人工检测中对复杂场景辨识效果差的问题，提高了鱼类识别的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提供的鱼类图像处理方法的流程图；
图2是根据一示例性实施例提供的鱼类检测算法的流程图；
图3是根据一示例性实施例提供的对候选框归一化处理的流程图；
图4是根据一示例性实施例提供的鱼类图像处理系统的结构示意图；
图5是根据另一示例性实施例提供的鱼类图像处理系统的结构示意图；
图6是去雨除雾网络的结构示意图；
图7是鱼类检测算法的结构示意图；
图8是残缺块结构示意图；
图9是一具体实施例中的残缺块的结构示意图；
图10是RPN结构示意图；
图11是FPN的结构示意图。
附图标记
1-去雨除雾网络处理单元；11-去雨网络处理模块；12-除雾网络处理模块；2-鱼类检测单元；21-深度残差网络模块；22-区域建议网络模块；23-ROI对准模块；24-特征金字塔网络模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
参照图1所示，本发明的实施例提供了一种鱼类图像处理方法，包括以下步骤：
101、获取第一鱼类图像，第一鱼类图像中包含鱼类信息；
102、根据去雨除雾数学模型：建立去雨除雾网络，并运用去雨除雾网络对获取的第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；
103、使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对所述第二鱼类图像中鱼类的位置进行标注。
由于雨水、雾天、海浪、舱内潮湿等多种原因，渔船监控画面中常常出现白雾、水珠或因雨滴下落形成的条纹，这些干扰因素有时会极大地影响鱼类检测。本发明把雾归结为雨的一种特例，在同一个深度学习网络中计算去雨和除雾数学模型的未知参数，并在测试时先去雨再除雾，将拍摄图像中的雨雾去除，并运用鱼类检测算法对图像中的鱼类进行标注，提高了鱼类的检测效率，节省了人力成本。
参照图6所示的去雨除雾网络的结构示意图，在本发明的一具体实施例中，输入图像在经过初步普通卷积后采用空洞卷积的方式充分获取图像特征；随后，将获取的特征图共享给去雨分支和除雾分支；其中对于去雨部分，JRHR用先后三个阶段的卷积，分别回归R、S参数并计算B，之后采用循环递归结构将此时得到的B作为输入图像再代入网络以便一步步地充分去雨；对于去雾部分则不加入循环，依据特征图按照正常的CNN网络训练以测算A与α，其中对特征F进行多尺度映射，以提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
参照图2所示在本发明的一具体实施例中，鱼类检测算法包括以下步骤：
201、使用深度残差网络提供的50层卷积层，提取经去雨除雾网络处理后的第二图像的图像特征；
202、选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；
203、再将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
为使区域建议网络(RPN)的每个卷积层输入输出都为明确的尺寸，采用如图3所示的ROI Alignment的方法将所有候选区域处理为同样的尺寸：
301、将根据区域建议网络预测的ROI坐标映射回卷积特征图上；
302、将特征图上所有的候选区域均分为相同的含n*n个小区域的区域；
303、分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特征金字塔网络的检测。
参照图7所示，在本发明的一具体实施例中，在CNN(卷积神经网络)特征提取网络部分，使用ResNet网络(深度残差网络)，总共带来了50层卷积层，充分提取图像特征；随后，选取ResNet网络中四种不同尺度的特征图分别送入RPN网络(区域建议网络)中产生候选框；再将多尺度下生成的候选框映射回多尺度的特征图送入FPN(特征金字塔网络)检测器最终得到检测结果。
参照图8所示，对于ResNet网络(深度残差网络)若最理想的特征输出是y，本模块获得的输入是x，那么期望中本模块能提供的非线性处理结果(即残差)便是F(x)＝y-x，这样输出就会是F(x)+x。若前方浅层网络已经提供了最优的输出x＝y，则F(x)就应当趋于0，如此一来，就保证了深度模型的错误率不会更高。
用公式表示为：
y＝F(x,{ωi})+x
而在实际使用中，若左侧卷积框架改变了图像的通道数，则右侧恒等映射中也需要进行通道改变的操作，因此把上述公式改写为：
y＝F(x,{ωi})+Wsx
式中的F(·)其实是一种灵活的表示，在本发明使用的方案中包含了三层卷积，实际使用的残差块结构参照图9所示，其中ResNet特征提取网络所用的主要结构由下表所示：
参照图10所示，区域建议网络(RPN,Region Proposal Network)的作用在于选出大概率存在目标的区域交给后面的检测器去进一步精调与筛选。
输入进RPN的特征图将首先被“滑动窗口”(Sliding Window)依次遍历，输出为1×256的特殊二维矩阵作为接下来RPN网络初步分类和定位所用的特征矩阵。
对于输入特征图的每一个元素，RPN都会生成k个大小或形状不同的初步候选框(anchor boxes)，1×256特征矩阵之后连接的两个卷积层的目的就是分别计算这k个初步候选框内是不是有目标(Classification Layer)以及目标的坐标(Regression Layer)。
训练RPN前，满足以下条件之一的初步候选框标记为正样本：(i)与真实目标区域IoU(Intersection-over-Union，式(4.3))最大的anchor boxes；(ii)与真实目标IoU大于0.7的anchor boxes。相反IoU小于0.3的anchor boxes则被标记为负样本。
训练RPN时，将损失函数定义为：
其中是二分类的Log Loss，而是smooth L1Loss。Ncls指Mini-Batch内样本数，由256个约1:2分布的正负样本组成；Nreg则是RPN输入特征图上被“滑过”的中心点数量，权重λ用于平衡两种损失。是由RPN网络预测的分类概率，pi则是1值或0值(分别代表前景、后景)。和ti代表坐标值也分别是预测值和真实值，但目标区域坐标包含的四个元素分别定义为：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,
tw＝log(w/wa),th＝log(h/ha)
式中指预测框的中心坐标，ha,wa指anchor boxes的高和宽，xa,x分别对应预测框、初步候选框和真实目标框，各变量以此类推。
在前向传播或检测的时候，计算出的正样本候选区域依据RPN前景预测概率进行非极大值抑制后，概率最大的C(如：2000)个预测框作为proposals(或ROI)经过ROIAlignment处理后即可进入后续最终检测器。
从RPN网络中预测到的候选区域是尺寸不一的，为使后续检测时能明确每个卷积层的输入输出尺寸，本发明使用ROI Alignment的方法将所有候选区域处理为同样的尺寸。
ROI(region of interest)，便是来自RPN的候选区域。ROI Alignment操作过程如下：
首先，将根据RPN预测的ROI坐标映射回卷积特征图上(即输入到RPN的特征图)；
第二，在特征图上，无论原本候选区域多大，所有的候选区域都被均分为相同的n*n个区域。均分过程中若出现小区域边界坐标不为整数的情况，则根据双线性插值的原理定义边界亚像素点的强度。
第三，分别对每个候选区域的n*n个小区域进行最大值池化(Max Pooling)，如此一来，所有的候选区域都被处理为n1×n2尺寸的小特征图，用于后续检测。
参照图11所示，采用特征金字塔网络(FPN,Feature Pyramid Network)作为网络最终检测器。它利用在ResNet特征提取网络生成的多个不同尺度卷积特征层分别独立进行检测，最终再将检测结果进行融合；
具体来说，总共利用了五层卷积特征层来使用FPN网络。其中四层来自ResNet五个卷积阶段中后四个阶段的最后一组特征图(从卷积由浅到深分别编号C2,C3,C4,C5及输入FPN时经由卷积核得到的P2,P3,P4,P5)，第五层P6则是用P5自身再经过卷积核作用得到的(参照图7)。
参照图4所示，本发明的实施例还提供了一种鱼类图像处理系统，包括：
去雨除雾网络处理单元1，去雨除雾网络处理单元1对获取的图像进行去雨和除雾处理；以及
鱼类检测单元2，鱼类检测单元2对去雨除雾后的图像进行处理，对图像中鱼类的位置进行标注。
参照图5所示，在本发明的一具体实施例中，去雨除雾网络处理单元1包括：去雨网络处理模块11，去雨网络处理模块11对获取的图像进行初步卷积后采用空洞卷积进一步获取图像特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨；其中B是指没有任何干扰的背景图像，表示雨图层，R表示实际记录图像每个像素的雨水有无。
去雨除雾网络处理单元1还包括：除雾网络处理模块12，除雾网络处理模块12对特征F进行多尺度映射提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
鱼类检测单元2包括：
深度残差网络模块21，使用深度残差网络提供的50层卷积层，提取经去雨除雾网络处理后的图像的图像特征；
区域建议网络模块22，区域建议网络模块22将选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；以及
特征金字塔网络模块24，特征金字塔网络模块24将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
在本发明的一具体实施例中，鱼类检测单元2还包括：
ROI对准模块23，ROI对准模块23将根据区域建议网络模块22预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的包含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特征金字塔网络模块24的检测。
本发明通过建立了一套综合去雨除雾网络，用深度学习的方法去求解物理模型，将雾带来的大气背景光强度估计作为一项训练目标，使去雨和除雾操作在同一阶段完成。在较为复杂环境下的增强效果强于其他方法，实现了对鱼类图像的去雨除雾。
通过合理设计ResNet残差结构、RPN“滑动”过程、FPN输入尺度、Dropout、Batch-Normalization等各种网络细节，成功实现复杂场景的鱼类检测功能，提高了鱼类的检测效率。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种鱼类图像处理方法，其特征在于，包括：
获取第一鱼类图像，所述第一鱼类图像中包含鱼类信息；
根据去雨除雾数学模型：建立去雨除雾网络，并运用所述去雨除雾网络对获取的所述第一鱼类图像进行去雨和除雾，得到第二鱼类图像；其中B是指没有任何干扰的背景图像，表示雨图层，O表示实际记录的图像，R表示实际记录图像每个像素的雨水有无，A表示大气背景光，(1-α)为物体表面反射光传播到摄像头过程中的衰减比例；
使用鱼类检测算法对去雨除雾后的所述第二鱼类图像进行处理，对所述第二鱼类图像中鱼类的位置进行标注。
2.根据权利要求1所述的方法，其特征在于，所述去雨除雾网络的去雨过程包括：
对获取的所述第一图像进行初步卷积后采用空洞卷积进一步获取所述第一图像的特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨。
3.根据权利要求2所述的方法，其特征在于，所述去雨除雾网络的除雾过程包括：
对特征F进行多尺度映射，以提高不同分辨率下特征提取的鲁棒性；
对映射后的特征F进行取局部极值操作，对透过率α进行估计；
对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
4.根据权利要求3所述的方法，其特征在于，所述鱼类检测算法包括：
使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的所述第二图像的图像特征；
选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；
再将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
5.根据权利要求4所述的方法，其特征在于，使用ROI Alignment的方法将所述候选框域处理为同样的尺寸：
将根据区域建议网络预测的ROI坐标映射回卷积特征图上；
将特征图上所有的候选区域均分为相同的含n*n个小区域的区域；
分别对每个候选区域的n*n个小区域进行最大值池化，用于后续特征金字塔网络的检测。
6.一种鱼类图像处理系统，其特征在于，包括：
去雨除雾网络处理单元，所述去雨除雾网络处理单元对获取的图像进行去雨和除雾处理；以及
鱼类检测单元，所述鱼类检测单元对去雨除雾后的图像进行处理，对图像中鱼类的位置进行标注。
7.根据权利要求6所述的系统，其特征在于，所述去雨除雾网络处理单元包括：去雨网络处理模块，所述去雨网络处理模块对获取的图像进行初步卷积后采用空洞卷积进一步获取图像特征F，对特征F通过两个卷积层估算R，对[F,R]使用一层卷积预测再通过一层卷积计算B，将B作为去雨过程的输入进一步的去雨；其中B是指没有任何干扰的背景图像，表示雨图层，R表示实际记录图像每个像素的雨水有无。
8.根据权利要求7所述的系统，其特征在于，所述去雨除雾网络处理单元还包括：除雾网络处理模块，所述除雾网络处理单元对特征F进行多尺度映射提高不同分辨率下特征提取的鲁棒性；对映射后的特征F进行取局部极值操作，对透过率α进行估计；对透过率α进行非线性回归操作进行边缘抑制提高对透过率α估计的准确率。
9.根据权利要求8所述的系统，其特征在于，所述鱼类检测单元包括：
深度残差网络模块，使用深度残差网络提供的50层卷积层，提取经所述去雨除雾网络处理后的图像的图像特征；
区域建议网络模块，所述区域建议网络模块将选取四种不同尺度的特征图分别送入区域建议网络中产生候选框；以及
特征金字塔网络模块，所述特征金字塔网络模块将多尺度下生成的候选框映射回多尺度的特征图送入特征金字塔网络得到检测结果。
10.根据权利要求9所述的系统，其特征在于，所述鱼类检测单元还包括：
ROI对准模块，所述ROI对准模块将根据区域建议网络模块预测的ROI坐标映射回卷积特征图上；将特征图上所有的候选区域均分为相同的包含n*n个小区域的区域；分别对每个候选区域的n*n个小区域进行最大值池化，用于后续所述特征金字塔网络模块的检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391974.1A CN109583343A (zh) | 2018-11-21 | 2018-11-21 | 一种鱼类图像处理系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811391974.1A CN109583343A (zh) | 2018-11-21 | 2018-11-21 | 一种鱼类图像处理系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109583343A true CN109583343A (zh) | 2019-04-05 |
Family
ID=65923649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811391974.1A Withdrawn CN109583343A (zh) | 2018-11-21 | 2018-11-21 | 一种鱼类图像处理系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109583343A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111882496A (zh) * | 2020-07-06 | 2020-11-03 | 苏州加乘科技有限公司 | 一种基于递归神经网络的夜间图像去雾方法 |
| CN112014842A (zh) * | 2020-09-16 | 2020-12-01 | 国家海洋技术中心 | 高分三号全极化sar数据的有效波高估计方法及系统 |
| CN113327244A (zh) * | 2021-06-25 | 2021-08-31 | 南京爱奇艺智能科技有限公司 | 一种基于计算机视觉的手柄控制器led灯定位方法和系统 |
| CN113420759A (zh) * | 2021-06-11 | 2021-09-21 | 中国船舶重工集团公司七五0试验场 | 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法 |
-
2018
- 2018-11-21 CN CN201811391974.1A patent/CN109583343A/zh not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
| CN110503613B (zh) * | 2019-08-13 | 2022-03-15 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111882496A (zh) * | 2020-07-06 | 2020-11-03 | 苏州加乘科技有限公司 | 一种基于递归神经网络的夜间图像去雾方法 |
| CN112014842A (zh) * | 2020-09-16 | 2020-12-01 | 国家海洋技术中心 | 高分三号全极化sar数据的有效波高估计方法及系统 |
| CN112014842B (zh) * | 2020-09-16 | 2021-03-19 | 国家海洋技术中心 | 高分三号全极化sar数据的有效波高估计方法及系统 |
| CN113420759A (zh) * | 2021-06-11 | 2021-09-21 | 中国船舶重工集团公司七五0试验场 | 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法 |
| CN113327244A (zh) * | 2021-06-25 | 2021-08-31 | 南京爱奇艺智能科技有限公司 | 一种基于计算机视觉的手柄控制器led灯定位方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583343A (zh) | 一种鱼类图像处理系统和方法 | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| Costa et al. | Extracting fish size using dual underwater cameras | |
| CN110120020A (zh) | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 | |
| CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| CN109145922A (zh) | 一种自动抠图系统 | |
| CN108805064A (zh) | 一种基于深度学习的鱼类定位检测和识别方法及系统 | |
| CN109583378A (zh) | 一种植被覆盖度提取方法及系统 | |
| CN109558815A (zh) | 一种实时多人脸的检测及跟踪方法 | |
| Levy et al. | Automated analysis of marine video with limited data | |
| CN106709517A (zh) | 红树林识别方法及系统 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN110163207A (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
| CN110287837A (zh) | 基于先验估计网络和空间约束混合模型的海面障碍物检测方法 | |
| CN106372597B (zh) | 基于自适应上下文信息的cnn交通检测方法 | |
| CN113591592B (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN108764470A (zh) | 一种人工神经网络运算的处理方法 | |
| CN112200163B (zh) | 水下底栖生物检测方法及系统 | |
| Ding et al. | Jointly adversarial network to wavelength compensation and dehazing of underwater images | |
| Sethuraman et al. | Waternerf: Neural radiance fields for underwater scenes | |
| CN115641767A (zh) | 无人艇感知实验平台装置 | |
| CN116972814A (zh) | 主被动遥感融合的浅海水深探测方法、设备及存储介质 | |
| CN106666767B (zh) | 一种基于视觉技术的高效葵花籽脱壳方法 | |
| CN113723371B (zh) | 无人船清洁路线规划方法、装置、计算机设备及存储介质 | |
| Zhang et al. | Deep learning for semantic segmentation of coral images in underwater photogrammetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190405 |
|
| WW01 | Invention patent application withdrawn after publication |