CN111882555A - 基于深度学习的网衣检测方法、装置、设备及存储介质 - Google Patents
基于深度学习的网衣检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111882555A CN111882555A CN202010792774.8A CN202010792774A CN111882555A CN 111882555 A CN111882555 A CN 111882555A CN 202010792774 A CN202010792774 A CN 202010792774A CN 111882555 A CN111882555 A CN 111882555A
- Authority
- CN
- China
- Prior art keywords
- netting
- target
- image
- average value
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 155
- 238000013135 deep learning Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013138 pruning Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000007500 overflow downdraw method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000006378 damage Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 56
- 238000000605 extraction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 239000002346 layers by function Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000037380 skin damage Effects 0.000 description 2
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009364 mariculture Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及水下检测技术领域，公开了一种基于深度学习的网衣检测方法、装置、设备及存储介质，所述方法包括：获取目标网衣图像和目标网衣视频；根据目标网衣图像对预设检测模型进行训练，获得待处理检测模型，并获取各卷积层中的卷积核，根据卷积核的L1范数对卷积核进行修剪，获得目标检测模型；对目标网衣视频进行关键帧划分，获得关键帧和非关键帧，进而获得输出图像；检测输出图像中的破损目标和附着物目标，统计破损目标数量和附着物目标数量，并生成密度热力图，将密度热力图作为网衣检测结果，从而根据目标网衣图像和目标网衣视频检测网衣的破损目标和附着物目标，获得高精度的网衣检测结果，降低大围网的检测难度。
Description
技术领域
本发明涉及水下检测技术领域，尤其涉及一种基于深度学习的网衣检测方法、装置、设备及存储介质。
背景技术
随着现代科技的不断发展、新型材料的不断开发与应用、水产养殖企业综合实力的提升，一种新的海水养殖生产模式应运而生——单位规模可达3×104m3的大型围网养殖。围网是围网养殖模式中的重要工具，但在自然灾害，如台风时，围网会经常发生网绳破裂等养殖事故，并在围网养殖过程中，网衣上会发生污损生物附着现象，当养殖网衣附着非常严重时，会影响围网内外水体交换，影响围网中的养殖对象，对养殖户造成重大损失。
目前常用网衣检测方法为聘请专业的潜水员进行水下网衣排查，需要耗费大量资金的同时，一些10米以上的大围网网衣检测工作存在很大的人身安全隐患。
发明内容
本发明的主要目的在于提出一种基于深度学习的网衣检测方法、装置、设备及存储介质，旨在解决现有的大围网网衣检测困难的技术问题。
为实现上述目的，本发明提供一种基于深度学习的网衣检测方法，所述基于深度学习的网衣检测方法包括以下步骤：
获取目标网衣图像和目标网衣视频；
根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；
获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；
对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；
根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；
检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；
根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
优选地，所述获取目标网衣图像和目标网衣视频，具体包括：
获取水下相机采集的网衣图像和网衣视频；
将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像；
采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像；
采用预设双边滤波器对所述第二图像进行去噪处理，并对去噪后的第二图像进行局域直方图增强处理，获得第二目标图像；
根据所述第一目标图像和所述第二目标图像获得目标网衣图像；
采用预设融合方法对所述网衣视频进行预处理，获得目标网衣视频。
优选地，所述采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像，具体包括：
获取所述第一图像的红色通道的红色通道值、绿色通道的绿色通道值以及蓝色通道的蓝色通道值；
分别计算所述红色通道值的第一平均值、所述绿色通道值的第二平均值以及所述蓝色通道值的第三平均值；
计算所述第一平均值、所述第二平均值和所述第三平均值的第四平均值，将所述第四平均值作为灰度值；
根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数；
根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数；
根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数；
基于预设模型、所述第一增益系数、所述第二增益系数以及所述第三增益系数对所述第一图像中的各像素进行调整，获得第一目标图像。
优选地，所述根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数的计算公式为：
所述根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数的计算公式为：
所述根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数的计算公式为：
其中，kr为第一增益系数，kg为第二增益系数，kb为第三增益系数，
为第一平均值，
为第二平均值，
为第三平均值，
为灰度值。
优选地，所述根据所述第一目标图像和所述第二目标图像获得目标网衣图像，具体包括：
计算所述第一目标图像和所述第二目标图像的拉普拉斯对比权重、局部对比权重、显著性权重和曝光权重；
对所述拉普拉斯对比权重、所述局部对比权重、所述显著性权重和所述曝光权重进行归一化处理，获得归一化权重；
根据所述归一化权重对所述第一目标图像和所述第二目标图像进行融合处理，获得目标网衣图像。
优选地，所述根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像，具体包括：
将所述关键帧对应的视频图像输入所述目标检测模型，获得第一输出图像；
获取所述关键帧的特征，并将所述特征通过预设光流法传输到相邻的待处理非关键帧；
将所述特征与所述待处理非关键帧对应的视频图像进行结合，获得特征图像；
将所述特征图像输入所述目标检测模型，获得第二输出图像；
将所述第一输出图像和所述第二输出图像作为输出图像。
优选地，所述获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型，具体包括：
获取所述待处理检测模型的各卷积层中的卷积核，并计算所述卷积核的L1范数；
根据所述L1范数分别对各卷积层中的卷积核进行排序；
根据排序结果确定待处理卷积核，并对所述待处理卷积核进行修剪，获得目标检测模型。
此外，为实现上述目的，本发明还提出一种基于深度学习的网衣检测装置，所述基于深度学习的网衣检测装置包括：
信息获取模块，用于获取目标网衣图像和目标网衣视频；
模型训练模块，用于根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；
目标模型模块，用于获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；
视频划分模块，用于对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；
输出图像模块，根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；
目标检测模块，用于检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；
检测结果模块，用于根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
此外，为实现上述目的，本发明还提出一种基于深度学习的网衣检测设备，所述基于深度学习的网衣检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的网衣检测程序，所述基于深度学习的网衣检测程序配置有实现如上所述的基于深度学习的网衣检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于深度学习的网衣检测程序，所述基于深度学习的网衣检测程序被处理器执行时实现如上文所述的基于深度学习的网衣检测方法的步骤。
本发明提出的基于深度学习的网衣检测方法，通过获取目标网衣图像和目标网衣视频；根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果，从而根据目标网衣图像和目标网衣视频检测网衣的破损目标和附着物目标，获得高精度的网衣检测结果，降低大围网的检测难度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于深度学习的网衣检测设备结构示意图；
图2为本发明基于深度学习的网衣检测方法第一实施例的流程示意图；
图3为本发明基于深度学习的网衣检测方法第一实施例的目标检测模型结构图；
图4为本发明基于深度学习的网衣检测方法第二实施例的流程示意图；
图5为本发明基于深度学习的网衣检测方法第三实施例的流程示意图；
图6为本发明基于深度学习的网衣检测装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于深度学习的网衣检测设备结构示意图。
如图1所示，该基于深度学习的网衣检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对基于深度学习的网衣检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度学习的网衣检测程序。
在图1所示的基于深度学习的网衣检测设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的基于深度学习的网衣检测程序，并执行本发明实施例提供的基于深度学习的网衣检测方法。
基于上述硬件结构，提出本发明基于深度学习的网衣检测方法实施例。
参照图2，图2为本发明基于深度学习的网衣检测方法第一实施例的流程示意图。
在第一实施例中，所述基于深度学习的网衣检测方法包括以下步骤：
步骤S10，获取目标网衣图像和目标网衣视频。
需要说明的是，本实施例的执行主体可为基于深度学习的网衣检测设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以基于深度学习的网衣检测设备为例进行说明。
需要说明的是，获取水下相机采集的网衣图像和网衣视频，利用融合方法对网衣图像和网衣视频进行预处理，获得目标网衣图像和目标网衣视频，其中，水下相机可为单目水下相机，还可为其他类型的相机，本实施例对此不作限制。
应当理解的是，利用融合方法对网衣图像和网衣视频进行预处理，获得目标网衣图像和目标网衣视频的目的是为了均匀图像光线和校正图像色彩，去除掉这些可能会影响到检测结果的因素，提高检测结果的精准性。
步骤S20，根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型。
应当理解的是，需要将ImageNet数据集输入预设检测模型的基础特征提取网络进行预训练，初始化网络权重和参数，然后使用经过预处理的目标网衣图像对预设检测模型进行再训练，获得待处理检测模型。
进一步地，根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型的具体步骤为：
(1)将目标网衣图像作为训练数据，训练数据经过由15个卷积层、ReLU层、maxpool层组成的基础特征提取网络和4组卷积层组成的额外功能层，进行特征提取。
在本实施例中，基础特征提取网络由VGG16网络的cov1_x，cov2_x，cov3_x，cov4_x，cov5_x外接3*3*1024和1*1*1024的卷积层组成，依次得到的输出结果为300*300*64、300*300*64、150*150*64、150*150*128、150*150*128、75*75*128、75*75*256、75*75*256、75*75*256、38*38*256、38*38*512、38*38*512、38*38*512、19*19*1024、19*19*1024。额外功能层由4组卷积层组成，cov8为1*1*256和3*3*512，cov9为1*1*128和3*3*256，cov10为1*1*128和3*3*256，cov11为1*1*128和3*3*256。
(2)基础特征提取网络的第13和第15层与额外功能层作为区域检测的六个特征层，特征大小分别为38*38，19*19，10*10，5*5，3*3，1*1；
本实施例中，六个特征层由cov5_3，cov7，cov8_2，cov9_2，cov10_2，cov11_2组成。
(3)对不同大小的特征图像根据线性递增规则设置先验框的尺度，长宽参数分别为1，2，3，
(4)得到特征图后，对特征图进行卷积得到类别置信度和边界框位置，根据检测结果计算损失函数，损失函数为位置损失与置信度损失的加权和；
本实施例中，损失函数公式为：
其中，N是匹配正样本的总量(如果N＝0，则令L＝0)，x、c分别是分类的指示量和置信度，l、g分别是预测框和真实框，α是位置损失的权重，Lconf、Lloc分别是位置损失和置信度损失。
(5)重复步骤(1)～(4)，直到损失函数的loss值收敛并趋于稳定，获得待处理检测模型。
可以理解的是，通过使用ImageNet数据集对网络进行预训练，初始化网络权重和参数，可以有效避免网络在训练过程中出现梯度爆炸和梯度丧失等问题，这些问题会导致损失函数无法有效收敛。
步骤S30，获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型。
需要理解的是，对训练好的待处理检测模型的卷积层，求取每个卷积层的L1范数并将其从小到大排序，L1范数较小的卷积核被修剪，根据修剪规则逐层修剪卷积层直至最后一层，修剪后的网络权重作为初始参数，该步骤具体为：
(1)对于每一个卷积层，将每个卷积层的L1范数从小到大排序，L1范数较小的卷积核被修剪，修剪后，特征图的通道将减少，因此相应修剪下一层的卷积核。
(2)修剪后的网络权重用作微调的初始参数，在微调阶段，先冻结基础特征提取网络，对额外功能层进行微调，知道其精度确定为止，然后对基础特征提取网络进行微调。
(3)重复进行递归修剪的前两个步骤，直到精度损失大于预设阈值为止，得到目标检测模型。
在具体实现中，如图3所示，图3为目标检测模型结构图。
步骤S40，对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧。
应当理解的是，对目标网衣视频进行关键帧划分，获得关键帧和非关键帧，划分关键帧与非关键帧的标准可为对当前帧的特征进行分析，根据分析结果来确定其为关键帧还是非关键帧，还可为其他方式，本实施例对此不作限制。
步骤S50，根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像。
步骤S60，检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量。
步骤S70，根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
应当理解的是，根据破损目标数量和附着物目标数量生成密度热力图，用户就可以很方便的根据密度热力图及时发现围网的皮损情况并对破损点进行修复，并及时发现围网的无损情况并及时对围网进行清理，减少养殖户的养殖风险，维护围网的养殖环境。
本实施例中通过获取目标网衣图像和目标网衣视频；根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果，从而根据目标网衣图像和目标网衣视频检测网衣的破损目标和附着物目标，获得高精度的网衣检测结果，降低大围网的检测难度。
在一实施例中，如图4所示，基于第一实施例提出本发明基于深度学习的网衣检测方法第二实施例，所述步骤S10，包括：
步骤S101，获取水下相机采集的网衣图像和网衣视频。
步骤S102，将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像。
需要说明的是，将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像，这样就可以得到内容相同的第一图像和第二图像，对第一图像进行白平衡处理，对第二图像进行去噪处理。
步骤S103，采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像。
进一步地，所述步骤S103，包括：
获取所述第一图像的红色通道的红色通道值、绿色通道的绿色通道值以及蓝色通道的蓝色通道值；
分别计算所述红色通道值的第一平均值、所述绿色通道值的第二平均值以及所述蓝色通道值的第三平均值；
计算所述第一平均值、所述第二平均值和所述第三平均值的第四平均值，将所述第四平均值作为灰度值；
根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数；
根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数；
根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数；
基于预设模型、所述第一增益系数、所述第二增益系数以及所述第三增益系数对所述第一图像中的各像素进行调整，获得第一目标图像。
其中，所述根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数的计算公式为：
所述根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数的计算公式为：
所述根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数的计算公式为：
其中，kr为第一增益系数，kg为第二增益系数，kb为第三增益系数，
为第一平均值，
为第二平均值，
为第三平均值，
为灰度值。
应当理解的是，本实施例中的图像为RGB图像，因此，可获取第一图像的红色通道的红色通道值R，绿色通道的绿色通道值G，蓝色通道的蓝色通道值B。
可以理解的是，分别计算所述红色通道值的第一平均值
所述绿色通道值的第二平均值
以及所述蓝色通道值的第三平均值
然后再计算
的平均值
需要说明的是，预设模型可为Von Kries对角模型，对于图像中的每个像素C，调整其R、G、B分量：C(R')＝C(R)*kr，C(G')＝C(G)*kg，C(B')＝C(B)*kb，得到白平衡后的第一目标图像。
步骤S104，采用预设双边滤波器对所述第二图像进行去噪处理，并对去噪后的第二图像进行局域直方图增强处理，获得第二目标图像。
需要说明的是，使用双边滤波器对第二图像进行去噪，双边滤波器是一种非迭代边缘保持平滑滤波器，可消除图像噪声，双边滤波器将核的中心像素s与类似于s的相邻像素p混合：
其中，D(p,s)＝Ip-Is是强度的差异；
正则化K(s)＝∑p∈Ωf(p-s,σf)g(D(p,s),σg)，g是具有标准差为σg的高斯分布特征的范围内核，用来惩罚具有较大强度差异的边缘的像素。
可以理解的是，在对第二图像进行去噪处理后，对去噪后的第二图像进行局域直方图增强，得到第二目标图像。
步骤S105，根据所述第一目标图像和所述第二目标图像获得目标网衣图像。
进一步地，所述步骤S105，包括：
计算所述第一目标图像和所述第二目标图像的拉普拉斯对比权重、局部对比权重、显著性权重和曝光权重；
对所述拉普拉斯对比权重、所述局部对比权重、所述显著性权重和所述曝光权重进行归一化处理，获得归一化权重；
根据所述归一化权重对所述第一目标图像和所述第二目标图像进行融合处理，获得目标网衣图像。
需要说明的是，在每个输入的亮度通道上应用拉普拉斯滤波器，并计算滤波器结果的绝对值来处理全局对比度，即拉普拉斯对比权重；局部对比权重计算了像素亮度级别与其周围区域的局部平均值之间的标准偏差，包括每个像素与其邻域平均值之间的关系，公式如下：
其中，Ik代表了输入的亮度通道，
代表了亮度通道的低通版本。
计算显著性权重，用来强调在水下场景中失去突出性的辨别对象；计算曝光权重，用来评估像素曝光的程度，公式如下：
其中，Ik(x,y)代表了当前标准差设定为σ＝0.25时，，输入图像Ik在位置(x,y)处的像素值。
对于每个像素的权重值进行归一化，使每个像素位置总和为1，对于输入k，归一化权重计算为
融合图像R(x,y)是通过将定义的输入与每个像素位置(x,y)处的权重度量融合而获得的：
其中，Ik表示由归一化的权重图
加权之后的输入。
步骤S106，采用预设融合方法对所述网衣视频进行预处理，获得目标网衣视频。
应当理解的是，在采用上述融合方法对网衣图像进行预处理，获得目标网衣图像的同时，也采用融合方法对网衣视频进行预处理，获得目标网衣视频，由于视频也是由图像组成的，因此，具体处理步骤与上述步骤相同。
本实施例中通过获取水下相机采集的网衣图像和网衣视频；将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像；采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像；采用预设双边滤波器对所述第二图像进行去噪处理，并对去噪后的第二图像进行局域直方图增强处理，获得第二目标图像；根据所述第一目标图像和所述第二目标图像获得目标网衣图像；采用预设融合方法对所述网衣视频进行预处理，获得目标网衣视频。从而对网衣图像进行白平衡、去噪等处理后，得到目标网衣图像，并通过相同的方式对网衣视频进行处理，得到目标网衣视频，去除了很多可能会影响到检测结果的因素，提高检测的准确性。
在一实施例中，如图5所示，基于第一实施例或第二实施例提出本发明基于深度学习的网衣检测方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S50，包括：
步骤S501，将所述关键帧对应的视频图像输入所述目标检测模型，获得第一输出图像。
步骤S502，获取所述关键帧的特征，并将所述特征通过预设光流法传输到相邻的待处理非关键帧。
步骤S503，将所述特征与所述待处理非关键帧对应的视频图像进行结合，获得特征图像。
步骤S504，将所述特征图像输入所述目标检测模型，获得第二输出图像。
步骤S505，将所述第一输出图像和所述第二输出图像作为输出图像。
需要说明的是，对目标网衣视频进行关键帧划分，视频分为关键帧和非关键帧，将关键帧的视频图像输入训练好的目标检测模型得到输出图像，将关键帧的特征图像通过光流法传输到相邻的非关键帧，将非关键帧的特征图像输入检测模型的额外功能层，得到输出图像。
应当理解的是，当前帧为关键帧时，将图像输入基于回归的目标检测模型，得到检测结果；当前帧为非关键帧时，使用光流法将临近的前一帧的关键帧的特征传递到本帧。
可以理解的是，根据特征传递公式将关键帧的六个特征层传递到非关键帧，公式为：
fi＝W(fk,F(Ik,Ii),S(Ik,Ii))；
其中，fi为当前帧的特征层，fk为关键帧特征层，F(Ik,Ii)为光流估计算法，S(Ik,Ii)为比例函数。Ik,Ii为当前帧和关键帧，W为将以下公式应用到所有位置和所有通道中：
其中，c为特征层fi的通道，q枚举特征层中的所有位置，G(.,.)为双线性插值内核。
本实施例中使用的光流估计算法为SIFI光流法，公式为：
其中，w(p)＝(u(p),v(p))是像素p＝(x,y)上的位移矢量，si(p)是图像i在位置p处提取的SIFI描述符，ε是像素的空间领域，参数σ＝300，α＝0.5和d＝2。
在当前帧的特征层上同时进行softmax分类和位置回归，得到检测结果。
本实施例中通过将所述关键帧对应的视频图像输入所述目标检测模型，获得第一输出图像；获取所述关键帧的特征，并将所述特征通过预设光流法传输到相邻的待处理非关键帧；将所述特征与所述待处理非关键帧对应的视频图像进行结合，获得特征图像；将所述特征图像输入所述目标检测模型，获得第二输出图像；将所述第一输出图像和所述第二输出图像作为输出图像，从而通过目标检测模型对关键帧和非关键帧的视频图像进行处理，得到输出图像用于获得检测结果，提升了检测的精确度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度学习的网衣检测程序，所述基于深度学习的网衣检测程序被处理器执行时实现如上文所述的基于深度学习的网衣检测方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图6，本发明实施例还提出一种基于深度学习的网衣检测装置，所述基于深度学习的网衣检测装置包括：
信息获取模块10，用于获取目标网衣图像和目标网衣视频。
需要说明的是，获取水下相机采集的网衣图像和网衣视频，利用融合方法对网衣图像和网衣视频进行预处理，获得目标网衣图像和目标网衣视频，其中，水下相机可为单目水下相机，还可为其他类型的相机，本实施例对此不作限制。
应当理解的是，利用融合方法对网衣图像和网衣视频进行预处理，获得目标网衣图像和目标网衣视频的目的是为了均匀图像光线和校正图像色彩，去除掉这些可能会影响到检测结果的因素，提高检测结果的精准性。
模型训练模块20，用于根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型。
应当理解的是，需要将ImageNet数据集输入预设检测模型的基础特征提取网络进行预训练，初始化网络权重和参数，然后使用经过预处理的目标网衣图像对预设检测模型进行再训练，获得待处理检测模型。
进一步地，根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型的具体步骤为：
(1)将目标网衣图像作为训练数据，训练数据经过由15个卷积层、ReLU层、maxpool层组成的基础特征提取网络和4组卷积层组成的额外功能层，进行特征提取。
在本实施例中，基础特征提取网络由VGG16网络的cov1_x，cov2_x，cov3_x，cov4_x，cov5_x外接3*3*1024和1*1*1024的卷积层组成，依次得到的输出结果为300*300*64、300*300*64、150*150*64、150*150*128、150*150*128、75*75*128、75*75*256、75*75*256、75*75*256、38*38*256、38*38*512、38*38*512、38*38*512、19*19*1024、19*19*1024。额外功能层由4组卷积层组成，cov8为1*1*256和3*3*512，cov9为1*1*128和3*3*256，cov10为1*1*128和3*3*256，cov11为1*1*128和3*3*256。
(2)基础特征提取网络的第13和第15层与额外功能层作为区域检测的六个特征层，特征大小分别为38*38，19*19，10*10，5*5，3*3，1*1；
本实施例中，六个特征层由cov5_3，cov7，cov8_2，cov9_2，cov10_2，cov11_2组成。
(3)对不同大小的特征图像根据线性递增规则设置先验框的尺度，长宽参数分别为1，2，3，
(4)得到特征图后，对特征图进行卷积得到类别置信度和边界框位置，根据检测结果计算损失函数，损失函数为位置损失与置信度损失的加权和；
本实施例中，损失函数公式为：
其中，N是匹配正样本的总量(如果N＝0，则令L＝0)，x、c分别是分类的指示量和置信度，l、g分别是预测框和真实框，α是位置损失的权重，Lconf、Lloc分别是位置损失和置信度损失。
(5)重复步骤(1)～(4)，直到损失函数的loss值收敛并趋于稳定，获得待处理检测模型。
可以理解的是，通过使用ImageNet数据集对网络进行预训练，初始化网络权重和参数，可以有效避免网络在训练过程中出现梯度爆炸和梯度丧失等问题，这些问题会导致损失函数无法有效收敛。
目标模型模块30，用于获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型。
需要理解的是，对训练好的待处理检测模型的卷积层，求取每个卷积层的L1范数并将其从小到大排序，L1范数较小的卷积核被修剪，根据修剪规则逐层修剪卷积层直至最后一层，修剪后的网络权重作为初始参数，该步骤具体为：
(1)对于每一个卷积层，将每个卷积层的L1范数从小到大排序，L1范数较小的卷积核被修剪，修剪后，特征图的通道将减少，因此相应修剪下一层的卷积核。
(2)修剪后的网络权重用作微调的初始参数，在微调阶段，先冻结基础特征提取网络，对额外功能层进行微调，知道其精度确定为止，然后对基础特征提取网络进行微调。
(3)重复进行递归修剪的前两个步骤，直到精度损失大于预设阈值为止，得到目标检测模型。
在具体实现中，如图3所示，图3为目标检测模型结构图。
视频划分模块40，用于对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧。
应当理解的是，对目标网衣视频进行关键帧划分，获得关键帧和非关键帧，划分关键帧与非关键帧的标准可为对当前帧的特征进行分析，根据分析结果来确定其为关键帧还是非关键帧，还可为其他方式，本实施例对此不作限制。
输出图像模块50，根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像。
目标检测模块60，用于检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量。
检测结果模块70，用于根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
应当理解的是，根据破损目标数量和附着物目标数量生成密度热力图，用户就可以很方便的根据密度热力图及时发现围网的皮损情况并对破损点进行修复，并及时发现围网的无损情况并及时对围网进行清理，减少养殖户的养殖风险，维护围网的养殖环境。
本实施例中通过获取目标网衣图像和目标网衣视频；根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果，从而根据目标网衣图像和目标网衣视频检测网衣的破损目标和附着物目标，获得高精度的网衣检测结果，降低大围网的检测难度。
在一实施例中，所述信息获取模块10，还用于获取水下相机采集的网衣图像和网衣视频；将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像；采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像；采用预设双边滤波器对所述第二图像进行去噪处理，并对去噪后的第二图像进行局域直方图增强处理，获得第二目标图像；根据所述第一目标图像和所述第二目标图像获得目标网衣图像；采用预设融合方法对所述网衣视频进行预处理，获得目标网衣视频。
在一实施例中，所述信息获取模块10，还用于获取所述第一图像的红色通道的红色通道值、绿色通道的绿色通道值以及蓝色通道的蓝色通道值；分别计算所述红色通道值的第一平均值、所述绿色通道值的第二平均值以及所述蓝色通道值的第三平均值；计算所述第一平均值、所述第二平均值和所述第三平均值的第四平均值，将所述第四平均值作为灰度值；根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数；根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数；根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数；基于预设模型、所述第一增益系数、所述第二增益系数以及所述第三增益系数对所述第一图像中的各像素进行调整，获得第一目标图像。
在一实施例中，所述信息获取模块10，还用于计算所述第一目标图像和所述第二目标图像的拉普拉斯对比权重、局部对比权重、显著性权重和曝光权重；对所述拉普拉斯对比权重、所述局部对比权重、所述显著性权重和所述曝光权重进行归一化处理，获得归一化权重；根据所述归一化权重对所述第一目标图像和所述第二目标图像进行融合处理，获得目标网衣图像。
在一实施例中，所述输出图像模块50，还用于将所述关键帧对应的视频图像输入所述目标检测模型，获得第一输出图像；获取所述关键帧的特征，并将所述特征通过预设光流法传输到相邻的待处理非关键帧；将所述特征与所述待处理非关键帧对应的视频图像进行结合，获得特征图像；将所述特征图像输入所述目标检测模型，获得第二输出图像；将所述第一输出图像和所述第二输出图像作为输出图像。
在一实施例中，所述目标模型模块30，还用于获取所述待处理检测模型的各卷积层中的卷积核，并计算所述卷积核的L1范数；根据所述L1范数分别对各卷积层中的卷积核进行排序；根据排序结果确定待处理卷积核，并对所述待处理卷积核进行修剪，获得目标检测模型。
在本发明所述基于深度学习的网衣检测装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，基于深度学习的网衣检测设备，空调器，或者网络基于深度学习的网衣检测设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于深度学习的网衣检测方法，其特征在于，所述基于深度学习的网衣检测方法包括以下步骤：
获取目标网衣图像和目标网衣视频；
根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；
获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；
对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；
根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；
检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；
根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
2.如权利要求1所述的基于深度学习的网衣检测方法，其特征在于，所述获取目标网衣图像和目标网衣视频，具体包括：
获取水下相机采集的网衣图像和网衣视频；
将所述网衣图像作为第一图像，并对所述网衣图像进行复制处理，获得第二图像；
采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像；
采用预设双边滤波器对所述第二图像进行去噪处理，并对去噪后的第二图像进行局域直方图增强处理，获得第二目标图像；
根据所述第一目标图像和所述第二目标图像获得目标网衣图像；
采用预设融合方法对所述网衣视频进行预处理，获得目标网衣视频。
3.如权利要求2所述的基于深度学习的网衣检测方法，其特征在于，所述采用预设灰度世界法对所述第一图像进行白平衡处理，获得第一目标图像，具体包括：
获取所述第一图像的红色通道的红色通道值、绿色通道的绿色通道值以及蓝色通道的蓝色通道值；
分别计算所述红色通道值的第一平均值、所述绿色通道值的第二平均值以及所述蓝色通道值的第三平均值；
计算所述第一平均值、所述第二平均值和所述第三平均值的第四平均值，将所述第四平均值作为灰度值；
根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数；
根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数；
根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数；
基于预设模型、所述第一增益系数、所述第二增益系数以及所述第三增益系数对所述第一图像中的各像素进行调整，获得第一目标图像。
4.如权利要求3所述的基于深度学习的网衣检测方法，其特征在于，所述根据所述第一平均值和所述灰度值计算所述红色通道的第一增益系数的计算公式为：
所述根据所述第二平均值和所述灰度值计算所述绿色通道的第二增益系数的计算公式为：
所述根据所述第三平均值和所述灰度值计算所述蓝色通道的第三增益系数的计算公式为：
其中，kr为第一增益系数，kg为第二增益系数，kb为第三增益系数，
为第一平均值，
为第二平均值，
为第三平均值，
为灰度值。
5.如权利要求2所述的基于深度学习的网衣检测方法，其特征在于，所述根据所述第一目标图像和所述第二目标图像获得目标网衣图像，具体包括：
计算所述第一目标图像和所述第二目标图像的拉普拉斯对比权重、局部对比权重、显著性权重和曝光权重；
对所述拉普拉斯对比权重、所述局部对比权重、所述显著性权重和所述曝光权重进行归一化处理，获得归一化权重；
根据所述归一化权重对所述第一目标图像和所述第二目标图像进行融合处理，获得目标网衣图像。
6.如权利要求1～5中任一项所述的基于深度学习的网衣检测方法，其特征在于，所述根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像，具体包括：
将所述关键帧对应的视频图像输入所述目标检测模型，获得第一输出图像；
获取所述关键帧的特征，并将所述特征通过预设光流法传输到相邻的待处理非关键帧；
将所述特征与所述待处理非关键帧对应的视频图像进行结合，获得特征图像；
将所述特征图像输入所述目标检测模型，获得第二输出图像；
将所述第一输出图像和所述第二输出图像作为输出图像。
7.如权利要求1～5中任一项所述的基于深度学习的网衣检测方法，其特征在于，所述获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型，具体包括：
获取所述待处理检测模型的各卷积层中的卷积核，并计算所述卷积核的L1范数；
根据所述L1范数分别对各卷积层中的卷积核进行排序；
根据排序结果确定待处理卷积核，并对所述待处理卷积核进行修剪，获得目标检测模型。
8.一种基于深度学习的网衣检测装置，其特征在于，所述基于深度学习的网衣检测装置包括：
信息获取模块，用于获取目标网衣图像和目标网衣视频；
模型训练模块，用于根据所述目标网衣图像对预设检测模型进行训练，获得待处理检测模型；
目标模型模块，用于获取所述待处理检测模型的各卷积层中的卷积核，计算所述卷积核的L1范数，并根据所述L1范数对所述卷积核进行修剪，获得目标检测模型；
视频划分模块，用于对所述目标网衣视频进行关键帧划分，获得关键帧和非关键帧；
输出图像模块，根据所述关键帧和所述非关键帧通过所述目标检测模型获得输出图像；
目标检测模块，用于检测所述输出图像中的破损目标和附着物目标，并统计所述破损目标的破损目标数量和所述附着物目标的附着物目标数量；
检测结果模块，用于根据所述破损目标数量和所述附着物目标数量生成密度热力图，将所述密度热力图作为网衣检测结果。
9.一种基于深度学习的网衣检测设备，其特征在于，所述基于深度学习的网衣检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的网衣检测程序，所述基于深度学习的网衣检测程序配置有实现如权利要求1至7中任一项所述的基于深度学习的网衣检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于深度学习的网衣检测程序，所述基于深度学习的网衣检测程序被处理器执行时实现如权利要求1至7中任一项所述的基于深度学习的网衣检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010792774.8A CN111882555B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010792774.8A CN111882555B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882555A true CN111882555A (zh) | 2020-11-03 |
| CN111882555B CN111882555B (zh) | 2024-03-12 |
Family
ID=73211365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010792774.8A Active CN111882555B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882555B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529853A (zh) * | 2020-11-30 | 2021-03-19 | 南京工程学院 | 一种用于水下养殖网箱的网衣破损检测方法及装置 |
| CN115063362A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 配电箱门检测方法、系统、电子设备、介质和程序产品 |
| CN116228757A (zh) * | 2023-05-08 | 2023-06-06 | 山东省海洋科学研究院(青岛国家海洋科学研究中心) | 一种基于图像处理算法的深海网箱网衣检测方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
| CN108416764A (zh) * | 2018-01-25 | 2018-08-17 | 北京农业信息技术研究中心 | 一种水下网箱养殖中的网衣破损检测装置及方法 |
| CN108804992A (zh) * | 2017-05-08 | 2018-11-13 | 电子科技大学 | 一种基于深度学习的人群统计方法 |
| CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
| CN109214319A (zh) * | 2018-08-23 | 2019-01-15 | 中国农业大学 | 一种水下图像目标检测方法及系统 |
| CN109583340A (zh) * | 2018-11-15 | 2019-04-05 | 中山大学 | 一种基于深度学习的视频目标检测方法 |
| CN110084792A (zh) * | 2019-04-19 | 2019-08-02 | 大连理工大学 | 一种海上养殖网箱网衣的异常检测方法 |
| CN110163798A (zh) * | 2019-04-18 | 2019-08-23 | 中国农业大学 | 渔场围网破损检测方法及系统 |
| CN110335245A (zh) * | 2019-05-21 | 2019-10-15 | 青岛科技大学 | 基于单目时空连续图像的网箱网衣破损监测方法及系统 |
| CN110826684A (zh) * | 2018-08-08 | 2020-02-21 | 北京交通大学 | 卷积神经网络的压缩方法、装置、电子设备和介质 |
| CN111047583A (zh) * | 2019-12-23 | 2020-04-21 | 大连理工大学 | 一种基于机器视觉的水下网衣系统破损检测方法 |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| CN111242287A (zh) * | 2020-01-15 | 2020-06-05 | 东南大学 | 一种基于通道l1范数剪枝的神经网络压缩方法 |
| CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、系统及存储介质 |
-
2020
- 2020-08-07 CN CN202010792774.8A patent/CN111882555B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804992A (zh) * | 2017-05-08 | 2018-11-13 | 电子科技大学 | 一种基于深度学习的人群统计方法 |
| CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
| CN108416764A (zh) * | 2018-01-25 | 2018-08-17 | 北京农业信息技术研究中心 | 一种水下网箱养殖中的网衣破损检测装置及方法 |
| CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
| CN110826684A (zh) * | 2018-08-08 | 2020-02-21 | 北京交通大学 | 卷积神经网络的压缩方法、装置、电子设备和介质 |
| CN109214319A (zh) * | 2018-08-23 | 2019-01-15 | 中国农业大学 | 一种水下图像目标检测方法及系统 |
| CN109583340A (zh) * | 2018-11-15 | 2019-04-05 | 中山大学 | 一种基于深度学习的视频目标检测方法 |
| CN110163798A (zh) * | 2019-04-18 | 2019-08-23 | 中国农业大学 | 渔场围网破损检测方法及系统 |
| CN110084792A (zh) * | 2019-04-19 | 2019-08-02 | 大连理工大学 | 一种海上养殖网箱网衣的异常检测方法 |
| CN110335245A (zh) * | 2019-05-21 | 2019-10-15 | 青岛科技大学 | 基于单目时空连续图像的网箱网衣破损监测方法及系统 |
| CN111047583A (zh) * | 2019-12-23 | 2020-04-21 | 大连理工大学 | 一种基于机器视觉的水下网衣系统破损检测方法 |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| CN111242287A (zh) * | 2020-01-15 | 2020-06-05 | 东南大学 | 一种基于通道l1范数剪枝的神经网络压缩方法 |
| CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 杨逸峰等: "空间目标可见光相机的成像算法研究与分析", 《飞控与探测》, pages 71 - 76 * |
| 牛丽娟等: "养殖网箱水下网衣破损视觉检测方法研究", 《第十九届中国海洋（ 岸） 工程学术讨论会论文集》, pages 618 - 622 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529853A (zh) * | 2020-11-30 | 2021-03-19 | 南京工程学院 | 一种用于水下养殖网箱的网衣破损检测方法及装置 |
| CN115063362A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 配电箱门检测方法、系统、电子设备、介质和程序产品 |
| CN116228757A (zh) * | 2023-05-08 | 2023-06-06 | 山东省海洋科学研究院(青岛国家海洋科学研究中心) | 一种基于图像处理算法的深海网箱网衣检测方法 |
| CN116228757B (zh) * | 2023-05-08 | 2023-08-29 | 山东省海洋科学研究院(青岛国家海洋科学研究中心) | 一种基于图像处理算法的深海网箱网衣检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882555B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764372B (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| Talebi et al. | Learned perceptual image enhancement | |
| Kundu et al. | No-reference quality assessment of tone-mapped HDR pictures | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN104517110B (zh) | 一种二维码图像的二值化方法及系统 | |
| CN108389224B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111882555A (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
| Li et al. | DewaterNet: A fusion adversarial real underwater image enhancement network | |
| CN110268420B (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN108961209B (zh) | 行人图像质量评价方法、电子设备及计算机可读介质 | |
| CN110268442A (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| CN110705634A (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
| CN112561813A (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
| JP7300027B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
| CN115731166A (zh) | 一种基于深度学习的高压电缆接头打磨缺陷检测方法 | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| An et al. | HFM: A hybrid fusion method for underwater image enhancement | |
| JP5617841B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| CN112348808A (zh) | 屏幕透图检测方法及装置 | |
| CN112330573A (zh) | 基于人像的修图方法、装置、电子设备及存储介质 | |
| CN116703744A (zh) | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |