CN113408423B - 适用于tx2嵌入式平台的水产品目标实时检测方法 - Google Patents
适用于tx2嵌入式平台的水产品目标实时检测方法 Download PDFInfo
- Publication number
- CN113408423B CN113408423B CN202110686576.8A CN202110686576A CN113408423B CN 113408423 B CN113408423 B CN 113408423B CN 202110686576 A CN202110686576 A CN 202110686576A CN 113408423 B CN113408423 B CN 113408423B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- aquatic product
- underwater
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000011897 real-time detection Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 147
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- 210000001525 retina Anatomy 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 11
- 238000007781 pre-processing Methods 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 235000020637 scallop Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 241000257465 Echinoidea Species 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 241000258957 Asteroidea Species 0.000 description 3
- 241000237509 Patinopecten sp. Species 0.000 description 3
- 241000237503 Pectinidae Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000251511 Holothuroidea Species 0.000 description 1
- 241001530209 Swertia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种适用于TX2嵌入式平台的水产品目标实时检测方法。解决了目前水下机器人AUV无法满足水产品实时检测的问题。实现包括：水产品图像数据库的构建与分析；图像增强和数据扩增预处理；搭建水下轻量化网络模型主干网络的初始基本单元、具有多尺度特征提取能力的主干网络基本单元I‑DSC、主干网络结构及其预测网络结构；水下轻量化网络模型的整体搭建和部署，完成水产品目标实时检测。本发明采用图像处理算法和深度卷积对抗生成网络进行数据增强；重构主干和预测网络，设计了一种水下轻量化网络模型；在TX2进行数据预处理和检测模型的部署。实验证明本发明具有较高的检测速度和精度，满足实际工程应用需求，用于水下机器人水产品实时检测。
Description
技术领域
本发明属于计算机视觉和人工智能技术领域，主要涉及针对水下图像的识别和检测，具体是一种适用于TX2嵌入式平台的水产品目标实时检测方法，用于自主水下机器人视觉系统对水产品目标的识别分类。
背景技术
自主水下机器人(AUV)是目前最先进的水下监测和作业设备，它可以代替人类在复杂的水底环境中完成特定任务，例如参与水产品的捕捞、水下工程设备维修和水下环境监测等的图像采集与检测，或者协助人类共同完成水下各种作业任务。要想完成水下监测与作业任务，AUV必须能够通过本身视觉系统快速的感知水下复杂环境，并对感兴趣的目标进行精准识别。因此，基于光视觉的近距离目标检测是水下机器人视觉感知系统中较为关键的技术。然而，由于光线在水下传播过程中存在不同程度的衰减，采集的水下图像普遍存不清晰、照度低和颜色失真等问题，使得水下目标检测面临诸多工程难题。如何能够在低质量的水下图像中，高精准和高速率的检测水下感兴趣目标成为亟待解决的工程难题。
目前，水下目标检测过程可以分为三个阶段：水下图像采集、图像特征提取和目标识别。近年来，随着深度学习的发展，其凭借深度学习优秀的特征提取能力可以做到传统方法无法达到的识别检测精度，并且其获得特征具有很强的迁移能力，其对于各种不同领域目标的特征提取具有通用性，泛化能力比较强。因此，将深度学习运用于水下目标检测技术，削减水下不确定性环境带来的影响，是提高水下图像识别检测性能的有效途径之一。
国内外学者基于深度学习对水下目标检测方法展开了一系列研究，Li等人在Oceans2015期刊发表的论文将高精度的Fast R-CNN应用于复杂的水下环境中进行鱼类的检测与识别，与可变形部件模型(DPM)相比，Fast R-CNN的平均精度提高了11.2％，但是该算法在上位机的检测速度仅为3帧。针对水下视频鱼类检测的实时性问题，Sung等人在Oceans2017期刊发表的论文提出了一种基于YOLO的卷积神经网络，用真实环境下的鱼类视频图像对该方法的可靠性和准确性进行了评价，分类准确率达到93％，但是该算法在上位机的检测速度为16.7帧，无法满足实时检测要求。Pedersen等人在CVPRW2019上发表的论文对YOLOv2和YOLOv3 CNNs进行了调整，并用于水下目标检测，检测精度达到84％，但是该论文未评估算法的检测速度。
综上，复杂水下环境中的成像质量是影响水下目标检测技术发展的一个重要因素，同时现有基于深度学习的水下目标检测方法均是采用离线数据在高性能上位机进行模型的训练与测试，这些检测方法计算量大，实现较为复杂，不适合在计算、功耗资源有限的水下机器人嵌入式计算设备上运行。所以对现有检测模型去除冗余、精简结构，使其能够满足水下机器人实时检测是水下目标探测技术一大需求。
发明内容
为了克服上述现有技术的不足，本发明提供一种在保持检测精度同时大幅提高检测速度的适用于TX2嵌入式平台的水产品目标实时检测方法。
本发明是一种适用于TX2嵌入式设备的水产品目标实时检测方法，其中涉及到上位机和搭载TX2嵌入式设备的自主水下机器人AUV，将水下机器人采集的离线图像数据在上位机完成样本数据的预处理和检测网络模型的训练，并将训练好的检测网络模型移植到水下机器人的TX2嵌入式设备上进行水产品目标实时检测，其特征在于，包括有如下步骤：
步骤1水产品图像数据库的构建及特性分析：通过水下机器人拍摄真实海洋环境下水产品图像，构建水产品图像数据库，并对水产品目标进行类别和位置信息的标签标注；对水产品数据库中的图像进行定性评估和定量统计，得出该数据库具有图像降质和目标类不平衡信息；
步骤2对水产品图像数据进行图像增强预处理：在上位机对水产品图像数据库中存在模糊、对比度低、偏色的图像进行处理，采用受限对比度自适应直方图均衡算法CLAHE提升图像对比度，采用带颜色恢复的多尺度视网膜算法MSRCR校正图像颜色，采用线性方程混合两种算法实现水下图像增强；
步骤3对水产品图像数据进行数据扩增预处理：在上位机对水产品数据库目标类不平衡的处理，利用卷积神经网络特征融合方法改进DCGAN生成器结构，设计生成目标与背景融合中心点函数，采用泊松融合方法将生成目标图像与背景融合作为训练数据，从而扩增水产品数据集；
步骤4TX2的检测实时性可行性分析评估：用YOLOv3算法分析评估TX2的检测实时性，计算YOLOv3网络模型的参数量和计算量，通过对比YOLOv3网络模型与TX2计算量得出YOLOv3网络模型的检测速度，以评估其在TX2上检测的可行性；
步骤5确定水下轻量化网络模型主干网络的初始基本单元：使用深度可分离卷积DSC代替传统标准卷积方式，引入逐层卷积和逐点卷积实现特征的提取和通道信息的融合，形成主干网络的初始基本单元DSC；初始基本单元DSC由一个逐层卷积层和一个逐点卷积层构成；
步骤6搭建具有多尺度特征提取能力的主干网络基本单元I-DSC：在主干网络初始基本单元DSC的基础上增加多尺度特征提取，在DSC的基础上引入Inception模块的多尺度特征提取构成I-DSC基本单元，通过并行增加1×1卷积来充分提取特征，将不同尺度提取的特征在第三个维度上进行组合，形成了具有多尺度特征提取能力的主干网络基本单元I-DSC；
步骤7构建水下轻量化网络模型的主干网络结构：在I-DSC单元上再引入残差模块构成主干网络结构的基本单元，该基本单元为RI-DSC模块，具体是将上一层的输出特征直接映射到本层的输出进行add操作，形成主干网络最终基本单元RI-DSC模块；以RI-DSC模块为基本单元结合下采样层以特定规则进行堆叠构成一个20层的主干网络，其中用来进行特征提取的RI-DSC模块共有14层，将RI-DSC模块的最后一层的输出、中间第七层的输出以及十一层的输出分别作为预测网络的输入；用来改变特征图尺度的下采样层共有6层，使用步长为2的标准卷积实现下采样操作；主干网络的输入为水产品图像数据，每层卷积输出不同尺度的特征图，主干网络最终输出固定大小特征图；
步骤8构建水下轻量化网络模型的预测网络结构：该预测网络共有三层，每层均由相同大小的特征图依次连接构成，首层设为五个52×52×128大小的特征图，中间层设为四个26×26×256大小的特征图，最后层设为13×13×512大小的特征图，每层都有各自预测结果的输出；该预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，同时不同层之间还设有下采样和上采样操作来实现特征融合；多个特征连接的时候沿着特征图深度的方向进行堆叠，然后在采用1×1的卷积来进行通道之间融合；
步骤9水下轻量化网络模型的整体搭建：将主干网络输出的尺度特征图作为预测网络的输入，具体是将主干网络中RI-DSC模块的最后一层的输出连接到预测网络的第三层输入、中间第七层的输出作为预测网络的第一层的输入，将十一层的输出作为预测网络第二层的输入；合并主干网络和预测网络搭建整体网络模型，并在上位机使用增强后的水产品数据库对该网络模型进行训练，当损失值收敛后对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛；
步骤10水下轻量化网络模型的嵌入式设备部署：将设计好的整体网络模型部署到水下机器人的TX2嵌入式设备上，在TX2上根据需求配置好深度学习环境，将上位机训练好的权重参数移植到TX2上进行调试，并采用TensorRT完成加速优化，实现对水产品目标的实时检测。
本发明解决了目前水下机器人对水产品能够实时检测的技术问题，同时有效改善了水下低质量图像数据造成的检测精度较低的问题。
与现有技术相比，本发明的技术优势：
提高了水产品检测速度：通过构建检测网络模型的主干网络和预测网络的结构，搭建了轻量化检测网络模型用作水产品的检测，以结构优化和层数压缩的方式大量削减了检测网络模型的计算量，从而提高了水产品检测速度。
TX2满足实时检测水产品信息：将搭建的轻量化检测网络模型部署在TX2嵌入式设备上，并使用TensorRT完成优化加速，能够实现大于25帧的实时检测速度。
提高了轻量化网络对水产品的检测精度：在数据预处理阶段，使用生成对抗网络生成目标较少类别的数据来扩增水产品数据集，同时使用图像处理算法对水产品图像进行增强，从而有效提高了轻量化网络对水产品的检测精度。
附图说明
图1为本发明的结构框图；
图2为本发明改进DCGAN生成器结构示意图。
图3为本发明图像融合中心点生成流程。
图4为本发明检测模型主干网络结构。
图5为本发明检测模型预测网络结构。
图6为本发明检测模型在TX2的部署流程。
图7为本发明网络模型检测水产品效果图。
具体实施方式
下面结合附图和具体实施对本发明详细说明。
实施例1
目前虽然基于深度学习的水下目标检测方法研究较多，且在检测精度上取得一定的成果，但是这些研究大部分属于理论性研究，未能结合实际水下机器人工程应用背景来进行研究，现有的大部分水下目标检测算法均无法在计算资源有限的水下机器人嵌入式计算设备上满足实时检测的要求。因此，本发明基于现有检测算法展开了深入研究，设计一种适用于TX2嵌入式设备的水产品轻量目标检测方法，在保持一定检测精度的同时较大程度提升检测目标的速度，使其满足实时检测要求。
本发明是一种适用于TX2嵌入式设备的水产品目标实时检测方法，其中涉及到上位机和搭载TX2嵌入式设备的自主水下机器人AUV，将水下机器人采集的离线图像数据在上位机完成样本数据的预处理和检测网络模型的训练，并将训练好的检测网络模型移植到水下机器人的TX2嵌入式设备上进行水产品目标实时检测，参见图1，包括有如下步骤：
步骤1水产品图像数据库的构建及特性分析：离线状态下，通过水下机器人拍摄真实海洋环境下水产品图像，构建水产品图像数据库，并对水产品目标进行类别和位置信息的标签标注；对水产品数据库中的图像进行定性评估和定量统计，得出该数据库具有图像降质和目标类不平衡等信息；上述信息均在上位机完成。
步骤2对水产品图像数据进行图像增强预处理：对水产品图像数据库中质量较差的图像进行处理，在上位机对水产品图像数据库中存在模糊、对比度低、偏色的图像进行处理，采用受限对比度自适应直方图均衡算法CLAHE提升图像对比度，采用带颜色恢复的多尺度视网膜算法MSRCR校正图像颜色，采用线性方程混合两种算法实现水下图像增强；由于光线在水下传播过程中存在不同程度的衰减以及水下杂质对图像采集的质量影响，本发明预先对采集的图像进行初始增强。
步骤3对水产品图像数据进行数据扩增预处理：在上位机对水产品数据库目标类不平衡的处理，利用卷积神经网络特征融合方法改进DCGAN生成器结构，改善了传统DCGAN方法生成水产品图像细节模糊，生成图像相似度较高等问题；为了避免图像融合出现的边界截断和原始目标覆盖的问题，本发明设计了生成目标与背景融合中心点函数，采用泊松融合方法将生成目标图像与背景融合作为训练数据，扩增水产品数据集。
本发明在数据预处理阶段，使用生成对抗网络生成目标较少类别的数据来扩增水产品数据集，有效提高了轻量化网络对水产品的检测精度。
步骤4TX2的检测实时性可行性分析评估：分析YOLOv3算法在AUV的TX2嵌入式计算设备上的检测速度，计算YOLOv3网络模型的参数量和计算量，通过对比YOLOv3网络模型与TX2的计算量估计出YOLOv3网络模型的检测速度，以评估其在TX2上检测的可行性。若TX2不能满足实时性要求，则无法进行水产品实时检测。
通过上述评估得出，理论上YOLOv3算法在TX2上运行最大检测速度为9.6帧，但是在实际测试中，检测速度仅为3帧左右，无法满足实时检测要求。本发明针对YOLOv3无法满足TX2实时检测的问题专门设计一种轻量化检测网络模型，将其部署到TX2设备上，使AUV满足水产品实时检测需求。
步骤5确定水下轻量化网络模型主干网络的初始基本单元：使用深度可分离卷积DSC代替传统标准卷积方式，引入逐层卷积和逐点卷积实现特征的提取和通道信息的融合，形成主干网络的初始基本单元DSC；初始基本单元DSC由一个逐层卷积层和一个逐点卷积层构成。
步骤6搭建具有多尺度特征提取能力的主干网络基本单元I-DSC：在主干网络初始基本单元DSC的基础上增加多尺度特征提取，在DSC的基础上引入Inception模块的多尺度特征提取构成I-DSC基本单元，通过并行增加1×1卷积来充分提取特征，将不同尺度提取的特征在第三个维度上进行组合，形成了具有多尺度特征提取能力的主干网络基本单元I-DSC。
步骤7构建水下轻量化网络模型的主干网络结构：参见图4，图4为本发明轻量化网络模型的主干网络结构。本发明中轻量化网络模型也可称为检测模型，在I-DSC单元上再引入残差模块构成主干网络结构的基本单元，该基本单元为RI-DSC模块，具体是将上一层的输出特征直接映射到本层的输出进行add操作，形成主干网络最终基本单元RI-DSC模块；以RI-DSC模块为基本单元结合下采样层以特定规则进行堆叠构成一个20层的主干网络，其中用来进行特征提取的RI-DSC模块共有14层，将RI-DSC模块的最后一层的输出、中间第七层的输出以及十一层的输出分别作为预测网络的输入；用来改变特征图尺度的下采样层共有6层，使用步长为2的标准卷积实现下采样操作；主干网络的输入为水产品图像数据，每层卷积输出不同尺度的特征图，主干网络最终输出固定大小特征图。通过计算，本发明构建的主干网络参数量仅为原始主干网络的20.3％,大幅提升了模型的检测速度。
步骤8构建水下轻量化网络模型的预测网络结构：参见图5，图5为本发明轻量化网络模型的预测网络结构。该预测网络共有三层，每层均由相同大小的特征图依次连接构成，首层设为五个52×52×128大小的特征图，中间层设为四个26×26×256大小的特征图，最后层设为13×13×512大小的特征图，每层都有各自预测结果的输出；该预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，同时不同层之间还设有下采样和上采样操作来实现特征融合；多个特征连接的时候沿着特征图深度的方向进行堆叠，然后在采用1×1的卷积来进行通道之间融合。
步骤9水下轻量化网络模型的整体搭建：将主干网络输出的尺度特征图作为预测网络的输入，具体是将主干网络中RI-DSC模块的最后一层的输出连接到预测网络的第三层输入、中间第七层的输出作为预测网络的第一层的输入，将十一层的输出作为预测网络第二层的输入；合并主干网络和预测网络搭建整体网络模型，并在上位机使用增强后的水产品数据库对该网络模型进行训练，当损失值收敛后对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。完成了整体水下轻量化网络模型的搭建。
步骤10水下轻量化网络模型的嵌入式设备部署：参见图6，图6为本发明轻量化网络模型在TX2的部署流程。将设计好的整体网络模型部署到水下机器人的TX2嵌入式设备上，在TX2上根据需求配置好深度学习环境，将上位机训练好的权重参数移植到TX2上进行调试，并采用TensorRT完成加速优化，实现对水产品目标的实时检测。
传统水下目标检测算法大多采用手动的方式提取水下图像的颜色、形状和纹理等简单特征，效率不仅较低，检测精度过低。虽然随着机器学习的发展，使得通过简单特征识别的准确率得到提升，但是深度网络检测模型比较复杂，计算量较大，使得检测目标速度过慢，且实现起来较为困难，很难满足水下机器人实际应用需求。为了解决上述问题，本发明主要是以轻量化检测网络模型来实现对网络的参数量和计算量的削减，从而提高模型的检测速度；同时以数据增强的方法来实现对水下数据库质量的提升，从而提高检测模型的检测精度。本发明基于YOLOv3算法检测原理，重新设计主干网络和预测网络结构，通过层数削减和引入可分离卷积大量减少主干网络的计算量，在主干网络中引入多尺度特征提取和残差结构增强网络特征提取能力；在预测网络中引入高分辨率网络提升小目标检测能力。同时采用图像增强和样本扩充的方法来实现数据增强，增强后续模型的检测精度，其中利用空间域图像处理算法进行水下图像增强，使用深度卷积生成对抗网络生成与原始目标图像近似的样本，增加样本数据的多样性。
本发明解决了现有水下目标检测方法在嵌入式设备上检测速度慢的问题，本发明提出的轻量化检测模型能够满足水下机器人搭载的XT2嵌入式设备对实时性的要求，相比其他算法大幅提高了检测速度，同时通过数据增强有效提高了模型的检测精度。
实施例2
适用于TX2嵌入式设备的水产品目标实时检测方法同实施例1，步骤3中所述的对机器人采集的水产品图像数据进行数据扩增预处理，参见图2，图2为本发明改进DCGAN生成器结构示意图，其中本发明对DCGAN生成器的改进是将靠近输出的第4层特征图使用一个卷积和下采层进行尺度变化，并张贴到第2层特征图实现特征融合，其中卷积层后添加BN和ReLU层。
参见图3，图3为本发明图像融合中心点生成流程，其中融合中心点函数是考虑原始目标覆盖问题和边界条件，设置了目标图像融合中心点的约束函数，避免了图像融合出现的边界截断和原始目标覆盖问题。
本发明在水产品数据预处理阶段对原始DCGAN的生成器进行改进，使得生成的水产品图像具有更多细节信息，且生成同批次目标图像更加丰富，将生成的不同单个目标图像按照图3融合流程与选取的背景图像进行泊松融合，达到无缝融合的效果，将融合后的新样本添加到原始水产品数据库中，实现扩增水产品数据库的目的。
实施例3
适用于TX2嵌入式设备的水产品目标实时检测方法同实施例1-2，步骤7中所述的构建水下轻量化网络模型的主干网络结构，其中以RI-DSC模块为基本单元结合下采样层进行以特定规则进行堆叠构成一个20层的主干网络，具体是以网络计算量最小为原则，根据特征图不同尺度的大小，将用于特征提取的RI-DSC模块分为六个组，这六组按照“124421”的个数分配RI-DSC模块的数量，并且每组之间插入下采样层完成特征图的尺度变换。
本发明轻量化检测模型的主干网络中设定的堆叠规则具体是在输入图像后，先使用一次卷积下采样缩减尺度，后边分配一个RI-DSC模块提取特征，然后在使用一次卷积下采样，后边分配两个相同的RI-DSC模块提取特征，之后在使用一次卷积下采样，后边分配四个相同的RI-DSC模块提取特征，以此类推，最后输出13×13×1024大小的特征图。随着网络深度的增加，特征图的尺度逐渐减小，而特征图的深度逐渐增加，所以为了使得网络计算量较小且特征提取能力较强，该规则使得RI-DSC模块重复的次数从中间到两边递减，达到最佳性能。
实施例4
适用于TX2嵌入式设备的水产品目标实时检测方法同实施例1-3，参见图5，步骤8中所述的不同层之间还设有下采样和上采样操作来实现特征融合，具体是预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，13尺度的子网层在预测网络第一个特征图前进行特征融合，26尺度的子网层分别在预测网络的第一个和第三个特征图前进行特征融合，53尺度的子网层分别在预测网络的第一、三和五个特征图前进行特征融合。
本发明轻量化检测网络模型的预测网络中设定的并行网络结构连接，不仅能够始终保持高分辨率特征图的表征能力，还能够通过不同子网之间的特征融合实现信息交流，从而提高预测网络的整体特征表征能力；最后分别在不同尺度上进行预测，也能使得网络更好、更快的匹配不同大小目标的边界框，从而提升检测模型的整体预测能力。
实施例5
适用于TX2嵌入式设备的水产品目标实时检测方法同实施例1-4，步骤9中所述的在上位机使用增强后的水产品数据库对水下轻量化网络模型进行训练，具体是在训练过程中使用K-means聚类方法对水产品图像数据库中目标的位置标签进行聚类操作，产生更接近真实目标分布的先验框，并配置水下轻量化检测网络模型的训练批次、学习率、衰减策略、迭代次数等超参数进行训练。
本发明在轻量化检测网络模型的训练过程中使用了预处理增强之后的水产品数据库，有效提高了水产品目标检测的精度；同时在训练的时候通过聚类的方法对真实标签进行操作，得出更符合水产品数据库中目标特性的先验框，从而有效提升检测模型的训练速度。
下面给出一个更加详细的例子，对本发明进一步说明
实施例6
适用于TX2嵌入式设备的水产品目标实时检测方法同实施例1-5，参见图1，为本发明的结构框图，本发明一种适用于TX2平台的水产品目标实时检测方法主要包含三个部分，分别为水产品数据预处理、检测模型设计和检测模型部署，其中水产品数据预处理部分包含下述的第1-3节，检测模型设计部分包含下述第4-6节，检测模型部署为下述第7节，下面对每小节涉及到的关键技术进行详细描述，具体如下：
(1)水产品图像数据库的构建及特性分析
本发明使用水下机器人在大连獐子岛海域拍摄真实水产品图像数据构建了URPC水产品数据库，主要用来训练检测网络模型，其中共有4755张图像数据，包含海参、海胆、扇贝和海星四类水产品目标，同时使用Labelimg工具对所有样本进行标注，并保存成相同名称的xml文件。其次为了验证水下目标检测算法的性能及其泛化能力，本发明自建水产品数据库用于模型的再训练与测试。该数据集是在实验室水池中通过摄像头录制扇贝和海星的视频，在每隔2s抽帧组成的。通过筛选后总共获得524张有效样本，其中扇贝和海星的大小均不同，样本分辨率均为1280×720。
通过人为主观观察对URPC水产品数据库中的图像进行定性评估，分别从水产品图像的色彩、对比度、清晰度等方面进行分析，给出成像质量评价；其次通过数理统计的方法对水产品数据库进行定量统计，分别从水产品图像的尺度、各类目标数量、连续帧图像差异性等方面进行分析。综合评定得出水产品数据库中的图像比较模糊，目标与背景差异小，图像降质较为严重，各类目标数量差异大，图像尺寸变化大，从而使得目标检测算法的性能受到较大影响。
(2)对水产品数据库图像模糊、对比度低、偏色等的处理
本发明针对水产品数据库中图像模糊和对比度低的问题，采用受限对比度自适应直方图均衡算法CLAHE提升图像对比度，改善质量；针对其中存在的偏色问题，采用带颜色恢复因子的多尺度视网膜算法MSRCR进行颜色校正。
CLAHE算法基本流程如下：
将输入图像均等划分为多个局部区域；计算每个局部区域的灰度直方图，并设置限定阈值；将超过限定值的局部区域进行切割，多出的部分均分到整幅图像中；对每个局部区域进行HE操作；以每个像素点周围的四个区域为参考点，对该像素点进行双线性插值操作。
MSRCR算法基本流程如下：
Retinex理论：I(x,y)＝L(x,y)R(x,y) (1)
式中，I(x,y)为原始图像，L(x,y)为入射量，R(x,y)为反射量。该系列算法的目的是削减照射光线对图像的影响，只保留体现物质内在性质的反射量。
SSR：R(x,y)＝lnI(x,y)-ln(F(x,y)*I(x,y)) (2)
式中，*表示卷积操作，F(x,y)为高斯滤波函数，c为滤波半径大小，K为常量。
MSR：
式中，N表示尺度总数，Fn(x,y)为第n个尺度的滤波函数，ωn为第n个尺度的权重系数，该系数和为1。
MSRCR：
其中：α与β为调节参数，通常取为125和46。Ii(x,y)为原始图像在第i个颜色通道的分布。
(3)对水产品数据库目标类不平衡的处理
目标类不平衡是指训练数据集中某些类别权重较大，类别分布不均匀，导致识别结果置信度低。本发明为了解决水产品数据库存在的目标类不平衡问题，通过深度卷积生成对抗网络DCGAN生成数量较少的目标，从而扩充水产品数据库，提高检测精度。
DCGAN模型包括生成器和判别器的设计，生成器以随机噪音作为输入，输出三通道伪水产品目标图像，判别器以真实水产品图像和生成器输出的伪图像作为输入，输出是0或1的概率，分别代表真实图像或假图像。当两个网络达到纳什平衡后训练过程结束，此时可用生成器模型生成水产品目标图像。
DCGAN网络训练的时候生成器和鉴别器是交叉进行的。其G网络和D网络的目标函数如下：
式中，x表示真实样本，z表示噪声，Pdata(xi)表示真实样本分布，Pz(z)表示噪声数据分布；D(xi)表示鉴别器对真实样本的输出；G(z)表示生成器生成的样本，D(G(z))表示鉴别器对生成样本的输出。
生成的水产品目标图像还需要和背景图像融合才能作为训练样本。在背景图像内随机生成的点作为生成图像的中心融合点，为了避免生成目标与原始目标的重叠和近邻边界截断问题，该中心融合点遵从以下两个约束条件：
上式中，h,w分别表示初始目标的高和宽，h′,w′分别表示生成目标的高和宽，H,W分别表示背景图像的高和宽；i,j表示初始目标左上角像素点的坐标；x,y表示生成图像的中心像素点位置，也即为随机生成的中心融合位置点。
(4)设计检测模型的主干网络
本发明基于YOLOv3算法设计了适用于水下机器人TX2嵌入式设备的轻量化网络模型UW_YOLOv3，其UW_YOLOv3的主干网络设计具体如下：
使用深度可分离卷积DSC代替传统标准卷积方式，引入3×3D_Conv逐层卷积和1×1Conv逐点卷积实现特征的提取和通道信息的融合，并分别在两个卷积层之后进行BN和Leaky ReLU操作，形成主干网络的初始基本单元DSC。BN可以防止网络训练出现梯度消失问题，确保网络训练快速稳定。使用Leaky ReLU激活函数来代替ReLU，可以保证模型在输出为负值的情况下仍然保持一定的梯度，使得网络能够继续训练。
DSC初始基本单元是一个单通道的网络，仅使用了3×3的卷积核提取特征，由于单一卷积核感受野固定，所以其提取到的特征就不够充分。所以在主干网络初始基本单元DSC的基础上增加多尺度特征提取，在DSC的基础上引入Inception模块的多尺度特征提取构成I-DSC基本单元，通过并行增加1×1卷积来充分提取特征，将不同尺度提取的特征在第三个维度上进行组合，形成了具有多尺度特征提取能力的主干网络基本单元I-DSC，从而拓宽网络的宽度，提取到更多图像的特征信息。
残差网络可以使得卷积层不在学习整个输入的特征，只学习少部分输入输出之间的残差，使得网络更容易训练；其次通过恒等映射也使得梯度反向传播的过程中不会出现梯度消失的问题，即使某层卷积学习过程中出现权重全部为零的情况，梯度也可以通过映射的输入传播到前层。所以本发明在I-DSC单元上基础上再引入残差模块构成主干网络结构的基本单元，该基本单元为RI-DSC模块，具体是将上一层的输出特征直接映射到本层的输出进行add操作，形成主干网络最终基本单元RI-DSC模块，从而提升主干网络的训练速度。
本发明以RI-DSC模块和下采样层通过特定规则进行堆叠构成一个20层的主干网络，其中用来进行特征提取的RI-DSC模块共有14层，将RI-DSC模块的最后一层的输出、中间第七层的输出以及十一层的输出分别作为预测网络的输入；用来改变特征图尺度的下采样层共有6层，使用步长为2的标准卷积实现下采样操作；主干网络的输入为水产品图像数据，每层卷积输出不同尺度的特征图，主干网络最终输出固定大小特征图。通过对比UW_YOLOv3与YOLOv3主干网络可以看出，本发明设计的主干网络其参数量减少一个量级，仅为YOLOv3主干网络的20.3％，而提取特征的有效3×3卷积层仅减少到了20层，取消了压缩通道的1×1卷积层，从而大大提升了整体网络的检测速度。
(5)设计检测模型的预测网络
本发明基于YOLOv3算法设计了适用于水下机器人TX2嵌入式设备的轻量化网络模型UW_YOLOv3，其UW_YOLOv3的预测网络设计具体如下：
高分辨率网络(High-Resolution Net，HRNet)是一种可以全程保持高分辨率特征的网络。该网络通过SAME操作能够一直保持较大分辨率特征图，并将其作为主网络；然后在主网络中又逐渐并行添加低分辨率的子网络，同时对并行的网络之间进行连接，形成多尺度融合的特点。这样在主网络中就能够接受到来自不同低分辨率特征提供的语义信息，从而提高网络大尺度特征的表征能力。因此，预测的关键特征更准确，在空间上也更精确。
由于模型主干网络轻量化之后，必然会造成网络精度的降低。为了提高网络的检测精度，本发明重新设计了原有网络特征融合部分，引入HRNet网络来增加高分辨率特征表征能力，并且同时从低分辨率特征进行输出实现多尺度预测。本发明设计的预测网络共有三层，每层均由相同大小的特征图依次连接构成，首层设为五个52×52×128大小的特征图，中间层设为四个26×26×256大小的特征图，最后层设为13×13×512大小的特征图，每层都有各自预测结果的输出；该预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，同时不同层之间还设有下采样和上采样操作来实现特征融合；多个特征连接的时候沿着特征图深度的方向进行堆叠，然后在采用1×1的卷积来进行通道之间融合。
(6)搭建整体网络模型，并在上位机使用增强后的水产品数据库进行训练
本发明将设计的主干网络和预测网络结合后搭建出UW_YOLOv3网络模型，预测部分先使用了卷积进行尺度调整，需要最后一层的输出特征深度符合YOLOv3算法检测原理，深度＝3×(5+len(class))。
在训练之前，采用K-means聚类方法对训练数据集中的目标尺寸信息进行聚类操作，找到较符合本数据集的目标宽高比，替换原本的anchor参数。由于K值过大也会造成检测过程计算量的增加，所以本例最终选取K＝9，最终生成的初始锚框为：(27,23)、(36,34)、(48,42)、(57,59)、(76,47)、(82,75)、(129,104)、(201,162)、(374,287)。
(7)将设计的检测网络部署到TX2设备，并完成优化，实现实时检测
在Jetson TX2上部署UW_YOLOv3模型来进行水下目标实时检测，首先需要对TX2运行深度模型的环境进行配置，采用官方提供的刷机包JetPack4.3对该设备进行刷机操作，刷机完成后安装了CUDA10.0、CUDNN7.6.3和TensorRT6.0等深度学习工具，为了满足YOLOv3系列算法要求，自行更换opencv3.4.2等工具版本；将上位机训练好的UW_YOLOv3模型权重文件移植到TX2，进行检测操作；最后为了发挥该嵌入式设备独有的优势，使用自带的加速软件TensorRT对模型进行优化，进一步提高其检测速度。
为了能够实现整体结构功能，本发明通过用Python语言和基于PyQt5框架研制开发出水产品实时检测可视化交互界面，将本发明的水产品图像处理和水下轻量化检测网络模型集成到一起，可以将其运行TX2的Ubuntu操作系统上，实现可视化操作的一体水产品目标检测。
下面结合仿真和数据对本发明的技术效果在做说明
实施例7
适用于TX2嵌入式设备的水产品轻量目标检测方法同实施例1-6，
仿真内容：本例使用URPC数据库在上位机进行模型初始训练与测试，再此之前通过预处理操作进行数据增强，首先对图像进行对比度增强和颜色校正，其次使用DCGAN生成样本，扩增数据库。通过预处理将构建了三个数据库备用，其中
数据一：原始数据，总数4755，训练集3043，验证集761，测试集951；
数据二：原始数据+生成，总数6755，训练集4323，验证集1080，测试集1351；
数据三：原始数据+生成+增强，总数6755，训练集4323，验证集1080，测试集1351；
仿真条件：
本例在上位机进行检测模型训练和测试的软硬件环境如表1所示。
表1上位机软硬件环境
本发明水下轻量化检测模型训练超参数配置：输入图像大小416，批量64，动量0.9，权重衰减0.0005，初始学习率0.001，最大迭代次数70000，学习策略multistep。
本发明性能测试：主要采用mAP和FPS评价指标来对各类目标检测算法在水下产品数据集上的检测精度和速度进行衡量。AP表示平均精度，是对每一个测试样本上的检测准确度的值求平均所得，在Pascal VOC上采用的是对P-R曲线平滑后进行积分求得面积作为AP值；mAP表示多类别平均精度，AP只是单个类别的精度，mAP是所有类别AP值的均值；AP50表示IOU阈值0.5时的AP值；AP75表示IOU阈值0.75时的AP值；FPS表示一秒钟可以处理的图像数量。
仿真结果与分析：
本发明的水下轻量化模型在上位机检测水产品与其他算法对比结果如表2所示。
表2检测效果对比
从表2可知，在相同输入尺度图像时，本发明设计的UW_YOLOv3的检测精度相比于轻量算法YOLOv3-tiny提升了7.9％；相比于其他大型算法，虽然精度有所不及，但是检测速度高出很多，相对SSD算法检测精度仅低4.7％，速度高出40.9FPS，而相较于Faster R-CNN速度近乎高出16倍。当输入尺度为224时，虽然损失了少量精度，但是检测速度高出了一倍，达到了156.9FPS。由此可见，本发明所设计的轻量网络能够保持一定检测精度的同时具有较高的速度。
实施例8
适用于TX2嵌入式设备的水产品轻量目标检测方法同实施例1-6，
仿真内容：
本例首先使用自建数据库在上位机对发明的轻量化网络进行模型再始训练与测试，然后将训练好的模型移植部署到TX2嵌入设备上进行物理实验验证。
仿真条件：
本例在上位机进行检测模型再训练和测试的软硬件环境如表1所示，在TX2上进行模型测试的环境如表3所示。
表3 TX2软件环境配置
仿真结果与分析：
本发明的水下轻量化模型在TX2上检测速度如表4所示。
表4 TX2上检测算法性能
从表4中可以看出YOLOv3算法部署到TX2上检测的速率只有3.2帧，无法满足实时性的要求。本发明改进的算法UW_YOLOv3算法相比于YOLOv3检测速度提升了5倍之多。本发明再经过TensorRT优化之后更是达到33.4帧的速度，实现了对视频流数据的实时处理。现有水下目标检测方法大部分致力于大型检测模型检测精度的提升，而忽视了检测速度这一关键因素，但在实际水下机器人工程应用中，检测速度过慢会严重影响水下机器人作业的效率，所以本发明深入研究了水下轻量化目标检测模型，在保证检测精度的情况下，大幅提高了水产品目标的检测速度，为实际工程中水下机器人实时检测提供了理论依据和工程应用基础。
图7为本发明网络模型检测水产品效果图，图7中显示区域左侧为待检测水产品图像，右侧为使用本发明轻量化检测网络模型检测结果，其中分别对海胆和扇贝目标进行检测，黄框为检测出的海胆目标，绿框为检测出的扇贝目标，功能区可以对输入数据进行图像处理、检测和结果保存等。对比检测结果图和检测结果数据可知，本发明轻量化检测网络模型检测水产品不仅具有较高精度，且满足水产品目标检测的实时性要求。
综上所述，本发明的适用于TX2嵌入式平台的水产品目标实时检测方法。解决了目前水下机器人AUV无法满足水产品实时检测的问题。实现包括：水产品图像数据库的构建及特性分析；对水产品图像数据进行图像增强预处理；对水产品图像数据进行数据扩增预处理；TX2的检测实时性可行性分析评估；为满足TX2的检测实时性，确定水下轻量化网络模型主干网络的初始基本单元；搭建具有多尺度特征提取能力的主干网络基本单元I-DSC；构建水下轻量化网络模型的主干网络结构；构建水下轻量化网络模型的预测网络结构；水下轻量化网络模型的整体搭建；水下轻量化网络模型的嵌入式设备部署，完成水产品目标实时检测。本发明针对水下真实海洋环境中采集的水产品数据存在图像严重降质和目标分布不均的问题，分别采用空间域图像处理算法和深度卷积对抗生成网络进行数据增强；针对主流目标检测算法无法在计算资源有限的嵌入式设备进行实时检测的问题，基于YOLOv3算法设计了一种轻量化网络模型，分别重构主干网络和预测网络结构；最后在TX2设备上进行数据预处理算法和检测模型的部署，并完成真实水下环境检测试验。本发明在TX2嵌入式设备上进行水产品目标的实时检测，在保持较高的检测速度同时能够维持一定的检测精度，满足实际工程应用需求，用于水下机器人水产品实时检测。
Claims (4)
1.一种适用于TX2嵌入式设备的水产品目标实时检测方法，其中涉及到上位机和搭载TX2嵌入式设备的自主水下机器人AUV，将水下机器人采集的离线图像数据在上位机完成样本数据的预处理和检测网络模型的训练，并将训练好的检测网络模型移植到水下机器人的TX2嵌入式设备上进行水产品目标实时检测，其特征在于，包括有如下步骤：
步骤1水产品图像数据库的构建及特性分析：通过水下机器人拍摄真实海洋环境下水产品图像，构建水产品图像数据库，并对水产品目标进行类别和位置信息的标签标注；对水产品数据库中的图像进行定性评估和定量统计，得出该数据库具有图像降质和目标类不平衡信息；
步骤2对水产品图像数据进行图像增强预处理：在上位机对水产品图像数据库中存在模糊、对比度低、偏色的图像进行处理，采用受限对比度自适应直方图均衡算法CLAHE提升图像对比度，采用带颜色恢复的多尺度视网膜算法MSRCR校正图像颜色，采用线性方程混合两种算法实现水下图像增强；
步骤3对水产品图像数据进行数据扩增预处理：在上位机对水产品数据库目标类不平衡的处理，利用卷积神经网络特征融合方法改进DCGAN生成器结构，设计生成目标与背景融合中心点函数，采用泊松融合方法将生成目标图像与背景融合作为训练数据，扩增水产品数据集；所述对水产品图像数据进行数据扩增预处理，其中DCGAN生成器的改进是将靠近输出的第4层使用卷积下采样的方式张贴到第2层实现特征融合，融合中心点函数是考虑原始目标覆盖问题和边界条件，设置目标图像融合中心点的约束函数；
步骤4TX2的检测实时性可行性分析评估：用YOLOv3算法分析评估TX2的检测实时性，计算YOLOv3网络模型的参数量和计算量，通过对比YOLOv3网络模型与TX2计算量得出YOLOv3网络模型的检测速度，以评估其在TX2上检测的可行性；
步骤5确定水下轻量化网络模型主干网络的初始基本单元：使用深度可分离卷积DSC代替传统标准卷积方式，引入逐层卷积和逐点卷积实现特征的提取和通道信息的融合，形成主干网络的初始基本单元DSC；初始基本单元DSC由一个逐层卷积层和一个逐点卷积层构成；
步骤6搭建具有多尺度特征提取能力的主干网络基本单元I-DSC：在主干网络初始基本单元DSC的基础上增加多尺度特征提取，在DSC的基础上引入Inception模块的多尺度特征提取构成I-DSC基本单元，通过并行增加1×1卷积来充分提取特征，将不同尺度提取的特征在第三个维度上进行组合，形成了具有多尺度特征提取能力的主干网络基本单元I-DSC；
步骤7构建水下轻量化网络模型的主干网络结构：在I-DSC单元上再引入残差模块构成主干网络结构的基本单元，该基本单元为RI-DSC模块，具体是将上一层的输出特征直接映射到本层的输出进行add操作，形成主干网络最终基本单元RI-DSC模块；以RI-DSC模块为基本单元结合下采样层以特定规则进行堆叠构成一个20层的主干网络，其中用来进行特征提取的RI-DSC模块共有14层，将RI-DSC模块的最后一层的输出、中间第七层的输出以及十一层的输出分别作为预测网络的输入；用来改变特征图尺度的下采样层共有6层，使用步长为2的标准卷积实现下采样操作；主干网络的输入为水产品图像数据，每层卷积输出不同尺度的特征图，主干网络最终输出固定大小特征图；
步骤8构建水下轻量化网络模型的预测网络结构：该预测网络共有三层，每层均由相同大小的特征图依次连接构成，首层设为五个52×52×128大小的特征图，中间层设为四个26×26×256大小的特征图，最后层设为13×13×512大小的特征图，每层都有各自预测结果的输出；该预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，同时不同层之间还设有下采样和上采样操作来实现特征融合；多个特征连接的时候沿着特征图深度的方向进行堆叠，然后在采用1×1的卷积来进行通道之间融合；
步骤9水下轻量化网络模型的整体搭建：将主干网络输出的尺度特征图作为预测网络的输入，具体是将主干网络中RI-DSC模块的最后一层的输出连接到预测网络的第三层输入、中间第七层的输出作为预测网络的第一层的输入，将十一层的输出作为预测网络第二层的输入；合并主干网络和预测网络搭建整体网络模型，并在上位机使用增强后的水产品数据库对该网络模型进行训练，当损失值收敛后对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛；
步骤10水下轻量化网络模型的嵌入式设备部署：将设计好的整体网络模型部署到水下机器人的TX2嵌入式设备上，在TX2上根据需求配置好深度学习环境，将上位机训练好的权重参数移植到TX2上进行调试，并采用TensorRT完成加速优化，实现对水产品目标的实时检测。
2.如权利要求1所述适用于TX2嵌入式设备的水产品目标实时检测方法，其特征在于，步骤7中所述的构建水下轻量化网络模型的主干网络结构，其中以RI-DSC模块为基本单元结合下采样层以特定规则进行堆叠构成一个20层的主干网络，具体是以网络计算量最小为原则，根据特征图不同尺度的大小，将用于特征提取的RI-DSC模块分为六个组，这六组按照“124421”的个数分配RI-DSC模块的数量，并且每组之间插入下采样层实现特征图尺度变换。
3.如权利要求1所述适用于TX2嵌入式设备的水产品目标实时检测方法，其特征在于，步骤8中所述的不同层之间还设有下采样和上采样操作来实现特征融合，具体是预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，13尺度的子网层在预测网络第一个特征图前进行特征融合，26尺度的子网层分别在预测网络的第一个和第三个特征图前进行特征融合，53尺度的子网层分别在预测网络的第一、三和五个特征图前进行特征融合。
4.如权利要求1所述适用于TX2嵌入式设备的水产品目标实时检测方法，其特征在于，步骤9中所述的在上位机使用增强后的水产品数据库对水下轻量化网络模型进行训练，具体是在训练过程中使用K-means聚类方法对水产品图像数据库中目标的位置标签进行聚类操作，产生更接近真实目标分布的先验框，并配置水下轻量化检测网络模型的训练批次、学习率、衰减策略、迭代次数超参数进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110686576.8A CN113408423B (zh) | 2021-06-21 | 2021-06-21 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110686576.8A CN113408423B (zh) | 2021-06-21 | 2021-06-21 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408423A CN113408423A (zh) | 2021-09-17 |
| CN113408423B true CN113408423B (zh) | 2023-09-05 |
Family
ID=77681973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110686576.8A Active CN113408423B (zh) | 2021-06-21 | 2021-06-21 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408423B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870389B (zh) * | 2021-09-27 | 2024-04-30 | 九科信息技术(深圳)有限公司 | 用于检测、定位与提取pdf中特定信息的rpa方法 |
| CN113902904B (zh) * | 2021-09-30 | 2024-04-19 | 北京工业大学 | 一种轻量化网络架构系统 |
| CN114373118B (zh) * | 2021-12-30 | 2024-04-05 | 华南理工大学 | 基于改进yolov4的水下目标检测方法 |
| CN114494872A (zh) * | 2022-01-24 | 2022-05-13 | 北京航空航天大学 | 一种嵌入式轻量化遥感目标检测系统 |
| CN115049918A (zh) * | 2022-06-14 | 2022-09-13 | 中国科学院沈阳自动化研究所 | 一种用于水下机器人的图像目标快速检测方法及装置 |
| CN115841614B (zh) * | 2023-02-20 | 2023-05-05 | 中国石油大学(华东) | 一种影像处理方法、装置、水下成像设备及介质 |
| CN116681627B (zh) * | 2023-08-03 | 2023-11-24 | 佛山科学技术学院 | 一种跨尺度融合的自适应水下图像生成对抗增强方法 |
| CN117408893B (zh) * | 2023-12-15 | 2024-04-05 | 青岛科技大学 | 一种基于浅层神经网络的水下图像增强方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754007A (zh) * | 2018-12-27 | 2019-05-14 | 武汉唐济科技有限公司 | 前列腺手术中外包膜智能检测和预警方法及系统 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111797676A (zh) * | 2020-04-30 | 2020-10-20 | 南京理工大学 | 一种高分辨率遥感图像目标在轨轻量化快速检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
| CN112836657A (zh) * | 2021-02-08 | 2021-05-25 | 中国电子科技集团公司第三十八研究所 | 一种基于轻量化YOLOv3的行人检测方法及系统 |
-
2021
- 2021-06-21 CN CN202110686576.8A patent/CN113408423B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754007A (zh) * | 2018-12-27 | 2019-05-14 | 武汉唐济科技有限公司 | 前列腺手术中外包膜智能检测和预警方法及系统 |
| WO2020133636A1 (zh) * | 2018-12-27 | 2020-07-02 | 武汉唐济科技有限公司 | 前列腺手术中外包膜智能检测和预警方法及系统 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| CN111797676A (zh) * | 2020-04-30 | 2020-10-20 | 南京理工大学 | 一种高分辨率遥感图像目标在轨轻量化快速检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
| CN112836657A (zh) * | 2021-02-08 | 2021-05-25 | 中国电子科技集团公司第三十八研究所 | 一种基于轻量化YOLOv3的行人检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的机器视觉目标检测算法及在票据检测中应用;刘桂雄;刘思洋;吴俊芳;罗文佳;;中国测试(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113408423A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408423B (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN111178206A (zh) | 一种基于改进yolo的建筑预埋件检测方法及系统 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN113052834B (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
| CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN112465057B (zh) | 一种基于深度卷积神经网络的目标检测识别方法 | |
| CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
| CN113408340B (zh) | 基于增强型特征金字塔的双极化sar小型船只检测方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
| CN113642486A (zh) | 一种具有机载前端识别模型的无人机配网巡检方法 | |
| CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN116468995A (zh) | 一种联合slic超像素和图注意力网络的声呐图像分类方法 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
| CN114022727B (zh) | 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法 | |
| CN113628170A (zh) | 一种基于深度学习的激光线提取方法及系统 | |
| CN112556682A (zh) | 一种水下复合传感器目标自动检测算法 | |
| CN110796716B (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 | |
| CN117152601A (zh) | 一种基于动态感知区域路由的水下目标检测方法及系统 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| Wu et al. | Detection of defects on aluminum profile surface based on improved YOLO |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |