CN109376589B - 基于卷积核筛选ssd网络的rov形变小目标识别方法 - Google Patents

基于卷积核筛选ssd网络的rov形变小目标识别方法 Download PDF

Info

Publication number
CN109376589B
CN109376589B CN201811041349.4A CN201811041349A CN109376589B CN 109376589 B CN109376589 B CN 109376589B CN 201811041349 A CN201811041349 A CN 201811041349A CN 109376589 B CN109376589 B CN 109376589B
Authority
CN
China
Prior art keywords
convolution kernel
convolution
layer
underwater
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811041349.4A
Other languages
English (en)
Other versions
CN109376589A (zh
Inventor
年睿
王孝润
李晓雨
何慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201811041349.4A priority Critical patent/CN109376589B/zh
Publication of CN109376589A publication Critical patent/CN109376589A/zh
Application granted granted Critical
Publication of CN109376589B publication Critical patent/CN109376589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种基于密集连接卷积网络超球体嵌入的目标重识别方法，首先依密级连接卷积网络DenseNet提取视频序列中水下形变目标特征，大幅度减轻梯度消失、强化特征传播、支持特征重用和参数学习过程，然后从细粒度分类角度，由局部整合到全局，以分组平均池化思想精炼提取水下形变目标各级特征，获得更为精准的水下形变目标特征表达能力，以超球体损失即角三重损失关注水下形变个体目标的类间差异，区分类内差异，避免直接度量水下形变个体目标编码特征之间的欧氏距离，构建多点布设的水下视觉系统完整的、连续的水下形变个体目标重识别模型。利用本发明最终完成水下形变目标个体在近距离多视场观测中的密切监督和过程追踪。

Description

基于卷积核筛选SSD网络的ROV形变小目标识别方法
技术领域
本发明涉及基于形变小目标检测方法，属于智能信息处理和目标检测与水下机器人技术领域。
背景技术
水下形变小目标检测是绝大多数视觉系统中不可或缺的环节，在特定的场景应用中(如视频监控等领域)，自动化、快速、高鲁棒性的目标追踪受到关注，其在视频监控、交通检测，智能机器人，海底目标探测追踪等方面具有广阔的应用前景。另外，基于海洋方面的战略意义，必须对海洋加以合理开发、研究和利用。
水下机器人(Remote Operated Vehicle,ROV)由于其机动灵活、自主性强等特点，可以代替人类在复杂危险的水下环境中工作，且已经应用于各类海洋调查任务。ROV获取的水下图像蕴含了海底环境中的重要信息，比如海洋生物与相关军事目标如蛙人等。为此我们引入了基于树莓派与飞控的水下机器人控制平台，针对目前深度学习中越深层的模型包含了越多的参数，带来了计算量的大幅提高，大计算量需求导致深度学习不能实时的运行在嵌入式设备中，并且功耗增大也难以解决。
发明内容
本发明的目的是提出一种基于卷积核筛选SSD网络的ROV形变小目标识别方法，以弥补现有技术的不足。
本发明提出了一种基于平均响应值Average Response Energy(ARE)的卷积核滤波器筛选策略，其主要是将深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。又，由于采集过程中受光照、目标的形变、尺度、姿态变化以及快速响应等影响，高精度实时的基于图像目标检测方法是水下信号分析中也是必须直面的难题。为此本发明引入Densenet的压缩网络变体与SSD检测结合以不同于原始SSD的方式构建目标检测网络，实现对易发生形变、姿态、尺度变化大及遮挡的图像目标具有良好效果。针对树莓派处理器资源有限问题，我们引入Intel神经棒协处理器实时图像计算处理平台。搭建能够快速实时实现目标检测的水下机器人。
为达到上述目的，本发明通过如下技术方案实现：
一种基于卷积核筛选SSD网络的ROV形变小目标识别方法，包括以下步骤：
(1)搭载ROV(水下机器人控制平台)，其中树莓派作为上位机，负责图像的传输与基本计算，Intel网络神经棒作为树莓派协处理器，进行深度学习模型计算，飞控作为运动控制平台；
(2)收集通过搭建的水下机器人运动控制平台收集得水下目标图像，将图像进行筛选，数据扩增(包括拉伸，添加椒盐噪声，平滑)，通过人工标注得到VOC2007格式符合神经网络训练的数据集；
(3)利用caffe搭建Densenet的变体模型，网络有两个子网络，backbone网络用来特征提取图像，front-end子网络用多尺度相应做预测；所述backbone包含stem block，4个dense block，3个过渡层，3个无池化层的过渡层；所述stemblock块由3个3×3的卷积层连接一个2×2的最大池化层组成，用于减少信息损失；
(4)对于(3)中的backbone提取的特征图，借鉴Densenet思想，将前面层的特征图和后面层的特征图连接到一起，将相邻的检测结果一半一半的结合起来通过稠密连接另一半，每个尺度仅学习半数的特征图，复用之前层的另一半，从而进行多尺度检测(如图2所示)；
(5)搭建完成之后训练数据集，得到深度模型caffemodel；
(6)利用基于平均响应值Average Response Energy(ARE)的卷积核滤波器筛选策略，将上述深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性；
(7)将经过(6)处理后的caffemodel放入intel神经棒中，神经棒与树莓派相连，作为树莓派协处理器，摄像头采集数据之后，图像送入卷积神经网络中进行前向传播，得到检测结果。
本发明的有益效果：
本发明基于深度学习搭载在ROV的形变小目标快速目标检测方法。本发明的目的是考核这些数量众多的卷积核滤波器如何对模型的整体性能产生影响，以及通过模型的压缩，大大减少卷积神经网络的参数。针对目前深度学习模型中参数繁多、运算耗时久、占用体积大的问题，提出了一种基于平均响应值Average Response Energy(ARE)的卷积核滤波器筛选策略。
本发明主要是将深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。在减少模型参数的同时，结合Densenet的变体与SSD快速目标检测实现对易发生形变、姿态、尺度变化大及遮挡的图像目标采用基于深度学习模型快速检测方法。
本发明可有效实现对部分遮挡、尺度变化以及小目标的检测任务，为富有挑战性的水下任务完成提供了另外一种可能性，在保证准确率的前提下明显降低了深度模型的参数量和计算需求，显著增加了实时性与可行性。
附图说明
图1是本发明的硬件框图。
图2是本发明的总体流程图。
图3是本发明的检测软体动物效果图。
图4是本发明的检测蛙人效果图。
具体实施方式
为使本发明的目的、实施方案和优点更为清晰，下面结合附图并通过具体实施例来进一步详细说明本发明。
实施例1：以海洋水下环境中的海参为检测对象。
本实施例的具体流程图如图2所示。
以下步骤应当结合附图，以及具体结果进行详细描述，并应当只是发明内容里概况的步骤。
步骤一、搭载ROV(水下机器人控制平台)其中树莓派作为上位机，负责图像的传输与基本计算，Intel网络神经棒作为树莓派协处理器，进行深度学习模型计算，飞控作为运动控制平台。本发明的硬件框图如图1所示。
步骤二、收集通过搭建在山东省海洋牧场的水下机器人运动控制平台收集得水下海参视频(1920*1080像素，每秒25帧)，将图像进行筛选，数据扩增(包括拉伸，添加椒盐噪声，平滑)，通过人工标注得到VOC2007格式符合神经网络训练得数据集。
步骤三、利用caffe搭建Densenet的变体模型，网络有两个子网络，backbone用来特征提取，front-end子网络用多尺度相应做预测。backbone包含stem block，4个denseblock，3个过渡层，3个无池化层的过渡层；Stemblock块由3个3×3的卷积层连接一个2×2的最大池化层组成，用于减少信息损失。
步骤四、对每个尺度，传的特征图由之前尺度连接卷积层学习到，我们借鉴Densenet思想，通过稠密连接另一半由相邻的高分辨率的特征图下采样得到。下采样块中池化层降低分辨率，卷积层将通道数减半。每个尺度仅学习半数的特征图，复用之前层的另一半，从而达到多尺度的目的。
步骤五、搭建完成之后训练自己的数据集，得到caffemodel。
步骤六、利用基于平均响应值Average Response Energy(ARE)的卷积核滤波器筛选策略，将上述深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。
(1)输入r×c尺寸的图像xl，通过第l层k通道的a×b大小的卷积核滤波器xs进行卷积计算得到卷积特征映射fl：
fl＝σ(Wlxs+bl)
其中σ表示sigmoid函数，Wl和bl表示卷积核滤波器的权重以及偏移值。最后得到的fl就是第l卷积层k×(r-a+1)×(c-b+1)的一个三维卷积特征映射矩阵。
(2)k通道的卷积特征映射矩阵f(x,y)通过如下公式计算每一通道的响应值
Figure GDA0003291777630000041
公式中，m和n分别代表了一个卷积核滤波器所对应的特征映射的维度，同一个卷积核滤波器对不同图像会产生不同的特征映射。下一层h通道卷积层的特征映射fl+1同样，通过上式推到而来,上一层的输出fl作为下一层卷积层的输入
fl+1＝σ(Wl+1fl+bl+1)
而l+1层的每一通道响应值可表示为
Figure GDA0003291777630000042
为了评估每一个卷积核滤波器对卷积模型的贡献度，我们定义了一种评估标准——平均响应值Average Response Energy(ARE)，每一个响应值由被测卷积核滤波器计算后
Figure GDA0003291777630000043
保留高ARE的卷积核滤波器，而减少低的卷积滤波器。
步骤七、将caffemodel放入intel神经棒中，神经棒与树莓派相连，作为树莓派协处理器，摄像头采集数据之后，图像送入卷积神经网络中进行前向传播，得到检测结果。
检测结果见图3、图4，图3矩形框内为所识别的海参以及图4矩形框内为所识别的蛙人，并在矩形框上方进行了名称的标注，经验证检测识别结果与真实结果大致相同。

Claims (3)

1.一种基于卷积核筛选SSD网络的ROV形变小目标识别方法，其特征在于，包括以下步骤：
(1)搭载ROV，其中树莓派作为上位机，负责图像的传输与基本计算，Intel网络神经棒作为树莓派协处理器，进行深度学习模型计算，飞控作为运动控制平台；
(2)收集水下目标图像，将图像进行筛选，数据扩增，获得符合神经网络训练的数据集；
(3)利用caffe搭建Densenet的变体模型，网络有两个子网络，backbone网络用来特征提取图像，front-end子网络用多尺度相应做预测；
(4)对于(3)中的backbone提取的特征图，将前面层的特征图和后面层的特征图连接到一起，将相邻的检测结果一半、一半的结合起来通过稠密连接另一半，每个尺度仅学习半数的特征图，复用之前层的另一半，从而进行多尺度检测；
(5)搭建完成之后训练数据集，得到深度模型caffemodel；
(6)利用基于平均响应值的卷积核滤波器筛选策略，将上述深度模型中贡献度低的卷积核滤波器从原模型中移除；
(7)将经过(6)处理后的caffemodel放入intel神经棒中，神经棒与树莓派相连，作为树莓派协处理器，摄像头采集数据之后，图像送入卷积神经网络中进行前向传播，得到检测结果。
2.如权利要求1所述的识别方法，其特征在于，所述步骤(3)中，所述backbone包含stemblock，4个dense block，3个过渡层，3个无池化层的过渡层；所述stemblock块由3个3×3的卷积层连接一个2×2的最大池化层组成。
3.如权利要求1所述的识别方法，其特征在于，所述步骤(6)中，具体为：
(1)输入r×c尺寸的图像xl，通过第l层k通道的a×b大小的卷积核滤波器xs进行卷积计算得到卷积特征映射fl：
fl＝σ(Wlxs+bl)
其中σ表示sigmoid函数，Wl和bl表示卷积核滤波器的权重以及偏移值，最后得到的fl就是第l卷积层k×(r-a+1)×(c-b+1)的一个三维卷积特征映射矩阵；
(2)k通道的卷积特征映射矩阵f(x,y)通过如下公式计算每一通道的响应值
Figure FDA0003395285830000011
公式中，m和n分别代表了一个卷积核滤波器所对应的特征映射的维度，同一个卷积核滤波器对不同图像会产生不同的特征映射，下一层k通道卷积层的特征映射fl+1同样，通过上式推到而来，上一层的输出fl作为下一层卷积层的输入
fl+1＝σ(Wl+1fl+bl+1)
而l+1层的每一通道响应值可表示为
Figure FDA0003395285830000021
为了评估每一个卷积核滤波器对卷积模型的贡献度，我们定义了一种评估标准——平均响应值Average Response Energy(ARE)，每一个响应值由被测卷积核滤波器计算后
Figure FDA0003395285830000022
CN201811041349.4A 2018-09-07 2018-09-07 基于卷积核筛选ssd网络的rov形变小目标识别方法 Active CN109376589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811041349.4A CN109376589B (zh) 2018-09-07 2018-09-07 基于卷积核筛选ssd网络的rov形变小目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811041349.4A CN109376589B (zh) 2018-09-07 2018-09-07 基于卷积核筛选ssd网络的rov形变小目标识别方法

Publications (2)

Publication Number Publication Date
CN109376589A CN109376589A (zh) 2019-02-22
CN109376589B true CN109376589B (zh) 2022-01-14

Family

ID=65405369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811041349.4A Active CN109376589B (zh) 2018-09-07 2018-09-07 基于卷积核筛选ssd网络的rov形变小目标识别方法

Country Status (1)

Country Link
CN (1) CN109376589B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978014A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种融合密集连接结构的柔性基板缺陷检测方法
CN110163193B (zh) * 2019-03-25 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110060274A (zh) * 2019-04-12 2019-07-26 北京影谱科技股份有限公司 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置
CN110163108B (zh) * 2019-04-23 2020-12-08 杭州电子科技大学 基于双路径特征融合网络的鲁棒声呐目标检测方法
CN110309847B (zh) * 2019-04-26 2021-09-17 深圳前海微众银行股份有限公司 一种模型压缩方法及装置
CN110942106B (zh) * 2019-12-13 2023-11-07 东华大学 一种基于平方平均的池化卷积神经网络图像分类方法
CN110942105B (zh) * 2019-12-13 2022-09-16 东华大学 一种基于最大池化和平均池化的混合池化方法
CN111160530A (zh) * 2019-12-30 2020-05-15 联想(北京)有限公司 模型的压缩处理方法、装置及计算机设备
CN112528979B (zh) * 2021-02-10 2021-05-11 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN114856500B (zh) * 2022-05-25 2023-05-16 中煤能源研究院有限责任公司 一种瓦斯抽采钻孔的智能化设计方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103301A (zh) * 2017-04-24 2017-08-29 上海交通大学 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613001B2 (en) * 2013-12-20 2017-04-04 Intel Corporation Processing device for performing convolution operations
US10146375B2 (en) * 2016-07-01 2018-12-04 Intel Corporation Feature characterization from infrared radiation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103301A (zh) * 2017-04-24 2017-08-29 上海交通大学 视频目标时空最大稳定性判别性颜色区域匹配方法和系统
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积核滤波器筛选的CNN模型精简方法;王震 等;《天津理工大学学报》;20180430;第34卷(第2期);全文 *

Also Published As

Publication number Publication date
CN109376589A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109376589B (zh) 基于卷积核筛选ssd网络的rov形变小目标识别方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
Wang et al. Real-time underwater onboard vision sensing system for robotic gripping
CN108230302B (zh) 一种核电厂冷源海域入侵海洋生物探测及处置方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111046967A (zh) 一种基于卷积神经网络和注意力机制的水下图像分类方法
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及系统
CN110889844B (zh) 一种基于深度聚类分析的珊瑚分布及健康状况评估方法
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN109655815B (zh) 基于ssd的声呐目标检测方法
CN110969158A (zh) 基于水下作业机器人视觉的目标检测方法、系统、装置
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN108665484B (zh) 一种基于深度学习的危险源识别方法与系统
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114463677B (zh) 一种基于全局注意力的安全帽配戴检测方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN113724149B (zh) 一种弱监督的可见光遥感图像薄云去除方法
CN106056069A (zh) 基于无人机图像分析的林地资源资产评估方法及其评估系统
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及系统
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
CN111062423A (zh) 基于自适应特征融合的点云图神经网络的点云分类方法
CN109697428B (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN113516232A (zh) 一种基于自注意力机制的神经网络模型的训练方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant