CN109815973A - 一种适用于鱼类细粒度识别的深度学习方法 - Google Patents
一种适用于鱼类细粒度识别的深度学习方法 Download PDFInfo
- Publication number
- CN109815973A CN109815973A CN201811495457.9A CN201811495457A CN109815973A CN 109815973 A CN109815973 A CN 109815973A CN 201811495457 A CN201811495457 A CN 201811495457A CN 109815973 A CN109815973 A CN 109815973A
- Authority
- CN
- China
- Prior art keywords
- image
- identification
- network
- bilinearity
- fine granularity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007634 remodeling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种适用于鱼类细粒度识别的深度学习方法，包括：将原图输入空间变换网络捕获图像中具有判别性的目标区域；使用双线性卷积神经网络网络进行特征提取；对图像的双线性特征φ(I)进行归一化处理；将归一化处理结果送入softmax分类器进行分类得到图像类别。本发明加入了作为注意力机制的空间变换网络，空间变换网络能去除图像中的复杂背景，有效获取图像中感兴趣的区域，提高后续分类精度。本发明设计的加入空间变换网络的BCNN对目标中具有判别性的局部区域有较强响应，最终识别准确率高。此外，本发明简单可行，是一个端对端的网络，利用反向传播算法优化，能够有效用于鱼类细粒度识别，并且具有很好的鲁棒性和泛化能力。
Description
技术领域
本发明涉及一种深度学习方法。特别是涉及一种适用于鱼类细粒度识别的深度学习方法。
背景技术
近年来，水下观测事业迅速发展，水下目标识别的需求也日益剧增。其中，鱼类细粒度识别是重要任务之一，它有益于海洋科学家和生物学家等学术研究人员的研究以及鱼类养殖等商业应用。此外，通过鱼类识别，我们可以获得某些特定鱼类的分布，统计鱼群数量，进而可以监测评估鱼类种群以及生态系统，分析海洋环境的变化等。
传统的鱼类识别研究依赖于手工提取的特征，这些方法是任务驱动的，泛化能力弱。Strachan等人提出了一种基于图像形状分析的鱼类识别方法，在三种鱼类中分别达到73％，63％和90％。Larsen等人基于形状和纹理对三种鱼类进行分类并达到76％的识别率。Huang等人提出了一种平衡保证优化树(BGOT)算法来控制层次分类中的误差累积。他们对包含从水下录像中收集的10种物种的3179条鱼图像的数据集进行了实验，得到了95％的准确度。Huang等人进一步使用高斯混合模型(GMM)来改进层次分类中的拒绝选项。使用BGOT+GMM，在包含15种物种的24150幅图像的较大大型数据集上，它们的平均精度为65％。
卷积神经网络的出现推动了计算机视觉领域的迅速发展，卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
传统的算法在大型数据集上效率不高，而且准确性并不令人满意。近几年，鱼类识别研究也有一些应用深度学习的算法。Guoqing Ding等人设计了3种不同深度的卷积神经网络结构用于鱼类识别。Xin Sun等人提出了将超分辨率与分类相结合的方法。MengCheChuang等人提出了一个由无监督特征学习技术和错误恢复分类器组成的水下鱼类识别框架。Hongwei Qin等人提出了一个用于鱼类分类的深度网络。
之前的鱼类研究工作中，很少有方法针对细节特征进行识别，而本发明加入了可以作为注意力机制的空间变换网络来选择感兴趣的目标区域，再运用B-CNNs网络进一步学习局部细节特征，以适应鱼类图像的角度多样、姿态复杂。
发明内容
本发明所要解决的技术问题是，提供一种能够准确识别鱼类的适用于鱼类细粒度识别的深度学习方法。
本发明所采用的技术方案是：一种适用于鱼类细粒度识别的深度学习方法，包括如下步骤：
1)将原图输入空间变换网络捕获图像中具有判别性的目标区域；
2)使用双线性卷积神经网络网络进行特征提取；
3)对图像的双线性特征φ(I)进行归一化处理；
4)将归一化处理结果送入softmax分类器进行分类得到图像类别。
步骤1)包括：
(1)将原图输入由全连接层构成的定位网络，输出一个6维的变换参数θ；
(2)网格生成器首先创建与输入图像相同大小的归一化网格，归一化网格应用2D仿射变换，将定位网络输出的66维的变换参数θ重塑为2×3矩阵，并执行如下公式，生成参数化采样网格Tθ(G)，
式中，是归一化网格的目标坐标；是输入图像的坐标，定义了所需的采样点；Aθ是2×3矩阵；
(3)将参数化采样网格Tθ(G)以及原图输入采样器，所述的采样器采用双线性插值法通过如下公式输出尺寸为224×224的图像，
式中，I是高为H，宽为W，通道数为C的图像，是输入图像通道c中坐标为(n,m)处的值，是输入图像通道c中坐标为处像素i的输出值，对于输入图像的每个通道都采用双线性插值法获得输出图像的像素值。
步骤2)包括：
将224×224的图像经过VGG16第五段卷积后得到14×14×512的特征图，将所述的特征图转置再与原特征图进行外积操作，得到图像的双线性特征φ(I)表示：
式中，I表示图像，B表示双线性特征函数，l表示图像位置，fconv5表示图像经过VGG16第五段卷积后得到14×14×512的特征图。
步骤3)包括将双线性特征φ(I)通过如下公式进行符号平方根运算后，再进行l2归一化。
式中，y表示运算结果，sign表示符号函数。
本发明的一种适用于鱼类细粒度识别的深度学习方法，优势主要体现在：本发明加入了作为注意力机制的空间变换网络，空间变换网络能去除图像中的复杂背景，有效获取图像中感兴趣的区域，提高后续分类精度。本发明设计的加入空间变换网络的BCNN对目标中具有判别性的局部区域有较强响应，最终识别准确率高。此外，本发明简单可行，是一个端对端的网络，利用反向传播算法优化，能够有效用于鱼类细粒度识别，并且具有很好的鲁棒性和泛化能力。
附图说明
图1是本发明一种适用于鱼类细粒度识别的深度学习方法的流程图。
具体实施方式
下面结合实施例和附图对本发明的一种适用于鱼类细粒度识别的深度学习方法做出详细说明。
本发明的一种适用于鱼类细粒度识别的深度学习方法，主要是在BCNN网络中加入空间变换网络，空间变换网络作为注意力机制选择图像中具有判别性的目标区域，去除一部分复杂的背景，以简化后续的分类任务，提高分类性能。BCNN作为特征提取网络，对具有判别性的特定位置(如鱼身或鱼尾)有响应，从而有效识别种类。
如图1所示，本发明的一种适用于鱼类细粒度识别的深度学习方法，包括如下步骤：
1)将图像输入空间变换网络捕获图像中具有判别性的目标区域；包括：
(1)将图像输入由全连接层构成的定位网络，输出一个6维的变换参数θ；
(2)网格生成器的工作是生成一个参数化的采样网格，首先创建与图像相同大小的归一化网格，归一化网格应用2D仿射变换，将定位网络输出的66维的变换参数θ重塑为2×3矩阵，并执行如下公式，生成参数化采样网格Tθ(G)，
式中，是归一化网格的目标坐标；是图像的坐标，定义了所需的采样点；Aθ是2×3矩阵；
(3)将参数化采样网格Tθ(G)以及图像输入采样器，所述的采样器采用双线性插值法通过如下公式输出尺寸为224×224的图像，
式中，I是高为H，宽为W，通道数为C的图像，是图像通道c中坐标为(n,m)处的值，是图像通道c中坐标为处像素i的输出值，对于图像的每个通道都采用双线性插值法获得输出图像的像素值。
2)使用双线性卷积神经网络(BCNN)网络进行特征提取；包括：
将224×224的图像经过VGG16第五段卷积后得到14×14×512的特征图，将所述的特征图转置再与原特征图进行外积操作，得到图像的双线性特征φ(I)表示：
式中，I表示图像，B表示双线性特征函数，l表示图像位置，fconv5表示图像经过VGG16第五段卷积后得到14×14×512的特征图。
3)对图像的双线性特征φ(I)进行归一化处理；包括将双线性特征φ(I)通过如下公式进行符号平方根运算后，再进行l2归一化。
式中，y表示运算结果，sign表示符号函数。
4)将归一化处理结果送入softmax分类器进行分类得到图像类别。
本发明在fishForKnowledge数据集上进行了实验，经训练，在测试集取上得了99.36％的精确度。
Claims (4)
1.一种适用于鱼类细粒度识别的深度学习方法，其特征在于，包括如下步骤：
1)将原图输入空间变换网络捕获图像中具有判别性的目标区域；
2)使用双线性卷积神经网络网络进行特征提取；
3)对图像的双线性特征φ(I)进行归一化处理；
4)将归一化处理结果送入softmax分类器进行分类得到图像类别。
2.根据权利要求1所述的一种适用于鱼类细粒度识别的深度学习方法，其特征在于，步骤1)包括：
(1)将原图输入由全连接层构成的定位网络，输出一个6维的变换参数θ；
(2)网格生成器首先创建与输入图像相同大小的归一化网格，归一化网格应用2D仿射变换，将定位网络输出的66维的变换参数θ重塑为2×3矩阵，并执行如下公式，生成参数化采样网格Tθ(G)，
式中，是归一化网格的目标坐标；是输入图像的坐标，定义了所需的采样点；Aθ是2×3矩阵；
(3)将参数化采样网格Tθ(G)以及原图输入采样器，所述的采样器采用双线性插值法通过如下公式输出尺寸为224×224的图像，
式中，I是高为H，宽为W，通道数为C的图像，是输入图像通道c中坐标为(n,m)处的值，是输入图像通道c中坐标为处像素i的输出值，对于输入图像的每个通道都采用双线性插值法获得输出图像的像素值。
3.根据权利要求1所述的一种适用于鱼类细粒度识别的深度学习方法，其特征在于，步骤2)包括：
将224×224的图像经过VGG16第五段卷积后得到14×14×512的特征图，将所述的特征图转置再与原特征图进行外积操作，得到图像的双线性特征φ(I)表示：
式中，I表示图像，B表示双线性特征函数，l表示图像位置，fconv5表示图像经过VGG16第五段卷积后得到14×14×512的特征图。
4.根据权利要求1所述的一种适用于鱼类细粒度识别的深度学习方法，其特征在于，步骤3)包括将双线性特征φ(I)通过如下公式进行符号平方根运算后，再进行l2归一化。
式中，y表示运算结果，sign表示符号函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495457.9A CN109815973A (zh) | 2018-12-07 | 2018-12-07 | 一种适用于鱼类细粒度识别的深度学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495457.9A CN109815973A (zh) | 2018-12-07 | 2018-12-07 | 一种适用于鱼类细粒度识别的深度学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815973A true CN109815973A (zh) | 2019-05-28 |
Family
ID=66601974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811495457.9A Pending CN109815973A (zh) | 2018-12-07 | 2018-12-07 | 一种适用于鱼类细粒度识别的深度学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815973A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN111126459A (zh) * | 2019-12-06 | 2020-05-08 | 深圳久凌软件技术有限公司 | 一种车辆细粒度识别的方法及装置 |
| CN112926652A (zh) * | 2021-02-25 | 2021-06-08 | 青岛科技大学 | 一种基于深度学习的鱼类细粒度图像识别方法 |
| CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919951A (zh) * | 2017-01-24 | 2017-07-04 | 杭州电子科技大学 | 一种基于点击与视觉融合的弱监督双线性深度学习方法 |
| CN107766890A (zh) * | 2017-10-31 | 2018-03-06 | 天津大学 | 一种细粒度识别中判别性图块学习的改进方法 |
| CN108647691A (zh) * | 2018-03-12 | 2018-10-12 | 杭州电子科技大学 | 一种基于点击特征预测的图像分类方法 |
| CN108898060A (zh) * | 2018-05-30 | 2018-11-27 | 珠海亿智电子科技有限公司 | 车载环境下基于卷积神经网络的车型识别方法 |
| CN108920643A (zh) * | 2018-06-26 | 2018-11-30 | 大连理工大学 | 加权多特征融合的细粒度图像检索算法 |
-
2018
- 2018-12-07 CN CN201811495457.9A patent/CN109815973A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919951A (zh) * | 2017-01-24 | 2017-07-04 | 杭州电子科技大学 | 一种基于点击与视觉融合的弱监督双线性深度学习方法 |
| CN107766890A (zh) * | 2017-10-31 | 2018-03-06 | 天津大学 | 一种细粒度识别中判别性图块学习的改进方法 |
| CN108647691A (zh) * | 2018-03-12 | 2018-10-12 | 杭州电子科技大学 | 一种基于点击特征预测的图像分类方法 |
| CN108898060A (zh) * | 2018-05-30 | 2018-11-27 | 珠海亿智电子科技有限公司 | 车载环境下基于卷积神经网络的车型识别方法 |
| CN108920643A (zh) * | 2018-06-26 | 2018-11-30 | 大连理工大学 | 加权多特征融合的细粒度图像检索算法 |
Non-Patent Citations (2)
| Title |
|---|
| JADERBERG M等: "Spatial transformer networks", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS. MONTREAL:NIPS》 * |
| LIN T等: "Bilinear CNN models for fine-grained visual recognition", 《INTERNATIONAL CONFERENCE ON COMPUTER VISION.》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN111126459A (zh) * | 2019-12-06 | 2020-05-08 | 深圳久凌软件技术有限公司 | 一种车辆细粒度识别的方法及装置 |
| CN112926652A (zh) * | 2021-02-25 | 2021-06-08 | 青岛科技大学 | 一种基于深度学习的鱼类细粒度图像识别方法 |
| CN112926652B (zh) * | 2021-02-25 | 2023-10-24 | 青岛科技大学 | 一种基于深度学习的鱼类细粒度图像识别方法 |
| CN114266977A (zh) * | 2021-12-27 | 2022-04-01 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778821B (zh) | 基于slic和改进的cnn的极化sar图像分类方法 | |
| CN109815973A (zh) | 一种适用于鱼类细粒度识别的深度学习方法 | |
| CN108647588A (zh) | 物品类别识别方法、装置、计算机设备和存储介质 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
| Shahab et al. | How salient is scene text? | |
| CN107730515A (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| CN107067037B (zh) | 一种使用llc准则定位图像前景的方法 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| Zhao et al. | Center attention network for hyperspectral image classification | |
| CN110533100A (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN108154176B (zh) | 一种针对单一深度图像的3d人体姿态估计算法 | |
| CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| Pavoni et al. | Semantic segmentation of benthic communities from ortho-mosaic maps | |
| CN104573701B (zh) | 一种玉米雄穗性状的自动检测方法 | |
| Fauvel et al. | Detection of hedges in a rural landscape using a local orientation feature: from linear opening to path opening | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN112686242B (zh) | 一种基于多层聚焦注意力网络的细粒度图像分类方法 | |
| Li et al. | An automatic plant leaf stoma detection method based on YOLOv5 | |
| Eerola et al. | Survey of automatic plankton image recognition: Challenges, existing solutions and future perspectives | |
| CN116704526B (zh) | 工尺谱扫描机器人及其方法 | |
| Kezia et al. | A color-texture based segmentation method to extract object from background | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN116597275A (zh) | 一种基于数据增强的高速移动目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |