CN107292340A - 基于卷积神经网络的侧线鳞识别方法 - Google Patents

基于卷积神经网络的侧线鳞识别方法 Download PDF

Info

Publication number
CN107292340A
CN107292340A CN201710465338.8A CN201710465338A CN107292340A CN 107292340 A CN107292340 A CN 107292340A CN 201710465338 A CN201710465338 A CN 201710465338A CN 107292340 A CN107292340 A CN 107292340A
Authority
CN
China
Prior art keywords
layer
lateral line
image
line scales
recognition methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710465338.8A
Other languages
English (en)
Inventor
谢元澄
黄小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201710465338.8A priority Critical patent/CN107292340A/zh
Publication of CN107292340A publication Critical patent/CN107292340A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明公开了一种基于卷积神经网络的侧线鳞识别方法，它与传统的基于手工特征提取的识别方法不同，直接使用二维图像作为输入，避免了人为设计特征带来的不确定性。使用该方法在最终的验证集上的识别准确率为99.09％，目标函数损失值0.0349。在测试集上能够准确的识别出侧线鳞区域。最后，通过回归拟合算法实现了侧线鳞的精确定位。

Description

基于卷积神经网络的侧线鳞识别方法
技术领域
本发明涉及计算机视觉、图像识别、渔业研究领域，具体是一种基于卷积神经网络的淡水鱼侧线鳞识别方法。
背景技术
在渔业养殖和渔业研究中，鱼类的表形特征，又称视觉属性，包括鱼的长宽尺寸、表面积、形状、颜色、侧线鳞数目等，是渔业研究者对鱼进行喂养、用药、分级、选别和水环境监测的主要信息依据。
目前，机器视觉在鱼类表形上的研究应用主要集中于鱼的尺寸测量、表面积测量、颜色获取等，对鱼类的侧线鳞检测的应用研究却罕见报道。而侧线鳞数目作为渔业研究者对鱼进行分门别类的重要数据指标，长期以来，一直靠人工数数的方式进行，一方面，自动化程度较低，耗时耗力，另一方面，长此以往，易导致疲劳出错等问题。而机器视觉在侧线鳞计数上的应用却罕见报到。
究其原因，主要存在以下两个难点：第一，要实现自动化的侧线鳞精确计数，首先必须让机器自己知道侧线鳞在鱼身上的确切位置，即用机器视觉的方法在鱼体身上众多的鱼鳞片中准确地找到侧线鳞所在的位置，也就是准确区分侧线鳞与非侧线鳞。而侧线鳞与非侧线鳞本身在颜色形状上差异并不是很明显，用传统的机器视觉图像处理方法难以对其加以区分。并且，鳞片与鳞片之间通常都会有狭小缝隙，缝隙呈现深黑色，给侧线鳞的位置识别增加了难度。第二，找到侧线鳞的具体区域位置之后，还需对区域内的鳞片数进行逐个累加计算，而侧线鳞片之间存在边缘不明显的情况，这给侧线鳞的精确计数带来不小的挑战。
发明内容
本发明针对侧线鳞自动计数中的第一个难点问题，即侧线鳞的识别问题，提出了一种基于卷积神经网络的侧线鳞识别方法，通过此方法可实现对淡水鱼侧线鳞的精确识别。
技术方案：一种基于卷积神经网络的侧线鳞识别方法，包括以下步骤：
步骤1：构建侧线鳞识别的卷积神经网络结构，依次为输入层、多个卷积层、多个下采样层、输出层；
步骤2：图像采集，即原始鱼体图像的采集，并将采集到的图像分为学习图像记为学习数据集、测试图像记为测试数据集；
步骤3：样本采集，用方形采样方块对学习图像进行样本采集，侧线鳞部分居于采样方块中间位置的的样本作为正样本，其它非侧线鳞部分作为负样本；
步骤4：将在学习图像上采集到的正负样本进行归一化处理，并分为训练集与验证集；
步骤5：将步骤4中的训练集和验证集输入步骤1的卷积神经网络进行迭代训练，直至在验证集上的识别准确率达到预期目标或者卷积神经网络在验证集上的目标函数损失值开始收敛为止，保存模型M；
步骤6：用步骤1的网络结构加载步骤5中保存的网络模型，对测试集中的完整的鱼体图像上的侧线鳞进行识别检测；
步骤7：对鱼体上识别出的侧线鳞进行拟合，得到完整的侧线鳞曲线，完成侧线鳞的精确识别。
优选的，所述卷积神经网络结构共七层：第一层、第二层C1、第三层S2、第四层C3、第五层S4、第六层F5、第七层；其中：第一层为输入层，接收3×28×28的彩色图像输入；第二层C1和第四层C3为卷积层，对图像进行特征学习提取；第三层S2和第五层S4为下采样层，对卷积层学习到的图像特征进行最大值下采样；第六层F5为全连接的一维网络；第七层是输出层。
优选的，步骤4中通过双线性插值方法进行归一化处理。
优选的，步骤3中所述方形采样方块为64×64的采样方块。
更优的，步骤6中完整的测试过程如下：
6-1：从测试集中选取一张图片作为测试图T，从测试图的左上角开始，设一64×64的滑动窗口W，以步长S遍历整张图像，每滑动一次，都记录下滑动窗口内的图像I，这样，当遍历完整张图像之后，便得到n张64×64的图像，记为I1,I2,...,In，并且记下每张小图在原图中的中心点坐标(Ci,Ri)(i＝1,2,...,n)；
6-2：搭建相同的网络结构N，并加载模型M；
6-3：依次将图像Ii(i＝1,2,...,n)归一化为28×28后，输入网络结构N进行识别预测；
6-4：若预测为正样本，即为侧线鳞，则按图索引到图像坐标后在原图中将该区域用64×64的红色矩形标注出来，并执行下一张；否则，什么都不干，继续执行下一张；
6-5：从测试集中选取另一张图像进行测试，重复执行6-1～6-5。
更优的，步骤7中侧线鳞的精确识别具体步骤为是结合用支持向量机回归算法对识别出来的侧线鳞区域进行回归拟合：根据测试结果找到每个64×64方块的中心点坐标，并在图中标记出来，接着使用SVR算法设置SVR核函数为径向基函数RBF，核函数系数gamma＝1e-6，目标函数的惩罚系数C＝1e-3，对这些坐标点进行回归拟合。
本发明的有益效果
本发明方法是一种基于卷积神经网络的侧线鳞识别方法，它与传统的基于手工特征提取的识别方法不同，直接使用二维图像作为输入，避免了人为设计特征带来的不确定性。使用该方法在最终的验证集上的识别准确率为99.09％，目标函数损失值0.0349。在测试集上能够准确的识别出侧线鳞区域。最后，通过回归拟合算法实现了侧线鳞的精确定位。
附图说明
图1是本发明基于卷积神经网络的侧线鳞识别流程示意图
图2是本发明所述卷积神经网络结构示意图
图3是侧线鳞识别的网络结构在测试图上的识别结果示意图
图4侧线鳞回归拟合后的结果示意图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
如图1所示本发明基本流程图包含以下步骤：
步骤1：构建侧线鳞识别的网络结构N。如图2所示，网络共有七层：第一层为输入层，接收3×28×28的彩色图像输入，第二层C1和第四层C3为卷积层，第三层S2和第五层S4为下采样层，第六层F5为全连接的一维网络，第七层是输出层。卷积层对图像进行特征学习提取，该层有多少卷积核就有多少特征；下采样层对卷积层学习到的图像特征进行最大值下采样，降低图像特征复杂度，同时提高网络模型的鲁棒性。
步骤2：图像采集，将采集到的完整的200张鱼体图像分为学习数据集与测试数据集，学习数据集150张，测试数据集50张。
步骤3：样本采集，以64×64的采样方块对步骤2中的学习数据集进行采样。具体采样方法是，侧线鳞居于采样方块中间位置的为正样本，其它的非侧线区域为负样本。共采集2240张样本，正负样本各1120张。
步骤4：将采集到的2240张64×64的样本用双线性插值方法归一化至28×28；
将经过归一化处理后的样本集分为训练集与验证集，训练集1800张，正负样本各900张；验证集440张，正负样本各220张。
步骤5：用步骤1中构建的卷积神经网络模型对步骤4中的数据集进行训练学习直至网络收敛后，保存模型M；得到的模型在验证集上的识别准确率为99.09％，目标函数损失值为0.0349。
步骤6：用步骤5中得到的网络模型M对测试集中完整的鱼体图像上的侧线鳞位置进行识别测试。测试结果如图3所示；
进一步的，在测试集上的完整的测试过程如下：
6-1：从测试集中选取一张图片作为测试图T，从测试图的左上角开始，设一64×64的滑动窗口W，以步长S遍历整张图像，每滑动一次，都记录下滑动窗口内的图像I，这样，当遍历完整张图像之后，便得到n张64×64的图像，记为I1,I2,...,In，并且记下每张小图在原图中的中心点坐标(Ci,Ri)(i＝1,2,...,n)；
6-2：搭建相同的网络结构N，并加载模型M；
6-3：依次将图像Ii(i＝1,2,...,n)归一化为28×28后，输入网络结构N进行识别预测；
6-4：若预测为正样本，即为侧线鳞，则按图索引到图像坐标后在原图中将该区域用64×64的红色矩形标注出来，并执行下一张；否则，什么都不干，继续执行下一张；
6-5：从测试集中选取另一张图像进行测试，重复执行6-1～6-5；
步骤7：结合用支持向量机回归算法(Support Vector Regression,SVR)对识别出来的侧线鳞区域进行回归拟合。具体操作是：根据测试结果找到每个64×64方块的中心点坐标，并在图中标记出来，接着使用SVR算法,设置SVR核函数为径向基函数(RBF)，核函数系数gamma＝1e-6，目标函数的惩罚系数C＝1e-3，对这些坐标点进行回归拟合。拟合结果如图4所示。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于卷积神经网络的侧线鳞识别方法，其特征在于它包括以下步骤：
步骤1：构建侧线鳞识别的卷积神经网络结构，依次为输入层、多个卷积层、多个下采样层、输出层；
步骤2：图像采集，并将采集到的图像分为学习图像记为学习数据集、测试图像记为测试数据集；
步骤3：样本采集，用方形采样方块对学习图像进行样本采集，侧线鳞部分居于采样方块中间位置的的样本作为正样本，其它非侧线鳞部分作为负样本；
步骤4：将在学习图像上采集到的正负样本进行归一化处理，并分为训练集与验证集；
步骤5：将步骤4中的训练集和验证集输入步骤1的卷积神经网络进行迭代训练，直至在验证集上的识别准确率达到预期目标或者卷积神经网络在验证集上的目标函数损失值开始收敛为止，保存模型M；
步骤6：用步骤1的网络结构加载步骤5中保存的网络模型，对测试集中的完整的鱼体图像上的侧线鳞进行识别检测；
步骤7：对鱼体上识别出的侧线鳞进行拟合，得到完整的侧线鳞曲线，完成侧线鳞的精确识别。
2.根据权利要求1所述的侧线鳞识别方法，其特征在于所述卷积神经网络结构共七层：第一层、第二层C1、第三层S2、第四层C3、第五层S4、第六层F5、第七层；其中：第一层为输入层，接收3×28×28的彩色图像输入；第二层C1和第四层C3为卷积层，对图像进行特征学习提取；第三层S2和第五层S4为下采样层，对卷积层学习到的图像特征进行最大值下采样；第六层F5为全连接的一维网络；第七层是输出层。
3.根据权利要求1所述的侧线鳞识别方法，其特征在于步骤4中通过双线性插值方法进行归一化处理。
4.根据权利要求1所述的侧线鳞识别方法，其特征在于步骤3中所述方形采样方块为64×64的采样方块。
5.根据权利要求4所述的侧线鳞识别方法，其特征在于步骤6中完整的测试过程如下：
6-1：从测试集中选取一张图片作为测试图T，从测试图的左上角开始，设一64×64的滑动窗口W，以步长S遍历整张图像，每滑动一次，都记录下滑动窗口内的图像I，这样，当遍历完整张图像之后，便得到n张64×64的图像，记为I1,I2,...,In，并且记下每张小图在原图中的中心点坐标(Ci,Ri)(i＝1,2,...,n)；
6-2：搭建相同的网络结构N，并加载模型M；
6-3：依次将图像Ii(i＝1,2,...,n)归一化为28×28后，输入网络结构N进行识别预测；
6-4：若预测为正样本，即为侧线鳞，则按图索引到图像坐标后在原图中将该区域用64×64的红色矩形标注出来，并执行下一张；否则，什么都不干，继续执行下一张；
6-5：从测试集中选取另一张图像进行测试，重复执行6-1～6-5。
6.根据权利要求5所述的侧线鳞识别方法，其特征在于步骤7中侧线鳞的精确识别具体步骤为是结合用支持向量机回归算法对识别出来的侧线鳞区域进行回归拟合：根据测试结果找到每个64×64方块的中心点坐标，并在图中标记出来，接着使用SVR算法设置SVR核函数为径向基函数RBF，核函数系数gamma＝1e-6，目标函数的惩罚系数C＝1e-3，对这些坐标点进行回归拟合。
CN201710465338.8A 2017-06-19 2017-06-19 基于卷积神经网络的侧线鳞识别方法 Pending CN107292340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710465338.8A CN107292340A (zh) 2017-06-19 2017-06-19 基于卷积神经网络的侧线鳞识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710465338.8A CN107292340A (zh) 2017-06-19 2017-06-19 基于卷积神经网络的侧线鳞识别方法

Publications (1)

Publication Number Publication Date
CN107292340A true CN107292340A (zh) 2017-10-24

Family

ID=60097343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710465338.8A Pending CN107292340A (zh) 2017-06-19 2017-06-19 基于卷积神经网络的侧线鳞识别方法

Country Status (1)

Country Link
CN (1) CN107292340A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133184A (zh) * 2017-12-20 2018-06-08 中国水产科学研究院渔业机械仪器研究所 一种基于分形理论和bp算法的鱼识别及疫苗注射方法
CN109117877A (zh) * 2018-08-02 2019-01-01 南京师范大学 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106778902A (zh) * 2017-01-03 2017-05-31 河北工业大学 基于深度卷积神经网络的奶牛个体识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106778902A (zh) * 2017-01-03 2017-05-31 河北工业大学 基于深度卷积神经网络的奶牛个体识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕伟: "基于稀疏表示和卷积神经网络的水果图像分类与实现", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
汪济民: "基于卷积神经网络的人脸检测和性别识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133184A (zh) * 2017-12-20 2018-06-08 中国水产科学研究院渔业机械仪器研究所 一种基于分形理论和bp算法的鱼识别及疫苗注射方法
CN108133184B (zh) * 2017-12-20 2020-04-28 中国水产科学研究院渔业机械仪器研究所 一种基于分形理论和bp算法的鱼识别及疫苗注射方法
CN109117877A (zh) * 2018-08-02 2019-01-01 南京师范大学 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法
CN109460774B (zh) * 2018-09-18 2022-04-22 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法

Similar Documents

Publication Publication Date Title
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN108304765B (zh) 用于人脸关键点定位与语义分割的多任务检测装置
CN106127108B (zh) 一种基于卷积神经网络的人手图像区域检测方法
CN109215013A (zh) 自动骨龄预测方法、系统、计算机设备和存储介质
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
WO2020103417A1 (zh) 一种bmi评测方法、装置及计算机可读存储介质
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN112669348B (zh) 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN104484886B (zh) 一种mr图像的分割方法及装置
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN110879982A (zh) 一种人群计数系统及方法
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN107871316A (zh) 一种基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN110378232A (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN107292340A (zh) 基于卷积神经网络的侧线鳞识别方法
CN111724355A (zh) 一种鲍鱼体型参数的图像测量方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN107507175A (zh) 一种用于计算玉米叶部小斑病病斑所占面积比例的装置
CN107368803A (zh) 一种基于类别稀疏表示的人脸识别方法及系统
CN110197113A (zh) 一种高精度锚点匹配策略的人脸检测方法
CN107103608A (zh) 一种基于区域候选样本选择的显著性检测方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171024