CN113657290B - 一种螺类采集与细分类识别系统 - Google Patents

一种螺类采集与细分类识别系统 Download PDF

Info

Publication number
CN113657290B
CN113657290B CN202110953707.4A CN202110953707A CN113657290B CN 113657290 B CN113657290 B CN 113657290B CN 202110953707 A CN202110953707 A CN 202110953707A CN 113657290 B CN113657290 B CN 113657290B
Authority
CN
China
Prior art keywords
oncomelania
image
model
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110953707.4A
Other languages
English (en)
Other versions
CN113657290A (zh
Inventor
施亮
杨坤
张键锋
熊春蓉
李伟
羊海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Institute of Parasitic Diseases
Original Assignee
Jiangsu Institute of Parasitic Diseases
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Institute of Parasitic Diseases filed Critical Jiangsu Institute of Parasitic Diseases
Priority to CN202110953707.4A priority Critical patent/CN113657290B/zh
Publication of CN113657290A publication Critical patent/CN113657290A/zh
Application granted granted Critical
Publication of CN113657290B publication Critical patent/CN113657290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种螺类采集与细分类识别系统，所述系统包括线下系统以及线上系统，所述线下系统包括图像标注、螺识别模型开发，所述螺识别模型包括数据采集、数据标注、模型构建以及模型训练调优。本发明基于深度卷积神经网络的细粒度图像识别技术，提出了对一种自然场景下钉螺及其近似螺类的精确识别系统，并在此基础上结合螺类图像数据库和百科知识库，开发了一款手机APP的钉螺智能识别系统，解决现有技术无法对钉螺及其相似螺进行自动分类识别的问题，为一线查螺人员高质量查螺提供重要技术支撑，为广大百姓快速钉螺识别科普服务提供便利。

Description

一种螺类采集与细分类识别系统
技术领域
本发明涉及螺细分类识别技术领域，更具体地说，本发明涉及一种螺类采集与细分类识别系统。
背景技术
血吸虫病是一种通过水传播的、人畜共患的重大传染病，流行于亚洲、非洲和南美等地区，被世界卫生组织列为极易复发的再现传染病，血吸虫病在我国南方流行已有2100余年，目前仍在我国长江流域的江苏、安徽、江西、湖南、湖北、云南、四川等省份流行，严重危害疫区人民身体健康和生命安全、阻碍当地经济发展和社会进步；
钉螺属软体动物，淡水螺类的一种，水陆两栖，由螺壳和软体两部分组成，壳长约10毫米，宽约4毫米，生存于湖沼或水网地区，是血吸虫病传播的唯一中间宿主，钉螺的分布和血吸虫病的流行区域有着十分密切的联系，钉螺调查是血吸虫病防治的重要的基础工作之一，在现场应用中，识别系统不仅需要识别一般识别问题那样检测出物体是不是螺，同时还需要检测出物体具体属于哪一种螺，通常属于不同子类别的物体是非常相似的，如光壳型钉螺、肋壳型钉螺等，我们不仅需要植物的整体信息来识别它是钉螺，同时还需要局部信息来确定钉螺的品种，以及其他相似螺类，在现场防治工作中，钉螺细分类鉴定更具有重要意义。
中国专利申请(申请号：201110022158.5)公开了一种用于钉螺及其它陆地生物资源调查的自动照相装置，该装置主要由遥控器和照相小车两部分组成，能实现程序设定和遥控两种控制方式进行拍照、存储，这种自动照相装置可用于钉螺的查找，也可用于其它陆地生物资源的调查，采用这种装置对钉螺及其它陆地生物资源开展调查，不但可提供准确的地表生物分布数据，也可节省大量的时间和人力、物力，提高工作效率，该装置用于自动拍摄钉螺资源图像，此技术仅涉及图像获取，没有涉及对钉螺的识别。
中国专利申请(申请号：201910103672.8)发明的目的是提供一种钉螺智能检测识别与统计系统，采用CT成像设备采集土壤中的钉螺图像，同时对采集到的图像中的钉螺的识别，但是该技术仅仅是对钉螺进行识别，不能做到细分钉螺种类，及其相似螺类的识别，现场环境中有很多螺类与与钉螺极易混淆，大大影响识别精准度，难以广泛应用。
结合上述文件可知现有技术存在以下不足：现有系统仅有对钉螺及其它陆地生物资源拍照功能，并不能识别钉螺，且具有钉螺识别功能的系统，不能做到细分钉螺种类，及其相似螺类的识别，现场环境中有很多螺类与与钉螺极易混淆，大大影响识别精准度，难以广泛应用。
发明内容
本发明提供一种螺类采集与细分类识别系统，基于深度卷积神经网络的细粒度图像识别技术，提出了对一种自然场景下钉螺及其近似螺类的精确识别系统，并在此基础上结合螺类图像数据库和百科知识库，开发了一款手机 APP的钉螺智能识别系统，解决现有技术无法对钉螺及其相似螺进行自动分类识别的问题，为一线查螺人员高质量查螺提供重要技术支撑，为广大百姓快速钉螺识别科普服务提供便利，以解决上述背景技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：一种螺类采集与细分类识别系统，所述系统包括线下系统以及线上系统，所述线下系统包括图像标注、螺识别模型开发，所述螺识别模型包括数据采集、数据标注、模型构建以及模型训练调优；
所述数据采集包括摄像机以及图像采集模块，所述数据标注包括labelimg 图像标注模块，所述模型构建包括通道注意力模块SE、squeeze操作模块、excitation操作模块、attention操作模块、gating操作模块、inception以及resnet 卷积神经网络模型，所述模型训练包括imagenetik预训练网络模型；
所述螺识别模型包括以下步骤：
S1：数据采集
通过标本拍摄和网络抓取相结合，建立钉螺及相似螺类分类图像数据集，为保证标本拍摄数据的代表性和多样性，针对每个分类选取上百个不同样本，在多种环境下进行拍摄，并通过混合从互联网中抓取并通过专家人工鉴定分类的图像，进提高数据集中图像样本的多样性；
S2：数据标注
采用labelimg作为标注工具，对3000-3100个螺类样本进行标注，将标注图像均通过边缘填充调整为正方形，通过大小缩放将图像分辨率统一调整为 500x500；
S3：模型构建
A、基于inception和resnet架构的卷积神经网络模型，通过inception模块中1x1、3x3、5x5不同尺度的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并所有子层的输出被级联起来，传送至下一个inception模块，形成模块的级联；
B、在inception模块后引入通道注意力模块SE，SE模块先对卷积得到的特征图进行squeeze操作，得到channel级的全局特征，然后对全局特征进行 excitation操作，学习各个channel间的关系，也得到不同channel的权重，最后乘以原来的特征图得到最终特征，SE模块是在channel维度上做attention 或者gating操作；
C、在SE模块后引入残差连接，将inception+SE模块的卷积运算输出添加到输入上，使残差加运算可行，卷积之后的输入和输出有相同的维度，在初始卷积之后使用1x1卷积来匹配深度，通过残差对传统的inception+SE网络结构进行调整，并将每一层的参数减半，减少训练时间和在分类准确性与时间性能上做出平衡；
D、分类网络将结合全局图像信息和局部特征信息预测最终的精细类别，模型根据全局特征图预测图像类别，并结合第一个抽取的局部特征图重新预测类别，将前一次的softmax结果与后一次的softmax结果求平均，判断加入第一个注意力区域后是否提升预测效果，确定该区域是否重要，这样继续添加新的局部注意力区域可以搜索所有重要的局部区域，最终将所有重要的局部区域特征图和全局特征图进行联合，重新进行类别预测；
S4：模型训练
采用迁移学习技术，分为两个阶段的进行模型训练：
E、第一阶段，将imagenetik预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的分类网络，冻结其他层参数；
F、第二阶段，冻结的网络提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到钉螺及相似螺类的图像特征，对钉螺图像产生更好的分类效果，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作。
优选的，所述线上系统包括运行在手机端的螺类识别微信小程序以及运行在服务器端的在线图像识别引擎，所述建立算法模型通过GPU服务器进行模型训练。
优选的，所述步骤S1数据采集中，多种环境为工作台、器皿、泥土或青苔环境。
优选的，所述步骤S2数据标注中，螺类包括山丘型钉螺、水网型钉螺、方格短沟蜷、真管螺、细钻螺以及拟钉螺共七种螺类。
优选的，所述步骤S3模型构建中，通道注意力模块SE为sequeeze and excitation模块，深度在卷积之后会增加。
优选的，所述步骤S4模型训练中，小学习率等于0.0001，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像，25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
本发明的技术效果和优点：
本发明基于深度卷积神经网络的细粒度图像识别技术，提出了对一种自然场景下钉螺及其近似螺类的精确识别系统，并在此基础上结合螺类图像数据库和百科知识库，开发了一款手机APP的钉螺智能识别系统，解决现有技术无法对钉螺及其相似螺进行自动分类识别的问题，为一线查螺人员高质量查螺提供重要技术支撑，为广大百姓快速钉螺识别科普服务提供便利。
附图说明
为了更清除地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的系统框图。
图2为本发明的系统流程图。
图3为本发明图1中效果检验曲线图的放大图。
图4为本发明图2中湖沼型钉螺视图的放大图。
图5为本发明图2中湖沼型钉螺简介图的放大图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种螺类采集与细分类识别系统，所述系统包括线下系统以及线上系统，所述线下系统包括图像标注、螺识别模型开发，所述螺识别模型包括数据采集、数据标注、模型构建以及模型训练调优；
所述数据采集包括摄像机以及图像采集模块，所述数据标注包括labelimg 图像标注模块，所述模型构建包括通道注意力模块SE、squeeze操作模块、 excitation操作模块、attention操作模块、gating操作模块、inception以及resnet 卷积神经网络模型，所述模型训练包括imagenetik预训练网络模型；
所述螺识别模型包括以下步骤：
S1：数据采集
通过标本拍摄和网络抓取相结合，建立钉螺及相似螺类分类图像数据集，为保证标本拍摄数据的代表性和多样性，针对每个分类选取上百个不同样本，在多种环境下进行拍摄，并通过混合从互联网中抓取并通过专家人工鉴定分类的图像，进提高数据集中图像样本的多样性；
S2：数据标注
采用labelimg作为标注工具，对3000-3100个螺类样本进行标注，将标注图像均通过边缘填充调整为正方形，通过大小缩放将图像分辨率统一调整为 500x500；
S3：模型构建
A、基于inception和resnet架构的卷积神经网络模型，通过inception模块中1x1、3x3、5x5不同尺度的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并所有子层的输出被级联起来，传送至下一个inception模块，形成模块的级联；
B、在inception模块后引入通道注意力模块SE，SE模块先对卷积得到的特征图进行squeeze操作，得到channel级的全局特征，然后对全局特征进行 excitation操作，学习各个channel间的关系，也得到不同channel的权重，最后乘以原来的特征图得到最终特征，SE模块是在channel维度上做attention 或者gating操作；
C、在SE模块后引入残差连接，将inception+SE模块的卷积运算输出添加到输入上，使残差加运算可行，卷积之后的输入和输出有相同的维度，在初始卷积之后使用1x1卷积来匹配深度，通过残差对传统的inception+SE网络结构进行调整，并将每一层的参数减半，减少训练时间和在分类准确性与时间性能上做出平衡；
实施例1：卷积神经网络具有卷积结构的深层前馈神经网络模型，具有高容错性还具有高效的计算能力，卷积神经网络应用于图像分类等重要领域，与传统的图像分类方法相比，基于卷积神经网络的图像分类方法不需经过特征提取，可直接向卷积神经网络模型输入图像，并完成图像的分类，卷积神经网络的图像分类性能与其网络深度存在着重要的关系，网络越深，卷积神经网络的拟合能力就越强，卷积神经网络具有多层网络结构的深层前馈模型，主要结构包括卷积层、池化层、全连接层以及输出层四类，将图像数据输入到卷积神经网络模型之中，多个不同的卷积核就会与输入到模型之中的图像数据进行卷积运算，然后再把运算结果再加上一个偏置就可以提取出图像数据的局部特征图，之后再将卷积运算的输出结果通过一个非线性激活函数处理之后，最后再对激活函数的输出结果进行池化操作，就可保留图像数据中最显著的特征，将获取的显著特征通过全连接层，并利用分类器输出相应的结果。
D、分类网络将结合全局图像信息和局部特征信息预测最终的精细类别，模型根据全局特征图预测图像类别，并结合第一个抽取的局部特征图重新预测类别，将前一次的softmax结果与后一次的softmax结果求平均，判断加入第一个注意力区域后是否提升预测效果，确定该区域是否重要，这样继续添加新的局部注意力区域可以搜索所有重要的局部区域，最终将所有重要的局部区域特征图和全局特征图进行联合，重新进行类别预测；
实施例3：在神经网络模型之中，通过两个神经元节点连接的信号权重，训练调节权值大小以使模型达到最优的结果，在模型之中，每一幅输入图像共享同一个卷积核的参数，具有相同的权值矩阵和偏置项，通过共享权值可以极大地减少模型各层之间参数的规模，在降低模型参数选择的复杂度同时，还可以降低模型过拟合的风险。
S4：模型训练
采用迁移学习技术，分为两个阶段的进行模型训练：
E、第一阶段，将imagenetik预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的分类网络，冻结其他层参数；
F、第二阶段，冻结的网络提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到钉螺及相似螺类的图像特征，对钉螺图像产生更好的分类效果，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作，基于深度卷积神经网络的细粒度图像识别技术，提出了对一种自然场景下钉螺及其近似螺类的精确识别系统，并在此基础上结合螺类图像数据库和百科知识库，开发了一款手机APP的钉螺智能识别系统，解决现有技术无法对钉螺及其相似螺进行自动分类识别的问题，为一线查螺人员高质量查螺提供重要技术支撑，为广大百姓快速钉螺识别科普服务提供便利。
进一步的，在上述技术方案中，所述线上系统包括运行在手机端的螺类识别微信小程序以及运行在服务器端的在线图像识别引擎，所述建立算法模型通过GPU服务器进行模型训练。
实施例2：用户通过小程序选择螺类图像上传后，图像识别引擎通过线线下系统训练好的钉螺识别模型对图像进行识别，自动识别其细分品类，并对应展示图像，形态特征，分布等百科信息。
进一步的，在上述技术方案中，所述步骤S1数据采集中，多种环境为工作台、器皿、泥土或青苔环境。
进一步的，在上述技术方案中，所述步骤S2数据标注中，螺类包括山丘型钉螺、水网型钉螺、方格短沟蜷、真管螺、细钻螺以及拟钉螺共七种螺类。
进一步的，在上述技术方案中，所述步骤S3模型构建中，通道注意力模块SE为sequeeze and excitation模块，深度在卷积之后会增加。
进一步的，在上述技术方案中，所述步骤S4模型训练中，小学习率等于 0.0001，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像， 25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
实施例4：为减少resnet模型训练所需要的时间，深度即卷积层数大于或等于50的resnet模型单元块采用瓶颈式架构，在大小为3x3的卷积层的前方与后方都增加一个大小为1x1的卷积层，用于减小特征图的大小，从而使得大小为3x3的卷积层有较小的输出与输入尺寸瓶颈，瓶颈结构的网络构建块可以增加时间复杂度和模型尺寸，加速模型训练效率。
实施例5：训练resnet模型时，需要设置的超参数主要包括设置批量训练的大小、学习速率的大小、分类数目与权值衰减率的选择等，批量训练的大小的选择决定了resnet模型下降的方向，当数据集足够大时，应该适当的减小批量训练的大小可大量的减少计算量，如果数据量较小，又存在噪声数据时，批量训练就应该设置为一个较大的值，以减少噪声数据的干扰，当批量训练达到某个值时，resnet模型在训练时间和收敛精度上都是最优的，权值更新的幅度与学习速率的大小密切相关，所以把学习率设置在一个适宜的范围，对resnet模型的梯度下降到最优值是非常有益的，假如学习率被设置的过大， resnet模型的权值就会越过最优值，然后就会在误差较小的一端来回摆动，但是学习率被设置过小时，resnet模型的优化就需要大量时间，甚至导致resnet 模型可能无法收敛，本文的resnet模型初始学习率设置为0.1，但是，随着resnet 模型迭代次数的增加，逐渐调整为万分之一，以便在获得较快的训练速度的同时提高resnet模型的准确率，在resnet模型的训练过程之中，经常出现过拟合现象，resnet模型的权值越大，产生过拟合的风险也越大，为了降低resnet 模型过拟合的风险，在误差函数之中增加一个惩罚项，防止在resnet模型中出现过拟合现象，权值衰减率作为计算L2正则化项的主要参数，权值衰减率主要的作用是调整resnet模型的复杂度对损失函数的影响，L2正则化可获得值很小的参数，用于降低resnet模型过拟合的风险。
实施例6：神经网络用于模式识别的训练过程主要是有指导的学习，而无指导的学习则常被用于聚类分析，使用卷积神经网络对图像进行分类，输入样本空间可以分成样本空间以及非样本空间两类，卷积神经网络的本质可以看作是一种从输入端到输出端的映射，不仅能够学习输入和输出之间的映射关系，对网络模型而言还不需要精确地数学表达，卷积神经网络采用己知的模式进行训练，网络便能产生输入到输出之间的非线性映射能力，卷积神经网络的样本形式通常是由向量对构成，并且这些向量对都应来自网络的实际运行结构，在训练开始前，所有权值采用[0-1]之间的随机值进行赋值，以保证权值不会因为过大而进入饱和状态，甚至导致网络训练失败；
卷积神经网络的训练过程主要分成如下两个阶段：
(1)前向传播阶段：
A、从样本集中选取一个样本(x，yp)，并将x直接输入到网络；
B、计算网络的实际输出Op，在前向传播过程中，样本从网络的输入层开始经过逐层变换后传递到输出层，以完成正常的网络训练，在此过程中，网络则执行如下计算：
Op＝Fn(...(F2(F1(XpW1)W2)...)Wn)
(2)后向传播阶段：
A、求取实际输出Op与对应理想输出yp之间的误差；
B、采用极小化误差函数来反向传播更新权值；
从上述描述可知，卷积神经网络的训练过程包括前向传播和反向传播两个阶段，前向传播过程主要包括卷积特征提取、池化以及误差的计算，反向传播过程主要包括误差反馈以及权值更新；
1、对权值采用随机赋值的方式进行初始化操作；
2、信息再依次传递到卷积层、池化层以及全连接层，其中卷积层和池化层通过一个滤波器能够提取到观测数据最显著的特征，并且还可以通过堆叠多个卷积层和池化层提取更丰富的特征信息；
3、对全连接层中多个隐含层的信息进行变换和计算，并传递到输出层；
4、将实际输出结果与预期输出结果进行比较，如果误差函数满足精度要求，则直接输出结果，如果不满足，则将偏差和权值反向传播回去进行权值更新，直到权值趋于稳定。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种螺类采集与细分类识别系统，其特征在于：所述系统包括线下系统以及线上系统，所述线下系统包括图像标注、螺识别模型开发，所述螺识别模型包括数据采集、数据标注、模型构建以及模型训练调优；
所述数据采集包括摄像机以及图像采集模块，所述数据标注包括labelimg图像标注模块，所述模型构建包括通道注意力模块SE、attention操作模块、gating操作模块、inception以及resnet卷积神经网络模型，所述模型训练包括imagenetik预训练网络模型；
所述螺识别模型包括以下步骤：
S1：数据采集
通过标本拍摄和网络抓取相结合，建立钉螺及相似螺类分类图像数据集，为保证标本拍摄数据的代表性和多样性，针对每个分类选取上百个不同样本，在多种环境下进行拍摄，并通过混合从互联网中抓取并通过专家人工鉴定分类的图像，提高数据集中图像样本的多样性；
S2：数据标注
采用labelimg作为标注工具，对3000-3100个螺类样本进行标注，将标注图像均通过边缘填充调整为正方形，通过大小缩放将图像分辨率统一调整为500x500；
S3：模型构建
A、基于inception和resnet架构的卷积神经网络模型，通过inception模块中1x1、3x3、5x5不同尺度的卷积核，对图像中不同尺度及位置的特征进行提取合并，实现对图像局部和全局特征的理解，卷积操作技术后继续执行最大池化，并所有子层的输出被级联起来，传送至下一个inception模块，形成模块的级联；
B、在inception模块后引入通道注意力模块SE，SE模块先对卷积得到的特征图进行squeeze操作，得到channel级的全局特征，然后对全局特征进行excitation操作，学习各个channel间的关系，也得到不同channel的权重，最后乘以原来的特征图得到最终特征，SE模块是在channel维度上做attention或者gating操作；
C、在SE模块后引入残差连接，将inception与SE模块的卷积运算输出添加到输入上，使残差加运算可行，卷积之后的输入和输出有相同的维度，在初始卷积之后使用1x1卷积来匹配深度，通过残差对传统的inception与SE网络结构进行调整，并将每一层的参数减半，减少训练时间和在分类准确性与时间性能上做出平衡；
D、分类网络将结合全局图像信息和局部特征信息预测最终的精细类别，模型根据全局特征图预测图像类别，并结合第一个抽取的局部特征图重新预测类别，将前一次的softmax结果与后一次的softmax结果求平均，判断加入第一个注意力区域后是否提升预测效果，确定该区域是否重要，这样继续添加新的局部注意力区域可以搜索所有重要的局部区域，最终将所有重要的局部区域特征图和全局特征图进行联合，重新进行类别预测；
S4：模型训练
采用迁移学习技术，分为两个阶段的进行模型训练：
E、第一阶段，将imagenetik预训练网络模型的权重加载，作为特征提取网络参数，只训练最后的分类网络，冻结其他层参数；
F、第二阶段，冻结的网络提取图像通用特征的层，采用小学习率重新训练网络中用于图像高层特征提取的结构，促使网络模型提取到钉螺及相似螺类的图像特征，对钉螺图像产生更好的分类效果，为提高识别模型的泛化性减少过拟合，在图像进入网络进行前对进行随机的数据增强操作。
2.根据权利要求1所述的一种螺类采集与细分类识别系统，其特征在于：所述线上系统包括运行在手机端的螺类识别微信小程序以及运行在服务器端的在线图像识别引擎，算法模型通过GPU服务器进行模型训练。
3.根据权利要求1所述的一种螺类采集与细分类识别系统，其特征在于：步骤S1数据采集中，多种环境为工作台、器皿、泥土或青苔环境。
4.根据权利要求1所述的一种螺类采集与细分类识别系统，其特征在于：步骤S2数据标注中，螺类包括山丘型钉螺、水网型钉螺、方格短沟蜷、真管螺、细钻螺以及拟钉螺共七种螺类。
5.根据权利要求1所述的一种螺类采集与细分类识别系统，其特征在于：步骤S3模型构建中，通道注意力模块SE为sequeeze模块与excitation模块，深度在卷积之后会增加。
6.根据权利要求1所述的一种螺类采集与细分类识别系统，其特征在于：步骤S4模型训练中，小学习率等于0.0001，数据增强操作为50％的概率进行垂直翻转，50％的概率进行水平镜像，25％的概率进行随机裁剪，50％的概率进行随机亮度调节，50％的概率进行随机对比度调节，50％的概率进行随机旋转、50％的概率进行随机放大、50％的概率进行随机变形以及50％的概率进行随机遮挡。
CN202110953707.4A 2021-08-19 2021-08-19 一种螺类采集与细分类识别系统 Active CN113657290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110953707.4A CN113657290B (zh) 2021-08-19 2021-08-19 一种螺类采集与细分类识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110953707.4A CN113657290B (zh) 2021-08-19 2021-08-19 一种螺类采集与细分类识别系统

Publications (2)

Publication Number Publication Date
CN113657290A CN113657290A (zh) 2021-11-16
CN113657290B true CN113657290B (zh) 2022-06-28

Family

ID=78481286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110953707.4A Active CN113657290B (zh) 2021-08-19 2021-08-19 一种螺类采集与细分类识别系统

Country Status (1)

Country Link
CN (1) CN113657290B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565006B (zh) * 2022-06-28 2023-08-11 哈尔滨学院 一种智能图像处理方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886170A (zh) * 2019-02-01 2019-06-14 长江水利委员会长江科学院 一种钉螺智能检测识别与统计系统
CN112396012A (zh) * 2020-11-25 2021-02-23 江苏新安电器股份有限公司 一种基于MobileNetV3网络模型的红外人体行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367188B2 (en) * 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886170A (zh) * 2019-02-01 2019-06-14 长江水利委员会长江科学院 一种钉螺智能检测识别与统计系统
CN112396012A (zh) * 2020-11-25 2021-02-23 江苏新安电器股份有限公司 一种基于MobileNetV3网络模型的红外人体行为识别方法

Also Published As

Publication number Publication date
CN113657290A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN112766199B (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN105528638B (zh) 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN109508655A (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN109919108A (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
Gong et al. Object detection based on improved YOLOv3-tiny
CN110705508A (zh) 一种isar图像的卫星识别方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN114972208B (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN112633257A (zh) 基于改良卷积神经网络的马铃薯病害识别方法
Ge et al. Adaptive hash attention and lower triangular network for hyperspectral image classification
CN113657290B (zh) 一种螺类采集与细分类识别系统
Xiao et al. Leaf disease detection based on lightweight deep residual network and attention mechanism
CN114037891A (zh) 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置
Gurumoorthy et al. Computer aided breast cancer detection and classification using optimal deep learning
Hao et al. Rare animal image recognition based on convolutional neural networks
CN114092844A (zh) 一种基于生成对抗网络的多波段图像目标检测方法
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法
Wan et al. RSSM-Net: Remote sensing image scene classification based on multi-objective neural architecture search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant