CN114511636A - 一种基于双滤注意力模块的果实计数方法及系统 - Google Patents

一种基于双滤注意力模块的果实计数方法及系统 Download PDF

Info

Publication number
CN114511636A
CN114511636A CN202210412880.8A CN202210412880A CN114511636A CN 114511636 A CN114511636 A CN 114511636A CN 202210412880 A CN202210412880 A CN 202210412880A CN 114511636 A CN114511636 A CN 114511636A
Authority
CN
China
Prior art keywords
fruit
double
feature map
attention module
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210412880.8A
Other languages
English (en)
Other versions
CN114511636B (zh
Inventor
张波
张超
万亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
University of Science and Technology Beijing USTB
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical University of Science and Technology Beijing USTB
Priority to CN202210412880.8A priority Critical patent/CN114511636B/zh
Publication of CN114511636A publication Critical patent/CN114511636A/zh
Application granted granted Critical
Publication of CN114511636B publication Critical patent/CN114511636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双滤注意力模块的果实计数方法及系统。该方法包括：获取待计数果园内的果实图像；根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。本发明能够避免对小尺寸和被遮挡果实的漏检，提高果实计数的准确性。

Description

一种基于双滤注意力模块的果实计数方法及系统
技术领域
本发明涉及智慧农业技术领域，特别是涉及一种基于双滤注意力模块的果实计数方法及系统。
背景技术
现阶段，国内外的果实产量预测主要依靠人工进行选定树木的果实数量统计，再推广到整个果园。由于果园的自然变异性，不仅难以实现准确的产量预估，还会消耗大量的人力和时间，造成较高的生产成本。因此，自动化的果实数量统计成为了智慧农业的主要发展方向之一，其能够辅助生产者获取全面准确的果树生长状况，进行精准化的农业生产管理。
近年来，基于卷积神经网络的目标检测技术在多个领域取得了良好的实用效果，并被逐渐应用于果实计数任务中。然而，真实应用场景中的果实计数属于小目标检测任务，且存在严重遮挡现象，使得现有算法所能提取到的有效信息较少，且容易因为逐层下采样操作发生目标信息丢失，从而导致较高的漏检率。
针对该问题，亟需提出一种新的自动化果实计数方法或系统，从而避免对小尺寸和被遮挡果实的漏检，实现准确的果实计数。
发明内容
本发明的目的是提供一种基于双滤注意力模块的果实计数方法及系统，能够避免对小尺寸和被遮挡果实的漏检，提高果实计数的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于双滤注意力模块的果实计数方法，包括：
获取待计数果园内的果实图像；
根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
可选地，所述根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果，之前还包括：
构建基于双滤注意力模块的果实计数网络；
建立果实计数数据集；所述果实计数数据集包括：果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
将所述果实计数数据集分为训练集和测试集；
利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
可选地，所述双滤注意力模块包括：空间注意力分支和通道注意力分支。
可选地，所述空间注意力分支包括：反卷积层、Leaky Relu激活函数、卷积层以及Leaky Relu激活函数。
可选地，所述通道注意力分支包括：全局平均池化层、Leaky Relu激活函数、卷积层以及Leaky Relu激活函数。
一种基于双滤注意力模块的果实计数系统，包括：
果实图像获取模块，用于获取待计数果园内的果实图像；
果实计数结果确定模块，用于根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
可选地，还包括：
果实计数网络构建模块，用于构建基于双滤注意力模块的果实计数网络；
果实计数数据集建立模块，用于建立果实计数数据集；所述果实计数数据集包括：果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
果实计数数据集划分模块，用于将所述果实计数数据集分为训练集和测试集；
果实计数网络训练模块，用于利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于双滤注意力模块的果实计数方法及系统，基于双滤注意力模块的果实计数方法能够实现果实数量的自动化统计，相比人工进行果实产量统计的高昂成本和低效性。基于训练好的基于双滤注意力模块的果实计数网络中的双滤注意力模块通过在空间和通道维度增加果实目标的权重，使网络更加关注果实所在区域的特征信息，降低小目标和被遮挡目标的漏检概率；而且双滤注意力模块能够保证特征图的空间分辨率稳定不变，从而避免常规神经网络由于逐层下采样操作所导致的目标信息丢失问题。即避免对小果实和被遮挡果实的漏检，从而辅助生产者获取全面准确的果树生长状况，实现精准化的农业生产管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于双滤注意力模块的果实计数方法流程示意图；
图2为基于双滤注意力模块的果实计数网络结构示意图；
图3为双滤注意力模块的结构示意图；
图4为本发明所提供的一种基于双滤注意力模块的果实计数系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双滤注意力模块的果实计数方法及系统，能够避免对小尺寸和被遮挡果实的漏检，提高果实计数的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于双滤注意力模块的果实计数方法流程示意图，如图1所示，本发明所提供的一种基于双滤注意力模块的果实计数方法，包括：
S101，获取待计数果园内的果实图像；即采用搭载工业相机的无人机在待计数果园内进行果实图像采集；
S102，根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
S102，之前还包括：
构建基于双滤注意力模块的果实计数网络；
建立果实计数数据集；所述果实计数数据集包括：在不同天气和光照状况下，采用搭载工业相机的无人机设备采集果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
将所述果实计数数据集分为训练集和测试集；
利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
所述双滤注意力模块包括：空间注意力分支和通道注意力分支。
所述空间注意力分支包括：反卷积层、Leaky Relu激活函数、卷积层以及LeakyRelu激活函数。
所述通道注意力分支包括：全局平均池化层、Leaky Relu激活函数、卷积层以及Leaky Relu激活函数。
作为一个具体的实施例，并如图2所示，以输入一张待检测的果实图像1024*1024*3为例，展示基于双滤注意力模块的果实计数网络的处理过程：
（1）首先，采用ResNet50作为提取图像特征的骨干网络，ResNet50由五个卷积模块构成。将果实图像输入ResNet50网络，得到各卷积模块的输出特征图，将各卷积模块的输出特征图依次命名为C1、C2、C3、C4、C5，则其尺寸分别为：512*512*64、256*256*256、128*128*512、64*64*1024和32*32*2048。
（2）由于图像中的果实属于小尺寸目标，且存在一定的遮挡现象，导致骨干网络所能提取到的果实特征信息非常有限。为了使网络更加关注特征图中占比较小的果实区域，从而提升对果实目标的检测准确率，如图3所示，以特征图C3（128*128*512）为例，展示双滤注意力模块的处理过程：
在空间注意力分支中，首先对C3进行一次卷积核为1、步长为2的反卷积操作，得到尺寸为256*256*512的特征图，这一步通过对特征图进行上采样，实现特征图在空间维度的扩充，并进一步丰富其在空间维度的特征表达；接下来，将所得特征图输入激活函数LeakyRelu中，增强空间注意力分支的非线性表达能力；再将Leaky Relu函数的输出特征图输入一个卷积核尺寸为1*1、卷积核个数为1的卷积层中，得到尺寸为256*256*1的特征图，这一步通过压缩通道维度获得每个空间区域在特征图中的权值；最后经过一层Leaky Relu函数，输出C3对应的双滤注意力空间特征图DF_S3（256*256*1），在DF_S3中每个位置对应的权值大小表示其所属区域在果实计数任务中的重要性程度。
在通道注意力分支中，首先对C3进行一次全局平均池化操作，得到尺寸为1*1*512的特征向量，这一步通过对特征图进行空间信息聚合，得到当前特征图C3的全局压缩特征量；接下来，将所得特征向量输入激活函数Leaky Relu中，增强通道注意力分支的非线性表达能力；再将Leaky Relu函数的输出特征向量输入一个维度为512，卷积核个数为256的1维卷积层中，得到尺寸为1*1*256的特征向量，这一步在调整通道维度以便进行后期融合的同时，获得每个通道在特征图中的对应权值；最后经过一层Leaky Relu函数，输出C3对应的双滤注意力通道特征向量DF_C3（1*1*256），在DF_C3中每个通道对应的权值大小表示该通道所包含的信息在果实计数任务中的重要性程度。
最后，进行特征加权操作。如图2所示，将尺寸为256*256*256的特征图C2与DF_S3（256*256*1）相乘，获得与C2相同尺寸的特征图，再将该特征图与DF_C3（1*1*256）相乘，获得与C2相同尺寸的双滤注意力特征图DF3。
以上即为C3对应的双滤注意力模块。该模块所输出的双滤注意力特征图DF3（256*256*256），不仅在空间及通道维度上同时获得了高层特征图C3所提取到的关键特征信息，还保持了与C2相同的维度值。在常规神经网络中，逐层的下采样操作会使特征图尺寸不断下降，导致小目标信息丢失，从而发生漏检现象，而双滤注意力模块则在滤除冗余特征信息、提取关键注意力信息的同时，保证特征图的空间分辨率稳定不变，从而有效避免了小目标信息的丢失。
（3）接下来，基于特征图C4构建第二个双滤注意力模块，其与第一个双滤注意力模块结构相同，不同点在于：第二个双滤注意力模块在空间注意力分支中采用核为3、步长为4的反卷积层，在通道注意力分支中采用维度为1024，卷积核个数为256的1维卷积层。此处，对反卷积层和1维卷积层进行参数调整是为了使各分支的输出特征维度与DF3维度保证一致，以便进行后续特征加权操作。
在第二个双滤注意力模块中，DF_S4与DF_C4依次与DF3进行加权操作，得到双滤注意力特征图DF4，尺寸为256*256*256。
同理，基于特征图C5构建第三个双滤注意力模块，DF_S5与DF_C5依次与DF4进行加权操作，得到双滤注意力特征图DF5，尺寸为256*256*256。在第三个双滤注意力模块中，空间注意力分支采用核为7、步长为8的反卷积层，通道注意力分支采用维度为2048，卷积核个数为256的1维卷积层。
（4）最后，将双滤注意力特征图DF5输入Faster RCNN网络中的区域建议网络(Region Proposal Network，RPN)、ROI Pooling层和检测头中，从而获得被检测出的果实信息，统计获得图像中所包含的果实数量并输出。
本发明相比人工进行果实产量统计的高昂成本和低效性，基于双滤注意力模块的果实计数方法能够实现果实数量的自动化统计，且避免对小果实和被遮挡果实的漏检，从而辅助生产者获取全面准确的果树生长状况，实现精准化的农业生产管理。
本发明针对果实计数任务存在的果实漏检率高这一问题，提出了双滤注意力模块。双滤注意力模块通过在空间和通道维度增加果实目标的权重，使网络更加关注果实所在区域的特征信息，降低小目标和被遮挡目标的漏检概率；而且双滤注意力模块能够保证特征图的空间分辨率稳定不变，从而避免常规神经网络由于逐层下采样操作所导致的目标信息丢失问题。
图4为本发明所提供的一种基于双滤注意力模块的果实计数系统结构示意图，如图4所示，本发明所提供的一种基于双滤注意力模块的果实计数系统，包括：
果实图像获取模块401，用于获取待计数果园内的果实图像；
果实计数结果确定模块402，用于根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
本发明所提供的一种基于双滤注意力模块的果实计数系统，还包括：
果实计数网络构建模块，用于构建基于双滤注意力模块的果实计数网络；
果实计数数据集建立模块，用于建立果实计数数据集；所述果实计数数据集包括：果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
果实计数数据集划分模块，用于将所述果实计数数据集分为训练集和测试集；
果实计数网络训练模块，用于利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于双滤注意力模块的果实计数方法，其特征在于，包括：
获取待计数果园内的果实图像；
根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
2.根据权利要求1所述的一种基于双滤注意力模块的果实计数方法，其特征在于，所述根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果，之前还包括：
构建基于双滤注意力模块的果实计数网络；
建立果实计数数据集；所述果实计数数据集包括：果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
将所述果实计数数据集分为训练集和测试集；
利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
3.根据权利要求1所述的一种基于双滤注意力模块的果实计数方法，其特征在于，所述双滤注意力模块包括：空间注意力分支和通道注意力分支。
4.根据权利要求3所述的一种基于双滤注意力模块的果实计数方法，其特征在于，所述空间注意力分支包括：反卷积层、Leaky Relu激活函数、卷积层以及Leaky Relu激活函数。
5.根据权利要求3所述的一种基于双滤注意力模块的果实计数方法，其特征在于，所述通道注意力分支包括：全局平均池化层、Leaky Relu激活函数、卷积层以及Leaky Relu激活函数。
6.一种基于双滤注意力模块的果实计数系统，其特征在于，包括：
果实图像获取模块，用于获取待计数果园内的果实图像；
果实计数结果确定模块，用于根据所述果实图像，利用训练好的基于双滤注意力模块的果实计数网络，确定待计数果园内的果实计数结果；所述训练好的基于双滤注意力模块的果实计数网络以果实图像为输入，以果实计数结果为输出。
7.根据权利要求6所述的一种基于双滤注意力模块的果实计数系统，其特征在于，还包括：
果实计数网络构建模块，用于构建基于双滤注意力模块的果实计数网络；
果实计数数据集建立模块，用于建立果实计数数据集；所述果实计数数据集包括：果园内的果实图像以及对应的标注文件；所述标注文件为在每张图像中标注出各个果实的所在位置；
果实计数数据集划分模块，用于将所述果实计数数据集分为训练集和测试集；
果实计数网络训练模块，用于利用训练集训练所述基于双滤注意力模块的果实计数网络；
所述基于双滤注意力模块的果实计数网络的构建过程包括：
采用ResNet50网络作为所述基于双滤注意力模块的果实计数网络的骨干网络；所述ResNet50包括：五个卷积模块；所述果实图像输入所述ResNet50网络，得到第一特征图、第二特征图、第三特征图、第四特征图以及第五特征图；
在所述第三特征图、所述第四特征图以及所述第五特征图对应的卷积模块后，分别设置双滤注意力模块；
所述第三特征图对应的双滤注意力模块的输入端与所述第二特征图对应的卷积模块连接；所述第三特征图对应的双滤注意力模块的输出端与所述第四特征图对应的双滤注意力模块的输入端连接，所述第四特征图对应的双滤注意力模块的输出端与所述第五特征图对应的双滤注意力模块的输入端连接；所述第五特征图对应的双滤注意力模块的输出端依次与Faster RCNN网络中的区域建议网络RPN、ROI Pooling层和检测头连接。
CN202210412880.8A 2022-04-20 2022-04-20 一种基于双滤注意力模块的果实计数方法及系统 Active CN114511636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210412880.8A CN114511636B (zh) 2022-04-20 2022-04-20 一种基于双滤注意力模块的果实计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210412880.8A CN114511636B (zh) 2022-04-20 2022-04-20 一种基于双滤注意力模块的果实计数方法及系统

Publications (2)

Publication Number Publication Date
CN114511636A true CN114511636A (zh) 2022-05-17
CN114511636B CN114511636B (zh) 2022-07-12

Family

ID=81555086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210412880.8A Active CN114511636B (zh) 2022-04-20 2022-04-20 一种基于双滤注意力模块的果实计数方法及系统

Country Status (1)

Country Link
CN (1) CN114511636B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648479A (zh) * 2022-05-23 2022-06-21 科大天工智能装备技术（天津）有限公司 一种夜间使用的红外与相机信息分层融合方法和系统
CN115761510A (zh) * 2022-12-08 2023-03-07 中化现代农业有限公司 一种果实计数方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN110610143A (zh) * 2019-08-27 2019-12-24 汇纳科技股份有限公司 多任务联合训练的人群计数网络方法、系统、介质及终端
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111523449A (zh) * 2020-04-22 2020-08-11 山东师范大学 基于金字塔注意力网络的人群计数方法及系统
CN111882551A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 病理图像细胞计数方法、系统及装置
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN112330696A (zh) * 2020-12-02 2021-02-05 青岛大学 人脸分割方法、装置及计算机可读存储介质
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法
CN112767416A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于空间和通道双重注意力机制的眼底血管分割方法
CN112784685A (zh) * 2020-12-28 2021-05-11 山东师范大学 基于多尺度引导注意力机制网络的人群计数方法及系统
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN113283356A (zh) * 2021-05-31 2021-08-20 上海应用技术大学 多级注意力尺度感知人群计数方法
CN113688690A (zh) * 2021-07-28 2021-11-23 农芯科技（北京）有限责任公司 一种大尺度水果计数方法及系统
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法
CN114067186A (zh) * 2021-09-26 2022-02-18 北京建筑大学 一种行人检测方法、装置、电子设备及存储介质
CN114283147A (zh) * 2021-12-02 2022-04-05 重庆邮电大学 一种基于深度学习的粘连和堆叠颗粒图像分割方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN110610143A (zh) * 2019-08-27 2019-12-24 汇纳科技股份有限公司 多任务联合训练的人群计数网络方法、系统、介质及终端
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111523449A (zh) * 2020-04-22 2020-08-11 山东师范大学 基于金字塔注意力网络的人群计数方法及系统
CN111882551A (zh) * 2020-07-31 2020-11-03 北京小白世纪网络科技有限公司 病理图像细胞计数方法、系统及装置
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN112330696A (zh) * 2020-12-02 2021-02-05 青岛大学 人脸分割方法、装置及计算机可读存储介质
CN112784685A (zh) * 2020-12-28 2021-05-11 山东师范大学 基于多尺度引导注意力机制网络的人群计数方法及系统
CN112733691A (zh) * 2021-01-04 2021-04-30 北京工业大学 一种基于注意力机制的多方向的无人机航拍的车辆检测方法
CN112767416A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于空间和通道双重注意力机制的眼底血管分割方法
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN113283356A (zh) * 2021-05-31 2021-08-20 上海应用技术大学 多级注意力尺度感知人群计数方法
CN113688690A (zh) * 2021-07-28 2021-11-23 农芯科技（北京）有限责任公司 一种大尺度水果计数方法及系统
CN114067186A (zh) * 2021-09-26 2022-02-18 北京建筑大学 一种行人检测方法、装置、电子设备及存储介质
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法
CN114283147A (zh) * 2021-12-02 2022-04-05 重庆邮电大学 一种基于深度学习的粘连和堆叠颗粒图像分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648479A (zh) * 2022-05-23 2022-06-21 科大天工智能装备技术（天津）有限公司 一种夜间使用的红外与相机信息分层融合方法和系统
CN115761510A (zh) * 2022-12-08 2023-03-07 中化现代农业有限公司 一种果实计数方法

Also Published As

Publication number Publication date
CN114511636B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114511636B (zh) 一种基于双滤注意力模块的果实计数方法及系统
CN112070690B (zh) 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
CN114943963A (zh) 一种基于双分支融合网络的遥感图像云和云影分割方法
CN112580443B (zh) 基于嵌入式设备改进CenterNet的行人检测方法
CN116229283A (zh) 基于深度可分离卷积模块的遥感图像变化检测系统及方法
CN113887517A (zh) 基于并行注意力机制的农作物遥感图像语义分割方法
CN115984698A (zh) 一种基于改进YOLOv5的荔枝果实生长期识别方法
CN116071243A (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN114092794A (zh) 一种海冰图像分类方法、系统、介质、设备及处理终端
CN112001386A (zh) 一种基于车牌字符识别方法、系统、介质及终端
CN115239564A (zh) 一种结合语义信息的矿井图像超分辨率重建方法
CN111105354A (zh) 基于多源深度残差网络的深度图像超分辨率方法及装置
CN116095291B (zh) 一种用于媒体流图像传输的图像预处理方法
Jin et al. Learning multiple attention transformer super-resolution method for grape disease recognition
CN117173556A (zh) 一种基于孪生神经网络的小样本sar目标识别方法
Wen et al. Application of improved YOLOv7-based sugarcane stem node recognition algorithm in complex environments
CN115147835A (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN114998101A (zh) 一种基于深度学习的卫星影像超分辨率方法
CN115187463A (zh) 一种滑坡遥感影像集超分辨率重建方法和系统
CN114299128A (zh) 多视角定位检测方法及装置
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant