CN113887425B - 一种面向低算力运算装置的轻量化物体检测方法与系统 - Google Patents

一种面向低算力运算装置的轻量化物体检测方法与系统 Download PDF

Info

Publication number
CN113887425B
CN113887425B CN202111163858.6A CN202111163858A CN113887425B CN 113887425 B CN113887425 B CN 113887425B CN 202111163858 A CN202111163858 A CN 202111163858A CN 113887425 B CN113887425 B CN 113887425B
Authority
CN
China
Prior art keywords
image
feature
module
downsampling
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111163858.6A
Other languages
English (en)
Other versions
CN113887425A (zh
Inventor
张文利
刘钰昕
赵庭松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111163858.6A priority Critical patent/CN113887425B/zh
Publication of CN113887425A publication Critical patent/CN113887425A/zh
Application granted granted Critical
Publication of CN113887425B publication Critical patent/CN113887425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向低算力运算装置的轻量化物体检测方法和系统，方法包括：利用低算力运算装置中的相机采集真实场景下待检测物体的图像；低算力运算装置读取图像；对读取图像进行预处理获得训练集；将训练集输入到轻量化主干网络中进行训练并基于下采样机制提取特征，其中下采样机制为根据下采样倍数的不同采用不同的下采样策略进行运算；特征提取采用轻量化的特征提取方法；将提取的特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合；输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果；将物体的检测结果通过低算力运算装置实时显示。

Description

一种面向低算力运算装置的轻量化物体检测方法与系统
技术领域
本发明涉及计算机视觉和图像处理领域，具体涉及一种面向低算力运算装置的轻量化物体检测方法、系统、电子设备及存储介质。
背景技术
近年来，计算机技术在各个领域中的需求都日益增加。轻量化目标检测作为一项效率高成本低的技术，在人工智能发展中有着很广泛的应用前景，比如智慧农业、智慧建筑等领域。近年来随着计算机视觉领域的飞速发展以及人工智能概念的普及，如何降低深度学习目标检测算法的计算量，同时又保证检测精度足够高成为了人工智能项目真正投入生产实践的关键。
目前，在实际场景下使用深度学习的目标检测方法有很多，例如Koirala等人基于YOLOv3网络提出了一种针对芒果的检测算法MangoYOLO，对每棵果树的前后双视图进行芒果检测，最终在HPC高性能计算机群中每张图的检测速度可以达到70ms，14.3FPS。Wan等人提出了一种改进的faster R-CNN网络，用于多类别的果实检测。在GTX 1060显卡上每张图的检测速度能达到58ms，17.2FPS。Longsheng等人建立了一个苹果检测算法，采用两种快速的神经网络结构ZFNet和VGG16来检测原始RGB和前景RGB图像，并通过这种方法提高了苹果检测精度，在NVidia TITAN XP显卡中每幅图片的平均检测时间为0.181秒，5.5FPS。上述算法计算量很大且网络模型十分复杂，在大型GPU中都很难达到实时检测的目的。
此外，一篇名称为一种采用改进的YOLO-V4模型对樱桃果实进行检测的方法专利文献(申请号：202011465294.7)提供了一种改进的YOLO-V4目标检测算法，有助于帮助智慧农业的建设。该方法将标签文件由矩形改为更适合樱桃生长形态的圆形，然后送入主干网络中。该主干网络由DenseNet网络结构构成，其中包括DenseBlock和Transition层两个组成部分；DenseBlock为结构中特有模块，同一个DenseBlock中，特征层的宽、高不会发生改变，但是通道数会随着改变，主要用于通过卷积的方式提取图像中目标的特征；所述Transition层是将不同DenseBlock之间进行连接的模块，结合当前DenseBlock获得的特征，缩小上一个DenseBlock的宽高；该方法将YOLO-V4模型主干网络替换为DenseNet模型，提高层间的稠密性，实现高精度检测。但是该专利是基于计算量非常大的YOLO-V4模型进行的改进，并且将主干网络改为计算量更为庞大的DenseNet，运算速度极低。此外，该专利将简单的矩形框检测替换为更为复杂的多边形进行训练，会导致参数量和计算量会进一步增加，运算速度也进一步降低。以上两点会导致其无法真正投入到实际的生产应用中达到实时检测的目的；上述专利提供的检测方法仅限用于大型的GPU进行目标检测，而由于该检测算法模型过于复杂，很难部署在算力较差的低算力运算装置上面进行大范围移动式的目标检测。
总之，现有算法存在如下技术缺陷：
1、通常用于部署在大型的GPU中，将其应用在人工智能系统中将会导致系统便捷性大大降低；
2、现有算法网络模型过于复杂，计算量过于庞大导致检测速度十分缓慢；如果将其部署在移动端的低算力运算装置中或者CPU进行处理将会导致速度进一步下降，无法达到实时检测的效果，甚至无法实现检测目的；
3、现在常用的轻量化网络牺牲了特征提取能力，导致检测精度很低，在检测密集的小目标时效果并不理想。
4、由于现实中要检测的目标过小且堆叠密集，不同场景差别显著且十分复杂，为了有效提高检测精度，很多学者将深度学习的方法进行目标检测。尽管深度学习算法能够在一定程度上避免外部环境对于检测性能的影响，在一定程度上提高检测精度，但卷积网络强大的特征提取和泛化能力是以大参数量以及计算量为代价的。
总之，在目标检测进行实际应用时，由于实际应用中所使用的运算设备算力普遍较低，如果选用网络模型复杂的算法进行检测会导致检测速度过慢，极大地影响实际应用时的生产效率，而市面上常见的轻量化网络模型普遍特征提取能力较差，此外快速和高精度的要求对于人工智能的工作效率问题充满挑战，选用合适的轻量化检测算法将成为人工智能应用到实际生产中的关键问题。随着人们对于检测性能和泛化能力的要求越来越高，如何在检测精度尽可能高的同时达到对于小目标实时检测的效果成为了一个关键问题。因此，目前迫切需要一种高效精准实时检测轻量化密集小目标的检测算法，并将其部署在人工智能的低算力运算装置中，满足多场景下在移动端或固定端进行目标实时精准检测的需求，是人工智能建设在实际应用中能够真正落地，投入产业化应用的关键所在。此外，还需要结合实现一种轻量化的密集小目标检测算法，用于移动端或者固定端计算设备的部署，以完成实时检测的目标，这对于现代化人工智能项目真正投入生产实践具有重要意义。
发明内容
为了解决现有技术中存在的问题，本发明提供了如下一种面向低算力运算装置的轻量化物体检测方法与系统，方法中使用高效精准检测目标的算法，用于轻量化的密集小目标检测，并将其部署在人工智能的低算力移动端计算装置、CPU计算设备或者性能较低的GPU计算设备等中，满足多场景下进行实时精准的目标检测的需求。
本发明一方面提供了一种面向低算力运算装置的轻量化物体检测方法，包括：
S10，利用低算力运算装置中的相机采集真实场景下待检测物体的图像；
S20，所述低算力运算装置读取所述图像；
S30，对读取的所述图像进行预处理获得训练集；
S40，将所述训练集输入到轻量化主干网络中进行训练并基于下采样机制提取特征，其中所述下采样机制为根据下采样倍数的不同采用不同的下采样策略进行运算；所述特征提取采用轻量化的特征提取方法，在保证参数量和计算量很小的同时尽可能地保留梯度信息以便更有效地提取所述物体的特征；
S50，将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合；
S60，输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果；
S70，将所述物体的检测结果通过低算力运算装置实时显示。
优选的，所述利用低算力运算装置中的相机采集真实场景下待检测物体的图像包括：将采集的所述待检测物体的图像保存并制作成数据集，按照所述物体的最大外接矩形框的形状进行标注。
优选的，所述对读取的所述图像进行预处理获得训练集包括：
从所述数据集中读取训练所需的第一数据集Data＝[(I1，i1)，(I2，i2)，……，(In，in)]；
使用数据增强方法将所述第一数据集中的部分或所有所述物体的图像按批次进行缩放、镜像和旋转，从而对于每一张所述物体的图像形成缩放图像、镜像图像和旋转图像，并将所述物体的图像、缩放图像、镜像图像和旋转图像四幅图像合并为一张图像，提高样本复杂度；
重复上述过程获得全部的训练集，所述全部的训练集为经过各种预处理的图像。
优选的，所述将所述训练集输入到轻量化主干网络中进行训练并提取特征包括：
在网络中交替进行基于特征图尺度变化的下采样运算以及嵌套式跨阶段轻量化卷积运算，通过所述基于特征图尺度变化的下采样运算获得所述物体的不同尺度的图像，所述基于特征图尺度变化的下采样运算包括设定特殊步长的卷积下采样运算、最大池化运算、平均池化运算，所述基于特征图尺度变化的下采样运算根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；通过所述嵌套式跨阶段轻量化卷积运算提取所述不同尺度下所述物体的有效特征。下采样后经过轻量化卷积运算，之后再次进行下采样，如此往复，保证检测精度的同时使得网络参数量和计算量尽可能得小。
优选的，所述S40包括：
S410：进行基于特征图尺度变化的下采样运算，将经过所述预处理得到的训练集进行一次下采样获得下采样图像，所述下采样图像作为所述嵌套式跨阶段轻量化卷积运算的输入；
S420：进行嵌套式阶段轻量化卷积运算，包括：读取各种不同尺度的图像xk-1，并将其按照特征图维度平均分为m个第一通道M1，M2，M3…Mm分别进行处理，将一个或多个所述第一通道利用嵌套的方式进行一次卷积运算后再次按照特征图维度平均分为n个第二通道N1，N2，N3…Nn；将一个或多个所述第二通道进行几次卷积运算后通过过渡层进行维度整合，再与其他所述第二通道进行合并之后，再次通过过渡层进行维度整合，最后与所述第一通道合并获得合并后的特征图，并将所述合并后的特征图作为下一次实施所述基于特征图尺度变化的下采样的输入，如果此时所述合并后的特征图的下采样倍数大于或等于下采样倍数阈值，则将该步骤中提取到的不同尺度下的特征信息进行特征融合，所述下采样倍数阈值为2的N次方，其中N的取值由图像分辨率与下采样倍数的关系得出。
优选的，所述S410包括：
S4110：读取当前输入的所述图像的下采样倍数；
S4120：判断此时所述图像的下采样倍数是否小于等于预定倍数n，若是则进行S4130；若否则进行S4140；
S4130：对下采样倍数较低的输入图像使用基于跨尺度融合功能的下采样运算进行下采样；
S4140：对下采样倍数较高的输入图像使用基于最大池化运算的下采样运算进行下采样；
S4150：每进行一次S4130或S4140的下采样操作，都将结果xk-1输出到S420中进行特征提取。
优选的，所述将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合包括：读取卷积运算后提取的所有不同尺度下的特征信息，并按照三个检测尺度的不同分为三组，其中下采样倍数为最低的特征图分为一组G1；下采样倍数为介于最低和最高之间的特征图分为一组G2；下采样倍数为最高的特征图分为一组G3，每一组平均下采样倍数较低的特征图为大尺度特征图，平均下采样倍数较高的特征图为小尺度特征图，剩余一个特征图为等尺度特征图；将所述大尺度特征图进行下采样，将所述小尺度特征图进行上采样，使其形成两个相同尺寸的特征图，然后进行特征融合，输入到通道注意力机制中增强通道间的特征表达，然后与另一条支路中从通道注意力机制中输出的等尺度特征图一起输入到空间注意力机制中，最后将三组不同尺度的特征融合结果作为S60的输入。
优选的，所述输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果包括：将所述三个不同检测尺度的深浅层检测分支框出所述物体的所在区域，然后消除冗余的检测框，获得物体的位置和尺寸信息作为检测结果。
优选的，所述将所述物体的检测结果通过低算力运算装置实时显示包括：从所述S60中读取并保存图像以及图像中每一个物体的位置和坐标，在所述低算力运算装置的屏幕中进行实时显示。
本发明的第二方面，本实施例还提供一种面向低算力运算装置的轻量化物体检测系统，包括：图像采集装置模块、图像读取模块、图像预处理模块、轻量化主干网络模块、特征融合网络模块、检测分支模块以及检测结果显示模块。
优选的，所述图像采集装置模块由低算力运算装置上连接的一个或以上的可见光摄像装置构成，分别采集不同场景中不同视野范围内的图像，采集后将图像保存在低算力运算装置中以进行数据集标注；在数据集标注时将图像导出，按照目标的最大外接矩形框的形状进行标注；最后输出到所述图像读取模块中进行训练；
优选的，所述图像读取模块用于将所述图像采集装置模块中采集得到并保存在低算力运算装置中的图像进行读取，将读取后的图像输出到所述图像预处理模块中；
优选的，所述图像预处理模块用于进行所述图像的预处理获得预处理图像，所述预处理图像输出到所述轻量化主干网络模块中进行特征提取；
优选的，所述轻量化主干网络模块由基于特征图尺度变化的下采样子模块以及轻量化卷积结构提取图像特征子模块构成，用于从所述图像预处理模块中获取经过预处理得到的可见光图像；将经过预处理得到的可见光图像输入到所述轻量化主干网络模型中，其中所述基于特征图尺度变化的下采样子模块包含多种下采样运算，根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；将每次从所述基于特征图尺度变化的下采样子模块输出的图像输入到所述轻量化卷积结构提取图像特征子模块中进行所述物体的特征信息的提取；将不同尺度下的所述特征信息输出到所述特征融合网络模块；
优选的，所述特征融合网络模块包括多尺度特征图读取模块、通道注意力子模块以及空间注意力融合子模块；所述多尺度特征图读取模块用于从轻量化主干网络模块读取所述轻量化卷积结构提取图像特征子模块的卷积运算后提取的不同尺度下的特征信息并将其输入到空间注意力融合子模块中进行特征融合；所述通道注意力子模块用于提高多通道特征图的不同维度之间的关联性并进行尺度归一化以及将尺度归一化后的特征输出到所述空间注意力融合子模块中；所述空间注意力融合子模块使用空间注意力机制增强堆叠密集的小目标特征的表达以提高不同尺寸的目标检测能力；最后输出到所述检测分支模块；
优选的，所述检测分支模块包括多分支检测框生成模块以及冗余框去除模块，用于从所述特征融合网络模块读取多分支特征信息后，通过所述多分支检测框生成模块生成多分支检测框，输出多个不同尺度的检测分支分别进行预测生成预测框；所述冗余框去除模块将产生的所有框按照阈值进行得分计算，并将所有的框按照得分的大小进行排序，选中最高分以及其对应的框作为最终检测结果；将所述检测结果输出到所述检测结果显示模块；
优选的，所述检测结果显示模块用于将所述检测分支模块获取的正确目标框的信息进行保存，并将图像以及正确的检测框通过低算力运算装置进行显示。
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
本发明提供的系统和方法，具有如下有益效果：
本发明的面向低算力运算装置的轻量化检测方法可投入到智慧农业、智慧建筑、智慧物流等各个领域中进行目标检测，更好地推进人工智能的自动化建设，节约了大量的人力成本。同时本发明创造性地提出了基于特征图尺度变化的下采样方法，有效地解决了物体尺度过小不宜检测的问题，并通过轻量化卷积神经网络大大降低了检测耗时，可缓解实际场景中的运算设备算力不足导致很多方法无法投入实际应用的问题，非常适合用于部署在计算能力较差的低算力运算装置上，从而达到硬件成本和运行速度的平衡。
附图说明
图1为本发明优选实施例的面向低算力运算装置的轻量化检测方法流程图；
图2为本发明优选实施例的一种基于特征图尺度变化的下采样方法的流程图(其中包括两种下采样策略，分别为基于跨尺度融合功能的下采样策略和基于最大池化运算的下采样策略)；
图3为本专利实施例提供的一种基于跨尺度融合功能的下采样策略的流程图；
图4为本专利实施例提供的一种最大池化下采样策略的流程图；
图5为本专利实施例提供的一种嵌套式轻量化卷积结构Light-CSPNet的流程图；
图6为本专利实施例提供的一种深浅层特征融合方法的流程图；
图7为本发明优选实施例提供的面向低算力运算装置的轻量化检测系统原理结构图；
图8为本发明优选实施例的电子设备实施例的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
如图1所示，本优选实施例提供了一种面向低算力运算装置的轻量化物体检测方法，所述低算力运算装置安装在移动端机器人中，包括：
S10：图像采集，利用低算力运算装置中的相机采集真实场景下待检测物体的图像；
S20：图像读取，所述低算力运算装置读取所述图像；
S30：图像预处理，对读取的所述图像进行预处理获得训练集；
S40：轻量化主干网络，将所述训练集输入到轻量化主干网络中进行训练并提取特征；本实施例中针对密集的小目标采用一种多策略的下采样机制，根据下采样倍数的不同将采用不同的下采样策略进行运算；同时设计了轻量化的特征提取模块，在保证参数量和计算量很小的同时尽可能地保留梯度信息以便更有效地提取目标的特征；
S50：特征融合网络模块，将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合；该步骤实现一种多通道的不同特征图尺度的深浅层融合功能，在进一步增强特征表达的同时能够精准的检测到不同尺寸的目标，在几乎不影响计算复杂度的同时大幅度提高检测精度；
S60：检测分支模块，输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果；
S70：检测结果显示模块，将所述物体的检测结果通过低算力运算装置实时显示。
作为优选的实施方式，所述利用低算力运算装置中的相机采集真实场景下待检测物体的图像包括：将采集的所述待检测物体的图像保存并制作成数据集，按照所述物体的最大外接矩形框的形状进行标注。
作为优选的实施方式，所述对读取的所述图像进行预处理获得训练集包括：
从所述数据集中读取训练所需的第一数据集Data＝[(I1，i1)，(I2，i2)，……，(In，in)]；
使用Mosaic数据增强方法将所述第一数据集中的部分或所有所述物体的图像按批次进行缩放、镜像和旋转，从而对于每一张所述物体的图像形成缩放图像、镜像图像和旋转图像，并将所述物体的图像、缩放图像、镜像图像和旋转图像四幅图像合并为一张图像，提高样本复杂度；
重复上述过程获得全部的训练集，所述全部的训练集为经过各种预处理的图像；
作为优选的实施方式，所述将所述训练集输入到轻量化主干网络中进行训练并基于下采样机制提取特征包括：
在网络中交替进行基于特征图尺度变化的下采样运算以及嵌套式跨阶段轻量化卷积运算，通过所述基于特征图尺度变化的下采样运算获得所述物体的不同尺度的图像，所述基于特征图尺度变化的下采样运算包括设定特殊步长的卷积下采样运算、最大池化运算、平均池化运算等，所述基于特征图尺度变化的下采样运算根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；通过所述嵌套式跨阶段轻量化卷积运算提取所述不同尺度下所述物体的有效特征。下采样后经过轻量化卷积运算，之后再次进行下采样，如此往复，保证检测精度的同时使得网络参数量和计算量尽可能得小；包括以下的步骤：
S410：基于特征图尺度变化的下采样，进行基于特征图尺度变化的下采样运算，将经过所述预处理得到的图像输入到基于特征图尺度变化的下采样模块410中，每进行一次下采样后的图像都输出到嵌套式跨阶段轻量化卷积网络子模块420中。实施步骤如图2所示。包括以下实施步骤：
S4110：读取当前图像的下采样倍数，即读取当前输入的所述图像的下采样倍数；
S4120：判断下采样倍数是否小于等于n倍，即判断此时所述图像的下采样倍数是否小于等于预定倍数n，本实施例中取n为4，当然本领域技术人员也可以根据需要选择其他适当的适于图像特征融合的n的取值，均在本发明的保护范围内；若是则进行S4130；若否则进行S4140；
S4130：基于跨尺度融合功能的下采样策略，即对下采样倍数较低的输入图像使用基于跨尺度融合功能的下采样运算进行下采样。由于此时目标图像尺寸较大，所提取到的特征皆为低级纹理颜色特征，使用该方法可以在不过多增加计算量的前提下，可以有效避免下采样倍数低时，浅层特征造成梯度消失的问题。其运算步骤如图3所示。
S4140：基于最大池化运算的下采样策略，即对下采样倍数较高的输入图像使用基于最大池化运算的下采样运算进行下采样。由于下采样倍数较高，而目标图像尺寸较小、所提取到的特征皆为高级语义特征。此时特征图比较单一，使用最大池化的方法可以保留相邻像素间的关系，同时还能保持图像的平移不变性，可以有效提高小目标检测精度。其运算步骤如图4所示。
S4150：将下采样后的图像输出到步骤S420，即每进行一次S4130或S4140的下采样操作，都将结果xk-1输出到S420中进行特征提取。
本实施例中所用下采样方法仅为本发明具体实施方式中的一种方案，任何根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样功能的方法均为本发明保护范围内。
S420：嵌套式跨阶段轻量化卷积网络子模块进行嵌套式阶段轻量化卷积运算，包括：从所述基于特征图尺度变化的下采样模块410中读取各种不同尺度的图像xk-1，并将其按照特征图维度平均分为两个通道分别进行处理，可以表示为xk-1＝[x′k-1，x″k-1]，其中x′k-1为一通道特征图，x″k-1为二通道特征图；为了进一步减少计算量并有效提取目标特征，将x″k-1利用嵌套的方式进行一次卷积运算后再次按照特征图维度平均分为两个通道，可以表示为x″k-1＝[y′k-1，y″k-1]，其中y′k-1为三通道特征图，y″k-1为四通道特征图；将y″k-1进行几次卷积后通过过渡层进行维度整合，再与y′k-1进行合并之后再次通过过渡层进行维度整合，最后与x′k-1合并输出到基于特征图尺度变化的下采样模块410中，如果此时特征图的下采样倍数已经小于32，则将该步骤中提取到的不同尺度下的特征信息输出到特征融合网络50中，其运算步骤如图5所示。
作为优选的实施方式，所述将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合包括：从轻量化主干网络模块40读取卷积运算后提取的所有不同尺度下的特征信息，并按照三个检测尺度的不同分为三组，其中下采样倍数为2倍、4倍和8倍的特征图分为一组G1；下采样倍数为4倍、8倍和16倍的特征图分为一组G2；下采样倍数为8倍、16倍和32倍的特征图分为一组G3，每一组中下采样倍数较低的特征图被命名为大尺度特征图，下采样倍数较高的特征图被命名为小尺度特征图，剩余一个特征图被命名为等尺度特征图；本实施例将大尺度特征图进行下采样，将小尺度特征图进行上采样，使其形成两个相同尺寸的特征图，然后进行特征融合，输入到通道注意力机制中增强通道间的特征表达，然后与另一条支路中从通道注意力机制中输出的等尺度特征图一起输入到空间注意力机制中，增强不同空间分布上堆叠密集的目标特征的空间相关性，进一步提高特征融合网络的特征表达能力，最后将三组不同尺度的特征融合结果输出到检测分支S60中。其运算步骤如图6所示。
作为优选的实施方式，输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果包括：将所述三个不同检测尺度的深浅层检测分支框出目标所在区域，然后消除冗余的检测框，获得物体的位置和尺寸信息作为检测结果。
本优选实施方式中，S60从所述特征融合网络S50读取三个分支产生的预测框，三个分支的下采样倍数分别为下采样倍数为4倍、8倍和16倍，本实施例增加了一个浅层检测分支并删去了一个最深层的检测分支，以此来提高尺度较小的目标检测能力；由于每个目标中会有多个位置不同的检测框，本实施例使用NMS非极大值抑制算法将产生的所有框按照阈值进行得分计算，并将所有的框按照得分的大小进行排序，选中最高分以及其对应的框作为最终结果；将该结果输出到检测结果显示模块S70。
作为优选的实施方式，本实施方式中所述将所述物体的检测结果通过低算力运算装置实时显示包括：从所述S60中读取并保存图像以及图像中每一个物体的位置和坐标，在所述低算力运算装置的屏幕中进行实时显示。本实施例中，从所述S60中读取并保存图像以及图像中每一个果实的位置和坐标，在移动端低算力运算装置NVIDIA Jetson Xavier NX的屏幕中进行显示，以便机器人中进行产量预估、成熟度检测或果实采摘任务。
本实施例采用移动端低算力运算装置NVIDIA Jetson Xavier NX作为主要面向对象，即实验结果与对比均在该低算力运算装置中测试得出。其中图像采集装置使用安装在NX上的工业相机，主要用于在不同实际场景中完成目标检测任务，包括晴天、阴天或雾天情况下在农业果园中进行果实检测或者在十字路口进行行人检测等等；用于模型训练的数据集可以记为Data＝[(I1，i1)，(I2，i2)，……，(In，in)]，其中I表示数据集中的图像数据，i表示数据集中的标签数据，n表示数据集中图像数据的总数量。
本实施方式中图像采集步骤S10：将无人农场的机器人中安装NVIDIA JetsonXavier NX低算力运算装置，并架设大疆Osmo Action相机采集柑橘果园中的果实图像。将采集后得到的柑橘图像保存并制作成数据集，按照果实的最大外接矩形框的形状进行标注；最后输出到图像读取模块20中。
本实施方式中图像读取步骤S20：将上述图像采集步骤S10中采集得到的果实图像进行读取，将读取后的图像输出到图像预处理模块S30中以便进行后续的轻量化主干网络S40进行特征提取。
本实施方式中图像预处理步骤S30：利用上述图像读取模块S20中读取训练所需的数据集Data＝[(I1，i1)，(I2，i2)，……，(In，in)]，将训练图像按批次放缩为不同的尺寸；使用Mosaic数据增强方法将果实图像进行缩放、镜像和旋转，并将四幅图像合并为一张图像进行训练，以提高样本复杂度；最后将各种预处理后的图像输出到轻量化主干网络S40中进行特征提取。
本实施方式中轻量化主干网络S40：从图像预处理模块S30中得到的图像作为训练集，输入到轻量化主干网络中，主干网络包括基于特征图尺度变化的下采样子模块和嵌套式跨阶段轻量化卷积网络子模块两部分，两个子模块在网络中交替使用交叉使用；通过基于特征图尺度变化的下采样运算可以得到不同尺度的图像，利用嵌套式跨阶段轻量化卷积网络提取该尺度下目标的有效特征，然后再次进行下采样，如此往复，保证检测精度的同时使得网络参数量和计算量尽可能小。包括以下的步骤：
步骤S410，将图像预处理模块S30中得到的图像输入到基于特征图尺度变化的下采样模块S410中，每进行一次下采样后的图像都输出到轻量卷积块结构S420中。包括以下实施步骤：
步骤S4110，从所述图像预处理模块S30中读取当前输入的图像的下采样倍数。
步骤S4120，判断此时图像的下采样倍数是否小于等于4。若满足则进行步骤S4130；若不满足则进行步骤S4140。
步骤S4130，对下采样倍数较低的输入图像使用基于跨尺度融合功能的下采样策略进行下采样。由于此时目标图像尺寸较大、所提取到的特征皆为低级纹理颜色特征，使用该方法可以在不过多增加计算量的前提下，可以有效避免下采样倍数低时，浅层特征造成梯度消失的问题。
步骤S4140，对下采样倍数较高的输入图像使用基于最大池化运算的下采样策略进行下采样。由于下采样倍数较高，而目标图像尺寸较小、所提取到的特征皆为高级语义特征。此时特征图比较单一，使用最大池化的方法可以保留相邻像素间的关系，同时还能保持图像的平移不变性，可以有效提高小目标检测精度。其运算步骤如图5所示。
步骤S4150，每进行一次步骤S4130或步骤S4140的下采样操作，都将结果xk-1输出到步骤S420中进行特征提取。
本实施例中所用下采样方法仅为本发明中的一种方案，任何根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样功能的方法均为本发明保护范围内。
步骤S420，从所述基于特征图尺度变化的下采样模块S410中读取各种不同尺度的图像xk-1，并将其按照特征图维度平均分为两个通道分别进行处理，可以表示为xk-1＝[x′k-1，x″k-1]。其中x′k-1为一通道特征图，x″k-1为二通道特征图，为了进一步减少计算量并有效提取目标特征，将x″k-1利用嵌套的方式进行一次卷积运算后再次按照特征图维度平均分为两个通道，可以表示为x″k-1＝[y′k-1，y″k-1]，其中y′k-1为三通道特征图，y″k-1为四通道特征图。将y″k-1进行几次卷积后通过过渡层进行维度整合，再与y′k-1进行合并之后再次通过过渡层进行维度整合，最后与x′k-1合并输出到基于特征图尺度变化的下采样模块S410中，如果此时特征图的下采样倍数已经小于32则将该步骤中提取到的不同尺度下的特征信息输出到特征融合网络S50中。
本实施方式中特征融合网络S50：从上述轻量化主干网络模块S40读取卷积运算后提取的所有不同尺度下的特征信息，并按照三个检测分支尺度的不同分为三组，其中下采样倍数为2倍、4倍和8倍的特征图分为一组G1；下采样倍数为4倍、8倍和16倍的特征图分为一组G2；下采样倍数为8倍、16倍和32倍的特征图分为一组G3，每一组中下采样倍数较低的特征图被命名为大尺度特征图，下采样倍数较高的被命名为小尺度特征图，剩余一个被命名为等尺度特征图；本实施例将大尺度特征图进行下采样，将小尺度特征图进行上采样，使其形成两个相同尺寸的特征图，然后进行特征融合，输入到通道注意力机制中增强通道间的特征表达，然后与另一条支路中从通道注意力机制中输出的等尺度特征图一起输入到空间注意力机制中，增强不同空间分布上堆叠密集的目标特征的空间相关性，进一步提高特征融合网络的特征表达能力，最后将三组不同尺度的特征融合结果输出到检测分支S60中。
本实施方式中检测分支S60：从所述特征融合网络S50读取三个分支产生的预测框，三个分支的下采样倍数分别为下采样倍数为4倍、8倍和16倍，本实施例增加了一个浅层检测分支并删除了一个最深层的检测分支，以此来提高尺度较小的目标检测能力；由于每个目标中会有多个位置不同的检测框，本实施例使用NMS非极大值抑制算法将产生的所有框按照阈值进行得分计算，并将所有的框按照得分的大小进行排序，选中最高分以及其对应的框作为最终结果；将该结果输出到检测结果显示模块S70。
本实施方式中检测结果显示S70：从上述检测分支S60中读取并保存图像以及图像中每一个果实的位置和坐标，在移动端低算力运算装置NVIDIA Jetson Xavier NX的屏幕中进行显示，以便机器人进行产量预估、成熟度检测或果实采摘任务。
本实施例的工作原理：
首先通过摄像装置拍摄真实场景中可见光果实图像，在训练时采用多尺度训练以及数据增强等图像预处理的方法增加样本复杂度并转化为更适合算法学习有效信息的形式，以便更好地提高算法的泛化能力使其能够真正投入生产实践中。
其次利用轻量化卷积神经网络进行目标特征的提取，由于实际场景下目标尺寸较小且分布密集，受光照天气等外部因素影响较大，所以采用基于特征图尺度变化的下采样子模块进行多策略下采样；针对不同尺度下的特征图的特点，使用两种及以上地下采样方式更好地提高卷积神经网络的特征提取能力，如设定特殊步长的卷积下采样运算，最大池化运算，平均池化运算等；利用轻量化卷积块结构进行特征提取，本发明实现了一种嵌套式的跨阶段卷积网络，将特征图的维度分为n个部分，可以表示为只对其中部分维度的特征图/>进行卷积操作(m＜n)，其余维度的特征图/>不做任何处理，并在进行卷积操作的部分特征图/>中再次进行上述跨阶段卷积操作，完成一次嵌套式卷积运算，在保证卷积层数很少的同时尽可能地使网络传播更有效的梯度信息，更好地提取目标特征信息。
然后利用多尺度的特征融合的方法将小尺度特征、等尺度特征和大尺度特征分别提取并进行特征融合，在特征融合时先将小尺度特征进行上采样处理，将大尺度特征进行下采样处理，与等尺度特征一起通过通道注意力机制运算，再输出到空间注意力机制中进行特征融合，从而增强特征表达得到三个不同尺寸的检测分支。
最后，输出三个检测分支分别进行预测并得到多个目标框的位置和坐标信息，然后消除位置偏差较大的检测框，只保留最精确的检测框信息并进行保存，将图像和正确的检测框通过低算力运算装置进行显示以便低算力运算装置进行后续操作和运算。
本发明的第二方面，本实施例还提供一种面向低算力运算装置的轻量化物体检测系统，如图7所示，系统包括图像采集装置模块10、图像读取模块20、图像预处理模块30、轻量化主干网络模块40、特征融合网络模块50、检测分支模块60以及检测结果显示模块70。各模块的具体功能如下：
图像采集装置模块10：本发明的图像采集装置由低算力运算装置上连接的一个或以上的可见光摄像装置构成，分别采集不同场景中不同视野范围内的图像，采集后将图像进行保存以供相关人员进行数据集标注；在数据集标注时将图像导出，按照目标的最大外接矩形框的形状进行标注；最后输出到图像读取模块20中。在本实施例中，所述可见光摄像装置的数目为一个。当然，在其他实施例中，可见光摄像装置的数目还可以为两个、三个或多个，其数量区别并不影响本发明设计目的的实现。
图像读取模块20：将上述图像采集装置模块10中采集得到并保存在低算力运算装置中的图像进行读取，将读取后的图像输出到图像预处理模块30中进行后续的轻量化卷积网络检测算法的运算。
图像预处理模块30：本实施例将图像的尺寸等尺度缩小为一个固定值以便更好地提高算法运行效率；将训练图像按批次放缩为不同的尺寸，并使用数据增强的方法进行训练以提高样本复杂度；最后将各种预处理后的图像输出到轻量化主干网络模块40中进行特征提取。
轻量化主干网络模块40：从图像预处理模块30中获取经过预处理得到的可见光图像。将经过预处理得到的可见光图像输入到轻量化主干网络中，该主干网络由基于特征图尺度变化的下采样子模块410以及轻量化卷积结构提取图像特征子模块420构成。其中基于特征图尺度变化的下采样子模块包含多种不同的下采样运算，比如设定特殊步长的卷积下采样运算，最大池化运算，平均池化运算等；该子模块根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；将每次从基于特征图尺度变化的下采样子模块410输出的图像输入到轻量化卷积结构提取图像特征子模块420中进行目标特征的提取，在保证卷积块结构足够简单的同时尽可能地使网络传播更有效的梯度信息，以便更好的提取目标特征；最后，将该模块提取到的不同尺度下的特征信息输出到特征融合网络模块50。
特征融合网络模块50：从上述轻量化主干网络模块40读取卷积运算后提取的不同尺度下的特征信息。现有特征融合方法无法充分考虑到不同尺度的目标，而在真实场景下所要检测的目标有大有小，如果仅仅使用浅层特征加强小目标检测能力，会导致丢失大量的高级语义特征，这样很容易造成梯度消失的问题；为了充分结合深层特征中的语义信息以及浅层特征中的位置信息和颜色信息，多尺度特征图读取模块510通过(对应方法步骤S510)读取多个通道的特征图，然后将其输入到基于多尺度融合的双注意力模块中进行特征融合，再通过通道注意力子模块520(对应方法步骤S520)提高多通道特征图的不同维度之间的关联性并进行尺度归一化；将尺度归一化后的特征输出到空间注意力融合子模块530(对应方法步骤S530)中，使用空间注意力机制增强堆叠密集的小目标特征的表达以提高不同尺寸的目标检测能力；最后输出到检测分支模块60。
检测分支模块60：从所述特征融合网络模块50读取多分支特征信息，通过多分支检测框生成模块610(对应方法步骤S610)生成多分支检测框，输出多个不同尺度的检测分支分别进行预测生成预测框，由于每个目标中会有多个位置不同的检测框，本实施例通过冗余框去除模块620(对应方法步骤S620)将产生的所有框按照阈值进行得分计算，并将所有的框按照得分的大小进行排序，选中最高分以及其对应的框作为最终结果；将该结果输出到检测结果显示模块70。
检测结果显示模块70：将所述检测分支模块60获取的正确目标框的信息进行保存，并将图像以及正确的检测框通过低算力运算装置进行显示以便进行后续操作。
本实施例还提供了一种存储器，存储有多条指令，指令用于实现如实施例的方法。
如图8所示，本发明还提供了一种电子设备，包括处理器301和与处理器301连接的存储器302，存储器302存储有多条指令，指令可被处理器加载并执行，以使处理器能够执行如实施例的方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种面向低算力运算装置的轻量化物体检测方法，其特征在于，包括：
S10，利用低算力运算装置中的相机采集真实场景下待检测物体的图像；
S20，所述低算力运算装置读取所述图像；
S30，对读取的所述图像进行预处理获得训练集；
S40，将所述训练集输入到轻量化主干网络中进行训练并基于下采样机制提取特征，其中所述下采样机制为根据下采样倍数的不同而采用不同的下采样策略进行运算；所述特征提取采用轻量化的特征提取方法；
S50，将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合；
S60，输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果；
S70，将所述物体的检测结果通过低算力运算装置实时显示；
所述将所述训练集输入到轻量化主干网络中进行训练并基于下采样机制提取特征包括：
在网络中交替进行基于特征图尺度变化的下采样运算以及嵌套式跨阶段轻量化卷积运算，通过所述基于特征图尺度变化的下采样运算获得所述物体的不同尺度的图像，所述基于特征图尺度变化的下采样运算包括设定特殊步长的卷积下采样运算、最大池化运算、平均池化运算，所述基于特征图尺度变化的下采样运算根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；通过所述嵌套式跨阶段轻量化卷积运算提取所述不同尺度下所述物体的有效特征；以下采样后经过轻量化卷积运算作为子循环，往复所述子循环，保证检测精度的同时使得网络参数量和计算量小；
所述S40包括：
S410：进行基于特征图尺度变化的下采样运算，将经过所述预处理得到的训练集进行一次下采样获得下采样图像，所述下采样图像作为所述嵌套式跨阶段轻量化卷积运算的输入；
S420：进行嵌套式阶段轻量化卷积运算，包括：读取各种不同尺度的图像，并将其按照特征图维度平均分为m个第一通道M1，M2，M3…Mm分别进行处理，将一个或多个所述第一通道利用嵌套的方式进行一次卷积运算后再次按照特征图维度平均分为n个第二通道N1，N2，N3…Nn；将一个或多个所述第二通道进行几次卷积运算后通过过渡层进行维度整合，再与其他所述第二通道进行合并之后，再次通过过渡层进行维度整合，最后与所述第一通道合并获得合并后的特征图，并将所述合并后的特征图作为下一次实施所述基于特征图尺度变化的下采样的输入，如果此时所述合并后的特征图的下采样倍数大于或等于下采样倍数阈值，则将该步骤中提取到的不同尺度下的特征信息进行特征融合；
所述S410包括：
S4110：读取当前输入的所述图像的下采样倍数；
S4120：判断此时所述图像的下采样倍数是否小于等于预定倍数w，若是则进行S4130；若否则进行S4140；
S4130：对下采样倍数小于等于预定倍数w的输入图像使用基于跨尺度融合功能的下采样运算进行下采样；
S4140：对下采样倍数大于预定倍数w的输入图像使用基于最大池化运算的下采样运算进行下采样；
S4150：每进行一次S4130或S4140的下采样操作，都将结果输出到S420中进行特征提取；
所述将提取的所述特征通过深浅层特征融合模块，基于多尺度融合的双注意力算法进行多尺度特征融合包括：读取卷积运算后提取的所有不同尺度下的特征信息，并按照三个检测尺度的不同分为三组，其中下采样倍数为最低的特征图分为一组；下采样倍数为介于最低和最高之间的特征图分为一组/>；下采样倍数为最高的特征图分为一组/>，每一组平均下采样倍数较低的特征图为大尺度特征图，平均下采样倍数较高的特征图为小尺度特征图，剩余一个特征图为等尺度特征图；将所述大尺度特征图进行下采样，将所述小尺度特征图进行上采样，使其形成两个相同尺寸的特征图，然后进行特征融合，输入到通道注意力机制中增强通道间的特征表达，然后与另一条支路中从通道注意力机制中输出的等尺度特征图一起输入到空间注意力机制中，最后将三组不同尺度的特征融合结果作为S60的输入；
所述输出三个不同检测尺度的深浅层检测分支，通过检测分支模块对输出的所述三个不同检测尺度的深浅层检测分支分别进行预测并获得检测结果包括：将所述三个不同检测尺度的深浅层检测分支框出所述物体的所在区域，然后消除冗余的检测框，获得物体的位置和尺寸信息作为检测结果；
所述将所述物体的检测结果通过低算力运算装置实时显示包括：从所述S60中读取并保存图像以及图像中每一个物体的位置和坐标，在所述低算力运算装置的屏幕中进行实时显示。
2.根据权利要求1所述的一种面向低算力运算装置的轻量化物体检测方法，其特征在于，所述利用低算力运算装置中的相机采集真实场景下待检测物体的图像包括：将采集的所述待检测物体的图像保存并制作成数据集，按照所述物体的最大外接矩形框的形状进行标注。
3.根据权利要求2所述的一种面向低算力运算装置的轻量化物体检测方法，其特征在于，所述对读取的所述图像进行预处理获得训练集包括：
从所述数据集中读取训练所需的第一数据集
；
使用数据增强方法将所述第一数据集中的部分或所有所述物体的图像按批次进行缩放、镜像和旋转，从而对于每一张所述物体的图像形成缩放图像、镜像图像和旋转图像，并将所述物体的图像、缩放图像、镜像图像和旋转图像四幅图像合并为一张图像，提高样本复杂度；
重复上述过程获得全部的训练集，所述全部的训练集为经过各种预处理的图像。
4.一种实施如权利要求1-3任一所述检测方法的面向低算力运算装置的轻量化物体检测系统，其特征在于，包括：图像采集装置模块（10）、图像读取模块（20）、图像预处理模块（30）、轻量化主干网络模块（40）、特征融合网络模块（50）、检测分支模块（60）以及检测结果显示模块（70）。
5.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述图像采集装置模块（10）由低算力运算装置上连接的一个或以上的可见光摄像装置构成，分别采集不同场景中不同视野范围内的图像，采集后将图像保存在低算力运算装置中以进行数据集标注；在数据集标注时将图像导出，按照目标的最大外接矩形框的形状进行标注；最后输出到所述图像读取模块（20）中。
6.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述图像读取模块（20）用于将所述图像采集装置模块（10）中采集得到并保存在低算力运算装置中的图像进行读取，将读取后的图像输出到所述图像预处理模块（30）中。
7.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述图像预处理模块（30）用于进行所述图像的预处理获得预处理图像，所述预处理图像输出到所述轻量化主干网络模块（40）中进行特征提取。
8.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述轻量化主干网络模块（40）由基于特征图尺度变化的下采样子模块（410）以及轻量化卷积结构提取图像特征子模块（420）构成，用于从所述图像预处理模块（30）中获取经过预处理得到的可见光图像；将经过预处理得到的可见光图像输入到所述轻量化主干网络模型中，其中所述基于特征图尺度变化的下采样子模块（410）包含多种下采样运算，根据不同尺度特征图的不同特点选择不同的运算方式以实现下采样的功能；将每次从所述基于特征图尺度变化的下采样子模块（410）输出的图像输入到所述轻量化卷积结构提取图像特征子模块（420）中进行所述物体的特征信息的提取；将不同尺度下的所述特征信息输出到所述特征融合网络模块（50）。
9.如权利要求8所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述特征融合网络模块（50）包括多尺度特征图读取模块（510）、通道注意力子模块（520）以及空间注意力融合子模块（530）；所述多尺度特征图读取模块（510）用于从轻量化主干网络模块（40）读取所述轻量化卷积结构提取图像特征子模块（420）的卷积运算后提取的不同尺度下的特征信息并将其输入到空间注意力融合子模块（530）中进行特征融合；所述通道注意力子模块（520）用于提高多通道特征图的不同维度之间的关联性并进行尺度归一化以及将尺度归一化后的特征输出到所述空间注意力融合子模块（530）中；所述空间注意力融合子模块（530）使用空间注意力机制增强堆叠密集的小目标特征的表达以提高不同尺寸的物体检测能力；最后输出到所述检测分支模块（60）。
10.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述检测分支模块（60）包括多分支检测框生成模块（610）以及冗余框去除模块（620），用于从所述特征融合网络模块（50）读取多分支特征信息后，通过所述多分支检测框生成模块（610）生成多分支检测框，输出多个不同尺度的检测分支分别进行预测生成预测框；所述冗余框去除模块（620）将产生的所有框按照阈值进行得分计算，并将所有的框按照得分的大小进行排序，选中最高分以及其对应的框作为最终检测结果；将所述检测结果输出到所述检测结果显示模块（70）。
11.如权利要求4所述的面向低算力运算装置的轻量化物体检测系统，其特征在于，所述检测结果显示模块（70）用于将所述检测分支模块（60）获取的正确目标框的信息进行保存，并将图像以及正确的检测框通过低算力运算装置进行显示。
12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-3任一所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-3任一所述的方法。
CN202111163858.6A 2021-09-30 2021-09-30 一种面向低算力运算装置的轻量化物体检测方法与系统 Active CN113887425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111163858.6A CN113887425B (zh) 2021-09-30 2021-09-30 一种面向低算力运算装置的轻量化物体检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111163858.6A CN113887425B (zh) 2021-09-30 2021-09-30 一种面向低算力运算装置的轻量化物体检测方法与系统

Publications (2)

Publication Number Publication Date
CN113887425A CN113887425A (zh) 2022-01-04
CN113887425B true CN113887425B (zh) 2024-04-12

Family

ID=79005156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111163858.6A Active CN113887425B (zh) 2021-09-30 2021-09-30 一种面向低算力运算装置的轻量化物体检测方法与系统

Country Status (1)

Country Link
CN (1) CN113887425B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558808A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于深度学习的路边沿检测方法
CN110956094A (zh) * 2019-11-09 2020-04-03 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558808A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于深度学习的路边沿检测方法
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN110956094A (zh) * 2019-11-09 2020-04-03 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法

Also Published As

Publication number Publication date
CN113887425A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN113850324B (zh) 一种基于Yolov4的多光谱目标检测方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN110895697A (zh) 变压器铭牌信息采集方法及智能采集系统
CN115346071A (zh) 高置信局部特征与全局特征学习的图片分类方法及系统
CN117496347A (zh) 遥感影像建筑物提取方法、装置及介质
Cao et al. Multi angle rotation object detection for remote sensing image based on modified feature pyramid networks
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
Peng et al. Litchi detection in the field using an improved YOLOv3 model
CN114943888A (zh) 基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质
Rong et al. Picking point recognition for ripe tomatoes using semantic segmentation and morphological processing
CN113887425B (zh) 一种面向低算力运算装置的轻量化物体检测方法与系统
Hu et al. Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard
CN116740337A (zh) 一种红花采摘点识别定位方法及采摘系统
CN115082778B (zh) 一种基于多分支学习的宅基地识别方法及系统
CN115661451A (zh) 一种深度学习单帧红外弱小目标高分辨率分割方法
CN113902904B (zh) 一种轻量化网络架构系统
CN115965905A (zh) 一种基于多尺度融合卷积网络的人群计数方法及系统
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
CN113902903A (zh) 一种基于下采样的双注意力多尺度融合方法
CN113420760A (zh) 一种基于分割和形变lstm的手写体蒙古文检测和识别方法
CN113033263A (zh) 一种人脸图像年龄特征识别方法
CN110569790A (zh) 基于纹理增强卷积网络的居民区要素提取方法
CN113449611B (zh) 一种基于yolo网络压缩算法的安全帽识别智能监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant