CN116524356A - 一种矿石图像小样本目标检测方法及系统 - Google Patents

一种矿石图像小样本目标检测方法及系统 Download PDF

Info

Publication number
CN116524356A
CN116524356A CN202310384210.4A CN202310384210A CN116524356A CN 116524356 A CN116524356 A CN 116524356A CN 202310384210 A CN202310384210 A CN 202310384210A CN 116524356 A CN116524356 A CN 116524356A
Authority
CN
China
Prior art keywords
ore
feature map
target detection
sample
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310384210.4A
Other languages
English (en)
Inventor
孙国栋
程乐
彭雨婷
鲁志恒
张杨
贾俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202310384210.4A priority Critical patent/CN116524356A/zh
Publication of CN116524356A publication Critical patent/CN116524356A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种矿石图像小样本目标检测方法及系统，属于目标检测技术领域，包括：基于矿石图像样本集合得到矿石标注数据库；基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；获取预设标准数据集，利用预设标准数据集对目标检测框架进行基础训练，利用矿石标注数据库对目标检测框架进行微调训练，得到矿石小样本目标检测模型；将待检测矿石图像输入至矿石小样本目标检测模型，得到矿石目标检测结果。本发明针对矿石样本数量稀少的情况，采用基于样本增强模块、双注意力区域生成网络和轻量多关系检测头构建目标检测框架，有效解决少量样本条件下矿石图像粒度分析任务中网络过拟合问题，显著提高矿石粒度信息的提取精度。

Description

一种矿石图像小样本目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，尤其涉及一种矿石图像小样本目标检测方法及系统。
背景技术
在矿石检测中，矿石粒度信息，如面积、周长和粒度等，是反映破碎效果的重要数据指标。对破碎产品进行粒度分析，可以保证粒度分布要求。
大块探测是矿石粒度分析任务之一，是指在矿带上对超大矿的识别。通常利用目标检测网络获取矿石的坐标信息，然后利用边界框确定每个矿石的边界矩形区域。最后，根据所获得的区域检查阈值，以确定输送带上是否有任何大块。与目标检测相比，语义分割并不适合这类任务。存在的问题是，在分割堆叠的矿石时，每个重叠的矿石不能分开，因为它们被分配到同一类像素。这将导致当统计图像上每个单独矿石的面积时，两个或两个以上矿石的面积被当作一个矿石来处理。近年来，由于卷积神经网络的发展，在目标检测方面取得了一些重大进展。传统的目标检测器需要大量的边框标签进行训练，获得这样高质量的矿石标签数据成本高、耗时长。当标记数据变得稀缺时，卷积神经网络会严重过拟合，无法泛化。因此，很难将目标检测器应用于检测数据集中不存在的新对象的检测。同时，在有限的标记数据和常见的遮挡、粘附和矿石外观变化情况下，确保矿石粒度检测的准确性和实时性极为困难。
传统的目标检测方法要训练出高泛化性能的模型，需要标注大量的数据作为先验知识，其模型才能应用到新数据中。而在特殊场景和复杂场景中这些标注数据条件是难以满足的。一些基于小样本学习的方法对实际工程问题中的数据稀缺问题提出了深刻的见解，这些方法要么使用不同的学习策略，如度量学习和元学习，要么执行数据特征级处理来解决数据稀缺的问题。例如，Dong等人提出了一种基于度量学习的路面破损检测方法。在航空航天领域，Pierre等人提出了新的目标检测数据增强，新的支持裁剪策略改进了小样本目标检测在航空图像领域的应用。Zhou等人提出了一种采用Siamese卷积神经网络的多次学习模型，以提高工业网络物理系统智能异常检测的准确性。但上述方法在矿石检测领域并不适合。
因此，需要提出一种针对矿石图像小样本目标检测方法，解决因样本数量过少导致的网络模型过拟合等问题。
发明内容
本发明提供一种矿石图像小样本目标检测方法及系统，用以解决现有技术中针对矿石图像样本数量过少时，对矿石粒度信息进行检测时存在网络过拟合和检测速度过慢等缺陷。
第一方面，本发明提供一种矿石图像小样本目标检测方法，包括：
采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；
基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；
获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；
将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
根据本发明提供的一种矿石图像小样本目标检测方法，所述采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库，包括：
采集不同尺寸和不同位置的多个矿石样本图像，将所述多个矿石样本图像切割为多个预设小尺寸图像；
将所述多个预设小尺寸图像划分为具有若干类别标注的支持集和查询集，。
根据本发明提供的一种矿石图像小样本目标检测方法，所述基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架，包括：
采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图；
将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图；
利用所述预设轻量多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架。
根据本发明提供的一种矿石图像小样本目标检测方法，所述采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图，包括：
确定所述矿石样本输入支持特征图的长度、宽度和通道数；
基于同一像素点在所述矿石样本输入支持特征图中各通道位置和所有像素集合，得到矿石样本输入支持特征图中的所有像素点位置集合；
对所述所有像素点位置集合进行全连接，得到所述可学习线性矩阵Ie：
Ie＝FC(TPE(Y))，
其中，Y是特征图，Y∈RH×W×C，H、W和C分别是特征图的长、宽和通道数，TPE表示各通道中全部像素点集合，Ω∈HW代表所有像素集合，Yi表示同一像素点在特征图各通道中的位置，FC表示全连接层；
由归一化指数函数对所述可学习线性矩阵处理得到每个特征图位置激活值，将所述每个特征图位置激活值与所述所有像素点位置集合相乘，得到每个通道中每个像素权重特征图R：
其中，β指代归一化指数softmax，是乘积符号；
所述每个通道中每个像素权重特征图经带参数的线性修正单元处理后与预设激活系数相乘后，与所述矿石样本输入支持特征图进行叠加，得到所述增强边缘信息的矿石特征图YE：
YE＝Y+μ·LeakyReLU(R)
其中，当激活系数μ为0.5时，矿石图像增强效果最好，LeakyReLU是带参数的线性修正单元。
根据本发明提供的一种矿石图像小样本目标检测方法，所述将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图，包括：
根据平均池化内核大小和所述通道数确定所述增强边缘信息的矿石特征图中的支持特征，根据所述长度、所述宽度和所述通道数确定所述增强边缘信息的矿石特征图中的查询特征；
按照所述平均池化内核大小的维度，以所述支持特征作为卷积核对所述查询特征的深度互相关特征进行卷积计算，遍历所述支持特征和所述查询特征的相似度，得到所述空间注意特征图As：
其中，As表示生成的空间注意力特征图，c、h、w是特征图的长，宽，通道数，m，n∈{1，......P}，支持特征为X∈tC×P×P，C为特征通道数，P为平均池化后的内核大小，查询特征为Y∈tC×H×W，H、W是特征图的长和宽，t是向量空间；
分别将所述支持特征通过一维卷积压缩通道后依次进行重构处理和归一化处理得到支持特征矩阵，以及将所述查询特征通过一维卷积压缩通道后进行重构处理得到查询特征矩阵，由所述支持特征矩阵和所述查询特征矩阵相乘后与所述查询特征进行同或运算得到所述通道注意特征图Ac：
Ac＝FSG[τ1(Convs(Y)×FSM(τ2(Convs(X))]⊙Y
其中，Ac表示生成的通道注意力特征图，τ1和τ2是张量reshape操作，FSG代表sigmoid，FSM表示softmax，⊙表示相乘连接，Convs是卷积操作；
将所述通道注意特征图和所述空间注意特征图进行融合计算，得到所述最终特征图。
根据本发明提供的一种矿石图像小样本目标检测方法，所述利用所述预设多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架，包括：
将所述通道注意特征图和所述空间注意特征图进行叠加，并采用全连接层进行连接，得到全局关系头GR(X，Y)：
GR(X，Y)＝FC(Cat(X，Y))
其中，Cat表示将两张特征图叠加，FC表示全连接层，X表示支持特征，Y表示查询特征；
对所述通道注意特征图和所述空间注意特征图进行预设深度卷积操作，得到局部关系头LR(X，Y)：
LR(X，Y)＝Cross(X，Y)
其中，Cross(X，Y)表示深度卷积关系操作；
确定所述查询特征的查询嵌入向量，由所述查询嵌入得到所有像素查询嵌入平均值向量，确定所述支持特征的键嵌入向量，由所述键嵌入得到所述像素键嵌入平均值向量，由所述查询嵌入向量和所述所有像素查询嵌入平均值向量之差的转置，与所述键嵌入向量和所述像素键嵌入平均值向量之差进行映射，得到零散关系头PR(X，Y)：
PR(X，Y)＝φ((Q-μQ)T(K-μK))
其中，φ是映射操作，Q表示查询特征Y的查询嵌入，K表示支持特征X的键嵌入，μQ和μK分别代表查询嵌入和键嵌入的所有像素的平均值；
由第一权重调节系数、所述全局关系头、第二权重调节系数、所述局部关系头、第三权重调节系数和零散关系头进行加权求和，得到所述目标检测框架的置信度Γ：
Γ＝σ1GR(X，Y)+σ2LR(X，Y)+σ3PR(X，Y)
其中，σ1，σ2，σ3为各关系头的权重调节系数。
根据本发明提供的一种矿石图像小样本目标检测方法，所述获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型，包括：
提取所述预设标准数据集中预设个数类别图像对所述目标检测框架进行基础训练；
在所述矿石标注数据库中选取预设个数样本，基于预设交并比阈值，采用所述预设个数样本验证模型性能的准确性，并验证所述模型性能的推理使用内存、推理速度和模型尺寸，确定模型性能最优值，得到所述矿石小样本目标检测模型。
根据本发明提供的一种矿石图像小样本目标检测方法，所述将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果，包括：
由所述矿石小样本目标检测模型输出所述待检测矿石图像的坐标，基于所述坐标确定所述待检测矿石图像的边界框；
根据所述边界框计算得到矿石边界矩形面积。
第二方面，本发明还提供一种矿石图像小样本目标检测系统，包括：
采集模块，用于采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；
构建模块，用于基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；
训练模块，用于获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；
检测模块，用于将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述矿石图像小样本目标检测方法。
本发明提供的矿石图像小样本目标检测方法及系统，针对矿石样本数量稀少的情况，采用基于样本增强模块、双注意力区域生成网络和多关系检测头构建目标检测框架，有效解决少量样本条件下矿石图像粒度分析任务中网络过拟合问题，显著提高矿石粒度信息的提取精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的矿石图像小样本目标检测方法的流程示意图；
图2是本发明提供的矿石图像实时小样本目标检测框架总体结构图；
图3是本发明提供的样本增强模块结构图；
图4是本发明提供的样本增强模块前后的特征可视化对比图；
图5是本发明提供的双注意力区域生成网络结构图；
图6是本发明提供的矿石图像检测方法与其他小样本目标检测方法的检测结果对比图；
图7是本发明提供的矿石图像小样本目标检测系统的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的矿石图像小样本目标检测方法的流程示意图，如图1所示，包括：
步骤100：采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；
步骤200：基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；
步骤300：获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；
步骤400：将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
本发明提出一种针对矿石图像的实时小样本目标检测方法(A Real-time Few-Shot Object Detector for Ore Images，OreFSDet)，采用样本增强模块(Shot EnhanceBlock，SEB)来增强支持集的语义信息，并开发基于双重注意力的RPN网络(DualAttention-Region Proposal Network，DA-RPN)，充分利用支持特征来指导生成准确的候选建议，还设计了一种轻量级的多关系检测头来有效地评估查询集和支持集之间的相似性，从而显著提高了网络模型指导性能，解决少量样本条件下矿石图像粒度分析任务中网络过拟合问题。
具体地，如图2所示，首先利用图像采集系统采集不用尺寸不同位置的矿石图片，制作带有标注的矿石标注数据库，即真值GT，然后构建目标检测框架，采用Microsoft COCO2017进行基础训练，利用矿石标注数据库进行微调训练，得到矿石小样本目标检测模型，最后将需要检测的矿石图像输入到模型中，得到矿石目标检测结果。
本发明针对矿石样本数量稀少的情况，采用基于样本增强模块、双注意力区域生成网络和多关系检测头构建目标检测框架，有效解决少量样本条件下矿石图像粒度分析任务中网络过拟合问题，显著提高矿石粒度信息的提取精度。
基于上述实施例，步骤100包括：
采集不同尺寸和不同位置的多个矿石样本图像，将所述多个矿石样本图像切割为多个预设小尺寸图像；
将所述多个预设小尺寸图像划分为具有若干类别标注的支持集和查询集。
具体地，通过改变矿石的位置，例如稀疏、厚度等，采集不同尺度的矿石图片，然后对矿石图片进行预处理，将大的矿石图片切割成小的图片，制作带有标注的数据库，共计5120张矿石图片。
需要说明的是，在小样本任务设置下，训练集由多组数据集组成，每组都包括支持集和查询集。测试集也由类似的两部分数据组成。在训练时，支持集和查询集的具体数据不交叉，但是类别相同。每一个训练子任务随机采样N个类别，每个类别采样K+1个标注样本，K个样本构成支持集，每个类别剩下的一个样本构成查询集，构成多个(N-way K-shot)小样本任务。
将所述数据库进行处理，针对训练集，分别生成不同shot下具有若干类别标注的支持集和查询集；针对验证集，生成含有相应shot下支撑集特征信息，用于验证时网络中支撑图像的输入。
基于上述实施例，步骤200包括：
采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图；
将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图；
利用所述预设轻量多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架。
其中，所述采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图，包括：
确定所述矿石样本输入支持特征图的长度、宽度和通道数；
基于同一像素点在所述矿石样本输入支持特征图中各通道位置和所有像素集合，得到矿石样本输入支持特征图中的所有像素点位置集合；
对所述所有像素点位置集合进行全连接，得到所述可学习线性矩阵；
由归一化指数函数对所述可学习线性矩阵处理得到每个特征图位置激活值，将所述
每个特征图位置激活值与所述所有像素点位置集合相乘，得到每个通道中每个像素权重特征图；
所述每个通道中每个像素权重特征图经带参数的线性修正单元处理后与预设激活系数相乘后，与所述矿石样本输入支持特征图进行叠加，得到所述增强边缘信息的矿石特征图。
其中，所述将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图，包括：
根据平均池化内核大小和所述通道数确定所述增强边缘信息的矿石特征图中的支持特征，根据所述长度、所述宽度和所述通道数确定所述增强边缘信息的矿石特征图中的查询特征；
按照所述平均池化内核大小的维度，以所述支持特征作为卷积核对所述查询特征的深度互相关特征进行卷积计算，遍历所述支持特征和所述查询特征的相似度，得到所述空间注意特征图；
分别将所述支持特征通过一维卷积压缩通道后依次进行重构处理和归一化处理得到支持特征矩阵，以及将所述查询特征通过一维卷积压缩通道后进行重构处理得到查询特征矩阵，由所述支持特征矩阵和所述查询特征矩阵相乘后与所述查询特征进行同或运算得到所述通道注意特征图；
将所述通道注意特征图和所述空间注意特征图进行融合计算，得到所述最终特征图。
其中，所述利用所述预设多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架，包括：
将所述通道注意特征图和所述空间注意特征图进行叠加，并采用全连接层进行连接，得到全局关系头；
对所述通道注意特征图和所述空间注意特征图进行预设深度卷积操作，得到局部关系头；
确定所述查询特征的查询嵌入向量，由所述查询嵌入得到所有像素查询嵌入平均值向量，确定所述支持特征的键嵌入向量，由所述键嵌入得到所述像素键嵌入平均值向量，由所述查询嵌入向量和所述所有像素查询嵌入平均值向量之差的转置，与所述键嵌入向量和所述像素键嵌入平均值向量之差进行映射，得到零散关系头；
由第一权重调节系数、所述全局关系头、第二权重调节系数、所述局部关系头、第三权重调节系数和零散关系头进行加权求和，得到所述目标检测框架的置信度。
具体地，首先在样本增强模块的设计中，首先利用线性矩阵对输入支持特征图进行变换和重构，使支撑特征信息集中在矿石边缘，不相关的背景信息被抑制。
如图3所示，对特征Y∈RH×W×C(H、W和C分别是特征图的长、宽和通道数)，得到线性可学习矩阵利用可学习线性矩阵Ie∈RHW×1，计算过程如下：
Ie＝FC(TPE(Y))，
其中，Y是特征图，Y∈RH×W×C，H、W和C分别是特征图的长、宽和通道数，TPE表示各通道中全部像素点集合，Ω∈HW代表所有像素集合，Yi表示同一像素点在特征图各通道中的位置，FC表示全连接层。
其中，β指代归一化指数softmax，是乘积符号，通过softmax得到特征图中每个位置的激活值(储存在Ie中)。将这些激活值作为Yi的权重系数，然后再与Yi相乘，得到调整每个通道中每个像素权重的特征图。R表示特征图Y中每个像素的注意力得分，该注意力掩码叠加在特征图Y上，保留相关特征，弱化不相关特征，得到增强边缘信息的矿石特征图YE：
YE＝Y+μ·LeakyReLU(R)
当激活系数μ为0.5时，矿石图像增强效果最好，LeakyReLU是带参数的线性修正单元，如图4所示，其中左侧一列为输入图像，中间一列为SEB处理之前，右侧一列为SEB处理之后，可以看出，经过SEB处理后，支撑特征信息集中在矿石边缘，不相关的背景信息被抑制。
表1为样本增强模块(SEB)对模型性能的影响。从表1中可以看出，四种注意力机制方法被用作增强图像语义信息的模块。SEB的概念不同于空间注意力SGE和外部注意力EANet，后者的模型足够轻，但性能不足。此外，与CoTAttention使用输入上下文信息来指导动态注意力矩阵的学习不同，SEB足够轻量，不会给模型增加太多的内存占用和速度负担。结果表明，本发明实施例充分增强了矿石图像的语义信息，并且在准确性方面超过了其他模块，尤其是
表1
双注意力RPN的结构如图5所示，包括通道注意机制模块和空间注意机制模块，通道注意机制模块和空间注意机制模块分别接收支持特征X和查询特征Y，生成两种不同的注意图，即空间注意特征图和通道注意特征图，将这两个特征图融合在一起，生成最终的特征图，然后将它们分别交付给RPN进行分类和回归。
在空间注意力模块中，以深度方式评估查询和支持特征映射之间的关联程度，候选框生成是使用相似度构造的。支持特征描述为X∈tC×P×P(平均池化后的内核大小P＝1)，查询特征描述为Y∈tC×H×W(H、W和C是特征图的长、宽和通道数)，指定相似度如下：
其中，As表示生成的空间注意力特征图，c、h、w是特征图的长，宽，通道数，m，n∈{1，......P}，支持特征为X∈tC×P×P，C为特征通道数，P为平均池化后的内核大小，查询特征为Y∈tC×H×W，H、W是特征图的长和宽，t是向量空间。X的每个支持特征图作为一个卷积核，对Y深度互相关对应的查询特征图进行卷积运算。
在通道注意力模块中，首先使用1×1卷积来处理X和Y。经过处理后，X的通道被完全压缩，而Y的通道维数仍保持在较高的水平(C/2)。因此，归一化softmax用于增强支持特性的信息。然后，将支持特征和查询特征乘以矩阵，然后是1×1卷积，layerNorm和sigmoid，LayerNorm将通道C/2的维数增加到C，最后的sigmoid用于将所有参数保持在0到1之间，具体如下：
Ac＝FSG[τ1(COnvs(Y)×FSM(τ2(Convs(X))]⊙Y
其中，Ac表示生成的通道注意力特征图，τ1和τ2是张量reshape操作，FSG代表sigmoid，FSM表示softmax，⊙表示相乘连接，Convs是卷积操作。
表2为双注意力RPN对模型性能的影响，通过比较表2中矿石图像的4种不同候选框生成方法可以发现：AttentionRPN仅使用简单的空间注意力方法来利用类原型重新加权查询图像特征，可以生成特定于类的建议并提高准确性。FGN对支持集进行编码，使用它来指导从查询图像生成候选。DAnA采用另一种方法生成候选提案。通过矩阵乘法计算查询和支持图像特征之间的相关性，然后将融合的特征映射发送到RPN。表3为RPN检测头中不同通道数对模型性能的影响。
表2
表3
为了更好地建立支持和查询之间的关系，同时引入了通道和空间注意力的思想，并使用支持语义信息对查询特征图进行加权，以获得分别具有空间和通道注意力的特征图。最后，融合两个特征图并将其发送到RPN，DA-RPN在准确性方面优于其他模块，尤其是结果表明，DA-RPN更好地利用了支持图像的语义信息。
进一步地，采用一种轻量级多关系检测头，以获得保持精度的特征。表4为轻量多关系检测头与其他小样本目标检测方法中检测头在矿石数据集上的性能比较。Meta-R-CNN在模型大小和推理速度方面表现更好，但其准确性较低。通过依赖大量的卷积层和完整的连接层，FGN和AttentionRPN获得了良好的精度结果，但代价是额外的速度和内存负担。为此，在AttentionRPN基础上，我们设计了轻量级多关系检测头，确保了推理速度、准确性和模型大小。
表4
本发明实施例提出的检测头由四个模块组成，首先，设计1×1卷积作为权重共享卷积层，实现跨通道和信息集成，输出张量的通道数由原来2048变为1024，然后生成以下三个并行预测分支的输入。全局关系头通过全局平均池化获得全局信息，为了轻量化检测头，删除中间原有的两层全连接层。局部关系头沿通道级别上发现支持和查询建议之间的相互关联。删除原有的1×1×2048共享卷积层，直接将每个输入支持特征图作为卷积核，对相应大小为7×7的查询特征图进行通道级卷积。在零散关系头中，采用一种全新的方式评估查询集特征和支持集特征之间的相似性。通过矩阵Wq和Wk分别得到查询特征Y的查询嵌入Q和支持特征X的键嵌入K。X和Y的对应关系可以如下这样计算，μQ和μK为查询嵌入和键嵌入的所有像素的平均值。各关系头计算方式如下：
全局关系头：
GR(X，Y)＝FC(Cat(X，Y))
局部关系头：
LR(X，Y)＝Cross(X，Y)
零散关系头：
PR(X，Y)＝φ((Q-μQ)T(K-μK))
其中，Cat表示将两张特征图叠加，FC表示全连接层，Cross(X，Y)是一种深度卷积关系操作，φ是映射操作，Q表示查询特征Y的查询嵌入，K表示支持特征X的键嵌入，μQ和μK分别代表查询嵌入和键嵌入的所有像素的平均值，与计算空间注意力特征图的公式操作类似，不同的是卷积核的大小调整为7×7。
最后将三种关系下计算得到的置信度Γ叠加在一起进行判断：
Γ＝σ1GR(X，Y)+σ2LR(X，Y)+σ3PR(X，Y)
其中σ1，σ2，σ3为各关系头的权重调节系数。
表5为轻量多关系检测头中不同关系头组合的实验结果比较(1为局部关系头，2为零散关系头，3为全局关系头)。通过合并所有关系头，实现了完整的多关系检测头并使之达到最佳性能，这表明三个关系头相互补充，可以更好地区分目标和非匹配项。
表5
基于上述实施例，步骤300包括：
提取所述预设标准数据集中预设个数类别图像对所述目标检测框架进行基础训练；
在所述矿石标注数据库中选取预设个数样本，基于预设交并比阈值，采用所述预设个数样本验证模型性能的准确性，并验证所述模型性能的推理使用内存、推理速度和模型尺寸，确定模型性能最优值，得到所述矿石小样本目标检测模型。
具体地，本发明实施例采用Microsoft COCO 2017数据集用于基础训练，矿石图像数据集用于微调训练。为了公平比较，方法使用了以往小样本目标检测方法在MS COCO数据集上的通用设置，60个类别用于基础训练，每个类别允许的样本数量是不限制的。
不同的是，在矿石数据集上进行微调训练，对训练集中样本数量(shot)有限制，shot数量一般不超过30，然后在验证集(1060张图片)上进行测试，以衡量检测器在少数样本设置下的性能。有6个指标用于验证所提出的检测框架的有效性，即APbox、推理内存使用、推理速度和模型尺寸。准确度是通过前三项指标来衡量的，表示在不同IoU(Intersection over Union)阈值(从0.5到0.95，步长0.05)上的精度，其中模型的计算费用反映在推断的速度中。
基于上述实施例，步骤400包括：
由所述矿石小样本目标检测模型输出所述待检测矿石图像的坐标，基于所述坐标确定所述待检测矿石图像的边界框；
根据所述边界框计算得到矿石边界矩形面积。
具体地，本发明实施例通过训练好的矿石小样本目标检测模型获得矿石的坐标，利用边界框计算出矿石的边界矩形面积。通过大量的实验结果证明了本发明方法的有效性，在新的矿石图像数据集上，模型实现了每秒30帧的实时检测速度。OreFSDet不仅可以与传统目标检测方法相媲美，而且在APbox/指标上也超过小样本目标检测(Few-Shot Object Detection，FSOD)的最佳算法。此外，在FSOD方法中，OreFSDet在推理时间，模型大小和推理内存方面表现最好。
图6为本发明矿石图像检测方法与其他小样本目标检测方法的检测结果对比，表6为不同shot下小样本目标检测方法在矿石数据集上的实验结果比较，表7为传统目标检测方法与小样本目标检测方法在矿石数据集上的实验结果比较，传统目标检测方法使用4060张图片用于训练，1060张图片用于验证。在小样本任务的设置下，Microsoft COCO 2017数据集中60类别用于基础训练，不同的是，其中20个新类被替换为矿石这一个新类别。然后进行不同shot下，检测器的微调训练和验证。在验证时，为了与传统目标检测方法进行性能上的比较，验证集设置为同样的1060张图片。
表6
表7
可以看出，本发明在样本数量稀少的情况下，与传统目标检测方法相比，能更精确实时地检测完整和独立的矿石。
下面对本发明提供的矿石图像小样本目标检测系统进行描述，下文描述的矿石图像小样本目标检测系统与上文描述的矿石图像小样本目标检测方法可相互对应参照。
图7是本发明实施例提供的矿石图像小样本目标检测系统的结构示意图，如图7所示，包括：采集模块71、构建模块72、训练模块73和检测模块74，其中：
采集模块71用于采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；构建模块72用于基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；训练模块73用于获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；检测模块74用于将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行矿石图像小样本目标检测方法，该方法包括：采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种矿石图像小样本目标检测方法，其特征在于，包括：
采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；
基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；
获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；
将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
2.根据权利要求1所述的矿石图像小样本目标检测方法，其特征在于，所述采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库，包括：
采集不同尺寸和不同位置的多个矿石样本图像，将所述多个矿石样本图像切割为多个预设小尺寸图像；
将所述多个预设小尺寸图像划分为具有若干类别标注的支持集和查询集。
3.根据权利要求1所述的矿石图像小样本目标检测方法，其特征在于，所述基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架，包括：
采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图；
将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图；
利用所述预设轻量多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架。
4.根据权利要求3所述的矿石图像小样本目标检测方法，其特征在于，所述采用可学习线性矩阵对矿石样本输入支持特征图进行变换和重构，得到增强边缘信息的矿石特征图，包括：
确定所述矿石样本输入支持特征图的长度、宽度和通道数；
基于同一像素点在所述矿石样本输入支持特征图中各通道位置和所有像素集合，得到矿石样本输入支持特征图中的所有像素点位置集合；
对所述所有像素点位置集合进行全连接，得到所述可学习线性矩阵Ie：
其中，Y是特征图，Y∈RH×W×C，H、W和C分别是特征图的长、宽和通道数，TPE表示各通道中全部像素点集合，Ω∈HW代表所有像素集合，Yi表示同一像素点在特征图各通道中的位置，FC表示全连接层；
由归一化指数函数对所述可学习线性矩阵处理得到每个特征图位置激活值，将所述每个特征图位置激活值与所述所有像素点位置集合相乘，得到每个通道中每个像素权重特征图R：
其中，β指代归一化指数softmax，是乘积符号；
所述每个通道中每个像素权重特征图经带参数的线性修正单元处理后与预设激活系数相乘后，与所述矿石样本输入支持特征图进行叠加，得到所述增强边缘信息的矿石特征图YE：
YE＝Y+μ·LeakyReLU(R)
其中，当激活系数μ为0.5时，矿石图像增强效果最好，LeakyReLU是带参数的线性修正单元。
5.根据权利要求4所述的矿石图像小样本目标检测方法，其特征在于，所述将所述增强边缘信息的矿石特征图分别输入至所述双注意力区域生成网络中的通道注意机制模块和空间注意机制模块，得到通道注意特征图和空间注意特征图，将所述通道注意特征图和所述空间注意特征图进行融合，得到最终特征图，包括：
根据平均池化内核大小和所述通道数确定所述增强边缘信息的矿石特征图中的支持特征，根据所述长度、所述宽度和所述通道数确定所述增强边缘信息的矿石特征图中的查询特征；
按照所述平均池化内核大小的维度，以所述支持特征作为卷积核对所述查询特征的深度互相关特征进行卷积计算，遍历所述支持特征和所述查询特征的相似度，得到所述空间注意特征图As：
其中，As表示生成的空间注意力特征图，c、h、w是特征图的长，宽，通道数，m,n∈{1,……P}，支持特征为X∈tC×P×P，C为特征通道数，P为平均池化后的内核大小，查询特征为Y∈tC ×H×W，H、W是特征图的长和宽，t是向量空间；
分别将所述支持特征通过一维卷积压缩通道后依次进行重构处理和归一化处理得到支持特征矩阵，以及将所述查询特征通过一维卷积压缩通道后进行重构处理得到查询特征矩阵，由所述支持特征矩阵和所述查询特征矩阵相乘后与所述查询特征进行同或运算得到所述通道注意特征图Ac：
Ac＝SG[1(Convs(Y)×FSM(2(Convs(X))]⊙Y
其中，Ac表示生成的通道注意力特征图，τ1和τ2是张量resh操作，FSG代表sigmoid，FSM表示softmax，⊙表示相乘连接，Convs是卷积操作；
将所述通道注意特征图和所述空间注意特征图进行融合计算，得到所述最终特征图。
6.根据权利要求5所述的矿石图像小样本目标检测方法，其特征在于，所述利用所述预设轻量多关系检测头对所述最终特征图进行相似度计算和分类预测，获得所述目标检测框架，包括：
将所述通道注意特征图和所述空间注意特征图进行叠加，并采用全连接层进行连接，得到全局关系头GR(,Y)：
GR(,Y)＝FC((,Y))
其中，Cat表示将两张特征图叠加，FC表示全连接层，X表示支持特征，Y表示查询特征；
对所述通道注意特征图和所述空间注意特征图进行预设深度卷积操作，得到局部关系头LR(,Y)：
LR(,Y)＝Cross(,Y)
其中，Cross(,Y)表示深度卷积关系操作；
确定所述查询特征的查询嵌入向量，由所述查询嵌入得到所有像素查询嵌入平均值向量，确定所述支持特征的键嵌入向量，由所述键嵌入得到所述像素键嵌入平均值向量，由所述查询嵌入向量和所述所有像素查询嵌入平均值向量之差的转置，与所述键嵌入向量和所述像素键嵌入平均值向量之差进行映射，得到零散关系头PR(,Y)：
PR(,Y)＝φ((-μQ)T(-μK))
其中，φ是映射操作，Q表示查询特征Y的查询嵌入，K表示支持特征X的键嵌入，μQ和μK分别代表查询嵌入和键嵌入的所有像素的平均值；
由第一权重调节系数、所述全局关系头、第二权重调节系数、所述局部关系头、第三权重调节系数和零散关系头进行加权求和，得到所述目标检测框架的置信度Γ：
Γ＝σ1GR(X,Y)+σ2LR(X,Y)+σ3PR(X,Y)
其中，σ1，σ2，σ3为各关系头的权重调节系数。
7.根据权利要求1所述的矿石图像小样本目标检测方法，其特征在于，所述获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型，包括：
提取所述预设标准数据集中预设个数类别图像对所述目标检测框架进行基础训练；
在所述矿石标注数据库中选取预设个数样本，基于预设交并比阈值，采用所述预设个数样本验证模型性能的准确性，并验证所述模型性能的推理使用内存、推理速度和模型尺寸，确定模型性能最优值，得到所述矿石小样本目标检测模型。
8.根据权利要求1所述的矿石图像小样本目标检测方法，其特征在于，所述将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果，包括：
由所述矿石小样本目标检测模型输出所述待检测矿石图像的坐标，基于所述坐标确定所述待检测矿石图像的边界框；
根据所述边界框计算得到矿石边界矩形面积。
9.一种矿石图像小样本目标检测系统，其特征在于，包括：
采集模块，用于采集矿石样本图像集合，基于所述矿石图像样本集合得到矿石标注数据库；
构建模块，用于基于样本增强模块、双注意力区域生成网络和预设轻量多关系检测头构建目标检测框架；
训练模块，用于获取预设标准数据集，利用预设标准数据集对所述目标检测框架进行基础训练，利用所述矿石标注数据库对所述目标检测框架进行微调训练，得到矿石小样本目标检测模型；
检测模块，用于将待检测矿石图像输入至所述矿石小样本目标检测模型，得到矿石目标检测结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述矿石图像小样本目标检测方法。
CN202310384210.4A 2023-04-11 2023-04-11 一种矿石图像小样本目标检测方法及系统 Pending CN116524356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384210.4A CN116524356A (zh) 2023-04-11 2023-04-11 一种矿石图像小样本目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310384210.4A CN116524356A (zh) 2023-04-11 2023-04-11 一种矿石图像小样本目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN116524356A true CN116524356A (zh) 2023-08-01

Family

ID=87398625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310384210.4A Pending CN116524356A (zh) 2023-04-11 2023-04-11 一种矿石图像小样本目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116524356A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095187A (zh) * 2023-10-16 2023-11-21 四川大学 元学习视觉语言理解与定位方法
CN117808808A (zh) * 2024-03-01 2024-04-02 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质
CN118279675A (zh) * 2024-05-31 2024-07-02 吉林大学 一种小样本细粒度图像分类方法及系统
CN118297993A (zh) * 2024-03-29 2024-07-05 深圳市大正建设工程咨询有限公司 一种基于循环孪生注意力机制的点云配准方法
CN118334596A (zh) * 2024-06-17 2024-07-12 江西国泰利民信息科技有限公司 一种物体状态检测模型构建方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095187A (zh) * 2023-10-16 2023-11-21 四川大学 元学习视觉语言理解与定位方法
CN117095187B (zh) * 2023-10-16 2023-12-19 四川大学 元学习视觉语言理解与定位方法
CN117808808A (zh) * 2024-03-01 2024-04-02 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质
CN117808808B (zh) * 2024-03-01 2024-05-14 山东师范大学 一种矿石粒度检测方法、系统、电子设备及存储介质
CN118297993A (zh) * 2024-03-29 2024-07-05 深圳市大正建设工程咨询有限公司 一种基于循环孪生注意力机制的点云配准方法
CN118279675A (zh) * 2024-05-31 2024-07-02 吉林大学 一种小样本细粒度图像分类方法及系统
CN118334596A (zh) * 2024-06-17 2024-07-12 江西国泰利民信息科技有限公司 一种物体状态检测模型构建方法及系统

Similar Documents

Publication Publication Date Title
CN116524356A (zh) 一种矿石图像小样本目标检测方法及系统
Wan et al. Mixed local channel attention for object detection
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN109726746B (zh) 一种模板匹配的方法及装置
CN111401339B (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN110163294B (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
CN111967464A (zh) 一种基于深度学习的弱监督目标定位方法
Yin et al. G2Grad-CAMRL: an object detection and interpretation model based on gradient-weighted class activation mapping and reinforcement learning in remote sensing images
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110633711A (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
Bizopoulos et al. Comprehensive comparison of deep learning models for lung and COVID-19 lesion segmentation in CT scans
CN115423995A (zh) 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
CN113496260B (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Sun et al. Perceptual multi-channel visual feature fusion for scene categorization
Jiang et al. C2SPoint: A classification-to-saliency network for point cloud saliency detection
CN112418020A (zh) 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
CN116824138A (zh) 基于点击点影响增强的交互式图像分割方法及设备
CN114898155B (zh) 车辆定损方法、装置、设备及存储介质
CN116309465A (zh) 一种基于改进的YOLOv5的自然环境下舌像检测定位方法
CN114964628A (zh) 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统
CN110705570B (zh) 一种图像特征识别方法
Vijayakumar et al. Machine learning algorithm for improving the efficient of forgery detection
CN117611580B (zh) 瑕疵检测方法、装置、计算机设备和存储介质
Riyaz et al. A Novel Prediction Analysing the False Acceptance Rate and False Rejection Rate using CNN Model to Improve the Accuracy for Iris Recognition System for Biometric Security in Clouds Comparing with Traditional Inception Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination