CN117237697A - 一种小样本图像检测方法、系统、介质及设备 - Google Patents

一种小样本图像检测方法、系统、介质及设备 Download PDF

Info

Publication number
CN117237697A
CN117237697A CN202310960507.0A CN202310960507A CN117237697A CN 117237697 A CN117237697 A CN 117237697A CN 202310960507 A CN202310960507 A CN 202310960507A CN 117237697 A CN117237697 A CN 117237697A
Authority
CN
China
Prior art keywords
image detection
loss
data
detection model
candidate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310960507.0A
Other languages
English (en)
Other versions
CN117237697B (zh
Inventor
梁孔明
马占宇
关曼丹
喻雯晴
郭玉荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310960507.0A priority Critical patent/CN117237697B/zh
Publication of CN117237697A publication Critical patent/CN117237697A/zh
Application granted granted Critical
Publication of CN117237697B publication Critical patent/CN117237697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本公开涉及一种小样本图像检测方法、系统、介质及设备,方法包括:向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;从所述增强数据中利用卷积神经网络提取特征向量;生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;计算图像检测模型的损失并更新图像检测模型的参数。不同于传统的基于候选框的预测方法:单个候选框预测单个实例。针对不同程度的遮挡问题进行算法的优化:在生成候选框之后,为每个候选框预测一组实例。

Description

一种小样本图像检测方法、系统、介质及设备
技术领域
本公开涉及小样本图像检测技术领域,更为具体来说,本公开涉及一种小样本图像检测方法、系统、介质及设备。
背景技术
深度学习已经在计算机视觉识别任务上取得巨大成功,这主要得益于大量的可训练样本数据。传统的目标检测算法通常需要大量的标注数据来训练准确的模型,然而,在实际应用中,并没有足够的数据供使用。因此,近年来,小样本目标检测获得了相当的关注。
目前来说,有两条技术路线来解决这个问题:为了进行从基类到新类的知识转移,基于元学习的方法开发了一个阶段性和周期性的元训练范式。另一个采用基于微调的方法,它通过在预训练模型的基础上进行有限的调整来适应目标检测任务的特定数据集。
然而,在样本量已经很小的前提下,用户想找到能支撑训练有遮挡情况出现的样本更加困难。遮挡问题在FSOD中很常见并且棘手,但是它很少受到关注。由于支持集无法提供足够的有重叠对象的样本来训练模型,因此在查询集中进行测试时出现了错检甚至是漏检的情况。现有的方法通常对每个候选框只预测一个边界框。这它往往优先考虑更容易检测到的目标,而忽略了受遮挡影响较大的更有挑战性的目标。
现有的少样本目标检测算法在处理目标遮挡情况时存在以下技术问题:
遮挡目标的特征表达:遮挡情况下,目标的一部分或全部特征可能被其他对象或背景遮挡,导致目标的关键信息丢失。
遮挡判断与处理:在目标之间存在相似特征或复杂遮挡模式的情况下,传统算法难以准确判断目标是否受到遮挡。
遮挡目标的定位与回归:目标遮挡情况下,准确的位置估计和边界框回归对于目标检测的准确性至关重要。
发明内容
为解决现有技术的小样本检测中的遮挡问题。
为实现上述技术目的,本公开提供了一种小样本图像检测方法,所述方法包括:
向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
从所述增强数据中利用卷积神经网络提取特征向量;
利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数。
进一步,所述方法还包括:
在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
进一步,所述利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
进一步,所述方法还包括:
利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
为实现上述技术目的,本公开还能够提供一种小样本图像检测系统,所述系统包括:
数据采集增强模块,用于向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
特征向量提取模块,用于从所述增强数据中利用卷积神经网络提取特征向量;
候选框生成提取模块,用于利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
分类回归模块,用于利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
损失计算模块,用于计算图像检测模型的损失并更新图像检测模型的参数。
进一步,还包括:
参数调整模块,用于在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
进一步,所述损失计算模块具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
进一步,还包括:
数据调整模块,用于利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
为实现上述技术目的,本公开还能够提供一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时用于实现上述的小样本图像检测方法的步骤。
为实现上述技术目的,本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的小样本图像检测方法的步骤。
本公开的有益效果:
本方案不同于传统的基于候选框的预测方法:单个候选框预测单个实例。针对不同程度的遮挡问题进行算法的优化:在生成候选框之后,为每个候选框预测一组实例。换句话说,任何候选框都可以预测出具有相同真实标签的K个实例。这为最后的候选框选择提供了更为丰富的样本,间接上降低遮挡场景下的目标误检、错检的概率。接着,引入两个策略以更好地让多实例预测的方法更有效。传统的非极大值抑制(NMS)会过滤掉具有高重叠的预测框,这可能错误地压制新分类的框。为了克服这个问题,本公开提出了一种新的策略,即对于来自同一候选框的实例,跳过NMS步骤。这个策略可以有效抑制错误生成或多余生成的边界框,而选择出最后正确的结果。此外,由于从单个候选框预测的实例共享相同的真实标签,它们的特征在训练过程中往往会趋于融合。为了减轻相同特征带来的影响,引入一种新的损失函数来增强特征的差异性。最终,本公开在不同的基准测试中都取得了良好的性能。
附图说明
图1示出了本公开的实施例1的方法的流程示意图;
图2示出了本公开的实施例1的方法的流程示意图;
图3示出了本公开的实施例2的系统的结构示意图;
图4示出了本公开的实施例4的结构示意图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在附图中示出了根据本公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
实施例一:
如图1和图2所示:
本公开提供了一种小样本图像检测方法,所述方法包括:
向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
从所述增强数据中利用卷积神经网络提取特征向量;
利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数。
进一步,所述方法还包括:
在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
进一步,所述利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
进一步,所述方法还包括:
利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
本公开提供了一种通过多重预测来解决小样本检测中遮挡问题的算法,如图2所示,本发明技术方案包括以下具体步骤:
阶段一:常规的目标检测训练。
步骤1)输入模块:负责向网络模型输入样本图片数据;
步骤2)预处理模块:负责对输入的样本图片数据进行数据增强;
步骤3)CNN特征提取网络模块:由神经网络ResNet-50构成,负责从预处理过的样本图片中提取特征向量。其中,不限定神经网络的种类,可选用VGG-16、DenseNet等多种神经网络;
步骤4)RPN网络模块:负责生成候选框(region proposals),即可能包含目标对象的边界框。这些候选框将被后续的分类器用来检测和定位目标。这一模块主要有两个功能,一方面要生成一组候选框(图像中可能是前景的区域坐标),并将其传递给RoI模块;另一方面要计算RPN网络的损失,用于更新网络的参数。
步骤5)RoI网络模块:对区域候选框进行降采样,并按候选框的坐标提取出特征图中的特征,并将其传入下一层。
步骤6)预测模块:一个候选框预测多个实例组合,扩大最后可选边界框的候选范围,降低误检、错检概率。然后用多层全连接网络对RoI传入的特征进行分类和回归,以得到预测目标的位置和标签;
步骤7)计算RCNN的损失,用于更新网络的参数。由于单个候选框预测多个实例,可能会使得最后的训练特征趋于一致,因此需要增加限制最后边界框训练特征趋于一致的损失函数。
阶段二:基于小样本的微调。
步骤8)在保持整个特征提取器参数不变的情况下,去除模型最后一层的参数。
步骤9)将新类随机初始化的权值分配给模型最后一层(即分类器和回归器),只微调分类器和回归器。
步骤10)之后再在一个包括基类和新类平衡的数据集上进行微调。这个过程使用了和阶段1相同的损失函数,并且缩小学习速率。
本发明测试过程主要增加NMS后处理步骤。
步骤11):输入图像经过CNN特征提取网络模块得到特征图;
步骤12):针对该图像的特征图经过RPN模块后得到N个候选框;
步骤13):将得到的候选框输入到ROI网络模块中;
步骤14):得出每个候选框的类别得分和边界框位置参数;
步骤15):由得分阈值选出最终的ROI;
步骤16):结合位置参数微调出ROI最终的边界框;
步骤17):经过NMS后处理操作得到最终的检测框。NMS操作如下:当边界框来自同一候选框的预测时,跳过NMS操作。当实例来自不同的候选框时,照常使用NMS。
以下为具体解释常规的目标检测训练阶段一些具体步骤:
进一步的,所述步骤1)中向网络模型中输入样本数据的具体实施步骤如下:
步骤1.1)假设一个数据集D={(x,y),x∈X,y∈Y},x表示输入图像,y={(ci,li),i=1,...,N}表示标注的两个变量集合。其中c∈Cb∪Cn表示类别信息,Cb表示基类,Cn表示新类。l表示图像x中N个标注实例候选框的偏移量。
步骤1.2)把以上定义数据集中的类别划分为两类Cb和Cn,这两个集合是没有任何交集的。训练过程分为两阶段,在第一阶段只使用Cb,在第二阶段加入Cn做finetune,每个新类中都有相同数量的k个标注样本。测试过程中,在Cn中选取n类,即n-way k-shot问题。
进一步的,所述步骤2)中对训练数据集进行预处理的具体实施步骤如下:
步骤2.1)将数据集中所有训练图像调整图片大小为256×128;
步骤2.2)对调整后的图片依次进行以下数据增强:随机翻转、填充像素、随机裁剪和随机擦除、颜色抖动、马赛克、随机裁剪;
步骤2.3)每个小批次的小样本数据集图片由来自不同类别的10/30张训练图像组成,并以类平衡的方式进行采样。
进一步的,所述步骤3)中特征提取网络CNN提取特征的具体实施步骤如下:
步骤3.1)下载并加载预训练的ResNet-50模型权重。这些权重是在大规模图像数据集上进行训练得到的,通常能够提取出图像中的有用特征。
步骤3.2)移除全连接层:ResNet-50模型的最后一层是一个全连接层,用于执行分类任务。在进行特征提取时,通常会移除这个全连接层,由于本公开的方案只关注提取图像的特征而不是执行分类。
步骤3.3)冻结权重:冻结ResNet-50除了分类分数和目标偏移量的所有其他权重,这意味着在后续的训练过程中不会更新这些权重。需要注意的是,这可能有很多组分类分数和目标偏移量。
进一步的,所述步骤4)中RPN模块生成区域候选框的具体实施步骤如下:
步骤4.1)对于特征图上的每一个点(锚点),生成具有不同尺度和宽高比的锚点框,这个锚点框的坐标(x,y,w,h)是在原图上的坐标。
步骤4.2)将这些锚点框输入到两个网络层中去,一个(rpn_cls_score)用来分类,即这个锚点框里面的特征图是否属于前景;另外一个(rpn_bbox_pred)输出四个位置坐标(相对于真实物体框的偏移);这时候就需要GT来进行loss学习。
步骤4.3)将锚点框与Ground Truth中的标签框进行IoU对比,如果其IoU高于某个阈值,则该锚点框标定为前景框,否则属于背景框;对于前景框,还要计算其与真实标签框的4个位置偏移;将这个标注好的锚点框(带有前背景类别和位置偏移标注)与4.2中卷积网络层的两个输出进行loss比较,从而学习到如何提取前景框。
步骤4.4)学习到如何提取前景框后,就根据rpn_cls_score层的输出概率值确定前景框;位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标;这样子就得到了前景框,起到了选择搜索的作用。
进一步的,所述步骤5)中ROI网络模块进行降采样操作的具体实施步骤如下:
步骤5.1)由于RPN输出的ROI是对应M×N尺度的,所以首先将其映射回(M/16)x(N/16)大小的feature map尺度。
步骤5.2)再将每个ROI对应的feature map区域水平分为网格。
步骤5.3)对网格的每一份都进行max pooling处理。这样处理后,即使大小不同的ROI,输出结果都是固定大小,实现了固定长度输出。
进一步的,所述步骤6)中一个区域候选框预测多个实例组合的具体实施步骤如下:
步骤6.1)为每个区域候选框构建一组相对应的关联ground truthG(bi)。
G(bi)={gj∈G|IOU(bi,gj)≥θ}
其中b表示边界框,G(bi)表示关联ground truth的集合,θ表示IOU阈值。
步骤6.2)每一个区域候选框都预测有一组相应的实例表示为(di,mi),对每个提议进行预测。其中,di是每个预测的类别的置信分数,mi是边界框位置坐标的偏移量。把预测的一组实例S(bi)表示为:
其中和/>指的是第k组预测实例。
进一步的,所述步骤7)中对计算RCNN损失函数的具体实施步骤如下:
步骤7.1)最开始在基类上进行训练的损失函数L组成包括三个部分:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于RPN的输出,以区分锚框的中心和背景的差异。Lcls是分类器的交叉熵损失,而Lloc是边界框回归器的损失。
步骤7.2)如前所述,一组边界框被预测出来。在训练过程中,在原来损失函数的引入了一个新的损失函数distLoss来拉远这些边界框之间的距离。如下所示:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数。d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
实施例二:
如图3所示:
为了解决上述技术问题,本公开还能提供一种小样本图像检测系统,所述系统包括:
数据采集增强模块201,用于向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
特征向量提取模块202,用于从所述增强数据中利用卷积神经网络提取特征向量;
候选框生成提取模块203,用于利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
分类回归模块204,用于利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
损失计算模块205,用于计算图像检测模型的损失并更新图像检测模型的参数。
进一步,还包括:
参数调整模块,用于在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
进一步,所述损失计算模块具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
进一步,还包括:
数据调整模块,用于利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
实施例三:
本公开还能够提供一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时用于实现上述的小样本图像检测方法的步骤。
本公开的计算机存储介质可以采用半导体存储器、磁芯存储器、磁鼓存储器或磁盘存储器实现。
半导体存储器,主要用于计算机的半导体存储元件主要有Mos和双极型两种。Mos元件集成度高、工艺简单但速度较慢。双极型元件工艺复杂、功耗大、集成度低但速度快。NMos和CMos问世后,使Mos存储器在半导体存储器中开始占主要地位。NMos速度快,如英特尔公司的1K位静态随机存储器的存取时间为45ns。而CMos耗电省,4K位的CMos静态存储器存取时间为300ns。上述半导体存储器都是随机存取存储器(RAM),即在工作过程中可随机进行读出和写入新内容。而半导体只读存储器(ROM)在工作过程中可随机读出但不能写入,它用来存放已固化好的程序和数据。ROM又分为不可改写的熔断丝式只读存储器──PROM和可改写的只读存储器EPROM两种。
磁芯存储器,具有成本低,可靠性高的特点,且有20多年的实际使用经验。70年代中期以前广泛使用磁芯存储器作为主存储器。其存储容量可达10位以上,存取时间最快为300ns。国际上典型的磁芯存储器容量为4MS~8MB,存取周期为1.0~1.5μs。在半导体存储快速发展取代磁芯存储器作为主存储器的位置之后,磁芯存储器仍然可以作为大容量扩充存储器而得到应用。
磁鼓存储器,一种磁记录的外存储器。由于其信息存取速度快,工作稳定可靠,虽然其容量较小,正逐渐被磁盘存储器所取代,但仍被用作实时过程控制计算机和中、大型计算机的外存储器。为了适应小型和微型计算机的需要,出现了超小型磁鼓,其体积小、重量轻、可靠性高、使用方便。
磁盘存储器,一种磁记录的外存储器。它兼有磁鼓和磁带存储器的优点,即其存储容量较磁鼓容量大,而存取速度则较磁带存储器快,又可脱机贮存,因此在各种计算机系统中磁盘被广泛用作大容量的外存储器。磁盘一般分为硬磁盘和软磁盘存储器两大类。
硬磁盘存储器的品种很多。从结构上,分可换式和固定式两种。可换式磁盘盘片可调换,固定式磁盘盘片是固定的。可换式和固定式磁盘都有多片组合和单片结构两种,又都可分为固定磁头型和活动磁头型。固定磁头型磁盘的容量较小,记录密度低存取速度高,但造价高。活动磁头型磁盘记录密度高(可达1000~6250位/英寸),因而容量大,但存取速度相对固定磁头磁盘低。磁盘产品的存储容量可达几百兆字节,位密度为每英寸6 250位,道密度为每英寸475道。其中多片可换磁盘存储器由于盘组可以更换,具有很大的脱体容量,而且容量大,速度高,可存储大容量情报资料,在联机情报检索系统、数据库管理系统中得到广泛应用。
实施例四:
本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的小样本图像检测方法的步骤。
图4为一个实施例中电子设备的内部结构示意图。如图4所示,该电子设备包括通过系统总线连接的处理器、存储介质、存储器和网络接口。其中,该计算机设备的存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种小样本图像检测方法。该电设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种小样本图像检测方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
该电子设备包括但不限于智能电话、计算机、平板电脑、可穿戴智能设备、人工智能设备、移动电源等。
所述处理器在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器内的程序或者模块(例如执行远端数据读写程序等),以及调用存储在所述存储器内的数据,以执行电子设备的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图4示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。本公开的范围由所附权利要求及其等价物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种小样本图像检测方法,其特征在于,所述方法包括:
向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
从所述增强数据中利用卷积神经网络提取特征向量;
利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
3.根据权利要求1所述的方法,其特征在于,所述利用损失度函数计算图像检测模型的损失并更新图像检测模型的参数具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
5.一种小样本图像检测系统,其特征在于,所述系统包括:
数据采集增强模块,用于向图像检测模型中输入样本数据并对所述样本数据进行数据增强得到增强后的增强数据;
特征向量提取模块,用于从所述增强数据中利用卷积神经网络提取特征向量;
候选框生成提取模块,用于利用候选框生成网络生成用于分类器检测和定位目标的第一区域候选框,对所述第一区域候选框进行降采样得到第二区域候选框并根据所述第二区域候选框的坐标提取出所述特征向量中的特征;其中,第一区域候选框预测单组实例;
分类回归模块,用于利用多层全连接网络对传入的特征进行分类和回归,以得到预测目标的位置和标签;
损失计算模块,用于计算图像检测模型的损失并更新图像检测模型的参数。
6.根据权利要求5所述的系统,其特征在于,还包括:
参数调整模块,用于在保持整个特征卷积神经网络的参数不变的情况下,去除图像检测模型最后一层的参数;
将新类随机初始化的权值分配给模型最后一层。
7.根据权利要求5所述的系统,其特征在于,所述损失计算模块具体包括:
利用损失度函数L计算图像检测模型的损失:
L=Lrpn+Lcls+Lloc
其中,Lrpn用于候选框生成网络的输出,以区分锚框的中心和背景的差异;Lcls是分类器的交叉熵损失,Lloc是边界框回归器的损失;
还包括在原来一个新的损失函数distLoss来拉远这些边界框之间的距离:
其中α是针对框分类器网络的参数,β是针对边界回归器的参数;d表示的是分类器分类的置信分数,m表示的是边界框偏移量。
8.根据权利要求5所述的系统,其特征在于,还包括:
数据调整模块,用于利用所述损失度函数对一个包括基类和新类平衡的数据集上进行微调。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现权利要求1~4任一项中所述的小样本图像检测方法对应的步骤。
10.一种计算机存储介质,其上存储有计算机程序指令,其特征在于,所述程序指令被处理器执行时用于实现权利要求1~4任一项中所述的小样本图像检测方法对应的步骤。
CN202310960507.0A 2023-08-01 2023-08-01 一种小样本图像检测方法、系统、介质及设备 Active CN117237697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310960507.0A CN117237697B (zh) 2023-08-01 2023-08-01 一种小样本图像检测方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310960507.0A CN117237697B (zh) 2023-08-01 2023-08-01 一种小样本图像检测方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN117237697A true CN117237697A (zh) 2023-12-15
CN117237697B CN117237697B (zh) 2024-05-17

Family

ID=89091839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310960507.0A Active CN117237697B (zh) 2023-08-01 2023-08-01 一种小样本图像检测方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN117237697B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948497A (zh) * 2019-03-12 2019-06-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
WO2020051545A1 (en) * 2018-09-07 2020-03-12 Alibaba Group Holding Limited Method and computer-readable storage medium for generating training samples for training a target detector
CN113255682A (zh) * 2021-06-04 2021-08-13 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质
CN113971815A (zh) * 2021-10-28 2022-01-25 西安电子科技大学 基于奇异值分解特征增强的少样本目标检测方法
CN114049561A (zh) * 2021-11-25 2022-02-15 江苏科技大学 一种船舶目标检测模型及方法
CN114399644A (zh) * 2021-12-15 2022-04-26 北京邮电大学 一种基于小样本目标检测方法及装置
CN115272652A (zh) * 2022-07-29 2022-11-01 东南大学 基于多元回归和自适应焦点损失的密集物体图像检测方法
CN115439645A (zh) * 2022-06-22 2022-12-06 西北工业大学 基于目标建议框增量的小样本目标检测方法
CN115937879A (zh) * 2022-12-31 2023-04-07 山东女子学院 基于多尺度特征融合网络的学术内容目标检测方法及系统
CN116416503A (zh) * 2023-03-13 2023-07-11 四川九洲电器集团有限责任公司 一种基于多模态融合的小样本目标检测方法、系统及介质
CN116452818A (zh) * 2023-05-06 2023-07-18 重庆邮电大学 一种基于特征增强的小样本遥感图像目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051545A1 (en) * 2018-09-07 2020-03-12 Alibaba Group Holding Limited Method and computer-readable storage medium for generating training samples for training a target detector
CN109948497A (zh) * 2019-03-12 2019-06-28 北京旷视科技有限公司 一种物体检测方法、装置及电子设备
CN113255682A (zh) * 2021-06-04 2021-08-13 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质
CN113971815A (zh) * 2021-10-28 2022-01-25 西安电子科技大学 基于奇异值分解特征增强的少样本目标检测方法
CN114049561A (zh) * 2021-11-25 2022-02-15 江苏科技大学 一种船舶目标检测模型及方法
CN114399644A (zh) * 2021-12-15 2022-04-26 北京邮电大学 一种基于小样本目标检测方法及装置
WO2023109208A1 (zh) * 2021-12-15 2023-06-22 北京邮电大学 小样本目标检测方法及装置
CN115439645A (zh) * 2022-06-22 2022-12-06 西北工业大学 基于目标建议框增量的小样本目标检测方法
CN115272652A (zh) * 2022-07-29 2022-11-01 东南大学 基于多元回归和自适应焦点损失的密集物体图像检测方法
CN115937879A (zh) * 2022-12-31 2023-04-07 山东女子学院 基于多尺度特征融合网络的学术内容目标检测方法及系统
CN116416503A (zh) * 2023-03-13 2023-07-11 四川九洲电器集团有限责任公司 一种基于多模态融合的小样本目标检测方法、系统及介质
CN116452818A (zh) * 2023-05-06 2023-07-18 重庆邮电大学 一种基于特征增强的小样本遥感图像目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MANDAN GUAN等: "Focus the Overlapping Problem on Few-Shot Object Detectionvia Multiple Predictions", 《PRCV 2023》, 24 December 2023 (2023-12-24), pages 427 - 439 *
XIN WANG等: "Frustratingly Simple Few-Shot Object Detection", 《ARXIV:2003.06957》, 16 March 2020 (2020-03-16), pages 1 - 12 *
史燕燕等: "小样本目标检测研究综述", 《计算机学报》, vol. 46, no. 08, 21 April 2023 (2023-04-21), pages 1753 - 1780 *
李晓旭等: "小样本图像分类的注意力全关系网络", 《计算机学报》, vol. 46, no. 02, 15 February 2023 (2023-02-15), pages 371 - 384 *
马霆松: "低分辨率和非常规类型目标检测的关键技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》, 15 January 2023 (2023-01-15), pages 138 - 54 *

Also Published As

Publication number Publication date
CN117237697B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
Li et al. Pixel-anchor: A fast oriented scene text detector with combined networks
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110610510B (zh) 目标跟踪方法、装置、电子设备及存储介质
US9396546B2 (en) Labeling objects in image scenes
Li et al. A new method of image detection for small datasets under the framework of YOLO network
GB2565775A (en) A Method, an apparatus and a computer program product for object detection
CN113628244B (zh) 基于无标注视频训练的目标跟踪方法、系统、终端及介质
CN111311634A (zh) 一种人脸图像检测方法、装置及设备
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
Liu et al. Fabric defect detection based on lightweight neural network
WO2022252565A1 (zh) 一种目标检测系统、方法、装置、设备及介质
Cygert et al. Style transfer for detecting vehicles with thermal camera
CN115878824B (zh) 图像检索系统、方法和装置
CN117237697B (zh) 一种小样本图像检测方法、系统、介质及设备
Dahirou et al. Motion Detection and Object Detection: Yolo (You Only Look Once)
WO2023036157A1 (en) Self-supervised spatiotemporal representation learning by exploring video continuity
CN113824989B (zh) 一种视频处理方法、装置和计算机可读存储介质
CN112380970B (zh) 基于局部区域搜索的视频目标检测方法
WO2022098092A1 (en) Method of video search in an electronic device
CN113516118B (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
Ji et al. Method of Insulator Detection Based on Improved Faster R-CNN
CN113658222A (zh) 一种车辆检测跟踪方法及装置
CN113971225A (zh) 图像检索系统、方法和装置
Tao et al. 3d semantic vslam of indoor environment based on mask scoring rcnn
US12008037B2 (en) Method of video search in an electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant