CN112364931A - 基于元特征和权重调整的少样本目标检测方法及网络模型 - Google Patents

基于元特征和权重调整的少样本目标检测方法及网络模型 Download PDF

Info

Publication number
CN112364931A
CN112364931A CN202011309906.3A CN202011309906A CN112364931A CN 112364931 A CN112364931 A CN 112364931A CN 202011309906 A CN202011309906 A CN 202011309906A CN 112364931 A CN112364931 A CN 112364931A
Authority
CN
China
Prior art keywords
meta
target
feature
weight
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011309906.3A
Other languages
English (en)
Other versions
CN112364931B (zh
Inventor
夏利锋
王绍丽
肖和龙
邓建猛
黄�俊
李凌荣
蒋晓鹏
刘文灿
雷一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Junmin Advanced Technology Research Co ltd
Original Assignee
Changsha Junmin Advanced Technology Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Junmin Advanced Technology Research Co ltd filed Critical Changsha Junmin Advanced Technology Research Co ltd
Priority to CN202011309906.3A priority Critical patent/CN112364931B/zh
Publication of CN112364931A publication Critical patent/CN112364931A/zh
Application granted granted Critical
Publication of CN112364931B publication Critical patent/CN112364931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于元特征和权重调整的少样本目标检测方法及网络模型，所述方法如下：S1、构建检测网络模型并对图像进行预处理；S2、提取base类图像的元特征和权重向量；S3、结合提取的元特征和权重向量获取多维特征图，并将其输入分类回归模块中计算出损失函数；S4、根据损失函数和梯度下降调整网络参数，实现base类图像对检测网络模型的训练；S5、提取base类和new类联合图像的元特征和权重向量；S6、重复步骤S3和步骤S4，完成new类和base类联合图像对检测网络模型的训练；S7、利用训练好的检测网络模型对测试图像进行检测。本发明中检测网络模型的训练利用大量数据的样本提取元特征，并借助少样本数据进行微调，提升了少量标记样本目标检测的准确率。

Description

基于元特征和权重调整的少样本目标检测方法及网络模型
技术领域
本发明属于计算机视觉检测技术领域，主要涉及深度学习目标检测，具体来说就是提出了一种基于元特征和权重调整的少样本目标检测方法及网络模型，可以用来实现对只有少量样本的目标进行分类和定位。
背景技术
目前，计算机视觉领域的目标检测任务在工业生产及智能监控等领域中都得到了广泛的应用。目标检测是从图像分类基础上延伸而来的，其主要包括识别图像中所包含的目标，以及标定出目标的位置。在以前，由于计算机的处理速度和内存的限制，研究人员一般使用传统非卷积神经网络的检测方法来检测目标，但随着计算机处理速度和内存的急速发展，使深度学习变成了可行方法。并且，基于深度神经网络的目标检测方法在检测效率以及准确率上均优于传统的目标检测方法。
基于深度学习的目标检测方法主要分为两种：需要候选框的双阶段目标检测和不需要候选框的单阶段目标检测。RCNN、SPPNet、Fast-RCNN及Faster RCNN系列属于前一种方法，RCNN通过对每一个候选框进行卷积进而得到各自的特征图，再根据所得到的特征图进行分类和定位；SPPNet和Fast-RCNN首先通过对整张图进行卷积得到整的特征图，然后再通过RoI Pooling提取各个候选框的特征，从而改进了RCNN系列；Faster RCNN则是改进了候选框的提取方法，使用了一个RPN网络来提取候选框，改善了候选框的产生效率。相反，YOLO属于后一种方法，它直接使用一个神经网络来进行分类和边界框预测。在速度和准确率上，两种检测方法各有优势，通常说来，双阶段目标检测在检测精度上高于单阶段目标检测，而单阶段目标检测由于其不需要产生候选框，从而在检测速度上优于双阶段目标检测，但是两种检测方法中的目标检测任务严重依赖于大量带有标记的数据集进行训练，但在实际应用中，有些物体的数据本身很少，或者很难去获取。当带有标记的数据缺乏时，将产生严重的过拟合和非常差的泛化能力，从而导致检测精度很低或者根本无法检测。
发明内容
本发明的目的是提供一种基于元特征和权重调整的少样本目标检测方法及网络模型，所述目标检测方法能够提升少量标记样本的目标检测准确率。
为解决上述技术问题，本发明提供一种基于元特征和权重调整的少样本目标检测方法，所述方法包括以下步骤：
S1、构建检测网络模型并对输入的base类训练图像、new类训练图像和测试图像均进行预处理；
S2、将预处理后的base类训练图像输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取对应的元特征图和权重向量；
S3、将各自卷积提取的元特征图和权重向量进行结合并获取对应的多维特征图，然后将获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，根据分类回归模块的当前目标输出结果与目标的真实类别及目标框位置计算出目标损失函数；
S4、根据所计算的目标损失函数和梯度下降不断调整网络参数，完成base类图像对检测网络模型的训练；
S5、将预处理后的new类训练图像和base类训练图像联合输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取其对应的元特征图和权重向量；
S6、重复步骤S3，并根据所计算的目标损失函数和梯度下降不断调整网络参数，从而完成new类和base类联合图像对检测网络模型的训练；
S7、利用步骤S6中完成的训练检测网络模型对预处理后的测试图像进行检测，进而输出测试图像中目标的检测结果。
优选地，所述步骤S1的具体实现方式为：将输入的base类训练图像、new类训练图像和测试图像尺寸利用双线性插值法缩放至416×416，然后归一化至[0，1]区间。
优选地，所述步骤S2的具体实现方式包括：
S21、将预处理后的base类的Query图像输入元特征提取模块进行卷积，提取不同目标类别的元特征图；
S22、将预处理后的base类Support图像输入权重调整模块进行卷积，提取各个目标类别的权重向量。
优选地，所述步骤S3的具体实现方式包括：
S31、将各自卷积所提取的元特征图和权重向量通过一个1×1的卷积进行结合，然后获取其对应的多维特征图；
S32、将所获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，从而输出当前目标属于每一个类别的概率及其对应坐标；
S33、根据分类回归模块输出当前目标属于每一个类别的概率及其对应坐标与当前目标的真实类别及目标框位置计算出目标损失函数。
优选地，所述步骤S32中的将所获取的多维特征图进行分类和回归可用公式表示为：
(oi,xi,yi,hi,wi,ci)＝p(Fi) (1)
式(1)中，i表示不同的类，i＝1，...，N，N为自然数，o表示锚点anchor的目标度评分，(x,y,h,w)表示定位框bbox的位置偏移量，x,y表示定位框的左上角位置坐标， h表示定位框的高度，w表示定位框的宽度，c表示分类分数，p表示预测模型，Fi表示类i的特定特征，其中
Figure BDA0002789438250000031
F＝D(I)表示输入图像I对应的元特征图，D表示对输入图像I卷积，wi＝M(Ii,Qi)表示类i特定的权重向量，Qi表示输入图像相关的边界框注释。
优选地，所述步骤S33中目标损失函数的计算公式可表示为：
L＝Lc+Lbbx+Lobj (2)
式(2)中，Lc表示分类损失，
Figure BDA0002789438250000032
其中
Figure BDA0002789438250000033
1(·,i)表示当前锚框是否属于类i的指示函数；Lbbx表示定位偏置损失，
Figure 100002_1
其中
Figure BDA0002789438250000035
表示第k个定位框是否存在对象的函数，λcoord表示权重系数，
Figure 100002_2
表示第r个定位框的标签与预测值之差；Lobj表示置信度损失，
Figure 100002_3
λobj表示调整置信度权重系数，
Figure 4
表示第k个定位框的标签和预测概率之差。
优选地，所述步骤S4的具体实现方式为：利用目标损失函数并根据分类回归模块的当前目标输出结果与目标标签的真实结果计算出两者之间的损失，然后通过随机梯度下降法对网络模型每一层进行反向求导，不断更新调整网络模型的每一层参数,完成 base类图像训练检测网络模型。
一种基于元特征和权重调整的少样本目标检测网络模型，包括元特征提取模块、权重调整模块和分类回归模块，其中：
元特征提取模块，用于提取输入图像的元特征图，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
权重调整模块，用于提取输入图像的权重向量，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
分类回归模块，用于接收所提取的元特征图和权重向量并进行结合以获取结合后的多维特征图，然后将结合后的多维特征图进行分类和回归以输出每个类的预测概率及对应坐标，并根据输出的预测结果计算出其目标损失函数，利用其目标损失函数和梯度下降不断调整网络参数，从而输出检测结果。
优选地，所述元特征提取模块内部网络结构为改进型的DarkNet19网络结构，权重调整模块采用轻量级的卷积神经网络。
优选地，所述分类回归模块通过无候选框单阶段网络结构将每一个的多维特征图进行分类和回归。
与现有技术比较，本发明提出了一种基于元特征和权重调整的少样本目标检测方法及网络模型，所述目标检测方法利用已有大量数据标记的样本提取元特征并将所提取的特征输入分类回归模块中得到目标的分类别和位置，进而完成检测网络模型的训练，然后借助需检测的少样本少量数据对所训练的网络参数进行微调，使得所提取的元特征能够对少样本少量数据进行有效反映，从而提升了只有少量标记样本的目标检测准确率。
附图说明
图1是本发明一种基于元特征和权重调整的少样本目标检测方法的步骤流程图，
图2是本发明中元特征图和权重向量的提取方法的步骤流程图，
图3是本发明中获取每一个类目标损失函数的步骤流程图，
图4是本发明中基于元特征和权重调整的少样本目标检测网络模型的示意图，
图5是DarkNet19网络的结构图，
图6是本发明中改进后的DarkNet19网络的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
如图1-图6所示，一种基于元特征和权重调整的少样本目标检测方法，所述方法包括以下步骤：
S1、构建检测网络模型并对输入的base类训练图像、new类训练图像和测试图像均进行预处理；
S2、将预处理后的base类训练图像输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取对应的元特征图和权重向量；
S3、将各自卷积提取的元特征图和权重向量进行结合并获取对应的多维特征图，然后将获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，根据分类回归模块的当前目标输出结果与目标的真实类别及目标框位置计算出目标损失函数；
S4、根据所计算的目标损失函数和梯度下降不断调整网络参数，完成base类图像对检测网络模型的训练；
S5、将预处理后的new类训练图像和base类训练图像联合输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取其对应的元特征图和权重向量；
S6、重复步骤S3，并根据所计算的目标损失函数和梯度下降不断调整网络参数，从而完成new类和base类联合图像对检测网络模型的训练；
S7、利用步骤S6中训练好的检测网络模型对预处理后的测试图像进行检测，进而输出测试图像中目标的检测结果。
本实施例中，所述检测网络模型的构建方法与现有技术中网络模型的构建方法相同，即分别构建元特征提取模块、权重调整模块和分类回归模块，此处不再一一赘述。首先对训练图片进行预处理，利用构建好的检测网络模型中的元特征提取模块和权重调整模块提取含有大量数据和对应标签的base类图像的元特征图和权重向量，并将所提取的元特征图和权重向量输入分类回归模块中进行相应处理实现了base类图像对检测网络模型的训练，然后将base类图像与少样本少量数据的new类图像进行联合并提取联合后图像的元特征图和权重向量进行处理，通过计算出其目标损失函数，并根据目标损失函数和梯度下降以对网络模型的参数进行微调，实现base类和new类联合图像对检测网络模型的训练，因此能够使new类图像中所提取的元特征很好的反映出少样本少量数据中的目标，从而提升了少量标记样本的目标检测准确率。
其中，所述步骤S1的具体实现方式为：将输入的base类训练图像、new类训练图像和测试图像尺寸利用双线性插值法缩放至416×416，然后归一化至[0，1]区间。
本实施例中，首先将base类和novel类训练图像的尺寸通过双线性插值法缩放至416×416，随后将像素值归一化至[0-1]区间，考虑到很多情况下待检测物体的中心点容易出现在图像的中央，所以使用416×416经过5次降采样之后生成的Feature Map 的尺寸是13×13，这种奇数尺寸的Feature Map获得的中心点的特征向量更准确。
如图2、图4所示，所述步骤S2的具体实现方式包括：
S21、将预处理后的base类的Query图像输入元特征提取模块进行卷积，提取不同目标类别的元特征图；
S22、将预处理后的base类Support图像输入权重调整模块进行卷积，提取各个目标类别的权重向量。
如图3、图4所示，所述步骤S3的具体实现方式包括：
S31、将各自卷积所提取的元特征图和权重向量通过一个1×1的卷积进行结合，然后获取其对应的多维特征图；
S32、将所获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，从而输出当前目标属于每一个类别的概率及其对应坐标；
S33、根据分类回归模块输出的当前目标属于每一个类别的概率及其对应坐标与当前目标的真实类别及目标框位置计算出目标损失函数。
其中，所述步骤S32中的将所获取的多维特征图进行分类和回归可用公式表示为：
(oi,xi,yi,hi,wi,ci)＝p(Fi) (1)
式(1)中，i表示不同的类，i＝1，...，N，N为自然数，o表示锚点anchor的目标度评分，(x,y,h,w)表示定位框(bbox，bounding boxes)的位置偏移量，x,y表示定位框的左上角位置坐标，h表示定位框的高度，w表示定位框的宽度，c表示分类分数， p表示预测模型，Fi表示类i的特定特征，其中
Figure BDA0002789438250000061
F＝D(I)表示输入图像I对应的元特征图，D表示对输入图像I卷积，wi＝M(Ii,Qi)表示类i特定的权重向量，Qi表示输入图像相关的边界框注释。
其中，所述步骤S33中目标损失函数的计算公式可表示为：
L＝Lc+Lbbx+Lobj (2)
式(2)中，Lc表示分类损失，
Figure BDA0002789438250000062
其中
Figure BDA0002789438250000063
1(·,i)表示当前锚框是否属于类i的指示函数；Lbbx表示定位偏置损失，
Figure 5
其中
Figure BDA0002789438250000072
表示第k个定位框是否存在对象的函数，若存在对象，则函数值为1，若不存在对象，则函数值为0，λcoord表示权重系数，
Figure 6
表示第r个定位框的标签与预测值之差；Lobj表示置信度损失，
Figure 7
λobj表示调整置信度权重系数，
Figure 8
表示第k个定位框的标签和预测概率之差。
需要说明的是，本发明中将所输入的每张图像均分成S×S的网格，S表示网格数量，每个网格预测两个定位框，所述锚框指的是每个网格中两个定位框的长与宽。
本实施例中，所述元特征提取模块是通过对Query图像进行卷积得到图像的元特征图，这些提取到的元特征图可以扩展到检测不同的目标类别，元特征提取模块的内部使用一个基于单阶段的YOLO v2网络的改版网络提取特征；权重调整模块是通过对Support图像进行卷积提取各类别的权重向量，权重向量可以反应出各元特征图对目标类别的表达程度，再将利用一个1×1的卷积将所提取的元特征图和权重向量结合起来，并获取其对应的多维特征图，卷积层所学习的多维特征图会被传输到分类回归模块中的分类器和回归器中，从而预测边界框的坐标和类别标签，最后根据分类回归模块输出的预测结果与其对应坐标与真实的类别和目标框位置可以计算出目标损失函数。
其中，所述步骤S4的具体实现方式为：利用目标损失函数并根据分类回归模块的当前目标输出结果与目标标签的真实结果计算出两者之间的损失，然后通过随机梯度下降法对网络模型每一层进行反向求导，不断更新调整网络模型的每一层参数，完成base 类图像训练检测网络模型。
本实施例中，利用目标损失函数并根据分类回归模块的当前目标输出结果与目标标签的真实结果计算出两者之间的损失，然后通过随机梯度下降法对网络模型每一层进行反向求导，不断更新调整网络模型的每一层参数，从而使得从少量标记样本中所提取的元特征图也能够很好的反映出少样本少量数据中的目标，提升了少量标记样本的目标检测准确率。
如图4、图5、图6所示，一种基于元特征和权重调整的少样本目标检测网络模型，包括元特征提取模块、权重调整模块和分类回归模块，其中：
元特征提取模块，用于提取输入图像的元特征图，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
权重调整模块，用于提取输入图像的权重向量，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
分类回归模块，用于接收所提取的元特征图和权重向量并进行结合以获取结合后的多维特征图，然后将结合后的多维特征图进行分类和回归以输出每个类的预测概率及对应坐标，并根据输出的预测结果计算出其目标损失函数，利用其目标损失函数和梯度下降不断调整网络参数，从而输出检测结果。
其中，所述元特征提取模块内部网络结构为改进型的DarkNet19网络结构，权重调整模块采用轻量级的卷积神经网络。
其中，所述分类回归模块通过无候选框单阶段网络结构将每一个的多维特征图进行分类和回归。
本实施例中，元特征提取模块的内部网络结构是基于YOLO v2中的DarkNet19网络进行改进的，其中DarkNet19网络的结构如图5所示，改进后的DarkNet19网络的结构如图6所示，元特征提取模块在darknet19网络的基础上移除了softmax和所有的平均池化层，使用步幅为2的卷积层对特征图进行下采样，移除平均池化是为了有助于防止通常由池化导致的低级特征丢失，在3×3卷积中间添加了1×1卷积，Feature Map之间的一层非线性变化提升了模型的表现能力，改进后的DarkNet19网络进行了5次降采样，为了获得更高分辨率的Feature Map(元特征图)，在最后一层卷积不进行降采样。
其中，所述权重调整模块采用了一个轻量级的卷积神经网络，这样既可以提高效率，又可以方便学习。权重调整模块是将support set(支持集)中的N类样本映射到N个重加权向量，每个重权重向量负责调整元特征来检测其对应类别，权重调整模块输入是Support图片，support图片中存在唯一1个mask(不管有多少个目标，只选其中一个)，为了区分背景和前景，权重调整模块沿着通道方向进行合并(H*W*4)，包括RGB+Mask (即将RGB与Mask进行结合)，借助Support图片和权重调整模块对特征提取器的元特征进行调整，具体而言，权重调整模块作为1×1depth-wise(深度)卷积核权重用来卷积元特征，当有N个新的类别时，权重调整模块会产生N个重加权向量,每一个都负责检测一个新的类别。
其中，所述分类回归模块采用二元交叉熵损失函数，该函数容易输出冗余检测结果，因此在后面我们使用一个softmax层来校正不同类的分类分数，自适应的降低对错误类的分类分数。分类回归模块主要是对每个类别均预测出一个概率以及该类别的对应坐标，其中每个类都有6个变量，包括种类(一个变量)、分类分数(一个变量)以及位置坐标(四个变量)，故分类回归模块输出结果相当于是N个类的N个6维向量。
本实施例中，首先通过元特征提取模块和权重调整模块提取含有大量数据和对应标签的base类图像的元特征图和权重向量，并对所提取的元特征图和权重向量进行相应处理以实现base类图像对检测网络模型的训练，然后将base类图像与少样本少量数据的new类图像进行联合并提取联合后图像的元特征图和权重向量进行处理，计算出其目标损失函数，再根据目标损失函数和梯度下降以对网络模型的参数进行微调，以实现 base类和new类联合图像对检测网络模型的训练，从而使得new类图像中所提取的元特征能够很好的反映出少样本少量数据中的目标，最后利用联合图像训练好的检测网络模型对检测图像进行检测，即可输出测试图像中目标的检测结果，能够有效提升少量标记样本的目标检测准确率。
以上对本发明所提供的一种基于元特征和权重调整的少样本目标检测方法及网络模型进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.基于元特征和权重调整的少样本目标检测方法，其特征在于，所述方法包括以下步骤：
S1、构建检测网络模型并对输入的base类训练图像、new类训练图像和测试图像均进行预处理；
S2、将预处理后的base类训练图像输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取对应的元特征图和权重向量；
S3、将各自卷积提取的元特征图和权重向量进行结合并获取对应的多维特征图，然后将获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，根据分类回归模块的当前目标输出结果与目标的真实类别及目标框位置计算出目标损失函数；
S4、根据所计算的目标损失函数和梯度下降不断调整网络参数，完成base类图像训练检测网络模型；
S5、将预处理后的new类训练图像和base类训练图像联合输入检测网络模型中的元特征提取模块和权重调整模块进行卷积以提取其对应的元特征图和权重向量；
S6、重复步骤S3，并根据所计算的目标损失函数和梯度下降不断调整网络参数，从而完成new类和base类联合图像训练检测网络模型；
S7、利用步骤S6中完成的训练检测网络模型对预处理后的测试图像进行检测，进而输出测试图像中目标的检测结果。
2.如权利要求1所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S1的具体实现方式为：将输入的base类训练图像、new类训练图像和测试图像尺寸利用双线性插值法缩放至416×416，然后归一化至[0，1]区间。
3.如权利要求2所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S2的具体实现方式包括：
S21、将预处理后的base类Query图像输入元特征提取模块进行卷积，提取不同目标类别的元特征图；
S22、将预处理后的base类Support图像输入权重调整模块进行卷积，提取各个目标类别的权重向量。
4.如权利要求3所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S3的具体实现方式包括：
S31、将各自卷积所提取的元特征图和权重向量通过一个1×1的卷积进行结合，然后获取其对应的多维特征图；
S32、将所获取的多维特征图输入分类回归模块的分类器和回归器中进行分类和回归，从而输出当前目标属于每一个类别的概率及其对应坐标；
S33、根据分类回归模块输出的当前目标属于每一个类别的概率及其对应坐标与当前目标的真实类别及目标框位置计算出目标损失函数。
5.如权利要求4所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S32中的将所获取的多维特征图进行分类和回归可用公式表示为：
(oi,xi,yi,hi,wi,ci)＝p(Fi) (1)
式(1)中，i表示不同的类，i＝1，...，N，N为自然数，o表示锚点anchor的目标度评分，(x,y,h,w)表示定位框bbox的位置偏移量，x,y表示定位框的左上角位置坐标，h表示定位框的高度，w表示定位框的宽度，c表示分类分数，p表示预测模型，Fi表示类i的特定特征，其中
Figure FDA0002789438240000021
F＝D(I)表示输入图像I对应的元特征图，D表示对输入图像I卷积，wi＝M(Ii,Qi)表示类i特定的权重向量，Qi表示输入图像相关的边界框注释。
6.如权利要求5所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S33中目标损失函数的计算公式可表示为：
L＝Lc+Lbbx+Lobj(2)
式(2)中，Lc表示分类损失，
Figure FDA0002789438240000022
其中
Figure FDA0002789438240000023
1(·,i)表示当前锚框是否属于类i的指示函数；Lbbx表示定位偏置损失，
Figure 1
其中
Figure FDA0002789438240000025
表示第k个定位框是否存在对象的函数，λcoord表示权重系数，
Figure FDA0002789438240000026
表示第r个定位框的标签与预测值之差；Lobj表示置信度损失，
Figure 2
λobj表示调整置信度权重系数，
Figure 3
表示第k个定位框的标签和预测概率之差。
7.如权利要求6所述的基于元特征和权重调整的少样本目标检测方法，其特征在于，所述步骤S4的具体实现方式为：利用目标损失函数并根据分类回归模块的当前目标输出结果与目标标签的真实结果计算出两者之间的损失，然后通过随机梯度下降法对网络模型每一层进行反向求导，不断更新调整网络模型的每一层参数，完成base类图像训练检测网络模型。
8.基于元特征和权重调整的少样本目标检测网络模型，其特征在于，包括元特征提取模块、权重调整模块和分类回归模块，其中：
元特征提取模块，用于提取输入图像的元特征图，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
权重调整模块，用于提取输入图像的权重向量，其输入端与外部图像预处理单元连接，其输出端与分类回归模块输入端连接；
分类回归模块，用于接收所提取的元特征图和权重向量并进行结合以获取结合后的多维特征图，然后将结合后的多维特征图进行分类和回归以输出每个类的预测概率及对应坐标，并根据输出的预测结果计算出其目标损失函数，利用其目标损失函数和梯度下降不断调整网络参数，从而输出检测结果。
9.如权利要求8所述的基于元特征和权重调整的少样本目标检测网络模型，其特征在于，所述元特征提取模块内部网络结构为改进型的DarkNet19网络结构，权重调整模块采用轻量级的卷积神经网络。
10.如权利要求9所述的基于元特征和权重调整的少样本目标检测网络模型，其特征在于，所述分类回归模块通过无候选框单阶段网络结构将每一个的多维特征图进行分类和回归。
CN202011309906.3A 2020-11-20 2020-11-20 一种基于元特征和权重调整的少样本目标检测方法及网络系统 Active CN112364931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011309906.3A CN112364931B (zh) 2020-11-20 2020-11-20 一种基于元特征和权重调整的少样本目标检测方法及网络系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011309906.3A CN112364931B (zh) 2020-11-20 2020-11-20 一种基于元特征和权重调整的少样本目标检测方法及网络系统

Publications (2)

Publication Number Publication Date
CN112364931A true CN112364931A (zh) 2021-02-12
CN112364931B CN112364931B (zh) 2024-03-19

Family

ID=74534185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011309906.3A Active CN112364931B (zh) 2020-11-20 2020-11-20 一种基于元特征和权重调整的少样本目标检测方法及网络系统

Country Status (1)

Country Link
CN (1) CN112364931B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177549A (zh) * 2021-05-11 2021-07-27 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113378936A (zh) * 2021-06-11 2021-09-10 长沙军民先进技术研究有限公司 一种基于Faster RCNN的少样本目标检测方法
CN113408546A (zh) * 2021-06-21 2021-09-17 武汉工程大学 基于相互全局上下文注意力机制的单样本目标检测方法
CN113569940A (zh) * 2021-07-23 2021-10-29 中山大学 一种基于知识迁移和概率校正的少样本目标检测方法
CN113591736A (zh) * 2021-08-03 2021-11-02 北京百度网讯科技有限公司 特征提取网络、活体检测模型的训练方法和活体检测方法
CN113743459A (zh) * 2021-07-29 2021-12-03 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN113780272A (zh) * 2021-07-02 2021-12-10 北京建筑大学 Sar图像舰船检测方法、装置、电子设备及存储介质
CN113781513A (zh) * 2021-08-19 2021-12-10 广东能源集团科学技术研究院有限公司 一种电厂供水管道泄漏检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490188A (zh) * 2019-07-02 2019-11-22 天津大学 一种基于ssd网络改进型的目标物体快速检测方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
WO2020037266A1 (en) * 2018-08-17 2020-02-20 Inventive Government Solutions, Llc Automated ultrasound video interpretation of a body part, such as a lung, with one or more convolutional neural networks such as a single-shot-detector convolutional neural network
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037266A1 (en) * 2018-08-17 2020-02-20 Inventive Government Solutions, Llc Automated ultrasound video interpretation of a body part, such as a lung, with one or more convolutional neural networks such as a single-shot-detector convolutional neural network
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN110490188A (zh) * 2019-07-02 2019-11-22 天津大学 一种基于ssd网络改进型的目标物体快速检测方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
苑丹丹;阎相伊;路丹丹;李宁;: "基于R-FCN深层卷积神经网络的金属冲压件表面缺陷检测", 工程机械, no. 01, 10 January 2020 (2020-01-10) *
赵宇航;左辰煜;朱俊杰;钱诚;: "基于YOLO V3的无人机航拍车辆检测方法", 电子世界, no. 13, 15 July 2020 (2020-07-15) *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177549A (zh) * 2021-05-11 2021-07-27 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113177549B (zh) * 2021-05-11 2022-09-02 中国科学技术大学 一种基于动态原型特征融合的少样本目标检测方法及系统
CN113378936A (zh) * 2021-06-11 2021-09-10 长沙军民先进技术研究有限公司 一种基于Faster RCNN的少样本目标检测方法
CN113378936B (zh) * 2021-06-11 2024-03-08 长沙军民先进技术研究有限公司 一种基于Faster RCNN的少样本目标检测方法
CN113408546A (zh) * 2021-06-21 2021-09-17 武汉工程大学 基于相互全局上下文注意力机制的单样本目标检测方法
CN113408546B (zh) * 2021-06-21 2023-03-07 武汉工程大学 基于相互全局上下文注意力机制的单样本目标检测方法
CN113780272A (zh) * 2021-07-02 2021-12-10 北京建筑大学 Sar图像舰船检测方法、装置、电子设备及存储介质
CN113569940B (zh) * 2021-07-23 2023-06-06 中山大学 一种基于知识迁移和概率校正的少样本目标检测方法
CN113569940A (zh) * 2021-07-23 2021-10-29 中山大学 一种基于知识迁移和概率校正的少样本目标检测方法
CN113743459A (zh) * 2021-07-29 2021-12-03 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN113743459B (zh) * 2021-07-29 2024-04-02 深圳云天励飞技术股份有限公司 目标检测方法、装置、电子设备及存储介质
CN113591736A (zh) * 2021-08-03 2021-11-02 北京百度网讯科技有限公司 特征提取网络、活体检测模型的训练方法和活体检测方法
CN113781513A (zh) * 2021-08-19 2021-12-10 广东能源集团科学技术研究院有限公司 一种电厂供水管道泄漏检测方法及系统
CN113781513B (zh) * 2021-08-19 2023-11-28 广东能源集团科学技术研究院有限公司 一种电厂供水管道泄漏检测方法及系统

Also Published As

Publication number Publication date
CN112364931B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
WO2021244079A1 (zh) 智能家居环境中图像目标检测方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN108647694B (zh) 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN111783772A (zh) 一种基于RP-ResNet网络的抓取检测方法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN110555881A (zh) 一种基于卷积神经网络的视觉slam测试方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111260688A (zh) 一种孪生双路目标跟踪方法
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN115908908B (zh) 基于图注意力网络的遥感图像聚集型目标识别方法及装置
CN110942471A (zh) 一种基于时空约束的长时目标跟踪方法
CN112784869B (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN113537085A (zh) 基于两次迁移学习和数据增广的船舶目标检测方法
CN117422857A (zh) 一种司法证据图像的目标检测方法
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN116580289A (zh) 一种基于注意力的细粒度图像识别方法
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant