CN110689044A - 一种结合目标间关系的目标检测方法及系统 - Google Patents

一种结合目标间关系的目标检测方法及系统 Download PDF

Info

Publication number
CN110689044A
CN110689044A CN201910778664.3A CN201910778664A CN110689044A CN 110689044 A CN110689044 A CN 110689044A CN 201910778664 A CN201910778664 A CN 201910778664A CN 110689044 A CN110689044 A CN 110689044A
Authority
CN
China
Prior art keywords
region
feature
target
remote sensing
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910778664.3A
Other languages
English (en)
Inventor
田三保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Siling Electronic Technology Co Ltd
Original Assignee
Hunan Siling Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Siling Electronic Technology Co Ltd filed Critical Hunan Siling Electronic Technology Co Ltd
Priority to CN201910778664.3A priority Critical patent/CN110689044A/zh
Publication of CN110689044A publication Critical patent/CN110689044A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种结合目标间关系的目标检测方法及系统。为解决现有遥感图像中目标检测方法通常会忽视上下文信息的问题。根据训练图像集中所有类别目标同时出现的频率构建类别级知识库，通过对遥感图像进行区域建议处理和特征提取处理后，对特征向量进行粗分类，并根据类别级知识库生成区域关系矩阵，区域关系矩阵反应出遥感图像中不同目标间的关系。通过区域关系矩阵的提出，提高了遥感图像中目标识别和位置定位的准确度。

Description

一种结合目标间关系的目标检测方法及系统
技术领域
本发明涉及光学遥感图像解译领域，具体涉及一种结合目标间关系的目标检测方法及系统。
背景技术
在高分辨率光学遥感图像解译中，目标检测是一项重要的任务，因此受到了广泛关注。目前，许多基于机器学习的方法已经被应用于遥感图像的目标检测之中，并在一些特定任务上取得了较好的成绩。在现有大多数方法中，目标检测分为三个步骤：区域建议、特征提取和分类。区域建议方法用于获取可能包含对象的感兴趣区域(region of interest,RoI)。特征提取方法则图像从感兴趣区域映射为高维特征。分类方法则用以区分提取特征的不同类别。针对这三个步骤，学者们已经提出了多种算法。比如选择性搜索和显著性检测方法等区域建议方法，提取图像纹理特征和Haar-like特征等特征提取方法以及支持向量机、AdaBoost和稀疏表示等用于特征分类的方法。
上述方法在某些特定任务中取得了成功，但这些特征和分类器都是人工设计和选择的。设计和选择直接影响检测的效果。此外，遥感图像数量的增加也提高了选择特征和分类器的复杂性。
深度学习近几年在计算机视觉领域取得了显著的成功，其最大的优点在于能够自动学习图像中的有效特征。在深度学习中，基于卷积神经网络(CNN)的方法近年来被应用于遥感图像的目标检测中，并取得了良好的效果。现有方法是，利用卷积神经网络对基于图的超像素分割中提取的图像块进行分类，基于图的超像素可以有效地定位车辆，然后利用卷积神经网络对车辆进行识别。在另一种现有方法中，引入旋转不变层，提出了一种带有旋转不变层的卷积神经网络模型，以解决目标旋转变化问题。先训练旋转不变层，然后再针对特定域的目标微调整个模型。现有方法中为了优化检测区域的边界框，提出了一种无监督的基于置信度的边界框回归算法，并结合了非最大抑制算法。在处理不同复杂背景时，该算法可以提高定位的精度和鲁棒性。
上述提出的方法虽然在一定程度上解决了不同的问题，却忽略了图像中的上下文信息对检测的影响。例如，一个紧邻飞机的目标是飞机的可能性就远大于其他类别。因此，有效利用上下文信息可以实现更加有效和准确的检测。
发明内容
为克服现有技术中基于深度学习的目标检测方法通常会忽视上下文信息的问题，本发明在区域信息之外，利用上下文信息尤其是目标间的关系信息进行目标检测。
为实现上述目的，本发明提供一种结合目标间关系的目标检测方法，具体步骤包括：
S1，由获取的若干遥感图像构建训练图像集，根据训练图像集中所有遥感图像中两个不同类别目标同时出现的频率构建类别级知识库；
S2，对遥感图像进行区域建议处理和特征提取处理，得到遥感图像对应特征向量，并对特征向量进行粗分类，之后根据类别级知识库并生成区域关系矩阵；
S3，根据区域关系矩阵对待检测区域和相关区域的特征特征向量进行融合，利用融合后的特征对感兴趣区域进行位置预测及细分类，获得最终检测结果。
为实现上述目的，本发明还提供一种结合目标间关系的目标检测方法的系统，包括存储器和处理器，所述存储器存储有结合目标间关系的目标检测方法，所述处理器在运行所述结合目标间关系的目标检测方法时执行所述方法的步骤。
采用本发明可以达到以下技术效果：
本发明为解决现有遥感图像中目标检测方法通常忽视图像上下文信息的问题。根据训练图像集中所有类别目标同时出现的频率构建类别级知识库，通过对遥感图像进行区域建议处理和特征提取处理后，对特征向量进行粗分类，并根据类别级知识库生成区域关系矩阵，区域关系矩阵反应出遥感图像中不同目标间的关系信息，结合不同目标间的关系信息，根据图像中上下文的关系，提高了遥感图像中目标识别和位置定位的准确度。
附图说明
图1为本发明实施例一中结合目标间关系的目标检测方法。
具体实施方式
实施例一
如附图1所示，一种结合目标间关系的目标检测方法，首先根据训练图像，生成类别级知识库。原始的遥感图像经过骨干网络之后得到特征图；特征图通过区域建议网络生成所有感兴趣区域；其中目前检测目标对应感兴趣区域称为待检测区域，其他感兴趣区域成为相关区域；感兴趣区域通过池化层，使每个感兴趣区域生成固定尺寸的感兴趣区域特征图，随后将感兴趣区域特征图经过全连接层转化为特征向量；对特征向量进行粗分类；根据粗分类结果和类别级知识库得到区域关系矩阵，随后利用区域关系矩阵结合相关区域对应特征向量得到相关区域加权和；对相关区域加权和进行处理，得到预设维度的特征向量，随后预设维度特征向量和待检测区域特征向量进行拼接融合，得到拼接融合后的特征向量，得到最终用于分类和定位的特征。
具体步骤为：
S1，由获取的若干遥感图像构建训练图像集，根据训练图像集中所有遥感图像中两个不同类别目标同时出现的频率构建类别级知识库；
S2，对遥感图像进行区域建议处理和特征提取处理，得到遥感图像对应特征向量，并对特征向量进行粗分类，之后根据类别级知识库并生成区域关系矩阵；
S3，根据区域关系矩阵对待检测区域和相关区域的特征特征向量进行融合，利用融合后的特征对感兴趣区域进行位置预测及细分类，获得最终检测结果。
为了获得区域关系矩阵，本发明首先需要建立类别级知识库，即不同类别间成对的关系信息。在此，本发明采用一个简单但有效的方法，采用同一场景中目标同时出现的频率来构建知识库。
本发明所述S1中建立类别级的知识库的方法包括：
S11，统计训练图像集中目标类别总数和两个不同目标类别在同一张图像中同时出现的频率，其中目标类别总数包括背景类；
根据训练数据集统计了每两类(ci,cj)同时出现的频率
Figure BDA0002175874390000051
从而获得了一个大小为C×C的频率分布表。其中C表示类别数。
S12，初始化一个频率比值分布表，其中行数、列数均为目标类别总数，每行、每列的元素分别对应一个目标类别；
S13，对于当前目标类别行或目标类别列中，分别计算当前目标与所述行或列中所有不同目标类别在同一张图像中同时出现的频率，计算每一所述频率与所有所述频率总和的比值，填入频率比值分布表中对应的元素中；
具体计算方法如下公式(1)所示：
Figure BDA0002175874390000052
计算了某个频率相对于其他类别与该类别同时出现频率之和的比值
Figure BDA0002175874390000053
S14，两个相同类别的频率比值设定为1，背景类与其他类别的比值设置为0，最终得到类别级的知识库。
表1频率比值分布表样表
Figure BDA0002175874390000061
本发明所述S2具体包括：
S21，遥感图像在骨干网络中前向传播生成遥感图像特征图，遥感图像特征图在区域建议网络中前向传播生成该遥感图像对应的所有感兴趣区域；
众所周知，目标检测不仅需要对目标进行分类，还需要去预测其对应的位置。为了得到更好的结果，本发明引入了DetNet作为所提出检测方法的骨干网络。DetNet中包含自下而上的路径，自上而下的路径以及横向连接。其中，自下而上的路径是骨干网络的前向传播路径，用以得到特征图。而自上而下的路径则是根据从较深层得到的特征图，生成分辨率较高的语义特征图。横向连接则将两条路径中具有相同分辨率大小的特征图进行合并。
根据网络的结构和生成的特征图的分辨率的大小，可以将骨干网络划分为不同层级。相比较以往的骨干网络而言，DetNet具有更多的层级，而且在较深的层级中保持了固定的下采样率而非进一步缩小特征图尺度。这样做有助于更加精准地定位边界以及检测特征图中的小目标。此外，为了增加同一层级内输入输出之间的差异性。DetNet在每个层级的开始采用了带有1×1大小卷积层的膨胀瓶颈结构。该结构可以在空间大小不变的情况下生成一个新的语义特征图，从而增加输入和输出特征图间的差异性。
骨干网络的一种优选实施方式
本发明中检测框架采用DetNet-59作为骨干网络。DetNet-59共有6个层级，除了第一个层级之外，其他所有层级均采用带有1×1大小卷积层的膨胀瓶颈结构。详细的参数如表2所示。
表2DetNet-59结构示意表
Figure BDA0002175874390000081
其中Conv代表卷积层，BatchNorm代表批归一化层，ReLU表示ReLU激活函数，MaxPool表示最大池化层，Bottleneck表示膨胀瓶颈结构，conv-proj表示膨胀瓶颈结构中的额外的卷积层，ch表示通道数。Kernelsize为卷积核大小，stride为步长，padding为填充的大小，dilate为膨胀系数。
由于遥感图像的数量有限，DetNet-59在ImageNet数据集上进行了预训练，然后针对遥感图像数据集进行了专门的微调，以适应针对遥感图像的检测任务。
生成区域建议网络的一种优选实施方式
本发明中区域建议网络在骨干网络生成的特征图上滑窗，之后将滑动窗口中的特征图映射为特征向量，随后输入到两个全连接层以生成一系列的矩形框和其对应的可能为目标的置信度。其中矩形框的长宽比共包含3类，分别为1:2、1:1、2:1。置信度高的矩形框被视为建议区域。在本文中，滑动窗口的大小被设为3×3大小，区域建议网络的网络则被设计为由一个3×3大小和2个1×1大小卷积层组成。
生成感兴趣区域的一种优选实施方式
区域建议网络生成许多的建议区域以及其对应的边界框和其为目标的置信度，在此取置信度最高的一定数量的样本作为感兴趣区域，用作下一步处理。
S22，对所有的感兴趣区域进行池化操作，生成固定尺寸的感兴趣区域特征图，将感兴趣区域特征图输入包含两个全连接层的子网络，进行特征提取，每个感兴趣区域映射为一个特征向量，其中两个全连接层分别为：待检测区域全连接层和相关区域全连接层；
感兴趣区域池化操作的优选实施方式
得到感兴趣区域之后，本发明采用RoIAlign作为池化方法对感兴趣区域内的特征进行池化操作。该方法通过双线性插值来计算特征图上邻近网格点的每个采样点的值，随后采用取最大值或者平均值的方法聚合这些采样点。感兴趣区域操作可以将具有不同大小的感兴趣区域区域特征图池化为具有相同大小的特征图。
由于DetNet具有多个层级，所以本发明根据不同的感兴趣区域大小，采用不同层级的特征图。具体的分配原则的公式如公式(4)所示：
Figure BDA0002175874390000091
其中W和H为224，k0为4。根据这个原则，小尺寸的感兴趣区域将被分配到更为精细的，分辨率较高的层级，反之，大尺寸的则被分配到分辨率较低的层级。随后，所有分配的感兴趣区域特征被RoIAlign池化为具有相同大小的特征图，最后被全连接层映射为特征向量。
区域特征向量的维数为1024，相关区域的特征向量维度为128。然后将两者融合，并将融合后特征输入到分类器和回归器中，得到带类别标签的边界框。该过程与FasterRCNN一致。
S23，通过包含两个全连接层的子网络和softmax函数，对特征向量进行粗分类；
S24，利用特征向量的粗分类结果和不同区域间的关系信息构建区域关系矩阵。
本发明所述S21中感兴趣区域包括：
将当前需要检测的一个感兴趣区域称为待检测区域，同一遥感图像中的其他感兴趣区域称为相关区域。
本发明所述S23中的粗分类方法包括：
将特征向量输入包含两个全连接层的子网络和softmax函数，得到与知识库中目标类别总数相同大小的向量，该向量的每一个值都代表对应目标类别的概率值，取概率值最大的目标类别即为当前感兴趣区域对应的粗分类结果。
本发明所述S24中构建感兴趣区域关系矩阵的方法包括：
S24a，初始化一个矩阵，行列数为图像中感兴趣区域的个数，矩阵中的每个元素表示所对应两个感兴趣区域之间的关系；
S24b，根据当前元素对应的两个感兴趣区域的粗分类类别，找到其在类别级知识库中对应元素的值并将该值赋值给区域关系矩阵中对应元素；
S24c，对感兴趣区域关系矩阵中的每一行元素利用softmax函数进行归一化操作，使每一行所有元素之和为1。
假设共有Nr个感兴趣区域，则本发明用Nr×Nr大小的矩阵来表示区域关系矩阵。其中矩阵中的每个元素E表示每个区域之间的关系。假设两个区域p和q在粗分类的类别为cp,cq，那么
Figure BDA0002175874390000111
最后，本发明利用softmax函数来对矩阵中的每一行元素进行归一化操作，公式如公式(2)所示。
Figure BDA0002175874390000112
本发明所述S3中包括：
S31，根据区域关系矩阵对相关区域特征向量进行运算，得到相关区域特征加权和，特征加权和生成预设维度的特征向量，预设维度的特征向量与待检测区域特征向量进行拼接融合，得到拼接融合后的特征向量；
S32，拼接融合后的特征向量用于预测该区域的目标位置和类别，将拼接融合后的特征向量通过包含两个全连接层的子网络和softmax函数得到一个与目标类别数相同大小的向量，该向量的每一个值都代表对应目标类别的概率值，概率值最大的目标类别即为最终目标分类的分类结果；
S33，将融合后的特征向量通过两个全连接层来得到一个与目标类别数的4倍大小的向量，该向量的每4个值都代表对应目标位置相对于感兴趣区域的回归值，根据回归值和感兴趣区域的坐标，得到目标在原图中的定位。
构建的区域关系矩阵被用于增强每个感兴趣区域的特征，区域关系矩阵中的每个元素可以被视为不同区域间的相关程度。因此，本发明将这个元素作为结合其他区域时的权值。因此，相关区域特征的加权和如公式(3)所示：
Figure BDA0002175874390000121
其中fq为由感情去区域池化层提取的第q个区域的特征向量。
为了获取预设的特征维度，本发明构建了一个包含了具有两个全连接层的子网络，分别为：待检测区域全连接层和相关区域全连接层，其中相关区域全连接层的节点数即为预设的维度。本发明将加权后的相关区域特征经过子网络所得到的特征向量表示为
Figure BDA0002175874390000122
该特征向量与区域自身的向量进行拼接融合。融合后的特征被用于预测该区域的目标位置和类别。
本发明所述S31中生成相关区域特征向量的加权和的方法包括：
将区域关系矩阵中待检测区域对应行与相关区域所对应列的元素值作为权值，并对所有相关区域的特征向量进行加权平均操作，得到相关区域特征向量的加权和。
本发明所述S31中生成预设维度的相关区域特征向量的方法包括：
将相关区域特征向量的加权和输入到相关区域全连接层，其中相关区域全连接层的节点数即为预设的特征维度，将相关区域特征向量的加权和经过相关区域全连接层得到预设维度的特征向量。
本发明中数据集采用西北工业大学公开的用以评估检测效果的10类数据集来进行实验。该数据集包括飞机、船舶、储油罐、棒球场、网球场、篮球场、田径场、港口、桥梁和车辆等10类目标。该数据集有650幅至少包含一个目标的图像。650幅图像中共有757架飞机、302艘船、655个储油罐、390个棒球场、524个网球场、159个篮球场、163个田径场、224个港口、124座桥梁和477个车辆。在实验中，本发明随机地将该数据集分成三个子集。60％的(即390幅图像)用于训练，20％的(即130幅图像)用作验证集，其余的(即130幅图像)用于测试。
为了定量地评价目标检测器的性能，本发明采用被广泛使用的平均准确率作为评价指标。平均准确率被定义为准确率和召回率曲线下的面积大小，横轴为召回率，纵轴为准确率。为了计算方便，先选取横轴上的11个点(间隔为0.1)所对应的准确率，然后再取平均作为最终检测的平均准确率。准确率和召回率的如公式(5)所示：
Figure BDA0002175874390000131
其中TP为被模型正确地预测为正类别的样本，TN为被模型正确地预测为负类别的样本，FP为被模型错误地预测为正类别的样本，FN为被模型错误地预测为负类别的样本。
此外，由于共有十个类别，因此本发明采用所有类别平均准确率的均值作为评价准则。
本发明将所提方法与以下经典的基于深度学习的检测方法进行了比较：SSD，YOLOv3，Faster R-CNN以及FPN。实验结果如表3所示。
表3不同类别下不同方法的比较
Figure BDA0002175874390000141
如表3所示，所提方法在多数类别的平均识别率以及所有类别平均识别率的均值上相较于其他方法均有着明显优势。
实施例二
为实现上述目的，本发明还提供一种结合目标间关系的目标检测方法的系统，包括存储器和处理器，所述存储器存储有结合目标间关系的目标检测方法，所述处理器在运行所述结合目标间关系的目标检测方法时执行所述方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种结合目标间关系的目标检测方法，其特征在于：
S1，由获取的若干遥感图像构建训练图像集，根据训练图像集中所有遥感图像中两个不同类别目标同时出现的频率构建类别级知识库；
S2，对遥感图像进行区域建议处理和特征提取处理，得到遥感图像对应特征向量，并对特征向量进行粗分类，之后根据类别级知识库并生成区域关系矩阵；
S3，根据区域关系矩阵对待检测区域和相关区域的特征特征向量进行融合，利用融合后的特征对感兴趣区域进行位置预测及细分类，获得最终检测结果。
2.如权利要求1所述的一种结合目标间关系的目标检测方法，其特征在于，所述S1中建立类别级的知识库的方法包括：
S11，统计训练图像集中目标类别总数和两个不同目标类别在同一张图像中同时出现的频率，其中目标类别总数包括背景类；
S12，初始化一个频率比值分布表，其中行数、列数均为目标类别总数，每行、每列的元素分别对应一个目标类别；
S13，对于当前目标类别行或目标类别列中，分别计算当前目标与所述行或列中所有不同目标类别在同一张图像中同时出现的频率，计算每一所述频率与所有所述频率总和的比值，填入频率比值分布表中对应的元素中；
S14，两个相同类别的频率比值设定为1，背景类与其他类别的比值设置为0，最终得到类别级的知识库。
3.如权利要求1所述的一种结合目标间关系的目标检测方法，其特征在于，所述S2具体包括：
S21，遥感图像在骨干网络中前向传播生成遥感图像特征图，遥感图像特征图在区域建议网络中前向传播生成该遥感图像对应的所有感兴趣区域；
S22，对所有的感兴趣区域进行池化操作，生成固定尺寸的感兴趣区域特征图，将感兴趣区域特征图输入包含两个全连接层的子网络，进行特征提取，每个感兴趣区域映射为一个特征向量，其中两个全连接层分别为：待检测区域全连接层和相关区域全连接层；
S23，通过包含两个全连接层的子网络和softmax函数，对特征向量进行粗分类；
S24，利用特征向量的粗分类结果和不同区域间的关系信息构建区域关系矩阵。
4.如权利要求3所述的一种结合目标间关系的目标检测方法，其特征在于，所述S21中感兴趣区域包括：
将当前需要检测的一个感兴趣区域称为待检测区域，同一遥感图像中的其他感兴趣区域称为相关区域。
5.如权利要求1所述的一种结合目标间关系的目标检测方法，其特征在于，所述S23中的粗分类方法包括：
将特征向量输入包含两个全连接层的子网络和softmax函数，得到与知识库中目标类别总数相同大小的向量，该向量的每一个值都代表对应目标类别的概率值，取概率值最大的目标类别即为当前感兴趣区域对应的粗分类结果。
6.如权利要求3所述的一种结合目标间关系的目标检测方法，其特征在于，所述S24中构建感兴趣区域关系矩阵的方法包括：
S24a，初始化一个矩阵，行列数为图像中感兴趣区域的个数，矩阵中的每个元素表示所对应两个感兴趣区域之间的关系；
S24b，根据当前元素对应的两个感兴趣区域的粗分类类别，找到其在类别级知识库中对应元素的值并将该值赋值给区域关系矩阵中对应元素；
S24c，对感兴趣区域关系矩阵中的每一行元素利用softmax函数进行归一化操作，使每一行所有元素之和为1。
7.如权利要求1所述的一种结合目标间关系的目标检测方法，其特征在于，所述S3中包括：
S31，根据区域关系矩阵对相关区域特征向量进行运算，得到相关区域特征加权和，特征加权和生成预设维度的特征向量，预设维度的特征向量与待检测区域特征向量进行拼接融合，得到拼接融合后的特征向量；
S32，拼接融合后的特征向量用于预测该区域的目标位置和类别，将拼接融合后的特征向量通过包含两个全连接层的子网络和softmax函数得到一个与目标类别数相同大小的向量，该向量的每一个值都代表对应目标类别的概率值，概率值最大的目标类别即为最终目标分类的分类结果；
S33，将融合后的特征向量通过两个全连接层来得到一个与目标类别数的4倍大小的向量，该向量的每4个值都代表对应目标位置相对于感兴趣区域的回归值，根据回归值和感兴趣区域的坐标，得到目标在原图中的定位。
8.如权利要求7所述的一种结合目标间关系的目标检测方法，其特征在于，所述S31中生成相关区域特征向量的加权和的方法包括：
将区域关系矩阵中待检测区域对应行与相关区域所对应列的元素值作为权值，并对所有相关区域的特征向量进行加权平均操作，得到相关区域特征向量的加权和。
9.如权利要求6所述的一种结合目标间关系的目标检测方法，其特征在于，所述S31中生成预设维度的相关区域特征向量的方法包括：
将相关区域特征向量的加权和输入到相关区域全连接层，其中相关区域全连接层的节点数即为预设的特征维度，将相关区域特征向量的加权和经过相关区域全连接层得到预设维度的特征向量。
10.一种基于权利要求1的结合目标间关系的目标检测系统，其特征在于：
包括存储器和处理器，所述存储器存储有遥感图像和结合目标间关系的目标检测程序，所述处理器在运行所述跳点路径搜索的结合目标间关系的目标检测程序时执行权利要求1～9任一项所述方法的步骤。
CN201910778664.3A 2019-08-22 2019-08-22 一种结合目标间关系的目标检测方法及系统 Withdrawn CN110689044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910778664.3A CN110689044A (zh) 2019-08-22 2019-08-22 一种结合目标间关系的目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910778664.3A CN110689044A (zh) 2019-08-22 2019-08-22 一种结合目标间关系的目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN110689044A true CN110689044A (zh) 2020-01-14

Family

ID=69108353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910778664.3A Withdrawn CN110689044A (zh) 2019-08-22 2019-08-22 一种结合目标间关系的目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN110689044A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415331A (zh) * 2020-03-03 2020-07-14 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113221676A (zh) * 2021-04-25 2021-08-06 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置
CN113643241A (zh) * 2021-07-15 2021-11-12 北京迈格威科技有限公司 交互关系检测方法、交互关系检测模型训练方法及装置
CN111881777B (zh) * 2020-07-08 2023-06-30 泰康保险集团股份有限公司 一种视频处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013017A (zh) * 2010-11-26 2011-04-13 华中科技大学 一种高分辨率遥感图像场景粗分类方法
CN102902978A (zh) * 2012-08-31 2013-01-30 电子科技大学 一种面向对象的高分辨率遥感图像分类方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN110059553A (zh) * 2019-03-13 2019-07-26 中国科学院遥感与数字地球研究所 利用光学遥感影像判识潜在滑坡阶段植被异常特征的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013017A (zh) * 2010-11-26 2011-04-13 华中科技大学 一种高分辨率遥感图像场景粗分类方法
CN102902978A (zh) * 2012-08-31 2013-01-30 电子科技大学 一种面向对象的高分辨率遥感图像分类方法
CN109583425A (zh) * 2018-12-21 2019-04-05 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN110059553A (zh) * 2019-03-13 2019-07-26 中国科学院遥感与数字地球研究所 利用光学遥感影像判识潜在滑坡阶段植被异常特征的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENHAN JIANG ET AL.: "Hybrid Knowledge Routed Modules for Large-scale Object Detection", 《ARXIV》 *
HAN HU ET AL.: "Relation Networks for Object Detection", 《ARXIV》 *
ZHUANGZHUANG TIAN ET AL.: "Cascaded Detection Framework Based on a Novel Backbone Network and Feature Fusio", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415331A (zh) * 2020-03-03 2020-07-14 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN111415331B (zh) * 2020-03-03 2023-05-23 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN111881777B (zh) * 2020-07-08 2023-06-30 泰康保险集团股份有限公司 一种视频处理方法和装置
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112115977B (zh) * 2020-08-24 2024-04-02 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113221676A (zh) * 2021-04-25 2021-08-06 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置
CN113221676B (zh) * 2021-04-25 2023-10-13 中国科学院半导体研究所 基于多维度特征的目标追踪方法及装置
CN113643241A (zh) * 2021-07-15 2021-11-12 北京迈格威科技有限公司 交互关系检测方法、交互关系检测模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
Zhang et al. Self-produced guidance for weakly-supervised object localization
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
CN110689044A (zh) 一种结合目标间关系的目标检测方法及系统
US8842883B2 (en) Global classifier with local adaption for objection detection
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
US7724961B2 (en) Method for classifying data using an analytic manifold
CN111259930A (zh) 自适应注意力指导机制的一般性目标检测方法
US7853072B2 (en) System and method for detecting still objects in images
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110619369A (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN111476302A (zh) 基于深度强化学习的Faster-RCNN目标物体检测方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN110879961B (zh) 利用车道模型的车道检测方法和装置
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN113139979A (zh) 一种基于深度学习的边缘识别方法
CN110716792B (zh) 一种目标检测器及其构建方法和应用
CN109509191A (zh) 一种图像显著性目标检测方法及系统
CN114419151A (zh) 一种基于对比学习的多目标跟踪方法
CN112861915A (zh) 一种基于高级语义特征无锚框非合作目标检测方法
CN111815582B (zh) 改进背景先验和前景先验的二维码区域检测方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN114821022A (zh) 融合主观逻辑和不确定性分布建模的可信目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200114

WW01 Invention patent application withdrawn after publication