CN107657224A - 一种基于部件的多层并行网络sar图像飞机目标检测方法 - Google Patents
一种基于部件的多层并行网络sar图像飞机目标检测方法 Download PDFInfo
- Publication number
- CN107657224A CN107657224A CN201710852460.0A CN201710852460A CN107657224A CN 107657224 A CN107657224 A CN 107657224A CN 201710852460 A CN201710852460 A CN 201710852460A CN 107657224 A CN107657224 A CN 107657224A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- aircraft
- detection
- subassembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种基于部件的多层并行网络SAR图像飞机目标检测方法，包括以下步骤：构建用于检测飞机整体的根检测网络和用于检测飞机子部件的部件检测网络；准备训练数据集，并利用包围框对训练数据集中飞机整体、飞机子部件进行标注，将训练图像和对应的标注信息分别输入根检测网络和部件检测网络中对网络进行训练；利用训练好的根检测网络和部件检测网络对待检测图像进行初步检测；对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的子部件；结合先验结构信息和初步检测得到的检测捕获概率，然后以最大检测捕获概率为原则对根检测结果和部件检测结果进行约束处理，得到最后的检测结果。本发明有效减少了漏检率与虚警率，提高检测的正确率。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于部件的多层并行网络SAR图像飞机目标检测方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)作为对地观测的重要工具，已经历经了六十多年的发展和考验。其全天时全天候的特点使其具有极广的应用场景，而SAR图像地表飞机目标检测就是其中一个重要的应用。飞机在民用领域是重要的交通运输工具，对地表飞机的检测有助于机场管理。飞机在军用领域的重要性更为突出，飞机目标的识别检测具有重要的军事意义，飞机的种类、数量都是极其重要的情报，这些情报的获取都有利于作战指挥员提前做好战略部署。而对飞行中的飞机进行目标检测，更是有利于空中防御和军事打击。能快速的检测识别出飞机这一重要的军事目标，有利于作战人员成功侦察敌军动向，分析战场状况，克敌制胜。由此可以看出，对地表飞机目标的检测不论在军事领域还是民用领域都有重要意义，因而对SAR图像地表飞机目标检测的研究也受到相关领域研究者的重视。
已有的SAR图像目标检测方法在飞机目标检测这一任务上依然存在一些问题，SAR图像的散射机理给SAR图像地表飞机目标检测任务带来了许多挑战。
首先，在高分辨率情况下，由于SAR图像的散射机理，导致飞机目标在图像中是由或明或暗的散射点组成，因此许多传统SAR图像目标检测算法，会把目标分割成许多小块，这样一来会对检测一个完整目标增加难度，称之为稀疏性。
其次，根据SAR图像的散射机理，散射条件变化会引起目标散射情况的不同，这为目标点提取与准确定位增加了一定难度。而飞机目标的散射情况更为复杂，飞机的材质、形态结构等因素会影响其散射特性，且飞机的不同部位会产生不同的散射。由此可以看出，SAR图像散射机理以及飞机目标本身的特殊性造成了散射的多样性。
由于稀疏性与多样性的存在，SAR图像地表飞机目标检测过程中经常会出现漏检与错检的情况，导致飞机检测正确率低，无法得到良好的检测结果。
发明内容
本发明的目的在于引入深度特征和多层网络来解决传统手工特征表达能力不足问题，以解决SAR图像中飞机目标检测的多样性；引入部件信息辅助检测，以解决SAR图像中飞机目标检测的稀疏性。
本发明的技术方案为一种基于部件的多层并行网络SAR图像飞机目标检测方法，包括以下步骤：
步骤1，构建用于检测飞机整体的根检测网络和用于检测飞机子部件的部件检测网络，所述根检测网络和部件检测网络是对YOLO算法的改进，其损失函数的计算公式如下，
其中S表示输入图像被划分为S*S的网格，每个网格预测B个包围框，λcoord和λnoobj分别为区分位置误差和目标误差的权重，指目标出现在第i个网格中时值为1，否则为0，指目标出现在第i个网格中时值为0，否则为1；指目标出现在第i个网格且第j个包围框是“负责”框时值为1，否则为0，指目标出现在第i个网格且第j个包围框是“负责”框时值为0，否则为1；xi,yi是第i个网格内目标的计算位置，是对应的标注位置；wi,hi是计算得到的包围框宽和高，是包围框标注的宽和高，Ci是类别计算值，是标注类别，pi(c)表示是类别c的包围框的置信度，是标注置信度；λaspect为高宽比权重因子，对于根检测网络，λaspect＝3，对于部件检测网络，λaspect＝4；
步骤2，准备训练数据集，并利用包围框对训练数据集中飞机整体、飞机子部件进行标注，标注信息包括包围框的类别以及包围框的宽、高、中心点坐标和置信度，将训练图像和对应的标注信息分别输入根检测网络和部件检测网络中进行训练；
步骤3，利用训练好的根检测网络和部件检测网络对待检测图像进行初步检测，获得飞机整体的包围框、飞机子部件的包围框信息，包括包围框的宽、高、中心点坐标，并计算得到各包围框角点坐标以及各包围框的检测捕获概率，其中检测捕获概率的计算公式如下，
其中Pconf表示包围框置信度，Pclass表示类别概率；Pr(Object)表示当前网格包含目标的概率，有目标则为1，无目标则为0；是检测出的包围框和标注的包围框的重叠概率；Pclass表示当网格在包含目标条件下属于某个类别的概率；
步骤4，对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的子部件；结合先验结构信息和初步检测得到的检测捕获概率，然后以最大检测捕获概率为原则对根检测结果和部件检测结果进行约束处理，得到最后的检测结果，具体实现方法如下，
a.若飞机整体的检测捕获概率超过P1，直接保留飞机整体；
b.若飞机整体的检测捕获率小于P1，且与其匹配的子部件未被其他飞机整体使用，则分别计算该子部件与飞机整体的重叠率，若该子部件被其他飞机整体所使用，则滤除其他飞机整体；其中重叠率的计算公式为，
area(part)和area(root)分别指子部件和飞机整体所占的区域，即通过步骤3获得的包围框的角点坐标计算得到包围框的面积；
c.若子部件与飞机整体的重叠率都超过Q，进一步判断子部件与飞机整体的分布情况，若子部件与飞机整体的重叠率都小于Q，则滤除该飞机整体；
d.若子部件的分布情况不属于预设的四种情况，则滤除对应飞机整体，否则保留；
上述步骤中所述的飞机子部件包括以机头和机翼为一类别的第一子部件和以机尾为一类别的第二子部件。
进一步的，所述步骤4中，预设的四种情况为，利用分割线将飞机整体目标分割为上下两部分区域或左右两部分区域，上下两部分区域中，上部分区域占整体的35％，下部分区域占65％，设第一子部件为P1，第二子部件为P2，P1、P2必须与飞机整体目标的上/下部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线上下或下上分布；左右两部分区域中，左部分区域占整体的35％，右部分区域占65％，P1、P2必须与飞机整体目标的左/右部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线左右或右左分布。
进一步的，所述步骤4中，通过k最邻近搜索算法对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的子部件。
进一步的，所述步骤4中，P1，Q的值分别为90％、60％。
与现有技术相比，本发明的优点：本发明在YOLO算法上进行改进，分别构建用于检测飞机整体目标信息的根检测网络和用于检测飞机细节信息的部件检测网络，并对两个检测网络进行充分的训练，利用训练好的检测网络对待检测图像进行初步检测，然后利用k最邻近搜索(KNNS)算法对根检测结果和部件检测结果进行匹配，并以最大概率为优先准则，结合飞机子部件在飞机上的分部先验信息对每个整体检测结果进行判决约束，获得最终的检测结果。本发明方法能够有效减少漏检率与虚警率，提高检测的正确率，得到更好的检测结果。
附图说明
图1本发明实施例的整体框架图。
图2本发明实施例整体流程图。
图3本发明实施例中判决约束层的流程图。
图4本发明实施例的样本标注示意图，(a)为飞机整体包围框，(b)为第一子部件包围框，(c)为第二子部件包围框。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明的整体框架中包含了两个检测网络，一个是用于检测整体目标信息的根检测网络，一个是用于检测细节信息的部件检测网络。根检测网络专注于整体目标的检测，本发明实施例中只设置了飞机和背景两个类别，用于训练根检测网络的训练样本只标注飞机目标，以避免其他类别的干扰。部件检测网络专注于飞机子部件的检测，由于SAR图像中飞机目标较小，通常由数十个或者上百个像素点组成，子部件过于细分之后，每个部件所拥有的像素点更小，给检测带来很大的难度。因此将机头和机翼划分为第一子部件，机尾划分为第二子部件，共计两个子部件，训练时设置第一子部件、第二子部件和飞机整体共三个类别，用于训练部件检测网络的训练样本需要标记上述的第一子部件和第二子部件。
如图2，本发明实施例的整体流程主要包含以下步骤：
步骤1，构建用于检测飞机整体的根检测网络和用于检测飞机子部件的部件检测网络，所述根检测网络和部件检测网络是对YOLO算法的改进，具体实现如下，
根检测网络和部件检测网络的训练网络与YOLO算法的网络一致，YOLO算法将检测问题转化为了包围框和分类的回归问题，它只用了一个网络来预测包围框以及类别概率，比Faster R-CNN等算法都要快很多，而准确率比DPM、R-CNN都要高得多。本发明实施例中总共使用了24个卷积层和两个全连接层。前20层卷积层，先使用标注好的SAR图像在原模型的基础上进行迁移学习，以适应SAR图像的特点，此时输入的是224*224大小的图像。在检测的时候再加上随机初始化的4个卷积层和2个全连接层，同时输入改为更高分辨率的448*448。与YOLO算法相同，优化目标也是输出的平方和误差，为了达到最大化平均精度的目标，选择平方和误差来优化，算法中通过给位置误差和类别误差加上不同的权重，来区别这两种误差的重要性，由于平方和误差会掩盖大目标和小目标的差异性，所以YOLO算法选择预测目标宽高的平方根。由于每个单元格会输出两个包围框，但是本发明实施例中希望只得到一个预测框，那么就需要使检测输出的包围框与标注框尽可能的重合，因此YOLO算法在训练时，把与标注框重叠多的检测框，设置为“负责”框，用“负责”框的位置来计算损失值。如此，用训练出来的模型得到的包围框中得分高的就是与标注框重叠率高的。但是由于SAR图像中飞机目标种类多高宽比差异多的特点，需要在原先的目标函数上引入了一个新参数λaspect，来区别坐标引起的误差和高宽比引起的误差，使得高宽比异常引起的误差在一定程度上得到一致。本发明实施例中训练网络的总体的损失函数修改为下面的公式：
其中S表示输入图像被划分为S*S的网格，每个网格预测B个包围框，λcoord和λnoobj分别为区分位置误差和目标误差的权重，分别设置为5和0.5。指目标出现在第i个网格中时值为1，否则为0，指目标出现在第i个网格中时值为0，否则为1；指目标出现在第i个网格且第j个包围框是“负责”框时值为1，否则为0，指目标出现在第i个网格且第j个包围框是“负责”框时值为0，否则为1。xi,yi是第i个网格内目标的计算位置，是对应的标注位置。wi,hi是计算得到的包围框宽和高，是包围框标注的宽和高，Ci是类别计算值，是标注类别，pi(c)表示是类别c的包围框的置信度，是标注置信度。λaspect为高宽比权重因子，在训练根检测网络时将其设置为λaspect＝3，在训练部件检测网络时，将其设置为λaspect＝4。这样设置的目的在于部件检测网络中不同部件高宽比例差异明显，为了精确检测出不同的子部件，对高宽比误差的抑制应适当减小。
步骤2，准备训练数据集，分别训练整体的根检测网络和部件检测网络，实现方法如下：a.搜集整幅样本，并对飞机整体目标和飞机的部件进行标注，标注示意图如图4所示，分别对设置的飞机及第一子部件，第二子部件这三个类别绘制包围框,标注方法是使用工具人工绘制包围框，每个包围框由5个参数构成，即宽w，高h，中心点坐标(x,y)，以及置信度p；训练用的图像要保持在500*500的尺寸大小。
b.将训练集图像和对应的标注信息，分别输入根检测网络和部件检测网络，对各网络进行训练。
c.经过10000次迭代之后得到训练好的网络，即可用来进行检测。
步骤3，利用训练好的根检测网络和部件检测网络对待检测图像进行初步检测，分别获得对应的根检测结果和部件检测结果。
初步检测的目的在于检测出飞机整体目标的包围框、各子部件的包围框。为了方便整体框架中步骤3，即判决约束层工作的进行，还需要输出各包围框的概率，本发明实施例利用包围框的置信度和类别概率来计算各包围框的概率，称之为检测捕获概率，计算公式如下：
其中Pconf表示包围框置信度，Pclass表示类别概率；Pr(Object)表示当前网格包含目标的概率，有目标则为1，无目标则为0；是检测出的包围框和标注的包围框的重叠概率；一共有C个类别，每个网格预测C个类别概率，Pclass表示当网格在包含目标条件下属于某个类别的概率。
如此计算，得到的概率既能反映包围框捕获目标的可靠性，又能反映捕获目标类别的概率。而输出的包围框信息，需要由预测得到的中心坐标以及高宽(为了减少计算量，输出的信息为归一化后的信息)转换为四个角点坐标，即根据矩形的中心点坐标和高宽计算其四个角点的坐标，方便后续计算。除了最后输出不同，根检测网络和部件检测网络的基本检测流程与YOLO算法基本相同，首先将待检测图像放缩到448*448大小，然后分割为7*7个方格，每个方格进行预测，预测得到包围框置信度和包围框坐标等信息，最后根据检测网络的输出，计算出检测捕获概率和非归一化包围框坐标信息(即四个角点坐标，根据归一化的坐标信息，结合待检测图像，转化为非归一化的坐标信息)传递给判决约束层，结合先验和最大概率的约束层。
步骤4，将得到的根检测结果以及部件检测结果，输入判决约束层，其作用是利用初步的检测结果和已知的先验信息对整体目标的检测进行约束，判决约束层的结构如图3所示。
主要流程是：1)利用k最邻近搜索(KNNS)算法对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的第一子部件和第二子部件；2)以最大概率为优先准则，并结合飞机子部件在飞机上的分部先验信息对每个整体检测结果进行判决约束。
利用KNNS进行匹配的流程如下：
a.根据根目标集的点将子部件分割为N个区域，N为目标集中点个数；
b.在第i个目标点对应的I区域中距离i目标点最近的k个点；
c.以上一步中找出的第k个邻近点的距离，找出能有相同距离的区域；
d.在上一步找出的区域中，找出距离根目标位置更近的部件的点，距离根目标更近的部件的点即为与该根目标匹配的子部件。
用KNNS算法为每一根目标找出对应的子部件后，然后需要进行约束判决，来滤除错误的检测结果，飞机目标与其子部件的位置分布是有一定规律的，并非随意的排布拼凑，本发明实施例将子部件在飞机整体目标上的分布情况分成了四种情况：利用分割线将飞机整体目标分割为上下两部分区域或左右两部分区域，上下两部分区域中，上部分区域占整体的35％，下部分区域占65％，设第一子部件为P1，第二子部件为P2，P1、P2必须与飞机整体目标的上/下部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线上下或下上分布；左右两部分区域中，左部分区域占整体的35％，右部分区域占65％，P1、P2必须与飞机整体目标的左/右部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线左右或右左分布，具体如图3所示，本实施例中Q取60％；满足以上情况的子部件将被分配给对应的根目标，不能再被其他根目标使用，其中重叠率计算公式如下：
其中area(part)和area(root)分别指的是子部件和根目标所占的区域，该区域是根据非归一化包围框坐标信息计算得到的包围框的面积信息。
如此就找出了能正确匹配子部件的根目标，从而滤除了大部分的错检目标。但是如果子部件检测出现漏检，原本正确检测得到的根目标就没有正确匹配的子部件，会造成整体检测结果的漏检率提高。为了解决这一问题，本发明实施例引入了最大概率准则，当根目标的捕获概率足够高时，哪怕没有找到与之正确匹配的子部件时，依然将它作为正确检测结果，以减少子部件检测错误带来的漏检。整体判决约束的流程如下：
e.若根目标的检测捕获概率超过90％，直接保留根目标；
f.若根目标的检测捕获率小于90％，且与其匹配的子部件未被其他根目标使用，则分别计算该子部件与根目标的重叠率，若该子部件被其他根目标使用，则滤除其他根目标；
g.若子部件P1、P2与根目标的重叠率都超过60％，进一步判断子部件P1、P2与根目标的分布情况，若子部件P1、P2与根目标的重叠率都小于60％，则滤除该根目标；
h.若子部件P1、P2的分布情况不属于预设的四种情况，则滤除对应根目标，否则保留。
具体实施时，本发明实施例可采用计算机软件技术实现自动流程的运行。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于部件的多层并行网络SAR图像飞机目标检测方法，其特征在于，包括如下步骤：
步骤1，构建用于检测飞机整体的根检测网络和用于检测飞机子部件的部件检测网络，所述根检测网络和部件检测网络是对YOLO算法的改进，其损失函数的计算公式如下，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>=</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>o</mi>
<mi>r</mi>
<mi>d</mi>
</mrow>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>a</mi>
<mi>s</mi>
<mi>p</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<msqrt>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>-</mo>
<msqrt>
<msub>
<mover>
<mi>w</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</msqrt>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msqrt>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>-</mo>
<msqrt>
<msub>
<mover>
<mi>h</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</msqrt>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>C</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</munderover>
<msubsup>
<mn>1</mn>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>C</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</munderover>
<msubsup>
<mn>1</mn>
<mi>i</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msubsup>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>&Element;</mo>
<mi>c</mi>
<mi>l</mi>
<mi>a</mi>
<mi>s</mi>
<mi>s</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中S表示输入图像被划分为S*S的网格，每个网格预测B个包围框，λcoord和λnoobj分别为区分位置误差和目标误差的权重，指目标出现在第i个网格中时值为1，否则为0，指目标出现在第i个网格中时值为0，否则为1；指目标出现在第i个网格且第j个包围框是“负责”框时值为1，否则为0，指目标出现在第i个网格且第j个包围框是“负责”框时值为0，否则为1；xi,yi是第i个网格内目标的计算位置，是对应的标注位置；wi,hi是计算得到的包围框宽和高，是包围框标注的宽和高，Ci是类别计算值，是标注类别，pi(c)表示是类别c的包围框的置信度，是标注置信度；λaspect为高宽比权重因子，对于根检测网络，λaspect＝3，对于部件检测网络，λaspect＝4；
步骤2，准备训练数据集，并利用包围框对训练数据集中飞机整体、飞机子部件进行标注，标注信息包括包围框的类别以及包围框的宽、高、中心点坐标和置信度，将训练图像和对应的标注信息分别输入根检测网络和部件检测网络中进行训练；
步骤3，利用训练好的根检测网络和部件检测网络对待检测图像进行初步检测，获得飞机整体的包围框、飞机子部件的包围框信息，包括包围框的宽、高、中心点坐标，并计算得到各包围框角点坐标以及各包围框的检测捕获概率，其中检测捕获概率的计算公式如下，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>P</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>a</mi>
<mi>s</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>Pr</mi>
<mrow>
<mo>(</mo>
<mi>O</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msubsup>
<mi>IOU</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
<mrow>
<mi>t</mi>
<mi>r</mi>
<mi>u</mi>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Pconf表示包围框置信度，Pclass表示类别概率；Pr(Object)表示当前网格包含目标的概率，有目标则为1，无目标则为0；是检测出的包围框和标注的包围框的重叠概率；Pclass表示当网格在包含目标条件下属于某个类别的概率；
步骤4，对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的子部件；结合先验结构信息和初步检测得到的检测捕获概率，然后以最大检测捕获概率为原则对根检测结果和部件检测结果进行约束处理，得到最后的检测结果，具体实现方法如下，
a.若飞机整体的检测捕获概率超过P1，直接保留飞机整体；
b.若飞机整体的检测捕获率小于P1，且与其匹配的子部件未被其他飞机整体使用，则分别计算该子部件与飞机整体的重叠率，若该子部件被其他飞机整体所使用，则滤除其他飞机整体；其中重叠率的计算公式为，
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>r</mi>
<mi>e</mi>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>&cap;</mo>
<mi>a</mi>
<mi>r</mi>
<mi>e</mi>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mi>o</mi>
<mi>o</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>a</mi>
<mi>r</mi>
<mi>e</mi>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
area(part)和area(root)分别指子部件和飞机整体所占的区域，即通过步骤3获得的包围框的角点坐标计算得到包围框的面积；
c.若子部件与飞机整体的重叠率都超过Q，进一步判断子部件与飞机整体的分布情况，若子部件与飞机整体的重叠率都小于Q，则滤除该飞机整体；
d.若子部件的分布情况不属于预设的四种情况，则滤除对应飞机整体，否则保留；
上述步骤中所述的飞机子部件包括以机头和机翼为一类别的第一子部件和以机尾为一类别的第二子部件。
2.如权利要求1所述的一种基于部件的多层并行网络SAR图像飞机目标检测方法，其特征在于：所述步骤4中，预设的四种情况为，利用分割线将飞机整体目标分割为上下两部分区域或左右两部分区域，上下两部分区域中，上部分区域占整体的35％，下部分区域占65％，设第一子部件为P1，第二子部件为P2，P1、P2必须与飞机整体目标的上/下部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线上下或下上分布；左右两部分区域中，左部分区域占整体的35％，右部分区域占65％，P1、P2必须与飞机整体目标的左/右部分区域的重叠率超过Q，并且P1、P2不能同时分布在一个区域，P1、P2相对于分割线左右或右左分布。
3.如权利要求1或2所述的一种基于部件的多层并行网络SAR图像飞机目标检测方法，其特征在于：所述步骤4中，通过k最邻近搜索算法对根检测结果和部件检测结果进行匹配，获得与飞机整体相匹配的子部件。
4.如权利要求3所述的一种基于部件的多层并行网络SAR图像飞机目标检测方法，其特征在于：所述步骤4中，P1，Q的值分别为90％、60％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710852460.0A CN107657224B (zh) | 2017-09-19 | 2017-09-19 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710852460.0A CN107657224B (zh) | 2017-09-19 | 2017-09-19 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107657224A true CN107657224A (zh) | 2018-02-02 |
| CN107657224B CN107657224B (zh) | 2019-10-11 |
Family
ID=61129693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710852460.0A Active CN107657224B (zh) | 2017-09-19 | 2017-09-19 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107657224B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596101A (zh) * | 2018-04-25 | 2018-09-28 | 上海交通大学 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
| CN109145756A (zh) * | 2018-07-24 | 2019-01-04 | 湖南万为智能机器人技术有限公司 | 基于机器视觉和深度学习的目标检测方法 |
| CN109977840A (zh) * | 2019-03-20 | 2019-07-05 | 四川川大智胜软件股份有限公司 | 一种基于深度学习的机场场面监视方法 |
| CN110335242A (zh) * | 2019-05-17 | 2019-10-15 | 杭州数据点金科技有限公司 | 一种基于多模型融合的轮胎x光病疵检测方法 |
| CN110390344A (zh) * | 2018-04-19 | 2019-10-29 | 华为技术有限公司 | 备选框更新方法及装置 |
| CN110569703A (zh) * | 2019-05-10 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 计算机执行的从图片中识别损伤的方法及装置 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111144422A (zh) * | 2019-12-19 | 2020-05-12 | 华中科技大学 | 一种飞机部件的定位识别方法和系统 |
| US10885625B2 (en) | 2019-05-10 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Recognizing damage through image analysis |
| CN114623727A (zh) * | 2022-03-14 | 2022-06-14 | 北京理工大学 | 一种激光成像近程探测目标识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682697A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于卷积神经网络的端到端物体检测方法 |
| US20170212083A1 (en) * | 2016-01-25 | 2017-07-27 | The Boeing Company | Multi-layer ultrasound imagers |
-
2017
- 2017-09-19 CN CN201710852460.0A patent/CN107657224B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170212083A1 (en) * | 2016-01-25 | 2017-07-27 | The Boeing Company | Multi-layer ultrasound imagers |
| CN106682697A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于卷积神经网络的端到端物体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YIHUA TAN ETAL.: "Aircraft Detection in High-Resolution SAR Images Based on a Gradient Textural Saliency Map", 《SENSORS》 * |
| 张宇等: "逐层特征选择的多层部件模型用于遥感图像飞机目标检测", 《武汉大学学报信息科学版》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390344A (zh) * | 2018-04-19 | 2019-10-29 | 华为技术有限公司 | 备选框更新方法及装置 |
| CN108596101A (zh) * | 2018-04-25 | 2018-09-28 | 上海交通大学 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
| CN108596101B (zh) * | 2018-04-25 | 2021-07-27 | 上海交通大学 | 一种基于卷积神经网络的遥感图像多目标检测方法 |
| CN109145756A (zh) * | 2018-07-24 | 2019-01-04 | 湖南万为智能机器人技术有限公司 | 基于机器视觉和深度学习的目标检测方法 |
| CN109977840A (zh) * | 2019-03-20 | 2019-07-05 | 四川川大智胜软件股份有限公司 | 一种基于深度学习的机场场面监视方法 |
| CN110569703A (zh) * | 2019-05-10 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 计算机执行的从图片中识别损伤的方法及装置 |
| US10885625B2 (en) | 2019-05-10 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Recognizing damage through image analysis |
| CN110335242A (zh) * | 2019-05-17 | 2019-10-15 | 杭州数据点金科技有限公司 | 一种基于多模型融合的轮胎x光病疵检测方法 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN110796037B (zh) * | 2019-10-15 | 2022-03-15 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111144422A (zh) * | 2019-12-19 | 2020-05-12 | 华中科技大学 | 一种飞机部件的定位识别方法和系统 |
| CN114623727A (zh) * | 2022-03-14 | 2022-06-14 | 北京理工大学 | 一种激光成像近程探测目标识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107657224B (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657224B (zh) | 一种基于部件的多层并行网络sar图像飞机目标检测方法 | |
| CN110264468B (zh) | 点云数据标注、分割模型确定、目标检测方法及相关设备 | |
| CN110378909B (zh) | 基于Faster R-CNN的面向激光点云的单木分割方法 | |
| CN110443208A (zh) | 一种基于YOLOv2的车辆目标检测方法、系统及设备 | |
| CN109447033A (zh) | 基于yolo的车辆前方障碍物检测方法 | |
| CN104484681B (zh) | 基于空间信息和集成学习的高光谱遥感影像分类方法 | |
| CN105447490B (zh) | 基于梯度回归树的车辆关键点检测方法及装置 | |
| CN108254741A (zh) | 基于循环神经网络的目标航迹预测方法 | |
| CN109934230A (zh) | 一种基于视觉辅助的雷达点云分割方法 | |
| CN109785337A (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
| CN110502654A (zh) | 一种适用于多源异构遥感数据的目标库生成系统 | |
| CN109146889A (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN104463249B (zh) | 一种基于弱监督学习框架的遥感图像机场检测方法 | |
| CN106680798B (zh) | 一种机载lidar航带重叠区冗余辨识及消除方法 | |
| Wang et al. | Bottle detection in the wild using low-altitude unmanned aerial vehicles | |
| CN110163177A (zh) | 一种风电机组叶片无人机自动感知识别方法 | |
| CN109766936A (zh) | 基于信息传递和注意力机制的图像变化检测方法 | |
| CN109190444A (zh) | 一种基于视频的收费车道车辆特征识别系统的实现方法 | |
| CN110262563A (zh) | 多无人机协同搜索水上目标的方法 | |
| CN110084165A (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN110298265A (zh) | 一种基于yolo神经网络的电梯中特定目标检测方法 | |
| CN109740676A (zh) | 基于相似目标的物体检测迁移方法 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN106127791A (zh) | 一种航空遥感影像的建筑物轮廓线提取方法 | |
| CN110211176A (zh) | 一种相机外参数校正系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |