CN112668441A - 一种结合先验知识的卫星遥感影像飞机目标识别方法 - Google Patents

Abstract

本发明提供了一种结合先验知识的卫星遥感影像飞机目标识别方法，包括：步骤1，构建飞机目标停放区域知识库；步骤2，计算待识别图像与飞机目标停放区域知识库的交集；步骤3，对待识别图像进行飞机识别，步骤4，对识别之后的结果进行位置推理，滤除部分识别结果，步骤5，对识别之后的结果进行类别推理，修正识别结果，步骤6，对识别之后的结果进行上下文推理，修正识别结果。

Description

一种结合先验知识的卫星遥感影像飞机目标识别方法

技术领域

本发明属于图像处理技术领域，涉及一种结合先验知识的卫星遥感影像飞机目标识别方法。

背景技术

遥感图像目标检测已逐步成为目标检测技术的一个重要应用领域之一。随着深度学习的兴起，基于深度卷积神经网络的遥感图像目标检测也是当前遥感信息处理系统中的研究热点问题，因为卷积神经网络的深层结构可以提取丰富的图像高层语义特征，也使检测模型的精度有较大提升。但是由于遥感影像背景较为复杂，目标尺寸较小，大小形态不一，在整个遥感影像上来说特征不够明显，因此当前遥感图像目标检测研究的典型问题主要表现为复杂背景下飞机等多尺度遥感目标的检测精度较低。而且由于目前深度学习的透明性和可解释性不足，对于部分错检的目标，很难从网络的层面进行分析解决。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出一种结合先验知识的卫星遥感影像飞机目标识别方法，包括如下步骤：

步骤1，构建飞机目标停放区域知识库；

步骤2，计算待识别图像与飞机目标停放区域知识库的交集；

步骤3，对待识别图像进行飞机识别；

步骤4，对识别之后的结果进行位置推理，滤除部分识别结果；

步骤5，对识别之后的结果进行类别推理，修正识别结果；

步骤6，对识别之后的结果进行上下文推理，修正识别结果。

步骤1包括：针对每个不同的机场，人为划定一个机场的多边形区域，只有在所述多边形区域中才会停放飞机，将所述多边形区域的经纬度保存下来，用(lon1，lat1， lon2，lat2，......,lonn，latn)表示，lonn为多边形区域的第n个点的经度，latn为多边形区域的第n个点的纬度，n取值为自然数，将不同机场的多边形区域及对应的经纬度信息保存，形成飞机目标停放区域知识库。

步骤2包括：在进行卫星遥感影像飞机目标识别的过程中，读取飞机目标停放区域在飞机目标停放区域知识库中对应的多边形区域，先求出多边形区域的经纬度坐标在待识别图像上的像素点位置(x₁,y₁),...,(x_m,y_m)，(x_m,y_m)表示第m个经纬度坐标(lonm， latm)在待识别图像上的像素点位置坐标，待识别图像的宽度为w，高度为h，计算待识别图像与飞机目标停放区域知识库的交集，具体步骤包括：

步骤2-1，循环计算多边形区域的一条边(x₁,y₁)，(x₂,y₂)与待识别图像的交点：

设定(x₁,y₁)和(x₂,y₂)的直线方程式为y＝kx+b；

判断x₁是否和x₂相同，并且x₁在0和w之间，h在y₁和y₂之间，如果满足上述条件，则(x₁,h)是一个交点，加入交点列表；

判断x₁是否和x₂相同，并且x₁在0和w之间，0在y₁和y₂之间，如果满足上述条件，则(x₁,0)是一个交点，加入交点列表；

设定y₁和y₂₂不同，并且y₁在0和h之间，w在x₁和x₂之前，则(w，y₁)是一个交点，加入交点列表；

判断y₁是否和y₂相同，并且y₁在0和h之间，0在x₁和x₂之前，如果满足上述条件，则(0，y₁)是一个交点，加入交点列表；

判断x₁和x₂是否相等，如果相等，两点之间直线的斜率k为0，如果不相等，两点之间直线的斜率k为(y₂-y₁)/(x₂-x₁)，b为y₁-k*x₁；

步骤2-2，判断待识别图像的上边线与步骤2-1中求出的直线y＝kx+b否有交点，如果有，将交点值加入交点列表；判断待识别图像的左边线与步骤2-1中求出的直线 y＝kx+b是否有交点，如果有，将交点值加入交点列表；判断待识别图像下边线与步骤 2-1中求出的直线y＝kx+b是否有交点，如果有，将交点值加入交点列表；判断待识别图像的右边线与步骤2-1中求出的直线y＝kx+b是否有交点，如果有，将交点值加入交点列表；

步骤2-3，循环步骤2-1和步骤2-2计算出多边形的各条边(x_i,y_i)，(x_i+1,y_i+1)和待识别图像的交点并加入交点列表；

步骤2-4，依次循环交点列表，判断两点之间是否经过了一个矩形的顶点，如果0即在x_i和x_i+1之间，也在y_i和y_i+1之间，则将(0,0)插入飞机目标停放区域知识库，放在(x_i,y_i)，(x_i+1,y_i+1)中间；如果w在x_i和x_i+1之间，0也在y_i和y_i+1之间，则将(w,0) 插入飞机目标停放区域知识库，放在(x_i,y_i)，(x_i+1,y_i+1)中间；如果0在x_i和x_i+1之间， h也在y_i和y_i+1之间，则将(0,h)插入飞机目标停放区域知识库，放在(x_i,y_i)，(x_i+1,y_i+1) 中间；如果w在x_i和x_i+1之间，h也在y_i和y_i+1之间，则将(w,h)插入飞机目标停放区域知识库，放在(x_i,y_i)，(x_i+1,y_i+1)中间；最终形成待识别图像与飞机目标停放区域知识库的交集。

步骤3包括：利用现有的模型对待识别的图像进行飞机识别。采用两阶段的方法，先进行飞机检测，再对检测之后的飞机进行分类，最终形成飞机的识别结果。主要包括以下步骤：

步骤3-1：采集基地的影像数据，由人工进行飞机类别标注，形成训练数据集；

步骤3-2：统计训练集中飞机的大小，调整faster-rcnn模型中的anchors参数，使其能覆盖所有的飞机大小，然后利用faster-rcnn模型对待识别图像进行飞机检测；

步骤3-3：针对步骤3-2检测之后的结果，利用reset101模型进行分类，得出每个飞机检测结果的分类置信度，保留置信度最高的前五位，取置信度最好的结果为该飞机的识别结果。

步骤4包括：对步骤3-3得到的识别结果进行分析，判断识别出的飞机位置是否在步骤2生成的交集范围内，如果在，则保留识别结果，如果不在，则舍弃识别结果。

步骤5：对飞机检测结果的分类置信度进行分析，取每个机型的分类置信度最高的值，结合训练集的信息判断同类别的机型是否像素点大小一致。具体的步骤如下：

步骤5-1：在训练集按照飞机的类别对飞机所占像素值大小进行统计，得出每类飞机所占训练集中图像像素值范围；

步骤5-2：针对经过步骤4处理后的识别结果，取其进行分类后置信度最高的结果，判断其结果是否在其类型的像素值范围之内，如果不在，则重复步骤5-2，选择置信度次高的结果进行判断，如果在其类型的像素值范围内，则替换该类型为该架飞机的识别结果。

步骤6包括：对步骤5的识别结果进行分析(比如通过可视化的方式)，判断是否有排列在一排的飞机。当出现有排列在一排的飞机超过3个时，判断其飞机类型是否一致。如果在一排的机型中有超过80％的机型为类别A，有20％的机型为类别B，判断飞机B的分类结果置信度前五的机型中是否含有类型A，如果有，将飞机B的结果修改为类别A。

有益效果：本发明方法充分结合先验知识进行了飞机的识别。在识别之后，增加了位置推理、类别推理、上下文推理三个模块。位置推理模块利用遥感影像的经纬度信息，由于飞机目标的特殊性，其只可能停放在机场区域，通过将机场的经纬度信息形成知识库，和待识别图像求取交集，形成在待识别图像中飞机的有效停放信息，对识别后的飞机进行过滤，去除不在有效停放区域内的飞机，可以大幅减少虚警。类别推理模块利用同类别的飞机所占的像素值大小是一致的原理，去除大小差异较大的目标。上下文推理模块利用在一排的飞机通常为同一类型的常识，对识别结果进行修正，通过这三个模块，大幅提升识别的准确率。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。

图1为飞机可能停放的区域示意图。

图2为本实施例中任意一个多边形与矩形的交集的计算示意图。

图3为本发明实施例识别结果示意图。

具体实施方式

本发明提供了一种结合先验知识的卫星遥感影像飞机目标识别方法，其特征在于，包括如下步骤：

步骤1，构建飞机目标停放区域知识库；

步骤2，计算待识别图像与飞机目标停放区域知识库的交集；

步骤3，对待识别图像进行飞机识别；

步骤4，对识别之后的结果进行位置推理，滤除部分识别结果；

步骤5，对识别之后的结果进行类别推理，修改识别结果；

步骤6，对识别之后的结果进行上下文推理，修改识别结果。

步骤1包括：

在卫星遥感影像中，由于飞机目标只会停放于机场内，因此针对每个不同的机场，划定一个机场区域的多边形，如图1所示。由于卫星遥感影像含有经纬度信息，因此，将该多边形的经纬度保存下来，用(lon1，lat1，lon2，lat2，......,lonn，latn)表示。lonn 为多边形区域的第n个点的经度，latn为多边形区域的第n个点的纬度，n取值为自然数，将不同机场的多边形区域及对应的经纬度信息保存，形成飞机目标停放区域知识库。

步骤2包括：在进行卫星遥感影像飞机目标识别的过程中，读取飞机目标停放区域知识库中的经纬度多边形，先求出这些经纬度坐标在待识别图像上的像素点位置 (x₁,y₁),...,(x₁₇,y₁₇)，(x₁,y₁)表示第1个经纬度坐标(lon1，lat1)在待识别图像上的像素点位置坐标，本实施例中共17个像素点位置，水上乐园待识别图像的宽度为w，高度为h，计算待识别图像与飞机目标停放区域知识库的交集，如图2所示，具体步骤如下：

步骤2-1，循环计算多边形区域的一条边(x₁,y₁)，(x₂,y₂)与待识别图像的交点：

设定(x₁,y₁)和(x₂,y₂)的直线方程式为y＝kx+b；

判断x₁是否和x₂相同，并且x₁在0和w之间，h在y₁和y₂之间，如果满足上述条件，则(x₁,h)是一个交点，加入交点列表；

判断x₁是否和x₂相同，并且x₁在0和w之间，0在y₁和y₂之间，如果满足上述条件，则(x₁,0)是一个交点，加入交点列表；

设定y₁和y₂₂不同，并且y₁在0和h之间，w在x₁和x₂之前，则(w，y₁)是一个交点，加入交点列表；

判断y₁是否和y₂相同，并且y₁在0和h之间，0在x₁和x₂之前，如果满足上述条件，则(0，y₁)是一个交点，加入交点列表；

判断x₁和x₂是否相等，如果相等，两点之间直线的斜率k为0，如果不相等，两点之间直线的斜率k为(y₂-y₁)/(x₂-x₁)，b为y₁-k*x₁；

步骤2-2，判断k是否为0，判断上边线与线段的交点，如果有的话，将交点值加入交点列表；判断左边线与线段的交点，如果有的话，将交点值加入交点列表；判断下边线与线段的交点，如果有的话，将交点值加入交点列表；判断右边线与线段的交点，如果有的话，将交点值加入交点列表。

步骤2-3，依次计算出多边形的各条边和矩形的交点分别为附图中的1、2、3、4、 5、6、7、8八个点。

步骤2-4，依次循环交点列表，判断两点之间是否经过了某个矩形的顶点，如6和 7之间经过了待识别图像顶点(0，h)，将(0，h)插入6和7之间，按照次序连接起来，形成了飞机目标停放区域知识库与待识别图像的交集。

步骤3：利用现有的模型对待识别的图像进行飞机识别。采用两阶段的方法，先进行飞机检测，再对检测之后的飞机进行分类，最终形成飞机的识别结果。主要包括以下步骤：

步骤3-1：采集基地的影像数据，由人工进行飞机类别标注，形成训练数据集。

步骤3-2：统计训练集中飞机的大小，调整faster-rcnn模型中的anchors参数，使其能覆盖所有的飞机大小，然后利用faster-rcnn模型对待识别图像进行飞机检测。

步骤3-3：针对步骤3-2检测之后的结果再利用reset101模型进行分类，得出每个飞机检测结果的分类置信度，保留置信度最高的前五位,取置信度最好的结果为该飞机的识别结果。

步骤4包括：对步骤3-3得到的识别结果进行分析，判断识别出的飞机位置是否在步骤2生成的交集范围内，如果在，则保留识别结果，如果不在，则舍弃识别结果。

步骤5：对飞机检测结果的分类置信度进行分析，取每个机型的分类置信度最高的值，结合训练集的信息判断同类别的机型是否像素点大小一致。具体的步骤如下：

步骤5-1：在训练集按照飞机的类别对飞机所占像素值大小进行统计，得出每类飞机所占训练集中图像像素值范围；

步骤5-2：针对经过步骤4处理后的识别结果，取其进行分类后置信度最高的结果，判断其结果是否在其类型的像素值范围之内。如果不在，则重复步骤5-2，选择置信度次高的结果进行判断，如果在其类型的像素值范围内，则替换该类型为该架飞机的识别结果。

步骤6包括：通过可视化的方式对步骤5的识别结果进行分析，判断是否有排列在一排的飞机。如图3所示，在一排的4架飞机中，有三架的识别结果为C-17运输机，另外一架的识别结果为C-130运输机。对C-130运输机的识别结果进行分析，判断模型分类结果的排前五置信度的飞机类型中是否有C-17运输机，如果有，则替换该飞机的类型。

本发明提供了一种卫星遥感影像飞机目标识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种结合先验知识的卫星遥感影像飞机目标识别方法，其特征在于，包括如下步骤：

步骤1，构建飞机目标停放区域知识库；

步骤2，计算待识别图像与飞机目标停放区域知识库的交集；

步骤3，对待识别图像进行飞机识别；

步骤4，对识别之后的结果进行位置推理，滤除部分识别结果；

步骤5，对识别之后的结果进行类别推理，修改识别结果；

步骤6，对识别之后的结果进行上下文推理，修改识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：针对每个不同的机场，划定一个机场的多边形区域，只有在所述多边形区域中才会停放飞机，将所述多边形区域的经纬度保存下来，用(lon1，lat1，lon2，lat2，......，lonn，latn)表示，lonn为多边形区域的第n个点的经度，latn为多边形区域的第n个点的纬度，n取值为自然数，将不同机场的多边形区域及对应的经纬度信息保存，形成飞机目标停放区域知识库。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：在进行卫星遥感影像飞机目标识别的过程中，读取飞机目标停放区域在飞机目标停放区域知识库中对应的多边形区域，先求出多边形区域的经纬度坐标在待识别图像上的像素点位置(x₁，y₁)，...，(x_m，y_m)，(x_m，y_m)表示第m个经纬度坐标(lonm，latm)在待识别图像上的像素点位置坐标，待识别图像的宽度为w，高度为h，计算待识别图像与飞机目标停放区域知识库的交集，具体步骤包括：

步骤2-1，循环计算多边形区域的一条边(x₁，y₁)，(x₂，y₂)与待识别图像的交点：

设定(x₁，y₁)和(x₂，y₂)的直线方程式为y＝kx+b；

判断x₁是否和x₂相同，并且x₁在0和w之间，h在y₁和y₂之间，如果满足上述条件，则(x₁，h)是一个交点，加入交点列表；

判断x₁是否和x₂相同，并且x₁在0和w之间，0在y₁和y₂之间，如果满足上述条件，则(x₁，0)是一个交点，加入交点列表；

设定y₁和y₂不同，并且y₁在0和h之间，w在x₁和x₂之前，则(w，y₁)是一个交点，加入交点列表；

判断y₁是否和y₂相同，并且y₁在0和h之间，0在x₁和x₂之前，如果满足上述条件，则(0，y₁)是一个交点，加入交点列表；

判断x₁和x₂是否相等，如果相等，两点之间直线的斜率k为0，如果不相等，两点之间直线的斜率k为(y₂-y₁)/(x₂-x₁)，b为y₁-k*x₁；

步骤2-2，判断待识别图像的上边线与步骤2-1中求出的直线y＝kx+b否有交点，如果有，将交点值加入交点列表；判断待识别图像的左边线与步骤2-1中求出的直线y＝kx+b是否有交点，如果有，将交点值加入交点列表；判断待识别图像下边线与步骤2-1中求出的直线y＝kx+b是否有交点，如果有，将交点值加入交点列表；判断待识别图像的右边线与步骤2-1中求出的直线y＝kx+b是否有交点，如果有，将交点值加入交点列表；

步骤2-3，循环步骤2-1和步骤2-2计算出多边形的各条边(x_i，y_i)，(x_i+1，y_i+1)和待识别图像的交点并加入交点列表；

步骤2-4，依次循环交点列表，判断两点之间是否经过了一个矩形的顶点，如果0即在x_i和x_i+1之间，也在y_i和y_i+1之间，则将(0，0)插入飞机目标停放区域知识库，放在(x_i，y_i)，(x_i+1，y_i+1)中间；如果w在x_i和x_i+1之间，0也在y_i和y_i+1之间，则将(w，0)插入飞机目标停放区域知识库，放在(x_i，y_i)，(x_i+1，y_i+1)中间；如果0在x_i和x_i+1之间，h也在y_i和y_i+1之间，则将(0，h)插入飞机目标停放区域知识库，放在(x_i，y_i)，(x_i+1，y_i+1)中间；如果w在x_i和x_i+1之间，h也在y_i和y_i+1之间，则将(w，h)插入飞机目标停放区域知识库，放在(x_i，y_i)，(x_i+1，y_i+1)中间；最终形成待识别图像与飞机目标停放区域知识库的交集。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1：采集基地的影像数据，进行飞机类别标注，形成训练数据集；

步骤3-2：统计训练集中飞机的大小，调整faster-rcnn模型中的anchors参数，使其能覆盖所有的飞机大小，然后利用faster-rcnn模型对待识别图像进行飞机检测；

步骤3-3：针对步骤3-2检测之后的结果，利用reset101模型进行分类，得出每个飞机检测结果的分类置信度，保留置信度最高的前五位，取置信度最好的结果为该飞机的识别结果。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：对步骤3-3得到的识别结果进行分析，判断识别出的飞机位置是否在步骤2生成的交集范围内，如果在，则保留识别结果，如果不在，则舍弃识别结果。

6.根据权利要求5所述的方法，其特征在于，步骤5包括：

步骤5-1：在训练集按照飞机的类别对飞机所占像素值大小进行统计，得出每类飞机所占训练集中图像像素值范围；

步骤5-2：针对经过步骤4处理后的识别结果，取其进行分类后置信度最高的结果，判断其结果是否在其类型的像素值范围之内，如果不在，则重复步骤5-2，选择置信度次高的结果进行判断，如果在其类型的像素值范围内，则替换该类型为该架飞机的识别结果。

7.根据权利要求6所述的方法，其特征在于，步骤6包括：对步骤5的识别结果进行分析，判断是否有排列在一排的飞机。当出现有排列在一排的飞机超过3个时，判断其飞机类型是否一致。如果在一排的机型中有超过80％的机型为类别A，有20％的机型为类别B，判断飞机B的分类结果置信度前五的机型中是否含有类型A，如果有，将飞机B的结果修改为类别A。

Images