CN108509898B - 一种基于图像流的近实时遥感图像在线目标检测方法 - Google Patents

Abstract

本发明公开了一种基于图像流的近实时遥感图像在线目标检测方法，属于遥感图像处理技术领域。其包括获取图像的基本参数、获取目标最大尺寸、计算目标占据的最大像素数、获取目标检测算法的时间计算复杂度函数、计算需要执行目标检测的图像块数、计算图像划分的总计算复杂度、求得每次检测的行数、利用目标检测算法对分块图像进行目标检测等步骤。本发明能够在进行图像生产的同时进行图像目标检测，可以降低遥感图像存储资源和计算资源，在分块处理时具有极低的计算复杂度。

Description

一种基于图像流的近实时遥感图像在线目标检测方法

技术领域

本发明涉及遥感图像处理技术领域，特别是指一种基于图像流的近实时遥感图像在线目标检测方法。

背景技术

随着卫星遥感技术的快速发展，尤其是高分辨率遥感技术的发展，多源、高分辨率的遥感数据呈爆炸式快速增长，遥感数据的存储和处理方面遇到了前所未有的挑战。在遥感图像应用中，如军事应用，用户感兴趣的往往是图像包含目标的部分区域。对这些用户来说，大量的背景图像属于无效信息，对这些数据的存储和处理不仅浪费大量的存储和计算资源，同时，有效信息淹没在海量数据中，使得有效信息的提取变得更为困难。

遥感卫星数据的获取多采用推扫方式，因此图像生产时是逐行渐进生产的。如果在图像生产同时进行目标检测等遥感图像的处理可以大大提高信息获取的效率。这样，可以只对包含目标的图像进行处理，从而节省大量存储和计算资源，也使得有效信息的提取和发现变得更容易。这种处理方法特别适用于诸如灾害观测、军事信息获取等实时性要求非常高的应急遥感应用场景，这些场景要求系统具备实时遥感数据挖掘和分析能力，从而快速地从图像流数据中提取目标信息，如机场、城市、港口，甚至船舰等动态目标追踪信息。这要求系统在进行遥感图像产品生产处的同时，快速地进行复杂的数据挖掘和信息提取，这对系统的处理能力和处理性能都是一个极大的挑战。

此外，随着遥感图像的分辨率及图像幅宽的提高，单幅遥感影像的数据量快速增长，往往达到几Gb甚至几十Gb的量级。这为遥感图像的处理应用带来了前所未有的挑战。一个处理策略是对图像进行分块处理，但分块处理容易造成目标漏检等问题。在保证目标不漏检的前提下，采取什么图像分块策略，可以最大化的提高处理效率也是一个需要解决的问题。

当前的处理方法存在以下问题：

1)高码速率、大幅宽、大量数据的实时数据处理问题。即，如何满足持续剧增的卫星下行数据率、大幅宽等卫星数据的实时处理需求。

2)目前遥感产品生产系统缺乏自动的遥感信息挖掘和分析能力，存在数据浪费。即，如何实现实时图像流数据的实时信息挖掘与分析，从而快速地从图像生产流中提取目标信息，如机场、城市、港口，甚至船舰等动态目标追踪信息。

3)如何协调与控制实时处理、目标提取与分析、实时移动窗显示之间的速率匹配关系，实现最佳的处理、分析效果也是待解决的问题。

发明内容

有鉴于此，本发明提出一种基于图像流的近实时遥感图像在线目标检测方法，该方法能够实现近实时的目标在线检测，降低遥感数据量，提高数据处理的效率。

基于上述目的，本发明提供的技术方案是：

一种基于图像流的近实时遥感图像在线目标检测方法，其包括以下步骤：

(1)获取图像的基本参数，包括图像总行数H、图像列宽W以及图像分辨率λ；

(2)读取目标参数配置文件，获取目标最大尺寸S；

(3)计算目标占据的最大像素数M＝S/λ，对M进行向上取整；

(4)获取目标检测算法的时间计算复杂度函数g(u,v)，u、v为两个自变量；所述目标检测算法为恒虚警率目标检测算法，则g(u,v)＝u²v²；

(5)计算需要执行目标检测的图像块数

其中X为每次进行目标检测的行数；

(6)将X和W代入时间计算复杂度函数g(u,v)，计算按照X进行图像划分的总计算复杂度f＝g(X,W)*N；

(7)根据步骤(6)中的计算结果，求得使得总计算复杂度最小的X值，将每次检测的行数设为该X值，此即为图像划分方案；

(8)利用目标检测算法对分块图像进行目标检测，每次处理的图像大小为X*W，图像块重叠宽度为M，即每次处理都从上次处理完毕的前M像素开始处理。

可选的，所述步骤(7)中求得使得总计算复杂度最小的X值的方式为：

(701)计算总计算复杂度函数的导数

(702)令导数为零，则X为方程

的根。

从上面的叙述可以看出，本发明技术方案的有益效果在于：

目前遥感图像的传感器通常采用推扫进行成像，这时首先获得的是图像的一个行，随着平台的飞行，逐渐获得更多的图像行。因此图像流数据是一行一行地进行存储的。这样，在进行图像生产的时候，图像就是一行一行地生产出来。遥感图像的应用模式就是从图像中获取有意义的信息，很多时候，遥感图像中并没有包含有用的信息。比如，目标检测场景中，有大量的图像并不包含目标，存储处理这些图像浪费大量的存储资源和计算资源。

本发明提出的在线目标检测方法，在图像生产过程中，进行目标检测，从而可以近实时的获取目标检测结果。后续应用处理过程中仅需要对含有目标的图像进行处理，可以节省大量的存储和计算资源。

由于图像是一行一行地生产出来，因此本发明需要确定多少行的图像适合用于目标检测。容易理解，生产的图像至少得能够覆盖一个完整的目标，也就是每次处理的图像高度不能低于目标的最大尺寸。另一个问题是，在多次对图像分块的过程中，可能会使得目标被分块边缘切分，这样会导致目标的漏检。为此，需要在前后两次对图像块处理的时候，进行重叠处理，使得在前一次检测中被切分的目标，能够在后一次检测中得到检测。也就是必须保证每一个目标能够完整的出现在一个图像块中。合理的检测重叠宽度可以保证目标不被漏掉，但这个宽度并不是越宽越好，因为重叠宽度越宽，则重复计算量越大，导致更多的计算资源浪费，与本发明减少计算资源的初衷相违背。本发明认为，为保证每个目标都能完整出现，这个重叠宽度至少应等于目标的最大尺寸，同时重叠宽度越小，则重复计算越小。因此，本发明将重叠宽度设为目标的最大尺寸。

本发明方法的一个关键问题在于图像分块的大小。如前所述，每次检测的图像块至少要大于目标的尺寸，分块图像越小，每次计算的计算复杂度也越小。但越小的图像分块，重叠部分的比例越大，从而造成计算资源的浪费。因此图像分块大小决定了整体计算复杂度的高低，本发明给出了一种自适应的图像分块的方法，该方法根据图像尺寸、分辨率、目标大小以及目标检测算法自动确定图像分块处理的大小，从而使得总体计算复杂度最低。

本发明方法的意义在于，应用本方法可以在卫星数据生产的同时，对海上舰船目标的快速、自动提取与识别，并有效排除背景数据。舰船目标自动检测能力及实时性的提高，无论在民用或军事领域都有广阔的应用前景。在民用方面，有助于海运交通监管、船只救援、打击走私、非法捕鱼等；在军事领域，则可实时监视敌方舰船部署与动态，评估海上作战实力等。同时，该方法对高分辨率图像的分块处理也能提供技术支撑。

总之，本发明提出了一种效果良好、易于实现，同时具有较低计算复杂度的图像流分块方法，能够在进行图像生产的同时进行图像目标检测，可以降低遥感图像存储资源和计算资源，在分块处理时具有极低计算复杂度。

附图说明

为了更加清楚地描述本专利，下面提供一幅或多幅附图，这些附图旨在对本专利的背景技术、技术原理和/或某些具体实施方案做出辅助说明。需要注意的是，这些附图可以给出也可以不给出一些在本专利文字部分已有描述且属于本领域普通技术人员公知常识的具体细节；并且，因为本领域的普通技术人员完全可以结合本专利已公开的文字内容和/或附图内容，在不付出任何创造性劳动的情况下设计出更多的附图，因此下面这些附图可以涵盖也可以不涵盖本专利文字部分所叙述的所有技术方案。此外，这些附图的具体内涵需要结合本专利的文字内容予以确定，当本专利的文字内容与这些附图中的某个明显结构不相符时，需要结合本领域的公知常识以及本专利其他部分的叙述来综合判断到底是本专利的文字部分存在笔误，还是附图中存在绘制错误。特别地，以下附图均为示例性质的图片，并非旨在暗示本专利的保护范围，本领域的普通技术人员通过参考本专利所公开的文字内容和/或附图内容，可以在不付出任何创造性劳动的情况下设计出更多的附图，这些新附图所代表的技术方案依然在本专利的保护范围之内。

图1为现有技术中推扫成像的图像生产示意图。

图2为图像分块中造成目标被分块边缘切分的情况的示意图。

图3为图像分块检测重叠区域示意图。

图4为本发明实施例中的一种方法流程图。

图5为不同分块策略下的计算复杂度。

图6为使用CFAR算法对本发明分块图像和对原始图像处理的处理结果。

具体实施方式

为了便于本领域技术人员对本专利技术方案的理解，同时，为了使本专利的技术目的、技术方案和有益效果更加清楚，并使权利要求书的保护范围得到充分支持，下面以具体案例的形式对本专利的技术方案做出进一步的、更详细的说明。

如图4所示，一种基于图像流的近实时遥感图像在线目标检测方法，其包括以下步骤：

(1)获取图像的基本参数，包括图像总行数H、图像列宽W以及图像分辨率λ；

(2)读取目标参数配置文件，获取目标最大尺寸S；

(3)计算目标占据的最大像素数M＝S/λ，对M进行向上取整；

(4)获取目标检测算法的时间计算复杂度函数g(u,v)，u、v为两个自变量；

(5)计算需要执行目标检测的图像块数

其中X为每次进行目标检测的行数；

(6)将X和W代入时间计算复杂度函数g(u,v)，计算按照X进行图像划分的总计算复杂度f＝g(X,W)*N；

(7)根据步骤(6)中的计算结果，求得使得总计算复杂度最小的X值，将每次检测的行数设为该X值，此即为图像划分方案；

(8)利用目标检测算法对分块图像进行目标检测，每次处理的图像大小为X*W，图像块重叠宽度为M，即每次处理都从上次处理完毕的前M像素开始处理。

其中，步骤(3)中M向上取整是指：若M不是整数，则令M为其整数部分加1。

其中，步骤(6)中的总计算复杂度表达式中的N是由图像块大小X决定的，因此总计算复杂度表达式实际上是X的函数，即

可选的，所述步骤(7)中求得使得总计算复杂度最小的X值的方式为：

(701)计算总计算复杂度函数的导数

(702)令导数为零，则X为方程

的根。

上述方法的原理在于：

现有技术中，很多遥感图像的传感器是推扫进行成像的，这时首先获得的是图像的一个行，随着平台的飞行，逐渐获得更多的图像行。因此图像流数据是一行一行进行存储的。这样，在进行图像生产的时候，图像就是一行一行地生产出来，如图1所示。遥感图像的应用模式就是从图像中获取有意义的信息，很多时候，遥感图像中并没有包含有用的信息。比如，目标检测场景中，有大量的图像并不包含目标，存储处理这些图像浪费大量的存储资源和计算资源。

本发明提出一种在线目标检测方法，在图像生产过程中，进行目标检测，从而可以近实时的获取目标检测结果。后续应用处理过程中仅需要对含有目标的图像进行处理，可以节省大量的存储和计算资源。

由于图像是一行一行地生产出来，因此本发明需要确定多少行的图像适合用于目标检测。容易理解，生产的图像至少得能够覆盖一个完整的目标，也就是每次处理的图像高度不能低于目标的最大尺寸。另一个问题是，在多次对图像分块的过程中，可能会使得目标被分块边缘切分，这样会导致目标的漏检，如图2所示。为此，需要在前后两次对图像块处理的时候，进行重叠处理，使得在前一次检测中被切分的目标，能够在后一次检测中得到检测。也就是必须保证每一个目标能够完整的出现在一个图像块中。合理的检测重叠宽度可以保证目标不被漏掉，但这个宽度并不是越宽越好，因为重叠宽度越宽，则重复计算量越大，导致更多的计算资源浪费，与本发明减少计算资源的初衷相违背。为保证每个目标都能完整出现，这个重叠宽度至少应等于目标的最大尺寸，同时重叠宽度越小，则重复计算越小。为此，本发明将重叠宽度设为目标的最大尺寸，如图3所示。

本发明方法的一个关键问题在于图像分块的大小。如前所述，每次检测的图像块至少要大于目标的尺寸，分块图像越小，每次计算的计算复杂度也越小。但越小的图像分块，重叠部分的比例越大，从而造成计算资源的浪费(不同分块策略下的计算复杂度如图5所示)。因此图像分块大小决定了整体计算复杂度的高低，本发明给出了一种自适应的图像分块的方法，该方法根据图像尺寸、分辨率、目标大小以及目标检测算法自动确定图像分块处理的大小，从而使得总体计算复杂度最低。

以下为一个更加具体的例子：

步骤1，图像参数获取：该图像总行数H＝12000，列宽为W＝18405，分辨率λ＝0.6m；

步骤2，目标为舰船，读取配置文件，最大航母尺寸为329.5m(其他目标尺寸可能不同)；

步骤3，计算目标占据的最大像素数M＝S/λ＝549.17，向上取整后M＝550；

步骤4，获取目标检测算法的时间计算复杂度函数g(u,v)，本实例采用CFAR(Constant False-Alarm Rate，恒虚警率)目标检测算法，其计算复杂度为o(N²)，因此g(u,v)＝u²v²；

步骤5，计算需要执行目标检测的图像块数

步骤6，计算按照X进行图像分块的总计算复杂度

步骤7，根据步骤6中的计算结果，求得使得总计算复杂度最小的X值，即为图像划分方案，每次检测的行数为X；

令f'＝0，可解得X＝1100；

步骤8，利用目标检测算法对分块图像进行目标检测，每次处理的图像行数为1100行，图像分块大小为1100×18405，图像块重叠宽度为550，即每次处理都从上次处理完毕的前M像素开始处理。

上述方法的效果可通过以下试验进行说明：

1.试验条件。

计算机配置为Intel Core i7-3770 CPU 3.4Ghz，4GB内存，软件环境为MatlabR2013。

2.试验方法。

试验计算不同分块方案的X下的计算复杂度，同时根据最优处理行数进行CFAR舰船检测，检测结果如图6(A)所示。为了对比，试验还使用CFAR方法对直接原始图像进行处理，检测结果如图6(B)所示。此外，试验还比较了两种情况下的计算时间。

3.试验内容与结果。

试验针对如所示的遥感数据进行仿真分块，分块大小应比最大目标尺寸(本例为550像素)大，因此试验分块策略从550递增至12000，重叠宽度为550。从图像分块行数与计算复杂度的关系可以看出，随着分块行数的增加，总体计算复杂度呈现先递减后递增的趋势，有一个最小值，该值对应的图像分块行数为1100，该行数即为最优的分块检测方案。

对比目标检测结果图6，可以看出，CFAR基本能够检测图像中的舰船，由于采用了重叠检测的思路，本发明的方法并没有导致目标的漏检，对检测结果没有影响。图中检测结果的少量漏检是由于算法本身造成的。

在单线程下，使用本发明方法进行分块处理的时间为35.81s，直接对原始图像进行处理的时间为285.44s。可以看出，在不增加计算资源的前提下，本发明方法能够大大降低计算复杂度，提高计算效率。

此外，需要注意的是，本发明方法不仅能够在进行图像生产的同时进行图像目标检测，也适用于生产后的图像的分块处理。

需要理解的是，上述对于本专利具体实施方式的叙述仅仅是为了便于本领域普通技术人员理解本专利方案而列举的示例性描述，并非暗示本专利的保护范围仅仅被限制在这些个例中，本领域普通技术人员完全可以在对本专利技术方案做出充分理解的前提下，以不付出任何创造性劳动的形式，通过对本专利所列举的各个例采取组合技术特征、替换部分技术特征、加入更多技术特征等等方式，得到更多的具体实施方式，所有这些具体实施方式均在本专利权利要求书的涵盖范围之内，因此，这些新的具体实施方式也应在本专利的保护范围之内。

此外，出于简化叙述的目的，本专利也可能没有列举一些寻常的具体实施方案，这些方案是本领域普通技术人员在理解了本专利技术方案后能够自然而然想到的，显然，这些方案也应包含在本专利的保护范围之内。

出于简化叙述的目的，上述各具体实施方式对于技术细节的公开程度可能仅仅达到本领域技术人员可以自行决断的程度，即，对于上述具体实施方式没有公开的技术细节，本领域普通技术人员完全可以在不付出任何创造性劳动的情况下，在本专利技术方案的充分提示下，借助于教科书、工具书、论文、专利、音像制品等等已公开文献予以完成，或者，这些细节是在本领域普通技术人员的通常理解下，可以根据实际情况自行作出决定的内容。可见，即使不公开这些技术细节，也不会对本专利技术方案的公开充分性造成影响。

总之，在结合了本专利说明书对权利要求书保护范围的解释作用的基础上，任何落入本专利权利要求书涵盖范围的具体实施方案，均在本专利的保护范围之内。

Claims (2)

1.一种基于图像流的近实时遥感图像在线目标检测方法，其特征在于，包括以下步骤：

(1)获取图像的基本参数，包括图像总行数H、图像列宽W以及图像分辨率λ；

(2)读取目标参数配置文件，获取目标最大尺寸S；

(3)计算目标占据的最大像素数M＝S/λ，对M进行向上取整；

(4)获取目标检测算法的时间计算复杂度函数g(u,v)，u、v为两个自变量；所述目标检测算法为恒虚警率目标检测算法，则g(u,v)＝u²v²；

(5)计算需要执行目标检测的图像块数

其中X为每次进行目标检测的行数；

(6)将X和W代入时间计算复杂度函数g(u,v)，计算按照X进行图像划分的总计算复杂度f＝g(X,W)*N；

(7)根据步骤(6)中的计算结果，求得使得总计算复杂度最小的X值，将每次检测的行数设为该X值，此即为图像划分方案；

(8)利用目标检测算法对分块图像进行目标检测，每次处理的图像大小为X*W，图像块重叠宽度为M，即每次处理都从上次处理完毕的前M像素开始处理。

2.根据权利要求1所述的基于图像流的近实时遥感图像在线目标检测方法，其特征在于，所述步骤(7)中求得使得总计算复杂度最小的X值的方式为：

(701)计算总计算复杂度函数的导数

(702)令导数为零，则X为方程

的根。

Images