CN103516663B - 机载合成孔径雷达数据集群式处理方法 - Google Patents

Abstract

本发明公开了一种机载合成孔径雷达数据集群式处理方法，该方法基于服务器端、客户端集群和磁盘阵列组成的C/S体系构架，包括：服务器端设置SAR成像处理任务；服务器端监听、接受客户端集群中的客户端的连接请求，并为建立连接的客户端创建专享服务线程；服务器端在创建的服务于该客户端的专享服务线程中按序为该客户端分配唯一的数据批次号；服务器端的专享服务线程将存储于磁盘阵列的该批次号对应的批次任务数据及批次任务信息下发到其服务的该客户端；该客户端对批次任务数据进行成像处理并将结果图像通过FTP方式上传至批次任务信息中指定的结果图像存放路径下。本发明实现了机载SAR成像处理过程的集群式、无人值守式作业。

Description

机载合成孔径雷达数据集群式处理方法

技术领域

本发明涉及电子行业合成孔径雷达(SyntheticApertureRadar，简称SAR)数据处理技术领域，尤其涉及一种机载SAR数据集群式处理方法。

背景技术

SAR是一种全天时、全天候的主动式微波成像雷达，具有观测范围广，观测周期短，空间分辨率高等优点，广泛应用于灾害监测、军事侦察、抢险救灾等领域。根据系统载荷平台划分，SAR系统通常分为星载SAR系统和机载SAR系统。其中，机载SAR因其具有的数据时效强、操作灵活、分辨率高等特点，在应对突发性事件的侦查和监测方面应用广泛。

基于获取高分辨率SAR图像的机载SAR数据处理主要分为两个阶段：一个是SAR原始数据回放，另一个是SAR成像处理。前者是将机载SAR系统获取的原始(条带)数据从机载记录器中回放出来，条带数据经“切块”处理，形成文件大小相同、序号连续的SAR原始数据文件。SAR成像处理是基于回放形成的SAR原始数据文件进行微波信号的合成处理，由多个原始数据文件合成处理出一幅SAR图像，顺序依次合成处理全部原始数据文件，最终形成多幅连续的条带SAR图像。上述过程的处理耗时历来是制约机载SAR图像应用时效性的主要因素。随着机载高分辨率SAR系统的快速发展，高分辨率SAR图像应用需求日益增强，快速、高质量的SAR成像处理日益得到应用领域的重视。然而，分辨率的提高直接导致获取的SAR原始数据量数倍增大，给SAR成像处理带来极大压力，进而严重影响高分辨率SAR图像获取的时效性。

目前，针对高分辨率机载SAR数据，现有的处理模式为：首先进行SAR原始数据回放处理。一般情况下，飞行1～2小时获取的数据量，回放处理耗时通常需要几个小时，等待SAR原始数据回放处理结束后，再开展SAR成像处理。其中，就SAR成像处理过程而言，现有的处理方式有两种：

一、单机处理模式。即采用一台计算机(或工作站)进行数据串行成像处理。由于是单机串行处理，在时效性方面很难满足应用要求，以1m分辨率的机载SAR系统为例，1～2小时获取的数据量，其成像处理耗时通常要1天左右。

二、多机处理模式。即将SAR原始数据回放处理后生成的SAR原始数据文件人工的划分为多段，然后，将划分好的多段数据分别拷贝至多台处理设备，利用多台设备同时开展SAR成像处理，处理完毕后，再将结果图像人工拷贝到同一台设备上。

在实现本发明的过程中，申请人发现现有技术SAR数据多机处理方式存在如下技术缺陷：

(1)需要人工同时操控和监视多台设备，数据分配和结果图像收集需要全程人工干预(拷贝)完成，对于作业式处理，工作强度大，无法实现无人值守，不能被用户所接受；

(2)由于数据配置人工干预强度大，SAR成像处理通常须在SAR数据回放处理完成后开展，不利于高时效性要求的边回放边成像同步作业模式的实现；

(3)结果图像的汇集采用人工拷贝图像到同一台设备上，这种方式不利于图像汇集与成像处理的同步开展，不能保障结果图像序号的连续性，进而无法实现同步于成像处理的结果图快速、连续显示与监测需要；

(4)由于机器间性能差异，长时间的差异积累会导致设备间处理进度差异较大，最后出现只等待个别设备的情况；

(5)对于任务执行过程中临时需要增、减处理设备的需求，很难保证其数据再分配均衡和连续，且人工干预强度增加。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种机载SAR数据集群式处理方法，以减少机载SAR数据处理过程中人工的参与，提高自动化处理的程度。

(二)技术方案

根据本发明的一个方面，提供了一种机载SAR数据集群式处理方法，该方法基于服务器端、客户端集群和磁盘阵列组成的C/S体系构架，包括：步骤A，服务器端设置SAR成像处理任务，保存为总任务信息并执行任务加载，总任务信息为单个或多个单任务信息的集合；步骤B，服务器端监听、接受客户端集群中的客户端的连接请求，并为建立连接的客户端创建服务于该客户端的专享服务线程；步骤C，服务器端根据存储的总任务信息依次按序执行各单个任务，针对各单个任务，在创建的服务于该客户端的专享服务线程中按序为该客户端分配唯一的数据批次号；步骤D，服务器端的专享服务线程将存储于磁盘阵列的该批次号对应的批次任务数据及批次任务信息下发到其服务的该客户端，任务下发完毕后，服务器端终止并释放掉该客户端的专享服务线程；步骤E，该客户端对批次任务数据进行成像处理并将结果图像通过FTP方式上传至批次任务信息中指定的结果图像存放路径下。

(三)有益效果

从上述技术方案可以看出，本发明机载SAR数据集群式处理方法具有以下有益效果：

a、本发明技术特征之一是实现了机载SAR成像处理过程的集群式、无人值守式作业。采用了C/S体系结构、TCP/IP通讯协议构建了集群式SAR成像管理与监控系统，任务数据组织、调配采用批次数据自动调配方案，结果图像的汇集采用FTP自动上传方式，节点工作状态监视采用客户端节点实时反馈刷新方式，使得机载SAR成像处理过程实现了全程的自动化处理，从而极大的降低了人工干预程度，减轻了工作强度，实现了成像处理全过程的可监可控；

b、本发明技术特征之二是支持高时效性要求的边回放边成像同步作业模式。本发明技术方案中任务数据的组织、调配采用批次数据自动调配方案，其中，批次数据的分配由服务端根据客户端节点的连接响应前后统一指派其任务、数据批次号，并由服务端数据检测步骤来判别批次数据的存在与否，若不存在，则系统处于数据等待(监听、接收、检测循环执行)，一旦有被检测的批次数据生成，则进行数据处理，从而当SAR原始数据回放处理设置的数据回放目录为本系统任务数据所在目录时，就可以实现机载SAR数据处理的边回放边成像同步作业；

c、本发明技术特征之三是支持高时效性图像快速监测需求的边成像边同步连续显示成像结果图像的作业模式。其技术方案分析如下：本发明技术方案中任务数据处理采用批次数据自动调配方案，实现了任务数据的逐批接续处理，结果图像的汇集采用FTP自动上传方式，保证了逐批接续处理的数据产生连续的图像并存放在指定目录下，从而当SAR图像同步显示需求设置的图像获取目录为本系统结果图像汇集目录时，就可以实现SAR数据处理的边成像边同步连续显示结果图像和开展监测应用；

d、本发明技术特征之四是可以保证SAR成像处理任务在各数据处理客户端节点的同步进行和准同步截至。本发明技术方案中任务数据的调配和处理采用批次数据自动调配方案，其特征是客户端每隔一定时间请求一批数据进行处理，其数据组织和调配都是基于客户端节点的任务请求为驱动，因此，保证了同步工作的各客户端节点在任何时刻任务量差异的极限为1批数据，从而实现了基于客户端节点自身处理性能的任务量自动调配和处理，保证了SAR成像处理任务的同步开展和准同步结束，不受节点间设备性能差异影响，进而也保证了边成像边同步连续显示条带图像的应用需求；

e、本发明技术特征之五是系统支持在任务执行过程中临时增、减客户端节点的需求。由于本发明技术方案中任务数据的调配和处理采用批次数据自动调配方案，其数据组织和调配都是基于客户端节点的任务请求为驱动，因此，对服务器端而言，在任务执行过程中的随意增、减客户端节点(在系统设定的最大服务客户端节点上限之内)对其任务的分配和数据调配丝毫没有影响，增加节点意味着增加“劳动力”，可以缩小处理耗时，进而提高时效性，从而SAR数据处理过程可根据任务紧急情况临时增加处理节点，提高图像时效性；而对于个别客户端节点出现硬件故障或设备挪用等突发情况，临时减少的客户端节点不会影响任务的接续开展和任务数据处理的完整性。

附图说明

图1为本发明机载SAR数据集群式处理方法中系统架构的示意图；

图2为本发明机载SAR数据集群式处理方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，实施例以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

本发明的目的旨在提高高分辨率机载SAR原始数据成像处理过程的自动化程度，支撑机载SAR系统应用领域的SAR数据边回放、边成像、边显示的应用需求，实现高效、可业务化运行的无人值守式机载SAR原始数据成像处理和任务监控。下面结合附图1和图2对本方案的具体实现方法作进一步说明。

一、系统架构

如图1所示，集群式机载SAR成像监控与管理系统采用的C/S体系构架主要包括：服务器端、客户端集群和磁盘阵列。其中，磁盘阵列挂在服务器端上，三者通过千兆以太网相连，同时，设备均配置有光纤传输模块，并通过光纤相连接。服务器端将任务信息和SAR原始数据传输至客户端节点，而客户端节点将状态信息和SAR结果图像传输至服务器端。

二、系统具体实现方法

本发明的机载SAR数据集群式处理方法，参考图2，包括下述实现步骤：

步骤S10、服务器端设置SAR成像处理任务(单个或多个任务)，保存为总任务信息并执行任务加载。所述总任务信息为单个或多个单任务信息的顺序集合，单任务信息至少包含如下信息：原始数据存放路径、原始数据文件名、结果图像存放路径、结果图像文件命名规则、批次数据处理方案、任务首文件编号、任务终止文件编号；

本步骤中，所述批次数据处理方案为以下三种方案中的一种：I+J、I+2J和I+3J，其中，I为处理出1幅图像所需原始数据文件的个数，J为处理出2幅连续图像重叠使用的原始数据文件个数。其作用是：服务器端根据所选处理方案，从所述任务首文件编号起依次标记等量的文件编号区段为任务批次号，以供任务数据在客户端集群间按批次号进行数据分配处理。

步骤S20、服务器端监听、接受客户端连接请求，并为建立连接的客户端创建服务于该客户端的专享服务线程，以供后续针对该客户端节点的任务信息与数据传输服务使用。

[S21]服务器端监听客户端的连接/任务请求；

[S22]客户端发送连接服务器端的连接/任务请求；

[S23]服务器端监听到客户端连接/任务请求后，检测当前服务的客户端节点数是否达到事先设定的最大服务上限，若未达到则接受连接，获取客户端节点主机信息，填充或更新客户端节点监控信息数组队列中该客户端节点的部分监控信息(主机名称、当前工作状态)，然后执行步骤S25，否则，拒绝客户端连接请求，返回步骤S21；

所述客户端监控信息至少包括如下：主机名称、批次号分配与否标识、当前处理文件序号、当前工作状态、处理起始时间、处理耗时、完成百分比；

[S24]：客户端连接请求不被接受，返回步骤S22，否则向下执行；

[S25]：服务器端分派一个服务于本次连接客户端的专享服务线程，同时，返回步骤S21，持续监听其它客户端连接请求；

步骤S30、服务器端根据存储的总任务信息依次按序执行各单个任务，针对各单个任务，服务器端在分配的客户专享服务线程中按序为客户端分配唯一的数据批次号；

[S31]：客户专享服务线程检测该客户端节点监控信息中的“批次号分配与否标识”，判断之前是否已经分配过数据批次号，若已分配过批次号，则执行步骤S41，否则执行步骤S32；

本步骤中，所述检测之前是否已经分配过数据批次号，即检测步骤S41在数据不存在时专享线程中途终止退出，而步骤S32已为其客户端分配了数据批次号。此情况下，该客户端再次连接成功后不应再次分配批次号。

[S32]：服务器端根据单任务信息中设置的批次数据处理方案，在客户专享服务线程中按照客户端节点连接的先后顺序按序为客户端分配唯一的数据批次号，并设置该客户端监控信息的“批次号分配与否标识”为“是”；

步骤S40、服务器端将存储于磁盘阵列的该批次号对应的任务数据及批次任务信息下发到相应客户端；

[S41]：客户专享服务线程根据单任务信息中原始数据存放路径、原始数据文件名、任务首文件编号、任务终止文件编号、批次数据处理方案及批次号，获得该批次号对应任务数据在磁盘阵列的存储位置，并检测其数据文件存在与否以及是否达到任务终止编号，若存在且未达到任务终止编号，执行步骤S42，否则，终止并释放专享服务线程；

[S42]：客户专享服务线程生成该批次号任务对应的批次任务信息，并将批次任务信息与存储于磁盘阵列的该批次号对应的批次任务数据发送至相应的客户端，所述批次任务信息包括：结果图像存放路径、结果图像文件命名规则；

本步骤中，服务器端向客户端发送数据同时，通过该发送事件定时驱动更新该客户端节点的监控信息，包括：当前处理文件序号、当前工作状态、处理起始时间、处理耗时、完成百分比。

[S43]：客户端接收批次任务信息和批次任务数据，若接收成功，则执行步骤S51，若超时未接收到信息，则返回步骤S22；

步骤S50、相应客户端对所述批次任务数据进行成像处理并将结果图像通过FTP方式上传至所述批次任务信息中指定的结果图像存放路径下。

[S51]：客户端对接收到的批次任务数据进行成像处理，处理完毕后，清空所有过程数据，并根据接收的批次任务信息中指定的结果图像文件命名规则命名结果图像，通过FTP方式将结果图像上传至批次任务信息中指定的结果图像存放目录下，同时，返回步骤S22，继续下一批次任务数据的请求和处理；

[S52]：服务器端提供对客户端的FTP数据传输服务；

步骤S60、客户端向服务器端发送其当前工作状态，服务器端接收客户端发送来的当前工作状态，实时填充或更新其维护的对应客户节点的监控信息，并利用该监控信息刷新监控屏幕的显示。

[S61]：客户端向服务器端发送其当前工作状态，其中，成像处理状态时，采用定时发送方式；其它工作状态时，采用事件驱动方式，如等待、连接成功、数据接收等事件；

当前工作状态至少包括如下信息：当前处理文件序号、当前工作状态、完成百分比；

[S62]：服务器端接收客户端发送来的当前工作状态，实时填充或更新其维护的该客户端节点监控信息，同时，利用该监控信息刷新监控屏幕的显示以便操作人员进行实时监控。

本发明针对高分辨率机载SAR数据成像处理过程，在多机处理模式的基础上，提供了一种有效的设备集中管理、并行处理和状态监控的资源整合方法，设计了基于设备性能的任务量自动调配、数据分发管理和数据同步处理的方案，保障了任务处理过程中数据处理的完整性不受客户端节点临时增、减的影响，实现了机载SAR成像处理过程的全程自动化和无人值守式作业；在设计流程中，充分考虑了基于机载SAR数据的边回放边成像同步处理以及后续针对结果图像同步连续显示监视的应用需求，任务数据的调配、处理采用批次数据调配方案与任务数据实时监测、传输方式，保证了数据实时监视目录下SAR原始数据回放处理步骤产生的数据文件可同步接续开展SAR成像处理；结果图像的汇集采用FTP自动上传，保证了结果图像的持续、连续生成；在任务管理设计上，兼顾多任务数据处理情况，使系统具有多任务自动跳转、连续作业的能力。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种机载合成孔径雷达数据集群式处理方法，该方法基于服务器端、客户端集群和磁盘阵列组成的C/S体系构架，包括：

步骤A，服务器端设置合成孔径雷达SAR成像处理任务，保存为总任务信息并执行任务加载，所述总任务信息为单个或多个单任务信息的集合；

步骤B，服务器端监听、接受所述客户端集群中的客户端的连接请求，并为建立连接的客户端创建服务于该客户端的专享服务线程；

步骤C，服务器端根据存储的总任务信息依次按序执行各单个任务，针对各单个任务，在创建的服务于该客户端的专享服务线程中按序为该客户端分配唯一的数据批次号；

步骤D，服务器端的专享服务线程将存储于磁盘阵列的该批次号对应的批次任务数据及批次任务信息下发到其服务的该客户端，任务下发完毕后，服务器端终止并释放掉该客户端的专享服务线程；

步骤E，该客户端对所述批次任务数据进行成像处理并将结果图像上传至所述批次任务信息中指定的结果图像存放路径下。

2.根据权利要求1所述的机载合成孔径雷达数据集群式处理方法，其中，所述单任务信息至少包括：批次数据处理方案、任务首文件编号；

所述步骤C中服务器端在创建的服务于该客户端的专享服务线程中按序为该客户端分配唯一的数据批次号包括：服务器端根据每个单任务信息中设置的批次数据处理方案，由所述任务首文件编号起依次标记等量的文件编号区段为递增的任务批次号，在该客户端的专享服务线程中按照客户端节点连接的先后顺序按序为该客户端分配唯一的数据批次号。

3.根据权利要求2所述的机载合成孔径雷达数据集群式处理方法，其中，所述单任务信息还包括：原始数据存放路径、原始数据文件名、任务终止文件编号；

所述步骤D中服务器端将存储于磁盘阵列的该批次号对应的任务数据及批次任务信息下发到其服务的该客户端包括：服务器端的专享服务线程根据单任务信息中原始数据存放路径、原始数据文件名、任务首文件编号、任务终止文件编号、批次数据处理方案及批次号，获得该批次号对应批次任务数据在磁盘阵列的存储位置；服务器端的客户专享服务线程生成该批次任务对应的批次任务信息，并将批次任务信息与存储于磁盘阵列的该批次号对应的批次任务数据发送至相应的客户端。

4.根据权利要求3所述的机载合成孔径雷达数据集群式处理方法，其中，所述服务器端的专享服务线程获得该批次号对应任务数据在磁盘阵列的存储位置的步骤之前还包括：

服务器端通过数据判别步骤判断该批次号对应的任务数据在磁盘阵列上是否存在，若不存在，则服务端器端处于数据等待状态，直至该批次号对应任务数据生成。

5.根据权利要求3所述的机载合成孔径雷达数据集群式处理方法，其中，所述批次数据处理方案为以下方案中的一种：I+J、I+2J和I+3J；

其中，I为处理出1幅图像所需原始数据文件的个数，J为处理出2幅连续图像重叠使用的原始数据文件个数。

6.根据权利要求3所述的机载合成孔径雷达数据集群式处理方法，其中，所述单任务信息还包括：结果图像存放路径、结果图像命名规则；

所述步骤D中服务器端的客户专享服务线程生成该批次任务对应的批次任务信息，并将批次任务信息发送至相应的客户端的步骤中，所述批次任务信息包括：结果图像存放路径、结果图像文件命名规则；

所述步骤E中该客户端对所述任务数据进行成像处理并将结果图像上传至所述批次任务信息中指定的结果图像存放路径下的步骤包括：相应的客户端对所述批次任务数据进行成像处理，将结果图像按照所述结果图像文件命名规则进行命名后，通过FTP方式上传至所述结果图像存放路径指向的存储目录。

7.根据权利要求6所述的机载合成孔径雷达数据集群式处理方法，其中，相应的客户端通过FTP方式上传至所述结果图像存放路径指向的存储目录的步骤之后还包括：

步骤F，该客户端重新向服务器端发送连接请求，执行步骤B。

8.根据权利要求1所述的机载合成孔径雷达数据集群式处理方法，其中，所述步骤B中服务器端监听、接受客户端连接请求包括：

服务器端监听客户端的连接请求；

客户端集群中的每一台客户端发送连接服务器端的连接请求；

服务器端检测到该客户端连接请求后，检测当前服务的客户端节点数是否达到事先设定的最大服务节点上限，如果未达到则接受连接，获取节点主机名，查询客户端节点监控信息数组队列，填充或更新该客户端监控信息；否则，拒绝该客户端的连接请求。

9.根据权利要求8所述的机载合成孔径雷达数据集群式处理方法，其中，所述填充或更新客户端监控信息步骤中，客户端监控信息至少包括如下信息：主机名称、批次号分配与否标识、当前处理文件序号、当前工作状态、处理起始时间、处理耗时、完成百分比。

10.根据权利要求9所述的机载合成孔径雷达数据集群式处理方法，还包括：

客户端向服务器端发送其当前工作状态，当客户端处于成像处理状态时，采用定时发送方式；当客户端处于除成像处理状态外的其它工作状态时，采用事件驱动方式，该事件为以下事件之一：等待、连接成功、数据接收；当前工作状态至少包括如下信息：当前处理文件序号、当前工作状态、完成百分比；

服务器端接收客户端发送来的当前工作状态，实时填充或更新其维护的该节点监控信息中的当前工作状态。

11.根据权利要求10所述的机载合成孔径雷达数据集群式处理方法，其中，

所述服务器端在分配的客户专享服务线程中按序为客户端分配唯一的数据批次号的步骤包括：服务器端检测该客户端的批次号分配与否标识；如果该批次号分配与否标识为“是”，则直接执行步骤D，否则，为该客户端分配数据批次号，并将该批次号分配与否标识置为“是”，

所述该客户端对所述批次任务数据进行成像处理并将结果图像上传至所述批次任务信息指定的结果图像存放路径下的步骤之后还包括：客户端向服务器端发送其当前工作状态，该当前工作状态中，批次号分配与否标识为“否”。

12.根据权利要求1至11中任一项所述的机载合成孔径雷达数据集群式处理方法，其中，当有新客户端并入客户端集群时：

该新客户端向服务器端发送连接请求，执行步骤B。

13.根据权利要求1至11中任一项所述的机载合成孔径雷达数据集群式处理方法，其中，所述服务器端在分配的客户专享服务线程中按序为客户端分配唯一的数据批次号步骤中，批次号的分配由服务端根据客户端节点的连接响应前后顺序统一按序指派。

14.根据权利要求1至11中任一项所述的机载合成孔径雷达数据集群式处理方法，其中，所述服务器端保存总任务信息的步骤中，当所述SAR成像处理任务为多个时：服务器端将各个单个的SAR成像处理任务对应的任务信息存放于多个序号递增的任务信息数组。