CN104978743A - 一种多核并行sar图像变化信息实时提取方法及装置 - Google Patents

Abstract

本发明涉及一种多核并行SAR图像变化信息实时提取方法，包括：判断是否有基准图索引，若判断结果为是，则进入下一步，否则，向记录仪申请基准图索引列表后进入下一步；通过解读SAR图像头文件判断任务类别，若为基准图任务，则将该接收的SAR实时图像生成基准图，更新基准图索引；若为变化信息实时提取任务，则根据基准图索引查找与之匹配的基准图，向记录仪申请相应的基准图进行变化检测处理。本发明还公开了一种多核并行SAR图像变化信息实时提取装置。本发明通过图像配准将基准图像和待检测图像关联起来，然后将基准图像作为先验信息，对待检测图像中的感兴趣的信息进行提取，能够提取监视区域的人工目标，摒弃冗余信息。

Description

一种多核并行SAR图像变化信息实时提取方法及装置

技术领域

本发明涉及合成孔径雷达图像处理技术领域，尤其是一种多核并行SAR图像变化信息实时提取方法及装置。

背景技术

SAR(Synthetic Aperture Radar，合成孔径雷达)是一种高分辨力的成像雷达，具有全天候、全天时、强穿透的工作能力。目前，SAR成像技术广泛应用于地球遥感、海洋研究、资源勘探、灾情预报和军事侦察等领域。

SAR图像变化信息实时提取具有广阔的应用背景。利用实时处理技术，通过对同一地区不同时间段SAR图像的对比，可实时了解战场态势、监控并预判敌方行动、打击效果评估、土地利用分析、灾情预报等。在实际应用中，待处理的高分辨的SAR图像数据量大，受限于CPU处理速度，基于单机串行处理的SAR图像解译平台很难满足实际需求，因此，通过某种技术实现SAR图像变化信息的快速解译具有重大的现实意义。

发明内容

本发明的首要目的在于提供一种能够及时发现SAR图像同一场景在不同时间段的变化信息，变化情报提取时间迅速的多核并行SAR图像变化信息实时提取方法。

为实现上述目的，本发明采用了以下技术方案：一种多核并行SAR图像变化信息实时提取方法，该方法包括下列顺序的步骤：

(1)SAR实时图像处理板接收到SAR成像处理板实时生成的SAR图像；

(2)SAR实时图像处理板判断是否有基准图索引，若判断结果为是，则进入下一步，否则，向记录仪申请基准图索引列表后进入下一步；

(3)SAR实时图像处理板通过解读SAR图像头文件判断任务类别，若为基准图任务，则将该接收的SAR实时图像生成基准图，更新基准图索引，并将基准图和基准图索引存入记录仪；若为变化信息实时提取任务，则根据基准图索引查找与之匹配的基准图，保留基准图序号，向记录仪申请相应的基准图进行变化检测处理，将处理结果输出。

所述基准图索引列表包括三部分内容：每幅基准图图像参数、重点区域地理信息参数和关注目标特征参数，所述基准图图像参数是指基准图成像的地理位置信息，所述重点区域地理信息参数是指重点区域角点经纬度。

所述生成基准图包括下列顺序的步骤：

(1)接收到生成基准图的任务指令后，判断是否有基准图索引，如果有基准图索引，则读取基准图索引里已有的基准图序列号，令当前基准图序列号为已有的基准图序列号加1，判断基准图索引中是否有重点区域，若判断结果为是，则生成精细基准图，否则，生成普通区域基准图；如果没有基准图索引，则令当前基准图序列号为1，生成普通区域基准图；

(2)确定基准图的分辨率，将图像校正到高斯坐标系，并修改校正后的图像参数，将标准格式的基准图存入记录仪，同时，在基准图索引列表中增加新的基准图信息并存入记录仪。

所述变化信息实时提取包括下列顺序的步骤：

(1)坐标转换和重叠区域提取：将当前SAR实时图像的地理位置信息和基准图索引列表中的每幅基准图的地理信息作对比，计算SAR实时图像和基准图的重叠区域面积，按照重叠区域面积从大到小的顺序保留基准图序列号，优先向记录仪申请重叠面积较大的基准图，以与基准图相同的分辨率将SAR实时图像几何校正到高斯坐标系下，校正后基准图和SAR实时图像在同一坐标系下；

(2)图像配准：取出SAR实时图像和基准图的重叠区域，完成重叠区域的粗配准和精配准，再将实时图插值，重采样；

(3)变化目标检测处理：利用对数比值法构造基准图和SAR实时图像的差异图，基于CFAR统计计算分割阈值，经过图像分割之后，采用目标筛选的方法，摈弃面积、辐射强度参数非符合目标特征的区域，生成最终的变化检测结果。

所述计算SAR实时图像和基准图的重叠区域面积包括下列步骤：

(1)依次取出基准图索引文件中每幅基准图的地理位置信息；

(2)以基准图中心点坐标为高斯坐标原点，以正东方向为高斯坐标X轴，以正北方向为高斯坐标Y轴，将基准图和SAR实时图像的顶点经纬度坐标转换为高斯坐标；

(3)计算基准图与SAR实时图像重叠的多边形顶点坐标，并在此基础上计算重叠区域多边形面积。

所述粗配准是指，从基准图和SAR实时图像的重叠区域的多边形内部取2ⁿ×2ⁿ象素大小区域作为样本区域，n≥10，对基准图样本区域进行FFT变换，对SAR实时图像样本区域在[-3°，3°]范围内以1度为间隔做图像旋转，将旋转结果进行FFT变换，计算基准图和SAR实时图像交叉能量谱，寻找能量谱最大时对应的旋转角度和空域位置，进而确定SAR实时图相对基准图的旋转平移量。

所述精配准是指，在SAR实时图像上确定待配准窗口，在基准图上确定搜索窗口，在搜索窗口内移动配准窗口，计算不同位置配准窗口与移动窗口的像素相似性，相似性最大所对应的移动窗口的偏移位置即为配准位置，两个窗口之间的相似性用最大相关系数衡量，依次计算所有搜索窗口，求出所有控制点位置，利用最小二乘法拟合出两幅图之间的对应关系，对SAR实时图像进行重采样，内插出实时图的最佳配准位置。

所述变化目标检测处理方法如下：对SAR实时图和基准图对应点相除取对数，形成差异图，两幅图像中未发生变化的区域在差异图中趋于0，相对基准图，变化目标分为在SAR实时图像中增加目标或者减少目标两种，统计差异图均值m和方差v，计算分割阈值：增加目标阈值t1＝m+k·v，减少目标阈值t2＝m-k·v，差异图中大于t1为新增目标，小于t2为减少目标；k为大于1.0的常数。

本发明的另一目的在于提供一种多核并行SAR图像变化信息实时提取装置，包括：

SAR成像处理板，用于实时生成SAR图像；

SAR实时图像处理板，用于接收实时SAR图像；完成与记录仪之间的数据交互；实现SAR图像变化信息的实时提取；

高速数据路由链路，实现SAR成像处理板与SAR实时图像处理板之间、SAR实时图像处理板与记录仪之间的高速数据路由；

记录仪，用于建立基准图数据库，存储基准图索引列表；向SAR实时图像处理板发送基准图索引列表或基准图；存储变化检测处理结果。

所述SAR实时图像处理板采用8核TMS320C6678单片机作为核心处理器。

由上述技术方案可知，本发明的优点如下：第一,系统通用型强，易于扩展：可以根据任务量不同扩展图像处理装置，本发明使用一片8核TMS320C6678DSP，当任务量大时、实时性要求高时，可扩展多片DSP，将SAR成像处理板产生SAR图像轮流发送给每片DSP，每片DSP独立处理其收到的SAR图像数据，将处理结果输出，等待下个处理任务；第二，变化检测算法设计稳健灵活，通过图像配准将基准图像和待检测图像关联起来，然后将基准图像作为先验信息，对待检测图像中的感兴趣的信息进行提取，能够提取监视区域的人工目标，如飞机、车辆、角反射器的变化，摒弃冗余信息；第三，变化检测结果以图像形式给出，信息丰富，生动直观，表现力强，情报判图分析人员可直观识别目标的几何外形、辐射强度等特征，操作简单，可及时对地物的变化情况做出准确地辨识、对变化目标种类进行辨识，监视军事目标和兵力部署的变化、评估毁伤效果。

附图说明

图1为本发明的结构框图；

图2为本发明的总方法流程图；

图3为本发明的基准图生成方法流程图；

图4为本发明的变化信息实时提取方法流程图；

图5为本发明的重叠区域多边形面积计算方法流程图；

图6为本发明的重叠区域多边形示意图；

图7为本发明的重叠区域提取示意图；

图8为本发明的粗配准方法流程图；

图9为本发明的精配准示意图；

图10为本发明的变化目标检测处理方法流程图；

图11、12均为本发明的任务并行分配示意图；

图13为本发明的图像数据块划分示意图；

图14为本发明的变化前图像示意图；

图15为本发明的变化后图像示意图；

图16为本发明的变化检测结果示意图。

具体实施方式

如图1所示，本装置包括：SAR成像处理板，用于实时生成SAR图像；SAR实时图像处理板，用于接收实时SAR图像；完成与记录仪之间的数据交互；实现SAR图像变化信息的实时提取；高速数据路由链路，实现SAR成像处理板与SAR实时图像处理板之间、SAR实时图像处理板与记录仪之间的高速数据路由；记录仪，用于建立基准图数据库，存储基准图索引列表；向SAR实时图像处理板发送基准图索引列表或基准图；存储变化检测处理结果。所述SAR实时图像处理板采用8核TMS320C6678单片机作为核心处理器。对处理流程模块化分，独立任务通过并行设计分配到8核，8核对待处理的数据互斥访问、并行处理、结果合并等流程实现板卡上的任务并行处理。将数据处理流程分解为尽可能小的任务模块，本装置处理流程可分解为9个模块：坐标转换、重叠区域提取、重叠区域面积计算、几何校正、图像粗配准、图像精配准、差异图产生、变化检测、目标区域面积统计等。任务管理采用主从方式，一个核管理主任务，对于不需并行处理的任务模块，该核独立处理，对于需要并行处理的任务模块，主任务对其他核进行任务管理。

如图2所示，一种多核并行SAR图像变化信息实时提取方法，包括下列步骤：(1)SAR实时图像处理板接收到SAR成像处理板实时生成的SAR图像；(2)SAR实时图像处理板判断是否有基准图索引，若判断结果为是，则进入下一步，否则，向记录仪申请基准图索引列表后进入下一步；(3)SAR实时图像处理板通过解读SAR图像头文件判断任务类别，若为基准图任务，则将该接收的SAR实时图像生成基准图，更新基准图索引，并将基准图和基准图索引存入记录仪；若为变化信息实时提取任务，则根据基准图索引查找与之匹配的基准图，保留基准图序号，向记录仪申请相应的基准图进行变化检测处理，将处理结果输出。

所述基准图索引列表包括三部分内容：每幅基准图图像参数、重点区域地理信息参数和关注目标特征参数，所述基准图图像参数是指基准图成像的地理位置信息，所述重点区域地理信息参数是指重点区域角点经纬度。重点区域地理信息和关注目标特征参数是备选项，如果用户有重点关注区域或者重点关注对象，则在该两项位置填入对应参数。

如图3所示，所述生成基准图包括下列步骤：(1)接收到生成基准图的任务指令后，判断是否有基准图索引，如果有基准图索引，则读取基准图索引里已有的基准图序列号，令当前基准图序列号为已有的基准图序列号加1，判断基准图索引中是否有重点区域，若判断结果为是，则生成精细基准图，否则，生成普通区域基准图；如果没有基准图索引，则令当前基准图序列号为1，生成普通区域基准图；(2)确定基准图的分辨率，将图像校正到高斯坐标系，并修改校正后的图像参数，将标准格式的基准图存入记录仪，同时，在基准图索引列表中增加新的基准图信息并存入记录仪。普通区域基准图与精细基准图的差别仅在图像分辨率上，具体分辨率如何确定应综合考虑硬件性能指标、用户关注目标尺寸等因素。如图4所示，所述变化信息实时提取包括下列步骤：(1)坐标转换和重叠区域提取：将当前SAR实时图像的地理位置信息和基准图索引列表中的每幅基准图的地理信息作对比，计算SAR实时图像和基准图的重叠区域面积，按照重叠区域面积从大到小的顺序保留基准图序列号，优先向记录仪申请重叠面积较大的基准图，以与基准图相同的分辨率将SAR实时图像几何校正到高斯坐标系下，校正后基准图和SAR实时图像在同一坐标系下；(2)图像配准：取出SAR实时图像和基准图的重叠区域，完成重叠区域的粗配准和精配准，再将实时图插值，重采样；(3)变化目标检测处理：利用对数比值法构造基准图和SAR实时图像的差异图，基于CFAR统计计算分割阈值，经过图像分割之后，由于幅度差异导致的变化大部分都能被检测出来，这其中不仅包括了有用的目标变化区域，还包括了各种背景变化，如农田植被变化、土壤含水量变化等，为了更有利于变化情报的提取，需要将各种背景变化消除，采用目标筛选的方法，摈弃面积、辐射强度等参数不符合目标特征的区域，生成最终的变化检测结果。

如图5所示，所述计算SAR实时图像和基准图的重叠区域面积包括下列步骤：(1)依次取出基准图索引文件中每幅基准图的地理位置信息；(2)以基准图中心点坐标为高斯坐标原点，以正东方向为高斯坐标X轴，以正北方向为高斯坐标Y轴，将基准图和SAR实时图像的顶点经纬度坐标转换为高斯坐标；(3)计算基准图与SAR实时图像重叠的多边形顶点坐标，并在此基础上计算重叠区域多边形面积。重叠区域多边形示意图如图6所示，在高斯坐标系下，SAR实时图像和基准图的成像区域分别为图中矩形所示，重叠区域多边形顶点由图中五角星标注。

如图7所示，SAR实时图像按照基准图的几何分辨率在高斯坐标系下在完成几何校正，此时，基准图和SAR实时图像均在同一坐标系下，具有统一的图像分辨率，几何校正后的图像，在图7中用虚线矩形表示，SAR实时图像和基准图成像区域用阴影表示，其余区域像素值赋0。计算重叠区域多边形外接矩形，如图中黑色实线矩形所示区域，计算该外接矩形顶点在几何校正后的基准图和实时图中的象素坐标，从而获取基准图和SAR实时图像的重叠区域数据。

如图8所示，所述粗配准是指，从基准图和SAR实时图像的重叠区域的多边形内部取2ⁿ×2ⁿ象素大小区域作为样本区域，n≥10，对基准图样本区域进行FFT变换，对SAR实时图像样本区域在[-3°，3°]范围内以1度为间隔做图像旋转，将旋转结果进行FFT变换，计算基准图和SAR实时图像交叉能量谱，寻找能量谱最大时对应的旋转角度和空域位置，进而确定SAR实时图相对基准图的旋转平移量。

SAR实时图像和基准图经过粗配准，像素间偏移量在几个像素范围内。基于搜索窗口的配准方法可使两幅图像达到亚像素精配准。如图10所示，所述精配准是指，在SAR实时图像上确定待配准窗口，在基准图上确定搜索窗口，搜索窗口与其对应的待配准窗口在图10中用相同的序号表示，在搜索窗口内移动配准窗口，计算不同位置配准窗口与移动窗口的像素相似性，相似性最大所对应的移动窗口的偏移位置即为配准位置，两个窗口之间的相似性用最大相关系数衡量，依次计算所有搜索窗口，求出所有控制点位置，利用最小二乘法拟合出两幅图之间的对应关系，对SAR实时图像进行重采样，内插出实时图的最佳配准位置。

所述变化目标检测处理方法如下：对SAR实时图和基准图对应点相除取对数，形成差异图，两幅图像中未发生变化的区域在差异图中趋于0，相对基准图，变化目标分为在SAR实时图像中增加目标或者减少目标两种，统计差异图均值m和方差v，计算分割阈值：增加目标阈值t1＝m+k·v，减少目标阈值t2＝m-k·v，差异图中大于t1为新增目标，小于t2为减少目标；k为大于1.0的常数，在这里取2.5。基于阈值得到的分割结果存在很多虚警，如图像杂波、飞行航线不吻合导致成像入射角差异，此外还要剔除非关注目标。需根据基准图索引中的关注目标特征参数，滤除虚警：例如通过统计分割结果中各目标的面积，可以滤除杂波点以及面积特征不符合的区域；如果用户关注的为车辆、飞机等人工目标，可分析基准图和实时图中相应区域是否有强散射目标，以滤除阴影等造成的虚警。

本系统的几何校正，图像粗配准，图像精配准，差异图产生，目标检测等功能，每个像素点在空间上相对独立，并行任务分配如图11所示，目标区域面积统计需要参考邻域信息，并行处理流程如图12所示。

图11中，每个功能模块将图像数据分解成一个个独立任务，每个任务都包含了的一块顺序数据，TMS320C6678单片机对不同地址的数据互斥访问并行处理，待处理的数据轮流分配给不同的核，分配完第N-1个核后，重新从第0核分配，例如，核0对第0块数据处理，核1对第1块数据处理，核N-1对第N-1块数据处理，核0对第N块数据处理……，该独立功能完成后，各核将结果汇总并完成核间同步1次。

如图12所示，阈值分割后，图像区域被分割为疑似目标区域和背景区域。区域面积统计目的是利用面积信息粗略删除面积不符合目标特征的疑似区域。将图像分割成有交叠的N个区域，如图13所示，交叠区域大小视目标区域面积阈值而定，每个核独立处理1个区域，统计其处理区域各疑似目标的面积，对于面积特征满足和不满足区域用不同的符号表示，当所有核都完成疑似目标面积统计后，核间同步，并由核0根据各核统计结果对图像疑似目标重新标识：对无交叠区域，满足面积阈值的区域保留，其余置为背景；对于交叠区域，把两个核处理结果中均满足面积阈值的区域保留，其余置为背景。

图14至图16为本装置处理结果展示图，其中图14、15分别为区域变化前、变化后SAR图像，图16为本装置变化目标检测结果，图16中白色区域为图14中有，图15中消失的目标，灰色区域为图14中无，图15中新增的目标。

综上所述，本发明的变化检测算法设计稳健灵活，通过图像配准将基准图像和待检测图像关联起来，然后将基准图像作为先验信息，对待检测图像中的感兴趣的信息进行提取，能够提取监视区域的人工目标，如飞机、车辆、角反射器的变化，摒弃冗余信息。

Claims (10)

1.一种多核并行SAR图像变化信息实时提取方法，该方法包括下列顺序的步骤：

(1)SAR实时图像处理板接收到SAR成像处理板实时生成的SAR图像；

(2)SAR实时图像处理板判断是否有基准图索引，若判断结果为是，则进入下一步，否则，向记录仪申请基准图索引列表后进入下一步；

(3)SAR实时图像处理板通过解读SAR图像头文件判断任务类别，若为基准图任务，则将该接收的SAR实时图像生成基准图，更新基准图索引，并将基准图和基准图索引存入记录仪；若为变化信息实时提取任务，则根据基准图索引查找与之匹配的基准图，保留基准图序号，向记录仪申请相应的基准图进行变化检测处理，将处理结果输出。

2.根据权利要求1所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述基准图索引列表包括三部分内容：每幅基准图图像参数、重点区域地理信息参数和关注目标特征参数，所述基准图图像参数是指基准图成像的地理位置信息，所述重点区域地理信息参数是指重点区域角点经纬度。

3.根据权利要求1所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述生成基准图包括下列顺序的步骤：

(1)接收到生成基准图的任务指令后，判断是否有基准图索引，如果有基准图索引，则读取基准图索引里已有的基准图序列号，令当前基准图序列号为已有的基准图序列号加1，判断基准图索引中是否有重点区域，若判断结果为是，则生成精细基准图，否则，生成普通区域基准图；如果没有基准图索引，则令当前基准图序列号为1，生成普通区域基准图；

(2)确定基准图的分辨率，将图像校正到高斯坐标系，并修改校正后的图像参数，将标准格式的基准图存入记录仪，同时，在基准图索引列表中增加新的基准图信息并存入记录仪。

4.根据权利要求1所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述变化信息实时提取包括下列顺序的步骤：

(1)坐标转换和重叠区域提取：将当前SAR实时图像的地理位置信息和基准图索引列表中的每幅基准图的地理信息作对比，计算SAR实时图像和基准图的重叠区域面积，按照重叠区域面积从大到小的顺序保留基准图序列号，优先向记录仪申请重叠面积较大的基准图，以与基准图相同的分辨率将SAR实时图像几何校正到高斯坐标系下，校正后基准图和SAR实时图像在同一坐标系下；

(2)图像配准：取出SAR实时图像和基准图的重叠区域，完成重叠区域的粗配准和精配准，再将实时图插值，重采样；

(3)变化目标检测处理：利用对数比值法构造基准图和SAR实时图像的差异图，基于CFAR统计计算分割阈值，经过图像分割之后，采用目标筛选的方法，摈弃面积、辐射强度参数非符合目标特征的区域，生成最终的变化检测结果。

5.根据权利要求4所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述计算SAR实时图像和基准图的重叠区域面积包括下列步骤：

(1)依次取出基准图索引文件中每幅基准图的地理位置信息；

(2)以基准图中心点坐标为高斯坐标原点，以正东方向为高斯坐标X轴，以正北方向为高斯坐标Y轴，将基准图和SAR实时图像的顶点经纬度坐标转换为高斯坐标；

(3)计算基准图与SAR实时图像重叠的多边形顶点坐标，并在此基础上计算重叠区域多边形面积。

6.根据权利要求4所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述粗配准是指，从基准图和SAR实时图像的重叠区域的多边形内部取2ⁿ×2ⁿ象素大小区域作为样本区域，n≥10，对基准图样本区域进行FFT变换，对SAR实时图像样本区域在[-3°，3°]范围内以1度为间隔做图像旋转，将旋转结果进行FFT变换，计算基准图和SAR实时图像交叉能量谱，寻找能量谱最大时对应的旋转角度和空域位置，进而确定SAR实时图相对基准图的旋转平移量。

7.根据权利要求4所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述精配准是指，在SAR实时图像上确定待配准窗口，在基准图上确定搜索窗口，在搜索窗口内移动配准窗口，计算不同位置配准窗口与移动窗口的像素相似性，相似性最大所对应的移动窗口的偏移位置即为配准位置，两个窗口之间的相似性用最大相关系数衡量，依次计算所有搜索窗口，求出所有控制点位置，利用最小二乘法拟合出两幅图之间的对应关系，对SAR实时图像进行重采样，内插出实时图的最佳配准位置。

8.根据权利要求4所述的多核并行SAR图像变化信息实时提取方法，其特征在于：所述变化目标检测处理方法如下：对SAR实时图和基准图对应点相除取对数，形成差异图，两幅图像中未发生变化的区域在差异图中趋于0，相对基准图，变化目标分为在SAR实时图像中增加目标或者减少目标两种，统计差异图均值m和方差v，计算分割阈值：增加目标阈值t1＝m+k·v，减少目标阈值t2＝m-k·v，差异图中大于t1为新增目标，小于t2为减少目标；k为大于1.0的常数。

9.一种多核并行SAR图像变化信息实时提取装置，其特征在于：包括：

SAR成像处理板，用于实时生成SAR图像；

SAR实时图像处理板，用于接收实时SAR图像；完成与记录仪之间的数据交互；

实现SAR图像变化信息的实时提取；

高速数据路由链路，实现SAR成像处理板与SAR实时图像处理板之间、SAR实时图像处理板与记录仪之间的高速数据路由；

记录仪，用于建立基准图数据库，存储基准图索引列表；向SAR实时图像处理板发送基准图索引列表或基准图；存储变化检测处理结果。

10.根据权利要求9所述的多核并行SAR图像变化信息实时提取装置，其特征在于：所述SAR实时图像处理板采用8核TMS320C6678单片机作为核心处理器。