CN113933842A - Sar图像快速交互显示方法和电子装置 - Google Patents

Abstract

本发明公开一种SAR图像快速交互显示方法和电子装置，其中方法包括将SAR图像按照特定瓦片大小进行切割，以及SAR图像的存储加载、图像缩放、拖拽显示三种操作的至少一种。本发明通过在图像存储加载、缩放和拖拽显示方面的技术措施，有效解决了高分辨率、大成像幅宽和长时间成像条件下大数据量SAR图像的交互显示问题，加快SAR图像加载速度，提升SAR图像交互流畅度。

Description

SAR图像快速交互显示方法和电子装置

技术领域

本发明涉及图像处理技术领域，特别是一种SAR图像快速交互显示方法和电子装置。

背景技术

随着微波成像技术的发展，SAR雷达的成像分辨率越做越高，成像幅宽也越做越大，这就导致了单个合成孔径输出的SAR图像尺寸越来越大。在高分辨成像下，目前国内已有雷达能将单幅SAR图像做到约4K*64K=256M点的尺寸。再加上SAR雷达长时间持续工作，其累计输出的SAR图像数据总量会增长到一个比较大的量级。假设一架无人机以150m/s的速度执行条带SAR侦察成像任务，SAR成像分辨率为0.2m，成像幅宽13.1072km，每个像素采用8bit灰度量化，那么这架无人机执行侦察任务10min所得到的原始（未压缩过的）SAR图像数据量为(150*10*60/0.2)*(13.1072e3/0.2)B= 27.4658GB。面对如此庞大的数据量，传统图像显示或处理软件最多能实现单张SAR图像的显示或处理，对多张SAR图像拼接显示即无功能无支持更无性能优化，所以SAR雷达一般都会配套开发SAR图像显示软件或者SAR情报分析处理软件。

当前阶段，传统SAR图像显示软件或者SAR情报分析处理软件所采用的交互显示技术基本都是将单个合成孔径输出的成像数据存储为一幅图片，然后将其作为基本显示单位，在方位向将相邻的多幅SAR图像进行拼接显示，当显示内容超出显示器范围后，滑动所有SAR图像直至最先产生的图像推出显示器范围，再在末尾拼接显示最新产生的SAR图像。这类技术的主要优点是直观且实现简单，但是随着单个合成孔径SAR图像尺寸的不断变大及合成孔径数目的增多，上述技术会面临以下难以克服的困难：

单幅SAR图像尺寸变大导致单幅SAR图像加载时间变长，连续加载多幅SAR图像时，图像加载之间接会出现明显卡顿；

在用户拖动浏览时，有多张SAR图像需要等待加载，用户拖动后需要卡顿较长时间才能看到对应的内容，若用户连续拖动，这个问题将十分严重；

用户对整个成像场景缩小显示时，需要同时加载大量SAR图像，此时所有SAR图像的原始数据量可能超出系统内存总量，不做优化会导致内存崩溃。

另外，传统技术以单个合成孔径SAR图像为存储、加载单位的特性，也限制了并行编程技术在图像存储、加载过程中的使用。虽然可以在图像之间采用并行处理技术，但由于在大场景下单幅SAR图像的加载时间已经较长，因而传统技术采用并行处理后并不能明显提升SAR图像交互显示的流畅度。

发明内容

针对传统SAR图像交互显示技术在高分辨率、大成像幅宽和长时间成像条件下所面临的问题，本发明提出了一种新型的SAR图像快速交互显示方法和电子装置，以加快SAR图像加载速度，提升SAR图像交互流畅度。

为了达到这一效果，本发明采用以下技术方案。

本发明第一方面，提供一种SAR图像快速交互显示方法，包括将SAR图像按照特定瓦片大小进行切割，以及SAR图像的存储加载、图像缩放、拖拽显示三种操作的至少一种。

进一步的，所述SAR图像的存储加载具体包括，

S11、对切割后的瓦片图像进行编号并存储，所述瓦片图像的存储采用多线程并行写入不同的图像文件；

S12、加载显示SAR图像时，先通过多线程并行加载该SAR图像对应的所有瓦片图像，再从各个瓦片图像的文件名或配置文件中提取瓦片图像对应的位置编号，最后将各个瓦片图像显示在对应的编号位置来实现整个SAR图像的加载与显示。

更进一步的，所述瓦片图像加载线程还包括以下控制参数的至少一种：

线程优先级，每个加载线程的优先级单独可控；

取消加载标志，每个加载线程设置为可取消加载，在瓦片图像读取前或者读取过程中，检查加载任务是否取消，若取消则终止加载任务；

目标图像尺寸，加载线程接收要加载的目标图像尺寸参数，若目标图像尺寸小于瓦片图像自身尺寸，则输出按目标图像尺寸采样后的瓦片图像；否则输出原始瓦片图像。

进一步的，在加载过程中加入图像预处理步骤，所述图像预处理步骤包括图像滤波。

进一步的，所述图像缩放包括缩小操作和放大操作，

所述缩小操作具体为：传入瓦片加载线程的目标图像尺寸为需要显示的图像尺寸，目标图像尺寸小于原始瓦片图像尺寸，加载线程输出原始瓦片图像减采样后的图像；

所述放大操作具体为：加载至少一个SAR图像，多线程并行加载瓦片图像，设置为同一优先级按时间顺序加载；设置目标图像尺寸大于原始瓦片图像尺寸，但为避免内存膨胀和无意义的图像增采样操作增加加载时长，加载线程直接返回原始尺寸的瓦片图像，在显示过程中通过绘图API实现图像放大。

进一步的，所述拖拽显示包括预加载步骤和带优先级和取消操作的并行加载步骤。

所述预加载具体为：界面上所要显示的SAR图像场景加载显示完毕后，继续将当前显示内容周围一定范围的瓦片图像加载到内存，以供后续可能发生的显示使用；

所述带优先级和取消操作的并行加载具体为：预加载过程中给不同的瓦片设置不同的优先级，离显示区域中心近的瓦片图像，其加载线程具有较高优先级，远离显示区域中心的瓦片图像其加载线程具有较低优先级；触发拖拽操作后，立即取消与拖拽方向相反位置的瓦片预加载操作，反而对与拖拽方向相同位置的瓦片进行加载操作或预加载操作。

更进一步的，所述预加载过程中，显示区域上下预加载瓦片图像的行数为正常显示区域瓦片行数的1/2到1倍；显示区域左右预加载瓦片图像的列数为正常显示区域瓦片列数的1/2到1倍。

本发明第二方面，提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述技术方案任一项中所述的方法。

本发明通过在图像存储加载、缩放和拖拽显示方面的技术措施，有效解决了高分辨率、大成像幅宽和长时间成像条件下大数据量SAR图像的交互显示问题，加快SAR图像加载速度，提升SAR图像交互流畅度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例SAR图像快速交互显示方法中原始SAR图像瓦片切割原理图；

图2为SAR瓦片图像并行加载原理图；

图3为SAR瓦片图像预加载原理图；

图4为SAR瓦片图像取消预加载原理图；

图5为SAR瓦片图像并行加载效果图；

图6为缩小显示全部SAR场景时的软件内存占用情况示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本实施例介绍的一种SAR图像快速交互显示方法，包括将SAR图像按照特定瓦片大小进行切割，以及SAR图像的存储加载、图像缩放、拖拽显示三种操作的至少一种。

具体的，本实施例通过将单个合成孔径输出的SAR图像切割成小的“瓦片”图像，并通过多线程并行写入和读取文件来实现SAR图像存储和加载的速度优化。对原始单个合成孔径SAR图像进行瓦片切割的方法如图1所示，需要说明的是，原始SAR图像的大小和瓦片大小均为示意值，在具体实现中可以自行选取，且瓦片的长和宽也可以不相等。由于SAR图像的距离点数一般是2的整数次幂，故瓦片图像的大小建议也取为2的整数次幂。取定瓦片图像大小后，相对于原始图像列数或行数不能整除的，最后一列瓦片的列数或最后一行瓦片的行数可以不同，取真实的剩余值即可。

SAR图像的存储加载过程具体如下，

S11、对切割后的瓦片图像进行编号并存储，所述瓦片图像的存储采用多线程并行写入不同的图像文件。

对于瓦片图像的编号，本实施例是按瓦片在单幅SAR图像中的行列号进行编排的，实际也可以灵活变化，如按行顺序递增编号、按列顺序递增编号等，只要保证通过编号能够将瓦片图像重新排列成原始SAR图像即可。

瓦片图像存储时，可以在每个瓦片图像的文件名中加入原始SAR图像序号和瓦片编号来保存瓦片图像的位置信息，也可以通过将瓦片图像的文件名、SAR图像序号、瓦片编号信息一起写入配置文件的方式来保存瓦片图像位置信息。

S12、加载显示SAR图像时，先通过多线程并行加载该SAR图像对应的所有瓦片图像，再从各个瓦片图像的文件名或配置文件中提取瓦片图像对应的位置编号，最后将各个瓦片图像显示在对应的编号位置来实现整个SAR图像的加载与显示。

SAR瓦片图像多线程并行加载方法如图2所示。这里假设采用4线程按行并行加载，实际实现中线程数以及线程与瓦片的映射关系可以按需要调整。

为实现本实施例的图像缩放和拖拽显示，通常要求瓦片图像加载线程具备以下控制参数，

1、线程优先级：每个加载线程的优先级单独可控，高优先级的线程优先执行，对应的瓦片图像优先加载；

2、取消加载标志：每个加载线程可以进行取消操作，在瓦片图像读取前或者读取过程中，检查加载任务是否取消，若取消则终止加载任务；

3、目标图像尺寸：加载线程接收加载图像目标尺寸参数，若目标图像尺寸小于瓦片图像自身尺寸，则输出按目标尺寸采样后的瓦片图像；否则输出原始瓦片图像。

瓦片图像的并行加载极大提升了单个孔径SAR图像加载的并行度，因而在一些具体实施方式中，在加载过程中加入一些图像预处理操作（如图像滤波等），而不会明显降低图像加载速度，同时又能提升显示图像质量。

在高分辨率、大成像幅宽和长时间成像条件下，SAR原始图像数据总量一般会大于系统可用内存，这就导致SAR交互显示软件不可能将所有SAR图像全部存储于系统内存中而不需要重新加载。在该条件下，用户对SAR图像进行缩放交互操作会引起SAR图像显示场景范围的变化，这将会触发原本显示场景范围之外的SAR瓦片图像的加载或重新加载。

针对大数据总量条件下的SAR图像显示，本发明为缩小和放大两个交互操作分别提出了一组图像加载和内存使用策略，以在有限的系统内存下实现大范围SAR图像场景的快速缩放显示。

缩小SAR图像时，显示场景扩大，需要加载原本显示范围之外的SAR图像。这里同样使用存储加载操作中描述的多线程并行加载方法。对于每个瓦片加载线程，所加载的瓦片图像位置距离显示中心位置越近的，优先级越高。传入瓦片加载线程的目标图像尺寸为需要显示的图像尺寸，由于是缩小操作，此时目标尺寸小于原始SAR瓦片图像尺寸，加载线程输出原始瓦片图像减采样后的图像。在该加载策略下，所加载的图像总尺寸不会超过显示器尺寸，考虑后续拖拽显示的预加载技术，所加载的图像总尺寸也不会超过显示尺寸的n倍数（n < 10），内存占用不随SAR图像数据总量发散，可避免直接加载原始瓦片数据导致内存不足的问题。

放大SAR图像时，显示场景缩小，需要加载的原始SAR图像（按合成孔径算）只需要几个甚至一个。继续使用存储加载技术中描述的多线程并行加载方法，此时需要加载的瓦片图像数量有限，可设置为同一优先级按顺序加载即可。此时要求的目标尺寸大于原始瓦片图像尺寸，为了避免内存膨胀，直接返回原始尺寸的瓦片图像，而不按目标尺寸进行增采样操作。SAR图像的放大显示可通过界面绘制接口实现。

在高分辨率、大成像幅宽和长时间成像条件下，拖拽显示同样会引起SAR图像显示场景范围的变化，这将会触发原本显示场景范围之外的SAR瓦片图像的加载或重新加载。

针对大数据总量条件下的SAR图像显示，本发明采用预加载以及带优先级和取消操作的并行加载两个技术来提高SAR图像场景拖拽交互的流畅度。

所述预加载具体为：界面上所要显示的SAR图像场景加载显示完毕后，并不立即停止加载操作，而是继续将当前显示内容周围一定范围的瓦片图像加载到内存，但不立即显示，以供后续可能发生的显示使用。

SAR瓦片图像预加载原理如图3所示。其中，正常显示区域上下预加载瓦片图像的行数一般取为正常显示区域瓦片行数的1/2到1倍；正常显示区域左右预加载瓦片图像的列数一般取为正常显示区域瓦片列数的1/2到1倍。取1/2到1倍的原因是用户一次拖动操作不会超过一个屏幕尺寸。

所述带优先级和取消操作的并行加载具体为：预加载过程中给不同的瓦片设置不同的优先级，比如图3中，离显示区域中心近（紧贴黑色正常显示区域方框周围一圈）的瓦片图像其加载线程具有较高优先级（但不能高于或等于正常显示区域加载线程的优先级），远离显示区域中心的瓦片图像其加载线程具有较低优先级。触发拖拽操作后，可立即取消与拖拽方向相反位置的瓦片预加载操作，反而对与拖拽方向相同位置的瓦片进行加载操作或预加载操作，如图4所示。

本实施例所述的存储加载、图像缩放和拖拽显示技术组成了本专利的SAR图像交互显示技术，其中每一项技术都在SAR图像的存储、加载、内存占用等方面提出了优化方法，理论上基于本方案技术可以实现SAR图像交互显示相关的所有软件性能提升，交互显示的流畅度提高。

本实施例对发明内容进行了工程实现，并对单个合成孔径为尺寸为4K*64K、数据总量约12G的SAR图像数据进行了交互显示测试，成功解决了传统SAR图像交互显示技术在大数据量下所面临的三大难题。

采用瓦片化的存储加载技术，可以大幅缩短单个孔径SAR图像的总加载时间，同时瓦片图像的短加载显示周期也提升了SAR图像的整体加载流畅度。瓦片图像并行加载效果如图5所示，其中每一个等待图标都对应一个并行加载的瓦片图像。

在预加载技术的帮助下，在拖动SAR图像的瞬间，就可以看到新场景的内容。在缩小显示全部SAR图像的情况下，系统内存占用依旧正常，没有出现内存耗尽的情况。在缩小显示12G测试数据的情况下，软件内存占用为百兆量级，如图6所示。

本实施例SAR图像交互显示技术通过在图像存储加载、缩放和拖拽显示方面的技术措施，有效解决了高分辨率、大成像幅宽和长时间成像条件下大数据量SAR图像的交互显示问题，加快SAR图像加载速度，提升SAR图像交互流畅度。

本发明还提供一种实施例，涉及一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述技术方案任一项中所述的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种SAR图像快速交互显示方法，其特征在于，包括将SAR图像按照特定瓦片大小进行切割，以及SAR图像的存储加载、图像缩放、拖拽显示三种操作的至少一种。

2.根据权利要求1所述的SAR图像快速交互显示方法，其特征在于，所述SAR图像的存储加载具体包括，

S11、对切割后的瓦片图像进行编号并存储，所述瓦片图像的存储采用多线程并行写入不同的图像文件；

S12、加载显示SAR图像时，先通过多线程并行加载该SAR图像对应的所有瓦片图像，再从各个瓦片图像的文件名或配置文件中提取瓦片图像对应的位置编号，最后将各个瓦片图像显示在对应的编号位置来实现整个SAR图像的加载与显示。

3.根据权利要求2所述的SAR图像快速交互显示方法，其特征在于，所述瓦片图像加载线程还包括以下控制参数的至少一种：

线程优先级，每个加载线程的优先级单独可控；

取消加载标志，每个加载线程设置为可取消加载，在瓦片图像读取前或者读取过程中，检查加载任务是否取消，若取消则终止加载任务；

目标图像尺寸，加载线程接收要加载的目标图像尺寸参数，若目标图像尺寸小于瓦片图像自身尺寸，则输出按目标图像尺寸采样后的瓦片图像；否则输出原始瓦片图像。

4.根据权利要求2或3所述的SAR图像快速交互显示方法，其特征在于，在加载过程中加入图像预处理步骤，所述图像预处理步骤包括图像滤波。

5.根据权利要求1所述的SAR图像快速交互显示方法，其特征在于，所述图像缩放包括缩小操作和放大操作，所述缩小操作具体为：传入瓦片加载线程的目标图像尺寸为需要显示的图像尺寸，目标图像尺寸小于原始瓦片图像尺寸，加载线程输出原始瓦片图像减采样后的图像；

所述放大操作具体为：加载至少一个SAR图像，多线程并行加载瓦片图像，设置为同一优先级按时间顺序加载；设置目标图像尺寸大于原始瓦片图像尺寸，直接返回原始尺寸的瓦片图像，在显示过程中通过绘图API实现图像放大。

6.根据权利要求1所述的SAR图像快速交互显示方法，其特征在于，所述拖拽显示包括预加载步骤和带优先级和取消操作的并行加载步骤，所述预加载具体为：界面上所要显示的SAR图像场景加载显示完毕后，继续将当前显示内容周围一定范围的瓦片图像加载到内存，以供后续可能发生的显示使用；

所述带优先级和取消操作的并行加载具体为：预加载过程中给不同的瓦片设置不同的优先级，离显示区域中心近的瓦片图像，其加载线程具有较高优先级，远离显示区域中心的瓦片图像其加载线程具有较低优先级；触发拖拽操作后，立即取消与拖拽方向相反位置的瓦片预加载操作，反而对与拖拽方向相同位置的瓦片进行加载操作或预加载操作。

7.根据权利要求6所述的SAR图像快速交互显示方法，其特征在于，所述预加载过程中，显示区域上下预加载瓦片图像的行数为正常显示区域瓦片行数的1/2到1倍；显示区域左右预加载瓦片图像的列数为正常显示区域瓦片列数的1/2到1倍。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images