CN107392996B - 一种基于虚拟现实技术的sar目标特性表征与显示方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的SAR目标特性表征与显示方法,通过借助虚拟现实、全息投影技术这些可视化技术手段，利用本发明的方法，来形成一种新的SAR数据产品，从而能够有效的组织和表达SAR多维度目标特性，并且能够有助于人们对于SAR目标散射特性的直观理解，从而能够更好的用于SAR应用人员甚至SAR智能解译设备的培训或训练。

Description

一种基于虚拟现实技术的SAR目标特性表征与显示方法

技术领域

本发明属于合成孔径雷达图像目标特性分析与可视化领域，尤其涉及一种基于虚拟现实技术的SAR目标特性表征与显示方法。

背景技术

随着合成孔径雷达(SAR)分辨率的提高，以及多角度、多极化、多频段数据联合获取能力的提升，对于某些场景或某个感兴趣目标，人们可以积累得到大量的SAR图像数据，为目标精细解译、信息提取、状态监视等提供很好的数据基础。

然而，由于SAR是微波成像，其成像机理有别于光学成像，故场景或目标在SAR图像中所体现的特性与其在光学图像中体现的特性具有非常大的差异。从而，对于习惯了光学世界的人眼和人脑来说，SAR图像直观性差、SAR图像目标特性的理解非常困难，因此SAR图像判读解译人员往往需要经过长期的训练和实践才能很好的开展工作。此外，由于微波散射随角度、极化、频率等具有很强的敏感性，因此同样的目标或场景在不同的成像条件下获得的SAR图像也具有很大的差异，进一步增加了SAR图像判读解译的难度，也进一步提高了对SAR图像解译人员培训难度。

目前SAR图像判读解译人员开展工作时所基于的SAR数据产品主要以二维图像形式呈现，这些图像产品按照时间先后顺序、或角度大小顺序等进行组织排列，解译人员通过看这些图像，并通过对比、分析、联想、推测等获得目标或场景的信息，从而服务于行业应用。在对SAR图像判读人员或智能解译设备进行训练时，也主要是提供某些目标不同观测条件下的SAR图像，在某些目标的SAR实际数据积累不足的情况下，目前主要通过SAR目标建模和图像仿真的方式，来扩大SAR图像样本的数量，从而有助于判读人员和智能解译设备的训练。例如，文献[张锐，洪峻.基于电磁散射的复杂目标SAR回波与目标仿真[J].电子与信息学报,2010,32(12):2836-2841]中用电磁计算的方法对目标仿真模型进行仿真，生成二维图像。文献[娄军,金添.高分辨率SAR图像散射中心特征提取[J].电子与信息学报,2011,33(7):1661-1666]中利用基于高进的空间-波数分布特征提取方法提取目标属性散射中心模型参数，再利用仿真实验得到二维图像。文献[张静克，计科峰.SAR目标属性散射中心特征提取与分析[J].2011,9(3):207-218]中基于对图像域区域解耦和的近似最大似然估计法对SAR目标散射中心特征进行提取，并通过仿真得到的二维图像对实验结果进行分析和评估。文献[谭熙.SAR图像飞机目标提取技术研究[D]，2013]中对飞机目标切片提取SAR图像中的几何特征、峰值特征以及纹理特征，并用二维图像的形式进行特征表示，对不同姿态的飞机目标进行散射特性分析。

总之，目前对于SAR图像目标特性的仿真研究以及表达形式主要以二维图像的方式，而SAR目标特性可视化方法也是基于二维图像通过灰度图或伪彩色图的方式进行，除了二维图像这种产品，目前常规的SAR数据尚未有其他形式的产品来交付应用；

由于目标的微波散射与角度、极化、频率等均有关，故SAR目标特性天生具有多维度的性质；并且由于微波散射的复杂性和SAR侧视成像的特点，SAR图像往往很难与对应地物目标的物理模型联系起来，从而人们很难直观的理解SAR图像。因此，传统的以二维图像形式存在的SAR目标特性可视化方法存在如下问题：1)SAR二维图像中目标的散射特性难以与目标的结构形状建立直观的联系，致使人们难以理解SAR图像所表达的信息；2)二维图像表达能力有限，难以表达目标特性随角度、极化等的变化，不利于数据的有效组织，不利于SAR应用人员或智能解译设备的培训。尤其是SAR系统技术迅速发展的今天，对于目标进行多角度、多极化、多时相的SAR数据获取已经不再是难事。我国自第一颗SAR卫星发射至今已经有十年时间，相关部分已经积累了大量的SAR数据。我们认为在已经获得SAR大数据积累的今天，传统的二维图像这种可视化方式已经不能满足SAR目标特性分析和表达的需求，不仅很难有效的组织和表达SAR的多维度目标特性，而且不利于人们的直观理解。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供了一种基于虚拟现实技术的SAR目标特性表征与显示方法，通过借助虚拟现实(VR)、全息投影技术这些可视化技术手段，利用本发明的方法，来形成一种新的SAR数据产品，从而能够有效的组织和表达SAR多维度目标特性，并且能够有助于人们对于SAR目标散射特性的直观理解，从而能够更好的用于SAR应用人员甚至SAR智能解译设备的培训或训练。

本发明为解决上述技术问题采用以下技术方案

一种基于虚拟现实技术的SAR目标特性表征与显示方法，具体包含如下步骤；

步骤1，构建基于仿真逆投影的SAR目标特性的三维物理模型；

步骤2，对步骤1构建后的SAR目标特性的三维物理模型的强散射点进行渲染；

步骤3，采用虚拟现实技术对渲染后的SAR目标特性的三维物理模型进行立体展示。

作为本发明一种基于虚拟现实技术的SAR目标特性表征与显示方法的进一步优选方案，所述步骤1具体包含如下步骤：

步骤1.1，从待进行VR显示的SAR图像的元数据文件中读取SAR图像的入射角、斜距向分辨率、方位向分辨率、发射信号中心频率、发射带宽参数；

步骤1.2，确定SAR图像目标模型，将SAR图像目标模型转化为在Pov-Ray中识别的.pov格式；

步骤1.3，根据雷达入射角设置初始射线位置，根据SAR图像的分辨率设置仿真图像的分辨率，根据目标在二维图像上的姿态设置目标模型的角度及位置，并根据目标先验性知识，设置目标模型的镜面反射系数、漫反射系数以及粗糙度，对SAR图像进行仿真，导出仿真结果文件；

步骤1.4，根据步骤1.3导出的仿真结果文件，生成SAR仿真图像；

步骤1.5，将SAR图像与SAR仿真图像进行配准，忽略SAR仿真图像中灰度值为零的区域，建立SAR仿真图像与SAR图像强散射点的对应关系；

步骤1.6，根据SAR图像中强散射点的二维坐标确定散射位置的三维坐标，将SAR图像上的强散射点逆投影到三维空间，完成SAR目标特性的三维物理模型的三维重建；

作为本发明一种基于虚拟现实技术的SAR目标特性表征与显示方法的进一步优选方案，所述步骤2具体包含如下步骤：

步骤2.1，对原SAR图像目标中的强散射点的散射强度进行归一化处理；

步骤2.2，对于归一化处理后的强散射点，进行灰度调整，进而按散射强度层级划分后导出，在3DMax及Unity中对三维重建后的三维物理模型进行伪彩色渲染。

作为本发明一种基于虚拟现实技术的SAR目标特性表征与显示方法的进一步优选方案，在步骤1.3中，所述仿真结果文件包括散射点的方位向坐标、斜距坐标、高程坐标、散射强度、散射次数、镜面反射标志、散射位置坐标x，散射位置坐标y，散射位置坐标z。

作为本发明一种基于虚拟现实技术的SAR目标特性表征与显示方法的进一步优选方案，在步骤2.2中，对于归一化处理后的强散射点，进行灰度调整，其灰度调整的灰度值量化值范围在0-255区间。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明通过仿真逆投影将二维散射中心变换到三维空间，并与目标模型进行融合显示，能够有利于对SAR目标散射特性的直观理解；

2)本发明借助VR及全息投影手段，来表征SAR目标的散射特性，具有直观性、互动性，用户友好性；

3)本发明能够基于单幅图对目标特性进行三维重建，从而将SAR所获得的目标的散射特性与目标物理结构直观的联系起来，从而将散射特性和目标物理结构一并联合显示，有助于对于散射特性的直观理解；

4)本发明通过虚拟现实技术对SAR目标特性和目标模型进行三维显示、并支持交互操作，用户可通过改变观察角度等操作身临其境的观察到目标各部分散射特性随观测角度的变化，从而加深对SAR目标特性的理解。

附图说明

图1本发明的色阶图；

图2是本发明的流程图；

图3(a)是舰船目标二维SAR图像；

图3(b)是VR显示中舰船三维特性图；

图4(a)是飞机目标二维SAR图像；

图4(b)是飞机目标散射特征的全息投影效果图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提供了一种基于虚拟现实技术的SAR目标特性表征与显示方法，如图2所示，该方法的具体过程如下:

步骤1:基于仿真逆投影的SAR目标特性的三维构建及与目标三维物理模型的对应的构建方法，具体包括：

(1)对于需要进行VR显示的SAR图像，从图像产品附带的元数据文件中读取SAR图像的入射角、斜距向分辨率、方位向分辨率、发射信号中心频率、发射带宽参数。

(2)确定SAR目标的3D模型，将目标模型转化为在Pov-Ray中可以识别的.pov格式。

(3)根据雷达入射角设置初始射线位置，根据SAR图像分辨率设置仿真图像的分辨率，根据目标在二维图像上的姿态设置目标模型角度及位置，并根据目标先验性知识，设置模型的镜面反射系数、漫反射系数以及粗糙度等，进行仿真，导出仿真结果文件；仿真结果文件包括散射点的方位向坐标、斜距坐标、高程坐标、散射强度、散射次数、镜面反射标志、散射位置坐标x，散射位置坐标y，散射位置坐标z。

(4)根据仿真结果文件，生成仿真图像。SAR仿真图像中的对应点坐标由流程3中的方位向距离和斜距计算得到。变换公式如下,其中Ra_g(k，1)和Az(k，1)对应的是散射点的斜距和方位向距离，r_min及a_min对应仿真结果中最小斜距和最小方位向距离，r_pix和a_pix分别对应的是输出图像的斜(地)距分辨率以及方位向分辨率。同时记录下该点坐标对应的散射位置坐标。

row_pix＝floor(((Ra_g(k，1)-r_min))/r_pix)+0.5)

column_pix＝floor(((Az(k，1)-a_min)/a_pix)+0.5)

(5)将SAR真实图像与仿真图像进行配准，后续进行处理时忽略仿真图像中灰度值为零的区域，建立了仿真图像与SAR真实图图像间强散射点的对应关系。

(6)根据SAR真实图像中强散射点的二维坐标查找流程中的记录表，确定散射位置的三维坐标，将SAR真实图像上的强散射点逆投影到三维空间，完成了目标的三维重建。

步骤2：对三维重建后的强散射点进行渲染，以展示SAR目标包含的散射信息，具体流程如下：

(1)先对原SAR图像目标中的散点的散射强度进行归一化处理。对于单幅图像进行立体VR显示时，以该图像的散射峰值进行归一化；对于不同成像条件下同一目标进行VR显示和散射特性比较时，可基于图像的定标常数，求得散射点的绝对散射系数值，然后利用所有图像散射峰值进行统一的归一化。

(2)对于强度归一化后的散射点，统一进行灰度调整，使其灰度值量化值0-255区间，然后按散射强度层级划分后导出，之后在3DMax及Unity中对模型进行伪彩色渲染；为了提高渲染效果，此处采用的色阶如图1所示。

(3)对三维模型进行渲染后，根据其空间坐标信息，将目标三维模型与目标散射点三维重建结果进行融合显示，直观的建立目标散射中心到目标真实模型间的对应关系。

步骤3：采用虚拟现实技术，包括利用VR眼镜等设备、全息投影设备对SAR目标特性进行立体展示，形成一种新的SAR数据产品。具体流程包括：

(1)采用VR眼镜等VR设备进行展示，包括在Unity引擎中搭建上述三维场景，导入相关资源文件，并对资源进行整合；导入暴风魔镜VR开发包，在此基础上设置VR摄像机，导入场景及模型资源；在VR眼镜提供的开发包基础上进行更改开发，实现空间漫游功能；导出编译好的系统到Android手机上，配合暴风魔镜4以及魔镜手柄，进行相关操作。

(2)采用全息投影设备进行展示，包括：将上述三维场景在3DMax中对资源文件进行整合，设置摄像机角度参数及其他参数配置，开始录制视频；对资源进行二次加工，生成用于全息投影播放的视频。导入到全息投影显示设备中进行播放。

下面结合实例对本发明效果进行进一步说明。

图3(b)给出了利用本发明的技术，对图3(a)所示的舰船目标的二维SAR图像的散射点进行三维VR显示的结果。通过散射点的立体重建以及在三维空间中与舰船模型的融合显示，可以直观的理解每个散射点所对应的舰船结构，从而理解在该照射角度下，那些部位有强散射、而那些部位散射比较弱，从而能对SAR目标散射特性有更好的掌握。

下图给出了飞机目标的二维SAR图像(图4(a))经过三维重建和全息投影显示后的结果(图4(b))。可见，通过立体显示，散射点可以与飞机的结构部件直观的联系起来，便于对于SAR图像的理解。

本发明关键点在于，将虚拟现实技术与SAR散射特性研究相结合，提出了一种新型的表征SAR散射特性的方法。

本发明的特点还在于，在RaySAR的基础上进行了拓展改进，将目标实际SAR图像做了到三维空间的逆投影变换。

本发明的特点还在于，定义了对三维散射模型的渲染方法，以丰富三维模型展示的信息，可以展示散射点的空间几何信息，也可以展示散射点的强度信息。

本发明的特点还在于，在暴风魔镜开发包的基础上，将平面漫游功能拓展到空间内，以便与应用人员在场景内从三维空间内任意角度对目标进行研究观察。

本发明的特点还在于，将三维散射模型以自定义的序列组织，通过全息投影技术进行展示，不仅可以看到SAR散射特征的三维特性，同时可以看到SAR散射特征随方位角、入射角甚至SAR分辨率等因素的渐变，直观易懂。

Claims (4)

1.一种基于虚拟现实技术的SAR目标特性表征与显示方法，其特征在于：具体包含如下步骤；

步骤1，构建基于仿真逆投影的SAR目标特性的三维物理模型；

步骤2，对步骤1构建后的SAR目标特性的三维物理模型的强散射点进行渲染；

步骤3，采用虚拟现实技术对渲染后的SAR目标特性的三维物理模型进行立体展示；

所述步骤1具体包含如下步骤：

步骤1.1，从待进行VR显示的SAR图像的元数据文件中读取SAR图像的入射角、斜距向分辨率、方位向分辨率、发射信号中心频率、发射带宽参数；

步骤1.2，确定SAR图像目标模型，将SAR图像目标模型转化为在Pov-Ray中识别的.pov格式；

步骤1.3，根据雷达入射角设置初始射线位置，根据SAR图像的分辨率设置仿真图像的分辨率，根据目标在二维图像上的姿态设置目标模型的角度及位置，并根据目标先验性知识，设置目标模型的镜面反射系数、漫反射系数以及粗糙度，对SAR图像进行仿真，导出仿真结果文件；

步骤1.4，根据步骤1.3导出的仿真结果文件，生成SAR仿真图像；

步骤1.5，将SAR图像与SAR仿真图像进行配准，忽略SAR仿真图像中灰度值为零的区域，建立SAR仿真图像与SAR图像强散射点的对应关系；

步骤1.6，根据SAR图像中强散射点的二维坐标确定散射位置的三维坐标，将SAR图像上的强散射点逆投影到三维空间，完成SAR目标特性的三维物理模型的三维重建。

2.根据权利要求1所述的一种基于虚拟现实技术的SAR目标特性表征与显示方法，其特征在于：所述步骤2具体包含如下步骤：

步骤2.1，对原SAR图像目标中的强散射点的散射强度进行归一化处理；

步骤2.2，对于归一化处理后的强散射点，进行灰度调整，进而按散射强度层级划分后导出，在3DMax及Unity中对三维重建后的三维物理模型进行伪彩色渲染。

3.根据权利要求1所述的一种基于虚拟现实技术的SAR目标特性表征与显示方法，其特征在于：在步骤1.3中，所述仿真结果文件包括散射点的方位向坐标、斜距坐标、高程坐标、散射强度、散射次数、镜面反射标志、散射位置坐标x，散射位置坐标y，散射位置坐标z。

4.根据权利要求2所述的一种基于虚拟现实技术的SAR目标特性表征与显示方法，其特征在于：在步骤2.2中，对于归一化处理后的强散射点，进行灰度调整，其灰度调整的灰度值量化值范围在0-255区间。

Images