CN105678694B - 一种基于建筑物三维模型的sar图像增强方法及系统 - Google Patents

一种基于建筑物三维模型的sar图像增强方法及系统 Download PDF

Info

Publication number
CN105678694B
CN105678694B CN201610089567.XA CN201610089567A CN105678694B CN 105678694 B CN105678694 B CN 105678694B CN 201610089567 A CN201610089567 A CN 201610089567A CN 105678694 B CN105678694 B CN 105678694B
Authority
CN
China
Prior art keywords
image
building
sar
target
sim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610089567.XA
Other languages
English (en)
Other versions
CN105678694A (zh
Inventor
王国军
邵芸
张风丽
沙敏敏
李志坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of satellite application Deqing Research Institute
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201610089567.XA priority Critical patent/CN105678694B/zh
Publication of CN105678694A publication Critical patent/CN105678694A/zh
Application granted granted Critical
Publication of CN105678694B publication Critical patent/CN105678694B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于建筑物三维模型的SAR图像增强方法及系统，包括步骤A(建筑物目标三维模型表示模块)，建筑物目标三维模型的表示；步骤B(模拟特征图像生成模块)，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；步骤C(图像配准融合显示模块)，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。本发明通过引入建筑物目标三维模型先验知识，充分考虑到建筑物目标几何畸变和辐射畸变特征，能够增强建筑物目标在SAR图像上的特征；通过引入建筑物目标SAR特征图像模拟技术，将模拟特征图像与真实SAR图像融合显示，提高了建筑物目标的识别效果，适于推广应用。

Description

一种基于建筑物三维模型的SAR图像增强方法及系统
技术领域
本发明涉及微波遥感技术应用领域，特别是涉及一种基于建筑物三维模型的SAR图像增强方法及系统。
背景技术
随着空间分辨率的提高，利用合成孔径雷达(Synthetic Aperture Radar，SAR)开展城市建筑物目标监测逐渐成为城市遥感应用的一个研究热点。与光学传感器不同，SAR是通过探测目标与传感器之间的斜距来成像，具有一定高度的建筑物目标在SAR图像中会出现较大的几何畸变和辐射畸变，导致SAR图像中建筑物目标的图像特征与光学图像不同，建筑物目标难以识别和提取，从而增加了建筑物目标SAR图像解译的难度，限制了SAR技术在城市目标监测中的应用。因此，如何增强SAR图像的视觉效果，突出SAR图像中建筑物目标的图像特征，提高SAR图像中建筑物目标的可识别度，降低SAR图像的解译难度，是SAR城市目标监测中亟待解决的难题。
现阶段提高SAR图像的视觉效果的方法，主要是采用图像增强技术。其中，指数拉升方法的应用最为广泛，通过调节模型中的参数来提高图像视觉效果。例如，最为常见的GMAMA拉伸方法，就是一种典型的指数拉升方法，该方法应用在SAR遥感软件中，ENVI/SARscape、RAT(Radar Analysis Tools)等软件中。该方法技术方案如下：
首先按照公式(1)，以参数γ对原始图像A(x,y)进行指数拉伸得到图像Lγ(x,y)；然后将Lγ(x,y)在[0,αuγ]区间内进行线性拉伸得到结果图像Lαγ(x,y)，参数uγ为Lγ(x,y)的均值。
Lγ(x,y)＝A(x,y)γ (1)
其中，参数γ和α是可供调节的参数，在RAT软件中α＝0.7，γ＝0.7.
这类方法虽然在一定程度上能够提高图像的对比度，却不能解决SAR图像中建筑物目标难以识别和提取的难题。这是由于SAR成像是一个从三维场景空间到二维图像的映射过程，必然会导致信息的损失，图像中出现较大的几何畸变、辐射畸变以及阴影特征，而这些信息的损失是不能通过图像的灰度拉升方法恢复的。
由于上述方法没有考虑到建筑物目标几何畸变和辐射畸变特征，无法解决建筑物目标几何畸变和辐射畸变特征导致的SAR图像视觉退化问题；且上述方法无法有效突出SAR图像中建筑物目标的图像特征，对于建筑物目标SAR图像而言，这些图像特征是会影响图像的视觉效果，无法提高解译人员对图像中目标的识别能力。
由此可见，上述现有的SAR图像增强方法显然仍存在有不便与缺陷，而亟待加以进一步改进。如何能创设一种可解决建筑物目标几何畸变和辐射畸变特征导致的SAR图像视觉退化问题、提高建筑物目标的识别效果的新的SAR图像增强方法和系统,成为当前业界极需改进的目标。
发明内容
本发明要解决的技术问题是提供一种可解决建筑物目标几何畸变和辐射畸变特征导致的SAR图像视觉退化问题、提高建筑物目标的识别效果的新的SAR图像增强方法和系统。
为解决上述技术问题，本发明采用如下技术方案：
一种基于建筑物三维模型的SAR图像增强方法，包括：步骤A，建筑物目标三维模型的表示；步骤B，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；步骤C，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
进一步地，所述步骤B中包括：B1，利用SAR成像参数，计算建筑物目标三维模型的顶点在模拟特征图像中的图像坐标；B2，生成模拟特征图像：对每一个建筑物目标，利用其顶点图像坐标，确定墙面、屋顶和阴影的模拟特征图像，并对模拟特征图像中不包含建筑物目标的像元进行赋值。
进一步地，所述建筑物目标三维模型表示为：SAR图像覆盖的场景中共包含N个建筑物目标，则场景中建筑物目标的三维模型集合表示为S＝{Bk|k＝1…N}，其中第k个建筑物表示为Bk＝{x0,y0,l,w,h,φ}，其中(x0,y0)为距离传感器最近的墙角点的坐标，l、w和h分别为建筑物长、宽和高，φ为建筑物的方位角，定义为边与方位向的夹角，其中方位向是SAR数据获取时传感器载荷运动方向，距离向定义为垂直于方位向的方向；
所述B1具体为：
SAR传感器坐标为(Xs,Ys,H)，成像时入射角为θ；建筑物目标的3个表面可以被电磁波照射到，分别为屋顶EFGH、墙面ABFE和墙面BCGF；根据SAR成像先验知识得到建筑物目标在模拟特征图像中的几何形状，屋顶对应多边形EpFpGpHp，墙面分别对应多边形ApBpFpEp和BpCpGpFp，阴影范围为多边形ApBpCpGsHsEs；
则第k个建筑物Bk的图像特征Fek表示为模拟特征图像中的一系列点的集合，Fek＝{Apk,Bpk,Cpk,Epk,Fpk,Gpk,Hsk,Esk,Gsk,Hpk}；
根据SAR成像几何关系，建筑物Bk的图像特征中各顶点的图像坐标计算公式见下表：
对SAR成像范围内所有建筑物集合S＝{Mk|k＝1…N}中每一个建筑物目标，均采用以上计算方法，得到每一个建筑物目标图像特征的顶点在模拟特征图像中的坐标值，得到场景中所有建筑物目标的图像特征的顶点集合SFe＝{Fek|k＝1…N}；
所述B2具体包括：
B21确定模拟特征图像的大小；
首先，找到场景中所有建筑物目标图像特征顶点的方位向坐标的最大值X max和最小值X min，距离向坐标的最大值Y max和最小值Y min；然后，利用公式(3)计算模拟特征图像的方位向大小Nx和距离向大小Ny；
其中，Ceiling()为向上取整，dX和dY分别为SAR图像的方位向和距离向像元大小；
B22模拟特征图像的生成；
首先，新建一个高度为Nx，宽度为Ny的模拟特征图像Isim，即大小为Nx×Ny，值为0的空白矩阵；构建与Isim尺寸大小相等的目标图像Iobj和阴影图像Isha，初始值均为0；
将所有建筑物目标图像特征的顶点坐标(x,y)按照公式(4)得到新的坐标(xn,yn)，得到新的顶点坐标集合SFe,n＝{Fek,n|k＝1…N}；
对任意一个建筑物目标，按照以下过程执行，得到模拟特征图像Isim、目标图像Iobj和阴影图像Isha；过程如下：
屋顶多边形EpFpGpHp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形ApBpFpEp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形BpCpGpFp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
阴影多边形ApBpCpGsHsEs，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isha(i,j)＝1；
对所有的建筑物目标按照以上方法进行处理；
最后，对模拟特征图像中不包含建筑物目标的像元进行赋值。
进一步地，所述B22中，对模拟特征图像中不包含建筑物目标的像元进行赋值的过程为：首先得到非建筑物目标掩膜图像Ibac＝1-Iobj-Isha，对Ibac中任意像元(i,j)，若Ibac(i,j)＝1，则Isim(i,j)＝0.5。
进一步地，所述步骤C具体为：将模拟特征图像和真实SAR图像进行匹配、叠加，使得两幅图像中的同名点重合；待两幅图像配准后，提取出两幅图像之间的重叠部分，按照不同的权重进行融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
一种基于建筑物三维模型的SAR图像增强系统，包括：建筑物目标三维模型表示模块，建筑物目标三维模型的表示；模拟特征图像生成模块，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；图像配准融合显示模块，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
进一步地，所述模拟特征图像生成模块包括：顶点图像坐标计算单元，利用SAR成像参数，计算建筑物目标三维模型的顶点在模拟特征图像中的图像坐标；确定赋值单元，对每一个建筑物目标，利用其顶点图像坐标，确定墙面、屋顶和阴影的模拟特征图像，并对模拟特征图像中不包含建筑物目标的像元进行赋值。
进一步地，所述建筑物目标三维模型表示模块具体为，SAR图像覆盖的场景中共包含N个建筑物目标，则场景中建筑物目标的三维模型集合表示为S＝{Bk|k＝1…N}，其中第k个建筑物表示为Bk＝{x0,y0,l,w,h,φ}，其中(x0,y0)为距离传感器最近的墙角点的坐标，l、w和h分别为建筑物长、宽和高，φ为建筑物的方位角，定义为边与方位向的夹角，其中方位向是SAR数据获取时传感器载荷运动方向，距离向定义为垂直于方位向的方向；
所述顶点图像坐标计算单元具体为：
SAR传感器坐标为(Xs,Ys,H)，成像时入射角为θ；建筑物目标的3个表面可以被电磁波照射到，分别为屋顶EFGH、墙面ABFE和墙面BCGF；根据SAR成像先验知识得到建筑物目标在模拟特征图像中的几何形状，屋顶对应多边形EpFpGpHp，墙面分别对应多边形ApBpFpEp和BpCpGpFp，阴影范围为多边形ApBpCpGsHsEs；
则第k个建筑物Bk的图像特征Fek表示为模拟特征图像中的一系列点的集合，Fek＝{Apk,Bpk,Cpk,Epk,Fpk,Gpk,Hsk,Esk,Gsk,Hpk}；
根据SAR成像几何关系，建筑物Bk的图像特征中各顶点的图像坐标计算公式见下表：
对SAR成像范围内所有建筑物集合S＝{Mk|k＝1…N}中每一个建筑物目标，均采用以上计算方法，得到每一个建筑物目标图像特征的顶点在模拟特征图像中的坐标值，得到场景中所有建筑物目标的图像特征的顶点集合SFe＝{Fek|k＝1…N}；
所述确定赋值单元包括：
确定模拟特征图像的大小；
首先，找到场景中所有建筑物目标图像特征顶点的方位向坐标的最大值X max和最小值X min，距离向坐标的最大值Y max和最小值Y min；然后，利用公式(3)计算模拟特征图像的方位向大小Nx和距离向大小Ny；
其中，Ceiling()为向上取整，dX和dY分别为SAR图像的方位向和距离向像元大小；
模拟特征图像的生成；
首先，新建一个高度为Nx，宽度为Ny的模拟特征图像Isim，即大小为Nx×Ny，值为0的空白矩阵；构建与Isim尺寸大小相等的目标图像Iobj和阴影图像Isha，初始值均为0；
将所有建筑物目标图像特征的顶点坐标(x,y)按照公式(4)得到新的坐标(xn,yn)，得到新的顶点坐标集合SFe,n＝{Fek,n|k＝1…N}；
对任意一个建筑物目标，按照以下过程执行，得到模拟特征图像Isim、目标图像Iobj和阴影图像Isha；过程如下：
屋顶多边形EpFpGpHp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形ApBpFpEp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形BpCpGpFp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
阴影多边形ApBpCpGsHsEs，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isha(i,j)＝1；
对所有的建筑物目标按照以上方法进行处理；
最后，对模拟特征图像中不包含建筑物目标的像元进行赋值。
进一步地，所述对模拟特征图像中不包含建筑物目标的像元进行赋值的过程为：首先得到非建筑物目标掩膜图像Ibac＝1-Iobj-Isha，对Ibac中任意像元(i,j)，若Ibac(i,j)＝1，则Isim(i,j)＝0.5。
进一步地，所述图像配准融合显示模块，将模拟特征图像和真实SAR图像进行匹配、叠加，使得两幅图像中的同名点重合；待两幅图像配准后，提取出两幅图像之间的重叠部分，按照不同的权重进行融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
本发明在SAR图像增强过程中，采用了一种基于建筑物三维模型的SAR图像增强技术，通过引入建筑物目标的三维模型先验知识，充分考虑到了建筑物目标几何畸变和辐射畸变特征，能够增强建筑物目标在SAR图像上的特征；结合建筑物目标的三维模型和SAR成像机理，再引入建筑物目标SAR特征图像模拟技术，通过融合模拟特征图像与真实SAR图像来增强SAR图像中建筑物目标的图像特征，进而提高了SAR图像的视觉效果，提高了建筑物目标的识别效果。本发明主要解决了SAR图像视觉增强的问题，特别是针对建筑物目标高分辨率SAR图像，适于推广应用。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明的方法流程图；
图2是本发明的系统虚拟模块构架图；
图3是SAR成像几何模型下建筑物目标三维模型图；
图4是建筑物目标在模拟特征图像中的特征示意图；
图5是任意多边形内外点判断示意图；
图6是模拟图像与真实图像重叠区域示意图；
图7是10个建筑物目标的三维模型图；
图8是10个建筑物目标的模拟特征图像图；
图9是10个建筑物目标真实SAR图像的指数拉升显示效果图；
图10是经本发明方法进行图像增强后的效果图。
具体实施方式
本发明在SAR图像增强时，使用了基于建筑物三维模型生成模拟特征图像的方法，其方法流程图如图1所示。首先是建筑物目标三维模型的表示；然后基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；最后将模拟特征图像和真实SAR图像进行配准并融合显示，得到了建筑物目标视觉显示效果增强后的SAR图像。具体步骤如下：
1.建筑物目标三维模型的表示
本发明中使用的建筑物三维模型为简单的长方体模型，如图3所示。SAR图像覆盖的场景中共包含N个建筑物目标，则场景中建筑物目标的三维模型集合表示为S＝{Bk|k＝1…N}，其中第k个建筑物(长方体ABCD-EFGH)可表示为Bk＝{x0,y0,l,w,h,φ}，其中(x0,y0)为距离传感器最近的墙角点(如图3中B点)的坐标，l、w和h分别为建筑物长、宽和高，φ为建筑物的方位角，定义为边与方位向的夹角，其中方位向是SAR数据获取时传感器载荷运动方向。方位向定义为传感器运动方向，距离向定义为垂直于方位向的方向。
2.基于SAR成像过程和建筑物目标三维模型生成模拟特征图像。首先利用SAR成像参数，计算建筑物三维模型的顶点在模拟特征图像中的图像坐标；然后生成模拟特征图像。具体步骤如下：
2.1计算建筑物目标在模拟特征图像中各顶点的图像坐标
如图3所示，SAR传感器坐标为(Xs,Ys,H)，成像时入射角为θ。建筑物目标的3个表面可以被电磁波照射到，分别为屋顶EFGH、墙面ABFE和墙面BCGF。根据SAR成像先验知识可知，建筑物目标在模拟特征图像中的几何形状如图4所示，屋顶对应多边形EpFpGpHp，墙面分别对应多边形ApBpFpEp和BpCpGpFp，阴影范围为多边形ApBpCpGsHsEs。
则第k个建筑物Bk的图像特征Fek可表示为模拟特征图像中的一系列点的集合，如Fek＝{Apk,Bpk,Cpk,Epk,Fpk,Gpk,Hsk,Esk,Gsk,Hpk}。根据SAR成像几何关系，建筑物Bk的图像特征中各顶点的图像坐标计算公式见表1。
表1建筑物目标的模拟特征图像中各顶点的计算公式
对SAR成像范围内所有建筑物集合S＝{Mk|k＝1…N}中每一个建筑物目标，均采用以上计算方法，得到每一个建筑物目标图像特征的顶点在模拟特征图像中的坐标值，得到场景中所有建筑物目标的图像特征的顶点集合SFe＝{Fek|k＝1…N}。
2.2模拟特征图像生成。对每一个建筑物目标，利用其图像特征顶点，确定图像中墙面、屋顶和阴影的图像范围，并在相应的图像范围内赋值。该过程如下：
2.2.1确定模拟特征图像的大小。
首先，找到场景中所有建筑物图像特征顶点的方位向坐标的最大值X max和最小值X min，距离向坐标的最大值Y max和最小值Y min。然后，利用公式(3)计算模拟特征图像的方位向大小Nx和距离向大小Ny。
其中，Ceiling()为向上取整，dX和dY分别为SAR图像的方位向和距离向像元大小。
2.2.2模拟特征图像的生成
首先，新建一个高度为Nx，宽度为Ny的模拟特征图像Isim，即大小为Nx×Ny，值为0的空白矩阵。构建与Isim尺寸大小相等的目标图像Iobj和阴影图像Isha，初始值均为0。
将所有建筑物目标图像特征的顶点坐标(x,y)按照公式(4)得到新的坐标(xn,yn)，得到新的顶点坐标集合SFe,n＝{Fek,n|k＝1…N}。
对任意一个建筑物目标，按照以下过程执行，得到模拟特征图像Isim、目标图像Iobj和阴影图像Isha。过程如下：
屋顶多边形EpFpGpHp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1。
墙面多边形ApBpFpEp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1。
墙面多边形BpCpGpFp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1。
阴影多边形ApBpCpGsHsEs，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isha(i,j)＝1。
对所有的建筑物目标按照以上方法进行处理。
最后，对模拟特征图像中不包含建筑物目标的像元进行赋值，取值0.5。过程为：首先得到非建筑物目标掩膜图像Ibac＝1-Iobj-Isha，对Ibac中任意像元(i,j)，若Ibac(i,j)＝1，则Isim(i,j)＝0.5。
其中，点在多边形内外的判断步骤是采用面积和判别法来完成。待判断点与多边形的每条边组成的三角形面积和是否等于该多边形的面积，相等则在多边形内部；否则，该点不在多边形内部。具体过程如下：
如图5所示，Ω是n边形，顶点依次为p1p2…pn，坐标依次(x1,y1),(x2,y2)…(xn,yn)，面积为SΩ。对于外接矩形中任意一点p0(x0,y0)，其与多边形的每条边组成的三角形面积和S0。如果S0＝SΩ，则该点位于多边形Ω内，否则该点位于多边形Ω外。
多边形Ω面积SΩ的计算公式为(5)，
其中，rem()为取余函数，例如rem(n+1,n)＝1。
面积和S0的计算公式为(6)。
3.步骤三：模拟特征图像和真实SAR图像的图像配准和融合显示。
在融合模拟特征图像和真实SAR图像之前，需要进行图像配准，将两者进行匹配、叠加，使得两幅图像中的同名点重合。待两幅图像配准后，提取出两幅图像之间的重叠部分，按照不同的权重进行融合显示。
3.1图像配准过程为：
由于模拟特征图像对应的成像参数与真实SAR图像相同，则两幅图像之间仅存在着平移关系，选取场景中一个特征最为明显的建筑物目标，分别找到其在真实SAR图像和模拟特征图像中的角点Bp(如图4)。利用公式(7)可以计算两幅图像的方位向坐标偏移量bx和距离向坐标偏移量by。
其中，xr和yr为真实SAR图像的方位向坐标和距离向坐标，xs和ys为模拟特征图像的方位向坐标和距离向坐标。
3.2融合显示过程如下：
确定了模拟特征图像与真实SAR图像之间的偏移量，即可提取出两幅图像之间的重叠部分，如图6中阴影矩形。为模拟特征图像中重叠区域，为真实SAR图像中重叠区域。按照公式(8)融合和得到融合后的视觉增强图像
其中，参数α为特征图像融合权重系数，范围为0到1之间，默认取值为0.5。
将上述方法进行实际应用，图7为10个建筑物目标(M1-M10)的三维模型，图8为10个建筑物目标的模拟特征图像，图9为10个建筑物目标真实SAR图像的指数拉升显示效果图；图10为经本发明上述方法中图像增强后的效果图。可以看出，与指数拉升效果图相比，本发明中使用的方法，建筑物目标图像特征更加明显，提高了建筑物目标的识别效果。
如图2所示，为本发明的基于建筑物三维模型的SAR图像增强系统的虚拟模块构架图包括：建筑物目标三维模型表示模块，建筑物目标三维模型的表示；模拟特征图像生成模块，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；图像配准融合显示模块，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。其中，模拟特征图像生成模块包括：顶点图像坐标计算单元，利用SAR成像参数，计算建筑物目标三维模型的顶点在模拟特征图像中的图像坐标；确定赋值单元，对每一个建筑物目标，利用其顶点图像坐标，确定墙面、屋顶和阴影的模拟特征图像，并对模拟特征图像中不包含建筑物目标的像元进行赋值。系统中的各部分与上述图像增强方法的各步骤一一对应，此处不再一一赘述。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (6)

1.一种基于建筑物三维模型的SAR图像增强方法，其特征在于，包括：
步骤a，建筑物目标三维模型的表示；
步骤b，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；
步骤c，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像；
所述步骤a中建筑物目标三维模型表示为：
SAR图像覆盖的场景中共包含N个建筑物目标，则场景中建筑物目标的三维模型集合表示为S＝{Bk|k＝1…N}，其中第k个建筑物表示为Bk＝{x0,y0,l,w,h,φ}，其中(x0,y0)为距离传感器最近的墙角点的坐标，l、w和h分别为建筑物长、宽和高，φ为建筑物的方位角，定义为边与方位向的夹角，其中方位向是SAR数据获取时传感器载荷运动方向，距离向定义为垂直于方位向的方向；
所述步骤b中包括：
b1，利用SAR成像参数，计算建筑物目标三维模型的顶点在模拟特征图像中的图像坐标；
b2，生成模拟特征图像：对每一个建筑物目标，利用其顶点图像坐标，确定墙面、屋顶和阴影的模拟特征图像，并对模拟特征图像中不包含建筑物目标的像元进行赋值；
所述b1具体为：
SAR传感器坐标为(Xs,Ys,H)，成像时入射角为θ；建筑物目标的3个表面可以被电磁波照射到，分别为屋顶EFGH、墙面ABFE和墙面BCGF；根据SAR成像先验知识得到建筑物目标在模拟特征图像中的几何形状，屋顶对应多边形EpFpGpHp，墙面分别对应多边形ApBpFpEp和BpCpGpFp，阴影范围为多边形ApBpCpGsHsEs；
则第k个建筑物Bk的图像特征Fek表示为模拟特征图像中的一系列点的集合，Fek＝{Apk,Bpk,Cpk,Epk,Fpk,Gpk,Hsk,Esk,Gsk,Hpk}；
根据SAR成像几何关系，建筑物Bk的图像特征中各顶点的图像坐标计算公式见下表：
对SAR成像范围内所有建筑物集合S＝{Mk|k＝1…N}中每一个建筑物目标，均采用以上计算方法，得到每一个建筑物目标图像特征的顶点在模拟特征图像中的坐标值，得到场景中所有建筑物目标的图像特征的顶点集合SFe＝{Fek|k＝1…N}；
所述b2具体包括：
b21确定模拟特征图像的大小；
首先，找到场景中所有建筑物目标图像特征顶点的方位向坐标的最大值Xmax和最小值Xmin，距离向坐标的最大值Ymax和最小值Ymin；然后，利用公式(3)计算模拟特征图像的方位向大小Nx和距离向大小Ny；
其中，Ceiling()为向上取整，dX和dY分别为SAR图像的方位向和距离向像元大小；
b22模拟特征图像的生成；
首先，新建一个高度为Nx，宽度为Ny的模拟特征图像Isim，即大小为Nx×Ny，值为0的空白矩阵；构建与Isim尺寸大小相等的目标图像Iobj和阴影图像Isha，初始值均为0；
将所有建筑物目标图像特征的顶点坐标(x,y)按照公式(4)得到新的坐标(xn,yn)，得到新的顶点坐标集合SFe,n＝{Fek,n|k＝1…N}；
对任意一个建筑物目标，按照以下过程执行，得到模拟特征图像Isim、目标图像Iobj和阴影图像Isha；过程如下：
屋顶多边形EpFpGpHp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形ApBpFpEp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形BpCpGpFp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
阴影多边形ApBpCpGsHsEs，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isha(i,j)＝1；
对所有的建筑物目标按照以上方法进行处理；
最后，对模拟特征图像中不包含建筑物目标的像元进行赋值。
2.根据权利要求1所述的基于建筑物三维模型的SAR图像增强方法，其特征在于，所述b22中，对模拟特征图像中不包含建筑物目标的像元进行赋值的过程为：首先得到非建筑物目标掩膜图像Ibac＝1-Iobj-Isha，对Ibac中任意像元(i,j)，若Ibac(i,j)＝1，则Isim(i,j)＝0.5。
3.根据权利要求1或2所述的基于建筑物三维模型的SAR图像增强方法，其特征在于，所述步骤c具体为：将模拟特征图像和真实SAR图像进行匹配、叠加，使得两幅图像中的同名点重合；待两幅图像配准后，提取出两幅图像之间的重叠部分，按照不同的权重进行融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
4.一种基于建筑物三维模型的SAR图像增强系统，其特征在于，包括：
建筑物目标三维模型表示模块，建筑物目标三维模型的表示；
模拟特征图像生成模块，基于SAR成像过程和建筑物目标三维模型生成模拟特征图像；
图像配准融合显示模块，将模拟特征图像和真实SAR图像进行配准并融合显示，得到建筑物目标视觉显示效果增强后的SAR图像；
所述建筑物目标三维模型表示模块具体为，SAR图像覆盖的场景中共包含N个建筑物目标，则场景中建筑物目标的三维模型集合表示为S＝{Bk|k＝1…N}，其中第k个建筑物表示为Bk＝{x0,y0,l,w,h,φ}，其中(x0,y0)为距离传感器最近的墙角点的坐标，l、w和h分别为建筑物长、宽和高，φ为建筑物的方位角，定义为边与方位向的夹角，其中方位向是SAR数据获取时传感器载荷运动方向，距离向定义为垂直于方位向的方向；
所述模拟特征图像生成模块包括：
顶点图像坐标计算单元，利用SAR成像参数，计算建筑物目标三维模型的顶点在模拟特征图像中的图像坐标；
确定赋值单元，对每一个建筑物目标，利用其顶点图像坐标，确定墙面、屋顶和阴影的模拟特征图像，并对模拟特征图像中不包含建筑物目标的像元进行赋值；
所述顶点图像坐标计算单元具体为：
SAR传感器坐标为(Xs,Ys,H)，成像时入射角为θ；建筑物目标的3个表面可以被电磁波照射到，分别为屋顶EFGH、墙面ABFE和墙面BCGF；根据SAR成像先验知识得到建筑物目标在模拟特征图像中的几何形状，屋顶对应多边形EpFpGpHp，墙面分别对应多边形ApBpFpEp和BpCpGpFp，阴影范围为多边形ApBpCpGsHsEs；
则第k个建筑物Bk的图像特征Fek表示为模拟特征图像中的一系列点的集合，Fek＝{Apk,Bpk,Cpk,Epk,Fpk,Gpk,Hsk,Esk,Gsk,Hpk}；
根据SAR成像几何关系，建筑物Bk的图像特征中各顶点的图像坐标计算公式见下表：
对SAR成像范围内所有建筑物集合S＝{Mk|k＝1…N}中每一个建筑物目标，均采用以上计算方法，得到每一个建筑物目标图像特征的顶点在模拟特征图像中的坐标值，得到场景中所有建筑物目标的图像特征的顶点集合SFe＝{Fek|k＝1…N}；
所述确定赋值单元包括：
确定模拟特征图像的大小；
首先，找到场景中所有建筑物目标图像特征顶点的方位向坐标的最大值X max和最小值X min，距离向坐标的最大值Y max和最小值Y min；然后，利用公式(3)计算模拟特征图像的方位向大小Nx和距离向大小Ny；
其中，Ceiling()为向上取整，dX和dY分别为SAR图像的方位向和距离向像元大小；
模拟特征图像的生成；
首先，新建一个高度为Nx，宽度为Ny的模拟特征图像Isim，即大小为Nx×Ny，值为0的空白矩阵；构建与Isim尺寸大小相等的目标图像Iobj和阴影图像Isha，初始值均为0；
将所有建筑物目标图像特征的顶点坐标(x,y)按照公式(4)得到新的坐标(xn,yn)，得到新的顶点坐标集合SFe,n＝{Fek,n|k＝1…N}；
对任意一个建筑物目标，按照以下过程执行，得到模拟特征图像Isim、目标图像Iobj和阴影图像Isha；过程如下：
屋顶多边形EpFpGpHp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形ApBpFpEp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
墙面多边形BpCpGpFp，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isim(i,j)＝Isim(i,j)+1，Iobj(i,j)＝1；
阴影多边形ApBpCpGsHsEs，对于Isim图像中的任意像元(i,j)，若该像元点在多边形EpFpGpHp内，则Isha(i,j)＝1；
对所有的建筑物目标按照以上方法进行处理；
最后，对模拟特征图像中不包含建筑物目标的像元进行赋值。
5.根据权利要求4所述的基于建筑物三维模型的SAR图像增强系统，其特征在于，所述对模拟特征图像中不包含建筑物目标的像元进行赋值的过程为：首先得到非建筑物目标掩膜图像Ibac＝1-Iobj-Isha，对Ibac中任意像元(i,j)，若Ibac(i,j)＝1，则Isim(i,j)＝0.5。
6.根据权利要求4或5所述的基于建筑物三维模型的SAR图像增强系统，其特征在于，所述图像配准融合显示模块，将模拟特征图像和真实SAR图像进行匹配、叠加，使得两幅图像中的同名点重合；待两幅图像配准后，提取出两幅图像之间的重叠部分，按照不同的权重进行融合显示，得到建筑物目标视觉显示效果增强后的SAR图像。
CN201610089567.XA 2016-02-18 2016-02-18 一种基于建筑物三维模型的sar图像增强方法及系统 Expired - Fee Related CN105678694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610089567.XA CN105678694B (zh) 2016-02-18 2016-02-18 一种基于建筑物三维模型的sar图像增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610089567.XA CN105678694B (zh) 2016-02-18 2016-02-18 一种基于建筑物三维模型的sar图像增强方法及系统

Publications (2)

Publication Number Publication Date
CN105678694A CN105678694A (zh) 2016-06-15
CN105678694B true CN105678694B (zh) 2018-12-21

Family

ID=56305757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610089567.XA Expired - Fee Related CN105678694B (zh) 2016-02-18 2016-02-18 一种基于建筑物三维模型的sar图像增强方法及系统

Country Status (1)

Country Link
CN (1) CN105678694B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529452B (zh) * 2016-11-04 2019-04-23 重庆市勘测院 基于建筑三维模型的移动智能终端建筑物快速识别方法
CN107607951A (zh) * 2017-10-18 2018-01-19 浙江环球星云遥感科技有限公司 一种sar图像二次散射特征模拟方法
CN111522007A (zh) * 2020-07-06 2020-08-11 航天宏图信息技术股份有限公司 真实场景与目标仿真融合的sar成像仿真方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184538A (zh) * 2011-04-28 2011-09-14 北京航空航天大学 一种基于动态轮廓的合成孔径雷达sar图像自动分割方法
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN104200521A (zh) * 2014-09-04 2014-12-10 中国科学院遥感与数字地球研究所 基于模型先验的高分辨率 sar 图像建筑物目标三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184538A (zh) * 2011-04-28 2011-09-14 北京航空航天大学 一种基于动态轮廓的合成孔径雷达sar图像自动分割方法
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN104200521A (zh) * 2014-09-04 2014-12-10 中国科学院遥感与数字地球研究所 基于模型先验的高分辨率 sar 图像建筑物目标三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Height estimation of man made structures using hybrid VHR optical and SAR imagery;Dominik Brunner 等;《Remote Sensing - New Challenges of High Resolution, Bochum 2008》;20081231;第188页第1段-第191页倒数第1段 *
高分辨率SAR与光学图像融合用于建筑物屋顶提取;朱俊杰 等;《中国科学院研究生院学报》;20060331;第23卷(第2期);第179-185页 *

Also Published As

Publication number Publication date
CN105678694A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN104484668B (zh) 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111080724A (zh) 一种红外和可见光的融合方法
CN110288657B (zh) 一种基于Kinect的增强现实三维注册方法
CN109615611A (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109993793B (zh) 视觉定位方法及装置
CN109000557B (zh) 一种核燃料棒位姿自动识别方法
CN105678694B (zh) 一种基于建筑物三维模型的sar图像增强方法及系统
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN107329116B (zh) 机载雷达三维运动场景显示方法
CN109767473A (zh) 一种全景泊车装置标定方法及装置
CN111145362B (zh) 一种机载综合视景系统虚实融合显示方法及系统
CN109724586B (zh) 一种融合深度图和点云的航天器相对位姿测量方法
CN110083177A (zh) 一种基于视觉着陆的四旋翼飞行器及控制方法
CN111626241B (zh) 一种人脸检测方法及装置
CN114998545A (zh) 一种基于深度学习的三维建模阴影识别系统
CN104517313B (zh) 基于屏幕空间的环境光遮蔽的方法
CN105005985B (zh) 背光图像微米级边缘检测方法
CN109978982A (zh) 一种基于倾斜影像的点云快速上色方法
CN107423766B (zh) 一种混联式汽车电泳涂装输送机构末端运动位姿检测方法
TWI659390B (zh) 應用於物件檢測之攝影機與雷射測距儀的數據融合方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190429

Address after: 313200 Geographic Information Innovation Park Project T Building, Deqing County, Huzhou City, Zhejiang Province

Co-patentee after: Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences

Patentee after: Chinese Academy of satellite application Deqing Research Institute

Address before: 100012 North of No. 20 Datun Road, Outside Andingmen, Chaoyang District, Beijing

Patentee before: Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181221

Termination date: 20200218

CF01 Termination of patent right due to non-payment of annual fee