CN113538306A - 一种sar图像与低分辨率光学图像多图融合方法 - Google Patents
一种sar图像与低分辨率光学图像多图融合方法 Download PDFInfo
- Publication number
- CN113538306A CN113538306A CN202110658526.9A CN202110658526A CN113538306A CN 113538306 A CN113538306 A CN 113538306A CN 202110658526 A CN202110658526 A CN 202110658526A CN 113538306 A CN113538306 A CN 113538306A
- Authority
- CN
- China
- Prior art keywords
- image
- sar image
- subgraph
- sar
- optical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 118
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 60
- 238000001914 filtration Methods 0.000 claims description 34
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 claims description 9
- 229910052739 hydrogen Inorganic materials 0.000 claims description 9
- 239000001257 hydrogen Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011426 transformation method Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种SAR图像与低分辨率光学图像多图融合方法，先接收并解析光学原始图像数据，并将其缓存下来等待SAR图像的到来，SAR图到来后对其进行解析，然后将大场景SAR图进行切割，接着将切割后的子图与光学图像进行一一匹配，匹配成功后将其进行配准、融合，最后再将融合后的子图进行拼接，输出大场景下的融合图像。该方法可以解决大场景SAR图像与多幅光学图像的融合问题，而且能在保留SAR图像高分辨率的前提下将低分辨率的光学图像与其进行融合，使融合结果具备更多的细节特征和目标直视解译能力。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种SAR图像与低分辨率光学图像多图融合方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种主动式微波成像，分辨率较高，对地面建筑和人造桥梁都比较敏感，具有较多细节表现和纹理特征，而且具有一定的穿透性，能全天时全天候捕获光学影像中更多不易发现的目标信息，有很好的侦察作用，广泛应用于军事、农业等各个领域。但是，SAR图像的后向散射特性易受地物几何特性和介电特性的影响，图像常出现“异物同谱”等现象，不利于目视观测和目标解译。光学图像反映了地物的物理与化学属性，图像含有丰富的光谱信息，具有良好的目视解译效果。但是光学图像依赖于发光源，不能在夜间成像且易受恶劣天气的影响，导致特征信息丢失。两者对比，SAR的优势在于能体现出更多的细节特征，但却易受地物的特性干扰，目视观测能力、地物直视能力比较弱；光学图像的优势在于具备直视效果、目标解译能力，但若成像条件不好，则易丢失地物细节特征。因此，SAR图像与光学图像融合技术可以将二者的优势进行互补，使图像同时具备更多的细节特征、目标直视解译能力，融合两种图像的优点，对于地物目标的监测和灾难应急具有重要意义。
随着国内外学者多年的深入研究，遥感技术水平取得快速的发展，光学影像融合技术收获不凡的成果。需要注意的是，由于SAR图像和光学图像的成像机制有较大差异，从而导致图像内容也存在些许不同。因此，光学图像上融合效果较好的算法并不适用于SAR与光学图像的融合。
当前研究领域中，SAR与光学图像的融合方法尚有很多不足之处。首先在预处理方面。预处理的难度集中在：图像滤波、配准。图像滤波排除掉噪声干扰，主要是SAR成像带来的相干斑噪声，以避免在后续的融合处理中将噪声当成源图像里面的可用信息，从而加入到最后的融合图像中去；图像配准是将两幅成像原理不同的图像进行最佳匹配的过程，目前的融合算法都是分辨率相近或光学图像分辨率较高，然而在实际成像时，SAR图像的分辨率往往是比较高的，所以解决高分辨的SAR图像与低分辨光学图像的配准对后续融合来说极其重要，更直接决定着最后融合的效果。
其次，目前的SAR图像与光学图像的融合大多只是停留在理论方面，很少运用到实际的系统中，在实时系统中，SAR成像的场景往往是比较大的，这时就需要多幅光学图像来与其进行融合，所以寻找一种多图融合并同时保留二者细节特征的融合方法具有重要意义。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种SAR图像与低分辨率光学图像多图融合方法，该方法可以解决大场景SAR图像与多幅光学图像的融合问题，而且能在保留SAR图像高分辨率的前提下将低分辨率的光学图像与其进行融合，使融合结果具备更多的细节特征和目标直视解译能力。
本发明的技术思路为：先接收并解析光学原始图像数据，并将其缓存下来等待SAR图像的到来，SAR图到来后对其进行解析，然后将大场景SAR图进行切割，接着将切割后的子图与光学图像进行一一匹配，匹配成功后将其进行配准、融合，最后再将融合后的子图进行拼接，输出大场景下的融合图像。
为了达到上述目的，本发明采用以下技术方案予以实现。
一种SAR图像与低分辨率光学图像多图融合方法，包括以下步骤：
步骤1，针对同一目标场景，分别采集原始SAR图像与光学图像；
步骤2，对所述原始SAR图像沿方位向进行切割，得到多个切割后的SAR图像子图；每个所述切割后的SAR图像子图的场景在一个所述光学图像的场景内；
步骤3，依次计算每个所述切割后的SAR图像子图的中心经纬度信息和所述光学图像的中心经纬度信息，寻找所述切割后的SAR图像子图的中心经纬度与所述光学图像的中心经纬度最近的两副图像，即为场景匹配的待融合图像；
步骤4，对所述场景匹配的待融合图像中的SAR图像子图进行预处理，得到预处理后的SAR图像子图；
步骤5，计算所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息，根据所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息找到两幅图中场景重叠区域，并进行剪裁，得到场景重叠区域的SAR图像子图和光学图像；
采用仿射变换方法对场景重叠区域的光学图像进行处理，从而将场景重叠区域的SAR图像子图和光学图像进行配准，得到配准后的同分辨率SAR图像子图和光学图像；
步骤6，将所述配准后的同分辨率SAR图像子图和光学图像进行小波融合，得到融合后的子图；
步骤7，将所述融合后的子图进行拼接还原为大场景图像，得到融合后的大场景图像。
本发明技术方案的特点和进一步的改进为：
(1)步骤4包含以下子步骤：
子步骤4.1，对切割后的SAR图像子图的图像边界进行扩充，设窗口长度L＝2×r+1，对切割后的SAR图像子图的上下左右分别扩充r个像素点，得到扩充后的SAR图像子图；
子步骤4.2，采用增强LEE滤波算法对所述扩充后的SAR图像子图进行滤波处理，得到预处理后的SAR图像子图。
(2)子步骤4.2中，所述增强LEE滤波算法为：
1)计算等效视数ENL
设图像的大小为N×M，则等效视数ENL的计算公式为：
其中，均值
方差
Ii,j表示SAR图像在(i,j)点的灰度值；
2)计算滤波分类门限值：
3)从左到右、从上到下依次读取第k个滤波窗口SAR图像子图的像素点灰度值I(k)，并计算第k个滤波窗口SAR图像子图的像素点灰度值均值
和权重系数w(k)；
其中，Cu(k)为斑块u(k)的标准差系数，CI(k)为图像I(k)的标准差系数；
其中，σu(k)为斑块u(k)的标准差，
为斑块u(k)的均值；σI(k)是图像I(k)的标准差；
4)计算滤波窗口图像I(k)的标准差系数CI(k)的值并对滤波进行分类，按照下式进行滤波：
其中，
为滤波后的结果数据；Imed(k)为第k个滤波窗口内中心点像素的值。
(3)步骤5中，所述射变换方法包含以下子步骤：
子步骤5.1，根据场景重叠区域的SAR图像子图和光学图像的顶点坐标解线性方程组计算得出仿射变换矩阵M：
其中，仿射变换矩阵
指仿射变换后像素点坐标，
指仿射变换前像素点坐标；
子步骤5.2，将场景重叠区域的SAR图像子图的坐标依次带入下式来计算出光学图像仿射变换后的坐标，通过仿射变换处理完成放大、平移、旋转操作，将光学图像转换到SAR图像子图对应的分辨率，并判断计算结果是否在重叠区域内；
其中，M_inv为仿射变换矩阵M的逆矩阵；
子步骤5.3，将满足条件的光学图像映射到对应分辨率的SAR图像子图中，完成重叠区域的配准。
(4)步骤6具体为：
将配准后的同分辨率SAR图像子图A和光学图像B分别进行三级小波变换，然后对高频的边缘细节信息进行系数绝对值最大化处理，低频的整体信息则运用局部方差准则来计算融合权重，最后进行小波重构融合。
(5)步骤6具体包含以下子步骤：
子步骤6.1，对配准后的同分辨率SAR图像子图和光学图像分别进行一级小波分解，得到LL1、LH1、HL1和HH1四个频带区域；其中，LL1为一级小波分解后的水平低频、垂直低频；LH1为一级小波分解后的水平低频、垂直高频；HL1为一级小波分解后的水平高频、垂直低频；HH1为一级小波分解后的水平高频、垂直高频；
子步骤6.2，对一级小波分解后的低频带区域LL1进行二级小波分解，得到LL2、LH2、HL2和HH2四个频带区域；其中，LL2为二级小波分解后的水平低频、垂直低频；LH2为二级小波分解后的水平低频、垂直高频；HL2为二级小波分解后的水平高频、垂直低频；HH2为二级小波分解后的水平高频、垂直高频；
子步骤6.3，对二级小波分解后的低频带区域LL2进行三级小波分解，得到LL3、LH3、HL3和HH3四个频带区域；其中，LL3为三级小波分解后的水平低频、垂直低频；LH3为三级小波分解后的水平低频、垂直高频；HL3为三级小波分解后的水平高频、垂直低频；HH3为三级小波分解后的水平高频、垂直高频；
子步骤6.4，对三级小波分解后的低频带区域LL3选择局部方差准则进行融合，通过计算点周围5×5矩阵的方差来确定SAR图像子图的加权系数K1和光学图像的加权系数K2，然后通过下式来对SAR图像子图和光学图像进行融合，得到低频融合图；
F(x,y)＝K1*A(x,y)+K2*B(x,y)
其中，A(x,y)为小波分解后SAR图像子图像素点对应的值；B(x,y)为小波分解后光学图像像素点对应的值；F(x,y)为小波融合后对应像素点对应的值；
子步骤6.5，对除LL3外的其他区域(LH1、HL1、HH1、LH2、HL2、HH2、LH3、HL3和HH3)，选择系数绝对值较大法的融合准则，保留系数绝对值最大的部分作为高频融合图；
子步骤6.6，对所述低频融合图和所述高频融合图进行三级小波重构，得到融合后的子图。
与现有技术相比，本发明的有益效果为：
本发明提出一种SAR图像与低分辨率光学图像多图融合方法，首先对大场景下的SAR原图进行方位向的分割，通过将SAR图像子图与光学图像多图融合的方式，解决了大场景图像的融合问题。然后本发明提出对低分辨的光学图像采用仿射变换的处理方法，解决了低分辨率光学图像与高分辨率SAR图像融合的问题。最后采用小波融合的算法将SAR图像与光学图像的优势进行互补，使图像同时具备更多的细节特征、目标直视解译能力。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明一种SAR图像与低分辨率光学图像多图融合方法的整体处理流程框图；
图2为本发明所涉及的图像融合算法处理的流程图；
图3为小波融合处理的流程图；
图4为对SAR图像子图进行预处理前后的结果对比图；其中，图(a)为预处理前的SAR图像子图；图(b)为预处理后的SAR图像子图；
图5为小波融合前后的结果对比图；其中，图(a)为高分辨率SAR原始图像，图(b)为低分辨率光学原始图像，图(c)为处理后的融合图像；
图6为融合拼接后的大场景图像。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
参考图1-2，为本发明一种SAR图像与低分辨率光学图像多图融合方法的整体流程框图，本发明的SAR图像与低分辨率光学图像多图融合方法包括以下步骤：
步骤1，针对同一目标场景，分别采集原始SAR图像与光学图像。
具体的，由于成像原理的不同，SAR图像所需要的成像时间要比光学图像长，所以在实际采集图像数据时可能存在时间先后的差异，这时可以将光学图像先缓存下来，待SAR图像到来时再寻找与之匹配的同一场景的光学图像。
步骤2，对所述原始SAR图像沿方位向进行切割，得到多个切割后的SAR图像子图，保证每个所述切割后的SAR图像子图的场景在一个所述光学图像的场景内。
具体的，每幅切割后的SAR图像子图与光学图像所对应的场景会因分辨率的大小和聚焦的效果而改变，这时可以根据实验数据分析出SAR图像应该切割的份数，以保证多图融合后大场景的SAR图像能够被全部融合到。本次实验数据将SAR图分割成了2份，即进行了2次融合。
步骤3，依次计算每个所述切割后的SAR图像子图的中心经纬度信息和所述光学图像的中心经纬度信息，寻找所述切割后的SAR图像子图的中心经纬度与所述光学图像的中心经纬度最近的两副图像，即为场景匹配的待融合图像。
具体的，通过帧头读出切割后的SAR图像子图的四个顶点的经纬度信息，计算切割后的SAR图像子图的中心经纬度以及光学图像的中心经纬度，寻找切割后的SAR图像子图和光学图像两幅图像中心经纬度最近的两副图即为场景匹配的待融合图像，将这两幅图进行后续融合处理。
步骤4，对所述场景匹配的待融合图像中的SAR图像子图进行预处理，得到预处理后的SAR图像子图；
具体的，步骤4包含以下子步骤：
子步骤4.1，对切割后的SAR图像子图的图像边界进行扩充，设窗口长度L＝2×r+1，对切割后的SAR图像子图的上下左右分别扩充r个像素点，得到扩充后的SAR图像子图；
子步骤4.2，采用增强LEE滤波算法对所述扩充后的SAR图像子图进行滤波处理，得到预处理后的SAR图像子图；通过增强LEE滤波算法滤波处理，去除扩充后的SAR图像子图中的相干斑噪声。
具体的，子步骤4.2包含以下子步骤：
1)计算等效视数ENL
设图像的大小为N×M，则等效视数ENL的计算公式为：
其中，均值
方差
Ii,j表示SAR图像在(i,j)点的灰度值。等效视数ENL越大，表明图像越光滑，相干斑噪声抑制效果越好；
2)计算滤波分类门限值：
3)从左到右、从上到下依次读取第k个滤波窗口SAR图像子图的像素点灰度值I(k)，并计算第k个滤波窗口SAR图像子图的像素点灰度值均值I(k)和权重系数w(k)：
其中，Cu(k)为斑块u(k)的标准差系数，CI(k)为图像I(k)的标准差系数；
其中，σu(k)、
分别是斑块u(k)的标准差和均值，σI(k)是图像I(k)的标准差。
4)计算滤波窗口图像I(k)的标准差系数CI(k)的值并对滤波进行分类，按照下式进行滤波：
其中，
为滤波后的结果数据；Imed(k)为第k个滤波窗口内中心像素点的值，
为第k个滤波窗口SAR图像子图的像素点灰度值均值。
步骤5，计算所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息，根据所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息找到两幅图中场景重叠区域，并进行剪裁，得到场景重叠区域的SAR图像子图和光学图像；
采用仿射变换方法对场景重叠区域的光学图像进行处理，从而将场景重叠区域的SAR图像子图和光学图像进行配准，得到配准后的同分辨率SAR图像子图和光学图像。
具体的，由于光学图像的分辨率低，本发明采用仿射变换方法来对场景重叠区域的光学图像进行处理，处理后将光学图像的场景重叠区域进行放大，转换到SAR图像子图对应的分辨率，并完成对光学图像的平移、旋转；其中，仿射变换方法如下：
子步骤5.1，根据场景重叠区域的SAR图像子图和光学图像的顶点坐标解线性方程组计算得出仿射变换矩阵M：
其中，仿射变换矩阵
指仿射变换后像素点坐标，
指仿射变换前像素点坐标。
子步骤5.2，将场景重叠区域的SAR图像子图的坐标依次带入下式来计算出光学图像仿射变换后的坐标，通过仿射变换处理完成放大、平移、旋转操作，将光学图像转换到SAR图像子图对应的分辨率，并判断计算结果是否在重叠区域内；
其中，M_inv为仿射变换矩阵M的逆矩阵。
子步骤5.3，将满足条件的光学图像映射到对应分辨率的SAR图像子图中，完成重叠区域的配准。
步骤6，将所述配准后的同分辨率SAR图像子图和光学图像进行小波融合，得到融合后的子图。
具体的，小波融合处理的流程图如图3所示，将配准后的同分辨率SAR图像子图A和光学图像B分别进行三级小波变换，然后对高频的边缘细节信息进行系数绝对值最大化处理，低频的整体信息则运用局部方差准则来计算融合权重，最后进行小波重构融合，具体处理流程包含以下子步骤：
子步骤6.1，对配准后的同分辨率SAR图像子图和光学图像分别进行一级小波分解，得到LL1、LH1、HL1和HH1四个频带区域；其中，LL1为一级小波分解后的水平低频、垂直低频；LH1为一级小波分解后的水平低频、垂直高频；HL1为一级小波分解后的水平高频、垂直低频；HH1为一级小波分解后的水平高频、垂直高频。
子步骤6.2，对一级小波分解后的低频带区域LL1进行二级小波分解，得到LL2、LH2、HL2和HH2四个频带区域；其中，LL2为二级小波分解后的水平低频、垂直低频；LH2为二级小波分解后的水平低频、垂直高频；HL2为二级小波分解后的水平高频、垂直低频；HH2为二级小波分解后的水平高频、垂直高频。
子步骤6.3，对二级小波分解后的低频带区域LL2进行三级小波分解，得到LL3、LH3、HL3和HH3四个频带区域；其中，LL3为三级小波分解后的水平低频、垂直低频；LH3为三级小波分解后的水平低频、垂直高频；HL3为三级小波分解后的水平高频、垂直低频；HH3为三级小波分解后的水平高频、垂直高频。
子步骤6.4，对三级小波分解后的低频带区域LL3选择局部方差准则进行融合，通过计算点周围5×5矩阵的方差来确定SAR图像子图的加权系数K1和光学图像的加权系数K2，然后通过下式来对SAR图像子图和光学图像进行融合，得到低频融合图。
F(x,y)＝K1*A(x,y)+K2*B(x,y)
其中，A(x,y)为小波分解后SAR图像子图像素点对应的值；B(x,y)为小波分解后光学图像像素点对应的值；F(x,y)为小波融合后对应像素点对应的值。
子步骤6.5，对除LL3外的其他区域(LH1、HL1、HH1、LH2、HL2、HH2、LH3、HL3和HH3)选择系数绝对值较大法的融合准则，通过比较小波分解后系数的绝对值来确定保留哪部分信息，保留系数绝对值最大的部分作为高频融合图；
子步骤6.6，对所述低频融合图和所述高频融合图进行三级小波重构，得到融合后的子图。
步骤7，将所述融合后的子图进行拼接还原为大场景图像，得到融合后的大场景图像。
通过以下仿真数据对本发明效果作进一步验证说明。
实验1：本仿真实验采用真实SAR原始图像数据作为测试数据，按照步骤4中的详细步骤对SAR图像子图进行处理。SAR图像子图预处理前的图像参照图4(a)，预处理后的结果参照图4(b)。
比较图4中的(a)图和(b)图可以发现，经过预处理后，SAR图的相干斑噪声明显减小，通过等效视数参数ENL可以进一步定量分析得出此结论。计算可以得到，预处理前ENL＝10.8717，预处理后ENL＝16.4464，ENL越大，则说明相干斑噪声越小。
实验2：本仿真实验采用真实采集的0.2米高分辨率SAR原始图像和1m低分辨率的光学原始图像作为测试数据，按照上述步骤对图像进行预处理、裁剪、仿射变换、小波融合、拼接等处理，得到的仿真结果图参照图5和图6。图5为融合前后同一场景的对比图，其中，图5(a)为高分辨率SAR原始图像，图5(b)为低分辨率光学原始图像，图5(c)为处理后的融合图像。图6为拼接后大场景SAR图像融合后的结果图。
通过融合前后图像对比可以清楚的看到，融合后将光学图像的光谱信息融入到SAR图像中，大大提高了SAR图像的直观解译度，而且还保留了SAR图与光学图的细节特征信息，达到了信息综合的目的。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (6)
1.一种SAR图像与低分辨率光学图像多图融合方法，其特征在于，包括以下步骤：
步骤1，针对同一目标场景，分别采集原始SAR图像与光学图像；
步骤2，对所述原始SAR图像沿方位向进行切割，得到多个切割后的SAR图像子图；每个所述切割后的SAR图像子图的场景在一个所述光学图像的场景内；
步骤3，依次计算每个所述切割后的SAR图像子图的中心经纬度信息和所述光学图像的中心经纬度信息，寻找所述切割后的SAR图像子图的中心经纬度与所述光学图像的中心经纬度最近的两副图像，即为场景匹配的待融合图像；
步骤4，对所述场景匹配的待融合图像中的SAR图像子图进行预处理，得到预处理后的SAR图像子图；
步骤5，计算所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息，根据所述预处理后的SAR图像子图的顶点经纬度信息和所述光学图像的顶点经纬度信息找到两幅图中场景重叠区域，并进行剪裁，得到场景重叠区域的SAR图像子图和光学图像；
采用仿射变换方法对场景重叠区域的光学图像进行处理，从而将场景重叠区域的SAR图像子图和光学图像进行配准，得到配准后的同分辨率SAR图像子图和光学图像；
步骤6，将所述配准后的同分辨率SAR图像子图和光学图像进行小波融合，得到融合后的子图；
步骤7，将所述融合后的子图进行拼接还原为大场景图像，得到融合后的大场景图像。
2.根据权利要求1所述的SAR图像与低分辨率光学图像多图融合方法，其特征在于，步骤4包含以下子步骤：
子步骤4.1，对切割后的SAR图像子图的图像边界进行扩充，设窗口长度L＝2×r+1，对切割后的SAR图像子图的上下左右分别扩充r个像素点，得到扩充后的SAR图像子图；
子步骤4.2，采用增强LEE滤波算法对所述扩充后的SAR图像子图进行滤波处理，得到预处理后的SAR图像子图。
3.根据权利要求2所述的SAR图像与低分辨率光学图像多图融合方法，其特征在于，子步骤4.2中，所述增强LEE滤波算法为：
1)计算等效视数ENL
设图像的大小为N×M，则等效视数ENL的计算公式为：
其中，均值
方差
Ii,j表示SAR图像在(i,j)点的灰度值；
2)计算滤波分类门限值：
3)从左到右、从上到下依次读取第k个滤波窗口SAR图像子图的像素点灰度值I(k)，并计算第k个滤波窗口SAR图像子图的像素点灰度值均值
和权重系数w(k)；
其中，Cu(k)为斑块u(k)的标准差系数，CI(k)为图像I(k)的标准差系数；
其中，σu(k)为斑块u(k)的标准差，
为斑块u(k)的均值；σI(k)是图像I(k)的标准差；
4)计算滤波窗口图像I(k)的标准差系数CI(k)的值并对滤波进行分类，按照下式进行滤波：
其中，
为滤波后的结果数据；Imed(k)为第k个滤波窗口内中心点像素的值。
4.根据权利要求1所述的SAR图像与低分辨率光学图像多图融合方法，其特征在于，步骤5中，所述射变换方法包含以下子步骤：
子步骤5.1，根据场景重叠区域的SAR图像子图和光学图像的顶点坐标解线性方程组计算得出仿射变换矩阵M：
其中，仿射变换矩阵
指仿射变换后像素点坐标，
指仿射变换前像素点坐标；
子步骤5.2，将场景重叠区域的SAR图像子图的坐标依次带入下式来计算出光学图像仿射变换后的坐标，通过仿射变换处理完成放大、平移、旋转操作，将光学图像转换到SAR图像子图对应的分辨率，并判断计算结果是否在重叠区域内；
其中，M_inv为仿射变换矩阵M的逆矩阵；
子步骤5.3，将满足条件的光学图像映射到对应分辨率的SAR图像子图中，完成重叠区域的配准。
5.根据权利要求1所述的SAR图像与低分辨率光学图像多图融合方法，其特征在于，步骤6具体为：
将配准后的同分辨率SAR图像子图和光学图像分别进行三级小波变换，然后对高频的边缘细节信息进行系数绝对值最大化处理，低频的整体信息则运用局部方差准则来计算融合权重，最后进行小波重构融合。
6.根据权利要求5所述的SAR图像与低分辨率光学图像多图融合方法，其特征在于，步骤6具体包含以下子步骤：
子步骤6.1，对配准后的同分辨率SAR图像子图和光学图像分别进行一级小波分解，得到LL1、LH1、HL1和HH1四个频带区域；其中，LL1为一级小波分解后的水平低频、垂直低频；LH1为一级小波分解后的水平低频、垂直高频；HL1为一级小波分解后的水平高频、垂直低频；HH1为一级小波分解后的水平高频、垂直高频；
子步骤6.2，对一级小波分解后的低频带区域LL1进行二级小波分解，得到LL2、LH2、HL2和HH2四个频带区域；其中，LL2为二级小波分解后的水平低频、垂直低频；LH2为二级小波分解后的水平低频、垂直高频；HL2为二级小波分解后的水平高频、垂直低频；HH2为二级小波分解后的水平高频、垂直高频；
子步骤6.3，对二级小波分解后的低频带区域LL2进行三级小波分解，得到LL3、LH3、HL3和HH3四个频带区域；其中，LL3为三级小波分解后的水平低频、垂直低频；LH3为三级小波分解后的水平低频、垂直高频；HL3为三级小波分解后的水平高频、垂直低频；HH3为三级小波分解后的水平高频、垂直高频；
子步骤6.4，对三级小波分解后的低频带区域LL3选择局部方差准则进行融合，通过计算点周围5×5矩阵的方差来确定SAR图像子图的加权系数K1和光学图像的加权系数K2，然后通过下式来对SAR图像子图和光学图像进行融合，得到低频融合图；
F(x,y)＝K1*A(x,y)+K2*B(x,y)
其中，A(x,y)为小波分解后SAR图像子图像素点对应的值；B(x,y)为小波分解后光学图像像素点对应的值；F(x,y)为小波融合后对应像素点对应的值；
子步骤6.5，对LH1、HL1、HH1、LH2、HL2、HH2、LH3、HL3和HH3，选择系数绝对值较大法的融合准则，保留系数绝对值最大的部分作为高频融合图；
子步骤6.6，对所述低频融合图和所述高频融合图进行三级小波重构，得到融合后的子图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658526.9A CN113538306B (zh) | 2021-06-15 | 2021-06-15 | 一种sar图像与低分辨率光学图像多图融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658526.9A CN113538306B (zh) | 2021-06-15 | 2021-06-15 | 一种sar图像与低分辨率光学图像多图融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538306A true CN113538306A (zh) | 2021-10-22 |
| CN113538306B CN113538306B (zh) | 2024-02-13 |
Family
ID=78124890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110658526.9A Active CN113538306B (zh) | 2021-06-15 | 2021-06-15 | 一种sar图像与低分辨率光学图像多图融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538306B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441766A (zh) * | 2008-11-28 | 2009-05-27 | 西安电子科技大学 | 基于多尺度几何分析的sar图像融合方法 |
| JP2010236970A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Space Software Kk | ＳＡＲ（ＳｙｎｔｈｅｔｉｃＡｐｅｒｔｕｒｅＲａｄａｒ）重畳データ生成装置、ＳＡＲ重畳データ再生装置、ＳＡＲ重畳データ生成プログラム、ＳＡＲ重畳データ再生プログラム、ＳＡＲ重畳データ生成方法およびＳＡＲ重畳データ再生方法 |
| CN102044072A (zh) * | 2010-11-29 | 2011-05-04 | 北京航空航天大学 | 基于统计模型的sar图像融合处理方法 |
| JP2013096807A (ja) * | 2011-10-31 | 2013-05-20 | Pasuko:Kk | 地物情報判読用画像生成方法 |
| CN103513247A (zh) * | 2012-06-21 | 2014-01-15 | 中国科学院电子学研究所 | 合成孔径雷达图像和光学图像同名点匹配的方法 |
| CN103544707A (zh) * | 2013-10-31 | 2014-01-29 | 王浩然 | 基于轮廓波变换的光学遥感图像变化检测方法 |
| CN103679714A (zh) * | 2013-12-04 | 2014-03-26 | 中国资源卫星应用中心 | 一种基于梯度互相关的光学和sar图像自动配准方法 |
| CN103927741A (zh) * | 2014-03-18 | 2014-07-16 | 中国电子科技集团公司第十研究所 | 增强目标特征的sar图像合成方法 |
| CN105427304A (zh) * | 2015-11-19 | 2016-03-23 | 北京航空航天大学 | 基于多种特征联合的目标sar图像和光学图像配准方法 |
| WO2017060000A1 (fr) * | 2015-10-09 | 2017-04-13 | Thales | Methode de traitement d'une image radar de type sar et methode de detection de cible associee |
| CN106611409A (zh) * | 2016-11-18 | 2017-05-03 | 哈尔滨工程大学 | 一种基于二次图像融合的小目标增强检测方法 |
| CN106971402A (zh) * | 2017-04-21 | 2017-07-21 | 西安电子科技大学 | 一种基于光学辅助的sar图像变化检测方法 |
| CN108447016A (zh) * | 2018-02-05 | 2018-08-24 | 西安电子科技大学 | 基于直线交点的光学图像和sar图像的匹配方法 |
| CN108549902A (zh) * | 2018-03-14 | 2018-09-18 | 中国科学院遥感与数字地球研究所 | 一种改进的sar图像与多光谱光学图像融合方法 |
| CN109829874A (zh) * | 2019-01-30 | 2019-05-31 | 西安电子科技大学 | 基于框架理论的sar图像融合方法 |
| CN110097101A (zh) * | 2019-04-19 | 2019-08-06 | 大连海事大学 | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 |
| CN111145228A (zh) * | 2019-12-23 | 2020-05-12 | 西安电子科技大学 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
| CN111784560A (zh) * | 2019-04-04 | 2020-10-16 | 复旦大学 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
| CN111861918A (zh) * | 2020-07-14 | 2020-10-30 | 北京理工大学重庆创新中心 | 一种基于sar图像的海上溢油检测方法 |
| CN112307901A (zh) * | 2020-09-28 | 2021-02-02 | 国网浙江省电力有限公司电力科学研究院 | 一种面向滑坡检测的sar与光学影像融合方法及系统 |
-
2021
- 2021-06-15 CN CN202110658526.9A patent/CN113538306B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441766A (zh) * | 2008-11-28 | 2009-05-27 | 西安电子科技大学 | 基于多尺度几何分析的sar图像融合方法 |
| JP2010236970A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Space Software Kk | ＳＡＲ（ＳｙｎｔｈｅｔｉｃＡｐｅｒｔｕｒｅＲａｄａｒ）重畳データ生成装置、ＳＡＲ重畳データ再生装置、ＳＡＲ重畳データ生成プログラム、ＳＡＲ重畳データ再生プログラム、ＳＡＲ重畳データ生成方法およびＳＡＲ重畳データ再生方法 |
| CN102044072A (zh) * | 2010-11-29 | 2011-05-04 | 北京航空航天大学 | 基于统计模型的sar图像融合处理方法 |
| JP2013096807A (ja) * | 2011-10-31 | 2013-05-20 | Pasuko:Kk | 地物情報判読用画像生成方法 |
| CN103513247A (zh) * | 2012-06-21 | 2014-01-15 | 中国科学院电子学研究所 | 合成孔径雷达图像和光学图像同名点匹配的方法 |
| CN103544707A (zh) * | 2013-10-31 | 2014-01-29 | 王浩然 | 基于轮廓波变换的光学遥感图像变化检测方法 |
| CN103679714A (zh) * | 2013-12-04 | 2014-03-26 | 中国资源卫星应用中心 | 一种基于梯度互相关的光学和sar图像自动配准方法 |
| CN103927741A (zh) * | 2014-03-18 | 2014-07-16 | 中国电子科技集团公司第十研究所 | 增强目标特征的sar图像合成方法 |
| WO2017060000A1 (fr) * | 2015-10-09 | 2017-04-13 | Thales | Methode de traitement d'une image radar de type sar et methode de detection de cible associee |
| CN105427304A (zh) * | 2015-11-19 | 2016-03-23 | 北京航空航天大学 | 基于多种特征联合的目标sar图像和光学图像配准方法 |
| CN106611409A (zh) * | 2016-11-18 | 2017-05-03 | 哈尔滨工程大学 | 一种基于二次图像融合的小目标增强检测方法 |
| CN106971402A (zh) * | 2017-04-21 | 2017-07-21 | 西安电子科技大学 | 一种基于光学辅助的sar图像变化检测方法 |
| CN108447016A (zh) * | 2018-02-05 | 2018-08-24 | 西安电子科技大学 | 基于直线交点的光学图像和sar图像的匹配方法 |
| CN108549902A (zh) * | 2018-03-14 | 2018-09-18 | 中国科学院遥感与数字地球研究所 | 一种改进的sar图像与多光谱光学图像融合方法 |
| CN109829874A (zh) * | 2019-01-30 | 2019-05-31 | 西安电子科技大学 | 基于框架理论的sar图像融合方法 |
| CN111784560A (zh) * | 2019-04-04 | 2020-10-16 | 复旦大学 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
| CN110097101A (zh) * | 2019-04-19 | 2019-08-06 | 大连海事大学 | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 |
| CN111145228A (zh) * | 2019-12-23 | 2020-05-12 | 西安电子科技大学 | 基于局部轮廓点与形状特征融合的异源图像配准方法 |
| CN111861918A (zh) * | 2020-07-14 | 2020-10-30 | 北京理工大学重庆创新中心 | 一种基于sar图像的海上溢油检测方法 |
| CN112307901A (zh) * | 2020-09-28 | 2021-02-02 | 国网浙江省电力有限公司电力科学研究院 | 一种面向滑坡检测的sar与光学影像融合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538306B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6759475B2 (ja) | シーンの多次元特徴に基づく船舶検出方法及びシステム | |
| CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| CN108596103B (zh) | 基于最佳光谱指数选择的高分辨遥感影像建筑物提取方法 | |
| CN109636766B (zh) | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 | |
| CN111666854B (zh) | 融合统计显著性的高分辨率sar影像车辆目标检测方法 | |
| CN111914686A (zh) | 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统 | |
| CN112906531B (zh) | 一种基于非监督分类的多源遥感影像时空融合方法及系统 | |
| CN107784642A (zh) | 一种红外视频和可见光视频自适应融合方法 | |
| CN110706197A (zh) | 一种基于迁移学习的特殊场景下铁路异物侵限检测方法 | |
| CN110660065B (zh) | 一种红外故障检测识别算法 | |
| CN112561899A (zh) | 电力巡检图像识别方法 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN102750705A (zh) | 基于图像融合的光学遥感图像变化检测 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN109784216B (zh) | 基于概率图的车载热成像行人检测RoIs提取方法 | |
| CN112115871B (zh) | 适用于行人目标检测的高低频交织边缘特征增强方法 | |
| Zhang et al. | Preprocessing and fusion analysis of GF-2 satellite Remote-sensed spatial data | |
| CN104036461B (zh) | 一种基于联合滤波的红外复杂背景抑制方法 | |
| Zhang et al. | Translate SAR data into optical image using IHS and wavelet transform integrated fusion | |
| CN111368742B (zh) | 基于视频分析的双黄交通标线的重建识别方法及系统 | |
| CN114612359A (zh) | 基于特征提取的可见光与红外图像融合方法 | |
| CN111915558A (zh) | 一种高压输电线销钉状态检测方法 | |
| CN113298147B (zh) | 基于区域能量和直觉模糊集的图像融合方法及装置 | |
| He et al. | Object-based distinction between building shadow and water in high-resolution imagery using fuzzy-rule classification and artificial bee colony optimization | |
| CN114266947A (zh) | 一种基于激光点云和可见光图像融合的分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |