CN110930439A - 一种适用于高分辨率遥感影像高级产品自动生产系统 - Google Patents

一种适用于高分辨率遥感影像高级产品自动生产系统 Download PDF

Info

Publication number
CN110930439A
CN110930439A CN201911225599.8A CN201911225599A CN110930439A CN 110930439 A CN110930439 A CN 110930439A CN 201911225599 A CN201911225599 A CN 201911225599A CN 110930439 A CN110930439 A CN 110930439A
Authority
CN
China
Prior art keywords
image
module
panchromatic
multispectral
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911225599.8A
Other languages
English (en)
Other versions
CN110930439B (zh
Inventor
张鹏
朱瑞飞
高放
翟雨微
屠志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN201911225599.8A priority Critical patent/CN110930439B/zh
Publication of CN110930439A publication Critical patent/CN110930439A/zh
Application granted granted Critical
Publication of CN110930439B publication Critical patent/CN110930439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种适用于高分辨率遥感影像高级产品自动生产系统涉及光学遥感影像处理技术领域,解决了现有需求遥感影像的高效自动化处理系统的问题,包括:图像正射模块、图像配准模块、图像融合模块、图像拉伸模块和图像增强模块;图像正射模块采用融合像方补偿的RPC模型的正射校正方法,图像配准模块以正射校正后的全色影像为参考对正射校正后的多光谱影像配准,图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,图像拉伸模块将融合后的图像拉伸,图像增强模块采用Frankle‑McCann方法将拉伸后的图像进行色彩增强。本发明实现了适用于高分辨率遥感影像高级产品的高效自动化处理,对遥感卫星数据自动化处理水平高且精度高。

Description

一种适用于高分辨率遥感影像高级产品自动生产系统
技术领域
本发明涉及光学遥感影像处理技术领域,具体涉及一种适用于高分辨率遥感影像高级产品自动生产系统。
背景技术
近年来以“吉林一号”卫星星座为代表的国产商业化遥感卫星星座不断横空出世,卫星星座的搭建带来了海量的遥感数据,海量遥感数据需要快速处理,否则其价值将大大降低。传统处理系统/方法普遍是采用商业软件,如ENVI、ARCMAP,PCI等,需要大量人工干预,分步骤去处理,效率极低,无法满足快速响应需求,批量自动化处理是唯一出路。然而目前国内遥感卫星数据自动化处理水平较低,且精度较低,因此研制高效自动化处理技术迫在眉睫。
发明内容
为了解决现有需求遥感影像的高效自动化处理系统的问题,本发明提供一种适用于高分辨率遥感影像高级产品自动生产系统。
本发明为解决技术问题所采用的技术方案如下:
一种适用于高分辨率遥感影像高级产品自动生产系统,包括:
图像正射模块,所述图像正射模块采用RPC模型的正射校正方法获得正射校正后的全色影像和正射校正后的多光谱影像,采用所述RPC模型坐标仿射变换时融合像方补偿;
图像配准模块,所述图像配准模块以正射校正后的全色影像为参考对正射校正后的多光谱影像配准,得到配准后的图像;
图像融合模块,所述图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,得到融合后的图像;
图像拉伸模块,所述图像拉伸模块将融合后的图像通过ENVI最优线性拉伸方法拉伸得到拉伸后的图像;
图像增强模块,所述图像增强模块采用Frankle-McCann方法将拉伸后的图像进行色彩增强,得到色彩增强的图像。
一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,包括如下步骤:
S1、图像正射模块采用RPC模型的正射校正方法将原始影像进行正射校正得到正射校正后的全色影像和正射校正后的多光谱影像;
S2、图像配准模块首先对正射校正后的多光谱影像进行灰度化,将正射校正后的全色影像和灰度化的多光谱影像分块;其次对每一图像块计算其信息熵并对满足信息熵阈值的图像块提取SURF特征点,并进行特征点匹配,匹配完成后进行特征点筛选;最后利用所有保留的匹配特征点计算仿射变换矩阵,并据此进行多光谱影像仿射变换,完成配准得到配准后的图像;
S3、图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,得到融合后的图像;
S4、图像拉伸模块将融合后的图像通过ENVI最优线性拉伸方法拉伸得到拉伸后的图像;
S5、图像增强模块采用Frankle-McCann方法将拉伸后的图像进行色彩增强,得到色彩增强的图像。
本发明的有益效果是:
1、本发明的系统和方法实现遥感影像正射、配准、融合、拉伸降位、色彩增强全流程自动化批量生产,处理过程中无需人工干预,实施应用可全部采用GPU优化加速,大大提高效率。本发明的系统和方法实现了适用于高分辨率遥感影像高级产品的高效自动化处理,对遥感卫星数据自动化处理水平高且精度高。
2、图像正射模块,在有参考数据前提下,可自动提取控制点并计算像方补偿参数,提高RPC模型精度,改善正射效果;图像融合模块,在较好光谱信息保证度的前提下,有效改善融合效果的空间信息融入度,并且分块策略解决了全局最优参数无法更好地适应局部的问题;针对常用遥感图像拉伸降位方法色彩丰富度、自然度、对比度等较低,并且容易产生暗区过暗,曝光区域增加等问题,本系统突破性地将基于人类视网膜模型的McCann方法与ENVI最优线性拉伸相结合,在色彩丰富度、自然度、对比度和清晰度等各项指标上都具有突出优势,并且目视效果大幅度优于其他方法。
附图说明
图1为本发明的一种适用于高分辨率遥感影像高级产品自动生产系统的总体流程图。
图2为本发明的一种适用于高分辨率遥感影像高级产品自动生产系统的全色与多光谱影像配准算法流程图。
图3为本发明的一种适用于高分辨率遥感影像高级产品自动生产系统的全色与多光谱影像配准算法流程图。
图4为本发明的一种适用于高分辨率遥感影像高级产品自动生产系统的Frankle-McCann算法的比较路径。
图5为本发明的一种适用于高分辨率遥感影像高级产品自动生产系统的McCann算法流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
一种适用于高分辨率遥感影像高级产品自动生产系统,包括:图像正射模块、图像配准模块、图像融合模块、图像拉伸模块和图像增强模块。一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法流程图如图1。
图像正射模块:
针对正射校正需适应不同传感器,且要求模拟精度较高的问题,本系统采用基于有理函数模型的正射校正方法。
正射校正采用RPC(rational polynomial coefficients-有理函数系数)模型校正方法,RPC模型与具体的传感器无关,直接采用数学函数来描述地面点和相应像点之间的几何关系,是各种传感器几何模型的一种更广义的表达形式。且基于仿射变换像方补偿法对RPC模型进行优化,图像正射模块通过优化的RPC模型获得正射校正后的全色影像和正射校正后的多光谱影像。图像正射模块将全色影像正射校正后得到正射校正后的全色影像,将多光谱影像全色影像正射校正后的得到多光谱影像。
RPC模型将影像坐标d(l,s)表示为以地面点大地坐标D(Latitude,Longitude,Height)为自变量的比值,其中l-影像行坐标,s-影像列坐标,Latitude-经度,Longitude-纬度,Height-高程。为了减小计算过程中舍入误差,增强参数求解的稳定性,需要把地面坐标和影像坐标正则化到(-1,1)之间。对于一个影像,定义如下比值多项式:
Figure BDA0002302122990000041
Figure BDA0002302122990000042
其中(P,L,H)为正则化的地面坐标,(X,Y)为正则化的影像坐标。
正则化规则如下:
Numl(P,L,H)=a1+a2L+a3P+a4H+a5LP+a6LH+a7PH+a8L2+a9P2+a10H2+
a11PLH+a12L3+a13LP2+a14LH2+a15L2P+a16P3+a17PH2+a18L2H+a19P2H+a20H3
Denl(P,L,H)=b1+b2L+b3P+b4H+b5LP+b6LH+b7PH+b8L2+b9P2+b10H2+
b11PLH+b12L3+b13LP2+b14LH2+b15L2P+b16P3+b17PH2+b18L2H+b19P2H+b20H3
Nums(P,L,H)=c1+c2L+c3P+c4H+c5LP+c6LH+c7PH+c8L2+c9P2+c10H2+
c11PLH+c12L3+c13LP2+c14LH2+c15L2P+c16P3+c17PH2+c18L2H+c19P2H+c20H3
Dens(P,L,H)=d1+d2L+d3P+d4H+d5LP+d6LH+d7PH+d8L2+d9P2+d10H2+
d11PLH+d12L3+d13LP2+d14LH2+d15L2P+d16P3+d17PH2+d18L2H+d19P2H+d20H3
其中,Numl(),Denl(),Nums(),Dens()为多项式函数,b1和d1通常为1,a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,a13,a14,a15,a16,a17,a18,a19,a20,b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11,b12,b13,b14,b15,b16,b17,b18,b19,b20,c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,c11,c12,c13,c14,c15,c16,c17,c18,c19,c20,d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,d16,d17,d18,d19,d20为卫星影像RPC参数。
Figure BDA0002302122990000043
Figure BDA0002302122990000044
Figure BDA0002302122990000045
Figure BDA0002302122990000051
Figure BDA0002302122990000052
上式中Dlat_off,Dlat_scale,Dlon_off,Dlon_scale,Dhei_off,Dhei_scale为地面坐标的正则化参数,soff,sscale,loff,lscale为像点坐标的正则化参数,它们与RPC模型中4个多项式的80个系数(a1~a20、b1~b20、c1~c20、d1~d20)共同保存于RPC文件中。在RPC模型中,可用一阶多项式来表示由光学投影引起的畸变误差模型,由二阶多项式趋近由地球曲率、投影折射、镜头倾斜等因素引起的畸变,可用三阶多项式来模拟高阶部分的其他未知畸变。
本系统采用基于仿射变换像方补偿法对RPC模型进行优化,以减小一些系统误差。像方补偿参数解算具体过程如下:
步骤1、每副影像都有6个像方补偿参数,用来消除影像间RPC参数的系统误差,其具体形式为:
x0=x’+α12x’+α3y’
y0=y’+β12x’+β3y’
其中,(x0,y0)为地面某点T(P,L,H)在卫星影像(原始影像)上对应的正确行列值,(x’,y’)为T根据卫星影像(原始影像)RPC模型解算得到的影像上的行列值,α1、α2、α3、β1、β2、β3为各个卫星影像所对应的像方补偿参数;
步骤2、将提取的连接点对、控制点与像方补偿参数联合平差,平差模型如下:
Figure BDA0002302122990000053
Figure BDA0002302122990000054
其中(P’,L’,H’)为连接点对对应的地面坐标,Rs为行方向的缩放系数,Cs为列方向的缩放系数,R0为行方向的偏移系数,C0为列方向的偏移系数,Δr为行方向的像方补偿参数,Δc为列方向的像方补偿参数。
步骤3、将步骤2的两个公式合并同类项之后,解算方程得到最终的仿射变换系数,即最终的像方补偿参数。
根据获得的像方补偿参数以及RPC校正原理,在坐标正变换的时候,也就是从经纬度坐标换算到原始影像行列号坐标时,使用现有RPC模型转换完成得到原始影像行列号坐标,再使用仿射变换的逆变换系数对原始影像行列号坐标进行像方补偿修正,得到最终的原始影像行列号坐标;在坐标逆变换的时候,也就是从原始影像行列号坐标换算到经纬度坐标时,先使用仿射变换的正变换系数进行像方补偿修正,得到修正后的原始影像行列号坐标,然后将修正后的原始影像行列号坐标带入现有RPC模型进行转换到经纬度坐标。仿射变换的逆变换系数和仿射变换的正变换系数统称为像方补偿参数。
基于以上原理总结得到带像方补偿的RPC校正流程如下:
1、根据输入影像(原始影像,即全色影像和多光谱影像)顶点像元物方坐标最大值、最小值得到输出影像的地理范围(经纬度范围)、并创建初始化输出影像T’,T’为具有地理信息的输出影像。
2、获得输入影像地面分辨率大小以及像方补偿仿射变换的六个参数。
3、在T’上,求得每一个像素对应的地理坐标(经纬度坐标),然后变换到原始影像上的行列号,然后经纬度坐标变换到原始影像行列号坐标,经纬度坐标变换到原始图像行列号坐标时,先根据RPC模型将经纬度坐标转换为原始影像行列号坐标后,再使用像方补偿参数对原始影像行列号坐标进行像方补偿修正。根据双线性或双三次插值算法求得输出影像T’上的对应的像素值。
4、将对应的像素值写入到输出文件中,即获得了正射校正后的全色影像和正射校正后的多光谱影像。
图像配准模块:
针对有理函数模型参数精度不稳定的问题,本系统根据控制点信息自动计算补偿参数,并实现在有参考影像条件下,利用SURF特征自动提取均匀分布控制点,提高方法的稳定性。针对遥感图像配准精度要求较高,且系统要求处理效率较高的问题,本系统采用基于改进策略的SURF特征配准方法,并对SURF特征提取和匹配,可采用GPU优化,大大提高处理效率。
图像配准将正射校正后得到正射校正后的全色影像和正射校正后的多光谱影像,配准,得到配准后的图像,具体流程图如图2。
输入正射校正后的全色影像和多光谱影像,首先对多光谱影像进行灰度化,将图像全色影像和灰度化的多光谱影像按照1K*1K大小分块(1000行*1000列),先判断是否分块完成,未完成则进行分块得到一图像块
针对每一图像块执行以下步骤:
首先计算其信息熵,信息熵计算公式如下:
Figure BDA0002302122990000071
其中pi为第i级灰度出现的概率,根据信息论的原理设定这一灰度带的信息量为l(i)=log(1pi)=-log(pi)。信息熵越小,图像清晰度越低,所传递的信息内容也越少;反之信息熵越大图像清晰度越高,它所传递的信息内容就越多。当图像清晰度越高、传递的信息内容越多时特征点提取的数量将会越多,从而匹配的特征点数量也就越多,以保证满足后续仿射变换参数求解时对于匹配特征点分布均匀且数量较多的要求,避免从信息内容较少的影像块中提取特征点导致误匹配概率增加的风险。通过实验发现,将信息熵阈值设置为5,满足过滤要求。判断计算的信息熵是否小于5,若小于5则该块图像舍弃,完成该块图像的判断;若大于等于5,则图像清晰度越高,满足过滤条件。
其次对满足信息熵要求的图像块提取SURF特征点,并进行特征点匹配,在特征点匹配阶段,本系统利用K-近邻算法(KNN)进行特征点匹配。匹配完成后进行特征点筛选。在特征点筛选阶段,对KNN匹配结果,利用RANSAC(Random Sample Consensus)算法进行第一步剔除误匹配特征点,在此基础上将满足其上每一匹配点的最近邻和次近邻点匹配距离比值小于0.7条件的图像块予以保留,否则该块图像舍弃,完成该块图像的判断,予以保留的图像块每一块最多保留10个匹配点,确保最终匹配点分布均匀,完成该块图像的判断。
完成该块图像的判断则返回判断分块是否完成,若未完成则进行分块重复上述操作,若分块完成即对每一个图像块都完成上述计算,则进行下述步骤:
对每一个图像块都完成上述计算后,最终利用全局匹配特征点(即所有保留的图像块上的匹配点)计算仿射变换矩阵,并依据仿射变换矩阵进行待配准影像仿射变换(对应图2中“多光谱仿射变换重采样”),以全色影像为参考,变换后的多光谱影像与全色影像已经配准。
图像融合模块
图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,得到融合后的图像,融合流程如图3。
按照全色影像1K×1K,多光谱影像(α×1K)×(β×1K)大小分块,其中α=多光谱影像列数/全色影像列数,β=多光谱影像列数/全色影像列数全色影像分块得到全色子块,多光谱影像分块得到多光谱子块。接下来对每一子块进行融合处理。
判断分块是否完成,若未完成,则对全色影像分块、对多光谱影像分块。分开后首先将全色子块降采到多光谱子块大小得到全色降采子块Pand,然后计算全色降采子块Pand的高斯滤波最优参数,用于获取模糊后的全色影像Pan’。自适应高斯滤波SFIM融合算法的核心是计算高斯滤波最优参数,然后根据最优参数,对全色降采子块进行高斯滤波获得模糊后影像,高斯滤波公式如下:
Figure BDA0002302122990000081
其中,σ为参数;t代表全色降采子块的坐标位置,在二维条件下,t代表行列坐标位置。将多光谱子块和降采并模糊后的全色子块,分别上采样到全色子块降采前的大小,然后利用SFIM融合模型完成子块融合(该过程对应图3的“模拟全色影像”、“参数调制”和“融合”,属于现有技术),完成一次分块的融合。
完成一次分块的“融合”后返回判断分块是否完成,若完成则即各子块完成融合,全图融合完成。
SFIM融合模型如下:
Figure BDA0002302122990000091
上式中,MS为多光谱影像,Pan为全色影像,Pan’是低分辨率全色影像,Fusion是融合结果。
算法采用多项式拟合的方式计算最优参数中,具体计算步骤如下:
(1)计算全色降采子块Pand的平均梯度与均值,计算多光谱子块MS各波段的平均梯度与均值。
(2)以全色子块的均值为参考,得到调整后的多光谱各波段的平均梯度;调整公式如下:
MSAG_i_change=μ×MSAG_i
其中
Figure BDA0002302122990000092
Figure BDA0002302122990000093
为全色影像均值,
Figure BDA0002302122990000094
为多光谱第i波段均值,MSAG_i为多光谱第i波段原平均梯度,MSAG_i_change为调整后的多光谱各波段的平均梯度。
(3)参数σ值从等于1开始,递减0.1,直到0.5,以不同的σ值对全色降采子块Pand进行高斯滤波得到全色降采滤波子块Pands,并计算6组Pands的平均梯度Pands_Gσ,最终得到一组数据[σs,Pands_Gσs],σs对应σ1、σ0.9、σ0.8、σ0.7、σ0.6、σ0.5,Pands_Gσ为对应σs的Pand平均梯度。(考虑s我换个字母,例如n)
(4)对数据[σs,Pands_Gσs]进行二次多项式拟合,得到σ与平均梯度AG的函数关系;
(5)以调整后的多光谱各波段整体平均梯度MSAG_i_change作为输入代入步骤(4)获取的函数关系中,计算出参数σ的最优参数;
根据最优参数对Pand进行高斯模糊处理得到Pan’之后,再将Pan’与多光谱影像上采样至降采前大小,上采样方法选用双线性内插法,最后依照SFIM模型进行融合即可,得到融合后的图像。
图像拉伸模块:
针对传统遥感影像降位之后,图像色彩丰富度、自然度、对比度等指标较低,可视化效果较差等问题,本系统采用拉伸结合增强的方法实现可视化模块,其中拉伸方法采用ENVI软件中的最优线性拉伸,增强见步骤五。图像拉伸模块将融合后的图像通过ENVI最优线性拉伸方法拉伸得到拉伸后的图像。
ENVI最优线性拉伸方法的计算步骤如下:
(1)输入融合后图像;
(2)计算图像累积直方图;
(3)按照下限百分比2.5%,上限百分比1%去计算得到大分界点a和小分界点b;
(4)按照公式c=a-0.1(b-a),e=b+0.5(b-a)计算最终上限阈值c和最终下限阈值e;
(5)按照c,e值对融合后图像进行线性拉伸并降位。
图像增强模块:
图像增强模块采用Frankle-McCann方法将拉伸后的图像进行色彩增强,得到色彩增强的图像。在最优线性拉伸结果基础上,增强方法采用基于人类视网膜模型的Frankle-McCann方法,采用Frankle-McCann方法对降位影像进行增强。人类视网膜模型Retinex是根据Retinex基本思想把原始图像S(x,y)看成是由入射光图像L(x,y)和物体反射图像R(x,y)组成的。
S(x,y)=L(x,y)·R(x,y)
为了便于计算,上式两边同时取log,我们可以得到:
logR(x,y)=logS(x,y)-logL(x,y)
通过估计图像的照射分量,进而得到反射分量R(x,y),这样可以得到物体自身所固有的反射特性,目标图像也就得到了增强。
Frankle-McCann算法采用了一种新的基于螺旋结构的迭代分段线性比较路径,此种采样方法具有更高的采样精度,很好的满足了越靠近目标点采样的比较点数目越多的要求。
采用螺旋结构路径可以有效地进行空间范围内的比较,大大的缩小了计算复杂度。Frankle-McCann算法采用的螺旋结构路径像素点间的比较是一个由远到近的比较过程,在进行完一次比较之后,下一次的做比较的两个像素点间的间距缩短为上一次比较间距的一半,并且比较路径的方向同时也按顺时针方向发生转变,就这样逐次比较直至像素点间距为1为止,由图4我们也可以看出越是离目标点远的比较点之间的间距越大。这也充分显现出目标点的照度受距离近的像素点的影响会更大。在每一次的比较过程中,都可以将之分解为比率、生成、重置、平均四个步骤。
McCann算法流程图如图5。
根据Retinex理论,在对原始图像(输入图像)做处理之前,需要对图像数据做一个前期的准备,通常是把原始图像(拉伸后的图像)的像素值由整数域转到对数域,这样在后续的处理过程中可以有效地减少算法的运算量。在做对数运算时为避免负值的出现,可以将原图像像素值整体加一个非常小的整数值。
s(x,y)=log(eps+S(x,y))
其中eps为较小整数,S(x,y)为输入图像V通道(x,y)坐标位置的变量值,s(x,y)为计算得到的对数值,本发明的图像增强模块中(x,y)表示像素点坐标。
对于一幅u×v尺寸大小的图像,那么离目标点最远距离的两个比较点之间的距离T为
T=2Q
Q=fix[log2min(u,v)-1]
fix是取整函数,间距S就是所有比较点之间的最大间距。然后每下一步的两个比较点间的间距缩短为上一步的一半,同时方向按顺时针发生改变,即S’=-S/2,S’作为新的S,直到比较点的间隔小于1为止。
假设大小为512×512的图像,Q=fix[log2min(u,v)-1]=8,S=256。对于坐标点为(x,y)的目标点即像素点坐标,比较像素点的比较顺序依次为:{s(x,y+256),s(x+256,y),s(x,y-128),s(x-128,y),…,s(x,y+1),s(x+1,y)}。
将相同间隔的比较称为同阶比较,阶数为Q,从最大间隔的比较开始,每一阶都经过n次迭代,迭代中,将水平方向指定间隔的像素的差值积累到旧的生成图像OP,将超出max的值重置为max,将生成的图像与未积累的生成图像进行平均,得到新的生成图像NP,并作为下一次比较的旧的生成图像OP,直到间隔变为1,此时新生成图像NP即为对图像最终的估计值。
Frankle-McCann算法的具体步骤可以描述如下:
(1)输入拉伸后的图像,将待处理的RGB彩色图像转换为HSV色彩空间,提取V通道并转换到对数域,得到对数值s(x,y)。
(2)创建一个与s(x,y)同样大小的矩阵R,矩阵R值初始化为s(x,y)的最大值max。
(3)求T=2Q,Q=fix[log2min(u,v)-1]。
(4)计算水平竖直方向的累计图像
该算法中首次执行(4)时,认为rn(x,y)为矩阵R初始值(为R初始化后)。
非首次时:
若T>0,那么
rn+1’(T+x,y)=rn(x,y)+s(T+x,y)-s(x,y)
rn+1’(x,y+T)=rn(x,y)+s(x,y+T)-s(x,y)
若T<0,那么
rn+1’(x,y)=rn(x-T,y)+s(x,y)-s(x-T,y)
rn+1’(x,y)=rn(x,y-T)+s(x,y)-s(x,y-T)
rn()是上一次迭代的结果,rn+1()是本次迭代的结果。
(5)将rn+1’(x,y)超出max的值重置为max,
Figure BDA0002302122990000121
Δl是目标点在此路径上的亮度差。
(6)对两者做一个平均,最后得到输出结果rn+1(x,y)
Figure BDA0002302122990000122
(7)重复执行步骤(4)~(6)n次后,即经过n次迭代后,n为正整数,通常共进行5次迭代,令T”=-T/2,T”作为T即用T”更新T,判断|T|<1是否成立,若成立进行下面的(9),否则进行(8)。
(8)rn+1(x,y)作为rn(x,y),返回步骤(4)。即重复(4)、(5)、(6)、(7)四个步骤,直到离目标点最远距离的两个比较点之间的距离T的|T|<1。
(9)对得到的矩阵R(即步骤(7)最终得到的rn+1(x,y))做线性拉伸,拉伸公式如下:
Figure BDA0002302122990000131
其中max、min分别为矩阵R值初始化为s(x,y)的最大值、最小值。
(10)线性拉伸后的矩阵R替换原图(拉伸后的图像转换到HSV颜色空间的图像)的V通道,将HSV色彩空间转换回RGB色彩空间,输出图像,即为色彩增强的图像。
本发明实现遥感影像正射、配准、融合、拉伸降位、色彩增强全流程自动化批量生产,处理过程中无需人工干预,实施应用可全部采用GPU优化加速,以“吉林一号”数据为例,单景生产时间小于2分钟,多GPU协同处理,2分钟可同时生产8景,大大提高效率。本发明的系统和方法实现了适用于高分辨率遥感影像高级产品的高效自动化处理,对遥感卫星数据自动化处理水平高且精度高。
图像正射模块,在有参考数据前提下,可自动提取控制点并计算像方补偿参数,提高RPC模型精度,改善正射效果。
图像配准模块,采用GPU优化的分块改进策略配准方法,在提高配准效率的同时,也保证匹配点分布均匀,提高了配准精度,以“吉林一号”数据为例,正射后单景约20K*20K影像配准耗时小于40s。
图像融合模块,针对常用融合方法对于高分辨率遥感影像造成比较严重的光谱畸变、空间分辨率提高有限等问题,本系统采用改进的分块自适应高斯滤波SFIM方法。采用改进的分块自适应高斯滤波SFIM方法,在较好光谱信息保证度的前提下,有效改善融合效果的空间信息融入度,并且分块策略解决了全局最优参数无法更好地适应局部的问题。利用GPU优化,大大提高计算效率。以“吉林一号”数据为例,单景(约20K*20K)融合时间小于10s。
可视化模块,针对常用遥感图像拉伸降位方法色彩丰富度、自然度、对比度等较低,并且容易产生暗区过暗,曝光区域增加等问题,本系统突破性地将基于人类视网膜模型的McCann方法与ENVI最优线性拉伸相结合。与遥感图像传统可视化方法相比,该方法在色彩丰富度、自然度、对比度和清晰度等各项指标上都具有突出优势,并且目视效果大幅度优于其他方法。采用GPU优化加速,极大提高处理效率,大大缩短计算时间,以“吉林一号”数据为例,单景融合影像(约20K*20K)计算时间小于30s。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种适用于高分辨率遥感影像高级产品自动生产系统,其特征在于,包括:
图像正射模块,所述图像正射模块采用RPC模型的正射校正方法获得正射校正后的全色影像和正射校正后的多光谱影像,采用所述RPC模型坐标仿射变换时融合像方补偿;
图像配准模块,所述图像配准模块以正射校正后的全色影像为参考对正射校正后的多光谱影像配准,得到配准后的图像;
图像融合模块,所述图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,得到融合后的图像;
图像拉伸模块,所述图像拉伸模块将融合后的图像通过ENVI最优线性拉伸方法拉伸得到拉伸后的图像;
图像增强模块,所述图像增强模块采用Frankle-McCann方法将拉伸后的图像进行色彩增强,得到色彩增强的图像。
2.如权利要求1所述的一种适用于高分辨率遥感影像高级产品自动生产系统,其特征在于,所述图像正射模块将经纬度坐标变换到原始图像行列号坐标时,先根据RPC模型将经纬度坐标转换为原始影像行列号坐标后,再使用像方补偿参数对原始影像行列号坐标进行像方补偿修正。
3.如权利要求1所述的一种适用于高分辨率遥感影像高级产品自动生产系统,其特征在于,所述图像配准模块首先对正射校正后的多光谱影像进行灰度化,将正射校正后的全色影像和灰度化的多光谱影像分块;其次对每一图像块计算其信息熵并对满足信息熵阈值的图像块提取SURF特征点,并进行特征点匹配,匹配完成后进行特征点筛选;最后利用所有保留的匹配特征点计算仿射变换矩阵,并据此进行多光谱影像仿射变换,完成配准得到配准后的图像。
4.如权利要求1至3中任意一项所述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,包括如下步骤:
S1、图像正射模块采用RPC模型的正射校正方法将原始影像进行正射校正得到正射校正后的全色影像和正射校正后的多光谱影像;
S2、图像配准模块首先对正射校正后的多光谱影像进行灰度化,将正射校正后的全色影像和灰度化的多光谱影像分块;其次对每一图像块计算其信息熵并对满足信息熵阈值的图像块提取SURF特征点,并进行特征点匹配,匹配完成后进行特征点筛选;最后利用所有保留的匹配特征点计算仿射变换矩阵,并据此进行多光谱影像仿射变换,完成配准得到配准后的图像;
S3、图像融合模块对配准后的图像采用自适应高斯滤波SFIM融合算法进行融合,得到融合后的图像;
S4、图像拉伸模块将融合后的图像通过ENVI最优线性拉伸方法拉伸得到拉伸后的图像;
S5、图像增强模块采用Frankle-McCann方法将拉伸后的图像进行色彩增强,得到色彩增强的图像。
5.如权利要求4所述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述S1的具体过程为:根据原始影像顶点像元物方坐标最大值和最小值得到输出影像的地理范围、并创建具有地理信息的影像T';获得原始影像地面分辨率大小以及像方补偿参数;求得T'每一个像素对应的经纬度坐标,根据RPC模型将经纬度坐标转换为原始影像行列号坐标,使用像方补偿参数对原始影像行列号坐标进行像方补偿修正;根据双线性或双三次插值算法求得T'上的对应的像素值,并将对应的像素值写入到输出文件中,获得正射校正后的全色影像和正射校正后的多光谱影像。
6.如权利要求5所述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述S1中像方补偿参数的解算过程为:
根据
x0=x'+α12x'+α3y'
y0=y'+β12x'+β3y'
Figure FDA0002302122980000021
Figure FDA0002302122980000022
解算得到像方补偿参数α1、α2、α3、β1、β2和β3
其中,(x0,y0)为地面某点T(P,L,H)在原始影像上对应的正确行列值,(x',y')为点T根据原始影像RPC模型解算得到的影像上的行列值,(P',L',H')为连接点对对应的地面坐标,Rs为行方向的缩放系数,Cs为列方向的缩放系数,R0为行方向的偏移系数,C0为列方向的偏移系数,Δr为行方向的像方补偿参数,Δc为列方向的像方补偿参数。
7.如权利要求4述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述S2的信息熵计算公式为
Figure FDA0002302122980000031
pi为第i级灰度出现的概率;所述特征点匹配利用K-近邻算法;所述特征点筛选为:对匹配结果利用RANSAC算法进行第一步剔除误匹配特征点,图像块上每一匹配点的最近邻和次近邻点匹配距离比值小于预设值的图像块保留。
8.如权利要求7述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述预设值为0.7,每一图像块最多保留10个匹配点。
9.如权利要求4述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述S3的具体过程为:对全色影像Pan和多光谱影像MS分块一一对应的得到全色子块和多光谱子块;将全色子块降采到多光谱子块大小得到全色降采子块Pand,计算全色降采子块Pand的高斯滤波最优参数;根据最优参数对全色降采子块Pand进行高斯滤波获得低分辨率全色影像Pan';再将低分辨率全色影像Pan'与多光谱影像MS分别上采样到全色子块的大小,并依照SFIM模型进行融合得到融合后的图像;
所述最优参数的计算过程为:
计算全色降采子块Pand的平均梯度与均值,计算多光谱子块MS各波段的平均梯度与均值;
以全色子块的均值为参考,得到调整后的多光谱各波段的平均梯度,调整公式如下:
MSAG_i_change=μ×MSAG_i
其中
Figure FDA0002302122980000041
Figure FDA0002302122980000042
为全色影像均值,
Figure FDA0002302122980000043
为多光谱第i波段均值,MSAG_i为多光谱第i波段原平均梯度,MSAG_i_change为调整后的多光谱各波段的平均梯度;
参数σ值从等于1开始,递减0.1,直到0.5,以不同的σ值对算全色降采子块Pand进行高斯滤波得到Pands,计算Pands的平均梯度Pands_Gσ并进行二次多项式拟合后,得到σ与平均梯度的函数关系,将MSAG_i_change代入σ与平均梯度的函数关系计算得出参数σ的最优参数。
10.如权利要求4述的一种适用于高分辨率遥感影像高级产品自动生产系统的生产方法,其特征在于,所述S5的具体过程为:
S5.1、输入拉伸后的图像,将其转换到HSV颜色空间,提取V通道并转换到对数域,得到对数值s(x,y);
S5.2、创建一个与s(x,y)同样大小的矩阵R,矩阵R值初始化为s(x,y)的最大值max;
S5.3、求T=2Q,Q=fix[log2min(u,v)-1];
S5.4、判断T是否大于0,若T>0,
Figure FDA0002302122980000044
若T<0,
Figure FDA0002302122980000045
首次执行S5.4时rn(x,y)为矩阵R初始值;
S5.5、求rn+1”(x,y),
Figure FDA0002302122980000046
Δl是目标点在此路径上的亮度差;
S5.6、求rn+1(x,y),
Figure FDA0002302122980000047
S5.7、重复执行步骤(4)~(6)后,令T”=-T/2,T”更新T,判断|T|<1是否成立,若成立进行S5.9,否则进行S5.8;
S5.8、rn+1(x,y)作为rn(x,y),执行步骤S5.4至S5.7;
S5.9、对矩阵R做线性拉伸,拉伸公式如下:
Figure FDA0002302122980000051
其中min为矩阵R值初始化为s(x,y)的最小值;
S5.10、线性拉伸后的矩阵R替换V通道,将HSV色彩空间转换为RGB色彩空间后输出图像,输出的图像为色彩增强的图像。
CN201911225599.8A 2019-12-04 2019-12-04 一种适用于高分辨率遥感影像高级产品自动生产系统 Active CN110930439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911225599.8A CN110930439B (zh) 2019-12-04 2019-12-04 一种适用于高分辨率遥感影像高级产品自动生产系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911225599.8A CN110930439B (zh) 2019-12-04 2019-12-04 一种适用于高分辨率遥感影像高级产品自动生产系统

Publications (2)

Publication Number Publication Date
CN110930439A true CN110930439A (zh) 2020-03-27
CN110930439B CN110930439B (zh) 2022-11-29

Family

ID=69857736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911225599.8A Active CN110930439B (zh) 2019-12-04 2019-12-04 一种适用于高分辨率遥感影像高级产品自动生产系统

Country Status (1)

Country Link
CN (1) CN110930439B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597909A (zh) * 2020-04-22 2020-08-28 吉林省大河智能科技有限公司 一种基于视觉显著性的火灾检测判断方法
CN111806702A (zh) * 2020-06-30 2020-10-23 鑫喆喆 基于信号检测的跳伞机构弹出平台及方法
CN112562017A (zh) * 2020-12-07 2021-03-26 奥比中光科技集团股份有限公司 一种rgb图像的色彩还原方法及计算机可读存储介质
CN112734904A (zh) * 2020-12-29 2021-04-30 中国船舶重工集团公司第七0九研究所 警用便携式快速图像拼接处理系统
CN112785521A (zh) * 2021-01-19 2021-05-11 澜途集思生态科技集团有限公司 一种雾霾条件下的遥感影像处理方法
CN113570536A (zh) * 2021-07-31 2021-10-29 中国人民解放军61646部队 基于cpu和gpu协同处理的全色和多光谱影像实时融合方法
CN117152361A (zh) * 2023-10-26 2023-12-01 天津市滨海新区气象局(天津市滨海新区气象预警中心) 一种基于注意力机制的遥感影像能见度估计方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269158A1 (en) * 2005-04-15 2006-11-30 O'hara Charles G Remote sensing imagery accuracy analysis method and apparatus
CN101478697A (zh) * 2009-01-20 2009-07-08 中国测绘科学研究院 影像有损压缩质量评价方法
CN101604018A (zh) * 2009-07-24 2009-12-16 中国测绘科学研究院 高分辨率遥感影像数据处理方法及其系统
CN101957991A (zh) * 2010-09-17 2011-01-26 中国科学院上海技术物理研究所 一种遥感图像配准方法
CN104931022A (zh) * 2015-04-21 2015-09-23 国家测绘地理信息局卫星测绘应用中心 基于星载激光测高数据的卫星影像立体区域网平差方法
CN105387846A (zh) * 2015-10-26 2016-03-09 中国农业大学 卫星影像的正射校正方法和系统
CN107516291A (zh) * 2017-08-22 2017-12-26 长光卫星技术有限公司 夜景影像正射纠正处理方法
CN110008908A (zh) * 2019-04-10 2019-07-12 中国科学院、水利部成都山地灾害与环境研究所 一种基于高分遥感影像的草原围栏提取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060269158A1 (en) * 2005-04-15 2006-11-30 O'hara Charles G Remote sensing imagery accuracy analysis method and apparatus
CN101478697A (zh) * 2009-01-20 2009-07-08 中国测绘科学研究院 影像有损压缩质量评价方法
CN101604018A (zh) * 2009-07-24 2009-12-16 中国测绘科学研究院 高分辨率遥感影像数据处理方法及其系统
CN101957991A (zh) * 2010-09-17 2011-01-26 中国科学院上海技术物理研究所 一种遥感图像配准方法
CN104931022A (zh) * 2015-04-21 2015-09-23 国家测绘地理信息局卫星测绘应用中心 基于星载激光测高数据的卫星影像立体区域网平差方法
CN105387846A (zh) * 2015-10-26 2016-03-09 中国农业大学 卫星影像的正射校正方法和系统
CN107516291A (zh) * 2017-08-22 2017-12-26 长光卫星技术有限公司 夜景影像正射纠正处理方法
CN110008908A (zh) * 2019-04-10 2019-07-12 中国科学院、水利部成都山地灾害与环境研究所 一种基于高分遥感影像的草原围栏提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张晓男、钟兴、朱瑞飞: "基于集成卷积神经网络的遥感影像场景分类", 《光学学报》 *
张晓男、钟兴、朱瑞飞: "基于集成卷积神经网络的遥感影像场景分类", 《光学学报》, 30 November 2018 (2018-11-30), pages 1128001 - 1 *
李利伟、王威、吴雪娇: "高分一号卫星数据影像校正及融合算法在林业监测中的研究", 《绿色科技》 *
李利伟、王威、吴雪娇: "高分一号卫星数据影像校正及融合算法在林业监测中的研究", 《绿色科技》, 30 April 2019 (2019-04-30), pages 219 - 222 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597909A (zh) * 2020-04-22 2020-08-28 吉林省大河智能科技有限公司 一种基于视觉显著性的火灾检测判断方法
CN111806702A (zh) * 2020-06-30 2020-10-23 鑫喆喆 基于信号检测的跳伞机构弹出平台及方法
CN112562017A (zh) * 2020-12-07 2021-03-26 奥比中光科技集团股份有限公司 一种rgb图像的色彩还原方法及计算机可读存储介质
CN112562017B (zh) * 2020-12-07 2024-08-23 奥比中光科技集团股份有限公司 一种rgb图像的色彩还原方法及计算机可读存储介质
CN112734904A (zh) * 2020-12-29 2021-04-30 中国船舶重工集团公司第七0九研究所 警用便携式快速图像拼接处理系统
CN112785521A (zh) * 2021-01-19 2021-05-11 澜途集思生态科技集团有限公司 一种雾霾条件下的遥感影像处理方法
CN113570536A (zh) * 2021-07-31 2021-10-29 中国人民解放军61646部队 基于cpu和gpu协同处理的全色和多光谱影像实时融合方法
CN113570536B (zh) * 2021-07-31 2022-02-01 中国人民解放军61646部队 基于cpu和gpu协同处理的全色和多光谱影像实时融合方法
CN117152361A (zh) * 2023-10-26 2023-12-01 天津市滨海新区气象局(天津市滨海新区气象预警中心) 一种基于注意力机制的遥感影像能见度估计方法
CN117152361B (zh) * 2023-10-26 2024-01-30 天津市滨海新区气象局(天津市滨海新区气象预警中心) 一种基于注意力机制的遥感影像能见度估计方法

Also Published As

Publication number Publication date
CN110930439B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN110930439B (zh) 一种适用于高分辨率遥感影像高级产品自动生产系统
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110163815B (zh) 基于多阶段变分自编码器的低照度还原方法
CN107958450B (zh) 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN108090872B (zh) 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN111738954B (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
US20220398698A1 (en) Image processing model generation method, processing method, storage medium, and terminal
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN117314811A (zh) 基于混合模型的sar-光学图像融合方法
CN108876829B (zh) 基于非线性尺度空间及径向基函数的sar高精度配准方法
CN117952883A (zh) 一种基于双边网格和显著性引导的逆光图像增强方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN107516291A (zh) 夜景影像正射纠正处理方法
CN117151998A (zh) 一种基于支持向量回归的图像光照校正方法
CN116883799A (zh) 成分替换模型引导的高光谱图像深度空间光谱融合方法
CN113256528B (zh) 基于多尺度级联深度残差网络的低照度视频增强方法
CN113191959B (zh) 一种基于退化标定的数字成像系统极限像质提升方法
CN114463192A (zh) 一种基于深度学习的红外视频畸变校正的方法
CN110750757B (zh) 一种基于灰度线性建模及金字塔分解的图像抖动量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant after: Changguang Satellite Technology Co.,Ltd.

Address before: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant before: CHANG GUANG SATELLITE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Automatic Production System for Advanced Products Suitable for High Resolution Remote Sensing Images

Granted publication date: 20221129

Pledgee: Changchun Rural Commercial Bank Co.,Ltd. Exhibition Center sub branch

Pledgor: Changguang Satellite Technology Co.,Ltd.

Registration number: Y2024220000024