CN111340895B - 一种基于金字塔多尺度融合的影像色彩一致化方法 - Google Patents
一种基于金字塔多尺度融合的影像色彩一致化方法 Download PDFInfo
- Publication number
- CN111340895B CN111340895B CN202010099590.3A CN202010099590A CN111340895B CN 111340895 B CN111340895 B CN 111340895B CN 202010099590 A CN202010099590 A CN 202010099590A CN 111340895 B CN111340895 B CN 111340895B
- Authority
- CN
- China
- Prior art keywords
- image
- pyramid
- color
- layer
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 16
- 238000009825 accumulation Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- NTHWMYGWWRZVTN-UHFFFAOYSA-N sodium silicate Chemical compound [Na+].[Na+].[O-][Si]([O-])=O NTHWMYGWWRZVTN-UHFFFAOYSA-N 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000003086 colorant Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种基于金字塔多尺度融合的影像色彩一致化方法，包括：步骤1：待处理影像金字塔处理；步骤2：多分辨率频率信息分解；步骤3：低分辨率影像滤波；步骤4：将低分辨率影像的低频信息赋予高分辨率影像的相应层级；步骤5：亮点噪声抑制；步骤6：金字塔色彩校正影像组；步骤7：色彩一致化处理。本发明将影像镶嵌块之间的色彩误差累积转化为金字塔层级色彩误差累积，简化了计算复杂度，有效地将多种色差影像块镶嵌的卫星影像色彩一致化，无明显色差，细节丰富。
Description
技术领域
本发明属于遥感影像处理技术领域，具体涉及到影像色彩一致化方法。
背景技术
影像镶嵌是将多景影像拼接在一起，以获取覆盖研究区完整影像的过程。由于卫星重访周期长，影像覆盖范围小等因素影响，影像镶嵌需要使用不同时间、甚至不同传感器获取的影像。然而，由于这些影像间存在较大的色彩差异，在镶嵌结果上出现不同影像块，即马赛克现象。色彩一致化是建立不同影像之间的色彩畸变模型，并据此消除不同影像间的色彩差异，获得色彩一致的镶嵌结果。根据建立色彩校正方程所依据区域的不同，可以分为基于影像重叠区域、基于多分辨率影像和基于色彩参考数据库三种方法。
基于重叠区域方法主要考虑待镶嵌影像之间存在一定大小的公共区域，据此建立色彩变化方程，从而对待镶嵌影像进行色彩校正。由于两景待镶嵌影像的灰度值构成一个联合概率密度，可以通过提取该联合概率密度图中的“脊”来建立重叠区域色彩一致化方程(吴炜,沈占锋,李均力,杨海平,骆剑承.联合概率密度脊提取的影像镶嵌色彩一致性处理方法[J].测绘学报,2013,42(02):247-252.)。该方法考虑所有像素的分布关系建立色彩校正，具有较高的鲁棒性。针对多视角影像中色彩的方向性反射问题，利用影像重叠区域的相同的内容建立影像色彩映射关系，实现影像间的色彩传递(Xia,M.,Yao,J.,Li,L.,Xie,R.,&Liu,Y.(2016).Consistent Tonal Correction for Multi-View Remote SensingImage Mosaicking.ISPRS Annals of Photogrammetry,Remote SensingandSpatialInformation Sciences,III–3(July),423–431.)。该方法需要识别影像上某些特定物体，算法复杂度较高。总之，该类方法建立在待镶嵌影像之间具有重叠区域，但该区域相对于影像整体的区域较小，使其难以准确地反映整个研究区的色彩分布信息。
基于参考影像的方法利用低分辨率影像的覆盖范围大的特点，很多情况下能够获取色彩一致的、覆盖整个研究区的影像。该类方法首先提取参考影像的直方图等色彩分布信息，再将其赋予待处理影像，使色彩归一化后的待处理影像具有与参考影像类似的色彩分布信息，实现色彩一致化处理。对此，ZhangY选取相对低分辨率色彩一致化影像，将其与高分辨率目标影像重叠区域建立线性回归模型，从而解决高分辨率影像镶嵌时的误差(Zhang,Y.,Yu,L.,Sun,M.,&Zhu,X.(2017).A mixed radiometric normalization methodfor mosaicking of high-resolution satellite imagery.IEEE Transactions onGeoscience and Remote Sensing,55(5),2972–2984.)。然而，由于RGB颜色空间中的各个通道是相关的，不同通道分别处理具有不同的精度的纹理细节，从而引入新的色彩畸变。在频率域中，低频信息主要反映色彩信息，而高频信息主要反映边界等纹理特征。通过将大区域、低分辨率、色彩一致的参考影像的低频信息与多景待处理影像的高频信息融合，可以使得镶嵌结果具有与低分辨率影像类似的色彩，从而实现色彩归一化(崔浩,张力,艾海滨,许彪,王中辉.利用基准色调的大范围卫星影像色彩一致性处理算法[J].测绘学报,2017,46(12):1986-1997)。
基于色彩参考数据库的方法是将不同区域、不同时间的区域影像计算出相应的均值及方差建立数据库，对目标影像镶嵌块根据区域信息和时间信息查询数据库进行校正。YuL等人通过对不同分辨率、不同季节的卫星影像分割，统计各区域均值、方差，建立色彩一致化数据库，有效地自动选取色彩参考信息，解决了参考影像选择、色彩误差累计和传递等问题(Yu L,Zhang Y,Sun M,et al.Color balancing of satellite imagery based on acolour reference library[J].InternationalJournal ofRemoteSensing,2016,37(24):5763-5785.)。但是建立不同季节、不同分辨率的色彩一致影像数据库的工作量较大，且不同传感器具有不同的响应特征，导致该方法实用性较低。
2005年6月，随着Google Earth的推出，使得研究者能够方便、快捷地浏览研究区不同时间、不同空间分辨率的卫星影像，从而了解研究区信息。然而，这些影像具有不同的空间分辨率和色彩差异，给基于视觉的信息解译带来巨大困难，使用色彩归一化方法对上述影像进行处理将提高影像间的可比性，提升影像的价值。然而，直接使用上述方法进行色彩归一化时存在以下几个问题：(1)缺乏重叠区域：影像间没有重叠区域，无法基于重叠区域进行色彩校正；(2)影像景数较多：由于影像的覆盖范围较小，使得影像数目较多，进行校正时，需要建立较多的方程，由于误差累计和传递，容易在影像边缘出现严重的色彩畸变；(3)非线性的色彩畸变：这些影像是不同传感器、不同空间分辨率的影像，影像之间存在非线性的色彩变化关系。
针对上述问题，本专利通过对待处理影像上的体现边缘的高频信息与体现纹理的低频信息分离，将待处理影像的高频信息替换为参考影像的低频信息，再通过高斯金字塔实现不同空间分辨率影像的融合，实现多尺度的色彩一致性处理。
发明内容
本发明要克服现有技术的不同来源高分辨率影像镶嵌之后的影像块之间存在色彩差异的缺点，提供一种基于金字塔多尺度融合的影像色彩一致化方法。
本发明的输入为一景分辨率较高的镶嵌影像，但各个影像块之间存在色彩差异，称为待处理影像；同时选取一景或多景能够覆盖上述研究区的低分辨率影像，该影像整体色彩一致，称为参考影像。
本发明将影像信息看作是低频和高频信息的结合，低频具有颜色信息而高频具有细节信息，将参考影像的低频信息替换待处理影像的低频信息，从而实现色彩归一化。再使用高斯金字塔的思想进行多级处理，解决不同分辨率采样的问题。
本发明的一种基于金字塔多尺度融合的影像色彩一致化方法，具体实现步骤如下：
步骤1：待处理影像金字塔处理；
设待处理影像为X0，参考影像为Y，定义比值r为参考影像的分辨率r(Y)除以待处理影像的分辨率r(X0)：
高斯金字塔采样层数设置S为：
S＝[log2 r] (2)
其中，[]表示下取整。金字塔总层数L为：
L＝S+1 (3)
建立高斯金字塔，将影像X0作为金字塔的第一层，并对其下采样为参考影像的2S倍大小，作为金字塔第二层X1。
对影像X1进行高斯金字塔降采样处理，该过程同时进行高斯滤波及偶数行下采样：
其中，l表示影像层数；i，j分别为影像行列坐标；m和n为卷积核的相对位置坐标；W是高斯卷积核的权重。
为了简化金字塔降采样函数表示，定义第l到第l+1层的高斯金字塔下采样方法为：
Xl+1＝D(Xl) (5)
其中，D函数通过公式(4)实现。
按照上述公式(5)逐层(l＝1,2,...,L-1)进行采样得到多分辨率影像组X。
X＝＜X0,X1,...,XL＞ (6)
步骤2：多分辨率频率信息分解；
将高斯金字塔影像组X各层(l＝0,1,...,L)进行高斯滤波处理，得到低频金字塔影像组。
其中，
代表第l层低频尺度影像，G为卷积核大小为w的高斯滤波函数。则低频金字塔影像组如下：
并将高斯金字塔影像组X与对应低频金字塔影像组XL各层(l＝0,1,...,L)相减，得到金字塔细节信息，第l层的高频尺度影像：
通过上述过程，获得金字塔细节信息高频影像组XH：
步骤3：低分辨率影像滤波；
对参考影像Y再进行高斯滤波处理，得到低频参考影像YL：
YL＝G(Y) (11)
其中，G表示卷积核大小为w的高斯滤波函数。本步骤是滤除掉参考影像的细节信息，提取出一致的色彩信息。
步骤4：将低分辨率影像的低频信息赋予高分辨率影像的相应层级；
把低频影像YL作为输入进行高斯金字塔还原处理，并将上层金字塔还原处理得到的影像与金字塔细节信息高频影像组XH相应层的影像相加，基于金字塔层级组合方法为：
其中，
为第l层组合信息影像。上式中U为高斯金字塔还原函数。
按照上述公式(12)逐层(l＝0,1,...,L-2)进行采样，U函数具体计算如下：
其中，i，j分别为影像行列坐标；m和n为卷积核的相对位置坐标；W是高斯卷积核的权重；I代表需要上采样的影像。
该步骤目的是对影像进行高斯上采样，得到含有当前层级完整色彩和细节信息，但会丢失上一尺度细节信息的层级影像。
步骤5：亮点噪声抑制；
由于高频信息和低频信息的结合往往会导致影像像素数值超过影像色彩深度，使影像产生亮点噪声。为了消除两个不同影像因地物差异产生的像素亮点噪声，本专利在步骤4金字塔各层还原处理后使用色彩辅助参数平衡和色彩阈值约束方法调整。
亮点噪声抑制对象为步骤4得到的组合信息影像。设某层组合信息影像为
对其进行下列公式处理。
其中，b为一个大小为3的影像色彩辅助数组，该参数是为了补偿抑制影像亮点噪声产生的色彩误差和畸变，第一个参数表示影像红波段补偿值，第二个参数表示影像绿波段补偿值，第三个参数表示影像蓝波段补偿值；k为像素亮点噪声调节参数；E为色彩约束常数，亮度大于该值就认为是亮点噪声；B为色彩深度层级缩放幅度值，由于高频信息和低频信息的结合往往会导致影像像素数值超过色彩深度，那么设定相应的缩放数值B并依据层级约束，从而改善金字塔结构还原导致的色彩误差累积；
表示第l层处理影像；c代表影像通道数；h和w分别为影像的行列坐标。最终约束当前层级色彩深度阈值由色彩约束常数、像素亮点噪声调节参数和层级缩放幅度值组成。
由于金字塔结构层级之间的影像缺乏因插值而丢失的高频信息，且待处理影像的高频金字塔在还原处理时会形成误差累积，所以金字塔色彩校正影像组XM各层级影像经过了亮点噪声抑制处理，防止了层级间色彩误差累积导致的最终输出影像色彩不一致。
步骤6：金字塔色彩校正影像组；
对亮点噪声抑制处理后的图像，结合高频影像组XH对低频影像YL逐级(l＝0,1,...,L-2)高斯金字塔还原，由下列各式得到金字塔色彩校正影像组为XM，设步骤4亮点噪声抑制处理函数为M函数：
本步骤是将影像高频细节残差信息和低频颜色信息相结合并通过高斯上采样来还原图像完整信息，使用步骤4层级间亮点噪声抑制处理，得到色彩一致化的金字塔校正影像组。
步骤7：色彩一致化处理；
受实际无法适应金字塔结构的影响，第L-1层的金字塔还原处理需要将公式(17)中的U函数替换为普通上采样操作，并相应地根据公式(14)(15)消除亮点噪声，得到色彩校正影像
根据以上步骤进行逐级处理，金字塔色彩校正影像组XM的各层尺度影像均校正为色彩一致化，最终色彩校正图像Xdst即为色彩校正影像
本发明提出的方法将影像镶嵌块之间的色彩误差累积转化为金字塔层级色彩误差累积，简化了计算复杂度，有效地将多种色差影像块镶嵌的卫星影像色彩一致化，无明显色差，细节丰富。
附图说明
附图1是本发明方法的流程图。
附图2是本发明方法的原理图。
附图3是当前实施例待处理影像。
附图4是当前实施例参考影像。
附图5是影像高频细节图，为高频金字塔中的第4级。
附图6是使用色彩辅助参数平衡和色彩阈值约束方法去除色彩噪声对比图。其中，图6(a)为参考影像局部图；图6(b)未实施约束处理的输出图像；图6(c)为使用了约束处理的输出图像。
附图7是低频信息和高频信息相结合校正的区域影像，为高斯金字塔色彩校正影像组中的第4级。
附图8是最终色彩校正影像。
附图9是色彩校正局部细节图。图9(a)为参考影像局部区域示意图，左框为图9(b)，右框为图9(c)；图9(d)为校正影像局部区域示意图，左框为图9(e)，右框为图9(f)；图9(g)为待处理影像局部区域示意图，左框为图9(h)，右框为图9(i)。
具体实施方式
本发明的具体实施例结合附图1予以说明：
附图2为本专利原理图，采用高斯金字塔对待处理影像进行逐级下采样，并用高斯滤波提取多尺度细节影像，获得低频/高频多尺度影像组。将参考影像的低频信息与待处理影像高频细节使用亮点噪声抑制处理结合，经过高斯金字塔逐级上采样，最终得到色彩校正影像。
当前实施例待处理影像如附图3，影像位于温州市鹿城区，为通过不同时间、不同分辨率影像块镶嵌的高分辨率地图，该影像有较为复杂的色差镶嵌块，且镶嵌块之间有由于季节原因、光照条件的不同、云雾干扰造成的色调差异，具有较好的代表性。参考影像为相同区域的低分辨率影像，如附图4所示，该影像色彩一致化，无明显色差，云雾稀少。
步骤1：待处理影像金字塔处理
由于参考影像分辨率相对于目标影像低，为了使经过金字塔处理得到的校正影像与待处理影像分辨率一致，需要把待处理影像重采样至参考影像的2S倍大小，采样层数S可由公式(1)(2)得到。
当前实施例待处理影像的分辨率为0.53m，参考影像的分辨率为10m，通过公式(1)计算得到比值r为18.9。为了满足公式(4)的要求,取[1,r]范围内最大的2的S次幂的幂为采样层数，高斯金字塔采样层数计算与公式(2)相同。因此当前实施例高斯金字塔采样层数S为4，金字塔总层数L为5。
将待处理影像X0下采样为参考影像的16倍大小，作为金字塔第二层X1，影像X0为金字塔结构的第一层，此次下采样选择为4x4像素邻域的双三次插值采样。
按照公式(5)对影像X1逐层(l＝1,2,...,4)进行高斯金字塔降采样处理，该过程对影像进行高斯滤波及偶数行下采样。通过上述处理，得到多分辨率影像组X。
步骤2：多分辨率频率信息分解
使用公式(7)对高斯金字塔影像组X各层(l＝1,2,...,5)进行高斯滤波处理，得到低频金字塔影像组XL。当前实施例内所有对影像的高斯滤波都设置卷积核大小为w＝5。依据公式(9)将高斯金字塔影像组X与对应低频金字塔影像组XL各层(l＝0,1,...,5)相减，得到金字塔细节信息高频影像组XH。
附图5为高频影像组第4级的细节高频图。影像中的建筑物、森林、农田、道路、河流等轮廓细节明显，充分地含有了除低频色彩信息之外的高频详细细节和部分纹理颜色残差，频率信息在金字塔结构中得到了有效地分解。
步骤3：低分辨率影像滤波
当前实施例参考影像Y具有较为一致化的低频色彩信息，根据公式(11)对影像进行高斯滤波去高频信息处理，得到低频参考影像YL。
步骤4：将低分辨率影像的低频信息赋予高分辨率影像的相应层级
把低频影像YL作为输入进行高斯金字塔还原处理，并将上层金字塔还原处理得到的影像与金字塔细节信息高频影像组XH相应层的影像相加结合，得到当前层级组合信息影像，具体结合方法如公式(13)。
步骤5：亮点噪声抑制
因金字塔层级间色彩累积误差和影像间少许的地物差异，校正影像还带有像素亮点噪声，不满足本专利的发明目的。为了消除两个不同影像因地物差异产生的像素亮点噪声，本专利提出在金字塔各层还原处理后使用色彩辅助参数平衡和色彩阈值约束方法。
如公式(14)(15)，当前实施例由于待处理影像与参考影像色彩信息较为相近，所以将色彩辅助数组设置为b＝[0,0,0]，像素亮点噪声调节参数k＝30，色彩约束常数E＝250，色彩深度层级缩放幅度值B＝5。
附图6为使用该方法去除色彩噪声对比图，其中，图6(a)为参考影像局部图；图6(b)未实施约束处理的输出图像；图6(c)为使用了约束处理的输出图像。当没有去除色彩噪声方法时，图6(b)影像部分区域含有许多色彩噪声，干扰影像判读。而当使用了参数平衡和色彩阈值时，图6(c)影像色彩噪声明显消除。通过比较图6(a)和图6(c)，可以看到参考色彩信息很好地被赋予。
步骤6：金字塔色彩校正影像组
结合高频影像组XH对低频影像YL逐级(l＝0,1,...,3)进行加入亮点噪声抑制处理函数的高斯金字塔还原，由公式(16)(17)得到金字塔色彩校正影像组为XM。
图7是金字塔色彩校正影像组中的第4级影像，与附图3多影像块镶嵌和附图4色彩平滑影像相比较，该影像既包含平滑的色彩信息又保持有清晰的高频细节，说明在层级间频率信息结合良好，亮点噪声去除有效。
步骤7：色彩一致化处理
受实际无法适应金字塔结构的影响，需要单独使用普通上采样处理得到色彩校正影像组XM的最高尺度影像,并相应地根据公式(14)(15)消除亮点噪声，此次上采样选择使用4x4像素邻域的双三次插值采样。根据以上步骤进行逐级处理，金字塔色彩校正影像组XM的各层尺度影像均校正为色彩一致化。当前实施例的最终色彩校正图像Xdst即为金字塔色彩校正影像组第6层
图8是最终校正影像效果图，与附图3有色差影像相比较，校正效果明显，色彩平滑，细节保持稳定。
图9是校正影像局部细节图。与参考影像、待处理影像和校正影像比较发现，本专利方法提取了参考影像的色彩使待处理影像色彩一致化，并保留了待处理影像的细节，有效地将影像镶嵌块之间的色彩误差累积转化为金字塔层级色彩误差累积，简化了计算复杂度，无明显色差，地图细节完善。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也给予本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (4)
1.一种基于金字塔多尺度融合的影像色彩一致化方法，实现步骤如下：
步骤1：待处理影像金字塔处理；
设待处理影像为X0，参考影像为Y，定义比值r为参考影像的分辨率r(Y)除以待处理影像的分辨率r(X0)：
高斯金字塔采样层数设置S为：
S＝[log2r] (2)
其中，[]表示下取整；金字塔总层数L为：
L＝S+1 (3)
建立高斯金字塔，将影像X0作为金字塔的第一层，并对其下采样为参考影像的2S倍大小，作为金字塔第二层X1；
对影像X1进行高斯金字塔降采样处理，该过程同时进行高斯滤波及偶数行下采样：
其中，l表示影像层数；i，j分别为影像行列坐标；m和n为卷积核的相对位置坐标；W是高斯卷积核的权重；
为了简化金字塔降采样函数表示，定义第l到第l+1层的高斯金字塔下采样方法为：
Xl+1＝D(Xl) (5)
其中，D函数通过公式(4)实现；
按照上述公式(5)逐层(l＝1,2,...,L-1)进行采样得到多分辨率影像组X；
X＝<X0,X1,...,XL> (6)
步骤2：多分辨率频率信息分解；
将高斯金字塔影像组X各层(l＝0,1,...,L)进行高斯滤波处理，得到低频金字塔影像组；
其中，
代表第l层低频尺度影像，G为卷积核大小为w的高斯滤波函数；则低频金字塔影像组如下：
并将高斯金字塔影像组X与对应低频金字塔影像组XL各层(l＝0,1,...,L)相减，得到金字塔细节信息，第l层的高频尺度影像：
通过上述过程，获得金字塔细节信息高频影像组XH：
步骤3：低分辨率影像滤波；
对参考影像Y再进行高斯滤波处理，得到低频参考影像YL：
YL＝G(Y) (11)
其中，G表示卷积核大小为w的高斯滤波函数；本步骤是滤除掉参考影像的细节信息，提取出一致的色彩信息；
步骤4：将低分辨率影像的低频信息赋予高分辨率影像的相应层级；
把低频影像YL作为输入进行高斯金字塔还原处理，并将上层金字塔还原处理得到的影像与金字塔细节信息高频影像组XH相应层的影像相加，基于金字塔层级组合方法为：
其中，
为第l层组合信息影像；上式中U为高斯金字塔还原函数；
按照上述公式(12)逐层进行(l＝0,1,...,L-2)进行采样，U函数具体计算如下：
其中，i，j分别为影像行列坐标；m和n为卷积核的相对位置坐标；W是高斯卷积核的权重；I代表需要上采样的影像；
该步骤目的是对影像进行高斯上采样，得到含有当前层级完整色彩和细节信息，但丢失上一尺度细节信息的层级影像；
步骤5：亮点噪声抑制；
由于高频信息和低频信息的结合往往会导致影像像素数值超过影像色彩深度，使影像产生亮点噪声；为了消除两个不同影像因地物差异产生的像素亮点噪声，在步骤4金字塔各层还原处理后使用色彩辅助参数平衡和色彩阈值约束方法调整；
亮点噪声抑制对象为步骤4得到的组合信息影像；设某层组合信息影像为
对其进行下列公式处理；
其中，b为一个大小为3的影像色彩辅助数组，该参数是为了补偿抑制影像亮点噪声产生的色彩误差和畸变，第一个参数表示影像红波段补偿值，第二个参数表示影像绿波段补偿值，第三个参数表示影像蓝波段补偿值；k为像素亮点噪声调节参数；E为色彩约束常数，亮度大于该值得就认为是亮点噪声；B为色彩深度层级缩放幅度值，由于高频信息和低频信息的结合往往会导致影像像素数值超过色彩深度，那么设定相应的缩放数值B并依据层级约束，从而改善金字塔结构还原导致的色彩误差累积；
表示为第l层处理影像；c代表为影像通道数；h和w分别为影像的行列坐标；最终约束当前层级色彩深度阈值由色彩约束常数、像素亮点噪声调节参数和层级缩放幅度值组成；
由于金字塔结构层级之间的影像缺乏因插值而丢失的高频信息，且待处理影像的高频金字塔在还原处理时会形成误差累积，所以金字塔色彩校正影像组XM各层级影像经过了亮点噪声抑制处理，防止了层级间色彩误差累积导致最终输出影像色彩不一致；
步骤6：金字塔色彩校正影像组；
对亮点噪声抑制处理后的图像，结合高频影像组XH对低频影像YL逐级(l＝0,1,...,L-2)高斯金字塔还原，由下列各式得到金字塔色彩校正影像组为XM，设步骤5亮点噪声抑制处理函数为M函数：
本步骤是将影像高频细节残差信息和低频颜色信息相结合通过高斯上采样来还原图像完整信息，使用步骤5层级间亮点噪声抑制处理，得到色彩一致化的金字塔校正影像组；
步骤7：色彩一致化处理；
受实际无法适应金字塔结构的原因，第L-1层的金字塔还原处理需要将公式(17)中的U函数替换为普通上采样操作，并相应地根据公式(14)(15)消除亮点噪声，得到色彩校正影像
根据以上步骤进行逐级处理，金字塔色彩校正影像组XM的各层尺度影像均校正为色彩一致化，最终色彩校正图像Xdst即为色彩校正影像
2.如权利要求1所述的一种基于金字塔多尺度融合的影像色彩一致化方法，其特征在于：步骤1的具体实施过程是：待处理影像的分辨率为0.53m，参考影像的分辨率为10m，通过公式(1)计算得到比值r为18.9；为了满足公式(4)的要求,取[1,r]范围内最大的2的S次幂的幂为采样层数，高斯金字塔采样层数计算与公式(2)相同；因此高斯金字塔采样层数S为4，金字塔总层数L为5；
将待处理影像X0下采样为参考影像的16倍大小，作为金字塔第二层X1，影像X0为金字塔结构的第一层，此次下采样选择为4x4像素邻域的双三次插值采样；
按照公式(5)对影像X1逐层(l＝1,2,...,4)进行高斯金字塔降采样处理，该过程对影像进行高斯滤波及偶数行下采样；通过上述处理，得到多分辨率影像组X。
3.如权利要求1所述的一种基于金字塔多尺度融合的影像色彩一致化方法，其特征在于：步骤2的具体实施过程是：使用公式(7)对高斯金字塔影像组X各层(l＝1,2,...,5)进行高斯滤波处理，得到低频金字塔影像组XL；所有对影像的高斯滤波都设置卷积核大小为w＝5；依据公式(9)将高斯金字塔影像组X与对应低频金字塔影像组XL各层(l＝0,1,...,5)相减，得到金字塔细节信息高频影像组XH。
4.如权利要求1所述的一种基于金字塔多尺度融合的影像色彩一致化方法，其特征在于：步骤7的具体实施过程是：因实际无法适应金字塔结构的原因，需要单独使用普通上采样处理得到色彩校正影像组XM的最高尺度影像,并相应地根据公式(14)、(15)消除亮点噪声，此次上采样选择使用4x4像素邻域的双三次插值采样；根据步骤进行逐级处理，金字塔色彩校正影像组XM的各层尺度影像均校正为色彩一致化；最终色彩校正图像Xdst即为金字塔色彩校正影像组第6层
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099590.3A CN111340895B (zh) | 2020-02-18 | 2020-02-18 | 一种基于金字塔多尺度融合的影像色彩一致化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099590.3A CN111340895B (zh) | 2020-02-18 | 2020-02-18 | 一种基于金字塔多尺度融合的影像色彩一致化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340895A CN111340895A (zh) | 2020-06-26 |
| CN111340895B true CN111340895B (zh) | 2022-03-18 |
Family
ID=71185463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099590.3A Active CN111340895B (zh) | 2020-02-18 | 2020-02-18 | 一种基于金字塔多尺度融合的影像色彩一致化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340895B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164006B (zh) * | 2020-09-25 | 2023-11-03 | 航天宏图信息技术股份有限公司 | 一种影像匀色方法、装置、电子设备及存储介质 |
| CN112419205B (zh) * | 2020-11-27 | 2024-04-19 | 中国矿业大学 | 一种用于SAR干涉图处理的Goldstein金字塔构建方法 |
| CN114202705B (zh) * | 2022-02-16 | 2022-05-20 | 清华大学 | 光谱特征时间序列构建方法及系统 |
| CN115423716B (zh) * | 2022-09-05 | 2024-04-26 | 深圳市新弘途科技有限公司 | 基于多维滤波的图像增强方法、装置、设备及存储介质 |
| CN117333402B (zh) * | 2023-12-01 | 2024-03-01 | 北京飞渡科技股份有限公司 | 倾斜摄影图像的局部更新处理方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850844A (zh) * | 2015-05-27 | 2015-08-19 | 成都新舟锐视科技有限公司 | 一种基于快速构建图像特征金字塔的行人检测方法 |
| CN105279745A (zh) * | 2015-10-28 | 2016-01-27 | 浙江工业大学 | 遥感影像色彩归一化的多特征点约束直方图规整方法 |
| CN105528797A (zh) * | 2015-12-02 | 2016-04-27 | 深圳飞马机器人科技有限公司 | 一种光学影像色彩一致性自适应处理与快速镶嵌方法 |
| CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
-
2020
- 2020-02-18 CN CN202010099590.3A patent/CN111340895B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850844A (zh) * | 2015-05-27 | 2015-08-19 | 成都新舟锐视科技有限公司 | 一种基于快速构建图像特征金字塔的行人检测方法 |
| CN105279745A (zh) * | 2015-10-28 | 2016-01-27 | 浙江工业大学 | 遥感影像色彩归一化的多特征点约束直方图规整方法 |
| CN105528797A (zh) * | 2015-12-02 | 2016-04-27 | 深圳飞马机器人科技有限公司 | 一种光学影像色彩一致性自适应处理与快速镶嵌方法 |
| CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| CONSISTENT TONAL CORRECTION FOR MULTI-VIEW REMOTE SENSING IMAGE MOSAICKING;Xia.MH等;《ISPRS CONGRESS, COMMISSION》;20160719;第03卷(第03期);第423-431页 * |
| Multiple Pyramids Based Image Inpainting Using Local Patch Statistics and Steering Kernel Feature;Mrinmoy Ghorai等;《IEEE Transactions on Image Processing》;20190607;第28卷(第11期);第5495-5509页 * |
| SAR影像自动配准与镶嵌方法研究;王邦松;《中国优秀博士学位论文全文数据库基础科技辑》;20160715;第A008-23页 * |
| 联合概率密度脊提取的影像镶嵌色彩一致性处理方法;吴炜 等;《测绘学报》;20130430;第42卷(第02期);第247-252页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340895A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340895B (zh) | 一种基于金字塔多尺度融合的影像色彩一致化方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| González-Audícana et al. | A low computational-cost method to fuse IKONOS images using the spectral response function of its sensors | |
| CN107563964B (zh) | 大面阵亚米级夜景遥感影像的快速拼接方法 | |
| JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| Huang et al. | Cloud removal from optical satellite imagery with SAR imagery using sparse representation | |
| Shen et al. | A spatiotemporal fusion based cloud removal method for remote sensing images with land cover changes | |
| Losson et al. | Comparison of color demosaicing methods | |
| CN103049898B (zh) | 带有薄云的多光谱和全色图像融合方法 | |
| US20040028271A1 (en) | Colour correction of images | |
| US8340423B1 (en) | Enhancing digital image mosaics using region-statistics | |
| CN108090872B (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 | |
| CN112734642B (zh) | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 | |
| CN110533600B (zh) | 一种同/异质遥感影像高保真广义空-谱融合方法 | |
| CN111681171A (zh) | 基于分块匹配的全色与多光谱图像高保真融合方法及装置 | |
| Hoan et al. | Cloud removal of optical image using SAR data for ALOS applications. Experimenting on simulated ALOS data | |
| US20080002909A1 (en) | Reconstructing Blurred High Resolution Images | |
| Zhu et al. | Cloud removal for optical images using SAR structure data | |
| CN109785281A (zh) | 基于光谱映射的灰度调幅的pansharpening方法 | |
| KR20210096925A (ko) | 대용량 항공정사영상의 효율적인 색상보정 방법 | |
| Gungor et al. | Multi sensor data fusion for change detection | |
| CN114638761A (zh) | 一种高光谱图像全色锐化方法、设备及介质 | |
| Yehia et al. | An improved integrated intensity-hue-saturation with stationary wavelet transform multi-sensor image fusion approach | |
| Gungor et al. | Fusion of low and high resolution satellite images to monitor changes on costal zones | |
| KR102397148B1 (ko) | 대용량 항공정사영상의 저해상도 컬러영상을 이용한 색상보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |