CN110392244B - 一种三线阵相机影像合成彩色影像方法 - Google Patents

Abstract

一种三线阵相机影像合成彩色影像方法，为了克服现有技术在实现三线阵相机单波段影像合成三通道彩色影像时存在的精度、效率、误差分布、需要裁剪为小幅面影像等诸多问题，包括三线阵相机标定参数解算像元偏移数、选择主影像并建立与主影像相同大小的三通带彩色影像、影像分块、sift特征按块提取、sift特征按块匹配、影像锐化、单波段影像按块采样到三通道彩色影像。本发明克服了现有三线阵影像合成技术的不足，通过标定参数解算波段间影像偏移像元数，对单波段影像进行灵活分块，达到了高效率、高精度、误差分布均匀、整条带彩色影像合成的目的；能够适应多种地形地貌、多种单波段夹角的三线阵影像合成，同时也一定程度上降低了对硬件的要求。

Description

一种三线阵相机影像合成彩色影像方法

技术领域

本发明涉及一种三线阵相机影像合成彩色影像算法，具体涉及基于载荷相机标定参数进行分块匹配、分块采样合成三通道彩色影像的方法，来实现适用于不同地形地貌特征和各波段扫描线间有一定夹角范围的三线阵相机影像整条带合成高质量彩色影像的算法。

背景技术

目前，在使用三线阵相机获取测区正射影像(DOM)成果的过程中，需要对单波段影像进行合成生成彩色影像，再通过几何纠正获取彩色DOM影像或者伪彩色成果影像，才更符合使用者对产品的视觉需求，更加符合实际地物地貌的真实外观，也能够获取更广泛的成果信息。

但是，线阵影像的单个航带影像覆盖面积很大，数据量也很大，一个条带里面通常会包含很多种地形地貌从而导致特征分布不均匀，并且不同波段间具有一定的拍摄视角差，这些都给单波段影像合成彩色影像带来了困难。

单个条带的数据量大，一般的运行设备在进行整条带处理时会出现内存不足的现象，常规的处理方法是对单波段条带影像进行分割裁剪，将一个整条带的三线阵影像裁剪成一定数量的小幅面影像，再分别对不同波段的小幅面影像进行融合，目前市面上主要的三线阵相机影像即为ADS相机系列的影像，其常用处理方法即为分割成多个小幅面影像再合成彩色影像。裁剪分割成小幅面影像处理的弊端是：小幅面影像数量多需要重复导入导出，效率较低；分割的小幅面影像仍然覆盖较大面积，包含的地形地貌特征较多，特征分布不均匀，造成不同波段影像间的匹配精度不均匀、整体匹配精度差，容易出现局部匹配误差大、整体合成视觉效果不佳的现象；同时，在后续生产DOM成果时需要对较多小幅面正射影像进行拼接处理，给生成全测区DOM影像带来了困难。

发明内容

本发明为了克服现有技术在实现三线阵相机单波段影像合成三通道彩色影像时存在的精度、效率、误差分布、需要裁剪为小幅面影像，进而再合成彩色影像从而给后续测区整幅正射影像的生产带来拼接困难的问题，提供了一种三线阵相机影像合成彩色影像方法。

一种三线阵相机影像合成彩色影像方法，该方法由以下步骤实现：

步骤一、利用三线阵相机标定文件解算单波段影像间像元偏移数；

具体为：从三线阵相机标定文件中读取三个单波段影像扫描线像元位置坐标，分别解算各单波段影像两两之间存在的像元偏移数，包括航向像元偏移数和垂直航向像元偏移数，航向像元偏移数解算时选择扫描线覆盖的所有行中的最大像元偏移数作为航向像元偏移数，即：

wid＝max(wid_i),i＝1,2,3,4……；

wid_i为扫描线第i行的航向像元偏移数；

步骤二、从步骤一所述的三个单波段影像中选择一个单波段影像作为主影像，提取该主影像的行数和列数参数，以提取的行列数参数作为指标建立与主影像行列数相同的三通道彩色影像；

步骤三、单波段影像和三通道彩色影像分块；

所述主影像分块的大小根据地形地貌特征和影像拍摄角度的因素综合确定，三通道彩色影像的分块形式与主影像分块形式保持一致；另外两个单波段影像分块的块中心行列号坐标与主影像的块中心行列号坐标保持一致，分块大小则根据其与主影像间的像元偏移量决定，分块的宽和高需大于主影像分块的宽和高与相应方向上的像元偏移量之和，保证主影像分的每一块能够被另外两个单波段影像的对应块完全包围，即满足：

Gwid>Rwid+k1，Ghei>Rhei，Bwid>Rwid+k2，Bhei>|Rhei|

式中，Gwid、Bwid和Rwid分别为G波段影像分块的块宽、B波段影像的块宽和R波段影像的块宽；Ghei、Bhei和Rhei分别为G波段影像分块的块高、B波段影像的块高和R波段影像的块高；

k1为大于wid_RG的常数，k2为大于wid_RB的常数；所述wid_RG为R波段和G波段的航向像元偏移数；wid_RB为G波段和B波段的航向像元偏移数；

步骤四、根据步骤三的分块结果，基于sift特征的匹配方法，对三个单波段影像进行按块提取sift特征并保存，即所述主影像与另外两个单波段影像根据提取的sift特征文件按对应块分别匹配，获取所有对应块之间的配准关系并保存，配准关系采用仿射变换公式：

X＝a₀+a₁*x₀+a₂*y₀

Y＝b₀+b₁*x₀+b₂*y₀

其中x₀，y₀为主影像上的坐标，X，Y为配准影像上解算得到的对应坐标；

步骤五：对三个单波段影像进行锐化；

步骤六：主影像块内的灰度值按块直接采样到三通道彩色影像相应块的相应通道内，同时将另外两个单波段影像中与主影像块对应的块按照配准关系采样到三通道彩色影像相应块的相应通道内；遍历主影像的每一个分块，与另外两个单波段影像对应块完成采样操作，即完成三通道彩色影像采样。

本发明的有益效果：

(1)本发明通过三线阵相机标定文件确定不同波段影像之间的像元偏移数，根据获取的像元偏移数可以指导不同波段影像的分块，能够保证主影像的各块被另外另个波段影像的块完全包围，避免主影像块中坐标寻找不到匹配位置的情况发生。

(2)常规方法需要对三线阵影像先进行裁剪分割，生成多个小幅面影像，给后续生产测区整幅正射影像带来了困难；本方法避免了裁剪分割，能直接生成一幅与单波段线阵影像大小相同的大幅面彩色合成影像，从而避免了在后续生产测区整幅正射影像时需要再次进行拼接的问题。

(3)常规方法裁剪分割为多幅小幅面影像，处理过程中需要进行多次导入导出影像，降低了效率；本方法直接生成一幅大幅面影像，避免了多次导入导出，数据处理一次完成，提高了效率。

(4)在地形地貌复杂的区域，本方法可以通过改变单波段影像间匹配块的大小来保证在各个分块内匹配精度最优，从而保证整幅影像的匹配精度，适应各种复杂地形地貌的影像，具有较好鲁棒性。

(5)单波段影像间具有一定拍摄角度时，会给单波段影像间的匹配带来较大阻碍，本方法可以通过修改匹配块的大小来达到解决该问题的方法，能够获取具有一定拍摄视角差的单波段影像间较高的匹配精度，进而获取较高质量的合成彩色影像。

附图说明

图1为三线阵相机单波段影像合成彩色影像流程图；

图2为三线阵相机影像扫描线示意图；

图3为R、B单波段影像分块策略图；

图4为单波段影像采样策略图。

具体实施方式

具体实施方式一、结合图1至图4说明本实施方式，一种三线阵相机影像合成彩色影像方法，该方法为从三个单波段影像中选择一幅影像作为主影像，基于三线阵相机标定参数确定分块规则，通过分块匹配、逐块采样实现整条带地合成一条与主影像行列号完全相同的三通道彩色影像。主要流程包括：利用三线阵相机标定文件解算单波段影像间像元偏移数，选择主影像并建立与所选主影像行列数相同的三通道彩色影像，单波段影像和三通道彩色影像分块，单波段影像按块提取sift特征并按块匹配获取块与块之间的配准关系，单波段影像锐化处理，根据单波段影像间块与块的配准关系将锐化后的单波段影像按块采样到三通道彩色影像。具体方法为(选择以R、G、B单波段影像合成彩色影像为例，选择R波段影像作为主影像)：

1)利用三线阵相机的标定参数解算R、G、B波段影像之间的像元偏移数。三线阵相机标定文件保存了R、G、B各波段影像在传感器焦平面上的扫描线像元位置，根据各波段在焦平面上的像元位置(如附图2所示)，可以解算出在成像后R波段影像与G、B波段影像上存在的像元偏移数，包括R波段与G波段之间的像元偏移数hei_RG、wid_RG，R波段与B波段之间的像元偏移估值参数hei_RB、wid_RB，其中，航向像元偏移数解算时选择扫描线覆盖的所有行中的最大像元偏移数作为航向像元偏移数，即wid_RG、wid_RB应满足：

wid_RG＝max(wid_RG_i),i＝1,2,3,4......

wid_RB＝max(wid_RB_i),i＝1,2,3,4......

wid_RG_i、wid_RB_i分别为G波段和B波段扫描线第i行的航向像元偏移数。

2)导入R、G、B单波段影像，选取R波段影像为主影像，建立与主影像大小相同的三通道彩色影像RGBimg。导入R、G、B三个单波段的影像Rimg、Gimg、Bimg，选择R波段影像Rimg作为主影像，提取Rimg的高(Rimghei)和宽(Rimgwid)，建立一个高为Rimghei、宽为Rimgwid的三通道彩色影像RGBimg，RGBimg与Rimg具有完全相同的行列号和属性，因此后续利用RGBimg生产彩色DOM成果时可以直接使用Rimg的POS数据。

3)根据综合因素确定主影像Rimg的分块大小，根据hei_RG，wid_RG，hei_RB，wid_RB确定G、B波段影像的分块大小。主影像Rimg的分块大小根据地形地貌、拍摄视角差等多种因素综合考虑确定，地物特征稀少则选择较小的块，地物特征较丰富可适量扩大，形成分块文件存储各分块的坐标信息，并对文件进行编号RBlockFile1，RBlockFile2，RBlockFile3……；G、B波段影像的分块数目与R波段影像的分块数目保持一致，G、B波段影像各块的块中心像元行列号与R波段各块的块中心像元行列号保持一致，但是G、B波段影像的块宽(Gwid、Bwid)和块高(Ghei、Bhei)应大于R波段的块宽(Rwid)和块高(Rhei)，并且应满足Gwid>Rwid+k1，Ghei>Rhei，Bwid>Rwid+k2，Bhei>|Rhei|,k1为大于wid_RG的常数,k2为大于wid_RB的常数；使得主影像Rimg中的每个块在Gimg、Bimg影像的对应块中被完全覆盖(如附图3所示)，图3中，R波段影像分块的各块中心坐标为(i₁,j₁)、(i₂,j₂)、(i₃,j₃)……(i_n,j_n)……，B波段影像也采用相同的行列坐标(i₁,j₁)、(i₂,j₂)、(i₃,j₃)……(i_n,j_n)……为各分块的中心，并且B波段各块的大小按上述进行确定。生成G波段和B波段的分块文件，并对文件进行编号GBlockFile1，BBlockFile1，GBlockFile2，BBlockFile2，GBlockFile3,BBlockFile3……。

4)提取单波段影像Rimg、Gimg、Bimg中每一块的sift特征，并保存为单独文件。单波段影像都是灰度影像，同一颜色地物在不同波段影像上的灰度值亮度相差较大，因此基于灰度的匹配方法不适用于三线阵单波段影像匹配，需采用基于特征的匹配方法，基于sift特征的匹配方法能够获取较好的匹配效果；根据3中的分块文件，对R、G、B单波段影像进行按块提取sift特征，并单独独保存，各块的sift特征文件同各块的分块编号保持一致，按编号SiftFile1,SiftFile2,SiftFile3……排列。

5)将R波段影像各块的sift特征与G、B波段影像对应编号的sift特征进行匹配，获取配准关系。R波段影像各块提取的sift特征与G、B波段影像各块提取的sift特征是对应的，因此R波段影像与G、B波段影像按块匹配时只需根据相同编号进行匹配获取各块的配准关系即可，将R波段影像各块与G、B波段影像各块的配准关系RGmatch、RBmatch各自保存在独立的文件中按编号MatchFile1,MatchFile2,MatchFile3……排列，其中配准关系采用仿射变换拟合，即

X＝a₀+a₁*x₀+a₂*y₀

Y＝b₀+b₁*x₀+b₂*y₀

其中x₀，y₀为主影像上的坐标，X，Y为配准影像上解算得到的对应坐标。

6)将R、G、B波段按照配准关系进行采样，分别放置到三通道彩色影像的R通道、G通道、B通道内，生成彩色影像。采样按块进行，RGBimg的分块与Rimg分块相同，行列号数也相同，因此Rimg中的每一块直接采样到RGBimg相应块的R通道内即可；G、B波段影像的分块数与RGBimg分块数相同，按每个小块顺序采样，每个小块有各自的配准关系RGmatch_i、RBmatch_i，RGBimg块中的坐标(x₀,y₀)对应在G、B波段影像相应块内的坐标为：

X_G＝a_G0+a_G1*x₀+a_G2*y₀

Y_G＝b_G0+b_G1*x₀+b_G2*y₀

X_B＝a_B0+a_B1*x₀+a_B2*y₀

Y_B＝b_B0+b_B1*x₀+b_B2*y₀

将解算的G、B波段影像坐标位置的灰度值采样到RGBimg分块的(x₀,y₀)处，依次对块中每一个坐标进行灰度值采样，即完成块的采样(如图4所示)，

采样方式采用逆距离加权法：

其中，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃),(X₄,Y₄)为(X,Y)相邻四个整数点的坐标，D_XY、

以及

分别为(X,Y)，(X₁,Y₁)，(X₂,Y₂)，(X₃,Y₃)以及(X₄,Y₄)坐标点的灰度值。P₁，P₂，P₃，P₄为相应整数点坐标在解算(X,Y)的灰度值时的权值，权值与距离成反比，即

图4中，R波段和B波段将各块灰度值依次按配准关系采样到RGB影像中；依次遍历RGBimg中的所有块即完成影像采样，生成彩色合成影像RGBimg。

Claims (2)

1.一种三线阵相机影像合成彩色影像方法，其特征在于，包括以下步骤：

步骤一、利用三线阵相机标定文件解算单波段影像间像元偏移数；

具体为：从三线阵相机标定文件中读取红、绿、蓝三个单波段影像扫描线对应的像元位置坐标，分别解算各单波段影像两两之间存在的像元偏移数，包括航向像元偏移数和垂直航向像元偏移数，航向像元偏移数解算时选择两扫描线各像元间的最大像元偏移数作为航向像元偏移数，即：

wid＝max(wid_i),i＝1,2,3,4……；

wid为航向像元偏移数，wid_i为扫描线第i行的航向像元偏移数；

步骤二、从步骤一所述的红、绿、蓝三个单波段影像中选择一个单波段影像作为主影像，提取该主影像的行数和列数参数，以提取的行数和列数参数作为行、列指标建立与主影像行数和列数相同的三通道彩色影像；

步骤三、单波段影像和三通道彩色影像分块；

主影像分块的大小根据地形地貌特征和影像拍摄角度等因素综合确定，三通道彩色影像的分块形式与主影像分块形式保持完全一致；主影像外的两个单波段影像分块的块中心像元的行列号坐标与主影像分块的块块中心像元行列号坐标保持一致，分块大小则根据其与主影像间的像元偏移量决定，保证主影像分的每一块能够被主影像外的两个单波段影像对应的块完全包围，即满足：

Gwid>Rwid+k1，Ghei>Rhei，Bwid>Rwid+k2，Bhei>|Rhei|

式中，Gwid、Bwid和Rwid分别为G波段影像分块的块宽、B波段影像的块宽和R波段影像的块宽；Ghei、Bhei和Rhei分别为G波段影像分块的块高、B波段影像的块高和R波段影像的块高；

k1为大于wid_RG的常数，k2为大于wid_RB的常数；所述wid_RG为R波段和G波段的航向像元偏移数；wid_RB为G波段和B波段的航向像元偏移数；

步骤四、根据步骤三的分块结果，基于sift特征的匹配方法，对三个单波段影像进行按块提取sift特征并单独保存，根据提取的sift特征，对所述主影像与另外两个单波段影像按对应块进行匹配，获取所有对应块之间的配准关系并保存，配准关系采用仿射变换公式：

X＝a₀+a₁*x₀+a₂*y₀

Y＝b₀+b₁*x₀+b₂*y₀

其中x₀，y₀为主影像上的坐标，X，Y为配准影像上解算得到的对应坐标，a₀，a₁，a₂，b₀，b₁，b₂为仿射变换参数；

步骤五：对三个单波段影像进行锐化，获得锐化后的三个单波段影像；

步骤六：对步骤五锐化后的红、绿、蓝三个单波段影像按照配准关系进行灰度采样，采样灰度分别放置到三通道彩色影像的红、绿、蓝相应通道内，生成彩色影像；

具体为：三通道彩色影像的分块与主影像的分块相同，主影像块内的灰度值按原值直接采样到三通道彩色影像相应块的相应通道内，

同时将另外两个单波段影像中与主影像块对应的块按照配准关系采样到三通道彩色影像相应块的相应通道内；

依次对三个单波段影像的每个块进行灰度值采样，即可生成整条带的三通道彩色线阵影像。

2.根据权利要求1所述的一种三线阵相机影像合成彩色影像方法，其特征在于，步骤六中，采样方式采用逆距离加权法：

其中，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃),(X₄,Y₄)为(X,Y)相邻四个整数点的坐标，P₁，P₂，P₃，P₄为相应整数点坐标在解算(X,Y)的灰度值时的权值，权值与距离成反比，即

D_XY、

以及

分别为(X,Y)，(X₁,Y₁)，(X₂,Y₂)，(X₃,Y₃)以及(X₄,Y₄)坐标点的灰度值。

Images