CN102609928B - 基于视觉方差定位的图像镶嵌方法 - Google Patents

Abstract

本发明公开了一种基于视觉方差定位的图像镶嵌方法，适用于无人机空中视频情报侦察装置。本发明基于视觉信息的高效注意机制，首先将基准图像分成若干个窗口，通过采用视觉方差定位技术，获得能够用于匹配的图像窗口中心位置的统计集合，在候选图像中采用互相关匹配算法搜索最佳对应匹配窗口中心的位置；然后根据基准图像和候选图像中窗口中心的对应位置采用最小二乘法求解图像变换参数；最后，根据图像变换参数将候选图像变换逆向映射到基准图像坐标系中，并对基准图像和变换图像进行合成显示，最终得到全景镶嵌图像。本发明解决了在复杂战场环境中低信噪比条件下有效、精确、实时的图像镶嵌问题，并具有抗光照变化能力强、计算效率高的特点。

Description

基于视觉方差定位的图像镶嵌方法

技术领域

本发明属于图像处理与计算机视觉领域，主要涉及一种无人机空中视频情报侦察用视频图像处理方法，尤其涉及一种基于视觉方差定位的图像镶嵌方法。 

背景技术

随着各种成像传感器的广泛应用，人们对获取图像的质量和视野空间范围要求越来越高。然而由于成像传感器本身的固有性能和外在条件的限制，使得获取的图像常常不能满足实际的需要。提高图像分辨率和视场范围的途径无外乎采取改善原有成像系统的精度或借助后续的图像处理技术两种方式进行。对CCD相机来说，改变成像传感器意味着增加CCD阵列中单元的个数，减少单元的尺寸。这样的做法将带来工艺、散热和传输等一系列问题，在一些应用中甚至是不可实现的。这样就会使得光学相机在成像过程中空间采样率不能满足奈奎斯特采样定理而导致欠采样。从硬件方面着手以改善图像的分辨率拓展视野范围不可避免地面临着高昂的经济代价或者是无法解决的技术困难等问题。 

在无人侦察机、车载分布式孔径系统、舰载分布式传感器搜索跟踪系统等项目中，通过图像镶嵌技术可以满足军用光电系统的多项需求，解决对外部场景的大范围、宽视场、高分辨率观察、瞄准和侦察感知能力，同时图像镶嵌技术在民用领域的航测、工程测量方面也有广泛的用途，因此能为我国军事和侦察领域带来巨大的社会效益和经济效益。 

近年来有许多学者开展了图像镶嵌方法的研究，但目前主要采用基于 Harris角点检测算子、基于SIFT(Scale Invariant Feature Transform)特征点的方法进行图像配准和拼接。中国期刊《西北工业大学学报》2010，Vol.28，No.1，pp.51-56刊登了一篇题为“基于SIFT联合描述子的航拍视频图像镶嵌”的论文，作者程咏梅等人在该论文中公开了其基于SIFT联合描述子进行航拍视频图像镶嵌的研究成果。该成果在具有较好边缘特征检测条件和丰富信息的山地背景图像中，能够提取出较多的SIFT特征点。图1给出了基于SIFT算法的建筑物图像序列特征点匹配实验结果，图1(a)为建筑物图像序列1，图1(b)为建筑物图像序列2，图1(c)为建筑物图像序列1和图像序列2的特征点对应图，共103对特征点，从图中可以看出特征点多，计算量大，而且有很多对误匹配点。申请人用基于SIFT特征点的方法对无人机拍摄的两个实际图像序列进行特征点匹配时，只找到1对特征点，不能够满足该方法要求的3对以上特征点的参数计算要求。可见，SIFT算法不能够在低信噪比条件下的图像提取出有效的特征点，或者是能够提取的特征点个数少于图像变换计算所需要的个数。因此，要实现有效的图像镶嵌必须研究和寻找更为有效、准确、实时的技术途径。 

发明内容

本发明要解决的技术问题是，为满足低成本同时又能显著提高图像分辨率和拓展视野空间的需求，为无人机空中视频情报侦察提供一种基于视觉方差定位的图像镶嵌方法，即该方法对单一传感器运动扫描出的一组相互间存在重叠区域的图像序列实施配准和合成，从而无缝镶嵌成一幅宽视野高分辨的完整新图像。 

为解决上述技术问题，本发明提供的图像镶嵌方法包括以下操作步骤： 

第一步，当接到无人机空中视频情报侦察装置发出的镶嵌命令后，通过传感器采集分辨率为W*H的第K帧基准图像g_B，1≤K≤F-1且F为图像镶嵌操作所采集的图像帧数，在K＝1时的基准图像g_B定义为绝对基准图像g_A，将第K帧基准图像g_B与绝对基准图像g_A之间的参数变换矩阵P_B←A初始化为3×3单位阵；

第二步，将当前基准图像g_B的中心区域划分成宽度为w_b、高度为h_b的n_w*n_h个窗口，中心区域是指基准图像g_B在水平方向两侧各去除边缘E_w和在垂直方向两侧各去除边缘E_h后的剩余部分； 

第三步，根据下式依次计算所述当前基准图像g_B中n_w*n_h个窗口的图像方差D：

$D=\frac{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}{[g(i,j)-\hat{g}]}^2}{h_b*w_b}$

式中，g(i，j)为窗口图像区域中第i行第j列像素的灰度值，为窗口图像区域的平均灰度值

 第四步，将各所述窗口的方差与方差阈值D_thd进行比较，得到M个方差大于方差阈值D_thd的基准窗口并保存基准窗口的中心位置B_k且坐标为(x_k，y_k)，其中，0≤M≤n_w*n_h，k＝1，…，M；

第五步，采集一帧分辨率为W*H的第K+1帧图像作为候选图像g_c；

第六步，在候选图像g_c中分别以对应的基准窗口中心位置B_k为中心，创建一个宽度和高度分别为w_c和h_c的搜索窗口，其中1.4*w_b≤w_c≤1.6*w_b，1.4*h_b≤h_c≤1.6*h_b；在搜索窗口中移动基准窗口而获得不同的匹配窗口，计算搜索窗口中各匹配窗口和对应基准窗口之间的归一化互相关系数Cor(Δx，Δy)并找出具有最大归一化互相关系数的匹配窗口，将候选图像g_c中具有最大归一化互相关系数的各匹配窗口的归一化互相关系数与相关阈值Cor_thd进行比较，若归一化互相关系数大于相关阈值Cor_thd的匹配窗口被认为是有效匹配窗口，统计候选图像中有效匹配窗口的中心位置即有效匹配点的集合C＝{C₁，C₂，…，C_N}，其中C_k＝(x_k，y_k)，k＝1，2，…，N，且N≤M； 

第七步，当N＜3时，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B为单位阵；当N≥3时，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B采用以下最小二乘法公式计算： 

P_C←B＝C*B^T*(B*B^T)^-1

$C=\left(\begin{array}{cccc}{C}_{x1}& C_{x2}& \·\·\·& C_{\mathrm{xN}}\\ C_{y1}& C_{y2}& \·\·\·& C_{\mathrm{yN}}\\ 1& 1& \·\·\·& 1\end{array}\right)$

$B=\left(\begin{array}{cccc}{B}_{x1}& B_{x2}& \·\·\·& B_{\mathrm{xN}}\\ B_{y1}& B_{y2}& \·\·\·& B_{\mathrm{yN}}\\ 1& 1& \·\·\·& 1\end{array}\right)$

其中，C表示候选图像坐标系中的匹配点奇次坐标且为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标且为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B也为3×3矩阵； 

第八步，根据下式计算绝对基准图像g_A和候选图像g_c之间的绝对参数变换矩阵P_C←A： 

P_C←A＝P_C←B*P_B←A

从第三帧图像即K＝3开始，每计算一次P_C←B和P_C←A后，就要用P_C←A更新P_B←A； 

第九步，根据绝对基准图像g_A中点A⁰的奇次坐标，计算出候选图像g_c中与之对应点的奇次坐标C⁰，其计算公式为： 

$C^0=\left(\begin{array}{c}{C}_x^0\\ C_y^0\\ 1\end{array}\right)=P_{C\←A}*A^0$

$A^0=\left(\begin{array}{c}{A}_x^0\\ A_y^0\\ 1\end{array}\right)$

其中，A⁰的水平坐标为其取值范围为1，2，…，W；垂直坐标为其取值范围为1，2，…，H，C⁰的水平坐标为其取值范围也为1，2，…，W；垂直坐标为其取值范围也为1，2，…，H；

将候选图像g_c中点C⁰的像素灰度值g_c(i，j)赋予绝对基准图像g_A中与之对应点A⁰后，将计算出的绝对基准图像g_A←C向无人机空中视频情报侦察装置输出；

第十步，将当前候选图像g_c作为下一轮计算的基准图像g_B，即令g_B＝g_c；

第十一步，判断是否有关机命令，若为否，则返回到第二步，若为是，则结束操作。

本发明的整体技术效果体现在以下几个方面。 

(1)本发明基于视觉信息的高效注意机制，采用图像窗口方差信息寻找一帧图像中适合匹配的统计点集合。在连续两幅图像中，如何找到易于匹配的对应点是图像镶嵌技术的难点，因为在图像中可能会随机出现各种目标、复杂背景和噪声。在一些背景均匀的图像区域，如天空和白色墙面等，特征点无法提取，即使采用模板匹配方法也可能会出现匹配漂移和错误的情况。因此，匹配点或区域的正确选择对于图像匹配来说至关重要。一个区域的均匀度可以用方差来表示，图像区域越均匀，其方差就越小，如全白或全黑图像的方差为0；图像区域越不均匀，其方差就越大。由于本发明的匹配点定位方法符合战场侦察环境中的自然现实条件，因而，与其它现有图像镶嵌方法相比，本发明具有镶嵌精度高、实时性好的特点。

(2)在本发明中，对基准图像中基于视觉方差定位寻找到的匹配窗口采用互相关系数在候选图像的搜索区域中进行匹配，具有匹配准确、抗光照变化能力强的特点。

(3)在本发明中，采用逆向映射进行图像变换。逆向映射是从绝对基准图像出发，通过变换函数求解绝对基准图像上每一个像素点位置在候选图像上的对应位置。首先扫描绝对基准图像的每个像素点位置，然后根据变换函数，计算在候选图像上的对应采样像素点，最后将该点的灰度值赋值给绝对基准图像的对应像素点。逆向映射的效果要好于正向映射，因为绝对基准图像的每个像素都能被扫描，获得适当的灰度值，避免了正向映射中输出图像的某些点可能没有被赋值而出现虚点空洞和马赛克的情况。 

(4)在本发明中，采用最小二乘法计算图像变换参数，具有计算精度高、速度快、镶嵌效果好等优点。 

附图说明

图1是基于SIFT算法的建筑物图像序列特征点匹配实验结果图。 

图2是本发明图像镶嵌方法的操作流程图。 

图3是基于视觉方差定位的窗口划分图。 

图4基于视觉方差定位的图像匹配模型。 

图5是本发明优选实施例对建筑物图像视频进行镶嵌的实验结果图。 

具体实施方式

下面结合附图及优选实施例对本发明作进一步的详述。 

本发明的主要任务是采用软件方式对视频图像序列提供一种图像镶嵌方法，并最终获得一幅镶嵌后的大视场图像。由此可见，视频图像序列是本发明需要处理的对象。图像镶嵌技术是将一组相互间存在重叠区域的图像序列实施精确配准而组合形成一幅包含各图像序列信息的宽视野的、完整的、高分辨的新图像，是用来自动创建高分辨率的大范围图像、生成全景图的关键技术。 

本发明的图像采集装置采用日本Panasonic公司的wv-BP330相机，AVENIR公司焦距为8mm的镜头。本优选实施例中的计算机硬件采用Inter Corel 6400双核处理器，主频为2.13G，硬盘大小为160G，用该计算机对一帧图像进行镶嵌算法计算只需1秒左右。采集F帧图像序列进行图像镶嵌操作。连续两帧图像分别为第K帧和第K+1帧，第K帧为基准图像，K＝1时为绝对 基准图像，第K+1帧为候选图像，其中1≤K≤F-1。图像镶嵌技术的基本流程是，首先对基准图像和候选图像进行配准，从而建立两幅图像的数学变换模型；再根据建立的数学变换模型，进行统一坐标变换，即将所有图像序列变换到绝对基准图像的坐标系中，以此来构成完整的图像。对于两幅图像来说，由于存在尺度、旋转和平移变换，其变换关系至少需要3对匹配点来求解。 

本发明优选实施例提供的图像镶嵌方法是通过装有图像采集卡和图像镶嵌软件包的计算机来实现的。计算机硬盘中存放有方差阈值D_thd、相关阈值Cor_thd等参数。图像镶嵌软件包的功能是，按照图2所示的工作流程完成图像的实时镶嵌，其镶嵌过程包括以下四大部分内容。 

一、基于视觉方差计算匹配点的统计集合 

1.1初始化参数变换矩阵 

当接到无人机空中视频情报侦察装置发出的镶嵌命令后，通过相应的传感器采集分辨率为W*H的第K帧图像作为基准图像g_B，并定义K＝1时的图像为绝对基准图像g_A。 

初始化绝对基准图像g_A或第K帧基准图像g_B之间的参数变换矩阵P_B←A为3×3单位阵： 

$P_{B\←A}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)---\left(1\right)$

1.2将基准图像划分为多个窗口 

将分辨率为W*H的基准图像去除边缘部分后分成若干个相同宽度为w_b和高度为h_b的n_w*n_h个窗口。如图3所示。水平方向各去除边缘E_w，垂直方向各去除边缘E_h，将中间的图像划分为大小相同的窗口，每个窗口的宽为w_b，高为h_b。这样就得到水平方向上窗口的数量n_w，竖直方向上窗口的数量n_h，满足： 

$\left\{\begin{array}{c}{n}_w=\frac{W-2*E_w}{w_b}\\ n_h=\frac{H-2*E_h}{h_b}\end{array}\right.---\left(2\right)$

1.3计算每个窗口中的图像方差，得到初始匹配点集合 

在基准图像和候选图像中，如何找到易于匹配的对应点是图像镶嵌技术的难点，因为在图像中可能会随机出现各种目标、复杂背景和噪声。在一些背景均匀的图像区域，如天空和白色墙面等，特征点无法提取，即使采用模板匹配方法也可能会出现匹配漂移和错误的情况。因此，匹配点或区域的正确选择对于图像匹配来说至关重要。一个区域的均匀度可以用方差来表示，图像区域越均匀，其方差就越小，如全白或全黑图像的方差为0；图像区域越不均匀，其方差就越大。 

对于图像中的任意一个划分好的宽度和高度分别为w_b和h_b的窗口，其图像方差D的计算公式为： 

$D=\frac{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}{[g(i,j)-\hat{g}]}^2}{h_b*w_b}---\left(3\right)$

其中，在这个窗口图像区域上第i行第j列图像的灰度值为g(i，j)，图像区域的平均灰度值为： 

$\hat{g}=\frac{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}g(i,j)}{h_b*w_b}---\left(4\right)$

依次计算基准图像中n_w*n_h个窗口的图像方差，保存窗口图像方差D大于方差阈值D_thd的窗口中心位置，得到M个图像方差大于方差阈值D_thd的窗口，其中0≤M≤n_w*n_h。这样就得到适合于匹配的窗口中心位置B_k(x_k，y_k)，k＝1，…，M，方差阈值D_thd的取值范围为20～50之间。 

1.4基于互相关系数进行图像匹配，得到有效匹配点集合 

采集一帧分辨率为W*H的第K+1帧图像作为候选图像g_c。对基准图像g_B 或g_A中M个方差大于阈值D_thd的窗口即基准窗口分别采用互相关系数在候选图像的对应搜索窗口区域中进行匹配。基准窗口的灰度分布函数用表示。在候选图像g_c中分别以对应的窗口中心位置B_k(x_k，y_k)为中心创建一个宽度和高度分别为w_c和h_c的搜索窗口，其中1.4*w_b≤w_c≤1.6*w_b，1.4*h_b≤h_c≤1.6*h_b，在搜索窗口中移动基准窗口而获得不同的匹配窗口，当基准窗口经过在水平方向上移动Δx和在竖直方向上移动Δy后，则可以通过下式计算基准窗口和匹配窗口之间的归一化互相关系数Cor(Δx，Δy)来度量基准窗口和匹配窗口之间的差别： 

$\mathrm{Cor}(\mathrm{\Δx},\mathrm{\Δy})=\frac{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}[g_b(i,j)\·g_c(i,j)]}{\sqrt{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}{g}_b^2(i,j)}\·\sqrt{\underset{i=1}{\overset{h_b}{\mathrm{\Σ}}}\underset{j=1}{\overset{w_b}{\mathrm{\Σ}}}{g}_c^2(i,j)}}---\left(5\right)$

其中，g_b(i，j)为基准图像中某个适合匹配的基准窗口第i行第j列图像的灰度值，g_c(i，j)为候选图像的匹配窗口中第i行第j列图像的灰度值。 

互相关系数Cor(Δx，Δy)越大，说明匹配窗口与基准窗口越相似。在搜索窗口范围内，互相关系数Cor(Δx，Δy)达到最大时，则认为基准图像中的基准窗口B_k(x_k，y_k)与另一幅匹配图像中的匹配窗口C_k(x_k+Δx，y_k+Δy)达到最佳匹配。在搜索窗口区域中互相关系数最大值所对应的匹配窗口中心位置为对应的匹配点。如果最大互相关系数大于相关阈值Cor_thd，则认为这个匹配点为有效匹配点，否则认为这个匹配点为无效匹配点。将这些有效匹配点组成候选图像匹配点的位置集合C＝{C₁，C₂，…，C_N}，其中C_k＝(x_k，y_k)，k＝1，2，…，N，且N≤M，相关阈值Cor_thd的取值范围在0.8～0.9之间。 

例如，基准图像g_B或g_A中若存在三个基准窗口即M＝3时，且其中心点位置分别为B₁，B₂和B₃(见图4a)。匹配时，首先在候选图像g_c中分别以B₁，B₂，B₃三个点为中心创建宽度和高度分别为w_c和h_c的三个搜索窗口，即用箭头从基准图像指向候选图像g_c中的实线框(见图4b)；然后分别在候选图像g_c的实 线框内搜索一个互相关系数为最大值所对应的匹配窗口中心即对应匹配点，如C₁，C₂和C₃，如果这三个最大互相关系数均大于相关阈值Cor_thd，则C₁，C₂和C₃为有效对应匹配点，即N＝3。 

二、计算图像相对参数变换矩阵 

对于基准图像g_B和候选图像g_c两幅连续图像，一共找到了N对有效匹配点，如果N＜3，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B为单位阵；如果N≥3，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵采用以下最小二乘法公式计算： 

P_C←B＝C*B^T*(B*B^T)^-1

$C=\left(\begin{array}{cccc}{C}_{x1}& C_{x2}& \·\·\·& C_{\mathrm{xN}}\\ C_{y1}& C_{y2}& \·\·\·& C_{\mathrm{yN}}\\ 1& 1& \·\·\·& 1\end{array}\right)---\left(6\right)$

$B=\left(\begin{array}{cccc}{B}_{x1}& B_{x2}& \·\·\·& B_{\mathrm{xN}}\\ B_{y1}& B_{y2}& \·\·\·& B_{\mathrm{yN}}\\ 1& 1& \·\·\·& 1\end{array}\right)$

其中，C表示候选图像坐标系中的匹配点奇次坐标且为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标且为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B也为3×3矩阵。 

三、将候选图像变换到绝对基准图像坐标系中 

由于绝对基准图像g_A和候选图像g_c之间存在一定的变换关系，因此需要将它们变换到同一个坐标系中进行连续镶嵌图像显示。本发明中，需要将候选图像g_c变换到绝对基准图像g_A坐标系中。 

3.1计算绝对参数变换矩阵 

在进行图像变换前，需要计算绝对基准图像g_A和候选图像g_c之间的参数变换关系。在由(6)式得到基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B后，计算绝对基准图像g_A和候选图像g_c之间的绝对参数变换矩阵P_C←A为： 

P_C←A＝P_C←B*P_B←A  (7) 

从第三帧图像即K＝3开始，每次由(6)式计算得到P_C←B和由(7)式计算得到P_C←A后，需要用P_C←A更新P_B←A，即令P_B←A＝P_C←A。 

3.2将候选图像变换到绝对基准图像坐标系中 

采用逆向映射，从绝对基准图像g_A出发，通过变换函数求解绝对基准图像g_A上每一个像素点位置在候选图像g_c上的对应位置。根据绝对基准图像g_A中每个点A⁰的奇次坐标，都可以根据下式计算出候选图像g_c中与之对应点C⁰的奇次坐标： 

$C^0=\left(\begin{array}{c}{C}_x^0\\ C_y^0\\ 1\end{array}\right)=P_{C\←A}*A^0$

$A^0=\left(\begin{array}{c}{A}_x^0\\ A_y^0\\ 1\end{array}\right)---\left(9\right)$

其中，A⁰的水平坐标为其取值范围为(1，2，…，W)；垂直坐标为其取值范围为(1，2，…，H)，C⁰的水平坐标为其取值范围为(1，2，…，W)；垂直坐标为其取值范围为(1，2，…，H)。 

将候选图像g_c中点C⁰的像素灰度值g_c(i，j)赋予绝对基准图像g_A对应像素点A⁰后，获得绝对基准图像g_A←C，并将该图像向无人机空中视频情报侦察装置输出。 

通常图像变换可以采用两种映射方式：正向映射和逆向映射。正向映射是根据计算出的图像变换参数将候选图像变换到绝对基准图像所处的坐标空间上。即扫描候选图像的每一个像素，通过变换函数，依次计算每个像素对应到绝对基准图像中的位置。当候选图像的两个相邻像素点映射到绝对基准图像的两个不相邻像素点时，就会出现离散的马赛格和虚点空洞现象。因此， 需要转换思路，可以采用逆向思维，反过来对绝对基准图像的每一个点，都寻找与之对应的候选图像的坐标。逆向映射是从绝对基准图像g_A出发，通过变换函数求解绝对基准图像g_A上每一个像素点位置在候选图像g_c上的对应位置。首先扫描绝对基准图像g_A的每个像素点位置，然后根据变换函数，计算在候选图像g_c上的对应采样像素点，并将该点的灰度值赋值给绝对基准图像g_A的对应像素点。 

逆向映射的效果要好于正向映射，因为绝对基准图像的每个像素都能被扫描，获得适当的灰度值，从而避免了正向映射中输出图像的某些点可能没有被赋值而出现虚点空洞和马赛克的情况。 

四、更新基准图像 

将候选图像g_c作为下一轮计算的基准图像g_B，即g_B＝g_c。 

以上四部分内容是对两帧图像进行的图像配准和镶嵌过程，因而在本发明的应用过程中，上述过程是反复进行的，直到无人机空中视频情报侦察装置给出关机命令后结束。 

在本发明优选实施例中，每帧图像的分辨率为：宽度W＝320(像素)，高度H＝240(像素)；取水平方向除去边缘部分E_w＝40(像素)，垂直方向除去边缘部分E_h＝30(像素)，窗口的分辨率为w_b*h_b＝40*30(像素)，窗口的个数为n_w*n_h＝6*6个；取搜索窗口宽度w_c＝1.5*w_b，搜索窗口高度h_c＝1.5*h_b；取方差阈值D_thd＝30，相关阈值Cor_thd＝0.85。图5给出了采用本优选实施例进行图像镶嵌的实验结果。该图是由180帧建筑物图像序列采用基于视觉方差定位的图像镶嵌方法镶嵌而成，图1(a)和图1(b)是这180帧图像中的其中两幅。可以看出，本发明由于采用基于视觉方差定位的图像镶嵌方法，因此具有较好的全景图像镶嵌效果。 

Claims (4)

1.一种基于视觉方差定位的图像镶嵌方法，其特征在于：该方法包括以下操作步骤： 

第一步，当接到无人机空中视频情报侦察装置发出的镶嵌命令后，通过传感器采集分辨率为W*H的第K帧基准图像g_B，1≤K≤F-1且F为图像镶嵌操作所采集的图像帧数，在K＝1时的基准图像g_B定义为绝对基准图像g_A，将第K帧基准图像g_B与绝对基准图像g_A之间的参数变换矩阵P_B←A初始化为3×3单位阵； 

第二步，将当前基准图像g_B的中心区域划分成宽度为w_b、高度为h_b的n_w*n_h个窗口，中心区域是指基准图像g_B在水平方向两侧各去除边缘E_w和在垂直方向两侧各去除边缘E_h后的剩余部分； 

第三步，根据下式依次计算所述当前基准图像g_B中n_w*n_h个窗口的图像方差D： 

式中，g(i，j)为窗口图像区域中第i行第j列像素的灰度值，为窗口图像区域的平均灰度值

第四步，将各所述窗口的方差与方差阈值D_thd进行比较，得到M个方差大于方差阈值D_thd的基准窗口并保存基准窗口的中心位置B_k且坐标为(x_k，y_k)，其中，0≤M≤n_w*n_h，k＝1，…，M； 

第五步，采集一帧分辨率为W*H的第K+1帧图像作为候选图像g_c； 

第六步，在候选图像g_c中分别以对应的基准窗口中心位置B_k为中心，创建一个宽度和高度分别为w_c和h_c的搜索窗口，其中1.4*w_b≤w_c≤1.6*w_b， 1.4*h_b≤h_c≤1.6*h_b；在搜索窗口中移动基准窗口而获得不同的匹配窗口，计算搜索窗口中各匹配窗口和对应基准窗口之间的归一化互相关系数Cor(Δx，Δy)并找出具有最大归一化互相关系数的匹配窗口，将候选图像g_c中具有最大归一化互相关系数的各匹配窗口的归一化互相关系数与相关阈值Cor_thd进行比较，若归一化互相关系数大于相关阈值Cor_thd的匹配窗口被认为是有效匹配窗口，统计候选图像中有效匹配窗口的中心位置即有效匹配点的集合C＝{C₁，C₂，…，C_N}，其中C_k＝(x_k，y_k)，k＝1，2，…，N，且N≤M； 

第七步，当N＜3时，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B为单位阵；当N≥3时，则基准图像g_B和候选图像g_c之间的相对参数变换矩阵P_C←B采用以下最小二乘法公式计算： 

P_C←B＝C*B^T*(B*B^T)^-1

其中，C表示候选图像坐标系中的匹配点奇次坐标且为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标且为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B也为3×3矩阵； 

第八步，根据下式计算绝对基准图像g_A和候选图像g_c之间的绝对参数变换矩阵P_C←A： 

P_C←A＝P_C←B*P_B←A

从第三帧图像即K＝3开始，每计算一次P_C←B和P_C←A后，就要用P_C←A更新P_B←A； 

第九步，根据绝对基准图像g_A中点A⁰的奇次坐标，计算出候选图像g_c中 与之对应点的奇次坐标C⁰，其计算公式为： 

其中，A⁰的水平坐标为其取值范围为1，2，…，W；垂直坐标为其取值范围为1，2，…，H，C⁰的水平坐标为其取值范围也为1，2，…，W；垂直坐标为其取值范围也为1，2，…，H； 

将候选图像g_c中点C⁰的像素灰度值g_c(i，j)赋予绝对基准图像g_A中与之对应点A⁰后，将计算出的绝对基准图像g_A←C向无人机空中视频情报侦察装置输出； 

第十步，将当前候选图像g_c作为下一轮计算的基准图像g_B，即令g_B＝g_c； 

第十一步，判断是否有关机命令，若为否，则返回到第二步，若为是，则结束操作。 

2.根据权利要求1所述的基于视觉方差定位的图像镶嵌方法，其特征在于：所述方差阈值D_thd的取值范围为20～50之间。 

3.根据权利要求1所述的基于视觉方差定位的图像镶嵌方法，其特征在于：所述相关阈值Cor_thd的取值范围在0.8～0.9之间。 

4.根据权利要求1或2或3所述的基于视觉方差定位的图像镶嵌方法，其特征在于：每帧图像的分辨率为：宽度W＝320像素，高度H＝240像素；取水平方向除去边缘部分E_w＝40像素，垂直方向除去边缘部分E_h＝30像素，窗口的分辨率为w_b*h_b＝40*30像素，窗口的个数为n_w*n_h＝6*6个；搜索窗口的分辨率为w_c*h_c＝60*45像素；方差阈值D_thd＝30，相关阈值Cor_thd＝0.85。