CN104820965A - 一种低空无人机影像无地理编码快速拼接方法 - Google Patents

Abstract

一种低空无人机影像无地理编码快速拼接方法，从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，包括从提取关键帧影像，得到所有待拼接的影像；对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字塔影像，确定关键点位置，剔除不稳定点，然后用SUSAN算法对关键点进行筛选，得到最终的特征点；根据相应参考图像和待配准图像分别的特征点进行特征匹配，对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加权平均值融合消除接缝及锯齿，拼接生成全景图像。本发明技术方案可服务于应急测绘、防灾减灾、国土监测、突发事件监控、石油部门管线布设及巡查和电力部门线路布设及电力线巡查等领域。

Description

一种低空无人机影像无地理编码快速拼接方法

技术领域

本发明属于视频影像处理和图像处理领域，涉及一种视频帧图像提取技术与图像自动拼接技术，特别涉及一种无地理编码的低空无人航摄遥感系统视频监控与影像快速拼接纠正技术。

背景技术

随着科学技术的进步和社会可持续发展，国民经济建设对国土资源的需求与日俱增，准确、快速、经济地获取地理信息是实现国土资源科学开发与管理的前提，同时也是实现数字地球、数字中国战略的首要环节。我国各种地质灾害和其它突发性事件较多，如何快速准确地获取现场信息，为决策者提供决策依据，是长久以来不断完善和发展的问题。

近年来随着科学技术的进步，轻型无人机测绘遥感系统的研制和工程化应用取得技术突破，尤其是轻小型监测型无人机的发展和完善，使其能够获取更加稳定的视频与图像，有效补充了传统航摄手段在高分辨率遥感影像获取方面的薄弱环节，完善了我国遥感数据获取技术体系，成为灵活机动、低成本、高效获取高分辨率遥感数据的重要组成部分，为应急方面提供了快速及时可靠的决策依据。

低空无人航摄遥感系统视频监控与影像快速拼接纠正系统利用低空无人机飞行平台实时视频影像数据，实现空地视频数据的实时传输、监测与视频数据保存；通过非量测型摄像机的标定，提取关键帧影像，实现无地理编码关键帧影像的快速拼接，并可结合控制数据对拼接后的成果影像进行几何纠正。可服务于应急测绘、防灾减灾、国土监测、突发事件监控、石油部门管线布设及巡查和电力部门线路布设及电力线巡查等领域。

国外具有代表性的研究人员有微软研究院的Richard Szeliski教授和匹兹堡大学的SevketGumustekin博士等人。Sevket Gumustekin博士主要对消除在固定点旋转摄像机拍摄自然景物时形成的透视变形，和将捕获的图像拼接为全景图进行了研究。起主要的研究成果是通过标定摄像机来建立成像模型，再利用成像模型将捕获到的图像投影到统一的高斯球面上，从而获得拼接图像。用这种基于投影模型的方法来完成图像拼接，拼接的效果好、可靠性高。但是该方法要求对摄像机进行精确的标定，同时要求摄像机透镜本身的畸变参数引起的图像变形可以忽略不计，这在实际应用中比较难以实现。Szeliski教授又提出通过迭代求精每幅图像对应的旋转矩阵和摄像机焦距，来实现拼接的方法。这种方法在一定程度上减少了拍摄图像时对摄像机运动的限制，但计算量却大量增加。

发明内容

为了克服现有技术的不足，本发明提出了一种低空无人机影像无地理编码快速拼接技术。

本发明技术方案提供一种低空无人机影像无地理编码快速拼接方法，其特征在于：从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，包括以下步骤，

步骤1，从视频流中提取关键帧影像，得到所有待拼接的影像；

步骤2，对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字塔影像，确定关键点位置，剔除不稳定点，确定关键点梯度大小和方向，提取特征描述符；然后用SUSAN算法对关键点进行筛选，得到最终的特征点；

步骤3，将待拼接的影像作为待配准图像，根据相应参考图像和待配准图像分别的特征点进行特征匹配，包括先用K-D树搜索待配准图像上每个特征点在相应参考图像上的两个最近邻域特征点，然后通过计算比较最近邻域与次近邻域的比值，基于RANSAC算法筛选得到最终的匹配点；

步骤4，对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加权平均值融合消除接缝及锯齿，拼接生成全景图像，

采取增益补偿法进行平滑时，利用以下误差方程求取误差e，

       $e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{N}_{\mathrm{ij}}({(g_i{\stackrel{\‾}{I}}_{\mathrm{ij}}-g_j{\stackrel{\‾}{I}}_{\mathrm{ij}})}^2/{\mathrm{\δ}}_N^2+{(1-g_i)}^2/{\mathrm{\δ}}_g^2)$

其中，N_ij为重叠部分中的像元数，δ_N和δ_g为常数，g_i和g_j分别为两张影像重叠区域各像素的增益补偿，为重叠区域的平均灰度；

进行加权平均值融合时，采用以下公式，

       $f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\∈f_1\\ w_1(x,y)f_1(x,y)+w_2(x,y)f_2(x,y)& (x,y)\∈f_1\∩f_2\\ f_2(x,y)& (x,y)\∈f_2\end{array}\right.$

其中，f₁和f₂分别表示两幅待拼接的影像，f表示重合后的影像，x,y为全景图像素坐标值，w₁(x,y)和w₂(x,y)分别表示第一幅影像和第二幅影像中重叠区域对应像素(x,y)的权值，满足w₁(x,y)+w₂(x,y)＝1,0<w₁(x,y)<1,0<w₂(x,y)<1。

而且，权值采用帽函数确定如下，

       $w_i(x,y)=(1-|\frac{x}{{\mathrm{width}}_i}-\frac{1}{2}\left|\right)\&CenterDot;(1-|\frac{y}{{\mathrm{height}}_i}-\frac{1}{2}\left|\right)$

其中，width_i和height_i分别表示第i幅影像的宽和高。

而且，进行加权平均值融合时，在进行多幅影像拼接的情况下，设需要对num幅影像进行拼接，采用以下公式，

       $f(x,y)=\underset{i}{\mathrm{\&Sigma;}}{k}_i(x,y)f_i(x,y),(x,y)\&Element;(f_1\&cap;f_2...f_{\mathrm{num}})$

       $k_i(x,y)=\frac{w_i(x,y)}{\underset{i}{\mathrm{\&Sigma;}}{w}_i(x,y)}$

其中，f_i表示待拼接的影像，k_i(x,y)表示第i幅影像中重叠区域对应像素(x,y)归一化后的的权值，i＝1,2,…,num。

而且，步骤2中所述确定关键点位置，包括利用尺度空间函数的二次泰勒展开式用最小二乘法进行拟合，通过拟合计算极值进一步确定关键点的精确位置和尺度，使关键点的最终坐标和尺度精确到子像素级。

而且，步骤2中所述剔除不稳定点，包括根据预设阈值进行低对比度点的剔除，以及边缘响应的去除。

本发明使用Microsoft的DirectShow技术进行对视频图像进行帧捕捉获取各区域图像，通过SUSAN算子在SIFT匹配的基础上剔除一部分匹配点，降低了后续计算处理的时间要求，并加入了K-D树的最优选择分析过程，以及通过RANSAC算法，提高特征提取的精度、独立性与匹配率，简化了构建投影变换模型的计算过程。在图像拼接融合方面，对图像重叠区域进行增益补偿后进行加权平均融合，消除拼接缝和色彩差异，改善图像的视觉质量。最后生成测区的全景图像。应用本发明，可从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，可服务于应急测绘、防灾减灾、国土监测、突发事件监控、石油部门管线布设及巡查和电力部门线路布设及电力线巡查等领域。

附图说明

图1为本发明实施例的提取特征描述符示意图。

图2为本发明实施例的筛选特征点图。

具体实施方法

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。本实施例使用数据源为704×576的MPEG-1格式的视频流，具体实施步骤如下：

步骤1：从视频流中提取关键帧影像，得到所有待拼接的影像。

具体实施时，提取关键帧影像可采用现有技术。实施例使用软件Microsoft DirectShow，直接通过IGraphBuilder接口调用IBasicVideo，从MPEG编码的视频流中提取关键帧影像。因为实时传输通常采用AVI、MPEG-1等媒体类型，而MPEG-2常见的格式如DVD数据量较大是前者的十倍，实时传输的平台很少采用，可以设定对AVI、MPEG-1媒体类型适用，而对于MPEG-2类型以错误返回。

步骤2：对各待拼接的影像分别进行特征点提取，首先提取多尺度空间的极值点，筛选关键点，然后用SUSAN模板在图像上进行滑动，对关键点进行筛选，保留检测到的USAN成员作为最终正确的特征点。

步骤2具体实现包括以下子步骤：

2.1建立多尺度空间，构建金字塔影像；确定关键点位置，剔除不稳定点；确定关键点梯度，包括确定其大小和方向；提取特征描述符。该算法从图像特征尺度选择出发，建立多尺度空间，在不同尺度空间下检测同一特征点，确定特征点位置的同时确定其所在尺度，以达到尺度抗缩放的目的，剔除一些对比度较低的点以及边缘响应点，并提取旋转不变特征描述符以达到抗仿射变换的目的。实施例的步骤2.1具体包括以下子步骤：

2.1.1建立多尺度空间；

尺度空间的基本思想是：在图像信息处理模型中引入一个被视为尺度的参数，通过连续变化的尺度参数获取不同尺度下的图像不变的本质特征。

二维图像在不同尺度下的尺度空间可由图像I(x,y)与高斯核G(x,y,σ)卷积表示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，(x,y)为图像的像素坐标，L(x,y,σ)代表图像的尺度空间，σ为尺度空间因子，其值越小表示图像被平滑的越少，相应的尺度越小。大尺度对应图像的概貌特征，小尺度对应图像的细节特征。

为了在尺度空间检测到稳定关键点，进一步产生了高斯差分尺度空间(DOG)。利用不同尺度的高斯差分核G(x,y,kσ)与图像I(x,y)卷积生成。

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中，D(x,y,σ)为尺度空间函数，k为不同尺度的系数。

G(x,y,σ)为二维高斯函数，定义如下：

       $G(x,y,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/{2\mathrm{\&sigma;}}^2}$

σ代表了高斯正态分布的方差。

2.1.2构建金字塔影像，

设待拼接的影像为P副，则最终建立的金字塔影像共有P组，每组有S层，下一级影像由上一级影像降采样得到。首先对最高层原始影像经过一些列高斯卷积运算，得到相应的设定尺度空间影像。再在每一阶之后对高斯影像做因子为2的降采样，并保存下一级影像，重复此项操作。在寻找尺度空间的极值点时，对于每一个采样点，都将其和所有相邻点做比较，看其是否比他图像域及尺度域的相邻点大或者小，是则确定为极值点，作为关键点的候选点。其中待检测的点和他同尺度下的八个相邻点以及上下两个尺度中各9个相邻点共26个点进行对比，以保证在图像空间和尺度空间中均为极值点。

2.1.3确定关键点位置，剔除不稳定点，包括以下子步骤，

2.1.3.1确定关键点的精确位置：根据步骤2.1.2所得关键点的候选点，利用尺度空间函数D(x,y,σ)的二次泰勒展开式用最小二乘法进行拟合，通过拟合计算极值进一步确定关键点的精确位置和尺度。从而使关键点的最终坐标和尺度精确到子像素级。

将D(x,y,σ)表示为D(X)，做为关键点的值，用二阶泰勒公式展开：

       $D\left(X\right)=D+\frac{{\&PartialD;D}^T}{\&PartialD;X}X+\frac{1}{2}{X}^T\frac{{\&PartialD;}^{2}D}{{\&PartialD;X}^2}X$

其中，D表示求导，矩阵X＝(x,y,σ)^T为关键点的偏移量。

对X求导，并令其为0，则继而求得采样点原点的位置为：

       $\hat{X}=-\frac{{\&PartialD;}^2{D}^{-1}}{{\&PartialD;X}^2}\frac{\&PartialD;D}{\&PartialD;X},$       为X的极值。

即为: $\left(\begin{array}{ccc}\frac{{\&PartialD;}^{2}D}{{\&PartialD;\mathrm{\&sigma;}}^2}& \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{\&sigma;y}}& \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{\&sigma;x}}\\ \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{\&sigma;y}}& \frac{{\&PartialD;}^{2}D}{{\&PartialD;y}^2}& \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{yx}}\\ \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{\&sigma;x}}& \frac{{\&PartialD;}^{2}D}{\&PartialD;\mathrm{yx}}& \frac{{\&PartialD;}^{2}D}{{\&PartialD;x}^2}\end{array}\right)\left(\begin{array}{c}\mathrm{\&sigma;}\\ x\\ y\end{array}\right)=-\left(\begin{array}{c}\frac{\&PartialD;D}{\&PartialD;\mathrm{\&sigma;}}\\ \frac{\&PartialD;D}{\&PartialD;y}\\ \frac{\&PartialD;D}{\&PartialD;x}\end{array}\right)$

2.1.3.2低对比度点的剔除；

对于为关键点的极值，具体实施时本领域技术人员可自行预设相应阈值，实施例中阈值取0.003，如果其绝对值则将该关键点作为对比度较低点剔除。

2.1.3.3边缘响应的去除

由高斯差分算子的定义可以知道，如果定义的不够完善，极有可能使其极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向则有较小的主曲率。主曲率通过一个2×2的Hessian矩阵H求出。x，y表示求导方向，如D_xx表示DOG金字塔中某一尺度的图像沿x轴方向求导两次：

       $H=\left(\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right)$

导数由采样点的相邻差估计得到。

D的主曲率和H的特征值成正比，令α为最大的特征值，β为最小的特征值，则定义函数Tr(H)、Det(H)如下：

Tr(H)＝D_xx+D_yy＝α+β

Det(H)＝D_xxD_yy-(D_xy)²＝αβ

令α＝γβ，则：

       $\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\&alpha;}+\mathrm{\&beta;})}^2}{\mathrm{\&alpha;\&beta;}}=\frac{(\mathrm{\&gamma;\&beta;}+\mathrm{\&beta;})}{{\mathrm{\&gamma;\&beta;}}^2}=\frac{{(\mathrm{\&gamma;}+1)}^2}{\mathrm{\&gamma;}}$

(γ+1)²/γ的值在γ＝1时，即α＝β时最小，并随着γ的值增大而增大，如果要检测主曲率是否在某阈值γ之内，只需检测：

       $\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(\mathrm{\&gamma;}+1)}^2}{\mathrm{\&gamma;}}$

具体实施时本领域技术人员可自行预设相应阈值，本实施例中取γ＝10，将小于γ的结果作为边缘响应相关的低对比度特征点剔除。

2.1.4确定步骤2.1.3剔除不稳定点后剩余各关键点梯度，包括确定梯度的大小(模)和方向

利用关键点相邻的像素的梯度分布特征，为每个关键点指定方向参数，使该算子具备旋转不变形。

       $m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝αtan2((L(x,y+1)-L(x,y-1))²+(L(x+1,y)-L(x-1,y)))²

m(x,y)、θ(x,y)分别为(x,y)处梯度的模值和方向公式，L的尺度是每个关键点各自所在的尺度。

2.1.5提取剩余各关键点的特征描述符。

实施例在以关键点为中心的8×8的窗口中，中心为关键点位置，逐点计算梯度的模值并高斯加权，其中越靠近关键点位置的像素在其梯度方向上贡献的信息量越大。参见图1，8×8的窗口中有四个4×4小块，在每个4×4小块上计算其八个方向的梯度方向直方图，绘制每个梯度方向的累加值，产生一个种子点。每个种子点有8个方向的信息量，这种邻域方向的综合信息可以增强该算法的抗噪声能力，对于含有定位误差的特征匹配也有较好的容错性。

2.2采用SUSAN算法从剩余的关键点中筛选特征点；

通过以一个像素点为中心的区域内的亮度值分布情况来判断平滑区域，得到待识别目标的边缘和角点。参见图2，以中心像素点为核心点取半径4像素的模板，在对应模板区域内的图像中比较每个像素的亮度值与核心点像素的亮度值，将比较结果相同或相似的点组成的区域称为单值分割相似核心，即USAN，其大小为与中心点像素亮度相似或相同的像素点的数量，在局部区域内USAN最小的像素点为所求角点。具体实施时，SUSAN算法可参见相关文献。

步骤3：提取特征点后的特征匹配；将待拼接的影像作为待配准图像，根据相应参考图像和待配准图像分别的特征点进行特征匹配。具体实施时，通常是按顺序取第一幅影像为第二幅影像的参考图像，取第二幅影像为第三幅影像的参考图像，依次类推。先对特征点进行粗匹配，用K-D树搜索待配准图像上每个特征点在相应参考图像上的两个最近邻域特征点；然后通过计算比较最近邻域与次近邻域的比值，基于RANSAC算法，筛选得到最终的匹配点。K-D树和RANSAC算法为现有技术。为便于实施参考起见，提供本发明实施例基于K-D树搜索结果的实现如下：

3.1具体实施时，本领域技术人员可自行对最近邻域与次近邻域的比值预先设置阈值T(本实施例中取0.75)，如果其比值小于该阈值T，则保留该点为匹配点，否则将该点视为错误匹配点。

3.2在上一步中所得到的匹配点中随机选取不在同一条直线上的三对匹配点，计算其线性变换矩阵H。

3.3计算每对匹配点与H的垂直距离D。

3.4选取一定的内点距离阈值，根据内点距离小于阈值的原则，计算矩阵H的内点，并根据所获得的内点作为匹配点并重新计算H。

3.5返回3.2，连续重复进行上述的随机步骤采样N次，直到得到最大的内点集合且内点数量趋于稳定，根据最终得到的内点数量估计变换矩阵H，并将这个矩阵作为最终的图像变换矩阵。

步骤4：对待拼接的影像采取增益补偿法进行平滑，减小影像之间由于光照等因素影像而造成的影像反差，之后对拼接的重叠区域进行加权平均值融合消除接缝及锯齿，拼接生成全景图像。

4.1增益补偿法平滑，对于影像上重叠部分的像素，可以得到误差方程：

       $e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{u_{i\&Element;R(i,j)}}{\mathrm{\&Sigma;}}{(g_i{I}_i\left(u_i\right)-g_i{I}_j\left(u_j\right))}^2$

式中的g_i和g_j分别为两张影像重叠区域各像素的增益补偿，R(i,j)为重叠区域，u_i、u_j分别为待匹配的两幅影像重叠区域中像素，I_i(u_i)、I_j(u_j)为像素u_i、u_j的灰度，e为误差，n为重叠区域中的像素数目，另外可以求得重叠区域的平均灰度

       ${\stackrel{\&OverBar;}{I}}_{\mathrm{ij}}=\frac{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}{I}_i\left(u_i\right)}{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}}$

当增益补偿g等于0时可得最优解，故可得改进后的误差方程：

       $e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{N}_{\mathrm{ij}}({(g_i{\stackrel{\&OverBar;}{I}}_{\mathrm{ij}}-g_j{\stackrel{\&OverBar;}{I}}_{\mathrm{ij}})}^2/{\mathrm{\&delta;}}_N^2+{(1-g_i)}^2/{\mathrm{\&delta;}}_g^2)$

其中N_ij＝|R(i,j)|即为重叠部分中的像元数，即等于n；δ_N和δ_g均为常数，具体实施时本领域技术人员可自行预设取值，实施例根据Lowe的经典理论分别取δ_N＝10，δ_g＝0.1。求得误差e的取值，即可对图像重叠区域进行增益补偿。

4.2加权平均融合，对重叠区域中的像素先进行加权后再进行叠加平均，w₁(x,y)和w₂(x,y)分别表示第一幅影像和第二幅影像中重叠区域对应像素(x,y)的权值，满足w₁(x,y)+w₂(x,y)＝1,0<w₁(x,y)<1,0<w₂(x,y)<1。该算法可以在一定程度上对重叠区域实现平滑过渡，消除拼接痕迹。

       $f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ w_1(x,y)f_1(x,y)+w_2(x,y)f_2(x,y)& (x,y)\&Element;f_1\&cap;f_2\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

f₁和f₂分别表示两幅待拼接的影像，f表示重合后的影像，x,y为全景图像素坐标值。

在权值的选取上采用帽函数加权平均法，对图像中心区域的像素赋予较高的权值，图像边缘区域的像素权值较低，权值采用帽函数来确定：

       $w_i(x,y)=(1-|\frac{x}{{\mathrm{width}}_i}-\frac{1}{2}\left|\right)\&CenterDot;(1-|\frac{y}{{\mathrm{height}}_i}-\frac{1}{2}\left|\right)$

其中width_i和height_i分别表示第i幅影像的宽和高，此时i＝1、2。

图像质量太差时，可能会用到多幅影像加权补偿丢失的信息，在进行多幅影像拼接的情况下，设需要对num幅影像进行拼接，为了满足需要对采用帽函数确定的各幅影像权值进行归一化，归一化后的权值为：

       $k_i(x,y)=\frac{w_i(x,y)}{\underset{i}{\mathrm{\&Sigma;}}{w}_i(x,y)}$

类似的，对于多幅影像的重叠区域有：

       $f(x,y)=\underset{i}{\mathrm{\&Sigma;}}{k}_i(x,y)f_i(x,y),(x,y)\&Element;(f_1\&cap;f_2...f_{\mathrm{num}})$

其中，f_i表示待拼接的影像，k_i(x,y)表示第i幅影像中重叠区域对应像素归一化后的权值，i＝1,2,…,num。

应当理解的是，本说明书未详细阐述的部分均属于现有技术，本发明技术人员能够实现本发明所提供的技术方案。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种低空无人机影像无地理编码快速拼接方法，其特征在于：从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，包括以下步骤，

步骤1，从视频流中提取关键帧影像，得到所有待拼接的影像；

步骤2，对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字塔影像，确定关键点位置，剔除不稳定点，确定关键点梯度大小和方向，提取特征描述符；然后用SUSAN算法对关键点进行筛选，得到最终的特征点；

步骤3，将待拼接的影像作为待配准图像，根据相应参考图像和待配准图像分别的特征点进行特征匹配，包括先用K-D树搜索待配准图像上每个特征点在相应参考图像上的两个最近邻域特征点，然后通过计算比较最近邻域与次近邻域的比值，基于RANSAC算法筛选得到最终的匹配点；

步骤4，对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加权平均值融合消除接缝及锯齿，拼接生成全景图像，

采取增益补偿法进行平滑时，利用以下误差方程求取误差e，

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{N}_{\mathrm{ij}}({(g_i{\stackrel{\&OverBar;}{I}}_{\mathrm{ij}}-g_j{\stackrel{\&OverBar;}{I}}_{\mathrm{ij}})}^2/{\mathrm{\&delta;}}_N^2+{(1-g_i)}^2/{\mathrm{\&delta;}}_g^2)$

其中，N_ij为重叠部分中的像元数，δ_N和δ_g为常数，g_i和g_j分别为两张影像重叠区域各像素的增益补偿，为重叠区域的平均灰度；

进行加权平均值融合时，采用以下公式，

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ w_1(x,y)f_1(x,y)+w_2(x,y)f_2(x,y)& (x,y)\&Element;f_1\&cap;f_2\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁和f₂分别表示两幅待拼接的影像，f表示重合后的影像，x,y为全景图像素坐标值，w₁(x,y)和w₂(x,y)分别表示第一幅影像和第二幅影像中重叠区域对应像素(x,y)的权值，满足w₁(x,y)+w₂(x,y)＝1,0<w₁(x,y)<1,0<w₂(x,y)<1。

2.根据权利要求1所述低空无人机影像无地理编码快速拼接方法，其特征在于：权值采用帽函数确定如下，

$w_i(x,y)=(1-|\frac{x}{{\mathrm{width}}_i}-\frac{1}{2}\left|\right)\&CenterDot;(1-|\frac{y}{{\mathrm{height}}_i}-\frac{1}{2}\left|\right)$

其中，width_i和height_i分别表示第i幅影像的宽和高。

3.根据权利要求2所述低空无人机影像无地理编码快速拼接方法，其特征在于：进行加权平均值融合时，在进行多幅影像拼接的情况下，设需要对num幅影像进行拼接，采用以下公式，

$f(x,y)=\underset{i}{\mathrm{\&Sigma;}}{k}_i(x,y)f_i(x,y),$ (x,y)∈(f₁∩f₂...f_num)

$k_i(x,y)=\frac{w_i(x,y)}{\underset{i}{\mathrm{\&Sigma;}}{w}_i(x,y)}$

其中，f_i表示待拼接的影像，k_i(x,y)表示第i幅影像中重叠区域对应像素(x,y)归一化后的的权值，i＝1,2,…,num。

4.根据权利要求1或2或3所述低空无人机影像无地理编码快速拼接方法，其特征在于：步骤2中所述确定关键点位置，包括利用尺度空间函数的二次泰勒展开式用最小二乘法进行拟合，通过拟合计算极值进一步确定关键点的精确位置和尺度，使关键点的最终坐标和尺度精确到子像素级。

5.根据权利要求1或2或3所述低空无人机影像无地理编码快速拼接方法，其特征在于：步骤2中所述剔除不稳定点，包括根据预设阈值进行低对比度点的剔除，以及边缘响应的去除。