CN104166580A - 基于参考帧变换及拼接尺寸自适应的同步在线拼接方法 - Google Patents

Abstract

本发明涉及一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法。针对拼接结果与视频流要求同步一致的情况，本发明使用了共享内存技术，保证待拼接帧为当前最新帧，从而实现同步性；为了保证拼接结果的准确性，使用了参考帧变换技术，减少了累积误差，增加了视频流的可拼接时长；针对给拼接结果分配固定尺寸，造成的内存资源浪费和拼接性能下降的问题，本发明使用了拼接尺寸自适应技术，动态计算应该分配的尺寸大小，减少不必要的内存开销，提高拼接性能。

Description

基于参考帧变换及拼接尺寸自适应的同步在线拼接方法

技术领域

本发明涉及一种同步在线图像拼接技术，具体为基于参考帧变换及拼接尺寸自适应的同步在线拼接技术。

背景技术

图像拼接技术不仅是计算机视觉领域研究的热点问题，在实际的生活中也有广泛的应用，小到手机中的全景拼接，大到卫星所摄星系图像的拼接。图像拼接技术最核心的目的就是提供更全、更准确的全局信息，向观测者反映一片区域、一个场景的完整信息。其中，实时视频流的同步在线拼接又是未来拼接技术的发展趋势。试想一下，无人机对一片未知的区域进行拍摄，在拍摄过程中，能同步地对回传图像结果进行拼接和显示，这种拼接技术能够为军事侦查、地形勘测、灾后救援等需求提供所摄区域的同步全景信息，从而减少应用者做出决策的时间。

文献“何贝,王贵锦,沈永玲,等.结合地理参数的航拍视频实时拼接算法[J].应用科学学报,2012,30(2):151-157.”提出了一种结合地理参数的航拍视频实时拼接算法。此方法根据地理参数对相机运动模型进行分解，完成视频帧间的实时配准，估计视频每帧的主运动方向，将现有的单一主方向的流形拼接算法拓展到任意方向，最后根据地理坐标局部修正拼接条带。这种方法对于有地理坐标区域和所摄视频中未出现拍摄倾角变化的情况，能够产生比较好的结果。实际的需求往往是需要对一块未知区域进行地图绘制，这时该方法会失效，并且无人机在航拍的时候，会受到气流、雨水等自然条件的影响，不可能长时间保持一种拍摄角度，拍摄倾角必定会发生变化，这也会影响拼接的整体质量。而且，根据文章中的实验结果可知，其拼接结果的尺寸为固定大小，并没有用到拼接尺寸自适应技术，生成图中有效结果部分占整个生成图的比例很小，这会造成内存的极大浪费和拼接性能的降低。除此之外，该方法并不能同步在线进行拼接，即无法同步显示当前拼接的结果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法。

技术方案

一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，其特征在于步骤如下：

步骤1：将第一帧图像作为参考帧，下一帧作为拼接帧，提取当前参考帧与最新拼接帧的SIFT特征点并进行匹配，将参考帧和拼接帧的能够匹配的特征点数量与设定的阈值进行比较：

如果特征点数量高于设定的阈值，进入步骤2；如果特征点数量小于设定的阈值，再重新取下一帧作为拼接帧进行比较：如果特征点数量高于设定的阈值，进入步骤2；否则认为这两次匹配无效，重新选择参考帧，新的参考帧为与旧参考帧能够有效匹配的最新拼接帧；

步骤2：根据两帧图像之间的特征点对应关系，计算透视变换模型：

$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]---\left(1\right)$

其中，h₁，h₂，h₃用于表示拼接帧图像在给定世界坐标系x轴方向上的平移和旋转，h₄，h₅，h₆用于表示拼接帧图像在给定世界坐标系y轴方向上的平移和旋转，h₇，h₈，h₉用于表示拼接帧图像的尺度变换；

步骤3：计算透视变化模型的重投影误差，判断透视变化模型参数是否无效：

a、假设待拼接图像中任意像素p＝(x,y,1)^T，由下式计算此像素在参考帧图像中对应的像素p'＝(x',y',1)^T：

$\left\{\begin{array}{c}{x}^{\′}=(h_{1}x+h_{2}y+h_3)/(h_{7}x+h_{8}y+h_9)\\ y^{\′}=(h_{4}x+h_{5}y+h_6)/(h_{7}x+h_{8}y+h_9)\end{array}\right.---\left(2\right)$

写成矩阵的形式为：

${(x^{\′},y^{\′},1)}^T=\frac{1}{(h_{7}x+h_{8}y+h_9)}\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]{(x,y,1)}^T---\left(3\right)$

b、计算p'＝(x',y',1)^T重新投影到此拼接帧图像的对应像素p″＝(x″,y″,1)^T：

${(x^{\′\′},y^{\′\′},1)}^T=\frac{1}{(h_7^{\′}x+h_8^{\′}y+h_9^{\′})}{H}^{-1}{(x^{\′},y^{\′},1)}^T---\left(4\right)$

其中，h'₇、h'₈、h'₉是H^-1第三行的元素；

c、重投影误差由下式计算：

$\mathrm{error}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{|{x_i}^{\′\′}-x_i|}^2+{|{y_i}^{\′\′}-y_i|}^2}---\left(5\right)$

如果误差大于5个像素，则认为此透视变化模型参数无效；

步骤4：自适应调整拼接图像尺寸：

根据透视变换模型和公式3，计算拼接帧四个顶点的图像坐标经过透视变换后在参考帧图像坐标系下的坐标：

所述的拼接帧四个顶点的图像坐标：左上角Left_Up＝(0,0)，右上角Right_Up＝(width,0)，左下角Left_Bottom＝(0,height)，右下角Right_Bottom＝(width,height)；

所述的经过透视变换后的在参考帧图像坐标系下的坐标：左上角Left_Up＝(x_lu,y_lu)，右上角Right_Up＝(x_ru,y_ru)，左下角Left_Bottom＝(x_lb,y_lb)，右下角Right_Bottom＝(x_rb,y_rb)；

确定width,x_lu,x_ru,x_lb,x_rb和height,y_lu,y_ru,y_lb,y_rb中的最大值和最小值：

$\left\{\begin{array}{c}\max X=\max (\mathrm{width},x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \min X=\min (0,x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \max Y=\max (\mathrm{height},y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\\ \min Y=\min (0,y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\end{array}\right.---\left(5\right)$

计算需要生成的拼接结果的尺寸，其中ε_w、ε_h是尺寸补偿：

$\left\{\begin{array}{c}\mathrm{new}\_\mathrm{width}=\max X-\min X+{\mathrm{\ϵ}}_w\\ \mathrm{new}\_\mathrm{height}=\max Y-\min Y+{\mathrm{\ϵ}}_h\end{array}\right.---\left(6\right)$

按照此尺寸动态地分配内存空间给拼接帧图像，再利用逐像素复制，完成图像拼接。

所述的阈值的取值范围为大于10且小于输入图像的分辨率大小。

所述的ε_w、ε_h根据输入图像的分辨率确定，ε_w为图像宽的20％，ε_h为图像高的20％。

有益效果

本发明提出的一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，产生的有益效果：使用共享内存技术，保证拼接的每一帧都是当前视频流的最新一帧，从而保证同步性；利用变换参考帧方法，减少累积误差，增加视频流的可拼接时长；利用拼接尺寸自适应技术，动态地分配内存空间，以减少拼接结果的内存消耗，提高拼接性能。

具体实施方式

现结合实施例对本发明作进一步描述：

本方法首先在计算机中开辟一段地址固定的内存区，无人机每拍摄一张图像都将其复制到这块内存中，后端处理程序一直检测这块内存区是否有数据进入，如果有数据，立即将数据取走，否则继续检测。这样既能保证视频采集模块和拼接模块具有一定的独立性，又能保证数据的同步性。累积误差是图像拼接中最常见的问题，只拼接几十张图像可能累积误差的问题并不会暴露，但是如果拼接几千，几万张，累计误差问题就会严重影响拼接质量，甚至导致拼接失败。基于此分析，本发明提出参考帧变换方法，找到不同图像帧与参考帧之间的特征点匹配关系，估计透视变换模型参数。使用变换参考帧的方法减少累计误差。对拼接模块从内存中取出的每一帧图像提取特征点，匹配当前参考帧与最新拼接帧的特征点，得到这两帧的匹配关系。由于无人机在进行航拍时，会受到风力、气流等自然因素的影响，不可能长时间保持一个拍摄角度，所以不能使用仿射变换模型进行估计，为了减少这些不可控因素对拼接结果的影响，本发明使用自由度更高的透视变换模型描述两帧之间的联系。根据之前得到的透视变换模型，计算重投影误差，只有当此误差在5个像素以内时，才认为估计的参数有效。采用拼接尺寸自适应技术，给拼接结果分配合理的尺寸，不仅能避免内存空间的浪费，也能够提高拼接整体性能。具体步骤如下：

步骤1：将第一帧图像作为参考帧，下一帧作为拼接帧，提取当前参考帧与最新拼接帧的SIFT特征点并进行匹配，将参考帧和拼接帧的能够匹配的特征点数量与设定的阈值进行比较，阈值的取值范围为大于10且小于输入图像的分辨率大小：

如果特征点数量高于设定的阈值，进入步骤2；如果特征点数量小于设定的阈值，再重新取下一帧作为拼接帧进行比较：如果特征点数量高于设定的阈值，进入步骤2；否则认为这两次匹配无效，重新选择参考帧，新的参考帧为与旧参考帧能够有效匹配的最新拼接帧；

步骤2：根据两帧图像之间的特征点对应关系，计算透视变换模型：

$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]---\left(1\right)$

其中，h₁，h₂，h₃用于表示拼接帧图像在给定世界坐标系x轴方向上的平移和旋转，h₄，h₅，h₆用于表示拼接帧图像在给定世界坐标系y轴方向上的平移和旋转，h₇，h₈，h₉用于表示拼接帧图像的尺度变换；

步骤3：计算透视变化模型的重投影误差，判断透视变化模型参数是否无效：

a、假设待拼接图像中任意像素p＝(x,y,1)^T，由下式计算此像素在参考帧图像中对应的像素p'＝(x',y',1)^T：

$\left\{\begin{array}{c}{x}^{\′}=(h_{1}x+h_{2}y+h_3)/(h_{7}x+h_{8}y+h_9)\\ y^{\′}=(h_{4}x+h_{5}y+h_6)/(h_{7}x+h_{8}y+h_9)\end{array}\right.---\left(2\right)$

写成矩阵的形式为：

${(x^{\′},y^{\′},1)}^T=\frac{1}{(h_{7}x+h_{8}y+h_9)}\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]{(x,y,1)}^T---\left(3\right)$

b、计算p'＝(x',y',1)^T重新投影到此拼接帧图像的对应像素p″＝(x″,y″,1)^T：

${(x^{\′\′},y^{\′\′},1)}^T=\frac{1}{(h_7^{\′}x+h_8^{\′}y+h_9^{\′})}{H}^{-1}{(x^{\′},y^{\′},1)}^T---\left(4\right)$

其中，h'₇、h'₈、h'₉是H^-1第三行的元素；

c、重投影误差由下式计算：

$\mathrm{error}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{|{x_i}^{\′\′}-x_i|}^2+{|{y_i}^{\′\′}-y_i|}^2}---\left(5\right)$

如果误差大于5个像素，则认为此透视变化模型参数无效；

步骤4：自适应调整拼接图像尺寸：

根据透视变换模型和公式3，计算拼接帧四个顶点的图像坐标经过透视变换后在参考帧图像坐标系下的坐标：

所述的拼接帧四个顶点的图像坐标：左上角Left_Up＝(0,0)，右上角Right_Up＝(width,0)，左下角Left_Bottom＝(0,height)，右下角Right_Bottom＝(width,height)；

所述的经过透视变换后的在参考帧图像坐标系下的坐标：左上角Left_Up＝(x_lu,y_lu)，右上角Right_Up＝(x_ru,y_ru)，左下角Left_Bottom＝(x_lb,y_lb)，右下角Right_Bottom＝(x_rb,y_rb)；

确定width,x_lu,x_ru,x_lb,x_rb和height,y_lu,y_ru,y_lb,y_rb中的最大值和最小值：

$\left\{\begin{array}{c}\max X=\max (\mathrm{width},x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \min X=\min (0,x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \max Y=\max (\mathrm{height},y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\\ \min Y=\min (0,y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\end{array}\right.---\left(5\right)$

计算需要生成的拼接结果的尺寸，其中ε_w、ε_h是尺寸补偿，ε_w、ε_h根据输入图像的分辨率确定，ε_w为图像宽的20％，ε_h为图像高的20％：

$\left\{\begin{array}{c}\mathrm{new}\_\mathrm{width}=\max X-\min X+{\mathrm{\ϵ}}_w\\ \mathrm{new}\_\mathrm{height}=\max Y-\min Y+{\mathrm{\ϵ}}_h\end{array}\right.---\left(6\right)$

按照此尺寸动态地分配内存空间给拼接帧图像，再利用逐像素复制，完成图像拼接。

Claims (3)

1.一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，其特征在于步骤如下：

步骤1：将第一帧图像作为参考帧，下一帧作为拼接帧，提取当前参考帧与最新拼接帧的SIFT特征点并进行匹配，将参考帧和拼接帧的能够匹配的特征点数量与设定的阈值进行比较：

如果特征点数量高于设定的阈值，进入步骤2；如果特征点数量小于设定的阈值，再重新取下一帧作为拼接帧进行比较：如果特征点数量高于设定的阈值，进入步骤2；否则认为这两次匹配无效，重新选择参考帧，新的参考帧为与旧参考帧能够有效匹配的最新拼接帧；

步骤2：根据两帧图像之间的特征点对应关系，计算透视变换模型：

$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]---\left(1\right)$

其中，h₁，h₂，h₃用于表示拼接帧图像在给定世界坐标系x轴方向上的平移和旋转，h₄，h₅，h₆用于表示拼接帧图像在给定世界坐标系y轴方向上的平移和旋转，h₇，h₈，h₉用于表示拼接帧图像的尺度变换；

步骤3：计算透视变化模型的重投影误差，判断透视变化模型参数是否无效：

a、假设待拼接图像中任意像素p＝(x,y,1)^T，由下式计算此像素在参考帧图像中对应的像素p'＝(x',y',1)^T：

$\left\{\begin{array}{c}{x}^{\′}=(h_{1}x+h_{2}y+h_3)/(h_{7}x+h_{8}y+h_9)\\ y^{\′}=(h_{4}x+h_{5}y+h_6)/(h_{7}x+h_{8}y+h_9)\end{array}\right.---\left(2\right)$

写成矩阵的形式为：

${(x^{\′},y^{\′},1)}^T=\frac{1}{(h_{7}x+h_{8}y+h_9)}\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]{(x,y,1)}^T---\left(3\right)$

b、计算p'＝(x',y',1)^T重新投影到此拼接帧图像的对应像素p″＝(x″,y″,1)^T：

${(x^{\′\′},y^{\′\′},1)}^T=\frac{1}{(h_7^{\′}x+h_8^{\′}y+h_9^{\′})}{H}^{-1}{(x^{\′},y^{\′},1)}^T---\left(4\right)$

其中，h'₇、h'₈、h'₉是H^-1第三行的元素；

c、重投影误差由下式计算：

$\mathrm{error}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{|{x_i}^{\′\′}-x_i|}^2+{|{y_i}^{\′\′}-y_i|}^2}---\left(5\right)$

如果误差大于5个像素，则认为此透视变化模型参数无效；

步骤4：自适应调整拼接图像尺寸：

根据透视变换模型和公式3，计算拼接帧四个顶点的图像坐标经过透视变换后在参考帧图像坐标系下的坐标：

所述的拼接帧四个顶点的图像坐标：左上角Left_Up＝(0,0)，右上角Right_Up＝(width,0)，左下角Left_Bottom＝(0,height)，右下角Right_Bottom＝(width,height)；

所述的经过透视变换后的在参考帧图像坐标系下的坐标：左上角Left_Up＝(x_lu,y_lu)，右上角Right_Up＝(x_ru,y_ru)，左下角Left_Bottom＝(x_lb,y_lb)，右下角Right_Bottom＝(x_rb,y_rb)；

确定width,x_lu,x_ru,x_lb,x_rb和height,y_lu,y_ru,y_lb,y_rb中的最大值和最小值：

$\left\{\begin{array}{c}\max X=\max (\mathrm{width},x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \min X=\min (0,x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \max Y=\max (\mathrm{height},y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\\ \min Y=\min (0,y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\end{array}\right.---\left(5\right)$

计算需要生成的拼接结果的尺寸，其中ε_w、ε_h是尺寸补偿：

$\left\{\begin{array}{c}\mathrm{new}\_\mathrm{width}=\max X-\min X+{\mathrm{\ϵ}}_w\\ \mathrm{new}\_\mathrm{height}=\max Y-\min Y+{\mathrm{\ϵ}}_h\end{array}\right.---\left(6\right)$

按照此尺寸动态地分配内存空间给拼接帧图像，再利用逐像素复制，完成图像拼接。

2.根据权利要求1所述的基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，其特征在于所述的阈值的取值范围为大于10且小于输入图像的分辨率大小。

3.根据权利要求1所述的基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，其特征在于所述的ε_w、ε_h根据输入图像的分辨率确定，ε_w为图像宽的20％，ε_h为图像高的20％。