CN102393953A - 图像帧拼接方法和装置 - Google Patents

Abstract

本发明公开了一种图像帧拼接方法和装置，属于图像处理领域。方法包括：计算首个采样帧组的采样间隔并预测其中首对相邻采样帧之间的拼接信息；以拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值，如果拼接信息实际值经校验无效，则以拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；对当前采样帧组进行检验，并对下一采样帧进行预测，根据采样帧组是否结束分别对计算得到拼接信息预测值，如此循环，直至图像帧序列中的各采样帧拼接完毕，得到全景图像。本发明对图像帧序列进行采样帧组划分，减少了参与计算的图像帧数目和参与计算的图像帧的计算量，大大提高了整个图像帧序列的拼接速度和图像帧序列拼接的准确性。

Description

图像帧拼接方法和装置

技术领域

本发明属于图像处理领域，涉及一种图像处理方法，具体涉及一种图像帧拼接方法和装置。

背景技术

电子扫描笔(简称扫描笔)是基于OCR技术的重要文字识别装置。扫描笔的光学摄像头按照一定频率对被扫描资料进行连续拍照，获取被扫资料的图像帧序列，然后将图像帧序列拼接成一幅全景图像后进行OCR处理。为了支持高扫描速度，提高用户使用感受，扫描笔就要以较高的图像采集频率进行图像采集并且进行实时拼接处理，比如每秒采集120图像帧或者甚至更高。

随着采样频率的提高，单位时间内采集的图像帧数越来越多，要对图像帧序列进行实时拼接处理，特别是在嵌入式条件下进行实时拼接处理，难度越来越大。如何又快又准的进行图像帧拼接，成为扫描笔面临的一个难题。

发明内容

本发明提出一种图像帧拼接方法和装置，针对扫描笔获取的图像帧序列进行拼接。对于扫描笔图像帧序列的拼接，在保证图像拼接准确性的前提下，大大提高了图像拼接的快速性。

本发明公开了一种图像帧拼接方法，包括如下步骤：

步骤1，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；

步骤2，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到步骤3；

步骤3，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回步骤2，直至图像帧序列中的图像帧全部处理完毕；

步骤4，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

本发明公开了一种图像帧拼接装置，包括如下模块：

初始化模块，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；

拼接模块，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；否则转到采样及预测模块；

采样及预测模块，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回拼接模块，直至图像帧序列中的图像帧全部处理完毕；

图像融合模块，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

本发明公开的图像帧拼接方法和装置，对图像帧序列进行采样帧组划分，一方面，在同一采样帧组内按照固定采样间隔进行采样，并根据拼接信息预测值在既定窗口范围内搜索计算拼接信息实际值，这样既减少了参与计算的图像帧数目，又减少了参与计算的图像帧的计算量，大大提高了整个图像帧序列的拼接速度；另一方面，根据不同的扫描速度将图像帧序列划分为不同的采样帧组，并且采用与扫描速度相匹配的采样间隔，保证了采样策略的可行性，并提高了拼接信息预测值的准确性，相应地提高了图像帧序列拼接的准确性。

附图说明

图1为本发明图像帧拼接方法的流程图；

图2为本发明图像帧拼接方法中采样帧组的示意图；

图3为本发明图像帧拼接方法实施例中各图像帧及相关数据的示意图；

图4为本发明图像帧拼接方法的实施例中全景二值图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，图像的宽度为80像素，高度为120像素，图像拼接在二值化后的图像帧上进行，如果原始帧图像是彩色图像或灰度图像，先对图像帧进行二值化处理。在二值化后的图像中，用1表示前景像素，用0表示背景像素，采用拼接系数作为图像的拼接度量指标。

本发明实施例中的相关帧图像数据如图3所示，为了方便描述，将图像帧序号为N的帧图像称为第N帧图像。

本发明公开了一种图像帧拼接方法，如图1所示，具体包括如下步骤：

步骤一，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息。如图2所示，在待拼接的图像帧序列中建立采样帧组，采样帧组中图像帧的数量由后续步骤决定，待拼接的图像帧序列由已拍摄完毕的多个图像帧组成，也可以由实时采集的图像帧组成。所述采样帧组是指对待拼接的图像帧序列的一种划分，由待拼接的图像帧序列中连续的图像帧组成，在同一个采样帧组内采用相同的采样间隔进行等间隔采样，采样帧组内被采样的图像帧称为采样帧，未被采样的图像帧称为跳过帧。

采样间隔根据扫描速度及设定的图像最小重叠率阈值来计算。进一步，为了保证拼接信息预测值的准确性，采样间隔又不宜太大，设定一个上限值S_max来限定采样间隔的最大值，此外，设定一个采样间隔最小值S_min。在本实施例中，取S_max＝2，S_min＝1，当采样间隔为1时，采样帧组中每一帧图像都是采样帧而没有跳过帧。

计算首个采样帧组的采样间隔时，具体如下：

1.通过全搜索的方式计算图像帧序列中的第二帧图像相对于第一帧图像的拼接信息，拼接信息包括水平位移、竖直位移及位移方向，位移方向包括右下、右上、左下、左上。在本实施例中，遍历第1图像帧中的所有像素点进行全搜索，得到第2帧图像相对于第1帧图像的水平位移为1，竖直位移为0，位移方向为右下。

2.根据拼接信息中的水平位移V_x和竖直位移V_y及图像最小重叠率阈值O_min计算采样间隔S′：

$\frac{(W-S^{\′}\×V_x)\×(H-S^{\′}\×V_y)}{W\×H}\≥O_{\min }$

其中，W为图像帧宽度，H为图像帧高度。在本实施例中，V_x＝1，V_y＝0，O_min＝0.4，W＝80，H＝120，在不等式取等号时解得S′＝48。

3.第一个采样帧组的采样间隔

其中，

表示不超过S′的最大整数，min表示取二值中较小者，max表示取二值中较大者。在本实施例中，第一个采样帧组的采样间隔为

对于第一个采样帧组，将图像帧序列中的第1帧图像作为采样帧，根据采样间隔得到下一采样帧，这两个采样帧组成首对相邻采样帧，其水平位移预测值为S₁×V_x，竖直位移预测值为S₁×V_y，位移方向预测值为采样帧组中第2帧图像相对于第1帧图像的位移方向，为图像帧序列中第2帧图像相对于首帧图像的位移方向。

在本实施例中，采样间隔为2，即由第1帧图像和第3帧图像组成第一对相邻采样帧，其水平位移预测值为S₁×V_x＝2×1＝2，竖直位移预测值为S₁×V_y＝2×0＝0，位移方向预测值为右下。

步骤二，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到步骤三。

在当前相邻一对采样帧中选择任一采样帧建立第一既定窗口，第一既定窗口的大小根据拼接信息预测值和拼接信息实际值之间的偏差调整后，经过统计得出。这个偏差值又与采样间隔相关，一般来说，采样间隔越大，偏差值越大，采样间隔越小，偏差值越小，当偏差值达到一定程度时，即当第一既定窗口大到一定程度时，采用预测所带来的计算效率的提升将变得不明显，这也是为什么要对采样间隔设置上限的原因。如果将采样间隔的上限设为1，则整个图像帧序列划分为一个采样帧组，这时第一既定窗口的大小只反映相邻图像帧之间位移的最大偏差。在本实施例中，采样间隔的最大值设为2，图像序列为从左到右扫描获取，主要位移都在水平方向，竖直方向位移较小，在第1帧图像中取第一既定窗口的大小为11×21，即窗口高度为11，窗口宽度为21。对于采样帧组中的第3帧图像和第1帧图像，将第1帧图像的左上角点为坐标原点，以第3帧图像和第1帧图像的拼接信息预测值，即相对坐标为(2，0)的坐标点为中心在第一既定窗口中计算拼接系数，本实施例中，将第3帧图像的左上角点为参考点，第3图像帧在第一既定窗口中进行拼接，将拼接系数最大时对应的拼接信息值作为拼接信息实际值，得到拼接信息实际值为水平位移为3，竖直位移为0，位移方向为右下，对应的拼接系数为0.91。

校验拼接信息实际值是否有效，如果当前相邻一对采样帧的拼接信息实际值经校验有效，直接转入步骤三；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在当前相邻一对采样帧中选择任一采样帧建立第二既定窗口中计算拼接信息实际值。第二既定窗口尺寸大于第一既定窗口，如果根据第二既定窗口中计算得到的拼接度量指标优于根据第一既定窗口计算得到的拼接度量指标，则取在第二既定窗口中计算的拼接信息实际值为该相邻采样帧的最终拼接信息实际值，如果根据第一既定窗口中计算得到的拼接度量指标优于根据第二既定窗口计算得到的拼接度量指标，仍取在第一既定窗口中计算的拼接信息实际值为该相邻采样帧的最终拼接信息实际值。

校验拼接信息实际值是否有效，根据拼接度量指标进行校验。由于拼接信息实际值是以拼接信息预测值为中心的第一既定窗口中进行计算，当拼接信息实际值超出第一既定窗口的范围时，会导致拼接无效。在本实施例中，采用拼接系数作为拼接度量指标，拼接系数为介于0到1之间的数，拼接系数定义为两帧图像重叠区域中与运算为1的像素点数之和与或运算为1的像素点数之和的比值。当拼接系数小于0.6时，认为当前的拼接信息实际值无效，需要根据第二既定窗口进行计算。对于第3帧图像和第1帧图像，其拼接系数为0.91，大于0.6，直接转入步骤三。

步骤三，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回步骤2，直至图像帧序列中的图像帧全部处理完毕。

图像重叠率是指两帧图像重叠区域的面积与单帧图像面积的比率，图像重叠率阈值区间的最小值为设定的最小重叠率O_min，最大值为设定的最大重叠率O_max。当根据当前相邻一对采样帧的拼接信息实际值计算得到的相邻采样帧间的图像重叠率大于等于设定的最小重叠率O_min并且小于等于设定的最大重叠率O_max时，或者当前相邻一对采样帧间的图像重叠率小于最小重叠率O_min且目前的采样间隔已经是采样间隔最小值时，或者当前相邻一对采样帧间的图像重叠率大于最大重叠率O_max且目前的采样间隔已经是采样间隔最大值时，当前采样帧组尚未结束，继续在当前采样帧组中进行采样，否则，当前采样帧组结束，建立下一采样帧组。

在本实施例中，设置最小重叠率O_min＝0.4，最大重叠率O_max＝0.7，根据第3帧图像和第1帧图像的拼接信息实际值计算得到的图像重叠率为0.96，大于最大重叠率O_max＝0.7，但目前的采样间隔已经是最大值，所以维持这个采样间隔在当前采样帧组中进行采样，据当前采样帧组的采样间隔确定下一采样帧，并将当前相邻采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值。在本实施例中，当前采样帧组的采样间隔为2，下一个采样帧为第5帧图像，第3帧图像和第5帧图像组成下一对相邻采样帧，下一对相邻采样帧的拼接信息预测值为：水平位移为3，竖直位移为0，位移方向为右下。对于每一对相邻采样帧，跳至步骤二、步骤三依次执行，直至整个图像序列处理完毕。

在本实施例中，对于由第5帧图像和第3帧图像构成的下一对相邻采样帧，在步骤二中，第5帧图像和第3帧图像的拼接信息预测值为：水平位移3、竖直位移0、位移方向右下，计算得到的第5帧图像和第3帧图像的拼接信息实际值为：水平位移11、竖直位移0、位移方向右下，拼接系数为0.53。由于第5帧图像和第3帧图像的拼接系数小于0.6，设置第二既定窗口的大小为15×35，即第二既定窗口的高度为15，宽度为35，重新计算第5帧图像和第3帧图像的拼接信息为：水平位移16、竖直位移1、位移方向右下，并且拼接系数为0.92，则取水平位移16、竖直位移1、位移方向右下作为第5帧图像和第3帧图像构成的拼接信息实际值。在步骤三中，第5帧图像和第3帧图像间的重叠率为0.79，大于最大重叠率O_max＝0.7，由于目前的采样间隔已经是最大值，所以维持这个采样间隔确定下一采样帧，并将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值，返回步骤二。

在本实施例中，对于由第23帧图像和第21帧图像构成的相邻采样帧对，在步骤二中，第23帧图像和第21帧图像的拼接信息预测值为：水平位移45、竖直位移2、位移方向右下，计算得到第23帧图像和第21帧图像的拼接信息实际值为：水平位移49、竖直位移2、位移方向右下，拼接系数为0.86。在步骤二中，由于拼接系数大于0.6，执行步骤三。在步骤三中，第23帧图像和第21帧图像间的重叠率为0.38，小于最小重叠率O_min＝0.4，由于目前的采样间隔不是最小值，则建立下一个采样帧组，并计算下一个采样帧组的采样间隔并预测其第一对相邻采样帧之间的拼接信息。下一个采样帧组从当前采样帧组的最后一帧图像开始，并将当前采样帧组的最后一帧图像作为下一个采样帧组的第一个采样帧。

假设当前相邻采样帧间的水平位移为V_x，竖直位移为V_y，当前采样帧组的采样间隔为S，下一个采样帧组的采样间隔为S′，则根据下式计算S′：

$\frac{(W-S^{\′}\×\frac{V_x}{S})\×(H-S^{\′}\×\frac{V_y}{S})}{W\×H}\≥O_{\min }$

其中，V_x、V_y为当前采样帧间的水平位移和竖直位移，S为当前采样帧组的采样间隔，S′为下一采样帧组的采样间隔，O_min为设定的最小重叠率，W为图像帧的宽度，H为图像帧的高度；下一采样帧组中前两采样帧的水平位移预测值为(S_n×V_x)/S，竖直位移预测值为(S_n×V_y)/S，位移方向预测值为当前相邻采样帧之间的位移方向。在此处当前采样帧间的水平位移V_x＝49，竖直位移V_y＝2，当前采样帧组的采样间隔S＝2，在不等式取等号时解得下一个采样帧组的采样间隔S′＝1.94，则下一采样帧组的采样间隔S′不超过采样间隔的最大值S_max，不小于S_min，即根据

求得下一采样帧组的采样间隔为1。在下一采样帧组中，由第24帧图像和第23帧图像组成下一采样帧组中的第一对相邻采样帧，其拼接信息预测值为：水平位移24、竖直位移1、位移方向右下。返回步骤二，在下一采样帧组中确定下一采样帧，从而得到第二对相邻采样帧，下一采样帧组结束，再建立新采样帧组，返回步骤二，直至图像帧序列中的各采样帧组的图像帧拼接完毕。

步骤四，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

如图3所示，根据的各采样帧对应的拼接信息实际值，即水平位移的实际值、竖直位移的实际值和拼接方向将各采样帧进行拼接，本实施例中，得到如图4所示的全景二值图像。

本发明公开了一种图像帧拼接装置，包括如下模块：

初始化模块，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；

拼接模块，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到采样及预测模块；

采样及预测模块，根据当前相邻一对采样帧的拼接信息实际值及重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，并将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；如果当前采样帧组结束，则计算下一采样帧组的采样间隔并预测下一采样帧组的前两采样帧之间的拼接信息；返回拼接模块，直至图像帧序列中的图像帧全部处理完毕；

图像融合模块，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

本发明所提供的一种图像帧拼接方法和装置，对图像帧序列进行采样帧组划分，一方面，在同一采样帧组内按照固定采样间隔进行采样，并根据拼接信息预测值在既定窗口范围内搜索计算拼接信息实际值，这样既减少了参与计算的图像帧数目，又减少了参与计算的图像帧的计算量，大大提高了整个图像帧序列的拼接速度；另一方面，根据不同的扫描速度将图像帧序列划分为不同的采样帧组，并且采用与扫描速度相匹配的采样间隔，保证了采样策略的可行性，并提高了拼接信息预测值的准确性，相应地提高了图像帧序列拼接的准确性。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像帧拼接方法，其特征在于，包括如下步骤：

步骤1，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；

步骤2，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到步骤3；

步骤3，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回步骤2，直至图像帧序列中的图像帧全部处理完毕；

步骤4，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

2.根据权利要求1所述的方法，其特征在于：所述拼接信息包括水平位移、竖直位移及位移方向，其中，位移方向包括右下、右上、左下、左上。

3.根据权利要求2所述的方法，其特征在于：所述步骤1中的首个采样帧组的采样间隔为

其中，S_min为采样间隔的最小值，S_max为采样间隔的最大值，

表示不超过S′的最大整数，S′根据

计算，V_x、V_y为图像帧序列中的第二帧图像相对于第一帧图像的拼接信息中的水平位移和竖直位移，O_min为最小重叠率，W为图像帧的宽度，H为图像帧的高度。

4.根据权利要求3所述的方法，其特征在于：所述步骤1中计算首对相邻采样帧间的拼接信息预测值时，水平位移预测值为S₁×V_x，竖直位移预测值为S₁×V_y，位移方向预测值为采样帧组中第二帧图像相对于首帧图像的位移方向。

5.根据权利要求1所述的方法，其特征在于：所述步骤2中第一既定窗口的大小根据拼接信息预测值和拼接信息实际值之间的偏差进行调整。

6.根据权利要求1所述的方法，其特征在于：所述第二既定窗口尺寸大于第一既定窗口。

7.根据权利要求1所述的方法，其特征在于：所述以拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值时，如果拼接信息对应的拼接度量指标优于在第一既定窗口中计算拼接信息实际值时得到的拼接度量指标，则将在第二既定窗口中计算的拼接信息实际值作为所述相邻采样帧的拼接信息实际值，否则将在第一既定窗口中计算的拼接信息实际值作为所述相邻采样帧的拼接信息实际值。

8.根据权利要求3所述的方法，其特征在于：所述步骤3中根据当前相邻一对采样帧的拼接信息实际值及重叠率阈值区间检验当前采样帧组是否结束时，当根据拼接信息实际值计算得到的相邻采样帧间的图像重叠率位于重叠率阈值区间时，或者当相邻采样帧间的重叠率小于最小重叠率O_min且当前采样帧组的采样间隔为最小值时，或者当相邻采样帧间的重叠率大于最大重叠率O_max且当前采样帧组的采样间隔为最大值时，则当前采样帧组尚未结束，继续在当前采样帧组中进行采样，否则，当前采样帧组结束，建立下一采样帧组。

9.根据权利要求1或8所述的方法，其特征在于：所述重叠率阈值区间的最小值为设定的最小重叠率O_min，最大值为设定的最大重叠率O_max。

10.根据权利要求1或8所述的方法，其特征在于：所述下一采样帧组从当前采样帧组的最后一采样帧开始，并将所述最后一采样帧作为下一采样帧组的首帧图像。

11.根据权利要求1、8或10所述的方法，其特征在于：所述下一采样帧组的采样间隔

其中，S_min为采样间隔的最小值，S_max为采样间隔的最大值，表示不超过S′的最大整数，S′根据

计算，V_x、V_y为当前采样帧间的水平位移和竖直位移，S为当前采样帧组的采样间隔，O_min为设定的最小重叠率，W为图像帧的宽度，H为图像帧的高度；下一采样帧组中前两采样帧的水平位移预测值为(S_n×V_x)/S，竖直位移预测值为(S_n×V_y)/S，位移方向预测值为当前相邻采样帧之间的位移方向。

12.一种图像帧拼接装置，其特征在于，包括：

初始化模块，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；

拼接模块，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；否则转到采样及预测模块；

采样及预测模块，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回拼接模块，直至图像帧序列中的图像帧全部处理完毕；

图像融合模块，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

Images