CN113327198A - 一种远距离双目视频拼接方法及系统 - Google Patents

Abstract

一种远距离双目视频拼接方法及系统，方法包括：配准：输入双目视频，读取两视频的第一帧，作为配准模块的输入进行配准处理，获得配准参数；视频拼接：依次读取两视频中对应的每一帧，基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果；保存每一帧的拼接结果，将每一帧的拼接结果依次写入最终的结果视频中。本发明公开了一种远距离双目视频拼接算法，采用单应估计和最优缝合线方法，实现双摄像头拍摄图像的拼接，从而得到视觉效果良好的无缝拼接全景图像。

Description

一种远距离双目视频拼接方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及一种远距离双目视频拼接方法及系统。

背景技术

近年来，随着摄像技术的发展以及摄像机配置成本的下降，越来越多的领域开始使用摄像头监控来代替人眼观察。如安全防护领域的防盗监控、车载摄像头辅助驾驶人员后视以及应用更为广泛的无人机领域。在无人机上架设摄像头可以实现多种情况下的数据采集，而这些情况往往是不适合工作人员直接处理的，比如高空作业、极端天气等情况，摄像头的使用可以大大减少人力物力的消耗。

而由于单个摄像头的视角有限，在实际应用中，单个摄像头进行拍摄往往不能满足需要。通常使用多个摄像头同时拍摄，以提供更大范围的视野，甚至可以得到360度的全景视野。而双摄像头的应用，即双目摄像，在实际应用中较为常见。

理想情况下摄像头安装位置是共光心的。在这种情况下，只要简单地将多个摄像头拍摄的图像按序排列即可，而且视觉效果与单个摄像头拍摄无异。而多个摄像头绝对共光心是无法实现的，只能近似地达到共光心效果，这就要求多个摄像头的拍摄位置相近。而实际应用中，摄像头之间的距离往往较远，比如飞机的机翼两端各安装一个摄像头。这时就必须使用图像拼接算法来得到较好的最终结果。多摄像头拍摄虽然能提供更广泛的视野，但若只是简单地将两路拍摄图像拼合在一起，则不能提供良好地视觉效果。为此，图像拼接技术被提出用以将两幅(或多幅)图像无缝地拼接在一起，使得拼接结果就像单个广角摄像头拍摄的一样，而且没有广角摄像头的图像畸变问题，因此可以提供较好的视觉效果，方便观察。由此可见，图像拼接技术将长期处于计算机视觉领域的研究热点和进一步发展的重要方向。

为实现图像拼接，需根据摄像原理设计图像拼接算法。而图像拼接算法的设计直接决定了最终输出结果的视觉效果。一般的图像拼接算法往往只针对最简单的拍摄情景，不能对复杂的情况做出调整，以至于拼接效果差强人意。而双目摄像的拼接问题中，两个摄像头之间的距离对整个拼接流程有较大影响。对于间距较短的情况，一般的拼接算法就能满足需要，得到几乎无缝的拼接结果。而当实际情况不允许时，即两个摄像头之间的间距较大时，由于大视差问题的存在，一般的拼接算法往往就不能得到满足需要的最终效果。

同时，图像拼接算法应用于实际时，往往还需要考虑视频拼接，而非简单的，只考虑两幅图像间的拼接。若考虑视频拼接，往往从两个方面入手。其一，考虑一个视频的多张连续帧之间的关系，不仅从横向上考虑多个视频输入源之间的空间关系，同时也要从纵向上考虑单个视频输入源的帧序列之间的时间关系。其二，为简化算法复杂度，忽略以上提到的时间关系，单单考虑多视频输入源之间的关系，然后简单的将拼接结果合成为帧序列，形成最终的结果视频。第一种考虑虽然能在视频拼接流程中考虑更多的输入信息，因此也能得到更好的输出效果，但因其算法复杂度过高，在实际应用中并不符合需求。所以第二种考虑方式更加切合实际，也便于实现。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种远距离双目视频拼接方法及系统，具体方案如下：

作为本发明的第一方面，提供一种远距离双目视频拼接方法，所述方法包括：

步骤1，配准：输入双目视频，读取两视频的第一帧，作为配准模块的输入进行配准处理，获得配准参数，其中，所述配准参数包括投影变换后图像的左上角坐标、投影变换后图像的尺寸、投影变换的坐标映射矩阵、曝光补偿系数以及融合权重等；

步骤2，视频拼接：依次读取两视频中对应的每一帧，基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果；

步骤3，保存每一帧的拼接结果，将每一帧的拼接结果依次写入最终的结果视频中。

进一步地，步骤1中还包括：配准处理后，获取第一帧配准后的拼接结果尺寸，将结果视频的尺寸设定为第一帧的拼接结果尺寸；步骤3中，在将每一帧的拼接结果依次写入最终的结果视频时，将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸，从而使每一帧拼接结果的尺寸相同。

进一步地，步骤2还包括：设置计数器，设置计数阈值，并置计数初始值，每拼接完一帧后对计数器值进行加或减1，并判断计数值是否达到计数阈值；

若计数值未达到计数阈值，则继续进行下一帧的拼接；

若计数值达到计数阈值，则重置计数器值至初始值，并通过步骤1的方法对下一帧进行再配准，获取新的配准参数，并通过新的配准参数对后续帧进行拼接处理。

进一步地，通过配准模块的对输入图像进行配准具体包括：

步骤1.1，令双目摄像得到两个视频中，左侧视频为left-video，右侧视频为right-video，首先将所有的配准参数清空，以保证后续对参数的更新不会出错，然后分别读入left-video一帧图像和right-video对应的一帧图像，作为输入图像，其中left-video一帧图像为左图像，right-video的一帧图像为右图像；

步骤1.2，创建特征提取器：根据特征类型，创建SURF、SIFT或ORB特征提取器，之后根据预设比例参数缩放输入图像，减小输入图像的尺寸，以此加快特征提取的速度，特征提取完成后将提取到的特征点的位置信息和特征信息保存，最后恢复输入图像尺寸；

步骤1.3，匹配特征点：根据预设参数，设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取，当匹配相似度超过该阈值时，保留该匹配点对，否则舍弃该匹配点对；

步骤1.4，配准，即相机标定，根据步骤3.3的匹配信息估计出(计算出)相机的内外参数，具体包括：首先按照预设参数，选定基于单应性的相机标定方法，然后依据步骤3.3的匹配点对的坐标信息估计相机的内外参数，完成标定，之后将左右图像分别对应的焦距focal1和focal2单独取出，以focal1和focal2的中位数作为后续图像缩放的参数，最后进行水平波形校正，改变相机参数中的旋转矩阵；

步骤1.5，图像变形：根据预设参数，采用平面投影的方式进行左右图像变形，并采用步骤4得到的缩放参数缩放图像，图像变形完成之后，保留左右两帧图像变形后的位置和尺寸信息；实际的图像变形操作仍在帧拼接模块中，此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。

步骤1.6，根据预设参数创建分块补偿曝光补偿器，之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器；此时不对图像应用曝光补偿，只是根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器；

步骤1.7，寻找最优缝合线：根据预设参数，创建动态规划缝合线估计器，之后对左右两帧图像寻找最优缝合线，并将找到的缝合线以图像掩码的形式保存。

进一步地，步骤1.7中，使用单侧特征点保留策略，具体包括：在寻找最优缝合线之前，找到左或右图像中的所有经过匹配筛选的特征点，从特征点开始，向左或右开始，直至图像边缘，将沿途所有特征点对应的像素点改为固定颜色，从而寻找最优缝合线，即得到单帧拼接所需的所有配准参数；

得到拼接所需的所有配准参数之后，转入帧拼接模块，开始步骤2所述的视频拼接。

进一步地，步骤2所述的视频拼接具体包括：

步骤2.1，根据预设的缩放参数，恢复图像至原始大小，同时将相机标定参数恢复至与原始图像对应的大小；

步骤2.2，图像变形：按照步骤1.5的方法，将左右图像进行投影变换；

步骤2.3，应用步骤1.6的曝光补偿器对左右图像进行曝光补偿；

步骤2.4，创建羽化融合器，将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器，通过羽化融合器对左右图像进行融合；

步骤2.5，得到当前帧的拼接结果，将拼接结果写入最终的拼接结果视频中，单帧拼接完成。

作为本发明的第二方面，提供一种远距离双目视频拼接系统，所述系统包括配准模块、拼接模块和结果保存模块；

所述配准模块用于进行图像配准，获得配准参数，具体为：输入双目视频，读取两视频的第一帧，作为配准模块的输入进行配准处理，从而获得配准参数；

所述拼接模块用于进行视频拼接，具体为：依次读取两视频中对应的每一帧，基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果；

所述结果保存模块用于保存每一帧的拼接结果，将每一帧的拼接结果依次写入最终的结果视频中。

其中，所述配准模块还用于在配准处理后，获取第一帧配准后的拼接结果尺寸，将结果视频的尺寸设定为第一帧的拼接结果尺寸；所述结果保存模块在将每一帧的拼接结果依次写入最终的结果视频时，将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸，从而使每一帧拼接结果的尺寸相同。

进一步地，所系系统还包括拼接控制模块，所述拼接控制模块用于设置计数器，设置计数阈值，并置计数初始值，每拼接完一帧后对计数器值进行加或减1，并判断计数值是否达到计数阈值；若计数值未达到计数阈值，则继续进行下一帧的拼接；若计数值达到计数阈值，则重置计数器值至初始值，并通过配准模块对下一帧进行再配准，获取新的配准参数，并通过新的配准参数对后续帧进行拼接处理。

进一步地，配准模块的对输入图像进行配准具体包括：

令双目摄像得到两个视频中，左侧视频为left-video，右侧视频为right-video，首先将所有的配准参数清空，以保证后续对参数的更新不会出错，然后分别读入left-video一帧图像和right-video对应的一帧图像，作为输入图像，其中left-video一帧图像为左图像，right-video的一帧图像为右图像；

创建特征提取器：根据预设参数，创建SURF特征提取器，之后根据预设参数缩放输入图像，减小输入图像的尺寸，以此加快特征提取的速度，特征提取完成后将提取到的特征点的位置信息和特征信息保存，最后恢复输入图像尺寸；

匹配特征点：根据预设参数，设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取，当匹配相似度超过该阈值时，保留该匹配点对，否则舍弃该匹配点对；

配准：根据匹配特征点的匹配信息估计出(计算出)相机的内外参数，具体包括：首先按照预设参数，选定基于单应性的相机标定方法，然后依据匹配特征点中的匹配点对的坐标信息估计相机的内外参数，完成标定，之后将左右图像分别对应的焦距focal1和focal2单独取出，以focal1和focal2的中位数作为后续图像缩放的参数，最后进行水平波形校正，改变相机参数中的旋转矩阵；

图像变形：根据预设参数，采用平面投影的方式进行左右图像变形，并采用配准得到的缩放参数缩放图像，图像变形完成之后，保留左右两帧图像变形后的位置和尺寸信息；实际的图像变形操作仍在帧拼接模块中，此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。

根据预设参数创建分块补偿曝光补偿器，之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器；此时不对图像应用曝光补偿，只是根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器；

寻找最优缝合线：根据预设参数，创建动态规划缝合线估计器，之后对左右两帧图像寻找最优缝合线，并将找到的缝合线以图像掩码的形式保存；

其中，使用单侧特征点保留策略，具体包括：在寻找最优缝合线之前，找到左或右图像中的所有经过匹配筛选的特征点，从特征点开始，向左或右开始，直至图像边缘，将沿途所有特征点对应的像素点改为固定颜色，从而寻找最优缝合线，即得到单帧拼接所需的所有配准参数；

得到拼接所需的所有配准参数之后，转入帧拼接模块，开始步骤2所述的视频拼接。

进一步地，视频拼接具体包括：

根据预设的缩放参数，恢复图像至原始大小，同时将相机标定参数恢复至与原始图像对应的大小；

图像变形，将左右图像都变形至相应的位置和形状；

应用曝光补偿器对左右图像进行曝光补偿；

创建羽化融合器，将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器，通过羽化融合器对左右图像进行融合；

得到当前帧的拼接结果，将拼接结果写入最终的拼接结果视频中，单帧拼接完成。

本发明具有以下有益效果：

本发明利用双目摄像头之间的投影变换关系实现了双目视频拼接算法，采取帧计数阈值的方法使得视频拼接结果可根据实际情况在高效稳定和低效率高效果之间权衡，并采用单侧特征点保留的策略提高了双目拼接在远距离情况下的拼接效果。

附图说明

图1为本发明实施例提供的一种远距离双目视频拼接方法的总流程图；

图2为本发明实施例提供的配准模块的流程图；

图3为本发明实施例提供的拼接模块的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供的一种远距离双目视频拼接方法能够用计算机软件技术实现流程。实施例以SURF特征、单应变换相机参数估计、平面投影、羽化融合等策略为例对本发明的流程进行一个具体的阐述，如下：

首先，定义预设参数如下：

特征类型：SURF；相机参数估计类型：基于单应性估计；是否采用波形校正：是；波形校正方向：水平；图像变形类型：平面投影；图像融合类型：羽化融合；配准计数阈值：60次。

如图1所示，本发明的具体步骤如下：

步骤1，视频读入，设双目摄像得到两段视频中，左侧视频为left-video，右侧视频为right-video，同时读入left-video和right-video，检测视频文件读入是否出错，若文件丢失或损坏造成读入出错，则提示错误信息：检查输入视频，否则提示读入成功信息，视频读入成功；

步骤2，确定帧数与频率，根据读入视频，获取视频帧率以及视频帧数。默认left-video和right-video的帧率相同而帧数不同，设两视频的帧率为fps，设帧数为frame-num，frame-num为left-video和right-video的帧数的两者之间的较小值；

步骤3，预配准：在正式视频拼接之前，先以left-video和right-video的第一帧进行一次预配准；预配准与正式配准时的操作完全一致，首先进行特征提取、特征点匹配，然后根据匹配信息估计相机参数(即相机标定)，之后根据相机参数，选择平面投影变换视频第一帧，最终根据变形后的两帧图像的位置和大小计算出最终视频拼接结果的大小；

例如，设left-video的第一帧经过变换后的图像的左上角坐标为(x1，y1)，大小为(w1，h1)，同样的，right-video的第一帧经过变换后的图像的左上角坐标为(x2，y2)，大小为(w2，h2)，则最终拼接结果的尺寸大小为(max(x1+w1，x2+w2)-min(x1，x2)，max(y1+h1，y2+h2)-min(y1，y2))，将计算出的尺寸大小信息保存，并且，该大小信息在之后的配准步骤中不再更新，固定为初始值始终不变。

步骤4，创建最终视频拼接结果：将该视频帧率设定为步骤2所求得的fps，将尺寸设定为步骤3求得的最终拼接结果的大小。

步骤5，开始视频拼接：在这一步骤开始时设定一计数值count，初始化为1，之后根据步骤2中求得的视频帧数，重复执行单帧拼接frame-num次。在每次单帧拼接执行中，根据计数值count的值，确定是否在这次拼接之前执行配准模块以更新配准参数；具体情况如下：若count％配准计数阈值＝0，则先进行配准，再拼接当前帧，同时count加1。否则直接沿用旧的配准参数拼接当前帧，同时count加1；其中，若配准失败，则仍沿用旧的配准参数拼接当前帧，不过count保持原值不变，这使得下一次帧拼接会继续做配准，以确保定期的配准参数更新不会被跳过。当前帧拼接完成后，随即写入结果视频中；但在写入之前需要调整单帧拼接结果的尺寸大小为步骤3中的最终拼接结果大小；

当所有帧都被读入、拼接并写入结果视频后，整体双目视频拼接流程完成。

其中，配准模块的具体实施过程说明如下：

步骤1.1，首先，将所有的配准参数清空，以保证后续对参数的更新不会出错，然后分别读入left-video和right-video的一帧。

步骤1.2，创建特征提取器，根据特征类型，创建SURF、SIFT或ORB特征提取器，之后根据预设比例参数缩放输入图像，减小输入图像的尺寸，以此加快特征提取的速度，特征提取完成后将提取到的特征点的位置信息和特征信息保存，最后恢复输入图像尺寸。

步骤1.3，匹配特征点：根据预设参数，设定匹配阈值；按照该阈值进行特征点的匹配和选取，当匹配相似度超过该阈值时，保留该匹配点对，否则舍弃该匹配点对。

步骤1.4，配准，即相机标定，根据上一步的匹配信息估计出相机的内外参数。首先，按照预设参数，选定基于单应性的相机标定方法，然后依据上一步的匹配点对的坐标信息估计相机的内外参数，完成标定，之后将左右图像分别对应的焦距focal1和focal2单独取出，以focal1和focal2的中位数作为后续图像缩放的参数；最终，进行水平波形校正，改变相机参数中的旋转矩阵。

步骤1.5，图像变形：根据预设参数，采用平面投影的方式进行图像变形，此时采用步骤1.4得到的缩放参数缩放图像，以加快投影变换的速度，同时也加快了后续步骤的执行速度，图像变形完成之后，保留两帧图像变形后的位置和尺寸信息；实际的图像变形操作仍在帧拼接模块中，此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。

步骤1.6，根据预设参数创建分块补偿曝光补偿器，之后将变形后的图像、位置信息以及掩码信息输入曝光补偿器，此时不对图像应用曝光补偿，只是根据当前帧预先配置曝光补偿器。

步骤1.7，寻找最优缝合线：根据预设参数，创建动态规划缝合线估计器，之后对当前帧寻找最优缝合线，并将找到的缝合线以图像掩码的形式保存；

其中，此处使用单侧特征点保留策略，具体实施如下：

在寻找最优缝合线之前，找到左或右图像中的所有经过匹配筛选的特征点，从特征点开始，向左或右开始，直至图像边缘，将沿途所有像素点改为任意固定颜色，该策略只用于寻找最优缝合线这一步，在找到缝合线后则舍弃此步骤中做出的改动，将图像恢复原状。

至此，单帧拼接所需的所有配准参数都已经获得，之后转入帧拼接模块，开始正式拼接。

其中，帧拼接模块的具体实施过程说明如下：

步骤2.1，根据预设的缩放参数，恢复图像至原始大小，同时，也将相机标定参数恢复至与原始图像对应的大小。

步骤2.2，基于步骤1.5的方法进行图像变形，将左右两图进行投影变。

步骤2.3，应用步骤1.6的曝光补偿器对左右图像进行曝光补偿。

步骤2.4，创建羽化融合器，将变形后的两图、分别对应的位置以及对应的掩码反馈至羽化融合器，羽化融合器对图像进行融合。

步骤2.5，得到当前帧的拼接结果，将结果写入最终的拼接结果视频中，单帧拼接完成。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种远距离双目视频拼接方法，其特征在于，所述方法包括：

步骤1，配准：输入双目视频，读取两视频的第一帧，作为配准模块的输入进行配准处理，获得配准参数；

步骤2，视频拼接：依次读取两视频中对应的每一帧，基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果；

步骤3，保存每一帧的拼接结果，将每一帧的拼接结果依次写入最终的结果视频中。

2.根据权利要求1所述的远距离双目视频拼接方法，其特征在于，

步骤1中还包括：配准处理后，获取第一帧配准后的拼接结果尺寸，将结果视频的尺寸设定为第一帧的拼接结果尺寸；步骤3中，在将每一帧的拼接结果依次写入最终的结果视频时，将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸，从而使每一帧拼接结果的尺寸相同。

3.根据权利要求1所述的远距离双目视频拼接方法，其特征在于，步骤2还包括：设置计数器，设置计数阈值，并置计数初始值，每拼接完一帧后对计数器值进行加或减1，并判断计数值是否达到计数阈值；

若计数值未达到计数阈值，则继续进行下一帧的拼接；

若计数值达到计数阈值，则重置计数器值至初始值，并通过步骤1的方法对下一帧进行再配准，获取新的配准参数，并通过新的配准参数对后续帧进行拼接处理。

4.根据权利要求1所述的远距离双目视频拼接方法，其特征在于，通过配准模块的对输入图像进行配准具体包括：

步骤1.1，令双目摄像得到两个视频中，左侧视频为left-video，右侧视频为right-video，首先将所有的配准参数清空，然后分别读入left-video一帧图像和right-video对应的一帧图像，作为输入图像，其中left-video一帧图像为左图像，right-video的一帧图像为右图像；

步骤1.2，创建特征提取器：根据特征类型，创建特征提取器，之后根据预设比例参数缩放输入图像，减小输入图像的尺寸，以此加快特征提取的速度，特征提取完成后将提取到的特征点的位置信息和特征信息保存，最后恢复输入图像尺寸；

步骤1.3，匹配特征点：根据预设参数，设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取，当匹配相似度超过该阈值时，保留该匹配点对，否则舍弃该匹配点对；

步骤1.4，配准，即相机标定，根据步骤3.3的匹配信息估计出(计算出)相机的内外参数，具体包括：首先按照预设参数，选定基于单应性的相机标定方法，然后依据步骤3.3的匹配点对的坐标信息估计相机的内外参数，完成标定，之后将左右图像分别对应的焦距focal1和focal2单独取出，以focal1和focal2的中位数作为后续图像缩放的参数，最后进行水平波形校正，改变相机参数中的旋转矩阵；

步骤1.5，图像变形：根据预设参数，采用平面投影的方式进行左右图像变形，并采用步骤4得到的缩放参数缩放图像，图像变形完成之后，保留左右两帧图像变形后的位置和尺寸信息；

步骤1.6，根据预设参数创建分块补偿曝光补偿器，之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器，根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器；

步骤1.7，寻找最优缝合线：根据预设参数，创建动态规划缝合线估计器，之后对左右两帧图像寻找最优缝合线，并将找到的缝合线以图像掩码的形式保存。

5.根据权利要求4所述的远距离双目视频拼接方法，其特征在于，步骤1.7中，使用单侧特征点保留策略，具体包括：在寻找最优缝合线之前，找到左或右图像中的所有经过匹配筛选的特征点，从特征点开始，向左或右开始，直至图像边缘，将沿途所有特征点对应的像素点改为固定颜色，从而寻找最优缝合线，即得到单帧拼接所需的所有配准参数；

得到拼接所需的所有配准参数之后，转入帧拼接模块，开始步骤2所述的视频拼接。

6.根据权利要求4所述的远距离双目视频拼接方法，其特征在于，步骤2所述的视频拼接具体包括：

步骤2.1，根据预设的缩放参数，恢复图像至原始大小，同时将相机标定参数恢复至与原始图像对应的大小；

步骤2.2，图像变形：按照步骤1.5的方法，将左右图像进行投影变换；

步骤2.3，应用步骤1.6的曝光补偿器对左右图像进行曝光补偿；

步骤2.4，创建羽化融合器，将左右两图像以及左右两图像分别对应的位置和掩码反馈至羽化融合器，通过羽化融合器对左右图像进行融合；

步骤2.5，得到当前帧的拼接结果，将拼接结果写入最终的拼接结果视频中，单帧拼接完成。

7.一种远距离双目视频拼接系统，其特征在于，所述系统包括配准模块、拼接模块和结果保存模块；

所述配准模块用于进行图像配准，获得配准参数，具体为：输入双目视频，读取两视频的第一帧，作为配准模块的输入进行配准处理，从而获得配准参数；

所述拼接模块用于进行视频拼接，具体为：依次读取两视频中对应的每一帧，基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果；

所述结果保存模块用于保存每一帧的拼接结果，将每一帧的拼接结果依次写入最终的结果视频中。

其中，所述配准模块还用于在配准处理后，获取第一帧配准后的拼接结果尺寸，将结果视频的尺寸设定为第一帧的拼接结果尺寸；所述结果保存模块在将每一帧的拼接结果依次写入最终的结果视频时，将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸，从而使每一帧拼接结果的尺寸相同。

8.根据权利要求7所述的远距离双目视频拼接系统，其特征在于，所系系统还包括拼接控制模块，所述拼接控制模块用于设置计数器，设置计数阈值，并置计数初始值，每拼接完一帧后对计数器值进行加或减1，并判断计数值是否达到计数阈值；若计数值未达到计数阈值，则继续进行下一帧的拼接；若计数值达到计数阈值，则重置计数器值至初始值，并通过配准模块对下一帧进行再配准，获取新的配准参数，并通过新的配准参数对后续帧进行拼接处理。

9.根据权利要求7所述的远距离双目视频拼接系统，其特征在于，配准模块的对输入图像进行配准具体包括：

令双目摄像得到两个视频中，左侧视频为left-video，右侧视频为right-video，首先将所有的配准参数清空，然后分别读入left-video一帧图像和right-video对应的一帧图像，作为输入图像，其中left-video一帧图像为左图像，right-video的一帧图像为右图像；

创建特征提取器：根据预设参数，创建SURF特征提取器，之后根据预设参数缩放输入图像，减小输入图像的尺寸，以此加快特征提取的速度，特征提取完成后将提取到的特征点的位置信息和特征信息保存，最后恢复输入图像尺寸；

匹配特征点：根据预设参数，设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取，当匹配相似度超过该阈值时，保留该匹配点对，否则舍弃该匹配点对；

配准：根据匹配特征点的匹配信息估计出(计算出)相机的内外参数，具体包括：首先按照预设参数，选定基于单应性的相机标定方法，然后依据匹配特征点中的匹配点对的坐标信息估计相机的内外参数，完成标定，之后将左右图像分别对应的焦距focal1和focal2单独取出，以focal1和focal2的中位数作为后续图像缩放的参数，最后进行水平波形校正，改变相机参数中的旋转矩阵；

图像变形：根据预设参数，采用平面投影的方式进行左右图像变形，并采用配准得到的缩放参数缩放图像，图像变形完成之后，保留左右两帧图像变形后的位置和尺寸信息；

根据预设参数创建分块补偿曝光补偿器，之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器，根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器；

寻找最优缝合线：根据预设参数，创建动态规划缝合线估计器，之后对左右两帧图像寻找最优缝合线，并将找到的缝合线以图像掩码的形式保存；

其中，使用单侧特征点保留策略，具体包括：在寻找最优缝合线之前，找到左或右图像中的所有经过匹配筛选的特征点，从特征点开始，向左或右开始，直至图像边缘，将沿途所有特征点对应的像素点改为固定颜色，从而寻找最优缝合线，即得到单帧拼接所需的所有配准参数；

得到拼接所需的所有配准参数之后，转入帧拼接模块，开始步骤2所述的视频拼接。

10.根据权利要求9所述的远距离双目视频拼接系统，其特征在于，视频拼接具体包括：

根据预设的缩放参数，恢复图像至原始大小，同时将相机标定参数恢复至与原始图像对应的大小；

图像变形，将左右图像都变形至相应的位置和形状；

应用曝光补偿器对左右图像进行曝光补偿；

创建羽化融合器，将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器，通过羽化融合器对左右图像进行融合；

得到当前帧的拼接结果，将拼接结果写入最终的拼接结果视频中，单帧拼接完成。

Images