CN108737743B - 基于图像拼接的视频拼接装置及视频拼接方法 - Google Patents

Abstract

本发明提供一种基于图像拼接的视频拼接装置及视频拼接方法，基于图像拼接的视频拼接方法包括获取待拼接的第一路视频和第二路视频；分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频；对拼接后的视频进行显示。本发明提出的基于图像拼接的视频拼接方法将两路视频的特征提取并行执行，从而提高了拼接效率与拼接稳定性。

Description

基于图像拼接的视频拼接装置及视频拼接方法

技术领域

本发明涉及视频图像拼接技术领域，尤其涉及一种基于图像拼接的视频拼接装置及视频拼接方法。

背景技术

目前的视频拼接技术主要应用在交通行业的视频实时监控领域，研究也主要集中在摄像机位置相对固定、摄像机摆放位置贴近体面的交通监控视频的拼接上。但其实随着计算机视觉领域，如VR，360度全景摄像头等的发展，视频拼接技术的应用领域逐渐扩展到军事侦查领域，民用消费娱乐领域如影视、游戏等。拼接算法相对比较成熟的是对静态图像的拼接。

目前，很多监控场合需要远距离，无遮挡监控，如机场停机坪、高速公路，此时需要的是广角、大视野、高分辨率、变形小的全景图像。而飞行器搭载摄像机拍摄的视频正满足无遮挡，视野广。并且与地面端的监控摄像机不同，提供了一个完全不同的俯瞰视角。特别是近年来发展迅速的无人机，机动性强，灵活性高，可随时改变监控区域，适合各种突发情况的调用，并且设备模块化，组装、使用方便，大大减少了成本。对于高清视频拼接技术，瓶颈主要在处理速度上，关于视频拼接算法原理和方法国内外已有不少的论文发表，但现在还没有通用的能够到达实时处理速度的高分辨率视频拼接软件及产品出现。

发明内容

为了解决上述问题，本发明提出一种基于图像拼接的视频拼接装置及视频拼接方法，能够改善拼接质量，提升拼接效率。

本发明提出的具体技术方案为：提供一种基于图像拼接的视频拼接方法，所述视频拼接方法包括：获取待拼接的第一路视频和第二路视频；分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频；对拼接后的视频进行显示，其中，1≤i≤n。

进一步地，根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接步骤包括：

对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合；

对初始的特征点匹配对集合进行细匹配得到内点集合；

根据内点集合计算得到变换矩阵；

利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中；

对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像。

进一步地，对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合步骤包括：

利用最近邻匹配法在第二路视频的第i帧图像中找到与第一路视频的第i帧图像中的特征点P所匹配的特征点P'；

计算第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域；

将第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点；

重复上面的步骤直至在第二路视频的第i帧图像中找到第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。

进一步地，对初始的特征点匹配对集合进行细匹配得到内点集合步骤包括：

在初始的特征点匹配对集合中随机选取4个特征点匹配对；

计算4个特征点匹配对所对应的单应性矩阵；

计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵的内点集合；

重复上面的步骤N次，以获得N个内点集合。

进一步地，计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差的公式为：

其中，(x_i,y_i)表示特征点匹配对中位于第一路视频的第i帧图像中的像素点的坐标，(x'_i,y_i')表示特征点匹配对中位于第二路视频的第i帧图像中的像素点的坐标，n表示初始的特征点匹配对集合中特征点匹配对的数目，

表示单应性矩阵。

进一步地，根据内点集合计算得到变换矩阵步骤包括：

分别计算每个内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y；

根据下面公式计算每个内点集合所对应的评分系数s_i：

s_i＝n_iσ_xσ_y

其中，n_i表示第i个内点集合中特征点匹配对的数目，i为整数，1≤i≤N；

将评分系数s_i最高的内点集合所对应的单应性矩阵作为变换矩阵。

进一步地，对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像步骤包括：

获得全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像的拼缝；

分别初始化所述拼缝所对应的掩膜；

分别计算所述掩膜中每个像素点的距离权值；

对所述距离权值进行归一化，以获得归一化权值图；

利用所述归一化权值图分别对第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像。

进一步地，所述视频拼接方法还包括：

在分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点之后，依次将第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点存储于缓冲单元中；

在依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频之前，从缓冲单元中依次读取第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点。

本发明还提供了一种基于图像拼接的视频拼接装置，所述视频拼接装置包括图像采集单元，用于获取待拼接的第一路视频和第二路视频；图像预处理单元，用于分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；图像拼接单元，用于依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频；显示单元，用于对拼接后的视频进行显示，其中，1≤i≤n。

进一步地，所述图像拼接单元包括：

粗匹配模块，用于对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合；

细匹配模块，用于对初始的特征点匹配对集合进行细匹配得到内点集合；

计算模块，用于根据内点集合计算得到变换矩阵；

投影模块，用于利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中；

融合模块，用于对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像。

本发明提供的基于图像拼接的视频拼接装置及视频拼接方法通过分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频，两路视频的特征提取并行执行，从而提高了拼接效率与拼接稳定性。

附图说明

通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：

图1为基于图像拼接的视频拼接装置的结构示意图；

图2为图1中图像拼接单元的结构示意图；

图3为基于图像拼接的视频拼接方法的流程图；

图4为图3中步骤S3的流程图。

具体实施方式

以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为局限于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。

参照图1，本实施例提供的基于图像拼接的视频拼接装置包括图像采集单元1、图像预处理单元2、图像拼接单元3及显示单元4。图像采集单元1用于获取待拼接的第一路视频和第二路视频，其中，第一路视频和第二路视频分别包括n帧图像。图像预处理单元2用于分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点。图像拼接单元3用于依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频，其中，1≤i≤n。显示单元4用于对拼接后的图像进行显示。

例如，第一路视频包括3帧图像，分别为第1、2、3帧图像，第二路视频包括3帧图像，分别为第1′、2′、3′帧图像，对第一路视频和第二路视频进行拼接的过程即为根据第1帧图像的特征点和第1′帧图像的特征点对第1帧图像和第1′帧图像进行拼接，根据第2帧图像的特征点和第2′帧图像的特征点对第2帧图像和第2′帧图像进行拼接，根据第3帧图像的特征点和第3′帧图像的特征点对第3帧图像和第3′帧图像进行拼接，从而得到拼接后的视频。

参照图2，具体的，图像拼接单元3包括粗匹配模块31、细匹配模块32、计算模块33、投影模块34及融合模块35。粗匹配模块31用于对对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合。细匹配模块32用于对初始的特征点匹配对集合进行细匹配得到内点集合。计算模块33用于根据内点集合计算得到变换矩阵。投影模块34用于利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中。融合模块35用于对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像。

此外，基于图像拼接的视频拼接装置还包括缓冲单元5，缓冲单元5连接于图像预处理单元2和图像拼接单元3之间。图像预处理单元2在分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点之后，依次将第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点从一端口存储进缓冲单元5中。图像拼接单元3在依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频之前，从缓冲单元5中依次读取第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点。其中，预定帧为缓冲单元5可以缓冲的图像帧的数目。

本实施例中通过缓冲单元5可以使得特征提取和拼接异步并行执行。其中，图像预处理单元2对多路视频进行特征提取后获得的数据构成特征提取流并将特征提取流缓冲至缓冲单元5中，图像拼接单元3从缓冲单元5中读取的数据构成视频拼接流，特征提取流与视频拼接流异步执行，然后，在图像拼接单元3对视频拼接流进行拼接的过程中，图像预处理单元2继续对其他视频进行特征提取并依次缓冲至缓冲单元5中，视频拼接流和特征提取流并行执行。

下面通过具体的示例来对特征提取和拼接异步并行执行过程进行详细的描述。假设缓冲单元5可以缓冲的图像帧的数目为4，首先，图像预处理单元2分别同时提取第一路视频的第1帧图像的特征点和第二路视频的第1′帧图像的特征点并将第一路视频的第1帧图像及提取的特征点和第二路视频的第1′帧图像及提取的特征点分别缓冲至缓冲单元5中。然后，图像预处理单元2分别同时提取第一路视频的第2帧图像的特征点和第二路视频的第2′帧图像的特征点并将第一路视频的第2帧图像及提取的特征点和第二路视频的第2′帧图像及提取的特征点分别缓冲至缓冲单元5中，此时，缓冲单元5已满，图像拼接单元3从缓冲单元5中读取第1帧图像的特征点和第1′帧图像的特征点后对第1帧图像和第1′帧图像进行拼接，与此同时，图像预处理单元2分别同时提取第一路视频的第3帧图像的特征点和第二路视频的第3′帧图像的特征点并将第一路视频的第3帧图像及提取的特征点和第二路视频的第3′帧图像及提取的特征点分别缓冲至缓冲单元5中，整个过程即为图像拼接单元3依次对两路视频的对应的图像帧进行拼接的同时，图像预处理单元2对两路视频的其他图像帧进行特征提取，利用缓冲单元5依次对两路视频的对应的图像帧及其对应的特征点进行缓存。因此，本实施例中通过缓冲单元5可以使得特征提取与图像拼接异步并行执行，提升了整个视频拼接装置的拼接效率。

下面通过具体的实施例来描述本实施例中的基于图像拼接的视频拼接装置的工作过程。基于图像拼接的视频拼接装置包括天空端和地面服务器。为了获得全景视频，天空端包括多路飞行器，每路飞行器上搭载有高清摄像头和图像预处理单元2，高清摄像头即为图像采集单元1，高清摄像头进行全景视频采集，飞行器以m×q的矩阵方式排列，其中，m和q都可以设为1，为了满足视频拼接要求，相邻摄像头水平和俯仰夹角不超过30°，采集到的相邻两路视频之间有30％～70％的重叠区域，这里，相邻两路视频之间有30％～70％的重叠区域即表示相邻两路视频对应的每一帧图像之间有30％～70％的重叠区域。高清摄像头将采集到的全景视频发送给图像预处理单元2，图像预处理单元2采用加速的ORB算法提取全景视频中每一帧图像的特征点，然后，图像预处理单元2将全景视频及其每一帧图像所对应的特征点打包通过无线网络发送给地面服务器。

地面服务器包括CPU、缓冲单元5和图像拼接单元3。地面服务器在接收到打包的全景视频及其每一帧图像所对应的特征点后将其分离后存入缓冲单元5。图像拼接单元3包括GPU，图像拼接单元3从缓冲单元5中读取相邻两路全景视频及其每一帧图像所对应的特征点后在GPU中进行视频拼接，从而得到更大视场、广角、高分辨率的全景视频拼接图像，最后将全景视频拼接图像发送给显示单元4进行显示，显示单元4建立像素缓冲区对象(PBO)作为中间对象，与开放计算语言(Open Computing Language，OpenGL)交互，将GPU内存直接映射到PBO的超宽视野视频数据高速地复制到OpenGL纹理进行绘制显示。

本实施例中在CPU-GPU异构环境下，天空端中多路飞行器的图像预处理单元2在接收到高清摄像头采集的全景视频后并行执行特征提取，再将全景视频及其特征点发送给地面服务器进行视频拼接，通过天空端和地面服务器将每一路全景视频的特征提取和视频拼接作为两个线程异步并行执行，从而提升了视频的拼接效率。

参照图3，本实施例还提供了上述基于图像拼接的视频拼接方法，其包括以下步骤：

步骤S1、获取待拼接的第一路视频和第二路视频，通过图像采集单元1获取待拼接的第一路视频和第二路视频。

步骤S2、分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点，通过图像预处理单元2分别提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点。

步骤S3、依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频。

其中，通过图像拼接单元3依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频，这里依次是指分别对第一路视频和第二路视频的对应的每两帧图像进行拼接直到完成第一路视频和第二路视频的对应的所有帧图像的拼接为止。

参照图4，具体的，步骤S3中根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接包括以下步骤：

S31、对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合，通过粗匹配模块31对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配。

其中，在步骤S31中对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合包括以下步骤：

S311、利用最近邻匹配法在第二路视频的第i帧图像中找到与第一路视频的第i帧图像中的特征点P所匹配的特征点P'。

S312、计算第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域，其中，第一阈值根据经验值设定。

S313、将第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点，通过将第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，缩小了搜索范围，提升了拼接效率。

具体的，假设特征点P的邻域中的特征点包括(M₁,M₂，......，M_p,......,M_k)，k表示邻域中特征点的总数；邻域对应的第二路视频的第i帧图像中的搜索区域的特征点包括(M'₁,M'₂，......，M'_j,......,M'_l)，l表示搜索区域中特征点的总数。从邻域中的第一个特征点M₁开始，计算M₁与(M'₁,M'₂，......，M'_p,......,M'_l)中每个特征点的距离(d'₁₁,d'₁₂，......，d'_1j,......,d'_1l)，将(d'₁₁,d'₁₂，......，d'_1j,......,d'_1l)中最小的距离所对应的特征点作为与M₁匹配的特征点，同理，计算M₂与(M'₁,M'₂，......，M'_p,......,M'_l)中每个特征点的距离(d'₂₁,d'₂₂，......，d'_2j,......,d'_2l)，将(d'₂₁,d'₂₂，......，d'_2j,......,d'_2l)中最小的距离所对应的特征点作为与M₂匹配的特征点，依次对邻域中剩余的特征点M_p进行特征匹配直到邻域中所有的特征点都找到与之匹配的特征点。

S314、重复步骤S311～S313，直至在第二路视频的第i帧图像中找到第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。

S32、对初始的特征点匹配对集合进行细匹配得到内点集合，通过细匹配模块32对初始的特征点匹配对集合进行细匹配得到内点集合。

其中，在步骤S32中对初始的特征点匹配对集合进行细匹配得到内点集合包括以下步骤：

S321、在初始的特征点匹配对集合中随机选取4个特征点匹配对，通过CPU将4个特征点匹配对发送给GPU。

S322、计算4个特征点匹配对所对应的单应性矩阵，优选的，通过高斯-约当消元法计算4个特征点匹配对所对应的单应性矩阵，高斯-约当消元法计算的分支结构少，适合用GPU来实现并行化计算。

具体的，单应性矩阵H是大小为3*3的矩阵，其表示如下：

通常归一化，使得h₃₃＝1，即单应性矩阵H矩阵的自由度为8，选取4个特征点匹配对计算便可以得到单应性矩阵H。

S323、计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵H的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵H的内点集合，其中，投影误差的计算公式为：

其中，(x_s,y_s)表示特征点匹配对中位于第一路视频的第i帧图像中的像素点的坐标，(x'_s,y_s')表示特征点匹配对中位于第二路视频的第i帧图像中的像素点的坐标，Q表示初始的特征点匹配对集合中特征点匹配对的数目，

表示单应性矩阵H。

S324、重复步骤S321～S323N次，以获得N个内点集合。

理论上选取4个特征点匹配对计算便可以得到单应性矩阵H，实际计算中由于存在误差，不可能只用4个特征点匹配对就得出精准的单应性矩阵H，因此，这里通过重复步骤S321～S323N次便可以得到N个内点集合，然后通过下面的步骤对N个内点集合进行非线性优化。本实施例中S321～S324整个过程都是在GPU中执行且通过N次执行获得N个内点集合都是并行执行。

S33、根据内点集合计算得到变换矩阵。

具体的，步骤S33包括以下步骤：

S331、分别计算每个内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y；

S332、根据下面公式计算每个内点集合所对应的评分系数S_r：

S_r＝R_rσ_xσ_y

其中，R_r表示第r个内点集合中特征点匹配对的数目，r为整数，1≤r≤N；将评分系数S_r最高的内点集合所对应的单应性矩阵H作为变换矩阵。评分系数S_r即考虑了内点集合中特征点匹配对的数目，同时还考虑了内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y，从而使获得的变换矩阵的精确度更高。

S34、利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中。由于图像的投影过程是对整个图像的所有像素点都进行相同的坐标变换，然后进行像素点的像素值拷贝，该过程具有良好的并行性，适合在GPU中启用多线程完成。

S35、对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像。

具体的，步骤S35中对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像步骤包括：

S351、获得全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像的拼缝，其中，拼缝获取的方法包括图割法、Vonoroi法等，这些方法在图像拼接领域中为常用的方法，本实施例不再赘述。

S352、分别初始化第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜，其中，第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜指的是将第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝的两边的灰度值分别设置为255和0形成以拼缝为分界线的黑白图像即为第一路视频的第i帧图像、第二路视频的第i帧图像的拼缝所对应的掩膜。

S353、分别计算第一路视频的第i帧图像、第二路视频的第i帧图像的掩膜中每个像素点的距离权值，其中，采用距离变换生成距离权值。

具体的，计算拼缝的掩膜中所有非零像素点与其最近的零像素点的距离min(d(t,t₀))，t表示非零像素点，t₀表示零像素点。这里的距离定义为曼哈顿距离或欧几里德距离。掩模中每个像素点M(t)的距离权值w^dis(t)可表示为:

S354、分别对第一路视频的第i帧图像、第二路视频的第i帧图像所对应的距离权值w₁ ^dis(t)、w₂ ^dis(t)进行归一化，以分别获得第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w₁(t)、w₂(t)。

S355、利用第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w₁(t)、w₂(t)对第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像I_f(t)。

具体的，在步骤S355中通过下面的公式对第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像I_f(t)：

其中，H＝2，I₁表示的是第一路视频的第i帧图像，I₂表示的是第二路视频的第i帧图像，t表示的是像素点。

步骤S353中计算第一路视频的第i帧图像、第二路视频的第i帧图像的掩膜中每个像素点的距离权值及步骤S354中分别对第一路视频的第i帧图像、第二路视频的第i帧图像所对应的距离权值w₁ ^dis(t)、w₂ ^dis(t)进行归一化，以分别获得第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w₁(t)、w₂(t)在CPU中执行，执行完得到的归一化权值图w₁(t)、w₂(t)发送给GPU后执行步骤S355。

步骤S4、对拼接后的图像进行显示。

此外，所述拼接方法还包括在步骤S2之后，依次将第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点存储于缓冲单元5中；在步骤S3之前依次从缓冲单元5中读取第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点。

本实施例只给出了对两路视频对应的每一帧图像进行拼接的过程，当需要对更多路的视频进行拼接时只需要重复上面的过程便可，这里不再赘述。

本实施例提供的基于图像拼接的视频拼接装置及视频拼接方法的有益效果包括：

(1)通过对第一路视频的第i帧图像和第二路视频的第i帧图像的特征点进行粗匹配得到初始的特征点匹配对集合之后，再对初始的特征点匹配对集合进行细匹配得到内点集合，从而得到精确的内点集合，根据内点集合得到变换矩阵，改善了拼接质量；

(2)通过划分搜索区域进行粗匹配，提高了匹配精确度、提升了拼接效率；

(3)根据内点集合得到的变换矩阵即考虑了内点集合中特征点匹配对的数目，同时还考虑了内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y，提高了变换矩阵的精确度；

(4)多路视频的特征提取并行执行，无论待拼接的视频数量是多少，特征提取的时间不变，提高了拼接效率与拼接稳定性；

(5)在CPU-GPU异构环境下，通过天空端和地面服务器将特征提取和图像拼接作为两个线程异步并行执行，提升了拼接效率；

(6)在GPU中执行利用第一路视频的第i帧图像、第二路视频的第i帧图像所对应的归一化权值图w₁(t)、w₂(t)分别对第一路视频的第i帧图像、第二路视频的第i帧图像进行融合步骤，实现了多线程计算，加速了融合过程，大大减少融合耗时，提高了整体的拼接效率；

(7)本实施例提供的基于图像拼接的视频拼接装置及视频拼接方法可广泛应用于军事侦察、森林火灾现场灭火指挥、交通路口监视、其他灾害现场实时观测、灾情评估决策、娱乐直播等众多领域。

本申请是参照根据本申请实施例的方法和设备(系统)来描述的。应理解可由计算机程序指令结合信息感应设备实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令配合信息感应设备产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (4)

1.一种基于图像拼接的视频拼接方法，其特征在于，包括：获取待拼接的第一路视频和第二路视频；分别同时提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频；对拼接后的视频进行显示，其中，1≤i≤n，根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接步骤包括：

对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合；

对初始的特征点匹配对集合进行细匹配得到内点集合；

根据内点集合计算得到变换矩阵；

利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中；

对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像；

对初始的特征点匹配对集合进行细匹配得到内点集合步骤包括：

在初始的特征点匹配对集合中随机选取4个特征点匹配对；

计算4个特征点匹配对所对应的单应性矩阵；

计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵的内点集合，其中，计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差的公式为：

其中，(x_i,y_i)表示特征点匹配对中位于第一路视频的第i帧图像中的像素点的坐标，(x'_i,y_i')表示特征点匹配对中位于第二路视频的第i帧图像中的像素点的坐标，n表示初始的特征点匹配对集合中特征点匹配对的数目，

表示单应性矩阵；

重复上面的步骤N次，以获得N个内点集合；

根据内点集合计算得到变换矩阵步骤包括：

分别计算每个内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y；

根据下面公式计算每个内点集合所对应的评分系数s_i：

s_i＝n_iσ_xσ_y

其中，n_i表示第i个内点集合中特征点匹配对的数目，i为整数，1≤i≤N；

将评分系数s_i最高的内点集合所对应的单应性矩阵作为变换矩阵；

在分别同时提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点之后，依次将第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点存储于缓冲单元中；

在依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频之前，从缓冲单元中依次读取第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点。

2.根据权利要求1所述的视频拼接方法，其特征在于，对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合步骤包括：

利用最近邻匹配法在第二路视频的第i帧图像中找到与第一路视频的第i帧图像中的特征点P所匹配的特征点P'；

计算第一路视频的第i帧图像中的特征点M到特征点P的距离，将距离小于设定的第一阈值的特征点M形成的集合作为特征点P的邻域；

将第二路视频的第i帧图像中以特征点P'为圆心，以第一阈值为半径的区域作为特征点M的搜索区域，计算邻域中的每一个特征点M与搜索区域中的所有特征点M'的距离，将搜索区域中与特征点M的距离最短的特征点M'作为与特征点M匹配的特征点；

重复上面的步骤直至在第二路视频的第i帧图像中找到第一路视频的第i帧图像中所有特征点所匹配的特征点，以获得初始的特征点匹配对集合。

3.根据权利要求1所述的视频拼接方法，其特征在于，对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像步骤包括：

获得全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像的拼缝；

分别初始化所述拼缝所对应的掩膜；

分别计算所述掩膜中每个像素点的距离权值；

对所述距离权值进行归一化，以获得归一化权值图；

利用所述归一化权值图分别对第一路视频的第i帧图像、第二路视频的第i帧图像进行融合，以获得拼接后的图像。

4.一种基于图像拼接的视频拼接装置，其特征在于，包括图像采集单元，用于获取待拼接的第一路视频和第二路视频；图像预处理单元，用于分别同时提取第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点；缓冲单元，用于在图像预处理单元分别同时提取的第一路视频、第二路视频的n帧图像中每一帧图像所对应的特征点之后，依次对第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点进行存储；图像拼接单元，用于从缓冲单元中依次读取第一路视频、第二路视频的预定帧图像及第一路视频、第二路视频的预定帧图像中每一帧图像所对应的特征点，依次根据第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点对第一路视频的第i帧图像和第二路视频的第i帧图像进行拼接，以获得拼接后的视频；显示单元，用于对拼接后的视频进行显示，其中，1≤i≤n，所述图像拼接单元包括：

粗匹配模块，用于对第一路视频的第i帧图像的特征点和第二路视频的第i 帧图像的特征点进行粗匹配，以获得初始的特征点匹配对集合；

细匹配模块，用于对初始的特征点匹配对集合进行细匹配得到内点集合；

计算模块，用于根据内点集合计算得到变换矩阵；

投影模块，用于利用变换矩阵将第一路视频的第i帧图像和第二路视频的第i帧图像分别投影到全景坐标系中；

融合模块，用于对全景坐标系中的第一路视频的第i帧图像和第二路视频的第i帧图像进行融合，以获得拼接后的图像；

所述细匹配模块还用于：

在初始的特征点匹配对集合中随机选取4个特征点匹配对；

计算4个特征点匹配对所对应的单应性矩阵；

计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差，将投影误差小于设定的第二阈值的特征点匹配对形成的集合作为单应性矩阵的内点集合，其中，计算初始的特征点匹配对集合中每一个特征点匹配对与单应性矩阵的投影误差的公式为：

其中，(x_i,y_i)表示特征点匹配对中位于第一路视频的第i帧图像中的像素点的坐标，(x'_i,y_i')表示特征点匹配对中位于第二路视频的第i帧图像中的像素点的坐标，n表示初始的特征点匹配对集合中特征点匹配对的数目，

表示单应性矩阵；

重复上面的步骤N次，以获得N个内点集合；

计算模块，用于根据内点集合计算得到变换矩阵具体包括：

分别计算每个内点集合中像素点在x方向的标准方差δ_x及y方向的标准方差δ_y；

根据下面公式计算每个内点集合所对应的评分系数s_i：

s_i＝n_iσ_xσ_y

其中，n_i表示第i个内点集合中特征点匹配对的数目，i为整数，1≤i≤N；

将评分系数s_i最高的内点集合所对应的单应性矩阵作为变换矩阵。

Images