CN105719235A - 基于圆周扫描视频图像拼接与分屏显示方法 - Google Patents

Abstract

本发明公开了一种基于圆周扫描视频图像拼接与分屏显示方法，其中，包括：步骤1：初始化并在一水平角度采集一帧视频图像；步骤2：转动一定角度，水平采集一帧视频图像；步骤3：计算两帧视频图像之间的水平角度差，获取圆周扫描水平角位移量；步骤4：根据摄像头采集视频图像像素、视角大小以及水平角位移量，计算前一帧基准图像和当前帧配准图像的像素位移量；步骤5：进行视频图像无缝拼接；步骤6：令当前帧配准图像为前一帧基准图像，当前帧扫描角度为前一帧扫描角度，并转步骤2。本发明的基于圆周扫描视频图像拼接与分屏显示方法，解决了中心点不动条件下的圆周扫描视频图像拼接与分屏显示问题，减少视频图像拼接算法的计算量。

Description

基于圆周扫描视频图像拼接与分屏显示方法

技术领域

本发明属于视频图像拼接与分屏显示技术领域，具体涉及一种基于圆周扫描视频图像拼接与分屏显示方法。

背景技术

视频图像拼接与分屏显示技术是数字图像处理一个重要的研究领域，就是将多幅相互间存在重叠部分的图像序列进行空间配准，经重采样融合后形成一幅包含各图像序列信息、宽视角场景、完整和高清晰的新图像，其本质是对待拼接图像重复区域配准和图像融合的过程，最后再重新规划显示，即分屏显示。

在视频图像拼接技术中，基于特征点提取是一种较为行之有效的常规通用方法。该方法遵循步骤如下：首先提取两幅待拼接视频图像的特征点，然后将两幅图像中的特征点配对，最后求解投影变换矩阵及配准图像矩阵转换，最终完成两幅图像同一空间的拼接。而分频显示是为了解决因单帧图像显示变为拼接视频图像显示发生的图像大小和形状的变化，需重新规划布局拼接视频图像在监视器上的显示。

对视频图像的拼接效果、处理速度起重要作用的是特征点检测和特征点匹配。两帧视频图像特征点检测、匹配的方法多种多样，然而这些方法要么是拼接质量高、计算量大，要么就是计算量小、拼接质量低。如何快速地检测出有效的特征点，并完成特征点的准确匹配，是有效完成视频图像拼接的关键。

现有的图像拼接算法描述如下：

1)检测基准图像、配准图像特征点或特征模块；

2)完成两幅图像的特征点匹配；

3)选择匹配最优的4对特征点；

4)根据4对特征点求解投影变换矩阵；

5)进行基于投影变换矩阵的配准图像投影变换；

6)最后完成基准图像、配准图像同一空间的无缝拼接。

现有图像拼接算法通用性广，能完成动态拍摄2幅图像的自动拼接，但具有计算量大缺陷。例如，Zhang等学者提出的一种图像拼接中筛选特征点匹配对的方法，该方法通过有针对性地优先抽取特征更为相似的、空间上更为分散的特征点对，较快较好地筛选出正确的匹配对。Zhao等学者提出的一种基于特征点标定的视频图像拼接方法，该方法手动标定相对位置固定的2个摄像头采集到的视频图像的4对特征点，省略了特征点检测和匹配处理，能较快较好地完成视频图像拼接。

发明内容

本发明的目的在于提供一种基于圆周扫描视频图像拼接与分屏显示方法，用于解决上述现有技术的问题。

本发明一种基于圆周扫描视频图像拼接与分屏显示方法，其中，包括：步骤1：初始化并在一水平角度采集一帧视频图像；步骤2：转动一定角度，水平采集一帧视频图像；步骤3：计算两帧视频图像之间的水平角度差，获取圆周扫描水平角位移量；步骤4：根据摄像头采集视频图像像素、视角大小以及水平角位移量，计算前一帧基准图像和当前帧配准图像的像素位移量；步骤5：进行视频图像无缝拼接；步骤6：令当前帧配准图像为前一帧基准图像，当前帧扫描角度为前一帧扫描角度，并转步骤2。

根据本发明的基于圆周扫描视频图像拼接与分屏显示方法的一实施例，其中，步骤1中选择摄像头像素为720×576，视角为40°，帧率为25f/s，圆周扫描设备旋转角速度为6°/s以及摄像头初始角度为0°。

根据本发明的基于圆周扫描视频图像拼接与分屏显示方法的一实施例，其中，步骤3中DSP处理模块计算前一帧角度βold和当前帧角度βnew之差d_β，获取圆周扫描水平角位移量d_β，计算公式为：d_β＝β_new-β_old。

根据本发明的基于圆周扫描视频图像拼接与分屏显示方法的一实施例，其中，步骤4中前一帧基准图像和当前帧配准图像的像素位移量d_p，计算公式为：

根据本发明的基于圆周扫描视频图像拼接与分屏显示方法的一实施例，其中，每次像素位移量d_p理论值计算公式为：

本发明的基于圆周扫描视频图像拼接与分屏显示方法，借助圆周扫描设备，解决了中心点(焦距)不动条件下的圆周扫描视频图像拼接与分屏显示问题，省略了视频图像特征点检测、特征匹配计算量，减少视频图像拼接算法的计算量。

附图说明

图1圆周扫描视频图像拼接与分屏显示处理流程图；

图2调试验证系统硬件组成图；

图3分屏显示布局方案图；

图4分屏显示效果图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提供了一种基于圆周扫描视频图像拼接与分屏显示方法，针对中心点不动单个摄像头，通过圆周扫描设备在水平方向连续采集视频图像，并间接获取水平像素位移量，此方法可实现360°视频图像有效、快速拼接与分屏显示。

图1所示为基于圆周扫描视频图像拼接与分屏显示的硬件试验平台的示意图，如图2所示，包括：1台圆周扫描设备3、1个摄像头2、1个监视器4、1个DSP处理板1、1个仿真器5和1个调试计算机6。其中DSP处理板1包括：1个A/D转换模块11、1个存储模块12、1个DSP处理模块13、1个D/A转换模块14以及调试接口15，接口部分包括1路视频输入接口、1路视频输出接口、1路串口和1路调试接口15；圆周扫描设备3具有旋转角度采集功能，并实时发送至DSP处理板1。

图2所示为基于圆周扫描视频图像拼接与分屏显示方法的流程图，如图1以及图2所示，基于圆周扫描视频图像拼接与分屏显示方法包括：

步骤1：初始化并采集第一帧视频图像，包括固定单个摄像头在周视扫描设备顶部，焦点或中心点处于旋转中心且方向和旋转中心线垂直，使得摄像头采集的视频图像水平。控制周视扫描设备匀速圆周旋转，摄像头采集并保存第一帧视频图像，即前一帧基准图像，同时发送扫描角度信息至DSP处理板。

步骤2：摄像头采集并保存第二帧视频图像，即当前帧配准图像，同时发送扫描角度信息至DSP处理板。

步骤3：计算前一帧和当前帧角度差，获取圆周扫描水平角位移量。

步骤4：根据摄像头采集视频图像像素和视角大小，以及步骤3中水平角位移量，计算前一帧基准图像和当前帧配准图像的像素位移量。

步骤5：完成基于渐入渐出方法的视频图像无缝拼接。

步骤6：图3所示为分屏显示布局方案图，依据分屏方案完成拼接后视频图像分屏显示。

步骤7：令当前帧配准图像为前一帧基准图像，当前帧扫描角度为前一帧扫描角度，转入步骤2循环视频图像拼接与分屏显示处理。

基于圆周扫描视频图像拼接与分屏显示方法

步骤1：选择摄像头像素为720×576，视角为40°，帧率为25f/s，圆周扫描设备旋转角速度为6°/s，摄像头初始角度为0°，摄像头采集并保存第一帧视频图像Pold，同时发送扫描角度βold(0°)至DSP存储模块。

步骤2：摄像头采集并保存第二帧视频图像Pnew，同时发送扫描角度βnew至DSP存储模块。

步骤3：DSP处理模块计算前一帧角度βold和当前帧角度βnew之差d_β，获取圆周扫描水平角位移量d_β，计算公式如下：

d_β＝β_new-β_old

步骤4：前一帧基准图像和当前帧配准图像的像素位移量d_p，即平移量，因摄像头视角为40°，计算公式如下：

$d_p=\frac{720\×d_{\mathrm{\β}}}{40}=18d_{\mathrm{\β}}$

这里，d_p四舍五入取整，单位为像素。

步骤5：因帧率为25f/s，每帧间隔时间为40ms，旋转角速度为6°/s，这样每次像素位移量d_p理论值计算公式如下(不考虑圆周扫描设备匀速旋转系统误差和漂移误差)。

$d_p=18d_{\mathrm{\β}}=\frac{18\×6}{25}=4.32$

像素位移量d_p一般取值在4个像素左右，由此视频图像无缝拼接渐入渐出处理的基准图像和配准图像均取30列像素处理，试验验证了能较好地达到无缝拼接效果。

步骤6：基于分屏显示布局方案(如图3)，完成无缝拼接后视频图像的分屏显示，视频图像拼接与分屏显示试验结果较好，这里拼接后图像缩小4倍后进行分屏显示。

步骤7：令Pold＝Pnew、βold＝βnew，转入步骤2循环进行视频图像拼接与分屏显示处理。

针对上述720×576像素采集视频，基于C6416型号DSP芯片，圆周扫描视频图像拼接与分屏显示方法的渐入渐出视频图像拼接和分频显示处理时间分别为38.65和7.77ms，见下表。

而基于现有处理方法的特征点检测、特征点匹配、图像与分屏显示处理时间分别为47.97ms、426.34ms、107.07ms和7.77ms，见下表。

传统视频图像拼接与的分屏显示处理时间表

由此可得，采用圆周扫描视频图像拼接与分屏显示方法可省略特征点检测和匹配处理计算量，同时视频图像拼接时因只考虑平移省略了投影变换，其计算量也减少，这样与现有视频图像拼接方法比较，两者计算量之比为：

$\mathrm{\ρ}=\frac{38.65+7.77}{47.97+426.34+107.07+7.77}=\frac{46.42}{589.15}=0.07879$

备注：当圆周扫描设备水平旋转速度发生变化，摄像头视角大小、采集像素和帧率发生变化，依据具体实施例及对应的计算公式，需要重新设计算法和规划分屏显示布局；采用本发明方法，可实现360°周视全景视频图像拼接，也可根据圆周扫描设备旋转角度范围实现任意扇形角度范围的视频图像拼接。

本发明通过周视扫描设备，能间接地获取单个摄像头前后2帧或任意2帧视频图像水平角位移量，进而完成水平方向视频图像无缝拼接与分屏显示，省略了视频图像特征点检测和匹配处理计算量，整体上大大降低了视频图像拼接与分屏显示处理计算量。

本发明基于圆周扫描视频图像拼接与分屏显示方法所提的技术方案是针对摄像头中心点不动条件下视频图像拼接与分屏显示，利用的周视扫描设备可用当前市场上可采购的各种云台，可满足不同场景下的视频图像拼接与分屏显示的要求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于圆周扫描视频图像拼接与分屏显示方法，其特征在于，包括：

步骤1：初始化并在一水平角度采集一帧视频图像；

步骤2：转动一定角度，水平采集一帧视频图像；

步骤3：计算两帧视频图像之间的水平角度差，获取圆周扫描水平角位移量；

步骤4：根据摄像头采集视频图像像素、视角大小以及水平角位移量，计算前一帧基准图像和当前帧配准图像的像素位移量；

步骤5：进行视频图像无缝拼接；

步骤6：令当前帧配准图像为前一帧基准图像，当前帧扫描角度为前一帧扫描角度，并转步骤2。

2.如权利要求1所述的基于圆周扫描视频图像拼接与分屏显示方法，其特征在于，步骤1中选择摄像头像素为720×576，视角为40°，帧率为25f/s，圆周扫描设备旋转角速度为6°/s以及摄像头初始角度为0°。

3.如权利要求1所述的基于圆周扫描视频图像拼接与分屏显示方法，其特征在于，

步骤3中DSP处理模块计算前一帧角度βold和当前帧角度βnew之差d_β，获取圆周扫描水平角位移量d_β，计算公式为：d_β＝β_new-β_old。

4.如权利要求1所述的基于圆周扫描视频图像拼接与分屏显示方法，其特征在于，步骤4中前一帧基准图像和当前帧配准图像的像素位移量d_p，计算公式为：

$d_p=\frac{720\×d_{\mathrm{\β}}}{40}=18d_{\mathrm{\β}}.$

5.如权利要求1所述的基于圆周扫描视频图像拼接与分屏显示方法，其特征在于，每次像素位移量d_p理论值计算公式为：

$d_p=18d_{\mathrm{\β}}=\frac{18\×6}{25}=\mathrm{4.32.}$