CN102256111B - 多通道全景视频实时监控系统及方法 - Google Patents

Abstract

本发明公开了一种多通道全景视频实时监控方法，主要解决多通道全景视频的实时融合问题。其实现步骤是：通过摄像头或导入视频文件获取视频；然后对视频帧进行特征点提取，求得相应视频帧之间的单应性矩阵，用以描述视频通道间的坐标位置关系；接着确定多通道视频帧之间的相互位置关系，得到多通道视频帧的融合顺序；根据融合顺序选取当前待处理的两个视频帧，在两个视频帧的公共区域寻找最优拼接线，建立通道信息和像素坐标变换关系的融合查找表；根据融合查找表将多通道视频帧融合生成全景视频帧，并将得到的全景视频帧以指定的帧率进行实时显示，实现多通道全景视频的实时监控。本发明具有实时性好、可用性强和不依赖硬件的优点。

Description

多通道全景视频实时监控系统及方法

技术领域

本发明属于全景视频拼接技术领域，特别是一种多通道全景视频实时监控系统，可应用于车站、超市、交通路段场所的全景实时监控。

背景技术

近年来，人们对视频监控的需求日益提高。传统的监控方案采用若干摄像头拍摄不同视角的场景(见图1)，并将场景信息返回到客户端的多个独立窗口来实现监控(见图2)。由于监控场所的空间复杂性，尤其监控区域存在部分重叠的情况，监控人员需要监测多个窗口，分析信息相关性并实现目标识别和跟踪，监控不方便，不直观。

随着全景图像技术的发展，全景视频以其视角的宽广性和内容的丰富性，成为一种新型的监控方案。目前，应用于全景视频中的技术主要有以下几种：

1.陈立栋，徐玮，张茂军等.基于四拼图的嵌入式全景视频实时生成系统.信号处理，2009(12)：1946-1950。设计了一个正四棱台形视频采集固定装置，依赖硬件DSP的并行和流水特点，实现对四个广角摄像头采集所得信息进行实时视频拼接。

2.李伟，庞其昌.基于DSPs的实时图像融合软件系统设计与研究.暨南大学硕士学位论文，2006。采用高性能的数字信号处理器(DSP)为平台，达到了多通道图像实时融合的目的。

3.庄越挺，陈铭，吴飞等.根据多视角视频流生成全景视频的方法.公开号：CN101146231，公开日：2008.03.19.描述了一种基于视频流进行全景视频拼接的方法，其特点在于：需要先对应各个视频流中的同步帧，再生成全景视频，不能用于实时监控。

上述全景视频监控技术，针对监控地点的复杂性，往往需要多个摄像头实现全景监控，因此首先获取多通道视频，并确定各视频通道的相对位置关系。针对获取的多通道视频帧，按照其通道间相对位置关系，进行相应的坐标变换和帧融合，从而得到实时的全景视频。目前全景视频技术存在以下缺点：

1.硬件设备依赖较强，需要借助于专门的硬件设备实现视频通道的位置关系确定和视频融合，扩展性差；

2.融合速度慢，难以实现多通道全景视频的实时监控；

3.系统的可用性不强，工作方式单一，只能实现2至4个通道的实时视频拼接或只能通过导入视频文件的方式完成视频的非实时拼接。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种多通道全景视频实时监控系统及方法，以降低对硬件设备的依赖性，提高融合速度并实现多通道全景视频的实时融合，增强系统的可用性。

为实现上述目的，本发明的技术方案如下：

一.本发明的多通道全景视频实时监控系统，包括

视频采集模块：通过摄像头或视频文件获取视频帧，并传送给视频配准模块；

视频配准模块：用于对视频帧进行特征点提取，得到特征点之间的匹配关系，求得相应视频帧间的单应性矩阵，以描述两视频通道间的坐标位置关系，并传送给视频通道排序模块；

视频通道排序模块：用于对多个视频通道的融合顺序进行排序，通过构造以视频通道为节点的图结构，构造图结构的最优生成树和排序树，确定多通道视频帧间的相互位置关系，并传送给融合查找表建立模块；

融合查找表建立模块：根据视频通道的相互位置关系，对视频帧进行相应的坐标变换，寻找最优拼接线，并基于该拼接线建立视频通道信息和像素坐标变换关系的融合查找表，将该融合查找表传送给逐帧视频融合模块；

逐帧视频融合模块：根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略，将多通道视频帧融合生成全景视频帧，并将该全景视频帧传送给视频显示模块；

视频显示模块：逐帧接收全景视频帧，并进行实时显示。

二.本发明的多通道全景视频实时监控方法，包括

视频采集步骤：通过摄像头或视频文件获取视频帧；

视频配准步骤：对视频帧进行特征点提取，得到特征点之间的匹配关系，求得相应视频帧间的单应性矩阵，以描述两视频通道间的坐标位置关系；

视频通道排序步骤：用于对多个视频通道的融合顺序进行排序，通过构造以视频通道为节点的图结构，构造图结构的最优生成树和排序树，确定多通道视频帧间的相互位置关系；

融合查找表建立步骤：根据视频通道的相互位置关系，对视频帧进行相应的坐标变换，寻找最优拼接线，并基于该拼接线建立视频通道信息和像素坐标变换关系的融合查找表；

逐帧视频融合步骤：根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略，将多通道视频帧融合生成全景视频帧；

视频显示步骤：逐帧接收全景视频帧，并进行实时显示。

所述的视频通道排序步骤包括：

视频通道图结构子步骤：根据视频帧配准，建立以视频通道为节点，以视频通道间的单应性矩阵为边的图结构；

视频通道最优生成树子步骤：根据视频通道图结构，利用视频通道间的配准关系，得到视频通道最优生成树；

视频通道排序树子步骤：根据视频通道最优生成树，构造排序树，确定基准视频通道和其他视频通道到基准通道的位置关系，实现多视频通道的位置排序。

所述的融合查找表建立步骤包括：

多通道视频帧坐标变换子步骤：根据视频帧排序确定的各视频帧间的位置关系，利用单应性矩阵对各视频帧进行坐标位置变换；

最优拼接线子步骤：在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线；

映射关系子步骤：根据最优拼接线，结合加权融合，确定各通道视频帧和全景视频帧之间的坐标映射关系；

建表子步骤：将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表，该融合查找表包括两种数据结构。

所述的“分块预取”策略，包括如下步骤：

a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块，即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1，将差值视频帧s中除去分块1的区域作为分块2。

b)对分块1，根据融合查找表中的第一种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中像素值pixel_2，求得加权值pixel并赋值给全景视频帧r的对应坐标处；

c)对分块2，根据融合查找表中的第二种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2，并根据像素值相对于最优拼接线的位置关系，将像素值直接赋值给全景视频帧r的对应坐标处。

本发明具有如下优点：

1.本发明由于其视频配准、视频通道排序、融合查找表的建立和逐帧视频融合中均由软件系统完成，不依赖于其他硬件，从而降低了对硬件设备的依赖性；

2.由于采用了“分块预取”策略建立融合查找表，使用简单的像素加权法和像素值直接赋值的方法进行全景视频帧的融合，达到了快速融合视频帧的目的，从而实现了多通道全景视频的实时融合；

3.本发明由于具备了如下两种使用方式，从而增强了系统的可用性。两种使用方式：

方式1，通过摄像头进行视频帧的实时采集，经过视频配准、视频通道排序、融合查找表的建立和逐帧视频融合步骤，实现多通道全景视频的实时监控；

方式2，通过导入已录制好的多个通道的视频文件进行全景视频拼接。

附图说明

图1是传统摄像头监控方式；

图2是传统监控显示方式；

图3是本发明多通道全景视频实时监控系统框图；

图4是本发明多通道全景视频实时监控方法流程图；

图5是本发明使用的最优拼接线示意图；

图6是本发明融合查找表的第一种数据结构示意图；

图7是本发明融合查找表的第二种数据结构示意图；

图8是本发明采用视频文件导入的全景视频拼接结果图；

图9是本发明采用摄像头获取视频并对室外场景进行多通道实时监控的结果图；

图10是本发明采用摄像头获取视频并对室内场景进行多通道实时监控的结果图。

具体实施方式

参照图3，本发明的多通道全景视频实时监控系统主要由视频采集模块、视频配准模块、视频通道排序模块、融合查找表建立模块、逐帧视频融合模块和视频显示模块组成。其中：

视频采集模块，用于获取多通道实时场景视频或非实时场景的视频，获取方式有两种：一是通过摄像头采集室内或室外的实时场景信息，本发明不受摄像头型号的限制；二是通过导入已经录制好的多通道的视频文件获取视频帧，视频文件格式要求为Audio Video Interleaved，AVI，即音频视频交错格式，获取的这些视频帧传送给视频配准模块。

视频配准模块，对获取得到的所有通道的视频帧进行特征点提取并去除不稳定的特征点，该特征点提取采用的是尺度不变特征转换SIFT检测子，它是David G.Lowe在2004年总结提出的一种基于尺度空间的，对图像的旋转、缩放和亮度变化保持不变性，对视角变化、仿射变换也保持一定程度稳定性的图像局部特征检测子，用以描述视频帧的SIFT特征点信息；对得到的SIFT特征点，按特征点的大小和方向信息生成对应的特征向量后，采用基于k-d树的最近邻搜索BBF算法得到特征点之间的匹配关系；使用随机抽样一致RANSAC算法寻找两幅图像间最佳的4对匹配点，并剔除误配点，得到用以描述视频帧之间坐标位置关系的单应性矩阵，并将求得的单应性矩阵传送给视频通道排序模块。

视频通道排序模块，用于确定所有视频帧的拼接顺序，并将拼接顺序传送给融合查找表建立模块，它包括视频通道图结构子模块、视频通道图最优生成树子模块和视频通道排序树子模块。各个子模块的功能是：视频通道图结构子模块，根据视频帧配准得到的视频通道间的坐标位置关系，建立以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构，并将该有向图结构传送给视频通道最优生成树子模块；视频通道最优生成树子模块，根据视频通道的有向图结构，利用视频通道间的配准关系，通过求解有向图结构的强连通分图，得到视频通道最优生成树，并确定树根节点所表示的视频通道为基准视频通道，将该最优生成树传送给视频通道排序树模块；视频通道排序树子模块，根据视频通道最优生成树，构造排序树，确定基准视频通道和其他视频通道到基准通道的位置关系，确定多通道视频帧间的相互位置关系和视频帧拼接顺序，并传送给融合查找表建立模块。

融合查找表建立模块，用于建立在视频融合阶段用来获取坐标信息的融合查找表，它包括多通道视频帧坐标变换子模块、最优拼接线子模块、映射关系子模块和建表子模块。各个子模块的功能是：多通道视频帧坐标变换子模块，根据视频通道排序确定的基准视频帧和各视频帧间的位置关系，利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内，并将对非基准视频帧进行变换后的视频帧传送给最优拼接线子模块；最优拼接线子模块，根据各视频帧间的位置关系和已确定的视频帧拼接顺序，按拼接顺序选取两个视频帧作为当前待操作的两个视频帧，在当前两个视频帧的公共区域寻找一条像素平均能量值最小拼接线作为最优拼接线，如图5所示，并将求得的最优拼接线传递给映射关系子模块；映射关系子模块，根据求得的最优拼接线，确定各通道视频帧和全景视频帧之间的坐标映射关系，并将坐标映射关系传送给建表子模块；建表子模块，将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表，该融合查找表包括两种不同的数据结构：a)第一种数据结构如图6，图6中Dst表示全景视频帧的像素坐标，No1和No2分别表示基准视频通道号和非基准视频通道号，Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标；b)第二种数据结构如图7，图7中Dst表示全景视频帧的像素坐标，No表示视频通道号，Src表示视频帧通道号为No的像素坐标。建立融合查找表后，将融合查找表传送给逐帧视频融合模块。

逐帧视频融合模块，根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略进行，其实现步骤是：a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块，即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1，将差值视频帧s中除去分块1的区域作为分块2；b)对分块1，根据图6所示的融合查找表中的第一种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中像素值pixel_2，求得加权值pixel并赋值给全景视频帧r的对应坐标处；c)对分块2，根据图7所示融合查找表中的第二种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2，并根据像素值相对于最优拼接线的位置关系，将像素值直接赋值给全景视频帧r的对应坐标处。将多通道视频帧融合生成全景视频帧，并将该全景视频帧传送给视频显示模块。

视频显示模块：用于逐帧接收全景视频帧，并进行实时显示。

参照图4，本发明的多通道全景视频实时监控方法，包括如下步骤：

步骤1，视频采集。

使用摄像头获取实时场景视频信息或者导入视频文件获取非实时场景视频信息，对于使用摄像头获取视频信息的方式，本发明不受摄像头型号的限制；对于导入视频文件获取非实时视频信息的方式，视频文件格式要求为Audio Video Interleaved，AVI，即音频视频交错格式。

步骤2，视频配准。

2a)对获取得到的所有通道的视频帧提取特征点，建立高斯差分尺度空间DoG，在DoG空间进行极值检测得到候选特征点及候选特征点数，然后剔除候选特征点中低对比度的点和位于图像边缘的点，最终得到稳定的特征点。本发明用尺度不变特征转换SIFT算子提取特征点，该尺度不变特征转换SIFT检测子，是由David G.Lowe在2004年总结提出的一种基于尺度空间的，对图像的旋转、缩放和亮度变化保持不变性，对视角变化、仿射变换也保持一定程度稳定性的图像局部特征检测子，用以描述视频帧的SIFT特征点信息。SIFT算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所在的尺度，然后利用特征点邻域梯度的主方向作为该点的方向，以实现特征点对尺度和方向的不变性，所述低对比度的点是这样的点：首先在DoG空间中对特征点的极值处求解用以精确地确定特征点位置和尺度的差值估计值，如果该差值估计值小于0.03，则认为该点为低对比度的点；

2b)对得到的SIFT特征点，按特征点的大小和方向信息生成对应的特征向量后，采用基于k-d树的最近邻搜索BBF算法在任意两个视频帧的欧氏空间寻找各特征向量的最近邻和次近邻，当特征向量到最近邻与次近邻距离之比小于设定的阈值时，认为这两个特征向量匹配，得到特征点之间的匹配关系，本发明中的阈值取0.6；

2c)使用随机抽样一致RANSAC算法寻找两幅图像间最佳的4对匹配点，并剔除误配点，得到用以描述视频帧之间坐标位置关系的H矩阵。

前面自动提取和匹配得到的初始匹配特征点对集合中难免存在误配点，此外特征点在提取时也存在一定的精度误差，因此需要一种容错能力很强的算法来过滤初始匹配特征点对集合，而RANSAC正是这样的一种算法。

步骤3，视频通道排序。

3a)根据视频帧配准得到的视频通道间的坐标位置关系，建立以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构；

3b)根据视频通道的有向图结构，利用视频通道间的配准关系，求解有向图结构的强连通分图，得到视频通道最优生成树，并确定树根节点所表示的视频通道为基准视频通道；

3c)根据视频通道最优生成树，构造排序树，求得基准视频通道和其他视频通道到基准通道的位置关系，从而确定出多通道视频帧间的相互位置关系和视频帧拼接顺序。

步骤4，建立融合查找表。

4a)根据视频通道排序确定的基准视频帧和各视频帧间的位置关系，利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内；

4b)根据各视频帧间的位置关系和已确定的视频帧拼接顺序，按拼接顺序选取两个视频帧作为当前待操作的两个视频帧，在当前两个视频帧的公共区域寻找一条像素平均能量值最小拼接线作为最优拼接线，如图5所示；

4c)根据求得的最优拼接线，确定各通道视频帧和全景视频帧之间的坐标映射关系，并将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表，该融合查找表包括以下两种不同的数据结构：

第一种数据结构如图6，图6中Dst表示全景视频帧的像素坐标，No1和No2分别表示基准视频通道号和非基准视频通道号，Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标；

第二种数据结构如图7，图7中Dst表示全景视频帧的像素坐标，No表示视频通道号，Src表示视频帧通道号为No的像素坐标。

步骤5，根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略进行融合操作。

5a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块，即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1，将差值视频帧s中除去分块1的区域作为分块2；

5b)根据图6所示的融合查找表中的第一种数据结构查找分块1中的坐标信息，取得基准视频帧Src1中的像素值pixel_1及其权重r1，取得非基准视频帧Src2中像素值pixel_2及其权重r2，通过公式：

pixel＝pixel_1×r1+pixel_2×r2

求得加权值pixel并赋值给全景视频帧r的对应坐标处；

5c)根据图7所示融合查找表中的第二种数据结构查找分块2中的坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2，并根据像素值相对于最优拼接线的位置关系，将像素值直接赋值给全景视频帧r的对应坐标处。

步骤6，接收融合得到全景视频帧，并按指定的帧率在视频显示窗口进行实时显示，实现多通道全景视频实时监控。

本发明的优点可通过以下仿真进一步说明：

仿真1，通过导入视频文件进行全景视频拼接

通过视频文件导入5个通道的非实时场景视频，对该5个通道的非实时场景视频进行拼接，拼接结果如图8，从图8可以看出，本发明可以在不依赖于硬件的情况下，采用导入视频文件的方法进行多通道视频的融合，并可在视频监控窗口查看实时融合结果。

仿真2，采用摄像头获取室外场景视频并对室外场景进行多通道实时监控

通过4个摄像头进行室外场景视频信息的实时采集，并对该4个通道的视频进行实时拼接，拼接结果如图9，由图9可以看出，本发明可以在不依赖于硬件进行算法加速的情况下，通过摄像头进行室外视频信息的实时获取，实现多个通道全景视频的实时监控。

仿真3，采用摄像头获取视频并对室内场景进行多通道实时监控

通过3个摄像头进行室内场景视频信息的实时采集，并对该3个通道的视频进行实时拼接，拼接结果如图10，由图10可以看出，本发明可以在不依赖于硬件进行算法加速的情况下，通过摄像头进行室内视频信息的实时获取，实现多个通道全景视频的实时监控。

Claims (2)

1.一种多通道全景视频实时监控系统，包括 

视频采集模块：通过摄像头或视频文件获取视频帧，并传送给视频配准模块； 

视频配准模块：用于对视频帧进行特征点提取，得到特征点之间的匹配关系，求得相应视频帧间的单应性矩阵，以描述两视频通道间的坐标位置关系，并传送给视频通道排序模块； 

视频通道排序模块：用于对多个视频通道的融合顺序进行排序，通过构造以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构，构造有向图结构的最优生成树和排序树，确定多通道视频帧间的相互位置关系，并传送给融合查找表建立模块； 

融合查找表建立模块：根据视频通道的相互位置关系，对视频帧进行相应的坐标变换，寻找最优拼接线，即位于两视频帧的公共区域的一条像素平均能量值最小的拼接线，并基于该拼接线建立各通道视频帧和全景视频帧之间的坐标映射关系的融合查找表，将该融合查找表传送给逐帧视频融合模块； 

逐帧视频融合模块：根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略，将多通道视频帧融合生成全景视频帧，并将该全景视频帧传送给视频显示模块； 

视频显示模块：逐帧接收全景视频帧，并进行实时显示；

所述的视频通道排序模块包括： 

视频通道图结构子模块：用于根据视频帧配准得到的视频通道间的坐标位置关系，建立以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构，并将该有向图结构传送给视频通道最优生成树子模块； 

视频通道最优生成树子模块：根据视频通道有向图结构，利用视频通道间的配准关系，通过求解有向图结构的强连通分图，得到视频通道最优生成树，并确定树根节点所表示的视频通道为基准视频通道，并将该最优生成树传送给视频通道排序树子模块；

视频通道排序树子模块：用于根据视频通道最优生成树，构造排序树，确定基准视频通道和其他视频通道到基准通道的位置关系，实现多视频通道的位置排序。；

所述的融合查找表建立模块包括： 

多通道视频帧坐标变换子模块：用于根据视频帧排序确定的基准视频帧和各视频帧间的位置关系，利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内，将对非基准视频帧进行变换后的视频帧传送给最优拼接线子模块； 

最优拼接线子模块：用于在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线，并将该最优拼接线传递给映射关系子模块； 

映射关系子模块：用于根据最优拼接线，结合加权融合，确定各通道视频帧和全景视频帧之间的坐标映射关系，并将该坐标映射关系传送给建表子模块； 

建表子模块：用于将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表，该融合查找表包括两种不同的数据结构： 

1)第一种数据结构包括如下变量：Dst,No1,Src1,r1,No2,Src2,r2,其中Dst表示全景视频帧的像素坐标，No1和No2分别表示基准视频通道号和非基准视频通道号，Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标； 

2)第二种数据结构包括如下变量：Dst,No,Src，其中Dst表示全景视频帧的像素坐标，No表示视频通道号，Src表示视频帧通道号为No的像素坐标；

所述的“分块预取”策略，包括如下步骤： 

(a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块，即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1，将差值视频帧s中除去分块1的区域作为分块2； 

(b)对分块1，根据融合查找表中的第一种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1及其权重r1和非基准视频帧Src2中像素值pixel_2及其权重r2，通过公式：pixel=pixel_1×r1+pixel_2×r2求得加权值pixel并赋值给全景视频帧r的对应坐标处； 

(c)对分块2，根据融合查找表中的第二种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2，并根据像素值相对于最优拼接线的位置关系，将像素值直接赋值给全景视频帧r的对应坐标处。 

2.一种多通道全景视频实时监控方法，包括 

视频采集步骤：通过摄像头或视频文件获取视频帧； 

视频配准步骤：对视频帧进行特征点提取，得到特征点之间的匹配关系，求得相 应视频帧间的单应性矩阵，以描述两视频通道间的坐标位置关系； 

视频通道排序步骤：用于对多个视频通道的融合顺序进行排序，通过构造以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构，构造有向图结构的最优生成树和排序树，确定多通道视频帧间的相互位置关系； 

融合查找表建立步骤：根据视频通道的相互位置关系，对视频帧进行相应的坐标变换，寻找最优拼接线，即位于两视频帧的公共区域的一条像素平均能量值最小的拼接线，并基于该拼接线建立各通道视频帧和全景视频帧之间的坐标映射关系的融合查找表； 

逐帧视频融合步骤：根据融合查找表中各通道视频帧和全景视频帧之间的坐标映射关系，采用“分块预取”策略，将多通道视频帧融合生成全景视频帧； 

视频显示步骤：逐帧接收全景视频帧，并进行实时显示； 

所述的视频通道排序步骤包括： 

视频通道图结构子步骤：根据视频帧配准得到的视频通道间的坐标位置关系，建立以视频通道为节点，以视频通道间的单应性矩阵为边的有向图结构； 

视频通道最优生成树子步骤：根据视频通道有向图结构，利用视频通道间的配准关系，通过求解有向图结构的强连通分图，得到视频通道最优生成树，并确定树根节点所表示的视频通道为基准视频通道； 

视频通道排序树子步骤：根据视频通道最优生成树，构造排序树，确定基准视频通道和其他视频通道到基准通道的位置关系，实现多视频通道的位置排序；

所述的融合查找表建立步骤包括： 

多通道视频帧坐标变换子步骤：根据视频帧排序确定的基准视频帧和各视频帧间的位置关系，利用非基准视频帧和基准视频帧之间的单应性矩阵将各个非基准视频帧变换至基准视频帧的坐标系内； 

最优拼接线子步骤：在两视频帧的公共区域寻找一条像素平均能量值最小的最优拼接线； 

映射关系子步骤：根据最优拼接线，结合加权融合，确定各通道视频帧和全景视频帧之间的坐标映射关系； 

建表子步骤：将各通道视频帧和全景视频帧之间的坐标映射关系构成融合查找表，该融合查找表包括两种不同的数据结构： 

1)第一种数据结构包括如下变量：Dst,No1,Src1,r1,No2,Src2,r2,其中Dst表示全景视频帧的像素坐标，No1和No2分别表示基准视频通道号和非基准视频通道号，Src1和Src2分别表示视频帧通道号为No1和No2的像素坐标； 

2)第二种数据结构包括如下变量：Dst,No,Src，其中Dst表示全景视频帧的像素坐标，No表示视频通道号，Src表示视频帧通道号为No的像素坐标；

所述的“分块预取”策略，包括如下步骤： 

(a)对当前要融合的基准视频帧Src1和非基准视频帧Src2做像素相减操作后得到差值视频帧s进行分块，即将差值视频帧s中最优拼接线左右两侧各15个像素单位的区域作为分块1，将差值视频帧s中除去分块1的区域作为分块2； 

(b)对分块1，根据融合查找表中的第一种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1及其权重r1和非基准视频帧Src2中像素值pixel_2及其权重r2，通过公式：pixel=pixel_1×r1+pixel_2×r2求得加权值pixel并赋值给全景视频帧r的对应坐标处； 

(c)对分块2，根据融合查找表中的第二种数据结构查找坐标信息，取得基准视频帧Src1中的像素值pixel_1和非基准视频帧Src2中的像素值pixel_2，并根据像素值相对于最优拼接线的位置关系，将像素值直接赋值给全景视频帧r的对应坐标处。 

Images