CN109040701A - 一种基于大场景多gpu模式的视频拼接方法 - Google Patents

Abstract

本发明属于视频监控技术领域，具体涉及一种基于大场景多GPU模式的视频拼接方法，首先视频拼接服务器主要负责前端摄像机的视频采集，一路GPU处理单元进行视频解码，然后经过图片预处理，从而得到多路摄像机同步实时视频流；然后对预处理后每帧图像进行特征点提取，最后一路GPU处理单元基于CUDA架构对视频每帧做特征提取、匹配融合计算并行处理，一路GPU处理单元对融合后图像进行重新编码和输出，达到多路视频拼接后完成实时视频流，克服了现有技术的不足，解决了单个摄像机监控视角有限，无法满足大场景的整体监控的技术问题，实现对大场景的高分辨率全景监控、实时视频、无拼缝、无色差的基于多GPU模式的视频拼接监控系统。

Description

一种基于大场景多GPU模式的视频拼接方法

技术领域

本发明属于视频监控技术领域，具体涉及一种基于大场景多GPU模式的视频拼接方法。

背景技术

视频监控是公共区域安防管理的一种重要手段，已经得到大范围的使用和普及，无论从硬件设备的模拟像机到现在的各类高清网络摄像机，还是软件上的各种智能分析和联动，视频监视技术一直都得到高度的关注和快速的发展。

人员密集复杂型广场、公园、机场、港口等大型公共场所和其他特殊区域的全景动态管控，实现大场景全覆盖；图像拼接算法，正是把有机联系的多个摄像机的图像实时无缝地拼接在一起，构成一个完整壮观极具震撼力的全景图，彻底抛弃传统的每个窗口显示一个摄像机画面，监视者很难建立一个全局完整的空间概念，他们只能不断地去思考、想象，然后通过控制画面的切换、云台或快球的转动来跟踪监视对象。

现有技术方法中，采用前端一体机模式，内置芯片处理，长时间运行容易出现摄像机故障或视频流不稳定；二采用单CPU模式，无法实现多路高分辨率摄像机接入，从而拼接视频输出尺寸和清晰度。

发明内容

本发明的目的在于提供一种基于大场景多GPU模式的视频拼接方法，克服了现有技术的不足，解决了单个摄像机监控视角有限，无法满足大场景的整体监控的技术问题，实现对大场景的高分辨率全景监控、实时视频、无拼缝、无色差的基于多GPU模式的视频拼接监控系统。

为解决上述问题，本发明所采取的技术方案如下：

一种基于大场景多GPU模式的视频拼接方法：

首先视频拼接服务器主要负责前端摄像机的视频采集，对多路GPU处理单元的任务分配、进程管理和内存管理，从摄像机进行视频采集后，一路GPU 处理单元进行视频解码，然后经过图片预处理，从而得到多路摄像机同步实时视频流；

然后对预处理后每帧图像进行特征点提取，采用自动提取或手动选择特征点方式，采用过SIFT特征点检测，通过RANSAC算法进行特征点筛选，找到4个及以上的特征点后即可进行图片融合拼接，对特征点提取后进行图像匹配及融合，根据场景大小选择模型，针对大场景选择球面模型，根据检测的对应的特征点集进行匹配，得到对应的变换矩阵，结合模型参数将多路图像转换成一个坐标系中，进行图像融合之前然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的校正一致性；

原始坐标像素点I(x,y)^T映射后的像素坐标点为I'(x',y')^T，有映射坐标定义可知，根据二维仿射变换计算变换矩阵为：

最后一路GPU处理单元基于CUDA架构对视频每帧做特征提取、匹配融合计算并行处理，图像的透视模型是具有8个参数的变换模型，具体表现是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，描述平移运动、旋转运动以及小范围的缩放和变形，一路GPU处理单元对融合后图像进行重新编码和输出，达到多路视频拼接后完成实时视频流。

进一步，所述图片预处理包括去燥和帧同步。

进一步，所述特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。

本发明与现有技术相比较，具有以下有益效果：

本发明所述一种基于大场景多GPU模式的视频拼接方法，解决了单个摄像机监控视角有限，无法满足大场景的整体监控的技术问题，实现对大场景的高分辨率全景监控、实时视频、无拼缝、无色差的基于多GPU模式的视频拼接监控系统。

附图说明

图1为一种基于大场景多GPU模式的视频拼接方法的系统连接示意图。

图2为一种基于大场景多GPU模式的视频拼接方法的系统流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图所示，本发明所述一种基于大场景多GPU模式的视频拼接方法，包括前端摄像机、视频分析模块、视频存储模块、视频终端展示模块和视频拼接服务器；

所述前端摄像机为多个高分辨率广角摄像机组成；

所述的视频分析模块包括信号采集、信号处理、信号输出模块；

所述视频分析模块和视频存储模块共同置于视频拼接服务器内，所述视频拼接服务器内置多GPU和存储设备；所述视频分析服务器通过LAN/Internet 与监控中心、视频终端展示模块相连；

所述视频分析模块通过交换机与前端摄像机相连，进行信号采集；

所述视频终端展示模块为监视器或监控大屏，实时展示拼接后大场景视频。

进一步，所述高分辨率广角摄像机像素为800万像素以上。

进一步，所述基于大场景多GPU模式的视频拼接系统的视频拼接技术为：

首先视频拼接服务器主要负责前端摄像机的视频采集，对多路GPU处理单元的任务分配、进程管理和内存管理，从摄像机进行视频采集后，一路GPU 处理单元进行视频解码，然后经过图片预处理，从而得到多路摄像机同步实时视频流；

然后对预处理后每帧图像进行特征点提取，采用自动提取或手动选择特征点方式，采用过SIFT特征点检测，通过RANSAC算法进行特征点筛选，找到4个及以上的特征点后即可进行图片融合拼接，对特征点提取后进行图像匹配及融合，根据场景大小选择模型，针对大场景选择球面模型，根据检测的对应的特征点集进行匹配，得到对应的变换矩阵，结合模型参数将多路图像转换成一个坐标系中，进行图像融合之前然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的校正一致性；

原始坐标像素点I(x,y)^T映射后的像素坐标点为I'(x',y')^T，有映射坐标定义可知，根据二维仿射变换计算变换矩阵为：

最后一路GPU处理单元基于CUDA架构对视频每帧做特征提取、匹配融合计算并行处理，图像的透视模型是具有8个参数的变换模型，具体表现是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，描述平移运动、旋转运动以及小范围的缩放和变形，一路GPU处理单元对融合后图像进行重新编码和输出，达到多路视频拼接后完成实时视频流。

进一步，所述图片预处理包括去燥和帧同步。

进一步，所述特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (3)

1.一种基于大场景多GPU模式的视频拼接方法，其特征在于：

首先视频拼接服务器主要负责前端摄像机的视频采集，对多路GPU处理单元的任务分配、进程管理和内存管理，从摄像机进行视频采集后，一路GPU处理单元进行视频解码，然后经过图片预处理，从而得到多路摄像机同步实时视频流；

然后对预处理后每帧图像进行特征点提取，采用自动提取或手动选择特征点方式，采用过SIFT特征点检测，通过RANSAC算法进行特征点筛选，找到4个及以上的特征点后即可进行图片融合拼接，对特征点提取后进行图像匹配及融合，根据场景大小选择模型，针对大场景选择球面模型，根据检测的对应的特征点集进行匹配，得到对应的变换矩阵，结合模型参数将多路图像转换成一个坐标系中，进行图像融合之前然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的校正一致性；

原始坐标像素点I(x,y)^T映射后的像素坐标点为I'(x',y')^T，有映射坐标定义可知，根据二维仿射变换计算变换矩阵为：

最后一路GPU处理单元基于CUDA架构对视频每帧做特征提取、匹配融合计算并行处理，图像的透视模型是具有8个参数的变换模型，具体表现是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，描述平移运动、旋转运动以及小范围的缩放和变形，一路GPU处理单元对融合后图像进行重新编码和输出，达到多路视频拼接后完成实时视频流。

2.根据权利要1所述的一种基于大场景多GPU模式的视频拼接方法，其特征在于：所述图片预处理包括去燥和帧同步。

3.根据权利要求1所述的一种基于大场景多GPU模式的视频拼接方法，其特征在于：所述特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。