CN204090039U - 一体化大场景全景视频监控装置 - Google Patents

Abstract

本实用新型提供一种一体化大场景全景视频监控装置。所述装置包括前端视频采集编码设备和数据传输设备，大场景监控系统包括数据接收、视频解码、视频处理和输出编码等软硬件。拼接融合得到的全景监控图像序列通过HDMI/DVI连续输出到显示设备进行显示，同时支持对全景监控图像实时编码，并通过网络进行传输和存储。所述装置能够保证全景视频的拼接效果和拼接质量，提高视频拼接的效率，达到实时性的需求，得到的全景视频更为自然、真实。在实际应用中，既能很好的保证后续全景视频拼接的要求，又能简化现场设备的安装布置，可实施性强。

Description

一体化大场景全景视频监控装置

技术领域

本实用新型涉及视频监控技术领域，特别是涉及一种一体化大场景全景视频监控装置。

背景技术

近些年随着社会形势的发展，视频监控的意义不明而喻，应用越来越广泛，且繁衍出各种具有特殊功能和针对不同应用场景的监控装置和系统。然而，适用于当下有迫切监控需求的大场景实时视频监控却较为少见。如大型的广场、大型的活动现场、十字路口等，安防工作人员不仅要清楚的看到某个角落的细节，而且还需一目了然地掌控大场景的整体态势和活动主体的主要轨迹。针对大场景的应用场景，若采用传统的多摄像头监控系统，虽能看清重要特定区域的细节，但缺乏连续性，且由于单个摄像头有效视域的限制而无法掌控整体的全局态势；若采用全景监控摄像机或鱼眼摄像机，虽有超宽的视域可掌握整体的态势，却存在无法查看细节、变形严重和不具实时性的缺点。

现有技术中的高清全景视频拼接方法，由于高清视频源本身包含大数据量，且基于在线的实时拼接，存在拼接效率低的问题，不能达到视频监控的实时要求。为此，有人设计了一种实时高速高清全景视频的拼接方法，即首先获取满足拼接条件的多路实时视频图像，然后经过视频图像拼接、选取投影面，建立单个视频与全景投影面的坐标映射关系，最后直接使用坐标映射关系来实现几路视频实时拼接得到全景视频。该方法在实际应用过程中存在一定的局限性，如：正式拼接前需反复判断任意两路视频是否满足拼接条件，如果不满足需进一步调节前端摄像头的采集姿态；通过计算一次拼接投影参数并不能保证精准性；缺少拼接视频间的同步，不能防止运动目标在拼接区域出现双影和凭空消失的情形；最后的曝光融合重点针对重叠区域的亮度调整，不能确保最终全景拼接画面色彩归一化。鉴于此，本实用新型有针对性的对其进行改进和扩展。

发明内容

本实用新型的目的在于针对现有技术的不足，提出了一种面向大场景全景视频监控的装置和系统。主要解决的技术问题为：

1.提高全景视频拼接投影映射关系的精准性。通过计算一次拼接投影参数并不能确保其精准性，特别是针对场景较为简单或者较为复杂的情形，特征点不足或者特征点过于混杂均会影响到图像间的精确配准。

2.同步多路视频内容，提高监控的真实性和合理性。前端视频采集设备在采集编码时可能存在时钟不同步的情况，并且采集到的视频数据大多是经过IP网络进行传输，接收端接收到的数据不乏存有乱序的情况，如果就此基础上做拼接会出现各种异常，特别是在重叠区域处。

3.提高全景视频拼接的效率，满足监控的实时性需求。目前监控对视频源的要求越发趋于高清，高清视频源本身包含大数据量，进而也加大了拼接投影的计算量，故采用一般的处理手段存在拼接效率低的问题，不能达到视频监控的实时要求。

本实用新型的技术方案为：

本实用新型包括一套大场景监控装置及系统。大场景监控装置包括前端视频采集编码设备和数据传输设备，大场景监控系统包括数据接收、视频解码、视频处理和输出编码等软硬件。

本实用新型通过前端视频采集装置同时获取3-4个视频，这些视频对高达180°范围的场景区域实现无缝隙覆盖，每个视频经过编码后分别加入统一的时间同步信号，经发送模块传输到大场景监控系统。大场景监控系统完成视频数据接收、视频解码、视频配准、GPU实时拼接和色彩融合，拼接融合得到的全景监控图像序列通过HDMI/DVI连续输出到显示设备进行显示，同时支持对全景监控图像实时编码，并通过网络进行传输和存储。

本实用新型的有益技术效果为：

本实用新型提出一种一体化大场景全景视频监控装置，实现大范围实时全景视频监控，所输出的全景画面为一个经过视频拼接和色彩融合的独立画面。与一般的全景视频拼接装置，以及全景监控像机和鱼眼监控像机不同，本发明可以提供25fps以上帧率的流畅全景监控画面以及最高达7680*1080的超高清视频分辨率。

本实用新型所提供的一体化大场景全景视频监控装置，既能很好的保证后续全景视频拼接的要求，又能简化现场设备的安装布置，可实施性强。

本实用新型所提供的一体化大场景全景视频监控装置，其视频配准实现视频拼接参数的自动计算和存储，用于确定最佳的视频自动配准参数，再结合人机交互的手动参数配置，保证最终全景视频的拼接效果和拼接质量；其使用GPU高速并行处理特性，提高了视频拼接的效率，输出帧率达到实时性的需求；其时间同步处理和色彩融合处理，使几路视频经过拼接得到的全景视频更为自然、真实，恰如一个摄像机拍摄出来的一样。

附图说明

图1是本实用新型一体化大场景全景视频监控装置及系统的整体结构图

图2是本实用新型中视频采集设备固定的刻度盘示意图

图3是本实用新型中视频采集设备有效视域示意图

图4是面向大场景的全景视频监控方法流程图

具体实施方式

为详细说明本实用新型的技术方案，以下结合具体的实施方式并配合附图详细说明。

本实用新型所提出的一体化大场景全景视频监控装置系统总体结构可参见图1。监控方案包含大场景监控装置和大场景监控系统。

所述大场景监控装置，包括前端视频采集模块、视频编码模块和数据发送模块。

所述前端视频采集模块，是封装在一个透明球形玻璃罩内的视频采集设备，由一个水平刻度和四个具体的摄像机组成。用于获取前端监控区域的原始视频序列，并将其传输给视频编码模块分别进行视频编码。水平刻度盘标注了摄像机设备放置的位置角度信息，参见图2所示。固定各摄像机的扇形摆放角度，分别为22.5°、67.5°、112.5°和157.5°，沿每个刻度线方向固定一个摄像机，一个刻度盘上固定4个视频摄像机。视频采集设备中的摄像机按照一定角度水平扇形排列，使得各相机成像平面的法线交于同一个中心点且在同一平面内。摄像机有效视域参见图3所示，单个摄像机的有效视域为45°，相邻摄像机间视域重叠10°。

所述视频编码模块，用于对各路视频采集结果分别进行编码。将视频采集设备中每个子成像设备输出的视频帧进行H.264编码，分别得到一路H.264格式码流。

所述数据发送模块，包括时钟模块和发送模块。时钟模块用于多路视频间的时间同步，输出的时间信号以时间戳的形式加入到每个视频码流中。数据发送模块根据时间信号先后顺序依次发送视频帧。

其中，视频采集模块中各子成像设备与视频编码模块连接，视频编码模块与数据发送模块连接。

所述大场景监控系统，包括数据接收模块、视频解码模块、视频配准模块、数据库模块、GPU实时拼接融合模块和输出编码模块。

所述数据接收模块，用于接收每路视频的IP码流，并根据码流中的时间同步信号依次提交视频帧，以保持同路视频内容的时间连续和多路视频间的空间同步。

所述视频解码模块，用于将多路H.264码流分别解码为视频帧序列，便于多路视频间的逐帧拼接处理。

所述视频配准模块，为离线处理模块，包括自动配准模块和参数调整模块。自动配准模块实现视频拼接参数的自动计算和存储，主要用于确定最佳的视频自动配准参数。一旦确定了最佳拼接效果的参数，便不再需要执行视频配准模块，因前端视频采集设备姿态已固定；参数调整模块用于手动调节视频的拼接参数，对自动配准参数进行优化。通过自动配准和手动调整相结合的方式计算得到的最终拼接参数，包括拼接单应矩阵和拼接边缘Mask图像。计算得到的拼接参数存储在本地数据库文件中，供实时拼接模块调取使用。其中，自动配准过程采用sift特征点匹配同名点，使用RANSC算法剔除误匹配点并计算得到3*3单应矩阵。手动调整是指对单应矩阵中的9个元素分别进行调整，实现图像左右、上下平移、缩放、旋转。

所述数据库模块，采用数据库的方式保存各视频的配准拼接参数。视频配准模块可以将各视频的配准拼接参数写入数据库中，参数配置模块可以对数据库中的各视频配准参数进行读取和修改。数据库中的各视频配准拼接参数输入GPU拼接模块，实现全景视频的拼接。

GPU实时拼接融合模块，采用硬件并行加速设计，实现对视频逐帧实时拼接。该模块从视频解码模块获取实时视频帧，从视频拼接数据库获取拼接参数，利用GPU进行图像映射和边缘融合，输出拼接后的整幅图像。其中，色彩融合采用三层金字塔分解模型，实现拼接线融合处理。

输出编码模块，包括实时显示模块和编码传输模块。实时显示模块实现将拼接所得的全景监控图像通过HDMI/DVI连续输出显示，并实现用户交互控制。编码传输模块实现拼接后全景监控图像的H.264编码和网络传输，以便远程客户端的用户掌握实时的监控画面。

其中，数据接收模块与视频解码模块连接，视频解码模块分别与视频配准模块和GPU实时拼接融合模块连接。视频配准模块与参数配置模块均通过连接数据库模块最终与GPU实时拼接融合模块相连接。GPU实时拼接融合模块作为输入分别与实时显示模块和编码输出模块连接。

本实用新型还提出了一种相应的面向大场景的全景视频监控方法，参见图4所示，包括如下具体处理步骤：

步骤1，视频采集

原始视频数据的采集要通过Vide04Linux2来实现，该驱动提供了图片格式设置，帧缓存区申请，内存映射等多种操作视频设备的接口函数。当采集过程开始后，驱动不停的将视频数据写入已经分配的缓存区中，当一个缓冲的数据就绪之后，驱动便将其放入输出队列中，等待应用程序的处理。读取数据时，驱动首先将一个缓存区出列，应用程序通过该缓存区的序号值获取相应的缓存区在用户空间中的长度及偏移地址，从而达到访问数据的目的，当处理完成之后，该缓存区会被重新放入采集队列中。采集模块的输出为YUV420视频帧。

步骤2，编码与发送

使用H.264编码器，对步骤1采集得到的原始视频数据进行编码。H.264编码器中的编码档次选取：H.264编码器采用基本档次，参考帧数量选择1，选择CQP码率控制方式，且量化参数QP＝26，选择DIA宏块搜索模式，运动估计的搜索范围设定为8像素，亚像素插值LEVEL＝1，帧间编码时，选择P16x16宏块划分模式。根据编码器方案设计时所选的参数值，对H.264参数选项进行配置，以YUV420格式视频帧作为编码器的输入，NALU作为编码器的输出。

编码得到ES视频流，经过PES打包器之后，被转换成PES包，再次经过PS打包后，通过RTP协议进行传输。系统时钟定期向远程基准时钟进行同步，并作为唯一的时钟信息(同步时间戳)嵌入视频流中用于视频解码及多个视频流之间的时间同步。其中，在PES头信息中嵌入显示时间标签PTS(Presentation Time Stamp)和解码时间标签DTS(Decoding Time Stamp)，在PS头信息中嵌入系统时钟基准SCR(System Clock Reference)。

步骤3，解码与同步

对步骤2中发送的PS流进行逐层解析，最后得到ES流及同步时间戳。使用ffmpeg解码器对ES流进行解码，得到YUV420格式视频帧。建立视频缓冲池，对每一路视频流缓冲25帧，将YUV420格式视频帧和该帧对应的同步时间戳一并存入缓冲中。提交视频时，分别读取每一路视频的当前同步时间戳，以第一路视频的同步时间戳(T₁)为基准，T_i(i＝2，3…)为第i路视频的同步时间戳，视频帧的提交规则定义如下：

1)取第一路视频的当前YUV420视频帧并提交；

2)For i＝2，3…

如果T_i-T_l＞20ms，则读取第i路视频上一个YUV420视频帧提交；

如果-20ms≤MT_i-T_l≤20ms，则读取第i路视频当前YUV420视频帧提交；

否则，读取第i路视频下一个YUV420视频帧提交；

3)第一路视频读取位置下移一帧，重复1)，2)操作。

步骤4，自动配准

拼接参数及拼接线计算从步骤3获取视频帧后，采用Sift特征匹配的方式进行图像自动配准。计算所得的每一个Sift特征点即为一个4×(4×4)维的描述符，同时将向量归一化，对光照更具有鲁棒性。采用基于欧式距离的最近邻向量匹配法，对于低分辨率图像中的特征点，利用K-D树搜索法在参考图像中找到与低分辨率图像特征点欧式距离最近的前两个特征点。设最近距离为d₁，次近距离为d₂，阈值为w如果则该对特征点为候选特征点，否则予以剔除。一般情况下，阈值在[0.4，0.8]区间内较为合理。

得到参考图像与待配准图像之间的特征点对以后，需要估算出两幅图像之间的透视系数，进而对待配准图像利用插值算法进行重采样，实现图像之间的配准。设(u₁，v₁，1)，(u₂，v₂，1)为特征点对的齐次坐标，根据透视矩阵H可得：

虽然特征点经过上述的粗匹配，但仍然难免存在误匹配，影响配准精度，因此还需要采用基于经典随机抽样一致性(RANSAC)算法进行特征点对的进一步筛选。首先，从候选特征点对中随机抽取3个特征点对建立方程组，求解出H的6个参数。计算特征点经过H转换后与候选特征点的距离，若距离小于设定阈值，则为内点，否则为外点，予以剔除，同时统计内点个数。接下来再次取3个特征点对，重复上述步骤，经过若干次以后，选取包含内点最多的一个点对集最后，利用最小二乘法对该点对集求解仿射矩阵H。

拼接线分割采用基于图论分割的方法实现，用G＝＜γ，ε＞来表示一张图(Graph)，它是由一个结点集合γ和一个连接γ中结点的边的集合ε组成的。对一张图像I，构造一个图G与之对应。其中γ中的元素γ_i对应I中的一个象素x_i，I中的每两个相邻象素x_i和x_j之间在ε中有一条边e_ij与之对应，并且取一个非负值w(v_i，v_j)为该边的能量权值。定义分割的能量函数为：

$E=\mathrm{Ncut}(A,B)=\frac{\mathrm{cut}(A,B)}{\mathrm{assoc}(A,\mathrm{\γ})}+\frac{\mathrm{cut}(A,B)}{\mathrm{assoc}(B,\mathrm{\γ})},$

其中

$\mathrm{assoc}(A,\mathrm{\γ})=\underset{u\∈A,i\∈\mathrm{\γ}}{\mathrm{\Σ}}w(u,t)$

使其与分割处边的权值相关，图G可以被分割成两个子图A和B，使得A∪B＝γ，A∩B＝φ。

具体的分割处理流程如下：

1.初始化

(a)给定包围前景区域的矩形；

(b)背景区域B₀初始为矩形外象素点，未知区域U₀初始为矩形内象素点；

(c)用B₀和U₀初始化背景和前景的GMM；

2.迭代分割

(a)将队中的点人赋给GMM中最接近的一个高斯分布；

(b)重新计算GMM参数；

(c)计算最大流，求解最小分割min E，并更新U_i，B_i和F_i；

(d)重复2(a)～2(c)直到收敛；

(e)得到最佳分割线。

将最佳分割线对应到原始视频帧中，得到两块或多块连通区域，将有效视频区域对应的连通区域填充为255，其它区域填充为0，即得到该视频对应的Mask图，记为Mask_frame.

步骤5，参数优化

对步骤4计算得到的单应矩阵H，记为

$H=\left[\begin{array}{ccc}{h}_{11},& h_{12},& h_{13}\\ h_{21},& h_{22},& h_{23}\\ 0,& 0,& 1\end{array}\right]$

通过对H中的元素h_ij进行修改，实现图像平移、缩放和旋转。其中，左右平移：h′₁₂＝h₁₂+Δx，□x大于零，表示向右平移，□x小于零，表示向左平移；上下平移：h′₂₂＝h₂₂+Δy，□y大于零，表示向下平移，□y小于零，表示向上平移；缩放：H′＝s*H，其中 $S=\left[\begin{array}{ccc}{s}_{11},& 0,& 0\\ 0,& s_{22},& 0\\ 0,& 0,& 1\end{array}\right],$ s₁₁控制水平方向缩放，0＜s₁₁＜1表示水平缩小，s₁₁＞1表示水平放大；s₂₂控制垂直方向缩放，0＜s₂₂＜1表示垂直缩小，s₂₂＞1表示垂直放大。

旋转：H′＝T*H，其中 $T=\left[\begin{array}{ccc}\cos \mathrm{\θ},& \sin \mathrm{\θ},& 0\\ -\sin \mathrm{\θ},& \cos \mathrm{\θ},& 0\\ 0,& 0,& 1\end{array}\right],$ θ为右手系下的旋转角度。修改后的单应矩阵H’替换步骤4得到的原始单应矩阵H。

步骤6，CUDA实时拼接

从单幅图像到全景图的转换过程称为图像映射，可用下式表示：I_pano-frameWarp(H_frame，I_frame)其中I_pano-frame表示单帧图像映射到全景图中的内容，I_frame，H_frame分别为单帧图像以及该图像对应的单应矩阵。图像映射过程通过CUDA实现，先将每帧图像分为16*16大小的块进行双线性插值映射。同理，将该视频对应的Mask图，Mask_frame进行映射，Mask_frame′＝Warp(H_frame，Mask_frame)。截取单帧有效视频内容：I′_pano-_frame＝Mask′_frameand I_pano-_frame。计算图像重叠区域(T_l，T_r，T_t，T_b)，其中T_l，T_r表示水平方向重叠区域的左右边界，T_t，T_b表示垂直方向重叠区域的下上边界。在重叠区域内执行三层金字塔分解并还原，实现拼接线融合。具体融合步骤如下：

(1)对参加融合的源图像分别实施拉普拉斯分解变换，取得与它们对应的拉普拉斯金字塔。

源图像G₀作为金字塔的最底层，第1，2层的分解公式如下：

$G_l^{*}(i,j)=4\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\mathrm{\ω}(m,n)G_l(\frac{i+m}{2},\frac{j+n}{2})0\≤l\≤N,0\≤i\≤C_l,0\≤j\≤R_l$

其中，G_l表示第l层图像，C_l表示第l层图像的列数，R_l表示第l层图像的函数，N表示最顶层的层数，ω(m，n)为5*5窗口函数。

(2)提取出金字塔的每一层，使它们相互独立的进行融合运算，在每一层运算中，每层采取和它相适应的融合规则，最终，把各个分解层结合起来得到一个融合后图像的金字塔。

(3)进行拉普拉斯反变换操作，对图像进行重构，进而获取融合后的图像。

步骤6，输出编码

对步骤5输出的全景视频帧进行分辨率规范化，同时输出大小两种分辨率图像，分别是大码流图像7680*1080，小码流图像1920*256。采用ffmpeg编码库对大小码流进行独立编码，输出H.264视频流。

以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本实用新型的原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (3)

1.一种一体化大场景全景视频监控装置，包括大场景监控装置和大场景监控系统，完成视频数据接收、视频解码、视频配准、GPU实时拼接和色彩融合，其特征在于：

所述大场景监控装置包括前端视频采集模块、视频编码模块和数据发送模块，其中所述数据发送模块包括时钟模块和发送模块，时钟模块用于多路视频间的时间同步，输出的时间信号以时间戳的形式加入到每个视频码流中，数据发送模块根据时间信号先后顺序依次发送视频帧；

所述大场景监控系统包括数据接收模块、视频解码模块、视频配准模块、数据库模块、GPU实时拼接融合模块和输出编码模块，其中GPU实时拼接融合模块采用硬件并行加速设计实现对视频逐帧实时拼接；

其中，视频采集模块中各子成像设备与视频编码模块连接，视频编码模块与数据发送模块连接；数据接收模块与视频解码模块连接，视频解码模块分别与视频配准模块和GPU实时拼接融合模块连接；视频配准模块与参数配置模块均通过连接数据库模块最终与GPU实时拼接融合模块相连接；GPU实时拼接融合模块作为输入分别与实时显示模块和编码输出模块连接。

2.根据权利要求1所述的一体化大场景全景视频监控装置，其特征在于，所述前端视频采集模块，是封装在一个透明球形玻璃罩内的视频采集设备，用于获取前端监控区域的原始视频序列，并捋其传输给视频编码模块分别进行视频编码，由一个水平刻度盘和四个具体的摄像机组成；

其中，所述水平刻度盘标注了摄像机设备放置的位置角度信息，一个刻度盘上固定4个视频摄像机，固定各摄像机的扇形摆放角度分别为22.5°、67.5°、112.5°和157.5；其中，四个摄像机沿每个刻度线方向固定一个，按照一定角度水平扇形排列，使得各相机成像平面的法线交于同一个中心点且在同一平面内，单个摄像机的有效视域为45°，相邻摄像机间视域重叠10°。

3.根据权利要求2所述的一体化大场景全景视频监控装置，其特征在于所述视频配准模块，为离线处理模块，包括自动配准模块和参数调整模块：

其中自动配准模块实现视频拼接参数的自动计算和存储，用于确定最佳的视频自动配准参数所述自动配准过程采用sift特征点匹配同名点，使用RANSC算法剔除误匹配点并计算得到3*3单应矩阵；

参数调整模块用于手动调节视频的拼接参数，对自动配准参数进行优化，所述手动调整是指对单应矩阵中的9个元素分别进行调整，实现图像左右、上下平移、缩放、旋转；

其中，由于前端视频采集设备姿态已固定，一旦确定了最佳拼接效果的参数，便不再需要执行视频配准；通过自动配准和手动调整相结合的方式计算得到的最终拼接参数，包括拼接单应矩阵和拼接边缘Mask图像；计算得到的拼接参数存储在本地数据库文件中，供实时拼接模块调取使用。