CN109640051B - 一种大场景的分布式拼接监控系统 - Google Patents

Abstract

本发明涉及视频监控技术领域，尤其涉及一种大场景的分布式拼接监控系统。本发明提供了一种大场景的分布式拼接监控系统，所述拼接监控系统由N路相机设备、综合模块和显示设备组成，其中，N路相机设备实时输出各自拼接好的宽视野视频流数据，通过所述综合模块网络传输到所述显示设备上解码并实时显示。本发明采用模块化设计的视频监控相机，能提高系统的可视范围，适应更多复杂的监控场景。

Description

一种大场景的分布式拼接监控系统

技术领域

本发明涉及视频监控技术领域，尤其涉及一种大场景的分布式拼接监控系统。

背景技术

随着技术的不断进步，人们对图像、视频的需求不断向高清晰、超高清晰的方向发展，回顾历史人们可以清楚地看到，人们对更高清晰度、更大可视面积的追求永无止境的。例如在视频监控行业，对超大空间进行24小时无死角全面覆盖式监控更是十分迫切的现实需求。

近年来，大场景视频监控系统逐步兴起，主要的做法分为三种

(1)使用单摄像机，通过特殊的镜头设计得到大场景拼接图像。受镜头性能的影响，这类方法的缺陷是大场景视频图像的分辨率不高且图像存在一定的畸变。即使通过图像处理算法对畸变进行矫正，图像失真仍在一定程度上不可避免。

(2)通过电动机在垂直和水平两个自由度上的转动，由一组图像近似产生一个大场景图像。这类方法的缺陷在于得到的图像是不连续的，可能存在一定的盲区。此外相机运动会造成机械磨损，且获得的图像有一定程度的抖动。

(3)在拍摄装置上安装多个摄像头，这些摄像头安装位置固定，且画面彼此交错。较前两种方法，该方法的清晰度高，失真小，且无机械运动部分。然而，这类系统无法应对复杂场景，系统的适用环境受限。当存在遮挡时，拼接图像存在阻塞区域。受限于摄像头的景深，重构的拼接图像的清晰度不理想。

本发明提出了一种大场景的分布式拼接监控系统，基于多路宽视野相机进行模块化设计，构建分布式拼接监控系统，每路相机分别进行视频采集、ISP处理、视频拼接、视频压缩编码等，支持高分辨率机内实时拼接、高分辨率压缩。有效解决了现有的多种视频监控系统存在的图像失真，画面拼接效果差，拼接图像的清晰度不尽理想等问题；同时，本发明采用模块化设计的视频监控相机，能提高系统的可视范围，适应更多复杂的监控场景。

发明内容

本发明提供了一种大场景的分布式拼接监控系统，所述拼接监控系统由N路相机设备、综合模块和显示设备组成，其中，N路相机设备实时输出各自拼接好的宽视野视频流数据，通过所述综合模块网络传输到所述显示设备上解码并实时显示。

进一步地，所述N路相机设备中N的取值范围为1至8。

进一步地，每一所述相机设备由M个摄像头模块、前端模块和后端模块组成，其中，所述M个摄像头模块用于获取M路视频数据；所述前端模块负责控制所述M个摄像头视频数据的采集、ISP处理和M路视频数据的机内实时拼接，获得高分辨率宽视野视频；所述后端模块负责将前端模块输出的拼接视频进行压缩编码，输出H264编码的rtsp视频流。

进一步地，所述M个摄像头中M的取值范围为2至5。

进一步地，所述相机设备中前端模块的ISP处理单元的具体实现是，基于各个摄像头采集的Bayer格式Raw图像，经过图像ISP算法处理，输出RGB或YUV空间域的图像给后续的视频采集单元。

进一步地，所述综合模块包括网络交换设备和控制设备，其中所述相机设备、所述控制设备以及所述显示设备与所述网络交换设备通过网线连接，所述控制设备负责将多路所述相机设备输出的rtsp视频流通过所述网络交换设备寻址分发至所述显示设备，所述控制设备可对多路所述相机设备以及所述显示设备进行实时管理与控制。

进一步地，所述网络交换设备采用千兆交换机，用于网络数据交换。

进一步地，所述控制设备为用户的控制电脑，所述多路相机设备均设有独有的网络地址，所述控制设备根据各个相机设备对应的网络地址，将各自的rtsp视频流通过网络交换设备进行寻址分发到所述显示设备。

进一步地，所述显示设备由解码器和拼接屏构成，所述拼接屏包括液晶显示拼接墙、数字光处理拼接墙或等离子显示板拼接墙。

进一步地，所述显示设备为具备解码功能的矩阵或具有解码功能的网络视频录像机。

本发明采用模块化设计的视频监控相机，能提高系统的可视范围，适应更多复杂的监控场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种大场景的分布式拼接监控系统的系统框图；

图2是本发明提供的相机设备模块框架图；

图3是本发明提供的综合模块框架图；

图4是本发明实施例二提供的一种基于可编程片上系统和压缩芯片的两路相机的逻辑设计框图；

图5是本发明实施例三提供的一种基于具有压缩核的可编程片上系统的两路相机的逻辑设计框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

为解决现有的视频拼接监控系统无法胜任复杂大场景和存在的图像失真、画面拼接效果差、拼接图像的清晰度不尽理想等问题，本发明提出了一种大场景的分布式拼接监控系统，如图1所示，该拼接监控系统100由N路相机设备110、综合模块120、显示设备130组成。N路相机设备实时输出各自拼接好的宽视野视频流数据，通过综合模块120网络传输到显示设备130上解码并实时显示。

进一步地，在具体实施过程中，可以根据特定场景的视野大小，选取级联的相机设备个数，所述N路相机设备110中N的取值范围为1至8。

所述相机设备110，如图2所示，由M个摄像头模块、前端模块和后端模块组成。M个摄像头模块用于获取M路视频数据；前端模块负责控制M个摄像头视频数据的采集、ISP处理和M路视频数据的机内实时拼接，获得高分辨率宽视野视频；后端模块负责将前端模块输出的拼接视频进行压缩编码，输出H264编码的rtsp视频流。

进一步地，在具体实施过程中，可以根据特定场景的视野大小，选择摄像头的个数，所述M个摄像头中M的取值范围为2至5。

进一步地，所述相机设备110中前端模块的ISP处理单元的具体实现是，基于各个摄像头采集的Bayer格式Raw图像，经过图像ISP算法处理，输出RGB或YUV空间域的图像给后续的视频采集单元。

所述综合模块120包括网络交换设备1201和控制设备1202，如图3所示。相机设备110、控制设备1202以及显示设备130与网络交换设备1201通过网线连接。控制设备1202负责将多路相机设备110输出的rtsp视频流通过网络交换设备1201寻址分发至显示设备130。控制设备1202可对多路相机设备110以及显示设备130进行实时管理与控制

进一步地，在具体实施过程中，网络交换设备采用千兆交换机，用于网络数据交换。

进一步地，在具体实施过程中，控制设备1202可以是用户的控制电脑，所述多路相机设备110均设有独有的网络地址，控制设备1202根据各个相机设备对应的网络地址，将各自的rtsp视频流通过网络交换设备进行寻址分发到显示设备130，具体可由控制电脑上的管理控制软件执行。

所述显示设备130可以由解码器和拼接屏构成。解码器对输入进来的网络数字视频流进行解码，得到图像信号；拼接屏可采用液晶显示拼接墙，数字光处理拼接墙或等离子显示板拼接墙等，拼接屏对视频图像信号进行显示，可实现信号窗口任意全墙漫游显示，任意放大缩小显示。

所述显示设备130可以是具备解码功能的矩阵，例如数字矩阵。数字矩阵将输入的网络数字视频流解码并输出到电视墙显示，可完成视频流数据的输出、切换、存储、转发和远程控制等功能，可以实现单画面或多画面的显示效果。数字矩阵的操作可以利用鼠标或主控键盘在矩阵本机操作，也可以利用主控制终端或管理中心进行远程操作。

所述显示设备130可以是具有解码功能的网络视频录像机NVR(NetWork VideoRecorder)，NVR通过网线连接到综合模块120的网络交换设备1201，接收相机设备110传输的数字视频码流，进行解码，并进行存储、管理，通过NVR可以同时观看、浏览、回放、管理、存储多个相机设备的拼接视频。

实施例一：

在本实施例中，相机设备110的M个摄像头采用4个摄像头，前端模块为现场可编程门阵列FPGA芯片，后端为HISI视频处理芯片。4个摄像头采集的视频数据，经过FPGA芯片进行处理，主要包括原始视频图像的ISP处理以及4个视频的机内实时拼接，拼接后的宽视野视频直接输出到HISI视频处理芯片，HISI视频处理芯片负责对拼接后的宽视野视频进行压缩编码以及rtsp流处理，最后输出一路宽视野网络视频。

进一步地，本实施例中的4个摄像头均采用安防监控摄像头，根据使用场景的需求采用不同焦距的摄像头，摄像头的焦距一般在2.8至8毫米，一般来说，安防监控摄像头的焦距越大，视场角越小，而监控距离越远，图像失真越小。

进一步地，本实施例中的4个摄像头输出的宽视野视频的分辨率为4K，实时输出的拼接视频帧率为25fps。

本发明采用的FPGA芯片，相对于嵌入式处理器，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适用于视频图像处理，且FPGA具有功耗低的特点，采用FPGA作为处理的核心将在功耗和成本都得到降低。

实施例二：

本发明采用模块化设计，根据实际应用场景，可搭建不同规模的相机阵列，灵活性高，可扩展性强，在具体实施过程中，该系统可以任意进行扩展。

在上述实施例一的技术方案基础上，在本发明实施例中，N路相机设备以两路相机为例，说明基于模块化整机如何搭建分布式拼接监控系统，如图4所示。第一路相机设备的四个摄像头分别是cmos0、cmos1、cmos2、cmos3，前端为fpga_0，后端为hisi_0；第二路相机设备的四个摄像头分别是cmos4、cmos5、cmos6、cmos7，前端为fpga_1，后端为hisi_1；两路相机设备间利用I2C或SPI总线将FPGA芯片连接起来，实现两路相机设备间的通信。

进一步地，在本发明实施例中，两路相机设备分别在各自的FPGA芯片中进行ISP处理与视频拼接，并传输给各自的HISI视频处理芯片进行视频的压缩编码以及rtsp流处理，最后将各自输出的拼接视频流通过综合模块120传输给显示模块130进行解码和显示。

进一步地，在本发明实施例中，两路相机设备前端模块fpga_0和fpga_1，设置其中任意一个为主芯片，另一个为从芯片，主芯片根据从芯片的4个摄像头图像参数及主芯片的4个摄像头图像参数调整所有摄像头的曝光和白平衡参数，实现所有摄像头的统一曝光和白平衡，即图像的亮度和颜色一致性。

进一步地，在本发明实施例中，为实现两路相机设备间的无缝拼接，对两路相机设备的所有摄像头进行统一标定与分割，即利用棋盘格标定方法计算出所有摄像头的内参数和畸变系数以及相邻摄像头之间的空间关系参数，基于摄像头的内参数和畸变系数以及摄像头之间的空间关系参数计算映射表，根据映射表将摄像头采集的原始图像进行映射得到目标图像，最后对所有目标图像进行统一分割，将分割后的有效图像进行拼接融合，得到高分辨率宽视野的拼接图像。

本发明设计了低资源占用的视频拼接算法，无需使用专用的大容量存储器，仅使用FPGA内部的储存资源，算法实现简单，在占用逻辑资源少的同时节省了外部存储器的开销。

实施例三：

在上述实施例二的技术方案基础上，在本发明实施例中，采用具有压缩核的可编程片上系统代替FPGA芯片和HISI视频处理芯片，如图5所示。具有压缩核的可编程片上系统将处理器的软件可编程性与FPGA的硬件可编程性进行整合，可同时完成图像ISP处理、视频拼接、视频编码压缩以及rtsp流处理等一系列操作，输出一路网络视频。

本发明实施例中，第一路相机设备的四个摄像头分别是cmos0、cmos1、cmos2、cmos3，第二路相机设备的四个摄像头分别是cmos4、cmos5、cmos6、cmos7。第一路相机的cmos3的重叠区域通过LVDS接口发送给第二路相机，作为一路摄像头数据输入，该重合区域图像数据与cmos4、cmos5、cmos6、cmos7的摄像头数据一起输出到具有压缩核的可编程片上系统，经过ISP处理、视频拼接、视频压缩、rtsp流处理等一系列操作后，输出第二路网络视频。所述第一路网络视频和第二路网络视频分别通过网络进行传输。依次类推，根据同样的扩展方法可以搭建不同规模的相机系统。

本发明采用分布式拼接监控系统，各相机设备分别进行视频采集、ISP处理、视频拼接、视频压缩编码，输出各个相机设备的网络视频流，在控制设备的监管下，通过网络交换设备，输出到显示设备进行解码并显示。本发明搭建分布式拼接监控系统，采用模块化的相机设计，解决普通监控相机的视野范围无法覆盖复杂大场景的问题，能提高系统的可视范围和可扩展性，适用于大场景的监控、边防监控等；本发明的各个相机设备采用嵌入式高速视频处理平台，在硬件平台上协同完成多路传感器数据的采集，视频拼接，视频压缩编码等功能，处理速度快，拼接图像清晰度高，可实现宽视野高分辨率视频的实时传输与显示；本发明各相机设备之间采用统一标定与分割的拼接算法，实现了各相机之间的无缝拼接，画面拼接效果好。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种大场景的分布式拼接监控系统，其特征在于，所述拼接监控系统由N路相机设备、综合模块和显示设备组成，其中，N路相机设备实时输出各自拼接好的宽视野视频流数据，通过所述综合模块网络传输到所述显示设备上解码并实时显示；每一所述相机设备由M个摄像头模块、前端模块和后端模块组成，其中，所述M个摄像头模块用于获取M路视频数据；所述前端模块负责控制所述M个摄像头视频数据的采集、ISP处理和M路视频数据的机内实时拼接，获得高分辨率宽视野视频；所述后端模块负责将前端模块输出的拼接视频进行压缩编码，输出H264编码的rtsp视频流；所述N路相机设备中N的取值范围为1至8；所述M个摄像头中M的取值范围为2至5；所述综合模块包括网络交换设备和控制设备，其中所述相机设备、所述控制设备以及所述显示设备与所述网络交换设备通过网线连接，所述控制设备负责将多路所述相机设备输出的rtsp视频流通过所述网络交换设备寻址分发至所述显示设备，所述控制设备可对多路所述相机设备以及所述显示设备进行实时管理与控制。

2.根据权利要求1所述的拼接监控系统，其特征在于，所述相机设备中前端模块的ISP处理单元的具体实现是，基于各个摄像头采集的Bayer格式Raw图像，经过图像ISP算法处理，输出RGB或YUV空间域的图像给后续的视频采集单元。

3.根据权利要求1所述的拼接监控系统，其特征在于，所述网络交换设备采用千兆交换机，用于网络数据交换。

4.根据权利要求3所述的拼接监控系统，其特征在于，所述控制设备为用户的控制电脑，所述多路相机设备均设有独有的网络地址，所述控制设备根据各个相机设备对应的网络地址，将各自的rtsp视频流通过网络交换设备进行寻址分发到所述显示设备。

5.根据权利要求1所述的拼接监控系统，其特征在于，所述显示设备由解码器和拼接屏构成，所述拼接屏包括液晶显示拼接墙、数字光处理拼接墙或等离子显示板拼接墙。

6.根据权利要求1所述的拼接监控系统，其特征在于，所述显示设备为具备解码功能的矩阵或具有解码功能的网络视频录像机。

Images