CN202841372U

CN202841372U - 分布式全景监控系统

Info

Publication number: CN202841372U
Application number: CN201220413822.9U
Authority: CN
Inventors: 吴东方; 王慈; 葛小荣; 徐景明
Original assignee: Shanghai Guangliang Photoelectric Technology Co Ltd
Current assignee: Hunan light blue Technology Development Co., Ltd.
Priority date: 2012-08-20
Filing date: 2012-08-20
Publication date: 2013-03-27
Anticipated expiration: 2022-08-20

Abstract

本实用新型公开了一种分布式全景监控系统，包括：多个相互独立的、彼此影像有覆盖的摄像头；显示和存储单路视频信号并根据拼接需要提取单路特征，最终将特征信息与视频信号交织和同步的视频信号转换模块；实现多路视频信号同步和图像拼接的图像拼接模块。本实用新型对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置；可根据用户需求选择摄像机的取景方向，以规避遮挡问题；摄像机的分布式安放提高了全景图的可视范围和清晰度；该系统能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。本实用新型适用于广场、大型仓库、商场、机场、交通管理等安防领域，实现对复杂环境下全场景的360度实时观察和监控。

Description

分布式全景监控系统

技术领域

本实用新型涉及一种监控系统，尤其涉及一种分布式全景监控系统。

背景技术

近年来，全景视频监控系统逐步兴起，主要的做法分为三种：

(1)使用单摄像机，通过特殊的镜头设计得到全景影像。受镜头性能的影响，这类方法的缺陷是全景视频图的分辨率不高且图像存在一定的畸变。即使通过图像处理算法对畸变进行矫正，图像失真仍在一定程度上不可避免。

(2)通过电动机在垂直和水平两个自由度上的转动，由一组图像近视产生一个全景图像。这类方法的缺陷在于得到的图像是不连续的，可能存在一定的盲区。此外相机运动会造成机械磨损，且获得的图像有一定程度的抖动。

(3)在全景摄像机上安置多个摄像头，这些摄像头安装在固定位置，且画面彼此交错。较前两种方法，该方法的清晰度高、失真小，且无机械运动部分。目前与之相关的专利文献被公开的包括：中国发明专利说明书CN1706195A（公开于2005年12月7日）揭示一种具有对个摄像机的全景可视系统；中国发明专利说明书CN102137229A（公开于2011年07月27日）公开了一种嵌入式高清全景摄像机的设计方法；中国发明专利说明书CN102355545A（公开于2012年02月15日）公开了一种360度实时全景摄像机的设计方法；中国发明专利说明书CN101102514A（公开于2008年1月9日）公开了实时全景无缝无失真视频摄像机；中国发明专利说明书CN101568018A（公开于2009年10月28日）公开了一种无旋转全景摄像装置及其构成的监控系统；中国发明专利说明书CN101630117A（公开于2010年1月20日）公开了涉及多摄像机同步获取360度高清全景系统；中国发明专利说明书CN101753849A（公开于2008年12月01日）公开了复眼全景摄像机；中国发明专利说明书CN101866482A（公开于2010年10月20日）提出一种基于摄像设备自动标定技术的全景图拼接方法。

这些专利方法中，摄像头以轴为中心，被近似均匀的安置在全景摄像机的机壳上。这类系统无法应对复杂场景，当存在遮挡时，全景重建存在阻塞区域。受限于摄像头的景深，由上述方法重构的全景图像的清晰度不尽理想。分布式摄像机布局可以很好的解决遮挡问题，且能提高全景摄像机的可视范围及清晰度。

实用新型内容

为了解决现有技术存在的上述缺点和不足，本实用新型提供了一种由多摄像机组成的分布式全景监控系统。本实用新型对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置；可根据用户需求选择摄像机的取景方向，以规避遮挡问题；摄像机的分布式安放提高了全景图的可视范围和清晰度；该系统能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。本实用新型适用于广场、大型仓库、商场、机场、交通管理等安防领域，实现对复杂环境下全场景的360度实时观察和监控。

本实用新型的目的通过以下技术方案实现。

一种分布式全景监控系统，包括：多个相互独立的、彼此影像有覆盖的摄像头；显示和存储单路视频信号并根据拼接需要提取单路特征，最终将特征信息与视频信号交织和同步的视频信号转换模块；实现多路视频信号同步和图像拼接的图像拼接模块。

优选的，所述视频信号转换模块包括：实现对摄像头视频编码信号的解码，并恢复出像素域图像的解码器；对解码视频信号逐帧提取特征的特征提取模块；实现对视频帧信号与特征信号的数据重新组织的数据交织模块。

优选的，所述分布式全景监控系统还包括显示器和硬盘存储器，所述视频信号转换模块的一路连接至所述硬盘存储器并通过所述显示器提供独立的预览显示，另一路连接至所述图像拼接模块。

所述图像拼接模块提取各镜头中的显著特征点，首先对这些特征点作三维仿射匹配，再由这些仿射匹配点估算出其它非特征点的仿射变换，通过对所有的像素点进行移位操作，最终合成全景图像。

在本实用新型中，设计像素级仿射变换计算方式及仿射矩阵的细化和优化方式，从而精准估计相邻视频间的匹配关系；设计了仿射变换优化的评价标准，经过仿射变换后的特征描述子对的总误差为最小方法；设计了非特征点的仿射关系的估计准则，参考特征描述子及几何距离的差距计算非特征点的仿射关系的方法。

本实用新型的有益效果在于对多个摄像头的安置要求低，根据场景情况，可分别安置在距离较远的不同位置；可根据用户需求选择摄像机的取景方向，以规避遮挡问题；摄像机的分布式安放提高了全景图的可视范围和清晰度；该系统能够对不同聚焦图像进行拼接组合，并对几何失真进行补偿。本实用新型适用于广场、大型仓库、商场、机场、交通管理等安防领域，实现对复杂环境下全场景的360度实时观察和监控。

附图说明

图1是分布式全景监控系统的示意图；

图2是视频信号转换模块的数据组织结构的示意图；

图3是图像拼接模块的组织结构的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示的分布式全景监控系统，包括：多个相互独立的、彼此影像有覆盖的摄像头1；显示和存储单路视频信号并根据拼接需要提取单路特征，最终将特征信息与视频信号交织和同步的视频信号转换模块2；实现多路视频信号同步和图像拼接的图像拼接模块6；显示器4；硬盘存储器5。视频信号转换模块2由多个转换器3组成，转换器3包括：实现对摄像头视频编码信号的解码，并恢复出像素域图像的解码器；对解码视频信号逐帧提取特征的特征提取模块；实现对视频帧信号与特征信号的数据重新组织的数据交织模块。视频信号转换模块2的一路连接至所述硬盘存储器并提供独立的预览显示，另一路连接至所述图像拼接模块。

（一）视频信号转换模块

视频信号转换模块有三个功能：（1）将视频的数字采样信号通过显存导出至显示器；(2)对视频信号进行压缩，并存储在硬盘存储介质中；(3)特征提取以及数据交织。

视频信号显示通过DirectX编程实现，该程序直接将缓存数据映射至显示器的显存中；

摄像数据压缩采用H.264标准压缩，采用mplayer开源代码实现H.264标准压缩；mplayer可对输入视频实时编码，并通过网口，USB口输出，或直接存储到本地硬盘；

采用SIFT特征描述图像，SIFT特征具有平移、选择和尺度的不变性，且对光照等变换较为鲁棒。除SIFT算子以外，也可采用计算复杂度较低的Harris算子；

以SIFT描述子为例，通过系列运算，在图像中自动探测出一系列SIFT点及这些点对应的长度为128bits的特征向量。以图像左上角的第一个像素为坐标原点，以字典顺序对所有的特征点进行扫描，这些点的坐标和特征向量共同组合成最基本的特征描述子2112。对视频帧中的像素值以字典顺序扫描组成荷载2111。荷载2111和2112的级联帧级别的数据包212即为输入至拼接器的最基本的数据处理单元。进一步考虑摄像机在时域的连续采样，输入至拼接器的数据流21是由一系列帧数据包211、212和213等组成。

在本实用新型中，定义了一种以帧为单位的数据组织结构。信号转换器顺序对视频进行打包，每个数据包由视频帧和与其对应的特征拼接而成，如图2所示。

（二）图像拼接模块

图像拼接模块的具体组件及所承担的任务包括（如图3所示）：

视频数据帧同步31；

相邻视频中的特征点进行匹配，全局仿射矩阵计算32；

奇异特征点去除33；

仿射变换校正，仿射矩阵细化34；

拼接全景图像35；

数据同步单元31包含多个乒乓缓存器，每路输入视频使用一路缓存器，数据流21以流形式传输至乒乓缓存器，当一个完整的数据帧被导入乒或者乓缓存器后，后继图像帧数据存入另一个缓存器。在做图像全景拼接时，主控单元检测乒乓缓存器，读取完整数据帧信息后，将对应缓存器置空。通过上述机理，主控单元保证所取得的各路视频帧信号是完整的。

特征点匹配单元采用特征向量遍历或者二叉树分裂匹配算法将所有的特征点配对，找到毗邻视频帧中特征点的对应关系A_j。

由于视角、尺度等变化，用于匹配的图像的特征点并不完全一致，造成视图中的一些匹配点无法找到相应的匹配对。本发明采用RANSCA对特征点进行提纯，去除奇异点，即那些无法匹配的特征点和匹配向量与全局匹配向量相差较大的特征点。

仿射矩阵的优化和细化首先对特征点仿射变换求精，再估计非特征点的仿射变换。以两个图像块的拼接为例。假设图像1中有M个特征点，它们对应的特征向量分别为vec_j j∈[1，M]；图像2中有N个特征点，它们对应的特征向量vec_i,i ∈[1，N]。

仿射优化过程中，对奇异点去除后的图像1中的所有特征点求取修正的仿射矩阵ΔA_j。修正矩阵的仿射ΔA_j与A_j同维，用4参数坐标或6参数坐标描述。修正后的仿射矩阵B_j＝A_j+ΔA_j满足两个条件：1）使得两幅图像彼此覆盖区域中的可匹配的特征点的误差为最小；2）求取的特征点的仿射矩阵间是平滑的。所以，B_j应满足B_j＝minE{B_j}，

g为凸集函数，在本设计中，g为一方差可调的高斯函数；f为一单调增函数，本实例中使用2为底的对数函数；

为高通滤波后的能量计算函数，在本实例中采用L2范数。

E{B_j}能量最小化过程由数值计算完成，在本实施例中采用最陡下降法实现。

在对特征点的计算仿射变换之后，需要求取非特征点的仿射变换。仿射求精和细化单元计算非特征点的仿射变换时，采用如下策略：（1）相似特征的像素点应有相似的仿射变换；（2）图像是连续的，所以相邻的像素具有相似的仿射变换。未知像素点的仿射场由其最邻近的L个特征点的仿射场AT1决定，

w_j＝h((c_x-c_j),(x-j))。其中h为凸函数，c_x为坐标为x的像素点的相似性特征。在本例中h采用指数函数，h(x,y)=-exp(x*x+y*y)。像素点x的相似性特征为以x为中心的图像块的特征描述，在本实例中采用该图像块的高通滤波后的残余信号。

图像拼接单元，根据计算出的仿射场，对相邻视图的图像进行扭转。由于不同相机的参数不同，即使对同一对象摄取的图像的亮度及色度也不完全相同，所以在做图像拼接时，必须对上述相机造成的差异进行校正。本发明首先检测相邻图像的交汇区域，再根据交汇区域图像直方图的不同，计算直方图色度变换矩阵H。根据计算出的色度变换矩阵对图像2做色度归一化处理，最终拼接成的无亮度和色彩差异的全景图像=图像1+H*图像2。

本实用新型利用多摄像头分布的灵活性来提高视角范围监控视频质量的一种新型设备。该设备通过图像处理算法去除不同镜头中视觉信息的冗余，进而将多个摄像机拍摄的一组视频信息转换成为一副包含该系列所有信息的全景图像。

Claims

1.一种分布式全景监控系统，其特征在于，包括：多个相互独立的、彼此影像有覆盖的摄像头；显示和存储单路视频信号并根据拼接需要提取单路特征，最终将特征信息与视频信号交织和同步的视频信号转换模块；实现多路视频信号同步和图像拼接的图像拼接模块。

2.根据权利要求1所述的分布式全景监控系统，其特征在于，所述视频信号转换模块包括：实现对摄像头视频编码信号的解码、并恢复出像素域图像的解码器；对解码视频信号逐帧提取特征的特征提取模块；实现对视频帧信号与特征信号的数据重新组织的数据交织模块。

3.根据权利要求1或2所述的分布式全景监控系统，其特征在于，所述分布式全景监控系统还包括显示器和硬盘存储器，所述视频信号转换模块的一路连接至所述硬盘存储器并通过所述显示器提供独立的预览显示，另一路连接至所述图像拼接模块。