CN102117008A - 一种球面全景监控装置 - Google Patents

Abstract

本发明提供了一种多变焦镜头拼接的球面全景监控装置，其主要技术特征在于，除了具备传统定点摄像机的变焦变倍所有功能外，还具备有能够通过分布在同一个球面上的各个变焦镜头模拟人眼的聚焦能力通过图像拼接，获取全景图像信息的功能。根据捕获图像的距离和镜头的视场角来决定各个镜头的分布，就能捕获水平180°垂直180°的半球面全景图像，及任意半球曲面图像。大大提高了云台摄像机使用灵活性，同时其全景采集功能也克服了传统云台视场角小的缺点。

Description

一种球面全景监控装置

技术领域

本发明属于视频监控领域，尤其是一种球面全景监控装置。

背景技术

单镜头产品，如：云台摄像机等，是当今监控领域中，最为普遍使用的监控前端设备。但云台摄像机虽然能够通过电机的转动，带动摄像机转动朝向不同的方向，从而覆盖摄像机下方几乎每一个角落。但是由于其固有的特点，也存在着一定的局限，那就是同一时刻，能够看到的范围是很有限的。很明显，这是由于摄像机的视场角有限所导致的，通常一个普通的一体化摄像机，最大可视角度在60°左右，这样覆盖的面积是很有限的。当摄像机固定观察某一区域时，其它区域很显然是无法同时兼顾，这样就出现了盲区。同时云台摄像机又存在很多根本转动不到的盲区。

为了弥补这一问题，就需要加装更多的，定点摄像机、云台摄像机，以保证需要监控的位置能同时受到监控，但是这样，同时也给后端操作带来的很多不便，因为要分通道显示。要不断的控制云台，而且云台的转动需要一定的延时。

为了解决视场角问题，又有一种方案应运而生，即多定焦摄像机拼接。多摄像机拼接，采用的多个定点摄像机，分别朝向不同的方向，通过其拍摄方向的几何关系以及计算图像的边界连接情况，将多个摄像机拍摄的图像拼接成一副完整的全景图像。这样拼接出的图像，能达到预期的全景拍摄的目的，但焦距固定，所观测的范围有限，不能随场景的变化自动的聚焦。

发明内容

本发明提供了一种球面全景监控装置，虽然类似于多摄像机拼接，但此拼接所用的摄像机镜头是均匀分布在一个半球面上的19个变焦镜头，变焦镜头的视场角是水平和垂直在36°到60°之间变化，所以只要拼接算法得当，就能用最少的视频输入，拼接出一个球面全景图像。同时也能通过调节不同位置摄像机的焦距来获得不同曲面的图像，依需要可以得到不同的曲度的曲面图像，如半球面、半凹面、半椭球面等等。曲面间的变化是平滑的，即：通 过变化焦距可得到所有空间曲面。解决了上述传统定点摄像机、云台摄像机视场角小，无法同时覆盖监控所有角落的缺陷。本系统可以通过视频切换，单独显示每个摄像机的视频。也可以工作在全景采集工作模式下。全景采集包括符合人的视觉观测感受的3种方法：水平180°、垂直180°半球全景显示；水平180°、垂直60°水平全景显示；水平180°、垂直180°任意曲面全景显示即：

1)通过半球面摄像机，即：分布在半球面上的19个摄像机采集图像，并对其进行图像拼接，得到球面水平180°，垂直180°球面全景图像。其特点也是在拼接的过程中完全是实时的。即显示的图像是连续的，没有延时。

2)通过水平5个摄像机采集图像，并对其进行图像拼接。得到一个水平180°，垂直60°水平半球全景图像。其特点是拼接的过程中完全是实时的，同时也符合人的视觉感受。

3)通过半球面摄像机，即：分布在半球面上的19个摄像机的焦距的变化，拟合出一个随焦距变化的任意半球曲面，把图像拼接的结果投影到该曲面上，得到水平180°，垂直180°任意曲面全景图像。其特点是拼接的曲面是任意多变的，能达到实时显示多角度拼接的视频效果。水平180°，垂直180°球面全景图像能实时的提供给监控人员使用，解决了传统定点摄像机、云台摄像机视角小的局限性，以及当前很多新的全景监控解决方案细节不足的问题。本装置的这一特点是传统的定点摄像机、云台摄像机所不能比拟的。

为了达到上述目的，本发明采用下述技术方案。

一种球面全景监控装置，其特征在于包括：19个变焦摄像机组合成的半球面摄像机、全景采集模块。

而且，各个模块之间的连接方式是：全景采集模块通过半球面摄像机采集前端视频，再通过视频拼接传给后端监视器进行显示。后端的控制信号传给半球面摄像机和采集模块，并控制半球面上每个摄像机的焦距、视频的采集方式以及视频是否需要拼接等功能的实现。

而且，所述的半球面中各个摄像机的镜头方向，是预先规定的，不可调节。并且每两个镜头之间的夹角也是定值。其中最小不可小于180/(5×镜头的最小视场角)。

而且，每个镜头的焦距可调节。可通过控制信号进行控制。

而且，半球面的大小可依摄像机的尺寸而定，以确保19个摄像机能均匀分布，并且不互相遮挡。摄像机最好选用同一型号。

本发明的有益效果在于：

本发明利是用19个定点变焦摄像机拍摄整个半球面并实时拼接成全景的方法，视场角的范围可以扩展到整个半球面。不仅集成了定点摄像机、云台摄像机的功能，还在显示的角度上弥补了以上产品的不足。是同类其它产品所不具备的。

附图说明

图1是本发明的系统框图；

图2是本发明的半球面摄像机示意图；

图3是本发明的全景采集模块组成框图；

图4是本发明的视频处理芯片框图；

图5是本发明的流程图；

图6是本发明的水平180°全景采集模块组成框图；

具体实施方式

以下结合附图对本发明实施例做进一步详述：

下面结合附图对本发明进行详细描述。

如图1所示，本发明为一种球面全景监控装置，包括：半球面摄像机101(由19个可变焦摄像机组成)、全景采集模块102。

半球面摄像机101，如图2所示，由19个可变焦摄像机组成，摄像机的型号为：SONY-FCB-480，其中每个摄像机的变焦、变倍、白平衡等参数可调。进行全景显示时摄像机各个参数，除变焦参数外必须保持一致。19个摄像机均匀等距分布在图2所示的半球面上，之间的夹角为36°。半球面摄像机立体图形和平面图形中19个摄像机的位置是一一对应的。如图2所示，以其中一个摄像机为例，指出摄像机平面图形和立体图形的对照关系。

模块102，如图3所示，由视频处理芯片(三片DM648)，外部存储器，视频A/D和视频D/A，控制信号模块，以及网络输出模块组成。视频采集模块通过视频A/D采集摄像机图像，然后依照控制信号模块接收的控制命令(如：水平180°显示、半球面显示等)对图像进行相应的矫正和拼接后，通过视频D/A将视频回传给监控中心，由监控中心监视器进行显示。也可不通过视频 D/A，而是把拼接后的图像数据在DSP中进行编码和压缩，然后通过网络传输给后端。相比传统云台摄像机，本发明能够通过控制半球面摄像机101中的各个定点摄像机的焦距，采集到不同物距的半球全景视频。

其中，模块102中的视频处理芯片的组成如图4所示，由DM648(1)、DM648(2)、DM648(3)三片DSP组成，其中DSP的型号为DM648。1～8路摄像机采集的视频经过视频A/D处理后，通过DM648(1)的8个视频口进入，DM648(1)按照控制信号的控制命令(如：水平180°显示、半球面显示等)对这8路视频图像进行拼接，再把拼接的结果通过视频输出端口传给DM648(3)，同样的9～16路摄像机采集的视频经过视频A/D处理后，通过DM648(2)的8个视频口进入，DM648(2)按照控制信号的控制命令(如：水平180°显示、半球面显示等)对这8路视频图像进行拼接，再把拼接的结果通过视频输出端口传给DM648(3)。17～19路摄像机采集的视频经过视频A/D处理后，通过DM648(3)的3个视频口进入，DM648(3)按照控制信号的控制命令(如：水平180°显示、半球面显示等)对这3路视频图像，连同DM648(1)和DM648(2)的拼接结果一起进行拼接，得出的全景视频通过DM648(3)的视频输出端口传给下一个模块。

作为一种全景采集装置，在外部控制信号的控制下可以有多种显示模式，如图5所示，其显示模式包括：单独显示一路视频显示、半球全景显示、水平全景显示、任意曲面全景显示等4种全景显示模式。

第一种，单独显示一路视频。

如图5所示，如果选择单独显示一路视频，则单路摄像机的原始视频直接进行视频显示。

第二种，半球全景显示。

如图5所示，如果选择半球全景显示，则在球面全景采集模式下，全景采集模块102根据设定，对从101半球面摄像机发来的视频图像进行相应摄像机的平面矫正，即：把各个摄像机的图像投影到该摄像机所在的平面上，再根据101半球面摄像机的整体曲率，分别对每个摄像机进行平面矫正，再把矫正后的图像反投影到大球面上，为后面的图像拼接做准备。然后把所有投影到大球面上的图像进行图像拼接。同时也考虑到边界图像的边界拼接问题，必要时会对图像做一定的拉伸、裁剪等变换。本实施例采用的拼接方法是由Richard Szeliski提出的，采用Levenberg-Marquardt迭代非线性最小化方 法(Richard Szeliski，Video mosaics for virtual environments.Computer Graphicsand Applications，IEEE，Mar 1996.Volume：16，Issue：2，pp.22-30.)，以下简称L-M算法。如果选择进行半球图像拼接，显示拼接后的半球全景图像，否则，显示进行相应摄像机的平面矫正，而不进行拼接的半球全景图像。

第三种，水平全景显示。

如图5所示，如果选择水平全景显示，则在水平180°垂直60°水平全景显示模式下全景采集模块102根据设定，对从101半球面摄像机水平面上的5个摄像机发来的视频图像进行相应摄像机的平面矫正，如图6所示，摄像机的视场角覆盖了整个半平面。再根据101半球面摄像机的整体曲率，再把矫正后的图像反投影到大球面上，为后面的图像拼接做准备。然后把所有投影到大球面上的图像用L-M算法进行图像拼接。同时也考虑到边界图像的边界拼接问题，必要时会对图像做一定的拉伸、裁剪等变换。如果选择进行水平图像拼接，显示拼接后的水平全景图像，否则，显示进行相应摄像机的平面矫正，而不进行拼接的水平全景图像。

第四种，任意曲面全景显示。

如图5所示，如果选择任意曲面全景显示，则在任意曲面全景采集模式下，全景采集模块102根据设定，对从101半球面摄像机发来的视频图像进行相应摄像机的平面矫正，即：把各个摄像机的图像投影到该摄像机所在的平面上，由于101中摄像机的焦距不同，所以拼接出的并不是一个规则的半球图像，而是依摄像机的焦距而定的一个任意曲面。在拼接之前我们要通过各个摄像机的焦距信息建立一个空间曲面模型。该模型由19个摄像机的焦距拟合而成。由于每个摄像机又与6个其它的摄像机相邻，所以曲面的形状由这六个相邻的摄像机的焦距和它本身的焦距所决定，问题就转变成由一个六棱锥拟合成一个曲面的问题。当所有的摄像机都按照此类方法反投影之后，对所有投影图像用L-M算法进行图像拼接。必要时会对图像做一定的拉伸、裁剪等变换。如果选择进行任意曲面图像拼接，显示拼接后的任意曲面全景图像，否则，显示进行相应摄像机的平面矫正，而不进行拼接的任意曲面全景图像。

对于摄像机的选择，可以使用普通变焦摄像机，视场角在36°到60°范围内可调。如果产品的应用场所对中间的观测距离要求较高，四周的观测距离要求相对较低，并且考虑降低成本，可以在101半球面的边缘选择定焦镜 头，同时所成的曲面为一个椭球面。四周的物体依然能看见，只是距离有一定的限制。

这种球面全景监控装置，能够实现传统云台摄像机的所有功能，同时也能实现半球面全景摄像机实时显示的功能，使得监控前端的应用变得更加灵活。而且其全景拍摄的区域可以随用户需要进行灵活调整。其全景采集的灵活性大大增强，能够满足不同全景监控的需求。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种球面全景监控装置，其特征在于包括：19个变焦摄像机组合成的半球面摄像机、全景采集模块。

2.根据权利要求1所述的一种球面全景监控装置，其特征在于各个模块之间的连接方式是：全景采集模块通过半球面摄像机采集前端视频，再通过视频拼接传给后端监视器进行显示。后端的控制信号传给半球面摄像机和采集模块，并控制半球面上每个摄像机的焦距、视频的采集方式以及视频是否需要拼接等功能的实现。

3.根据权利要求1所述的一种球面全景监控装置，其特征在于，所述的半球面中各个摄像机的镜头方向，是预先规定的，不可调节。并且每两个镜头之间的夹角也是定值。其中最小不可小于180/(5×镜头的最小视场角)。

4.根据权利要求1所述的一种球面全景监控装置，其特征在于，每个镜头的焦距可调节。可通过控制信号进行控制。

5.根据权利要求1所述的一种球面全景监控装置，其特征在于，半球面的大小可依摄像机的尺寸而定，以确保19个摄像机能均匀分布，并且不互相遮挡。摄像机最好选用同一型号。

Images