CN103200357A - 全景凝视网络摄像机构建方法与装置 - Google Patents

Abstract

本发明公开了一种全景凝视网络摄像机构建方法与装置，该装置可直接输出符合人眼观察习惯的全景图像，同时能够对全景图像中选定的感兴趣区域进行自动定位和凝视，以及对识别目标进行自动跟踪凝视，从而进行有效地重点监控。装置的设备包括：高速球和全景摄像机。其中，全景摄像机包括：全景成像器件和图像处理电路板。根据本发明提供的方案，不仅能够实现360度全视野的监控，而且能够实现对360度视野中感兴趣区域或识别目标的重点凝视与监控。

Description

全景凝视网络摄像机构建方法与装置

技术领域：

本发明涉及视频监控技术，特指一种全景凝视网络摄像机构建方法与装置。

背景技术：

目前，在视频监控领域中全景技术的应用越来越广泛，全景监控技术通过采用折反射全向成像装置或鱼眼镜头，捕获装置周围360度范围内的场景信息，从而生成包含360度全方位场景信息的环状全向图像。但是，全向图像中的场景存在变形情况，且图像是环状不符合人眼观察习惯，因此在获得全向图像后需要对全向图像进行处理，使用计算机软件展开生成适合人眼直接观察的长条状的柱面全景图像。凭借360度全方位视野的优点，全景监控技术在视频监控领域得到广泛的应用。

然而，随着该领域研究的不断深入，展开生成的柱面全景图像分辨率较低的缺陷越来越显著。对于近处的物体或区域，采用普通的全景成像装置或鱼眼镜头生成展开的柱面全景图像尚还能辨识清楚，但对于稍远的物体或区域，就显得模糊不清，不能进行有效的辨识，也不能进行重点观察。而在视频监控应用中，往往要求有目标识别、目标定位等功能，需要对关键区域进行重点凝视、对运动目标进行跟踪监视等。因此，上述存在于普通全景监控设备或鱼眼镜头的缺陷成为了严重制约其应用的瓶颈。

单纯提高传统摄像机或鱼眼镜头的分辨率显然不能有效解决这一问题。首先，由于成像组件本身的加工难度就较高，很难再做到进一步的提高，而且即使分辨率得到了提高，其成本也会随之大幅提高，因此难以普及；其次，普通全景成像装置和鱼眼摄像机的成像机理也制约着最终展开生成的柱面全景图像的分辨率。对于普通全景成像装置而言，由于折反射全向成像具有水平360度宽广视野，而传统摄像机成像的水平张角通常只有60度左右，因此同样尺寸的空间目标在全向图像中占有的像素数目相对明显偏低；此外，全向图像的内环像素数明显低于外环，在同样的径向跨度中成像的像素分辨率由内向外逐渐增大，即全向图像内环与外环的切向分辨率相差悬殊，内环欠采样而外环相对浪费，导致全向成像的分辨率分布严重不均匀。也就是说，真实场景空间中不同位置面积相等的两个区域经折反射成像后，在全向成像平面上对应的成像区域面积大小不一致，从而导致折反射全向图投影展开为柱面全景图像后，图像清晰程度不均匀。对于鱼眼摄像机而言，也同样存在着全向图像内环与外环的切向分辨率相差悬殊的问题，从而也会导致图像清晰程度不均匀的情况产生。

依靠后期图像处理对分辨率进行增强虽然有一定的效果，但仍然非常有限，同时对实时监控会造成一定的影响。

发明内容：

本发明要解决的技术问题是：针对普通全景成像装置或鱼眼镜头展开生成的柱面全景图像分辨率较低，不能对感兴趣区域和目标物体进行重点观察和凝视的问题，提出了一种全景凝视网络摄像机构建方法与装置，通过全景摄像机和高速球的密切配合，不仅能够实现360度全方位视野的监控，而且能够对全景图像中选定的感兴趣区域进行重点观察和凝视，同时能够实现对识别目标的自动跟踪凝视，从而为全景监控技术的后续应用奠定了很好的基础。

为解决上述技术问题，本发明采取的技术方案是：一种全景凝视网络摄像机构建方法与装置，包括高速球和全景摄像机两个部分；其中，全景摄像机包括相互连接的全景成像器件和图像处理电路板；全景摄像机和高速球通过各自的网络接口与外部监控设备相连接；全景相机用以获取360度视野的全向图像，并展开生成柱面全景图像；高速球用以获取感兴趣区域的凝视图像；通过全景摄像机和高速球的密切配合，对于全景图像中选定的感兴趣区域，高速球能够快速自动定位到该区域进行凝视监控；对于识别的目标，高速球能够自动进行跟踪凝视监控；外部监控设备通过网络接口对生成的全景图像和凝视图像进行显示，同时通过高速球的网络接口控制其在三维空间中的运动和聚焦。

作为优选方案，所述高速球的分辨率为100万像素，能够进行20倍的聚焦放大。

作为优选方案，所述全景摄像机中的全景成像器件采用的是相互连接的成像组件和鱼眼镜头。

进一步，所述成像组件可以为CCD成像组件或CMOS成像组件。

作为优选方案，高速球和全景摄像机都位于半球透明罩内，高速球固定于顶部的中央位置，全景摄像机位于高速球的正下方，固定于半球透明罩的底部。连接全景摄像机的网线和电源线必定会经过高速球的某段监控区域，由于这两种线都较粗，因此会造成一定的遮挡。考虑到高速球的功能是聚焦在远处区域，重点是对远处的目标区域进行放大观察，近处较细的线不会起到遮挡效果，而网线是由四根细小的子线构成，电源线是由两根细小的子线构成，因此将网线和电源线拆分为了六根细小的子线，分开紧贴高速球的边缘走线。

作为优选方案，所述外部监控设备为计算机。

基于上述全景凝视网络摄像机装置，本发明提出了一种高速球自动定位到全景图像中某一选定区域进行凝视或自动跟踪凝视运动目标的方法，其包括如下步骤：

1)根据全景摄像机位于高速球的正下方的位置关系，以高速球为原点，全景摄像机光轴为Z轴，构建全景凝视网络摄像机装置的空间三维坐标系；

2)计算全景摄像机生成展开的柱面图像中的像点与三维坐标系中物点的对应关系：

3)通过选定柱面全景图像中某一区域，根据步骤2)计算得到相应的空间位置，确定高速球在三维空间中定位到该区域所需的水平偏转角和垂直偏转角，从而实现自动定位和跟踪凝视。

本发明的设计原理如下所述：

所述全景凝视摄像机装置由高速球和全景摄像机构成，全景摄像机采集周围360度视野的图像，得到全向图像，全向图像通过全景摄像机内部的图像处理电路板进行展开处理，展开后的全景图像通过网络接口输出给外部监控设备；高速球对360度视野中的感兴趣区域进行重点凝视，生成的凝视图像也通过网络接口输出给外部监控设备；通过计算全景图像中像点与三维空间中物点的对应关系，求得高速球定位到该像点所处位置的水平偏转角和垂直偏转角，能够实现高速球自动定位到全景图像中选定的感兴趣区域进行重点凝视监控，以及实现对识别目标的自动跟踪凝视监控；外部监控设备通过网络接口对获得的全景图像和凝视图像进行显示，同时可通过高速球的网络接口控制其在三维空间中的运动和聚焦。

全景图像的展开是指将全景成像器件获得的全向图像展开成符合人眼观察习惯的图像的过程。基本原理是按照柱面投影的原理把0至360度场景的图像映射到柱面图像上，从而生成长条状的柱面全景图像，便于人眼观察。

附图说明：

图1是本发明所述全景凝视网络摄像机装置的结构示意图；

图2是本发明所述全景摄像机结构示意图；

图3是本发明所述全景凝视总体流程示意图；

图4是本发明所述全景凝视网络摄像机装置空间三维坐标结构示意图；

图5是本发明所述柱面全景图像结构示意图；

图6是本发明所述柱面全景图像和凝视图像显示示意图；

图7是本发明所述柱面全景图像显示示意图；

在上述附图中：

1-高速球  2-全景摄像机  3-半球透明罩

4-全景成像器件  5-图像处理电路板  6-网络接口  7-其他接口

8-显示窗口  9-凝视窗口  10-控制台  11-0～360视野全景窗口

12-显示窗口  13-0～180度视野窗口  14-180～360度视野窗口

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

如图1所示，全景凝视网络摄像机包括两个部分：高速球1和全景摄像机2。高速球和全景摄像机都位于半球透明罩3内，高速球固定于顶部的中央位置，全景摄像机位于高速球的正下方，固定于半球透明罩的底部。

高速球1分辨率为100万像素，能够进行20倍的聚焦放大，或者为其他型号。

图2所示为全景摄像机结构示意图。包括：全景成像器件4、图像处理电路板5、网络接口6以及其他接口7。

全景成像器件4可以由成像组件连接鱼眼镜头组成，也可以由成像组件连接普通镜头再连接折反射二次曲面组成，也可以是其他全景成像器件。

所述成像组件为：CCD成像组件，或CMOS成像组件。

图3所示为全景凝视总体流程示意图。全景摄像机采集周围360度视野的图像，生成全向图像，全向图像通过全景摄像机内部的图像处理电路板展开生成柱面全景图像，通过网络接口输出给外部监控设备：高速球对360度视野中的感兴趣区域进行重点凝视，生成的凝视图像，也通过网络接口输出给外部监控设备；通过计算全景图像中像点与三维空间中物点的对应关系，求得高速球定位到该像点所处位置的水平偏转角和垂直偏转角，能够实现高速球自动定位到全景图像中选定的感兴趣区域进行重点凝视监控，以及实现对识别目标的自动跟踪凝视监控。

图4所示为全景凝视网络摄像机装置空间三维坐标结构示意图。由于全景摄像机位于高速球的正下方，因此可以高速球为原点，全景摄像机光轴为Z轴，构建全景凝视网络摄像机装置的空间三维坐标系。通过计算物点与展开的柱面全景图像中像点的位置对应关系，可以得到物点在三维空间中的水平偏转角和垂直偏转角，从而能够实现高速球快速自动定位到该物点所在区域。由于高速球和全景摄像机在同一垂直轴线上，物点相对于它们的水平偏转角是相同的；但由于它们之间存在垂直距离差异，物点相对于它们的垂直偏转角则不相同。如图2所示，假设任意一点A在三维坐标系中的水平偏转角为α，相对于高速球的垂直偏转角为β，相对于全景摄像机的垂直偏转角为γ，高速球与全景摄像机的垂直距离差为L。通过几何推导可得：

$\mathrm{\β}=a\tan \left(\frac{R\·\tan \mathrm{\γ}}{L\·\tan \mathrm{\γ}+R}\right)---\left(1\right)$

其中，R为鱼眼全景图像进行柱面投影展开的柱面半径。

如图5所示为展开的柱面全景图像结构示意图。W、H分别为柱面全景图像的宽度和高度，假设点A在柱面全景图像中相对应的像点为A’，则根据像点A’的位置(w，h)，可计算得出点A在三维坐标系中的水平偏转角α和垂直偏转角γ，如下所示：

$\mathrm{\α}=\frac{w}{W}\·360---\left(2\right)$

$\mathrm{\γ}=\frac{H-h}{H}\·90---\left(3\right)$

$R=\frac{W}{2\mathrm{\π}}---\left(4\right)$

根据上述公式便可求出像点A’在三维空间中的物点A相对于高速球的水平偏转角α和垂直偏转角β，从而可以使高速球按照此偏转角自动定位到物点所处区域进行凝视监控。在实际应用中，可以通过鼠标点击柱面全景图像中感兴趣区域使高速球自动定位进行凝视监控，也可以识别运动目标进行跟踪凝视。

基于全景摄像机生成展开的柱面全景图像和高速球获得的凝视图像，本发明公开了两种显示方法。

图6所示为柱面全景图像和凝视图像显示示意图。图中，8为显示窗口，被分为三个部分：凝视窗口9，用以显示高速球对360度视野中的某一区域进行重点凝视获得的图像；控制台10，用以控制高速球在三维空间中的运动以及聚焦等功能；0～360度视野全景窗口11，用以显示全景摄像机展开生成的柱面全景图像，用鼠标点击柱面全景图像中的某一区域，能够使高速球自动定位到该区域进行重点监控和凝视。

图7所示为柱面全景图像显示示意图。图中，14为显示窗口，14被分为上下两个部分，上部分为0～180度视野窗口15，用以显示全景图像中0～180度视野的柱面展开图像；下部分为180～360度视野窗口16，用以显示全景图像中180～360度视野的柱面展开图像。

Claims (7)

1.一种全景凝视网络摄像机装置，其特征是，包括高速球、全景摄像机以及半球透明罩，其中，全景摄像机用以采集360度视野的全景图像，高速球用以凝视360度视野中的感兴趣区域，全景摄像机和高速球生成的图像通过网络接口输出给外部监控设备，同时外部监控设备通过高速球的网络接口控制其在三维空间中的运动与聚焦。

2.根据权利要求1所述的全景凝视网络摄像机装置，其特征是，高速球和全景摄像机位于半球透明罩内，高速球固定于顶部的中央位置，全景摄像机位于高速球的正下方，固定于半球透明罩的底部。

3.根据权利要求1所述的全景凝视网络摄像机装置，其特征是，对于全景图像中选定的感兴趣区域，高速球能够自动定位到该区域进行凝视监控；对于识别的运动目标，高速球能够进行自动进行跟踪凝视监控。

4.根据权利要求1所述的高速球，其特征是，支持网络输出机制。

5.根据权利要求1所述的全景摄像机，其特征是，包括全景成像器件、图像处理电路板、网络接口和其他接口；全景成像器件用以采集360度视野的全向图像，然后由图像处理电路板进行全景图像展开，通过网络接口输出。

6.根据权利要求4所述的全景摄像机，其特征是，全景成像器件可以由成像组件连接鱼眼镜头组成，也可以由成像组件连接普通镜头再连接折反射二次曲面组成，也可以是其他全景成像器件。

7.根据权利要求4所述的全景图像展开，其特征是，展开处理生成长条状的柱面全景图像，该图像符合正常的人眼观察习惯。

Images