CN109348119B - 一种全景监控系统 - Google Patents

Abstract

本发明公开了一种全景监控系统，可以通过在多个全景摄像机成像画面中选取部分区域进行拼接成像，形成较大场景的全局全景监控图，从而达到实时进行大场景统一画面的监控，在该全景监控画面中选择相应的区域，能够快速进入具体对应摄像机中查看对应位置的全景画面效果；另外摄像机之间进行附近关联摄像机的显示，可以实现关联摄像机视野的过渡切换，达到在实时的场景中进行3D漫游的效果。本发明公开的系统解决了用户实时浏览大场景无死角场景体验的技术问题。

Description

一种全景监控系统

技术领域

本发明是一种用于实时观看不同全景画面统一场景和实时场景中进行切换的方法，涉及到其中的全景场景中的相对位置信息确定和场景切换时的动态显示效果。

背景技术

监控行业中对于环境比较大且相对复杂的场景，一般采用摄像机组进行监控。对于普通摄像机监控而言，一般是监控人员面临着多个摄像机画面无关联、并且监控视窗繁多的情况，容易让人遗漏关键监控场景。另外，在实际的监控场景中，摄像机的布置往往要考虑监控摄像机的朝向以及网络、电源对摄像机布点的特定要求。总之，对于普通摄像机而言，需要考虑监控方向。

目前，针对相互关联的全景画面的切换显示，常见的产品有google街景、百度街景等产品，这类产品通常是通过离线全景图像采集制作和后期图像数据的标注而实现的。由于这些产品全景采集采用多摄像机拍摄和后期拼接的方式，采集流程非常复杂。另外由于用户对实时场景需求较大，为了极大提高全景数据的准确性，只能加大对离线图像数据的采集频次，尽可能地保证一定时间内的图像有效性。但是这种方式的不足在于：首先图像采集数据较为复杂，设备和人力要求较高；另外图像数据相对均是静态数据，从图像采集到图像上线也有一定时间间隔；并且图像采集频次考虑成本原因也会有所影响，图像真实性也会大打折扣。

本方案提出了一种用于全景摄像机组用于解决大场景实时浏览和监控需求，使用多个全景摄像机画面生成全局全景监控画面以解决监控场景快速定位的问题，并且使用了多个关联全景摄像机相互切换的方案，完善解决用户实时浏览大场景下无死角场景的体验问题。

发明内容

本申请是通过在多个全景摄像机成像画面中选取部分区域进行拼接成像，通过拼接后的图像，能够形成较大场景的全局全景监控图，通过该画面能够保证全景状态下所有机位在实际平面上进行投影成像，并能够实时呈现大部分视角的监控状态。而在进入全景摄像机画面后，在正常巡检状态下，需要直接切换不同摄像机实时画面时，本方案提出了一种在不同全景画面之间切换的方法，通过以下步骤实现：

1.实时获取全景摄像机画面；

2.对各个摄像机实时画面指定视角全景画面区域进行提取，并生成摄像机平面投影图像；

3.生成全局全景监控图；

4.对全局全景监控图进行区域划分并绑定对应摄像机。

本发明的有益效果是，通过在多个全景摄像机画面中选取部分区域进行拼接，从而达到实时进行大场景统一画面地监控，在该全景监控画面中选择相应的区域，能够快速进入具体对应摄像机中查看对应位置的全景画面效果；另外摄像摄像机之间进行附近关联摄像机地显示，可以实现关联摄像机视野的过渡、切换，达到在实时的场景中进行3D漫游的效果，极大提升了对大场景监控浏览的体验。

附图说明

图1是本发明提出的全景监控方法工作流程图。

图2是全景图像投影变换示意图。

图3是全景图像投影后平面画面裁剪、拼接示意图。

图4是全局全景监控图中区域与摄像机对应关系的确定方法示意图。

图5是全景摄像机画面切换流程图。

图6是径向模糊变换计算示意图。

图7是全景相机安装与投影参数设置示意图。

图8是两个相机画面进行切换时画面动态变化示意图，camera1表示当前浏览的摄像机，camera2表示切换的目标摄像机，实线表示图像画面内容为实际观看的画面，虚线表示的画面内容表示在切换过程中的过渡画面。

具体实施方式

本发明提出了一种全景多摄像机画面进行合成形成实时全局全景监控图，以此达到无缝全局监控的目的。其实现流程图1所示如下：

S101全景图像获取：

根据通用监控通讯协议，监控后台实时获取在监控区域里的所有全景摄像机画面，这里全景摄像机包括720度全景摄像机，单鱼眼广角摄像机等。

S102摄像机投影图像生成：

对各个摄像机实时画面指定视角全景画面区域进行提取，把提取出的画面进行平面投影，生成摄像机平面投影图像。一般监控场景是对大场景俯视画面进行监控，对各个摄像机实时画面进行画面区域提取及俯视投影变化。

在进行以上过程中，对于摄像机全景画面获取到的是720度全景画面的，一般图像数据为长宽比2：1的画面，从全景画面中截取对应俯视位置的区域，并对其进行畸变校正。一般2：1画面基本会使用等距圆柱投影变换，即将720°全景图像中点P₁(x₁,y₁,z₁)通过以下计算映射到全景立体球形图像球体坐标系中P₁'(lon,lat)实现：

对于指定区域图像，需要采用以下变化进行投影变换，如图(图2)所示：

其中，Z＝lat+90°(lat＜0°)，lon＝δ；x、y为投影后的图像像素坐标；ρ表示投影面上投影点的半径；D表示视点与球形图像赤道面的距离，一般设定为经验值；L表示视点到投影面的距离；R表示球形图像半径由全景图像分辨率确定为固定值；lon表示球上一点经度值，lat表示纬度值；

经过投影后的画面在平面上，根据上面计算公式得到透视后的画面，调整视点位置O’以及视角大小fov即可得到近似无畸变图像效果。根据图像覆盖区域对该图像进行裁剪以利于后续拼接优化，如图3所示。

S103全局全景监控图生成：

对于经过平面投影画面进行图像拼接合成，生成大范围视角的全局全景监控图。经过平面投影变换处理后，投影所有摄像机选定画面到同一平面，即后续拼接处理会实现画面从不同的球面到同一平面地处理。在同一平面的画面拼接过程使用特征点检测匹配后，通过估计仿射变换矩阵实现平面上有相同区域不同画面地拼接效果。

S104全局全景监控图进入全景摄像机画面：

在生成全局全景监控图后，根据拼接实现过程根据拼接过程中确定地拼接缝隙区域，进一步确定拼接位置在不同摄像机画面的边界位置，并对全局全景监控图进行区域划分，划分拼接后画面里不同区域对应的不同摄像机，进而确定全局全景监控图中区域与摄像机地对应关系(图4)。当选择全局全景监控图中的具体位置，通过对应关系确定对应摄像机并进入实时摄像机画面。

进入实时全景摄像机后，本发明提出了摄像机位置预处理、全景图像呈现、标识对应摄像机地确定以及摄像机画面切换，增强了大场景监控地浏览体验。其流程如图5所示有以下步骤：

S201摄像机位置预处理：

为了能够正确在当前画面场景中选择其它全景摄像机，需要提前确定所有全景摄像机的位置信息。可通过提前获取全景摄像机安装位置信息，获取当前场景中的全景摄像机所在的世界坐标。以此坐标为圆心，在给定半径大小的空间区域内选取摄像机作为关联摄像机。

S202全景图像呈现：

在呈现当前全景场景图像时，预加载在当前全景场景中出现的摄像机数据，但并不做显示处理，只是用于场景切换时候地无缝处理。对于每个摄像机其关联摄像机信息和标识都一一对应，标识在画面中的坐标也一并记录，并保存在数据库中。当该摄像机打开显示时，加载对应的标识信息并显示到确定的画面坐标中。

S203点击标识，确定需切换至的目标摄像机：

点击场景中的某个摄像机，确定用户需无缝切换至的目标场景。

从全景监控角度而言，全景视角怎么快速定位需要观看的摄像机位置也是监控人员遇到比较头痛的问题。因此，本发明简单地应用了在三维世界里射线与矩形面的相交判断，首先以视点所在位置(0，0，0)作为射线的起点，通过模型视图矩阵、投影矩阵、视口位置大小、固定的深度值，计算出点击的屏幕坐标点对应的世界坐标值，从而构成一条射线。以此计算出具体被拣中的摄像机在全景显示画面的位置并设置标识。当选择摄像机画面中显示的标识时，通过检索数据库关联到对应摄像机，确定要显示的目标摄像机画面。

S204摄像机画面切换：

用多个或者多组全景摄像机，对于不同场景之间的切换，一般的处理方式是直接从当前场景切换到目标场景，但是这样画面转换比较生硬，不能直观给人带来身临其境的感觉，从而影响对场景中各个角度地浏览监控体验。因此，为了能到达在场景切换时候地无缝与冲击效果，本发明采用了图像动态径向模糊与融合处理效果，进而能更好地展示出全景漫游模拟空间移动效果。

针对实时浏览的视频流之间使用动态径向模糊和融合效果实现场景切换，主要模拟当前摄像机在向目标摄像机移动时的动态效果径向模糊操作如图6所示，M表示图像的中心，P(x,y)为图像中一点，在进行径向模糊时，以点P(x,y)为圆心r为半径的范围内，位于点M和点P(x,y)的线段上的所有像素点对应像素值进行平均值计算，并把计算的平均值赋值为点P(x,y)对应的像素值，当线段MP长度小于r，点P(x,y)像素值为线段MP上所有像素点对应像素值的平均值。

实施例一：

在监控系统所有摄像机使用720度全景摄像头时，S102中对应位置处理为：

当进行投影变换，相邻的画面在校正过程中需要充分考虑摄像机安装相对位置和高度，在投影过程中尽量保证投影画面畸变一致性，防止边缘画面畸变过大造成投影画面拼接实时整体变形的问题。这里安装高度满足如图(图7)所示位置，此时fov及平面投影最大范围限制为：

其中，fov表示选取全景图像的视角范围；H表示全景摄像机安装高度；W表示相邻全景相机安装水平距离；Z_max表示全景投影区域范围限制，0°≤Z≤Z_max；Δ表示相邻全景摄像机重叠区域范围要求，一般设定为固定常值；则S2中L可以根据目标投影图像分辨率来设定，目标投影图像分辨率设置为w×w，则

以此得到

实施例二：

在监控系统所有摄像机使用鱼眼摄像机俯视监控，S102中进行以下处理：

1.鱼眼镜头标定：利用棋盘格图案标定拍照，使用张正友标定法对镜头内参数进行标定；

2.鱼眼画面畸变处理为：

其中r_src表示在原始画面中以像圆中心为圆心的像素环半径，r_dest表示在转换目标画面中以像圆中心为圆心的像素环半径，a、b、c、d为校正系数，通过摄像机标定方法确定取值；

S103中进行以下处理：

3.截取实际有效畸变区域图像；

4.对截取的画面进行拼接；

实施例三：

在监控系统所有摄像机使用鱼眼摄像机与720度全景摄像机结合的条件下，S102中流程为：

1.对鱼眼画面进行等距圆柱投影变换，等距圆柱投影变换公式为：

其中，cols、rows表示图像的宽高；

为等效投影维度，λ为等效投影经度；f为等效投影半径，通过摄像机镜头标定方法确定；x_src、y_src为原始图像坐标值。

2.截取鱼眼画面等角变换后的俯视区域；

3.同实施例一进行标定操作；

实施例四：

使用普通摄像机与全景摄像机结合的方式时，S102中处理流程为：

1.普通摄像机画面进行仿射变化，得到等效俯视画面；

2.全景画面根据普通摄像机的安装位置和朝向确定最终的fov和投影面；

3.全景画面投影变换；

S103中：

4.仿射变换的普通摄像机画面和全景变换后画面进行拼接。

实施例五：

S204中，在全景摄像机之间相互切换时：

本实施例中径向模糊变化采用以下方式，如图8所示：

其中，r₀为预设的初始半径；k表示预设的变换过程中半径变化最大比值；t表示实时变换进行的时刻，0≤t≤T。

实施例六：

监控区域中全景摄像机和普通摄像机同时存在时，S204中，在全景摄像机和普通摄像机之间切换时：

全景画面在展示是会受到视窗视角和视点距离影响，如果全景画面与普通画面进行切换时，需要人为改变全景视角以改变全景效果最终过渡切换到普通画面；从普通画面切换到全景画面同样存在同一问题。故而在全景画面和普通画面进行切换时需要计算画面调整的比例：

当从全景画面切换到普通画面时，图像画面变换通过改变视点位置来实现，如下式表示：

其中，t表示实时变换进行的时刻，0≤t≤T；x、y为呈现的图像像素坐标，随D地变化而变化；ρ表示投影面上投影点的半径；D表示视点与球形图像赤道面的距离，在径向模糊变换过程中动态变化；L表示视点到投影面的距离；R表示球形图像半径由全景图像分辨率确定为固定值；lon表示球上一点经度值，lat表示纬度值；

当从普通画面切换到全景画面时，径向模糊图像画面变换为：

其中，r₀为预设的初始半径；t表示实时变换进行的时刻，0≤t≤T；径向模糊最大半径比值设定为2。

Claims (10)

1.一种全景监控方法，其特征在于包含有以下步骤：

S101实时获取在监控区域里的所有全景摄像机画面，获取全景图像；

S102对各个摄像机实时画面中指定视角的全景画面区域进行提取，对提取出的画面进行平面投影，生成平面投影图像；

S103对平面投影图像进行全景拼接合成，生成全局全景监控图；

S104对全局全景监控图进行区域划分，当用户选择不同区域时直接进入到对应的单个全景摄像机画面中；

其中所述的摄像机为全景摄像机，在S102具体包括，所述的全景摄像机通过对其原始球形画面进行透视投影生成全景摄像机俯视图，其中，原始球形画面是通过等距圆柱投影得到的全景画面渲染成立体球形得到的， 透视投影过程参照：

其中，Z＝lat+90°(lat＜0°)，lon＝δ；x、y为投影后的图像像素坐标；ρ表示投影面上投影点的半径；D表示视点与球形图像赤道面的距离，设定为经验值；L表示视点到投影面的距离；R表示球形画面的半径；lon表示球上一点的经度值，lat表示纬度值；

对投影具体方式中参数由下式确定：

其中，fov表示选取全景图像的视角范围；H表示全景摄像机安装高度；W表示相邻全景摄像机安装水平距离；Z_max表示全景投影区域范围限制，0°≤Z≤Z_max；Δ表示相邻全景摄像机重叠区域范围要求，设定为固定常值；则L根据目标投影图像分辨率来设定，目标投影图像分辨率设置为w×w，则

以此得到

2.根据权利要求1所述的全景监控方法，其特征在于：

S201摄像机位置预处理,获取当前场景中的全景摄像机所在的物理坐标系坐标；

S202呈现当前摄像机全景画面，在当前摄像机画面中标识相邻摄像机，并预加载所标识的相邻摄像机数据；

S203点击标识，根据标识与摄像机的对应关系，确定访问的目标摄像机；

S204进行画面切换，在图像切换过程中使用径向模糊处理来模拟摄像机画面移动的视觉效果。

3.根据权利要求1所述的全景监控方法，其特征在于：

S103中，全局全景监控图生成是通过图像拼接技术，使用特征点检测匹配后，通过估计仿射变换矩阵实现平面上相同区域不同画面的拼接。

4.根据权利要求1所述的全景监控方法，其特征在于：

所述全景摄像机均为鱼眼摄像机，则按照下式进行平面投影：

其中r_src表示在原始画面中以像圆中心为圆心的像素环半径，r_dest表示在转换目标画面中以像圆中心为圆心的像素环半径，a、b、c、d为校正系数，通过摄像机标定方法确定取值。

5.根据权利要求1所述的全景监控方法，其特征在于：

所述全景摄像机中一部分为鱼眼摄像机，另一部分为720度全景摄像机，则先将鱼眼摄像机图像变换为球形画面，再进行透视投影，变换过程由下式确定：

其中，cols、rows表示鱼眼摄像机图像的宽高；

为等效投影纬度，λ为等效投影经度；f为等效投影半径，通过摄像机镜头标定方法确定；x_src、y_src为原始图像像素坐标值。

6.根据权利要求1所述的全景监控方法，其特征在于：

当监控区域还包括普通摄像机时，

S102中，只对全景摄像机画面进行平面投影变换操作；

S103中，对普通相机成像画面和全景相机平面投影画面进行拼接，生成全局全景画面。

7.根据权利要求2所述的全景监控方法，其特征在于：

S204中，使用动态径向模糊和融合效果实现场景切换，模拟当前摄像机在向目标摄像机移动时的动态径向模糊操作，M 表示图像的中心，P(x,y) 为图像中任意一点，在进行径向模糊时，以点P(x,y) 为圆心，以预设固定值r 为半径作圆，在进行径向模糊时，当线段MP长度大于或者等于r ，将点P(x,y) 像素值更新为线段MP 上位于该圆范围内的所有像素点对应像素值的平均值，当线段MP 长度小于r ，将点P(x,y) 像素值更新为线段MP 上所有像素点对应像素值的平均值，持续进行上述像素值更新直到到达预定时间T，完成画面切换。

8.根据权利要求7所述的全景监控方法，其特征在于：

S204中，全景摄像机之间切换过程使用以下变换方式进行：

其中r₀为预设的初始半径；k表示预设的变换过程中半径变化最大比值；t表示实时变换进行的时刻，0≤t≤T。

9.根据权利要求2所述的全景监控方法，其特征在于：

监控区域还包括普通摄像机，S204中，在全景摄像机到普通摄像机切换时，切换过程使用以下公式：

其中，T表示径向模糊变化的总时长，t表示实时变换进行的时刻，0≤t≤T；x、y为呈现的图像像素坐标，随D的变化而变化；ρ表示投影面上投影点的半径；D表示视点与球形图像赤道面的距离，在径向模糊变换过程中动态变化；Z＝lat+90°(lat＜0°)，lon＝δ；L表示视点到投影面的距离；R表示球形图像半径由全景图像分辨率确定为固定值；lon表示球上一点经度值，lat表示纬度值；

对投影具体方式中参数由下式确定：

其中，fov表示选取全景图像的视角范围；H表示全景摄像机安装高度；W表示相邻全景摄像机安装水平距离；Z_max表示全景投影区域范围限制，0°≤Z≤Z_max；Δ表示相邻全景摄像机重叠区域范围要求，设定为固定常值；则L根据目标投影图像分辨率来设定，目标投影图像分辨率设置为w×w，则

以此得到

10.根据权利要求7所述的全景监控方法，其特征在于：

监控区域还包括普通摄像机，S204中，在普通摄像机到全景摄像机切换时，图像切换过程使用以下公式：

其中，r₀为预设的初始半径；t表示实时变换进行的时刻，0≤t≤T；径向模糊最大半径比值设定为2。

Images