CN101119482B - 一种全景监控方法及设备 - Google Patents

Abstract

本发明公开了一种全景监控方法及设备。其中，设备包括：全景镜头和成像组件相结合用于得到监控现场的全景视频信息；事件检测模块用于对所述全景视频信息进行智能图像分析，根据得到智能分析结果判断是否有符合预先设定告警条件的事件发生，并生成事件检测报告；视频服务模块用于利用所述智能分析结果实现多目标虚拟PTZ跟踪，并提供一种多高分辨率目标图像复用的压缩、传输机制，不仅解决了“看得清”和“看的全”的问题，而且还有效地降低对传输带宽的要求，实现高效传输；接口模块用于提供全景监控设备与外部设备连接的全部接口。根据本发明提供的方案，实现了连续监控360°全景空间，不会漏掉或错过任何突发事件，实现了无盲点、无死角智能监控。

Description

一种全景监控方法及设备

技术领域

本发明涉及视频监控技术，特别是指一种全景监控方法及设备。

背景技术

目前的全景监控设备主要是由全景镜头和CCD/CMOS成像组件构成，将模拟视频信号输出接入到全景视频服务器，由全景视频服务器将展开的图像传到监控室或直接接到监视器上进行显示。对于远程监控系统，全景视频服务器不仅要完成图像的展开，同时还要实现视频压缩和传输，工作压力较大，而且降低了监控的实时性。

全景相机是一种新兴的监控设备，无需采用多台相机，一台全景相机就能够实现对大空间360°的无盲区监控，由于受限于现阶段的闭路电视监控(CCTV)相机的分辨率，为了提供高分辨率的监控质量，常采用全景相机与云台控制相机(PTZ相机)相配合的工作模式，全景相机能够提供监控场景的全景，解决“看得全”的问题，PTZ相机通过控制Pan-Tilt-Zoom，解决“看得清”的问题。如果全景相机连接有对目标事件自动检测的智能处理设备，则可将目标的位置、与视场中心的偏差等信息提供给PTZ相机，使PTZ相机聚焦到目标位置，实现虚拟PTZ跟踪。这样的工作模式，在一段时间内只能实现对一个目标做到“看得清”，为了实现对多个目标的清晰观察，必须采用轮询的方式来实现，轮询的方式将导致目标的信息不完整，严重时甚至可能导致丢失对关键目标的检测，给事件的事前制止和证据的事后查证带来很大的困难。

另外，PTZ相机本身启动速度慢、低速平移性能差、无反馈等缺点也降低了对目标检测、跟踪的准确性和可靠性。

综上所述，目前迫切需要提出更为有效的全景监控方案。

发明内容

本发明的目的在于提供一个全新的全景监控设备和方法，并建立一个基于这一设备而且消除了以上缺点的全景视频监控系统。

本发明的目的还在于提供一种全新的全景监控体系和方法，将全景传感、智能图像处理以及视频服务等功能进行有机结合。

本发明的目的还在于提供一种目标事件检测和多个虚拟PTZ跟踪相结合的工作模式及算法，突破单一时段只能对单一目标进行跟踪的缺陷。

本发明的目的还在于提供一种全景图像及多个虚拟PTZ跟踪目标图像有效压缩、传输、显示、控制机制和方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种全景监控设备，包括：全景镜头；成像组件，所述全景镜头和成像组件相结合，用于得到监控现场的全景视频信息；事件检测模块，用于对所述全景视频信息进行智能图像分析，并根据得到的智能分析结果判断是否有符合预先设定的告警条件的事件发生，并生成事件检测报告；视频服务模块，用于利用所述智能分析结果在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现方位、高低、变焦三个方向对多目标的虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作，进一步提供一种多高分辨率目标图像复用的压缩、传输机制；和接口模块，用于提供全景监控设备与外部设备连接的全部接口。

所述全景镜头为：多镜头模式的全景镜头，或反射式全景镜头，或折射式全景镜头。

所述成像组件为：CCD成像组件，或CMOS成像组件。

所述事件检测模块包括：视频采集模块，用于接收所述全景视频信息；视频展开/拼接模块，用于通过坐标变化和插值处理对圆形全方位图像进行展开；降分辨率模块，用于降低全景展开图像的分辨率；智能图像分析模块，用于在降分辨率的全景展开图像中进行运动目标检测、跟踪、分类和行为分析，提取目标基础数据信息，并应用这些信息分析目标运动的空间特性和时间特性；和事件生成模块，用于根据展开的全景视频信息判断是否有符合预先设定告警条件的事件发生，在有告警事件发生时，生成事件检测报告。

所述事件检测模块进一步用于向所述视频服务模块提供高分辨率全景展开图像以及降分辨率的全景展开图像。

所述视频服务模块包括：高分辨率图像保存模块，用于存储高分辨率全景展开图像；高分辨率目标图像提取模块，用于根据事件检测模块的智能分析处理结果从全景展开图像中提取目标的高分辨率细节影像；图像复用模块，用于将高分辨率目标图像进行复用；视频压缩模块，用于对复用后的高分辨目标图像以及降分辨率的全景展开图像进行视频压缩；和流媒体传输模块，用于根据网络状况，以相应的传输帧率和码率通过网络接口向远程监控中心传送前端监控数据。

所述视频服务模块包括：视频采集模块，用于接收所述全景视频信息；视频展开/拼接模块，用于通过坐标变化和插值处理对圆形全方位图像进行展开；高分辨率图像保存模块，用于存储高分辨率全景展开图像；高分辨率目标图像提取模块，用于根据事件检测模块的智能分析处理结果从全景展开图像中提取目标的高分辨率细节影像；图像复用模块，用于将高分辨率目标图像进行复用；视频压缩模块，用于对复用后的高分辨目标图像以及降分辨率的全景展开图像进行视频压缩；流媒体传输模块，用于根据网络状况，以相应的传输帧率和码率通过网络接口向远程监控中心传送前端监控数据。

所述视频服务模块进一步包括：降分辨率模块，用于降低全景展开图像的分辨率。

所述事件检测模块进一步用于向所述视频服务模块提供事件数据。

所述事件检测模块进一步用于提供目标的基础数据信息；进一步提供目标运动的预测信息。

所述视频展开/拼接模块包括：坐标系变换模块，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；和像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

一种全景监控装置中的全景监控方法，该全景监控装置包括全景镜头、成像组件、事件检测模块、视频服务模块和接口模块，该方法包括：通过全景镜头和成像组件相结合来获取监控现场的全景视频信息；由时间检测模块对所述全景视频信息进行智能分析得到智能分析结果，根据智能分析结果判断是否有符合预先设定告警条件的事件发生，并生成事件检测报告；和由视频服务模块利用所述智能分析结果在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现方位、高低、变焦三个方向对多目标的虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作，并进一步实现多高分辨率目标图像复用的压缩、传输机制。

所述进行智能分析，包括：通过坐标变化和插值处理对圆形全方位图像进行展开。

所述进行智能分析，包括：降低全景展开图像的分辨率。

所述进行智能分析，包括：检测当前帧中与背景模型不相符的像素，将所述像素连贯起来后，提取出当前帧的前景目标。

所述进行智能分析，进一步包括：通过建立帧与帧之间的对应关系，然后进行相似性比较或模板匹配实现目标跟踪。

所述进行智能分析，进一步包括：提供目标的基础数据信息；进一步提供目标运动的预测信息。

所述利用所述智能分析结果进行操作，包括：在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像；将高分辨率目标图像复用，在一副图像中有序排列检测到的多个目标图像。

所述通过坐标变化和插值处理对圆形全方位图像进行展开，包括：

A、建立以全景图像中心为原点的新坐标系，计算全景图像中每个像素点在新坐标系中的坐标；

B、确定展开图像的形状特性，以及全景图像与展开图像之间的坐标对应关系；

C、根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标；

D、根据计算出的所述坐标，对全景图像中像素点的像素值进行非线性插值计算，得到对应展开图像中每个像素点的像素值。

所述步骤A与步骤B之间进一步包括：在全景图像中去掉一个以原点为中心的同心圆。

所述展开图像为矩形展开图像时，所述步骤B为：确定矩形展开图像的高度和宽度。

步骤C中所述坐标对应关系为：ρ＝r2+y，

其中，ρ为全景图像中的像素点与坐标原点的距离，θ为全景图像中像素点与坐标轴的夹角，x为展开图像中像素点的横坐标，y为展开图像中像素点的纵坐标，r2为所述同心圆的半径，r1为全景图像的半径，π为圆周率。

所述步骤A为：将全景图像的半径设置为1，计算全景图像中每个像素点在单位圆全景图像中的坐标。

所述步骤B为：计算展开图像中每一像素点与原点的距离、与坐标轴的夹角以及与原点连线上的像素点的最大拉伸比例。

步骤C中所述坐标对应关系为：r′＝r/R_max，θ′＝θ，其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例R_max＝1/cosθ。

步骤C中所述坐标对应关系为：

θ′＝θ，其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

通过本发明提供的全景监控设备和方法，实现了连续监控360°全景空间，不会漏掉或错过任何突发事件，实现了无盲点、无死角监控；无需安装多台普通的CCTV摄像机，无需图像拼接就可以得到全景图像，提高了时效性，节省了硬件投资；前端全景成像设备将一个半球视野中的信息压缩成一副图像，降低了对显示和存储设备的要求。

视频服务模块利用事件检测模块的智能分析结果，在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现多目标虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作。视频服务模块还进一步提供多目标图像有效压缩、传输的处理机制，将高分辨率目标图像复用，在一副图像中有序排列检测到的多个目标图像，并压缩复用图像和降分辨率的全景展开图像，将其与事件检测模块获得的检测数据一起传输给远程监控中心。这样，全景监控设备在保证为监控中心提供监控现场高分辨率全景展开图像和目标图像的同时，全景展开图像降分辨率以及多个高分辨率目标图像复用后压缩传输的机制能够有效地降低对传输带宽的要求，不仅解决了“看得清”和“看的全”的问题，而且还有效地降低对传输带宽的要求，实现高效传输。

对于全景图像进行多种模式展开的方法，使得图像中的场景信息相对全景图像更加直观，场景布局更加明显，方便用户理解场景布局，使用户不仅能辨别图像中的方向，且更容易理解全景图像中各目标之间的关系。

附图说明

图1为本发明中全景监控设备结构示意图；

图2A为本发明中多镜头模式全景镜头示意图；

图2B为本发明中反射式全景镜头示意图；

图2C为本发明中折射式全景镜头示意图；

图3为本发明中事件检测模块和视频服务模块处理流程图；

图4A为本发明中360°展开原理示意图；

图4B为本发明中2个180°展开原理示意图；

图4C为本发明中4个90°展开原理示意图；

图4D为本发明中立方展开原理示意图；

图5为本发明中虚拟PTZ示意图；

图6为本发明中视频压缩原理示意图；

图7为本发明中360°展开示意图；

图8为本发明中立方展开示意图；

图9为本发明中对全景图像进行展开的装置结构示意图；

图10为本发明中智能视频监控系统结构示意图。

具体实施方式

图1为本发明中全景监控设备结构示意图，如图1所示，全景监控设备主要包括：全景镜头101、CMOS成像组件102、事件检测模块103、视频服务模块104和接口模块105。

全景镜头101具有高分辨率特性，其视场可以覆盖监控现场360°全景空间。CMOS成像组件102具有体积小、集成度高、功耗低等优点，而且相对于CCD成像，使用CMOS成像组件能够大大节约成本，更重要的是CMOS成像组件直接输出数字视频信号，不需要模/数转换就可以直接进行后续的智能图像分析，提高了实时性。全景镜头101和CMOS成像组件102相结合组成全景视频传感设备，这是一种超宽视野的高分辨率前端成像设备，可对监控现场进行360°无盲点监测，得到监控现场的全景视频信息。

事件检测模块103主要用于完成智能图像分析得到智能分析结果，例如，在全景图像中进行运动目标检测、跟踪、分类和行为分析等，提取出目标的位置、大小、颜色、形状、速度、方向、运动轨迹等基础数据信息，分析目标运动的空间特性和时间特性，根据智能分析结果进一步判断是否有符合预先设定告警条件的事件发生，并生成事件检测报告，即对所述全景视频信息进行智能图像分析，根据得到智能分析结果判断是否有符合预先设定告警条件的事件发生，并生成事件检测报告。事件检测模块103还进一步为虚拟PTZ的实现提供目标大小、位置、运动速度、方向、轨迹等基础数据信息，以及有关目标运动的预测信息。

视频服务模块104主要是利用事件检测模块103的智能分析结果，在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现方位、高低、变焦三个方向对多目标虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作。视频服务模块104还进一步提供多目标图像有效压缩、传输的处理机制，将高分辨率目标图像复用，在一副图像中有序排列检测到的多个目标图像，并压缩复用图像和降分辨率的全景展开图像，将其与事件检测模块103获得的检测数据一起传输给远程监控中心。这样，全景监控设备在保证为监控中心提供监控现场高分辨率全景展开图像和目标图像的同时，全景展开图像降分辨率以及多个高分辨率目标图像复用后压缩传输的机制能够有效地降低对传输带宽的要求。

接口模块105提供了全景监控设备与外部设备连接的全部接口。接口模块105可以连接视频显示终端，实现模拟视频输出；还可以连接音频输入输出设备，实现音频广播、音频对讲等；还可以连接各类型常规传感器，用于采集现场的其它细节信息，如温度、湿度、大气压力等；还可以连接各类型侵入传感器，如周界保护中常用的红外传感器、静电传感器以及门磁等传感器等，辅助实现智能监控；还可以连接外部告警设备，如报警灯、扬声器、消防喷淋设备等，以实现联动告警。接口模块105还提供了全景监控设备的网络接口RJ45，用于经由数据网络(如互联网、局域网、无线网、专用网等)实现监控现场与远程监控中心之间的数据/信令传输。另外，全景监控设备还可以提供串口RS-485，用于连接摇杆等外部控制设备，用户通过控制摇杆来实现对目标的虚拟PTZ跟踪。

为获得监控现场的高清晰360°完整影像，全景监控设备可以选用高分辨率的全景镜头101进行监控现场的视频采集，分辨率可达到200万像素、400万像素，甚至是800万像素。全景镜头101可以有三种实现形式：多镜头模式、反射式和折射式。

普通相机的镜头通常只具有一个圆锥区域的小视野，多镜头模式是由多部普通相机组成，如图2A所示，这些普通相机的镜头的视场覆盖监控现场的整个区域。多部普通相机同时捕捉监控现场各区域的影像，然后通过图像拼接的方法得到监控现场完整的全方位图像。图像拼接主要是以普通相机的空间几何位置关系为基础，利用图像边缘区域的相关性，找到多部普通相机同一时刻拍摄的场景图像之间的对应关系，将所有图像组合到一副图像中，获取监控现场的全景图像。但是，因为每个普通相机都有不同的投影中心，拼接出无缝图像的处理会比较复杂。

反射式全景镜头是以光学反射原理为基础，如图2B所示，应用凸面反射镜来扩大相机的视场，将监控现场的全方位影像反射到成像装置上，以获取全景信息。但是，由于成像装置的遮挡，所得到的全景图像只是一个环形图像，全景图像中心区域的信息会有丢失。

折射式全景镜头是以光线折射原理为基础，如图2C所示，可以获取监控现场360°完整影像，不丢失任何细节信息，实现无盲点检测，是最为理想的全景图像获取方式。通过折射式全景镜头获取的全景图像是圆形的，覆盖了整个被监控区域。

下面以折射式全景镜头和CMOS成像组件组成的全景视频传感设备为例，介绍全景监控设备的具体工作原理。

所述全景视频传感设备采集监控现场360°完整影像，得到全景视频信息。事件检测模块103接收该全景视频信息，即视频采集模块411的处理，如图3所示。由于采集的全景视频图像是圆形的，没有明显的边角，为明确场景布局，以及图像中各类型目标之间的空间关系，在进行智能分析和处理前，先通过坐标变化和插值处理对圆形全方位图像进行展开，即视频展开/拼接模块412的处理。展开模式有四种：360°展开、2个180°展开、4个90°展开、立方展开。另外，为了加快图像分析处理的速度，可以根据全景监控设备的数据处理能力，降低全景展开图像的分辨率413，一般降图像分辨率为D1或CIF。

全景视频信息经展开、降分辨率处理后，事件检测模块103进行智能图像分析和处理，得到智能分析结果，即智能图像分析模块414的处理，例如，在全景图像中进行目标检测、跟踪、分类和行为分析等，提取出目标的位置、大小、颜色、形状、速度、方向、运动轨迹等基础数据信息，并应用这些基础数据信息分析目标运动的空间特性和时间特性。

根据智能分析结果，结合外部传感设备采集的信息，事件检测模块103进一步判断是否有符合预先设定告警条件的事件发生，在有告警事件发生时，生成事件检测报告，即事件生成模块415的处理，并实时传送给视频服务模块104。事件检测报告能够给出监控现场所发生的告警事件的完整认定结果，提供与告警事件相关的完整信息。事件检测报告的内容包括智能图像分析得到的告警事件类型、检测到目标的时间、目标类型、目标各种基础数据信息，以及外部传感器数据信息等。

全景监控设备支持的展开模式可以为四种：360°展开、2个180°展开、4个90°展开、立方展开。

360°展开的基本思想是应用坐标变化和插值处理等数学运算，以全景图像任一半径为起点，沿圆周方向将圆形图像展开为一个包含360°所有方向上场景信息的矩形图像，如图4A所示，具体实现后续会给出详细描述。2个180°展开或4个90°展开则是通过将360°展开的矩形图像二等份或四等分实现的，如图4B和图4C所示。

全景图像360°展开后得到的矩形图像看上去像是一个大范围的平面影像，但是有两点特性使其区别于通常意义上的平面图像：一是这个图像显示了完整的360°影像，就如同一个人同时看到了他周围所有方向上的场景；二是这个平面图像中仍然没有明确的边角。因此，展开后虽然方便了目标检测等智能化处理，可对于观察者而言，还是很难理解场景布局、及场景中各目标间的空间位置关系。

另外，由于展开前为减少失真，圆形全景图像中去掉了一个同心圆区域，丢失了现场部分数据，很可能错过真正的告警信息。同心圆半径小，则展开后失真严重，半径大，则丢失数据增多，错过告警信息的机率变大，这是一个相互矛盾的问题。

2个180°展开或4个90°展开是通过将360°展开的矩形图像分割实现的，所以存在与360°展开时同样的问题。

立方展开是将圆形全景图像沿半径方向向外拉伸，得到长宽比为4∶3的矩形全景展开图像，该展开图像所表达的场景信息更加直观，场景布局更加明显，更重要的是，展开过程中没有丢失任何的数据信息，重现了监控现场的360°完整影像，如图4D所示。所述圆形全景图像的拉伸方法有两种。一种方法是将圆形全景图像半径方向上、从原点开始到图像边缘的所有像素点均匀拉伸，也就是说图像中每个像素点的拉伸权重都是1，这种拉伸方法使得全景展开图像的中心区域失真较为严重。另一种方法是减小中心区域像素权重，增大边缘区域像素权重，使圆形全景图像半径方向上、从原点开始到图像边缘所有像素点的拉伸权重呈递增趋势，这样可以获得失真很小的全景展开图像。

全景监控设备可以支持所有以上四种全景图像展开模式，展开模式的选择可以由用户配置确定。

图3中智能图像分析模块414的具体处理可包括以下几个步骤。

全景视频传感设备拍摄的是一个相对静止的背景，当拍摄画面发生变化时，智能图像分析模块414进行目标检测。目标检测主要是检测当前帧中与背景模型不相符的那些像素，将它们连贯起来后就提取出当前帧的前景目标。目标检测是通过如高斯混合模型方法、或帧差法、或动态自适应背景差法之类的算法来实现的。

在检测出目标后，智能图像分析模块414对目标进行跟踪。目标跟踪是通过建立帧与帧之间的对应关系，然后进行相似性比较或模板匹配来实现，目标跟踪是通过如Kalman滤波法、标准的帧到帧跟踪算法等来实现的。

完成了目标检测和跟踪之后，就能够获得目标的位置、大小、颜色、形状、速度、方向、运动轨迹等基础数据信息，利用这些基础数据信息，事件生成模块415自动对目标进行类型识别和行为分析。类型识别是利用如支持向量机、线性分类器等来实现的。行为分析是综合利用目标检测、跟踪、分类中获得的信息，分析是否有符合存储在全景监控设备的存储器(图3中未示出)中的预先设定的告警条件的“事件”发生。根据应用的不同，行为分析的内容也不尽相同，例如，在徘徊检测情况下，主要是分析目标的位置和运动轨迹；又如，在遗留物检测的情况下，主要是分析目标的大小、形状和停放时长。

视频服务模块104的工作原理如图3所示，与事件检测模块103相同，视频服务模块104首先进行视频采集，即视频采集模块421的处理，以及圆形全景视频图像展开/拼接，即视频展开/拼接模块422的处理，得到包含监控现场360°所有方向场景信息的全景展开图像。存储该高分辨率全景展开图像，即高分辨率图像保存模块423的处理，并根据事件生成模块415提供的目标大小、位置、运动速度、方向、轨迹等基础数据信息，从高分辨率全景展开图像中提取目标的高分辨率细节影像，即高分辨率目标图像提取模块424的处理，实现多目标虚拟PTZ跟踪。如图5的示例所示，共检测到6个目标，分别有人、车、火焰和物品。人和车为运动目标，从视频帧序列中可提取出一系列的目标影像，跟踪结果为视频流。火焰同样是运动目标，视频流可以表示出火焰跳动以及其扩散性。事件图片是在视频帧序列中检测到的一个与背景模型不相符的静物，可用于实现被盗物/遗留物检测。

为节约带宽，实现高效传输，将这些高分辨率目标图像复用，即图像复用模块425的处理，在一副图像中显示所有检测到的目标，如图6所示。复用后的图像分辨率为D1(704×576)，如果高分辨率目标图像分辨率是QCIF(176×144)，那么复用图像中共可以显示16个目标的细节影像，也就是可以同时实现对16个目标的虚拟PTZ跟踪。

高分辨率全景展开图像传输时对带宽要求太高，不利于高效实时地传输，所以降全景展开图像分辨率为CIF(352×288)，即降分辨率模块426的处理。将降分辨率后的全景展开图像和复用后的高分辨目标图像进行视频压缩，即视频压缩模块427的处理，并将压缩后的视频和事件发生模块415生成的事件数据一起通过流媒体传输模块传输给远程监控中心。压缩协议为MPEG4或JPEG，流媒体传输协议可选用RTP/RTCP，TCP/IP。在视频压缩和传输过程中，全景监控系统中的流媒体传输模块会根据网络状况，随时调整视频压缩时的量化参数，以及流媒体传输的帧率和码率，并通过网络接口向远程监控中心传送前端监控数据，实现有效传输。

为缩短视频处理时间，提高处理效率，视频服务模块104可以不再重复进行视频采集和视频展开/拼接，而是直接接收事件检测模块103中视频展开/拼接模块412后得到的高分辨率全景展开图像进行处理；视频压缩传输所需要的降分辨率全景展开图像也可通过事件发生模块415和视频服务模块104之间的数据传输得到，而无需再次进行降分辨率操作。

全景监控设备自身具有针对异常事件的分析和处理能力，因而在发生异常事件时，能够自动做出相应处理并且发出警告，从而解除了监控端及其操作人员的工作压力，同时确保了发现异常事件的准确性，消除了发生错漏异常事件的可能性。

如图7所示对360°展开的具体流程描述如下：

步骤11：由于原始全景图像的原点在o处，所以首先通过坐标变换，将图像的原点o转移到圆形全景图像的中心位置o′处，建立新的坐标系。对应图像中的每个像素点，坐标变换公式为x′＝x-w/2，y′＝y-h/2，其中x为全景图像中的像素点在原坐标系中的横坐标，x′为全景图像中的像素点在新坐标系中的横坐标，y为全景图像中的像素点在原坐标系中的纵坐标，y′为全景图像中的像素点在新坐标系中的纵坐标。

步骤12：确定展开图像的高度ht和宽度wt。由于全景图像为圆形，靠近图像中心位置的区域采样点样本空间较小，进行后续插值处理会产生较大的失真，所以在全景图像中去掉一个一定半径的同心圆，将圆形图像变为环形。则，展开图像的高度ht等于圆形全景图像半径r1减去去除的同心圆区域半径r2，即ht＝r1-r2，宽度wt等于剩余圆环区域的中心圆周c的周长，即wt＝π(r1+r2)。

步骤13：根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标。展开图像像素点直角坐标(x1，y1)与全景图像像素点极坐标(ρ，θ)之间的对应关系为：

ρ＝r2+y1，

步骤14：通过极坐标反变换确定展开图像中的点在原全景图像中对应的直角坐标。

步骤15：对全景图像中的像素点的像素值进行非线性插值计算，得到对应的展开图像中像素点的像素值。

以上为全景图像360°展开方法的具体流程。对于2×180°以及4×90°展开，只是在360°展开得到矩形图像的基础上，对其进行等分处理，即，2等分得到2×180°展开的展开图像，4等分得到4×90°展开的展开图像。但是，由于全景图像为圆形，并没有分界线，所以在360°展开方法时，其矩形边界是任意确定的，即全景图像任意半径均可作为展开边界，其可以在实际应用中由人为设定，也可以由系统选择，从而得到最好的展开效果。

如图8所示对全景图像立方展开的具体流程描述如下：

步骤21：建立以全景图像中心o为原点的新坐标系。

步骤22：设全景图像半径为1，将全景图像变化为单位圆，确定每个像素点在单位圆全景图像中的坐标。

步骤23：将全景图像以及对应的展开图像分为八个区域，对展开图像某一区域中的任一点p，设坐标为(x1，y1)，计算其与原点o的距离op，设为r，以及与坐标轴的夹角θ。

步骤24：计算点p与原点o连线上的点的最大拉伸比例，即点m沿

拉伸到展开图像边缘点n的拉伸比例：R_max＝1/cosθ。

步骤25：确定展开图像点p在对应全景图像的坐标。可以有两种方法：

a均匀拉伸点p对应全景图像中点p′的半径为r′＝r/R_max，坐标为(r′cosθ，r′sinθ)。

b加权拉伸计算点p的加权参数：para＝r/R_max，则点p对应原全景图像中点p′的半径为：

$r^{\′}=\frac{r}{(R_{\max }-1)\×{\mathrm{para}}^2+1}$

步骤26：对全景图像中的像素点的像素值进行非线性插值计算，得到对应的展开图像中像素点的像素值。

图9为本发明中对全景图像进行展开的装置，如图9所示，该装置包括坐标系变换模块910、形状特性确定模块920、坐标计算模块930以及像素值计算模块940，其中，

坐标系变换模块910，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块930；

形状特性确定模块920，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块930；

坐标计算模块930，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块940；

像素值计算模块940，用于根据坐标计算模块930得到的展开图像对应于全景图像的坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

全景监控设备通过网络接口与远程监控中心服务器相连，构成完整的智能视频监控系统，如图10所示。前端全景监控设备20，用于获取现场的全景视频信息，对场景进行360°无盲点监测，对现场视频信息进行智能分析和处理，检测到告警事件后，生成告警信息，并将编码的现场视频信息，与智能分析处理结果和告警信息一起发送给智能监控平台50以及本地监控终端40，同时控制外部设备30进行告警。

本地监控终端40，用于接收从全景监控设备20传送来的编码的现场视频信息，以及智能分析处理结果和告警信息，并将告警信息通知用户。

外部设备30，在实际应用中，外部设备30可以根据不同的需要进行不同的配置，可以包括：各类型常规传感器，用于采集现场的其它各类信息，比如温度、湿度、大气压力等，并将采集到的信息传送给全景监控设备20，作为判断告警事件是否产生的辅助信息；侵入传感器，如周界保护中常用的红外传感器、静电传感器以及门磁等传感器等，将感应到的外部信息传送给全景监控设备20，作为判断告警事件是否产生的辅助信息；外部告警设备，包括例如报警灯、扬声器、消防喷淋设备等，当全景监控设备20产生告警信息时，由全景监控设备20控制所述外部告警设备进行联动告警；声音录入和输出设备，用于实现音频广播或监控终端和监控现场之间的语音对话。可见，外部设备不仅可以作为告警设备进行联动告警，其中的各类型常规传感器、侵入传感器以及声音录入和输出设备等还可以作为信息采集设备，向全景监控设备20提供现场辅助信息。

智能监控平台50，用于处理全景监控设备20传来的编码的现场视频信息，以及智能分析处理结果和告警信息，对从全景监控设备20传来的数据进行显示、存储、回放和检索；还用于对全景监控设备20进行配置和维护；还用于根据客户需求，将全景监控设备20发送来的编码的现场视频信息，以及智能分析处理结果和告警信息传输给远程监控终端60；还用于控制现场监控设备进行联动告警。其中，智能监控平台50向远程监控终端60发送的数据，可以主动发送，也可以根据远程监控终端60的请求发送。

所述智能监控平台50还包括一个数据存储单元，用于存储各监控点传送来的数据，以备用户进行历史数据查询和取证。

远程监控终端60：用于接收从智能监控平台50传送来的编码的现场视频信息，以及智能分析处理结果和告警信息，并将告警信息通知用户。

基于图1、图3和图9的描述，智能视频监控系统的的具体处理包括以下步骤。

全景镜头和CMOS成像组件相结合组成的全景视频传感设备实时采集监控现场360°全景信息，输出数字视频信号给事件检测模块和/或视频服务模块。

事件检测模块接收数字视频信号，进行智能图像分析和处理，从视频流中检测出异常事件，并生成事件检测报告，交由视频服务模块做进一步的智能处理。

视频服务模块根据事件检测模块提供的智能分析结果实现多目标的虚拟PTZ跟踪，并以图像复用的方法组织高分辨率目标图像，将其和降分辨率的全景图像一起进行视频压缩、传输。同时，视频服务模块还分析来自于事件检测模块的事件数据，根据不同的参数配置控制外部设备实现不同情况下各种智能告警和智能处理。

智能监控平台接收监控现场全景监控设备传送来的事件数据和视频数据，实现对多路远端数据的显示、存储、回放和检索，并根据用户需求，向不同的监控终端发送告警信息，通知用户做进一步的处理。

下面介绍按照本发明的全景监控设备的各种功能及应用。

1、运动目标识别和分类

本发明的全景监控设备能够智能地识别不同目标的性质和类别。检测并提取目标的基础数据信息后，事件检测模块对目标进行类型识别，准确区分人、车、动物等。

运动目标识别和分类可应用于人脸识别领域。检测识别出人体后，获取人体头部照片，并根据生物特征判断其是否是人脸的正面照片，如果是，则自动与预先定义的检测目标的脸部模板进行比对，从而识别出其身份。

运动目标识别和分类也可应用于车辆牌照识别领域：识别出目标是车辆后，自动判断车辆类型，并识别车辆牌照号码。

2、运动目标警戒

本发明的智能视频监控系统提供一个图形用户界面(GUI)，用户可以在本地监控终端或远程监控终端上通过鼠标、键盘等对安全警戒区的范围、目标的类型(如：人、车、动物等)、目标运动方向、目标运动速度等警戒条件进行组合设定。智能视频监控系统检测视频画面中出现的目标，仅在有符合警戒条件的事件发生时才发出告警。

结合运动目标的识别和分类，运动目标警戒可用于实现基于人类身份或车辆类型、牌照号码的门禁或警戒功能，还可应用非定点停车检测、车辆行驶路线界定等领域。

3、运动目标跟踪

全景监控设备不间断地监测视频图像，检测出符合预先定义的特性的目标时，事件检测模块确定目标的位置、大小，在智能视频监控系统的本地监控终端或远程监控终端上以提示框的形式锁定目标，并提取目标的运动轨迹，在本地监控终端或远程监控终端上以曲线的形式显示。

当视频画面中出现多个符合条件的目标时，智能视频监控系统自动保持包含全部目标的跟踪画面，并显示每个目标的运动轨迹。

运动目标跟踪既可应用于边界线、海关、仓库、军事禁区、使馆、内保单位等大范围警戒区域的保护，也可应用于道路、广场、车站、码头、机场等人群密集、画面复杂的公共场所的监视。

4、PTZ跟踪

全景监控设备提供了外部控制接口RS-485，可以连接摇杆等外部控制设备。用户使用普通PTZ相机云台控制方法操纵摇杆，全景监控设备分析摇杆动作，控制全景图像显示方式，如持续对焦并跟踪运动目标，调整镜头焦距，获取目标近景、远景的图像，实现虚拟PTZ控制。

全景监控设备中的视频服务模块根据智能分析结果可自动同时实现多目标的虚拟PTZ跟踪，获得目标高分辨率细节影像。

5、目标行为检测

智能视频监控系统利用事件检测模块提取的目标基础数据信息，可以实现目标行为分析。如检测目标为人时，智能视频监控系统利用目标的位置，大小等信息可实现倒地检测，利用目标的轨迹、速度等信息可实现徘徊检测；检测目标为车时，智能视频监控系统利用运动方向等信息可实现车辆逆行检测。

6、商业智能化应用

商业智能化应用包括队伍长度检测，消费者行为跟踪，流量检测、拥挤检测等，这些智能分析结果可以帮助商家实现商品的最优化配置。

商业智能化应用还包括建筑物管理，例如在没人时自动调整照明、供暖、空调系统等。

7、物品检测

物品检测有两种主要的应用方式，一是被盗物检测，一种是遗留物检测。

被盗物检测时需要用户通过视频监控系统的本地监控终端或远程监控终端预先将静止监测物品的警戒区域、被移走时长和符合条件告警事件发生之前的保存录像时长设置给全景监控设备。智能视频监控系统将对符合设置条件的事件自动告警并自动保存事件完整过程的录像，并通过提示框显示被移动的静物原来的位置。静物检测适用于珠宝、文物、展品等的自动监控。

遗留物检测时需要用户通过本地监控终端或远程监控终端将禁止放置物品的区域、物品大小、停放时长和符合告警条件事件发生之前的保存录像时长设置给全景监控设备的事件检测模块。智能视频监控系统将对符合设置条件的事件自动告警并保存事件完整过程的录像，并通过提示框显示遗留物品的位置。

8、自动烟火检测

智能视频监控系统根据目标颜色、时域变化、时域周期性、空间变化、区域扩展和时域持续性、增长性等信息，自动在视频场景内区分检测出火焰和烟雾，在显示画面上标明火焰和烟雾的位置，并根据事先指定的烟雾面积大小、火焰面积大小等门限值发出告警信息；智能视频监控系统也可以自动检测出监控画面中抽烟的动作。有火灾发生时，全景监控设备与其它火灾传感器联动，向消防喷淋系统发出联动信号，形成了全面、可靠的消防系统，可以有效地防止或减缓火势蔓延。自动烟火检测可满足室内防火、室外建筑防火、化学工厂或仓库、森林防火的应用需求。

9、现场警告

全景监控设备提供了音频输入输出接口，可以连接音频输入输出设备。有告警情况出现时，智能视频监控系统可以自动播放预先存储在全景监控设备中存储的警告声音，也可以通过本地监控终端或远程监控终端进行控制，播放本地监控终端或远程监控终端中统一存储的警告声音，或者进行全景监控设备与本地监控终端或远程监控终端之间的语音对讲。这样可以警告监控目标立即停止行动，以阻止“事件”的发生。

10、本地监控终端或远程监控终端的视频显示、存储、回放和检索功能

本地监控终端或远程监控终端接收全景监控设备传送来的信息，实现终端显示和存储，除视频数据外，本地监控终端或远程监控终端还显示出全景监控设备的智能分析处理结果，如叠加运动目标位置提示框、运动轨迹曲线、烟火位置提示框等。另外用户还可以回放视频信息，反复观看。本地监控终端或远程监控终端将每次全景监控设备传送来的告警信息存储在数据库中，用户可以在需要时或按时间，或按事件类型，或按监控现场对这些信息进行检索。

11、应用环境管理

全景监控设备可以自动实现工作条件检测与告警。全景监控设备完整性自检可以防止伪造监控视频信号、图像对比度过低、视频信号强度过弱、摄像镜头被遮盖、丢失视频信号、云台失控、镜头焦长失控等情况的发生。全景监控设备10故障自检防止设备无响应、CPU负荷过高、设备温度过高、部分电路失控等情况的发生。视频服务模块自检时检测通信质量是否符合最低工作要求。

全景监控设备还可以自动实现监测场景自适应与告警。全景监控设备适合阳光下的高亮度环境和夜间的低光照度环境的视频监控，适合红外照明的视频监控，能够排除各种气候干扰因素的影响，可靠地提供24小时全天、全气候的视频监控服务。

12、系统自身管理

可以对全景监控设备进行在线远程升级，对各构件进行在线远程配置，而且其监控对象可以进行远程装载。

每个全景监控设备都支持服务质量(QoS)控制，能够动态地监测数据传输网络性能，并优化调整视频、语音数据流，能够动态适应数据网络的传输质量，提供最佳的监视视频传输效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (26)

1.一种全景监控设备，包括：

全景镜头；

成像组件，所述全景镜头和成像组件相结合，用于得到监控现场的全景视频信息；

事件检测模块，用于对所述全景视频信息进行智能图像分析，并根据得到的智能分析结果判断是否有符合预先设定的告警条件的事件发生，并生成事件检测报告；

视频服务模块，用于利用所述智能分析结果在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现方位、高低、变焦三个方向对多目标的虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作，进一步提供一种多高分辨率目标图像复用的压缩、传输机制；和

接口模块，用于提供全景监控设备与外部设备连接的全部接口。

2.根据权利要求1所述的设备，其特征在于，所述全景镜头为：多镜头模式的全景镜头，或反射式全景镜头，或折射式全景镜头。

3.根据权利要求1所述的设备，其特征在于，所述成像组件为：CCD成像组件，或CMOS成像组件。

4.根据权利要求1所述的设备，其特征在于，所述事件检测模块包括：视频采集模块，用于接收所述全景视频信息；

视频展开/拼接模块，用于通过坐标变化和插值处理对圆形全方位图像进行展开；

降分辨率模块，用于降低全景展开图像的分辨率；

智能图像分析模块，用于在降分辨率的全景展开图像中进行运动目标检测、跟踪、分类和行为分析，提取目标基础数据信息，并应用这些信息分析目标运动的空间特性和时间特性；和

事件生成模块，用于根据展开的全景视频信息判断是否有符合预先设定告警条件的事件发生，在有告警事件发生时，生成事件检测报告。

5.根据权利要求4所述的设备，其特征在于，所述事件检测模块进一步用于向所述视频服务模块提供高分辨率全景展开图像以及降分辨率的全景展开图像。

6.根据权利要求5所述的设备，其特征在于，所述视频服务模块包括：

高分辨率图像保存模块，用于存储高分辨率全景展开图像；

高分辨率目标图像提取模块，用于根据事件检测模块的智能分析处理结果从全景展开图像中提取目标的高分辨率细节影像；

图像复用模块，用于将高分辨率目标图像进行复用；

视频压缩模块，用于对复用后的高分辨目标图像以及降分辨率的全景展开图像进行视频压缩；和

流媒体传输模块，用于根据网络状况，以相应的传输帧率和码率通过网络接口向远程监控中心传送前端监控数据。

7.根据权利要求1所述的设备，其特征在于，所述视频服务模块包括：

视频采集模块，用于接收所述全景视频信息；

视频展开/拼接模块，用于通过坐标变化和插值处理对圆形全方位图像进行展开；

高分辨率图像保存模块，用于存储高分辨率全景展开图像；

高分辨率目标图像提取模块，用于根据事件检测模块的智能分析处理结果从全景展开图像中提取目标的高分辨率细节影像；

图像复用模块，用于将高分辨率目标图像进行复用；

视频压缩模块，用于对复用后的高分辨目标图像以及降分辨率的全景展开图像进行视频压缩；

流媒体传输模块，用于根据网络状况，以相应的传输帧率和码率通过网络接口向远程监控中心传送前端监控数据。

8.根据权利要求7所述的设备，其特征在于，所述视频服务模块进一步包括：降分辨率模块，用于降低全景展开图像的分辨率。

9.根据权利要求1至8任一所述的设备，其特征在于，所述事件检测模块进一步用于向所述视频服务模块提供事件数据。

10.根据权利要求1至8任一所述的设备，其特征在于，所述事件检测模块进一步用于提供目标的基础数据信息；进一步提供目标运动的预测信息。

11.根据权利要求4或7所述的设备，其特征在于，所述视频展开/拼接模块包括：

坐标系变换模块，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；

形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；

坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；和

像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

12.一种全景监控装置中的全景监控方法，该全景监控装置包括全景镜头、成像组件、事件检测模块、视频服务模块和接口模块，该方法包括：

通过全景镜头和成像组件相结合来获取监控现场的全景视频信息；

由时间检测模块对所述全景视频信息进行智能分析得到智能分析结果，根据智能分析结果判断是否有符合预先设定告警条件的事件发生，并生成事件检测报告；和

由视频服务模块利用所述智能分析结果在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像，实现方位、高低、变焦三个方向对多目标的虚拟PTZ跟踪，并根据联动预案控制外部设备产生各种联动动作，并进一步实现多高分辨率目标图像复用的压缩、传输机制。

13.根据权利要求12所述的方法，其特征在于，所述进行智能分析，包括：通过坐标变化和插值处理对圆形全方位图像进行展开。

14.根据权利要求12所述的方法，其特征在于，所述进行智能分析，包括：降低全景展开图像的分辨率。

15.根据权利要求12所述的方法，其特征在于，所述进行智能分析，包括：检测当前帧中与背景模型不相符的像素，将所述像素连贯起来后，提取出当前帧的前景目标。

16.根据权利要求15所述的方法，其特征在于，所述进行智能分析，进一步包括：通过建立帧与帧之间的对应关系，然后进行相似性比较或模板匹配实现目标跟踪。

17.根据权利要求12所述的方法，其特征在于，所述进行智能分析，进一步包括：提供目标的基础数据信息；进一步提供目标运动的预测信息。

18.根据权利要求12所述的方法，其特征在于，所述利用所述智能分析结果进行操作，包括：在高分辨率全景图像中聚焦每个检测到的目标，获取目标的高清晰细节图像；

将高分辨率目标图像复用，在一副图像中有序排列检测到的多个目标图像。

19.根据权利要求13所述的方法，其特征在于，所述通过坐标变化和插值处理对圆形全方位图像进行展开，包括：

A、建立以全景图像中心为原点的新坐标系，计算全景图像中每个像素点在新坐标系中的坐标；

B、确定展开图像的形状特性，以及全景图像与展开图像之间的坐标对应关系；

C、根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标；

D、根据计算出的所述坐标，对全景图像中像素点的像素值进行非线性插值计算，得到对应展开图像中每个像素点的像素值。

20.根据权利要求19所述的方法，其特征在于，所述步骤A与步骤B之间进一步包括：在全景图像中去掉一个以原点为中心的同心圆。

21.根据权利要求19所述的方法，其特征在于，所述展开图像为矩形展开图像时，所述步骤B为：确定矩形展开图像的高度和宽度。

22.根据权利要求19所述的方法，其特征在于，步骤c中所述坐标对应关系为：

其中，ρ为全景图像中的像素点与坐标原点的距离，θ为全景图像中像素点与坐标轴的夹角，x为展开图像中像素点的横坐标，y为展开图像中像素点的纵坐标，r2为所述同心圆的半径，r1为全景图像的半径，π为圆周率。

23.根据权利要求19所述的方法，其特征在于，所述步骤A为：将全景图像的半径设置为1，计算全景图像中每个像素点在单位圆全景图像中的坐标。

24.根据权利要求23所述的方法，其特征在于，所述步骤B为：计算展开图像中每一像素点与原点的距离、与坐标轴的夹角以及与原点连线上的像素点的最大拉伸比例。

25.根据权利要求24所述的方法，其特征在于，步骤C中所述坐标对应关系为：

r′＝r/R_max，θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例R_max＝1/cosθ。

26.根据权利要求25所述的方法，其特征在于，步骤C中所述坐标对应关系为：

$r^{\′}=\frac{r}{(R_{\max }-1)\×{(r/R_{\max })}^2+1},{\mathrm{\θ}}^{\′}=\mathrm{\θ}$

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

Images