CN101123722B - 全景视频智能监控方法和系统 - Google Patents

Abstract

本发明公开了一种全景视频智能监控方法，包括：A、获取现场全景图像，并展开；B、在全景展开图像中对运动目标进行智能分析。本发明还同时公开了一种全景视频智能监控系统、一种对全景图像进行智能分析处理的设备、一种对全景图像进行展开的方法和装置，利用这些方法、系统、设备和装置，可以减少安装成本，自动区分画面中出现的“异常”，并实施运动目标检测、跟踪、分类和行为分析，实现智能告警，有效地阻止事件发生，节省人力和物力。

Description

全景视频智能监控方法和系统

技术领域

本发明涉及视频监控技术，特别涉及全景视频智能监控方法和系统。

背景技术

常规视频监控系统的视频采集模块大多是由视频摄像机和镜头组成，因为成像装置的大小有限，而且由于接收入射光时镜头周围的阻挡，镜头只具有一个圆锥区域的小视野，而不是一个半球，因此并不能够获得场景的全部信息，实现360°全景不间断监控。为实现全景监控，必须通过安装多路摄像机来达到监控区域的全部覆盖，不但摄像机成本和摄像机安装成本大大增加，存储、显示等设备的成本也随着摄像机路数的增加而大幅增加。

为了实现全景监控，还可以使用旋转成像系统。旋转成像系统获取全景图像的方法是绕投影中心旋转成像装置，获取场景各个方向的图像，然后将这些图像拼接成场景的全景图像。这种方法的缺点是成像装置需要进行旋转运动的活动部件，系统难以准确定位；同时，为获得全景图像，成像装置必须得旋转一周，花费的时间较长；另外，图像拼接的方法一般都非常复杂，而且耗时；更重要的是，旋转成像系统每一时刻也只能观察一个方向，无法同时获得大面积全方位监控效果，可能由于成像装置观察其它方向而错过另一方向上发生的事件，使得监控系统的可靠性大大降低。

基于以上原因，已经开始出现使用广角摄像头等获取全景图像的视频监控系统，但是，由于所述视频监控系统所提供的全景图像为场景360°的完整影像，并不是通常意义上的平面图像，而是圆形或环形的图像，且没有明确的边角；人最大的水平视角是180°到200°，而全景相机的视角是360°，可以同时显示出前方和后方的图像。因此，人很难理解场景布局，以及图像中各类型目标之间的空间位置关系，也无法获得场景中高清晰的细节信息。

再有，目前常规的视频监控系统仅是将监控场景图像通过数字视频服务器(DVS)传送到监控室，由人来完成对监控场景中出现“异常”的判断，或通过数字硬盘录像机(DVR)完成视频存储以实现事后的查看和取证。这些监控系统并不具备“智能监控”功能，不能根据所观察对象的行为特征自动区分画面中出现的“异常”，实施目标检测、跟踪、分类和行为分析，智能告警，有效地阻止事件发生。另外，“被动存储，事后取证”的方法需要占用大量的存储空间，而且还耗费大量的人力、物力。

发明内容

有鉴于此，本发明的主要目的在于提供一种全景视频智能监控的方法和系统，其可以得到全景图像，减少了安装成本；进一步，根据智能分析结果自动区分画面中出现的“异常”，实施目标检测、跟踪、分类和行为分析，实现自动告警，有效地阻止事件发生，节省了人力和物力。

本发明的另一目的在于提供一种对于全景图像进行智能分析处理的设备，所述设备自动区分画面中出现的“异常”，实施目标检测、跟踪、分类和行为分析，实现自动告警，有效地阻止事件发生，节省了人力和物力。

本发明的目的还在于提供一种对全景图像进行展开的方法和装置，使得图像中的场景信息更加直观，场景布局更加明显，方便用户理解场景布局。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种全景视频智能监控方法，该方法包括：

A、获取现场全景图像；

B、展开全景图像，在全景展开图像中对运动目标进行智能分析。

其中，步骤B中所述展开全景图像为：

B1、建立以全景图像中心为原点的新坐标系，计算全景图像中每个像素点在新坐标系中的坐标；

B2、确定展开图像的形状特性，以及全景图像与展开图像之间的坐标对应关系；

B3、根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标；

B4、根据计算出的所述坐标，对全景图像中像素点的像素值进行非线性插值计算，得到对应展开图像中每个像素点的像素值。

在所述步骤B1和B2之间进一步包括：

B11、在全景图像中去掉一个以原点为圆心的同心圆。

所述展开图像为矩形展开图像时，所述步骤B2为：确定矩形展开图像的高度和宽度。

步骤B3中所述坐标对应关系为：

ρ＝r2+y，

其中，ρ为全景图像中的像素点与坐标原点的距离，θ为全景图像中像素点与坐标轴的夹角，x为展开图像中像素点的横坐标，y为展开图像中像素点的纵坐标，r2为所述同心圆的半径，r1为全景图像的半径，π为圆周率。

其中，所述步骤B1为：

将全景图像的半径设置为1，计算全景图像中每个像素点在单位圆全景图像中的坐标。

所述步骤B2为：

计算展开图像中每一像素点与原点的距离、与坐标轴的夹角以及与原点连线上的像素点的最大拉伸比例。

步骤B3中所述坐标对应关系为：

r′＝r/R_max，θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

或者，步骤B3中所述坐标对应关系为：

$r^{\′}=\frac{r}{(R_{\max }-1)\×(r/R_{\max })\×(r/R_{\max })+1},$ θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

步骤B中所述在全景展开图像中对运动目标进行智能分析为：

对运动目标进行检测、跟踪、类型识别以及行为分析。

步骤B之后进一步包括：

C、确定告警处理的执行，并执行告警处理。

步骤C中所述告警处理为：

控制外部设备做出相应告警处理；或者，

向本地监控终端发送智能分析结果和现场视频信息、以及告警信息；或者，

向智能监控平台发送智能分析结果和现场视频信息、以及告警信息；

或者以上任意的组合。

步骤C后进一步包括：

D、本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，对用户指定区域进行放大显示；和/或，

本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，将检测到的运动目标及其运动轨迹进行标识；和，

智能监控平台存储接收到的智能分析结果和现场视频信息、以及告警信息，并对现场视频信息进行显示、存储、回放和检索。

步骤D后进一步包括：

E、所述智能监控平台向远程监控终端发送智能分析结果和现场视频信息、以及告警信息，并同时控制现场监控设备联动告警。

步骤D与E之间进一步包括：

E0、远程监控终端向智能监控平台请求发送智能分析结果和现场视频信息、以及告警信息。

步骤E之后进一步包括：

F、远程监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，对用户指定区域进行放大显示；和/或，

本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，在全景展开图像上将检测到的运动目标及其运动轨迹进行标识。

所述进行标识为：将检测到的运动目标用矩形框框起来，并将运动目标的运动轨迹用一条曲线表示；或者，勾勒出检测到的烟雾的所在区域，以及扩散形状。

组成所述曲线的点为检测到的运动目标在前面帧中的质心位置。

本发明同时提供了一种全景视频智能监控系统，该系统包括前端全景成像设备、智能分析处理设备以及智能监控平台，其中，

前端全景成像设备，用于获取现场视频信息，对场景进行360°无盲点监测，并将现场视频信息发送给智能分析处理设备；

智能分析处理设备，用于对所述现场视频信息进行智能分析和处理，并将智能分析处理结果和现场视频信息、以及告警信息发送给智能监控平台以及本地监控终端，同时控制外部设备进行告警；

智能监控平台，用于处理所述智能分析处理结果和现场视频信息、以及告警信息，对所述现场视频信息进行显示、存储、回放和检索；还用于对本地端的前端全景成像设备以及智能分析处理设备进行配置和维护；还用于根据客户需求，将所述告警信息及现场视频信息传输给远程监控终端；还用于控制现场监控设备进行联动告警。

其中，该系统进一步包括：

本地监控终端，用于接收智能分析处理设备传送的智能分析结果和现场视频信息、以及告警信息，并将告警信息通知用户；

远程监控终端，用于接收智能监控平台传送的智能分析结果和现场视频信息、以及告警信息，并将告警信息通知用户。

所述智能分析处理设备包括全景图像展开处理模块、运动目标检测模块、运动目标跟踪模块、运动目标分类模块、运动目标行为分析模块、外部设备控制模块以及数据通信模块，其中，

全景图像展开处理模块，用于对接收到的全景图像进行展开，得到全景展开图像；

运动目标检测模块，用于检测所述全景展开图像的当前帧与背景模型不相符的像素，并将其连贯起来后提取出当前帧的前景目标；

运动目标跟踪模块，用于对运动目标检测模块提取出的所述前景目标进行跟踪；

运动目标分类模块，用于对运动目标跟踪模块中的跟踪目标进行类型识别；

运动目标行为分析模块，综合利用运动目标检测模块、运动目标跟踪模块以及运动目标分类模块中获得的信息，分析目标行为特性，判断是否有符合告警条件存储器中存储的“事件”发生；如果有符合告警条件的“事件”，则进入外部设备控制模块和数据通信模块，如果没有，则进入全景图像展开处理模块；

外部设备控制模块，用于控制外部设备进行相应告警处理；

数据通信模块，用于向本地监控终端和智能监控平台发送智能分析处理结果和现场视频信息、以及告警信息。

所述全景图像展开处理模块包括坐标系变换模块、形状特性确定模块、坐标计算模块以及像素值计算模块，其中，

坐标系变换模块，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；

形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；

坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；

像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

所述智能监控平台，进一步包括：

数据存储单元，用于存储所述智能分析处理结果和现场视频信息、以及告警信息。

所述本地监控终端和远程监控终端进一步包括：

虚拟云台控制模块，用于对用户指定区域进行放大显示；和/或，

检测事件表示模块，用于根据所接收到的智能分析结果和现场视频信息、以及告警信息，将检测到的运动目标及其运动轨迹进行标识。

本发明同时提供了一种对全景图像进行智能分析处理的设备，该设备包括全景图像展开处理模块、运动目标检测模块、运动目标跟踪模块、运动目标分类模块、运动目标行为分析模块、外部设备控制模块以及数据通信模块，其中，

全景图像展开处理模块，用于对接收到的全景图像进行展开；

运动目标检测模块，用于检测全景展开图像的当前帧与背景模型不相符的像素，并将其连贯起来后提取出当前帧的前景目标；

运动目标跟踪模块，用于对运动目标检测模块提取出的所述前景目标进行跟踪；

运动目标分类模块，用于对运动目标跟踪模块中的跟踪目标进行类型识别；

运动目标行为分析模块，综合利用运动目标检测模块、运动目标跟踪模块以及运动目标分类模块中获得的信息，分析目标行为特性，判断是否有符合告警条件存储器中存储的“事件”发生；如果有符合告警条件的“事件”，则进入外部设备控制模块和数据通信模块，如果没有，则进入全景图像展开处理模块；

外部设备控制模块，用于控制外部设备进行相应告警处理；

数据通信模块，用于向本地监控终端和智能监控平台发送智能分析结果和现场视频信息、以及告警信息。

所述全景图像展开处理模块进一步包括：

坐标系变换模块，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；

形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；

坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；

像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

本发明同时提供了一种对全景图像进行展开的方法，该方法包括：

1)建立以全景图像中心为原点的新坐标系，计算全景图像中每个像素点在新坐标系中的坐标；

2)确定展开图像的形状特性，以及全景图像与展开图像之间的坐标对应关系；

3)根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中像素点的坐标；

4)根据计算出的所述坐标，对全景图像中像素点的像素值进行非线性插值计算，得到对应展开图像中每个像素点的像素值。

其中在所述步骤1)和2)之间进一步包括：

11)在全景图像中去掉一个以原点为中心的同心圆。

所述展开图像为矩形展开图像时，所述步骤2)为：确定矩形展开图像的高度和宽度。

步骤3)中所述坐标对应关系为：

ρ＝r2+y，

其中，ρ为全景图像中的像素点与坐标原点的距离，θ为全景图像中像素点与坐标轴的夹角，x为展开图像中像素点的横坐标，y为展开图像中像素点的纵坐标，r2为所述同心圆的半径，r1为全景图像的半径，π为圆周率。

所述步骤1)为：

将全景图像的半径设置为1，计算全景图像中每个像素点在单位圆全景图像中的坐标。

所述步骤2)为：

计算展开图像中每一像素点与原点的距离、与坐标轴的夹角以及与原点连线上的像素点的最大拉伸比例。

步骤3)中所述坐标对应关系为：

r′＝r/R_max，θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

或者，步骤3)中所述坐标对应关系为：

$r^{\′}=\frac{r}{(R_{\max }-1)\×{(r/R_{\max })}^2+1},$ θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ。

本发明还提供了一种对全景图像进行展开的装置，该装置包括坐标系变换模块、形状特性确定模块、坐标计算模块以及像素值计算模块，其中，

坐标系变换模块，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；

形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；

坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；

像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

本发明所提供的全景视频智能监控方法和系统，具有如下优点和特点：

1)由前端全景成像设备得到全景视频图像，实现了连续监控360°全景空间，不会漏掉或错过任何突发事件，实现了无盲点、无死角监控；无需安装多台普通的闭路电视监控系统(CCTV)摄像机，无需图像拼接就可以得到全景图像，提高了时效性，节省了硬件投资；前端全景成像设备将一个半球视野中的信息压缩成一副图像，降低了对显示和存储设备的要求。

2)对于全景图像进行多种模式展开的方法和装置，使得图像中的场景信息相较全景图像更加直观，场景布局更加明显，方便用户理解场景布局，使用户不仅能辨别图像中的方向，且更容易理解全景图像中各目标之间的关系。

3)智能分析处理设备自动对目标进行检测、跟踪、分类和行为分析，判断是否有符合告警条件的“事件”发生，如果有符合告警条件的“事件”发生，则自动告警，克服了现有技术中由用户对监控场景异常进行判断的缺点，节省了人力的同时，能够有效地阻止事件的发生。

4)经过智能分析处理设备的智能分析，在事发前早期预警，自动进行现场场景的录像及保存，克服了现有技术中“被动存储，事后取证”需要占用大量存储空间、耗费人力和物力的缺点，减少了视频占用空间，节省了系统成本，同时节省了大量的人力和物力。

5)本地监控终端及远程监控终端中的虚拟云台控制(虚拟PTZ)功能，不需要任何活动的机械部件，即可对单个目标放大，查看高清晰的细节图像，真正同时解决了“看得全”和“看得清”相互矛盾的难题。

6)本地监控终端及远程监控终端中对检测到的运动目标用矩形框框起来，并使用曲线表示其运动轨迹，对于检测到的烟雾等，还可以勾勒出其所在区域，以及扩散形状等，使得用户对于异常事件的发现及观察更加容易。

附图说明

图1为本发明中全景视频智能监控系统结构示意图；

图2为本发明中全景视频智能监控方法流程示意图；

图3为本发明中全景图像智能分析处理设备结构示意图；

图4为本发明中全景图像智能分析处理方法流程示意图；

图5为本发明中全景图像360°展开方法原理示意图；

图6为本发明中全景图像360°展开方法流程示意图；

图7为本发明中全景图像立方展开方法原理示意图；

图8为本发明中全景图像立方展开方法流程示意图；

图9为本发明中对全景图像进行展开的装置结构示意图。

具体实施方式

本发明的核心思想是：首先运用前端全景成像设备进行现场视频信息的获取，从而得到全景图像；之后对全景图像进行展开，并对全景展开图像进行智能分析，如运动目标的检测、跟踪、分类和行为分析等，判断是否有符合预先设定的告警条件中的“事件”发生；如有符合条件的“事件”发生，则执行告警处理，如没有则继续对前端全景成像设备传来的全景图像进行展开及智能分析。

下面结合具体实施例和附图进一步详细说明。

实施例1：

图1所示为全景视频智能监控系统结构示意图，包括：

前端全景成像设备10，用于获取现场的全景视频信息，对场景进行360°无盲点监测。前端全景成像设备10将所获取的现场全景视频信息传送给智能分析处理设备20。

智能分析处理设备20，用于对从前端全景成像设备10传来的现场视频信息进行智能分析和处理，检测到告警事件后，生成告警信息，并将编码后的现场视频信息，与所述智能分析处理结果和告警信息一起发送给智能监控平台50以及本地监控终端40，同时控制外部设备30进行告警。

本地监控终端40，用于接收从智能分析处理设备20传送来的编码的现场视频信息，以及智能分析处理结果和告警信息，并将告警信息通知用户。

外部设备30，在实际应用中，外部设备30可以根据不同的需要进行不同的配置，可以包括：各类型常规传感器，用于采集现场的其它各类信息，比如温度、湿度、大气压力等，并将采集到的信息传送给智能分析处理设备20，作为判断告警事件是否产生的辅助信息；防侵入探测传感器，如周界保护中常用的红外传感器、静电传感器以及门磁等传感器等，将感应到的外部信息传送给智能分析处理设备20，作为判断告警事件是否产生的辅助信息；外部告警设备，包括例如报警灯、扬声器、消防喷淋设备等，当智能分析处理设备20产生告警信息时，由智能分析处理设备20控制所述外部告警设备进行联动告警；声音录入和输出设备，用于实现音频广播或监控终端和监控现场之间的语音对话。可见，外部设备不仅可以作为告警设备进行联动告警，其中的各类型常规传感器、防侵入探测传感器以及声音录入和输出设备等还可以作为信息采集设备，向智能分析处理设备20提供现场辅助信息。

智能监控平台50，用于处理智能分析处理设备20传来的编码的现场视频信息，以及智能分析处理结果和告警信息，对从智能分析处理设备20传来的数据进行显示、存储、回放和检索；还用于对前端全景成像设备10以及智能分析处理设备20进行配置和维护；还用于根据客户需求，将智能分析处理设备20发送来的编码的现场视频信息，以及智能分析处理结果和告警信息传输给远程监控终端60；还用于控制现场监控设备进行联动告警；智能监控平台50包括一数据存储单元(图中未示出)，用于存储智能分析处理设备20发送来的智能分析处理结果、现场视频信息以及告警信息等数据。

其中，智能监控平台50向远程监控终端60发送的数据，可以由智能监控平台50自主发送，也可以由远程监控终端60向智能监控平台50请求发送。

远程监控终端60：用于接收从智能监控平台50传送来的编码的现场视频信息，以及智能分析处理结果和告警信息，并将告警信息通知用户。

同时，在本地监控终端40和远程监控终端60中，还具有：

PTZ功能模块(图中未示出)，用于对用户指定区域进行放大显示；和/或

检测事件表示模块(图中未示出)，用于根据所接收到的编码的现场视频信息，以及智能分析处理结果和告警信息，将检测到的运动目标及其运动轨迹进行标识，向用户突出显示。

结合图1，全景视频智能监控方法流程示意图如图2所示，具体流程如下：

步骤201：由前端全景成像设备10获取现场的全景视频信息，得到现场全景图像，并发送到智能分析处理设备20中进行处理。

步骤202～步骤204：智能分析处理设备20接收到全景图像后，通过对全景图像的智能分析，对运动目标进行检测、跟踪、分类和行为分析，判断是否有符合预先设定告警条件的“事件”发生，如果有告警，则控制外部设备30作出相应告警处理，并将编码的现场视频信息，以及智能分析处理结果和告警信息一起传送给本地监控终端40，还通过网络接口70传送给智能监控平台50；如果没有告警则继续执行步骤202，对前端全景成像设备10发送来的全景图像进行智能分析处理。

本地监控终端40在接收到智能分析处理结果和现场视频信息、以及告警信息后，可以根据所接收到的信息，对用户指定区域进行放大显示，还可以将检测到的运动目标以及运动轨迹进行标识。所述标识的处理过程具体为：检测事件表示模块根据传送来的智能分析处理结果(包括目标位置、轨迹等信息)将具体标识叠加到全景展开图像上。例如，如果检测到运动目标则用矩形框把运动目标框起来，这个运动目标可能是人、车等，如果运动目标是烟雾的话，也可以勾勒出烟雾所在区域，及其扩散形状等。在跟踪中还会将运动目标的运动轨迹用一条曲线表示，曲线上的每个点都是运动目标在前面帧中的质心位置。

步骤205～步骤206：智能监控平台50根据接收到的来自智能分析处理设备20的编码的现场视频信息，以及智能分析处理结果和告警信息，将接收到的数据进行存储，并传送编码的现场视频信息，以及智能分析处理结果和告警信息给远程监控终端60，同时发出命令控制现场监控设备实现联动告警。

其中，在步骤205中，智能监控平台50还可以由用户控制，根据所存储的数据，对现场视频信息进行显示、存储、回放和检索；再有，智能监控平台50向远程监控终端60传送上述信息，可以由智能监控平台50自动传送，也可以由远程监控终端60向智能监控平台50进行请求，然后再由智能监控平台50传送给远程监控终端60。

实施例2：

对全景图像进行智能分析处理的设备，包括如图3所示的模块：

全景图像展开处理模块310：用于对从前端全景成像设备10传来的现场全景图像进行展开，并传送全景展开图像到运动目标检测模块320；

运动目标检测模块320：用于当全景图像展开处理模块310传送来的全景展开图像发生变化时进行目标检测，提取出当前帧的前景目标；

运动目标跟踪模块330：用于对运动目标检测模块320检测出的运动目标进行跟踪；

运动目标分类模块340：用于对所述运动目标进行类型识别；

其中，所述类型识别是根据检测到的运动目标的位置、大小、颜色等基础数据信息进行的，从而确定运动目标为人、车、动物等类型。

运动目标行为分析模块350：综合利用目标检测、跟踪、分类中获得的信息，分析目标行为特性，判断是否有符合保存在智能分析处理设备存储器中的预先设定的告警条件的“事件”发生。如果有符合告警条件的“事件”，则向外部设备控制模块360发送告警信息，并将编码的现场视频信息，与智能分析处理结果和告警信息一起发送给数据通信模块370，如果没有，则进入全景图像展开处理模块310；

外部设备控制模块360：用于根据运动目标行为分析模块发送来的告警信息，控制外部设备进行相应告警处理；

数据通信模块370：用于发送编码的现场视频信息，以及智能分析处理结果和告警信息。

以上所述的智能分析处理设备可以用于实施例1所述的全景视频智能监控系统中，同时，在不同的实际应用环境中，智能分析处理设备20的具体实现方式还可以有以下三种：

嵌入式视频处理器：将智能分析处理设备集成在视频采集前端，用于全景视频信号的实时采集和智能化分析、处理。

智能图像处理器：构造独立的全景图像智能分析处理设备，与全景相机等前端全景成像设备配合工作，完成所有图像智能分析和处理功能。

多路全景视频处理器：使用在监控中心，将智能分析处理设备的智能化视频处理技术应用于智能监控平台服务器，用于处理多路监控现场全景相机等成像设备的视频输入和各类型外部设备告警输入。

如图4所示为当全景图像进入智能分析处理设备时，智能分析处理设备对其进行智能分析处理的流程图，步骤如下：

步骤401：对接收到的全景图像进行展开处理，可以根据需要选择360°展开、2×180°展开、4×90°展开或者立方展开。

步骤402：运动目标检测，即检测当前帧中与背景模型不相符的像素，将所述像素连贯起来提取出当前帧的前景目标。目标检测是通过例如高斯混合模型方法、帧差法以及动态自适应背景差法等算法实现的。其中的背景模型为所监控的现场正常时，得到的全景展开图像。

步骤403：在检测出运动目标后，通过例如Kalman滤波法、标准的帧到帧跟踪算法等对运动目标进行跟踪，即通过建立帧与帧之间的对应关系，进行相似性比较或模板匹配。

步骤404：利用支持向量机、线性分类器等方法对被跟踪的运动目标进行类型识别。例如，识别出运动目标为人、车、动物等。

步骤405：综合利用步骤402、403、404中获得的信息，分析目标行为特性，判断是否有符合保存在智能分析处理设备存储器中的预先设定的告警条件的“事件”发生。

其中，告警条件以及告警条件的设定根据实际应用的不同，有不同的方法和内容，比如在入侵检测中，用户可以通过图形界面指定一个警戒区域、或指定绊线等，有目标进入该区域、或通过该绊线则报警。

在实际应用中，根据应用的不同，行为分析的内容也不尽相同，如在徘徊检测情况下，主要是分析目标的位置和运动轨迹，而在遗留物检测的情况下，主要是分析目标的大小、形状和停放时长。

同时，在具体的实际应用环境中，分析是否有告警事件发生时，还可以参考外部设备向智能分析处理设备所提供的现场辅助信息，例如外部设备中的各类型常规传感器、以及防侵入探测传感器所采集到的如温度、湿度等信息。

步骤406：有符合告警条件的“事件”发生，则控制外部设备作出相应的告警处理，同时发送编码的现场视频信息，以及智能分析处理结果和告警信息。

在实际应用中，根据视频监控系统的组成和结构不同，所述步骤406中的控制外部设备进行告警处理的内容，以及发送编码的现场视频信息，以及智能分析处理结果和告警信息的对象也有所不同，例如外部设备可以包括：各类型常规传感器，用于采集现场的其它各类信息，比如温度、湿度、大气压力等，并将采集到的信息传送给智能分析处理设备，作为判断告警事件是否产生的辅助信息；防侵入探测传感器，如周界保护中常用的红外传感器、静电传感器以及门磁等传感器等，将感应到的外部信息传送给智能分析处理设备，作为判断告警事件是否产生的辅助信息；外部告警设备，包括例如报警灯、扬声器、消防喷淋设备等，当智能分析处理设备产生告警信息时，由智能分析处理设备控制所述外部告警设备进行联动告警；声音录入和输出设备，用于实现音频广播或监控终端和监控现场之间的语音对话等等。向外发送的编码的现场视频信息，以及智能分析处理结果和告警信息可以发送给本地监控终端，或通过网络向远程的监控系统发送。

实施例3：

如图5所示为全景图像的360°展开原理示意图，图6为360°展开方法流程示意图，通过图5和图6对360°展开的具体流程描述如下：

步骤601：由于原始全景图像的原点在o处，所以首先通过坐标变换，将坐标的原点o转移到圆形全景图像的中心位置o′处，建立新的坐标系。对应图像中的每个像素点，坐标变换公式为x′＝x-w/2，y′＝y-h/2，其中x为全景图像中的像素点在原坐标系中的横坐标，x′为全景图像中的像素点在新坐标系中的横坐标，y为全景图像中的像素点在原坐标系中的纵坐标，y′为全景图像中的像素点在新坐标系中的纵坐标。

步骤602：确定展开图像的高度ht和宽度wt。由于全景图像为圆形，靠近图像中心位置的区域采样点样本空间较小，进行后续插值处理会产生较大的失真，所以在全景图像中去掉一个一定半径的同心圆，将圆形图像变为环形。则，展开图像的高度ht等于圆形全景图像半径r1减去去除的同心圆区域半径r2，即ht＝r1-r2，宽度wt等于剩余圆环区域的中心圆周c的周长，即wt＝π(r1+r2)。

步骤603：根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标。展开图像像素点直角坐标(x1，y1)与全景图像像素点极坐标(ρ，θ)之间的对应关系为：

ρ＝r2+y1，

步骤604：通过极坐标反变换确定展开图像中的点在原全景图像中对应的直角坐标。

步骤605：对全景图像中的像素点的像素值进行非线性插值计算，得到对应的展开图像中像素点的像素值。

以上为全景图像360°展开方法的具体流程图。对于2×180°以及4×90°展开，只是在360°展开得到矩形图像的基础上，对其进行等分处理，即，2等分得到2×180°展开的展开图像，4等分得到4×90°展开的展开图像。但是，由于全景图像为圆形，并没有分界线，所以在360°展开方法时，其矩形边界是任意确定的，即全景图像任意半径均可作为展开边界，其可以在实际应用中由人为设定，也可以由系统选择，从而得到最好的展开效果。

如图7所示为立方展开的展开原理示意图，图8所示为全景图像立方展开的方法流程示意图，结合图7和图8，对全景图像立方展开方法具体描述如下：

步骤801：建立以全景图像中心o为原点的新坐标系。

步骤802：设全景图像半径为1，将全景图像变化为单位圆，确定每个像素点在单位圆全景图像中的坐标。

步骤803：将全景图像以及对应的展开图像分为八个区域，对展开图像某一区域中的任一点p，设坐标为(x1，y1)，计算其与原点o的距离op，设为r，以及与坐标轴的夹角θ。

步骤804：计算点p与原点o连线上的点的最大拉伸比例，即点m沿拉伸到展开图像边缘点n的拉伸比例：R_max＝1/cosθ。

步骤805：确定展开图像点p在对应全景图像中的坐标。可以有两种方法，

a均匀拉伸点p对应全景图像中像素点p′的半径为r′＝r/R_max，坐标为(r′cosθ，r′sinθ)。

b加权拉伸 计算点p的加权参数：para＝r/R_max，则点p对应原全景图像中像素点p′的半径为：

$r^{\′}=\frac{r}{(R_{\max }-1)\×{\mathrm{para}}^2+1}.$

步骤806：对全景图像中的像素点的像素值进行非线性插值计算，得到对应的展开图像中像素点的像素值。

实施例4：

图9为本发明中对全景图像进行展开的装置，如图9所示，该装置包括坐标系变换模块910、形状特性确定模块920、坐标计算模块930以及像素值计算模块940，其中，

坐标系变换模块910，用于建立以全景图像中心为原点的新坐标系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块930；

形状特性确定模块920，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块930；

坐标计算模块930，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块940；

像素值计算模块940，用于根据坐标计算模块930得到的展开图像对应于全景图像的坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (4)

1.一种全景视频智能监控方法，其特征在于，该方法包括：

A、获取现场全景图像；

B、展开全景图像，在全景展开图像中对运动目标进行智能分析；

所述展开全景图像过程为：B1、建立以全景图像中心为原点的新坐标系，计算全景图像中每个像素点在新坐标系中的坐标；在全景图像中去掉一个以原点为圆心的同心圆；将全景图像的半径设置为1，计算全景图像中每个像素点在单位圆全景图像中的坐标；

B2、确定展开图像的形状特性，确定矩形展开图像的高度和宽度，以及全景图像与展开图像之间的坐标对应关系；计算展开图像中每一像素点与原点的距离、与坐标轴的夹角以及与原点连线上的像素点的最大拉伸比例

B3、根据坐标对应关系计算展开图像中每个像素点所对应的全景图像中的坐标；所述坐标对应关系为：

其中，ρ为全景图像中的像素点与坐标原点的距离，θ为全景图像中像素点与坐标轴的夹角，x为展开图像中像素点的横坐标，y为展开图像中像素点的纵坐标，r2为所述同心圆的半径，r1为全景图像的半径，π为圆周率；或

所述坐标对应关系为：

r′＝r/R_max，θ′＝θ

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ；或

所述坐标对应关系为： 

其中，r′为全景图像中像素点与原点的距离，θ′为全景图像中像素点与坐标轴的夹角，θ为展开图像中像素点与坐标轴的夹角，r为展开图像中像素点与原点的距离，R_max为展开图像中像素点与原点连线上的像素点的最大拉伸比例，R_max＝1/cosθ；

B4、根据计算出的所述坐标，对全景图像中像素点的像素值进行非线性插值计算，得到对应展开图像中每个像素点的像素值；

所述在全景展开图像中对运动目标进行智能分析为：对运动目标进行检测、跟踪、类型识别以及行为分析；进一步包括：

C、确定告警处理的执行，并执行告警处理，所述告警处理为：

控制外部设备做出相应告警处理；向本地监控终端发送智能分析结果和现场视频信息、以及告警信息；向智能监控平台发送智能分析结果和现场视频信息、以及告警信息；或者以上任意的组合；

D、本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，对用户指定区域进行放大显示；和

本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，将检测到的运动目标及其运动轨迹进行标识；和，

智能监控平台存储接收到的智能分析结果和现场视频信息、以及告警信息，并对现场视频信息进行显示、存储、回放和检索；

E、所述智能监控平台向远程监控终端发送智能分析结果和现场视频信息、以及告警信息，并同时控制现场监控设备联动告警；或远程监控终端向智能监控平台请求发送智能分析结果和现场视频信息、以及告警信息；

F、远程监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，对用户指定区域进行放大显示；和本地监控终端根据接收到的智能分析结果和现场视频信息、以及告警信息，在全景展开图像上将检测到的运动目标及其运动轨迹进行标识。 

2.根据权利要求1所述的全景视频智能监控方法，其特征在于，所述步骤D或步骤F所述进行标识为：

将检测到的运动目标用矩形框框起来，并将运动目标的运动轨迹用一条曲线表示；或者，勾勒出检测到的烟雾的所在区域，以及扩散形状。

3.根据权利要求2所述的全景视频智能监控方法，其特征在于，组成所述曲线的点为检测到的运动目标在前面帧中的质心位置。

4.一种全景视频智能监控系统，其特征在于，该系统包括前端全景成像设备、智能分析处理设备以及智能监控平台，其中，

前端全景成像设备，用于获取现场视频信息，对场景进行360°无盲点监测，并将现场视频信息发送给智能分析处理设备；

智能监控平台，用于处理所述智能分析处理结果和现场视频信息、以及告警信息，对所述现场视频信息进行显示、存储、回放和检索；还用于对本地端的前端全景成像设备以及智能分析处理设备进行配置和维护；还用于根据客户需求，将所述告警信息及现场视频信息传输给远程监控终端；还用于控制现场监控设备进行联动告警；所述智能监控平台，包括数据存储单元，用于存储所述智能分析处理结果和现场视频信息、以及告警信息；还包括本地监控终端，用于接收智能分析处理设备传送的智能分析结果和现场视频信息、以及告警信息，并将告警信息通知用户；远程监控终端，用于接收智能监控平台传送的智能分析结果和现场视频信息、以及告警信息，并将告警信息通知用户；

智能分析处理设备，用于对所述现场视频信息进行智能分析和处理，并将智能分析处理结果和现场视频信息、以及告警信息发送给智能监控平台以及本地监控终端，同时控制外部设备进行告警；所述智能分析处理设备包括全景图像展开处理模块、运动目标检测模块、运动目标跟踪模块、运动目标分类模块、运动目标行为分析模块、外部设备控制模块以及数据通信模块，其中，

全景图像展开处理模块，用于对接收到的全景图像进行展开，得到全景展开图像；包括坐标系变换模块、形状特性确定模块、坐标计算模块以及像素值计算模块，其中，坐标系变换模块，用于建立以全景图像中心为原点的新坐标 系并计算全景图像中每个像素点在新坐标系中的坐标，并将得到的每个像素点的坐标发送给坐标计算模块；形状特性确定模块，用于根据用户选择的不同的展开方法，确定相应展开图像的形状特性，并将所述形状特性发送给坐标计算模块；坐标计算模块，用于根据所述形状特性和所述每个像素点的坐标计算展开图像中每个像素点所对应的全景图像中的坐标，并将得到的坐标发送给像素值计算模块；像素值计算模块，用于根据坐标计算模块发送来的所述坐标，通过对全景图像中像素点的像素值进行非线性插值计算，计算每个展开图像中的像素点对应的像素值；

运动目标检测模块，用于检测所述全景展开图像的当前帧与背景模型不相符的像素，并将其连贯起来后提取出当前帧的前景目标；

运动目标跟踪模块，用于对运动目标检测模块提取出的所述前景目标进行跟踪；

运动目标分类模块，用于对运动目标跟踪模块中的跟踪目标进行类型识别；

运动目标行为分析模块，综合利用运动目标检测模块、运动目标跟踪模块以及运动目标分类模块中获得的信息，分析目标行为特性，判断是否有符合告警条件存储器中存储的“事件”发生；如果有符合告警条件的“事件”，则进入外部设备控制模块和数据通信模块，如果没有，则进入全景图像展开处理模块；

外部设备控制模块，用于控制外部设备进行相应告警处理；

数据通信模块，用于向本地监控终端和智能监控平台发送智能分析处理结果和现场视频信息、以及告警信息；

所述本地监控终端和远程监控终端进一步包括：

虚拟云台控制模块，用于对用户指定区域进行放大显示；和/或，

检测事件表示模块，用于根据所接收到的智能分析结果和现场视频信息、以及告警信息，将检测到的运动目标及其运动轨迹进行标识。

Images