CN103929592A - 全方位智能监控设备及方法 - Google Patents

Abstract

本发明公开了一种全方位智能监控设备及方法，全方位智能监控设备包括鱼眼全景相机、360度无死角摄像机和用于查询监控状况并能进行动态图像理解的监控计算机，监控计算机包括图像采集模块、显示单元、图像预处理模块、动态图像处理模块、视频图像存储模块、报警信息存储模块和预警信息发布模块。本发明智能化水平高，能通过图像理解技术自动判断各种报警或故障并主动存储报警相关信息。

Description

全方位智能监控设备及方法

技术领域

本发明涉及智能视频监控技术领域，尤其是一种全方位智能监控设备及方法。

背景技术

摄像机从模拟走向网络，“高清”日渐成为市场关注的热点，它的出现让人们可以看得更清楚，获得更多的细节。但是，客户在从之前“只能看见人脸”到现在“能看清人脸”的同时，又提出了另一方面的要求，那就是“看得更广”，即在同一个场景中能看到更多的东西。对此，原来是通过用几只摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方案还不能完全满足客户的要求，比如客户需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机与球机相结合的全方位监控设备。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种全方位智能监控设备，并在此基础上建立了一套全方位智能监控方法，智能化水平高，能通过图像理解技术自动判断各种报警或故障并主动存储报警相关信息。

为达到上述目的，本发明的技术方案是：一种全方位智能监控设备，包括鱼眼全景相机、360度无死角摄像机和监控计算机；所述监控计算机包括图像采集模块、显示单元、图像预处理模块、动态图像处理模块、视频图像存储模块、报警信息存储模块和预警信息发布模块；

鱼眼全景相机：用于捕捉涵盖180度转换到360度空间角度的整个半球视场图像；

360度无死角摄像机：用于旋转俯仰平台和焦距控制，用于实施精确目标监测，跟踪，识别和监控；

图像采集模块：将拍摄的实时状况，及将采集到的视频图像通过A/D采样，得到的动态序列图像帧，将图像帧送入数据缓存区；

显示单元：实时显示动态视频；

图像预处理模块：用于对缓存区中的图像序列帧进行灰度化、平滑及对比度增强；

动态图像处理模块：用于分析路面的安全状态，包括对现实场景的色彩的亮度、对比度、色调的自主调节，然后根据视觉传感器标定的结果设定行人、车辆与其他移动物体的各种不同的判定阙值范围，依据视频检测区域内的阙值自动判定该区域内是行人、车辆与其他移动物体；

视频图像存储模块：用于在路面出现异常事件时，自动保存当时的视频数据，并保存到视频数据库中；

报警信息存储模块：用于在路面出现异常事件时，自动保存触发异常事件的信息(触发时间、事件及因由)，并保存到报警信息数据库中；

预警信息发布模块：用于将移动物体通过路面的时刻信息及路面出现异常事件时对行人及过往车辆进行发布。

进一步设置，所述监控计算机与无线接收发送设备相连接。

进一步设置，所述图像预处理模块其构成是由广角光学镜头或在常规照相机前面放置一凸面反射镜，凸面反射镜为抛物面镜，得到变形的全方位图像，从变形的全方位图像直接映射成透视视窗图像。

一种全方位智能监控方法，包括以下步骤：

鱼眼全景相机和360度无死角摄像机正常工作，图像采集模块实时监控采集数据，将采集到的数据通过A/D采样，得到动态序列图像帧，将图像帧送入数据缓存区，用于实时显示动态视频的显示单元并进行图像预处理，即将图像信息自动旋转、俯仰和聚焦，该信息通过转化公式转化成与现实场景相似的图像；将得到的图像送给动态图像处理模块，把全方位系列图像实现变化/运动轨迹的检测取代常规需要不变形的图源变化/运动轨迹，直接使用变形的全方位图源，将自动检测到的变化目标的透视视窗参数如旋转角度、俯仰角度、变焦值PZT算出，自动控制360度无死角摄像机并报警提醒操作人员注意，当检测到的事件异常时自动存储相关报警视频及信息，通过相应的软件来实时监控现实场景。

进一步设置，旋转俯仰平台和360度无死角摄像机的焦距控制相结合，检测到的可疑区域的图像信息，自动旋转、俯仰和聚焦的参数、并用360度无死角摄像机对可以目标的自动跟踪和记录；通过供给参数使360度无死角摄像机自动聚焦到可疑区域；自动聚焦到可疑区域的坐标与现实场景之间的增量与弧度之间的关系如下：

D_int＝h_k-wideh/2-X_p+X_r

其中：D_int为终值，h_k-wideh为原宽度，X_p为原点坐标，X_r为虚增量值；

D_t＝F(x)+T_d*100

其中：F(x)为弧度算法，T_d为偏数量值，D_t为弧度值计算；将图像自动转化成现实场景类似的平面图形。

进一步设置，在检测图像变化时直接使用连续的全方位图像，将较先得到的一幅图像作为参照帧，记作I₀，储存起来；对后得到的连续图像I_i，做图像相减运算：

DIFF＝I₀-I_i

如果余量图像任一像素“DIFF”都大于预先设定的下限值，则对此像素小范围邻近的可以像素做检验论证或进行报警或将像素点转变为不变形的透视图像，从图像表面上检查状况；或在直接在检测图像变化是采用“自适应”目标检测的方法超限值像素进行计算：对于第N帧图像重的每一像素，用一个“滑动平均”的平均值和一个标准方差σ_pn来定义一个时序滤波器：

这一统计模型应用对噪声的统计测量来确定像素下限值的取值；

或在直接检测图像变化时每幅图像之间匹配代价函数对目标进行跟踪：其方法是对每一个可疑目标的图像“板块”，记录以下数据：

按图像坐标来描述位置P(t)和速度V(t)构成的运动轨迹

对360度无死角摄像机标定参数，因二将目标运动轨迹在一个绝对坐标系中进行归一化(和)(和)

图像“板块”本身参数：大小S，中心位置C，颜色统计H；在上一步t_last时刻T_i的位置和速度被用来确定预测到的当前时刻t_now的位置：

利用这一信息，用匹配代价函数来确定一个已知图像“板块”T_i是否与当前运动“板块”R₁匹配：

匹配的目标轨迹被继续跟踪，以建立运动轨迹档案；

检测到的目标物体的改变或运动参数用于精确控制360度无死角摄像机。

本发明的有益效果是：鱼眼全景相机对视频监控区域的全景范围进行图像拍摄，一旦图像上检测到变化，可将自动检测到的变化目标的透视视窗参数如旋转角度、俯仰角度、变焦值PZT算出，调度360度无死角摄像机根据目标的位置和运动轨迹信息对目标进行锁定跟踪，使得该系统能对进入监控区域的目标进行全方位的自动锁定跟踪，从而获得目标的清晰图像，减少漏报和错报的现象，目标的清晰图片更有利于事后的取证分析。

附图说明

图1为本发明的全方位智能监控设备的硬件构架图；

图2为本发明的全方位智能监控方法的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1、图2所示，一种全方位智能监控设备，包括鱼眼全景相机、360度无死角摄像机和监控计算机；所述监控计算机包括图像采集模块、显示单元、图像预处理模块、动态图像处理模块、视频图像存储模块、报警信息存储模块和预警信息发布模块；监控计算机与无线接收发送设备相连接，

鱼眼全景相机：用于捕捉涵盖180度转换到360度空间角度的整个半球视场图像；

360度无死角摄像机：用于旋转俯仰平台和焦距控制，用于实施精确目标监测，跟踪，识别和监控；

图像采集模块：将拍摄的实时状况，及将采集到的视频图像通过A/D采样，得到的动态序列图像帧，将图像帧送入数据缓存区；

显示单元：实时显示动态视频；

图像预处理模块：用于对缓存区中的图像序列帧进行灰度化、平滑及对比度增强；

图像预处理模块其构成是由广角光学镜头或在常规照相机前面放置一凸面反射镜，凸面反射镜为抛物面镜，得到变形的全方位图像，从变形的全方位图像直接映射成透视视窗图像，变形的全方位图像或透视视窗图像在三维空间使用三个参数：旋转，俯仰，焦距；

动态图像处理模块：用于分析路面的安全状态，包括对现实场景的色彩的亮度、对比度、色调的自主调节，然后根据视觉传感器标定的结果设定行人、车辆与其他移动物体的各种不同的判定阙值范围，依据视频检测区域内的阙值自动判定该区域内是行人、车辆与其他移动物体；

视频图像存储模块：用于在路面出现异常事件时，自动保存当时的视频数据，并保存到视频数据库中；

报警信息存储模块：用于在路面出现异常事件时，自动保存触发异常事件的信息(触发时间、事件及因由)，并保存到报警信息数据库中；

预警信息发布模块：用于将移动物体通过路面的时刻信息及路面出现异常事件时对行人及过往车辆进行发布。

一种全方位智能监控方法，包括以下步骤：

鱼眼全景相机和360度无死角摄像机正常工作，图像采集模块实时监控采集数据，将采集到的数据通过A/D采样，得到动态序列图像帧，将图像帧送入数据缓存区，用于实时显示动态视频的显示单元并进行图像预处理，即将图像信息自动旋转、俯仰和聚焦，旋转俯仰平台和360度无死角摄像机的焦距控制相结合，检测到的可疑区域的图像信息，自动旋转、俯仰和聚焦的参数、并用360度无死角摄像机对可以目标的自动跟踪和记录；通过供给参数使360度无死角摄像机自动聚焦到可疑区域；自动聚焦到可疑区域的坐标与现实场景之间的增量与弧度之间的关系如下：

D_int＝h_k-wideh/2-X_p+X_r

其中：D_int为终值，h_k-wideh为原宽度，X_p为原点坐标，X_r为虚增量值；

D_t＝F(x)+T_d*100

其中：F(x)为弧度算法，T_d为偏数量值，D_t为弧度值计算；将图像自动转化成现实场景类似的平面图形，

将得到的图像送给动态图像处理模块，把全方位系列图像实现变化/运动轨迹的检测取代常规需要不变形的图源变化/运动轨迹，直接使用变形的全方位图源，将自动检测到的变化目标的透视视窗参数如旋转角度、俯仰角度、变焦值PZT算出，

在检测图像变化时直接使用连续的全方位图像，将较先得到的一幅图像作为参照帧，记作I₀，储存起来；对后得到的连续图像I_i，做图像相减运算：

DIFF＝I₀-I_i

如果余量图像任一像素“DIFF”都大于预先设定的下限值，则对此像素小范围邻近的可以像素做检验论证或进行报警或将像素点转变为不变形的透视图像，从图像表面上检查状况；或在直接在检测图像变化是采用“自适应”目标检测的方法超限值像素进行计算：对于第N帧图像重的每一像素，用一个“滑动平均”的平均信和一个标准方差σ_pn来定义一个时序滤波器：

这一统计模型应用对噪声的统计测量来确定像素下限值的取值；

或在直接检测图像变化时每幅图像之间匹配代价函数对目标进行跟踪：其方法是对每一个可疑目标的图像“板块”，记录以下数据：

按图像坐标来描述位置P(t)和速度V(t)构成的运动轨迹

对360度无死角摄像机标定参数，因二将目标运动轨迹在一个绝对坐标系中进行归一化(和)(和)

图像“板块”本身参数：大小S，中心位置C，颜色统计H；

在上一步t_last时刻T_i的位置和速度被用来确定预测到的当前时刻t_now的位置：

利用这一信息，用匹配代价函数来确定一个已知图像“板块”T_i是否与当前运动“板块”R₁匹配：

匹配的目标轨迹被继续跟踪，以建立运动轨迹档案，检测到的目标物体的改变或运动参数用于精确控制360度无死角摄像机并报警提醒操作人员注意，当检测到的事件异常时自动存储相关报警视频及信息，通过相应的软件来实时监控现实场景。

Claims (6)

1.一种全方位智能监控设备，其特征在于：包括鱼眼全景相机、360度无死角摄像机和监控计算机；所述监控计算机包括图像采集模块、显示单元、图像预处理模块、动态图像处理模块、视频图像存储模块、报警信息存储模块和预警信息发布模块；

鱼眼全景相机：用于捕捉涵盖180度转换到360度空间角度的整个半球视场图像；

360度无死角摄像机：用于旋转俯仰平台和焦距控制，用于实施精确目标监测，跟踪，识别和监控；

图像采集模块：将拍摄的实时状况，及将采集到的视频图像通过A/D采样，得到的动态序列图像帧，将图像帧送入数据缓存区；

显示单元：实时显示动态视频；

图像预处理模块：用于对缓存区中的图像序列帧进行灰度化、平滑及对比度增强；

动态图像处理模块：用于分析路面的安全状态，包括对现实场景的色彩的亮度、对比度、色调的自主调节，然后根据视觉传感器标定的结果设定行人、车辆与其他移动物体的各种不同的判定阙值范围，依据视频检测区域内的阙值自动判定该区域内是行人、车辆与其他移动物体；

视频图像存储模块：用于在路面出现异常事件时，自动保存当时的视频数据，并保存到视频数据库中；

报警信息存储模块：用于在路面出现异常事件时，自动保存触发异常事件的信息(触发时间、事件及因由)，并保存到报警信息数据库中；

预警信息发布模块：用于将移动物体通过路面的时刻信息及路面出现异常事件时对行人及过往车辆进行发布。

2.如权利要求1所述的设备，其特征在于：所述监控计算机与无线接收发送设备相连接。

3.如权利要求1所述的设备，其特征在于：所述图像预处理模块其构成是由广角光学镜头或在常规照相机前面放置一凸面反射镜，凸面反射镜为抛物面镜，得到变形的全方位图像，从变形的全方位图像直接映射成透视视窗图像。

4.一种全方位智能监控方法，其特征在于：包括以下步骤：

鱼眼全景相机和360度无死角摄像机正常工作，图像采集模块实时监控采集数据，将采集到的数据通过A/D采样，得到动态序列图像帧，将图像帧送入数据缓存区，用于实时显示动态视频的显示单元并进行图像预处理，即将图像信息自动旋转、俯仰和聚焦，该信息通过转化公式转化成与现实场景相似的图像；将得到的图像送给动态图像处理模块，把全方位系列图像实现变化/运动轨迹的检测取代常规需要不变形的图源变化/运动轨迹，直接使用变形的全方位图源，将自动检测到的变化目标的透视视窗参数如旋转角度、俯仰角度、变焦值PZT算出，自动控制360度无死角摄像机并报警提醒操作人员注意，当检测到的事件异常时自动存储相关报警视频及信息，通过相应的软件来实时监控现实场景。

5.如权利要求4所述的方法，其特征在于：旋转俯仰平台和360度无死角摄像机的焦距控制相结合，检测到的可疑区域的图像信息，自动旋转、俯仰和聚焦的参数、并用360度无死角摄像机对可以目标的自动跟踪和记录；通过供给参数使360度无死角摄像机自动聚焦到可疑区域；自动聚焦到可疑区域的坐标与现实场景之间的增量与弧度之间的关系如下：

D_int＝h_k-wideh/2-X_p+X_r

其中：D_int为终值，h_k-wideh为原宽度，X_p为原点坐标，X_r为虚增量值；

D_t＝F(x)+T_d*100

其中：F(x)为弧度算法，T_d为偏数量值，D_t为弧度值计算；将图像自动转化成现实场景类似的平面图形。

6.如权利要求4所述的方法，其特征在于：在检测图像变化时直接使用连续的全方位图像，将较先得到的一幅图像作为参照帧，记作I₀，储存起来；对后得到的连续图像I_i，做图像相减运算：

DIFF＝I₀-I_i

如果余量图像任一像素“DIFF”都大于预先设定的下限值，则对此像素小范围邻近的可以像素做检验论证或进行报警或将像素点转变为不变形的透视图像，从图像表面上检查状况；或在直接在检测图像变化是采用“自适应”目标检测的方法超限值像素进行计算：对于第N帧图像重的每一像素，用一个“滑动平均”的平均值和一个标准方差σ_pn来定义一个时序滤波器：

这一统计模型应用对噪声的统计测量来确定像素下限值的取值；

或在直接检测图像变化时每幅图像之间匹配代价函数对目标进行跟踪：其方法是对每一个可疑目标的图像“板块”，记录以下数据：

按图像坐标来描述位置P(t)和速度V(t)构成的运动轨迹

对360度无死角摄像机标定参数，因二将目标运动轨迹在一个绝对坐标系中进行归一化(和)(和)

图像“板块”本身参数：大小S，中心位置C，颜色统计H；在上一步t_last时刻T_i的位置和速度被用来确定预测到的当前时刻t_now的位置：

利用这一信息，用匹配代价函数来确定一个已知图像“板块”T_i是否与当前运动“板块”R₁匹配：

匹配的目标轨迹被继续跟踪，以建立运动轨迹档案；

检测到的目标物体的改变或运动参数用于精确控制360度无死角摄像机。