CN102036054B - 一种基于三维虚拟场景的智能视频监控系统 - Google Patents

Abstract

一种基于三维虚拟场景的智能视频监控系统，由视频采集、智能视频分析、综合显示、标定与定位、综合管理及检索回放等子系统组成。视频采集子系统采集监控视频；智能视频分析子系统对视频中的运动目标进行检测、识别和跟踪，进而对运动目标分类；综合显示子系统显示目标二维视频和三维虚拟场景，并在三维场景中实时叠加显示运动目标类别及其路径；标定与定位子系统在获取相机内外参数的基础上实现二维目标在三维虚拟场景中定位；综合管理子系统负责对系统配置、日志生成与检索、权限分级管理、防区配置与布/撤防、目标视频存储以及系统报警输出等任务的管理与调度；检索回放子系统对以事件为主线的目标视频进行检索、编辑和回放。

Description

一种基于三维虚拟场景的智能视频监控系统

技术领域

本发明涉及一种智能视频监控系统，特别是一种基于三维虚拟场景的智能视频监控系统，完成对监控区域的实时监控，适用于重点目标或区域的安防监控领域。

背景技术

随着经济和科技的发展，人们对居住和办公环境的安全性提出了更高的要求；对关乎经济命脉的重点设施或区域(核电站，水电站，银行、高速公路和机场等)的安全运行和防护、名胜古迹以及文物博物馆(文字博物馆和故宫博物院等)的安防以及重点军事目标和区域(如军械库)的安防提出了更高的要求；当重点目标和区域发生突发事件时，对现场事件的远程分析、指挥和调度的快速性、准确性提出了更高的要求。对这些目标和区域进行安防的一种重要手段就是视频监控，而传统的视频监控需要人的参与，要求监控人员不停地监视屏幕，获得视频信息，通过人的理解和判断，得到相应的结论并做出决策。但传统视频监控采用多摄像机视窗组合监控，依赖周界探测的可靠性和执勤人员的责任心，周界探测失效或入侵者突破周界未报警，以及摄相机超过16路时，人工无法胜任目视发现目标以及目标方位，只能通过频繁手动切换跟踪摄相机来查看，并猜测目标的位置及方位，特别是在有多个移动目标跨界报警事件发生时，系统无法完成以目标为主线的多个摄相机通道独立连续录制，在视频检索与回放时，需逐个手工搜索移动目标所经过的摄机通道及其留存片段，因此传统的视频监控系统具有监控效率低、安防人员任务重，事件发生时不利于现场指挥和实时调度，视频检索和回放效率。

为提高视频监控系统的监控效率，视频检索和回放的效率，特别是有事件发生时，提高现场指挥和实时调度的能力，采用基于三维虚拟场景的智能视频监控系统具有重要意义。本发明按时间段将每个摄像机监控的区域配置成布防区域或撤防区域，将二维视频中的像素点和三维虚拟场景中的空间点间建立一一对应关系，实现运动目标在三维空间的精确定位，三维虚拟环境实时显示多目标位置与轨迹，并为每个目标配置独立通道连续记录目标二维视频，可有效降低安防人员的工作负荷，提高监控效率和现场指挥与调度的能力。

发明内容

现有的视频监控系统的不足之处在于：①采用多摄像机视窗组合监控，依赖周界探测的可靠性和执勤人员的责任心，周界探测失效或入侵者突破周界未报警，人工无法胜任目视发现目标以及目标方位，只能通过频繁手动切换跟踪摄相机来查看，并猜测目标的位置及方位；②在多个移动目标跨界报警事件发生时，统无法完成以目标为主线的多个摄相机通道独立连续录制，在视频检索与回放时，需逐个手工搜索移动目标所经过的摄机通道及其留存片段；③安防人员任务重，事件发生时不利于现场指挥和实时调度，视频检索和回放效率。

本发明要解决的技术问题是：克服现有视频监控系统的不足，提供一种具有对报警事件快度定位、目标视频快速检索和回放以及便于现场指挥和调度的基于三维虚拟场景的智能视频监控系统。

本发明采用的技术方案是：一种基于三维虚拟场景的智能视频监控系统，其特征在于：由视频采集子系统、智能视频分析子系统、综合显示子系统、标定与定位子系统、综合管理子系统及检索回放子系统。基于三维虚拟场景的智能视频监控系统的工作原理，其特征在于：视频采集子系统由前端设备和采集设备及其接口单元组成，前端设备包括模拟前端和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机，采集设备及接口包括视频服务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通过网络传给智能视频分析子系统；智能视频分析子系统对视频采集子系统传输来的实时视频进行自适应更新背景、运动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，实时获得运动目标的信息，包括目标的二维位置和目标类别，并通过网络将目标视频传输给综合显示子系统和综合管理子系统；综合显示子系统是双联屏或三联屏显示，分别显示目标二维视频和目标管理，三维虚拟场景和运动目标及其路径，以及视频检索、编辑和回放；标定与定位子系统对前端设备摄像机分别进行标准场标定和现场标定，获得相机的内外参数和畸变系数，建立畸变校正模型并对视频进行畸变校正，进而建立图像二维位置到空间三维位置的转换模型，实现图像中的目标在三维虚拟场景中定位；综合管理子系统主要功能是系统配置、防区设置、系统布/撤防、目标视频存储、系统日志管理、系统权限管理以及报警输出；视频检索与回放子系统对以目标为主线的视频进行检索，并将同一目标的多个视频(单相机、多相机或跨相机)进行编辑形成一个目标运动的完成视频，进而回放目标的完整视频，并将目标及其运动路径显示在三维虚拟场景中。本系统可兼容现有的视频监控系统，通过将运动目标关联显示在3D虚拟场景中，充分利用空间信息，可实现对报警事件快速定位和及时处理，以及对事件视频的快速检索和回放，有效提高安防人员的监控效率以及现场调度和指挥的能力。

本发明的优点：①无需执勤人员目视发现目标，无需猜测目标方位、频繁手动切换跟踪摄相机，系统自动切换摄相机并自动跟踪目标；②采用三维虚拟场景显示，充分利用监控区域的空间信息，并在三维虚拟场景空间信息与二维的视频信息间建立一一对应关系，便于报警事件的快度定位和移动目标的路径显示；③三维虚拟环境实时显示多目标位置与轨迹，提高现场实时调度和指挥的能力；④每个目标配置独立通道连续记录，便于目标视频的快速检索和回放。

附图说明

图1为本发明的一种基于三维虚拟场景的智能视频监控系统结构示意图；

图2为本发明的视频采集子系统结构图；

图3为本发明的智能视频分析子系统结构图；

图4为本发明的综合显示子系统的硬件结构图；

图5为本发明的综合显示子系统显示内容结构图；

图6为本发明的标定与定位子系统结构图；‘

图7为本发明的综合管理系统结构图；

图8为本发明的视频检索与回放子系统结构图；

图9为本发明的一种基于三维虚拟场景的智能视频监控系统工作原理图；

图10为本发明的综合显示子系统中的三维虚拟场景写实场景效果图；

图11为本发明的综合显示子系统中的三维虚拟场景写意场景效果图；

具体实施方式

如图1和图9所示所示，本发明由视频采集子系统、智能视频分析子系统、综合显示子系统、标定与定位子系统、综合管理子系统及检索回放子系统组成。

如图2和图9所示，视频采集子系统由前端设备和采集设备及其接口单元组成，前端设备包括模拟前端和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机；采集设备及接口包括视频服务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通过网络传给智能视频分析子系统。

如图3和图9所示，智能视频分析子系统对视频采集子系统传输来的实时视频进行自适应更新背景、运动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，完成对运动目标进行检测、识别和跟踪，并形成目标的位置和类别信息，通过网络将目标视频和目标信息传输给综合显示子系统和综合管理子系统；智能分析子系统计算负载和任务分配由综合管理子系统来完成。

如图4、图5和图9所示，综合显示子系统包括普通的屏幕显示和电视墙显示，将VGA信号直接送给显示屏，将VGA信号转换后送给电视墙显示，综合显示子系统的显示屏采用双联屏或三联屏显示，分别显示目标二维视频和目标管理，三维虚拟场景和运动目标及其路径，以及视频检索、编辑和回放。三维模型采用3DMAX、AUTO CAD等建模工具以及数字地表模型、数字高程模型和数字正射影像图等数据集进行制作，三维模型包括两种，一种是三维模型+贴图的写实模型，如图10所示；另一种是三维模型+透视的写意模型，如图11所示。

如图6和图9所示，标定与定位子系统对前端设备摄像机分别进行标准场标定和现场标定，获得相机的内外参数和畸变系数，建立畸变校正模型并对视频进行畸变校正，进而建立图像二维位置到空间三维位置的转换模型，实现图像中的目标在三维虚拟场景中定位。

如图7和图9所示，综合管理子系统主要功能是系统配置、防区设置、系统布/撤防、目标视频存储、系统日志管理、系统权限管理以及报警输出，其中系统配置完成系统参数配置以及智能视频分析服务器负载计算及计算任务动态分配；防区分为禁入区、警戒区、通道区、巡视区和扰动区，而且防区可分时段设置；目标视频存储是以目标为主线进行视频存储，包括单相机、多相机和跨相机；系统在布防状态下与报警输出联动，在不同的防区内有移动目标时采用不同的声音和灯光进行报警，在撤防状态下，在防区内出现移动目标时系统不报警；目标视频存储以目标为主线进行视频存储；系统权限管理是不同级别人员对系统可操作的权限不同。

如图8和图9所示，视频检索与回放子系统对以目标为主线的视频进行检索，并将同一目标的多个视频(单相机、多相机或跨相机)进行编辑形成一个目标运动的完成视频，进而回放目标的完整视频，目标及其运动路径显示在三维虚拟场景中。

本发明中用的网卡是1000M网卡，交换机为1000M交换机；视频采集子系统中的模拟摄像机采用低照度高清摄像机(最低照度：≤0.04Lx，水平分辨率：≥540线)，视频采集子系统为16路数字硬盘录像机，智能视频分析计算机中CPU≥4核，内存≥4G，硬盘≥500G；智能视频显示子系统中的视频显示计算机是普通PC机或工控机，其中CPU≥2核，内存≥4G，硬盘≥500G，并具有3D加速功能的独立显卡；综合管理子采用品牌服务器，CPU≥4核，内存≥4G，硬盘≥5T。

Claims (3)

1.一种基于三维虚拟场景的智能视频监控系统，其特征在于：由视频采集子系统、智能视频分析子系统、综合显示子系统、标定与定位子系统、综合管理子系统及检索回放子系统组成，其中视频采集子系统由前端设备和采集设备及接口单元组成，前端设备包括模拟前端和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机；采集设备及其接口包括视频服务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通过网络传给智能视频分析子系统；智能视频分析子系统对视频采集子系统传输来的实时视频进行自适应更新背景、运动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，实时获得运动目标的信息，包括目标的二维位置和目标类别，并通过网络将目标视频传输给综合显示子系统和综合管理子系统；综合显示子系统是双联屏或三联屏显示，分别显示目标二维视频和目标管理，三维虚拟场景和运动目标及其路径以及视频检索、编辑和回放；标定与定位子系统对前端设备摄像机分别进行标准场标定和现场标定，获得摄像机的内外参数和畸变系数，建立畸变校正模型并对视频进行畸变校正，进而建立图像二维位置到空间三维位置的转换模型，实现图像中的目标在三维虚拟场景中定位。

2.根据权利要求1所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于：所述的综合管理子系统主要功能是系统配置、防区设置、系统布/撤防、目标视频存储、系统日志管理、系统权限管理以及报警输出，其中系统配置完成系统参数配置以及智能视频分析子系统负载计算及计算任务动态分配；防区分为禁入区、警戒区、通道区、巡视区和扰动区，而且防区分时段设置；目标视频存储是以目标为主线进行视频存储，包括单相机、多相机和跨相机三种情况；系统在布防状态下与报警输出联动，在不同的防区内有移动目标时采用不同的声音和灯光进行报警，在撤防状态下，在防区内出现移动目标时系统不报警；目标视频存储以目标为主线进行视频存储；系统权限管理是不同级别人员对系统可操作的权限不同。

3.根据权利要求1所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于：所述的检索回放子系统对以目标为主线的视频进行检索，并将同一目标的多个视频进行编辑，包括单相机、多相机和跨相机三种情况，形成一个目标运动的完整视频，进而回放目标的完整视频，目标及其运动路径显示在三维虚拟场景中。

Images