发明内容
本发明所要解决的技术问题是提供一种视频监控系统、一种视频监控服务器以及一种视频监控方法,用以融合多个视频采集设备和前端视频分析设备的视频数据及视频分析结果,并使基于该融合数据获得的智能分析数据更为完整和准确。
为了解决上述技术问题,本发明实施例公开了一种视频监控系统,包括:
多个视频采集设备,用于分别采集相应监控区域中的视频数据;
与所述视频采集设备连接的前端视频分析设备,包括目标确定模块,用于检测和跟踪所述视频数据中的运动目标;
视频监控服务器,包括特征提取模块和关联模块,所述特征提取模块用于提取所述运动目标的特征信息;所述关联模块用于依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
优选的,所述特征信息包括运动目标的平移速度信息和图像特征信息,所述视频监控服务器的关联模块包括:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
联合跟踪子模块,用于在判定为同一运动目标时,生成该运动目标在所述相关联监控区域的跨场景跟踪记录。
优选的,所述视频监控服务器的关联模块还包括:
智能控制子模块,用于依据所述运动目标跨场景的跟踪记录,估算该运动目标可能进入的监控区域。
优选的,所述视频监控服务器的关联模块还包括:
运动参数统计子模块,用于在判定为同一运动目标时,统计该运动目标在所述多个相关联监控区域中的运动参数。
优选的,所述特征信息包括运动目标的物体检测信息,所述视频监控服务器的关联模块包括:
区域确定子模块,用于依据所述运动目标的物体检测信息,确定包含相同特定物体的多个监控区域;
时间统计子模块,用于统计所述特定物体在多个监控区域中的滞留 时间;
报警分析子模块,用于在所述滞留时间超过预设的报警时限时,产生需要报警的视频分析结果。
优选的,所述前端视频分析设备还包括:
报警模块,用于在运动目标的跟踪数据符合预置的报警规则,或者,接收到视频监控服务的报警通知时,产生需要报警的视频分析结果。
本发明实施例还公开了一种视频监控服务器,所述视频监控服务器与多个前端设备连接,所述前端设备包括多个视频采集设备,用于分别采集相应监控区域中的视频数据;以及,连接所述视频采集设备的前端视频分析设备,用于检测和跟踪所述视频数据中的运动目标;
所述视频监控服务器包括:
特征提取模块,用于提取所述运动目标的特征信息;
关联模块,用于依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
优选的,所述特征信息包括运动目标的平移速度信息和图像特征信息,所述关联模块包括:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
联合跟踪子模块,用于在判定为同一运动目标时,生成该运动目标在所述相关联监控区域的跨场景跟踪记录。
优选的,所述特征信息包括运动目标的物体检测信息,所述关联模块包括:
区域确定子模块,用于依据所述运动目标的物体检测信息,确定包含相同特定物体的多个监控区域;
时间统计子模块,用于统计所述特定物体在多个监控区域中的滞留 时间;
报警分析子模块,用于在所述滞留时间超过预设的报警时限时,产生需要报警的视频分析结果。
本发明实施例还公开了一种视频监控方法,包括:
分别采集多个监控区域中的视频数据;
检测和跟踪所述视频数据中的运动目标;
提取所述运动目标的特征信息;以及,
依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
与现有技术相比,本发明具有以下优点:
本发明通过各个视频采集设备获取视频数据,并通过与各个视频采集设备连接的前端视频分析设备检测和跟踪视频中的运动目标,然后将所述视频数据和运动目标的相关信息在视频监控服务器进行融合;以使该视频监控服务器可以基于所述融合数据针对该运动目标进一步分析处理,从而完成一些硬件系统实现起来较为困难的功能,例如,跨场景运动目标的联合跟踪、多摄像头报警信息的集成、更复杂的目标物体检测和识别、危险目标的运动轨迹预测等。本发明将智能视频发展技术拓展到多前端设备融合的研究领域,使基于该融合数据获得的智能分析数据更为完整和准确;并能很好地适用于包含有多个视频采集设备的大范围监控场景。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
智能视频(IV,Intelligent Video)源自计算机视觉(CV,Computer Vision)技术。计算机视觉技术是人工智能(AI,Artificial Intelligent)研究的分支之一,它能够在图像及图像描述之间建立映射关系,从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。视频监控中所提到的智能视频技术主要指的是:“自动的分析和抽取视频源中的关键信息。”如果把摄像机看作人的眼睛,而智能视频系统或设备则可以看作人的大脑。智能视频技术借助计算机强大的数据处理功能,对视频画面中的海量数据进行高速分析,过滤掉监控者不关心的信息,仅仅提供有用的关键信息。
为适应智能视频技术的发展,本发明创新地提出了一种智能视频监控机制,本发明实施例的核心构思之一在于,以智能视频监控和检索方法为基础,结合视频采集设备、前端视频分析设备和后端的视频监控服务器,实现多个视频采集设备和前端视频分析设备的视频数据及视频分析结果的融合,并基于所述融合数据进一步进行智能分析,以获得更为完整和准确的智能分析数据。具体而言,本发明可以通过各个视频采集设备获取视频数据,并通过与各个视频采集设备连接的前端视频分析设备检测和跟踪视频中的运动目标,然后将所述视频数据和运动目标的相关信息在视频监控服务器进行融合;该视频监控服务器基于所述融合数据针对该运动目标进一步分析处理,以完成一些硬件系统实现起来较为困难的功能,例如,跨场景运动目标的联合跟踪、多摄像头报警信息的集成、更复杂的目标物体检测和识别、危险目标的运动轨迹预测等,从而提高视频检测的精度和智能分析结果的准确性。
参考图1,示出了本发明的一种视频监控系统实施例的结构框图,具体可以包括:
多个视频采集设备101,用于分别采集相应监控区域中的视频数据;
与所述视频采集设备连接的前端视频分析设备102,可以包括:目标确定模块,用于检测和跟踪所述视频数据中的运动目标;
视频监控服务器103,具体可以包括以下模块:
特征提取模块,用于提取所述运动目标的特征信息;
关联模块,用于依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
在具体实现中,所述多个视频采集设备及与其连接的前端视频分析设备,可以通过IP网络与后端服务器相互连接,并进行参数的配置和数据的传输。一般而言,视频采集设备针对相应监控区域拍摄得到的PAL制或NTSC制模拟视频信号;前端视频分析设备接收到所述模拟视频信号的输入后,将该模拟视频信号转为数字视频信号,然后对数字视频信号进行运动目标的检测和跟踪,并进一步将运动目标的检测和跟踪数据叠加到数字视频信号上分两路输出:其中一路可转化为模拟视频信号并输出到显示设备上,另一路与视频采集设备采集的视频数据一起进行编码,并通过远程传输发送到后端的视频监控服务器。
后端的视频监控服务器可以接收多个前端设备发送的码流,并在对码流解码后可以进行进一步地分析,以完成一些硬件系统实现起来较为困难的功能,例如,跨场景运动目标的联合跟踪、多摄像头报警信息的集成、更复杂的目标物体检测和识别、危险目标的运动轨迹预测等。分析完毕后,所有分析结果可以存入后端服务器的数据库中,通过为数据库和各个视频建立索引,还可以方便用户的快速检索和视频回放。
根据实际中视频监控的需要,作为一种示例,所述目标确定模块可以包括以下子模块:
背景存储子模块,用于存储前一帧图像的背景;
前景检测子模块,用于根据前一帧图像的背景,按照现有任一种前景检测方式对数字视频信号中的当前帧图像进行前景检测,获取包含当 前帧图像区别于前一帧图像背景的像素点的前景检测结果;
前景聚类子模块,用于对前景检测结果中包含的像素点进行聚类处理,获取当前帧图像中各个前景的位置形状数据,如目标的轮廓、外框等;
参考图像子模块,用于存储前一帧图像;
运动估算子模块,用于按照现有任一种运动估算方式,根据存储的前一帧图像和当前帧的前景检测结果,获取前一帧图像中所有物体的平移速度;
预测跟踪子模块,用于根据前一帧图像中所有物体的平移速度、以及当前帧图像中各个前景的位置形状数据进行预测跟踪,获取前一帧图像中各个物体在当前帧图像中对应的例如轮廓或外框等位置形状;
新物体检测子模块,用于将当前帧图像中与前一帧图像中的所有物体均不匹配的前景设定为新出现的物体;
静止物体处理子模块,用于将当前帧图像中在一定时间内未移动的物体设置为背景;
背景更新子模块,用于将当前帧图像作为前一帧图像、并根据静止物体处理子模块设置的背景,更新背景存储子模块中存储的前一帧图像的背景。
在实际中,当前帧图像中各个前景的位置形状数据、前一帧图像中所有物体的平移速度、前一帧图像中各个物体在当前帧图像中对应的位置形状、新出现的物体等各子模块的处理结果,均可作为跟踪数据输出。
作为另一种示例,所述目标确定模块也可以包括以下子模块:
差分子模块,用于接收当前输入图像,根据当前输入图像与当前背景图像获取背景差分图像,根据所述当前输入图像与所述当前输入图像的前一帧输入图像获取帧间差分图像,将获取的背景差分图像和帧间差分图像发送至运动提取子模块;
运动提取子模块用于将所述背景差分图像和所述帧间差分图像进行逻辑与处理,输出逻辑与处理后得到的运动图像。
优选的,在本例中,所述目标确定模块还可以进一步包括滤波子模块,用于接收运动提取模块输出的运动图像,对接收到的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动图像。
当然,上述运动目标检测的方法仅仅用作示例,本领域技术人员根据实际情况或经验采用任一种方法都是可行的,本发明对此无需加以限制。
视频监控服务器接收到所述嵌入了运动目标的检测和跟踪数据的视频码流后,可以根据具体的监控分析需求进一步提取运动目标的特征信息;例如,当需要进行跨场景运动目标的联合跟踪中,则可以提取运动目标的平移速度信息和图像特征信息,如运动目标的外框、像素点、颜色信息、直方图特征、形状特征等。
在本发明的一种示例中,所述视频监控服务器的关联模块可以包括以下子模块:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
例如,假设第一摄像机对应第一监控区域,第二摄像机对应第二监控区域,所述第一监控区域与第二监控区域是左右相邻的,当前运动目标的平移速度信息为,第一摄像机发现一个以20km/小时运动的运动目标向右运动,离开第一监控区域,第二摄像机发现一个以20km/小时运动的运动目标进入了第二监控区域的左侧,则可以确定这两个监控区域是相关联的监控区域。
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
例如,通过分析多个相关联监控区域中运动目标的颜色直方图相似度,判断多个运动目标是否为同一目标。当然,本领域技术人员采用任一种模块识别方法进行目标匹配都是可行的,本发明对此无需加以限定。
联合跟踪子模块,用于在判定为同一运动目标时,生成该运动目标在所述相关联监控区域的跨场景跟踪记录。
例如,若所述第一监控区域和第二监控区域中的运动目标为同一目标,则可生成该运动目标从第一监控区域进入第二监控区域的跨场景跟踪记录。
作为一种更为优选的示例,所述视频监控服务器的关联模块还可以包括智能控制子模块,用于依据所述运动目标跨场景的跟踪记录,估算该运动目标可能进入的监控区域。
例如,假设当前运动目标跨场景的跟踪记录为:运动轨迹:从第一监控区域运动至第二监控区域;平均速度为20km/小时;方向为由西向东;则估算该运动目标即将进入的监控区域为与第二监控区域左右相邻的第三监控区域。
在实际中,还可以进一步针对该估算的监控区域所对应的视频采集设备进行预处理,例如,在发现该视频采集设备未开启时,开启该视频采集设备;或者,设置区域进入报警规则,即一发现该运动目标进入该估算监控区域,则产生需要报警的视频分析结果等。
在本发明的另一种示例中,所述视频监控服务器的关联模块也可以包括以下子模块:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
运动参数统计子模块,用于在判定为同一运动目标时,统计该运动目标在所述多个相关联监控区域中的运动参数。
优选的,记录运动目标的运动参数如:位置、尺寸、速度、运动轨迹等。通常每个运动目标以一个矩形框标定,则运动目标的位置可以运动目标的左上端点和右下端点坐标来表示;运动目标的尺寸可以矩形框的面积表示;运动目标的运动轨迹可以运动目标在连续帧中的中心点连线表示。
本发明还可以进一步将运动目标在多个监控区域中的运动参数融合 起来,获取该目标在整个大场景中的运动参数。例如,对于在多个监控区域中的同一运动物体,可以获取该物体在各个监控区域中的滞留时间,并计算出该物体在整个大场景中总滞留时间,在实际中则可根据这个总滞留时间,判断该运动物体是否为危险目标;或者,还可以获取该物体在各个监控区域中的运动轨迹,连接这些运动轨迹以获得该物体在整个大场景中整体运动轨迹等,也可以确定该运动物体是否为危险目标。
作为本发明的又一种示例,所述特征信息可以包括运动目标中的物体检测信息,如人体、车辆、人脸、人头等。以人体上半身检测为例,在这种情况下,所述特征提取模块1031可以包括以下子模块:
窗口搜索子模块,用于在当前图像的前景区域中搜索得到候选窗口;
预先通过若干人体上半身正样本和反样本训练得到的第一级分类器,用于从搜索得到的所有候选窗口分别抽取Haar微特征和灰度均值特征,并根据抽取的Haar微特征和灰度均值特征对搜索得到的所有候选窗口进行第一级检测过滤;
灰度归一化子模块,用于对第一级检测过滤后剩余的候选窗口进行灰度归一化处理;
预先通过若干人体上半身正样本和反样本训练得到的第三级分类器,用于从第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征,然后依据抽取的Haar微特征的分布规律,对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤;
窗口合并子模块,用于将第三级检测过滤后剩余的所有候选窗口中,相邻的多个候选窗口进行合并;
结果判定单元,用于将所述合并得到的候选窗口确定为包括人体上半身和肩部的人体上半身。
当然,上述物体检测的方法仅仅用作示例,本领域技术人员根据实际情况或经验采用任一种方法都是可行的,本发明对此无需加以限制。
基于这种物体检测信息的一种示例为,所述视频监控服务器的关联模块可以包括以下子模块:
区域确定子模块,用于依据所述运动目标的物体检测信息,确定包含相同特定物体的多个监控区域;
在具体实现中,可以结合Gabor特征和主元分析方法(PCA)实现运动目标中特定物体的匹配,如人脸的匹配、人体的匹配等;例如,以人脸匹配为例,在这种情况下,所述人脸匹配模块可以包括以下子模块:
采集追踪单元,用于采集摄像头输入的视频图像,搜索并检测图像中的正面人脸,并对其进行持续追踪与验证,确保追踪的人脸是正面人脸;
预处理单元,用于自动标定正面人脸中的器官特征点,并据此对检测到的人脸进行预处理;
特征计算单元,用于计算经过预处理后的人脸图像的Gabor特征;
特征挑选单元,用于从计算获得的高维Gabor特征中挑选出分类能力最强的部分Gabor特征组成低维特征向量;
匹配认证单元,为不同人脸获取挑选后的低维特征向量,根据这个向量基于主元分析方法计算不同人脸之间的相似度数据,并根据所述返回的相似度数据,输出最终的人脸匹配结果,判断不同场景中的人脸是否对应着同一个人。
本领域技术人员采用任一种模式识别的方法都是可行的,本发明对此不作限制。
时间统计子模块,用于统计所述特定物体在多个监控区域中的滞留时间;
报警分析子模块,用于在所述滞留时间超过预设的报警时限时,产生需要报警的视频分析结果。
例如,通过人脸认证匹配,发现某个人在第一监控区域、第二监控区域和第三监控区域滞留的时间超过3小时,则产生需要报警的视频分析结果为危险目标。
作为另一实施例,所述前端视频分析设备还可以包括报警模块,用于在运动目标的跟踪数据符合预置的报警规则,或者,接收到视频监控 服务的报警通知时,产生需要报警的视频分析结果。例如,假设监控场景为某些禁止入内的禁区时,则只要有运动物体出现在该监控场景内,即表示有危险目标入侵,并产生表示需要报警的视频分析结果;或者,假设监控场景为具有规定运动方向的道路,则只要有运动物体的运动方向与规定运动方向相反,即表示有物体逆行,并产生表示需要报警的视频分析结果;对于其他监控场景在此不再一一列举。
在具体实现中,针对产生的需要报警的视频分析结果,所述视频监控系统可以采用以下四种之一或任意组合的报警方式:
方式一、由前端视频分析设备即时报警;
方式二、由后端视频监控服务器即时报警;
方式三、将视频分析结果叠加至数字视频信号、并通过IP网络远程传输至后端视频监控服务器,然后由后端服务器实现报警;
方式四、将视频分析结果叠加至数字视频信号、并转换为模拟视频信号后直接输出至外部任意的本地显示设备,然后由该显示设备在显示模拟视频信号的同时通过图像等方式实现报警。
在实际中,本领域技术人员还可以根据需要在所述视频监控服务器中设置任意功能模块,本发明对此不作限制,例如,还可以在服务器中设置视频检索模块,用于存储视频分析设备发来的危险事件描述信息;接收用户输入的检索条件,将检索条件与各危险事件描述信息匹配,若匹配上,则将危险事件描述信息中的图像标识显示给用户,或者,根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。
参考图2,示出了本发明的一种视频监控服务器的结构框图,所述视频监控服务器与多个前端设备连接,所述前端设备包括多个视频采集设备,用于分别采集相应监控区域中的视频数据;以及,连接所述视频采集设备的前端视频分析设备,用于检测和跟踪所述视频数据中的运动目标;
所述视频监控服务器20具体可以包括以下模块:
特征提取模块201,用于提取所述运动目标的特征信息;
关联模块202,用于依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
在本发明的一种优选实施例中,所述特征信息可以包括运动目标的平移速度信息和图像特征信息,在这种情况下,所述关联模块202可以包括以下子模块:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
联合跟踪子模块,用于在判定为同一运动目标时,生成该运动目标在所述相关联监控区域的跨场景跟踪记录。
更为优选的,所述关联模块还可以包括以下子模块:
智能控制子模块,用于依据所述运动目标跨场景的跟踪记录,估算该运动目标可能进入的监控区域。
在本发明的另一种优选实施例中,所述特征信息可以包括运动目标的平移速度信息和图像特征信息,在这种情况下,所述关联模块202可以包括以下子模块:
关联区域确定子模块,用于依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
目标匹配子模块,用于依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;
运动参数统计子模块,用于在判定为同一运动目标时,统计该运动目标在所述多个相关联监控区域中的运动参数。
作为另一实施例,所述特征信息可以包括运动目标的物体检测信息,在这种情况下,所述关联模块202可以包括以下子模块:
区域确定子模块,用于依据所述运动目标的物体检测信息,确定包含相同特定物体的多个监控区域;
时间统计子模块,用于统计所述特定物体在多个监控区域中的滞留时间;
报警分析子模块,用于在所述滞留时间超过预设的报警时限时,产生需要报警的视频分析结果。
由于本实施例与图1所示的实施例基本相似,所以描述的比较简单,相关之处参见图1所示实施例的说明即可。
参考图3,示出了本发明的一种视频监控方法实施例的流程图,具体可以包括以下步骤:
步骤301、分别采集多个监控区域中的视频数据;
步骤302、检测和跟踪所述视频数据中的运动目标;
步骤303、提取所述运动目标的特征信息;以及,
步骤304、依据监控分析需求,将多个视频采集设备的监控区域中,相应运动目标的特征信息进行关联,并依据所述关联数据进行分析处理。
在本发明的一种优选实施例中,所述特征信息可以包括运动目标的平移速度信息和图像特征信息,在这种情况下,所述步骤304可以包括以下子步骤:
依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;若是,则生成该运动目标在所述相关联监控区域的跨场景跟踪记录。
更为优选的,所述步骤304还可以包括以下子步骤:
依据所述运动目标跨场景的跟踪记录,估算该运动目标可能进入的监控区域。
在本发明的另一种优选实施例中,所述特征信息可以包括运动目标的平移速度信息和图像特征信息,在这种情况下,所述步骤304可以包 括以下子步骤:
依据所述运动目标的平移速度信息,确定相关联的多个监控区域;
依据所述运动目标的图像特征信息,判断所述相关联监控区域中的运动目标是否相同;若是,则统计该运动目标在所述多个相关联监控区域中的运动参数。
作为另一实施例,所述特征信息可以包括运动目标的物体检测信息,在这种情况下,所述步骤304可以包括以下子步骤:
依据所述运动目标的物体检测信息,确定包含相同特定物体的多个监控区域;
统计所述特定物体在多个监控区域中的滞留时间;
在所述滞留时间超过预设的报警时限时,产生需要报警的视频分析结果。
由于本实施例与图1所示的实施例基本相似,所以描述的比较简单,相关之处参见图1所示实施例的说明即可。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
以上对本发明所提供的一种视频监控系统、一种视频监控服务器及一种视频监控方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。