CN106572329A - 视频监控图像精确识别系统 - Google Patents

Abstract

本发明提出了一种应用于视频监控图像的精确识别系统，该系统的功能主要包括通过用户交互指定需要进行自动识别的监控摄像头、监控摄像头成批自动轮询、海上平台上运动目标精确识别、识别结果形成报警记录、报警处置等。系统由三部分组成：前台交互和处理页面、后台控制平台和服务、数据库存储。完成了以下几个功能：底层流媒体获取和显示；视频监控图像精确识别后台服务；视频监控图像精确识别后台控制程序，主要包括监控摄像头选定、识别算法参数设置、识别服务开关管理、报警信息存储及处理。本文档将对整个系统的设计架构、各个功能模块的设计、交互和存储以及web发布页面的设计进行详细描述。

Description

视频监控图像精确识别系统

技术领域

当前，新兴的数字视频监控系统具备极大的发展空间，作为跨学科的新兴研究领域，智能视频分析和监控也是当前国内外科研机构的研究热门之一，众多科研学者着重努力使得数字视频监控系统智能化。如今智能视颜监控无论在军事应用、还是民用公共安全领域都具备不错的前景。

背景技术

近年来，人体动作识别已经成为计算机视觉领域的研究热点，引起了众多学者的关注。随着大数据的兴趣，本文引用了大数据的治理体系包括对大数据的采集、存储、管理、应用的全生命周期的管理，人们希望计算机能够自主的识别并且理解人类的日常动作，使计算机能够和人们更加自然的交流。目前动作识别主要应用于人机交互、医疗保健、智能安防、家居智能等领域。基于视频图像的运动人体目标识别与跟踪的重大意义不仅体现在科学研究中，同样在生活、工业和国防方面也有所体现，实用的产品也已由军用延伸到了民用行业，如超市、商场、车站、银行、道路交通、长途客车、市内公交车等安装的有监控系统的场所。

视频监控图像精确识别系统可以有效的对需要进行安全监控的特殊区域中的异常事件进行自动报警，例如海上作业平台远离陆地、作业环境复杂，人体目标和跟踪技术的应用可以有效地保障作业人员的安全和平台的安全作业。

发明内容

本发明提出了一种快速精确识别人体的算法，根据这个算法开发了一种视频监控图像的精确识别系统。其原理在于通过该系统调用摄像头监控画面，通过系统的后台程序对画面进行处理，识别监控画面中的警报信息，如工作人员没有按照要求穿戴相应的防护服，以及违规做出各种操作、遇到相应一定的危险时，后台程序对监控画面进行识别。当结果中有需要的报警信息时，将报警信息记录到该服务器的数据库中，并将报警信息通过web客户端显示给管理员，留待管理员进行处理。本系统由数据采储层、服务层、功能模块层、交互层四个部分为组成。

1数据采储层

数据采储层包括数据采集设备以及数据存储设备。数据采集设备便是遍布海上工作平台的摄像头装置，全方位覆盖海上工作平台的各个角落。数据存储设备负责对采集的数据进行存储和简单处理。海上平台的摄像头由两级流媒体服务器采集：一级流媒体是中心控制平台，它负责采集各个二级流媒体服务器的视频流；二级流媒体服务器，即各个中心平台流媒体服务器，负责采集它管理的所有海上平台上的视频流。本系统通过调用摄像头监控画面，对监控画面进行截屏，存储临时图像文件。

2服务层

服务层是该系统的灵魂，提出了一种快速精确识别人体姿态的算法。以监控视频为数据源，借助鲁棒性梯度算法，通过计算流场，获得图像光流信息，对提取的各个运动区域进行模板响应的计算，通过消息传递和回传进行人体定位和人体姿态估计，实现多人姿态识别、人员数量统计和人员跟踪。在检测结果中，若出现工作人员未按照规定要求着安全服装或作出违规操作、工作人员遇到危险需要救援等情况时，服务层将生成警报信息，将警报信息存储的服务器的同时，将警报信息上传到web端留待管理人员进行处理。

服务层算法的目的可以通过以下步骤实现：步骤1，获取临时图像文件信息；步骤2，对所需参数进行初始化并赋给相应的值；步骤3，获取数据约束和空间一致性约束的子函数，得到总目标函数；步骤4，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；步骤5，对目标函数进行迭代优化；步骤6，设定光流阈值，截取有效的运动区域；步骤7，对每个运动区域进行滑动窗口检测，计算人体部分模型的响应；步骤8，通过消息传递计算图像中各个位置对人体模型的响应值；步骤9，通过回传对检测到的人体进行身体部分定位；步骤10，计算各个运动区域之间的对应关系，实现多人姿态识别、人员数量统计和人员跟踪。

3功能模块层

本部分将对系统的主要功能模块进行功能设计、界面设计和存储设计。系统主要包含以下几个模块：客户端登录模块、摄像头选择模块，识别算法参数设置模块，识别服务开关管理模块，识别服务模块，报警及处置模块。

系统界面由四部分构成：菜单、摄像头列表树、监控摄像头实时显示、摄像头切换频率参数设置。其中，菜单项由“摄像头选择”、“识别算法参数设置”、“识别服务开关管理”和“帮助”构成。程序自动按平台调用摄像头画面进行精确监控，每隔1分钟自动切换下一组摄像头。参数设置模块可以实现图像缩放比例、目标大小、光流阈值和背景区域等参数设置。并将设置信息存储于数据库。开关设置可以实现是否对该摄像头进行监控和监控开关时间。

3.1客户端登录

该部分实现客户端程序登录及初始化配置参数设置。需要初始化的配置参数有数据库登陆信息、流媒体服务器登陆信息等。

该模块的功能包含验证用户登陆信息、存储数据库和流媒体服务器登陆信息、权限管理、用户登陆日志及查询等。

3.1.1登录信息验证

用户登陆视频监控精确识别系统控制程序的用户名、密码、用户类型(管理员或普通用户)将存储在部署控制程序的平台上，即二级流媒体服务器。

3.1.2权限设置

该系统的用户权限分管理员、普通用户两类。其中管理员可以设置配置信息、设置参数、新增普通用户；普通用户：只具有本地查询权限。

3.1.3配置信息

数据库连接信息和流媒体服务器的登陆信息以配置文件方式，存储于本地安装目录。文件名为config.xml，配置文件存储到“安装路径/config/”。

配置信息内容包括以下内容：

(1)数据库配置信息。数据库的连接信息(IP，SID，用户名，密码等)需要存放到配置文件中。

(2)流媒体配置信息。所需连接的流媒体服务器配置信息，内IP、端口、用户、密码。

(3)用户登录信息存储。作为用户登录日志方式存储，内容包括IP、用户名、进入时间、退出时间，时间到时分秒。

在启动视频监控精确识别程序时，首先出现的是登陆界面。在登录界面通过输入用户名和密码并验证成功后可以登录到主程序。

3.2摄像头选择

海上平台的摄像头安装环境情况各异，例如，并不需要对某些摄像头的监控视频进行自动识别。本系统提供人工选择参与识别的摄像头的功能。一旦完成对摄像头的选择，识别程序只需要对选定的摄像头进行处理。

读取部署控制程序的中心平台连接的摄像头信息，并按照平台和摄像头进行二级选择：由摄像头基本信息选择平台名称，再从平台对应的摄像头中选择相应的摄像头。

图4给出了选择摄像头的界面设计。左侧实现该中心平台对不同采油平台的选择；在选定了采油平台之后，再进行摄像头的选择，其中摄像头可以进行多选。

3.3识别服务

系统主控制界面由需进行识别的平台及其摄像头列表信息和实时视频显示窗口组成。识别程序采用分片执行机制(时间片的大小根据需要处理的摄像头个数计算)，将每个平台作为一组分析对象，每个平台不超过9个摄像头的所有画面并行处理，超过9个的摄像头将以9个为一组成批处理。

本系统的核心算法是对选定的摄像头进行自动轮循和识别，并对识别结果进行存储，以便后期进行处理。主界面显示各平台上的摄像头列表和目前正在自动检测的摄像头的实时监控画面，程序对摄像头进行成批处理。

3.3.1监控画面获取

程序控制主界面显示目前正在处理的各个摄像头的实时监控画面各平台选择的摄像头画面，由程序自动对选定的摄像头画面进行截屏(自动截屏的频率为1秒/次)，截屏的图片存储在“安装目录\tempN”目录下(“N”为1至9之间的一个数值，分别对应屏幕上的9个分屏)。截屏图像命名规则为“摄像头ID_截屏时间.jpg”，处理完成自动清除截屏图像。

3.3.2识别过程

程序自动对截屏图像进行识别。首先，对平台上的运动物体进行提取；然后，针对这些运动区域判断是否是作业人员；针对作业人员判断其劳保穿戴情况。

其中，运动物体检测算法为光流算法，因为该算法鲁棒性比较强，对运动物体的检测比较准确，因此本系统采用该算法。光流算法需要的参数会在参数设置模块中进行设置。作业人员判断采用深度学习算法进行检测。目前的深度学习算法都是基于GPU实现的，GPU对机器的配置要求比较高，因此本系统对这类算法进行改进，使该算法可以在一般的机器上运行和使用。

3.3.3识别结果存储

自动选定摄像头并进行屏幕截屏之后，识别服务对截取画面进行自动检测，如果自动检测程序发现异常，将异常结果图片存储到“安装目录\alarm”，产生报警数据，写入数据库。

异常图片命名规则，“摄像头ID_异常类型_发现时间.jpg”。形成图片需同步至信息中心服务器。

下面是该功能模块的界面设计：

视频监控程序运行在各个中心平台上。每个平台上可以监控不同平台上的摄像头，因此每个平台上的主界面的摄像头列表也不同。

主程序控制界面需要针对不同权限的用户进行具体设计。普通用户无法进行设置参数和开关设置，另外，“监控切换时间片”对普通用户设为无法点击。

3.4识别算法参数设置

该模块实现识别算法参数的设置，并将设置信息存储于数据库。视频监控精确识别算法对自动截取的画面进行缩放，在不损失处理精度的前提下加速处理速度。利用光流算法进行运动物体检测时，涉及到的参数包括运动物体大小、运动幅度的定义(光流阈值)等。设置的参数可以通过点击保存按钮存储到数据库。

该模块负责设置每个监控摄像头获取图像的缩放比例、运动物体目标大小(占像素个数)、认定物体为运动物体的阈值。并且，如果该摄像头已经设置了参数，在选定该摄像头之后设置好的参数也将显示在界面上。

另外，界面需要针对不同权限的用户进行具体设计。普通用户无法进行设置参数，“识别算法参数设置”对普通用户设为无法点击。

该模块的界面设计主要涉及两个方面：设置参数和参数查看。下面我们将分别介绍。

3.4.1参数设置

识别参数设置页面主要由平台及其摄像头列表、选定摄像头实时监控画面、参数设置区域和已设置参数显示信息组成。

3.4.2参数查询

设置好的参数信息可以通过参数显示界面进行显示。操作(或者双击某行信息)：打开当前摄像头对应设置界面。

3.5识别算法开关设置

该模块主要实现摄像头的开关设置，即是否对某个摄像头进行监控，如果监控，可以设置对某个监控摄像头的自动处理时间段。

该模块的功能包括读取摄像头信息，摄像头信息主要包括平台名称、摄像头名称等，对读取的摄像头信息进行列表显示并对摄像头进行开关设置。

3.5.1设置界面

该模块读取摄像头信息后，将摄像头信息列表显示在设置界面左侧；点选摄像头之后，摄像头实时监控画面会在界面的中心部分显示；界面右侧是设置摄像头开关的按钮。

3.5.2查询页面

通过上述方法设置的摄像头开关参数可以通过查询界面进行查询。

3.6帮助

显示软件版本信息。

4交互层

前台Web页面的主要职责是对后台控制程序的设置和处理结果进行显示并为进一步处理提供网页交互界面，方便用户通过页面的形式进行访问和设置。其主要功能包括报警信息显示、报警信息检索、报警信息处理等。前台Web页面可以查询和处理后台服务自动检测到报警信息并对报警信息进行检索和处理。

附图说明

图1为本发明视频监控图像精确识别整体架构示意图；

图2为本发明人体姿态识别算法总体流程图；

图3为本发明客户端登录界面；

图4为本发明流媒体配置信息页面；

图5为本发明摄像头配置信息页面；

图6为本发明视频监控图像精确识别系统主界面；

图7为本发明识别算法参数设置界面设计1；

图8为本发明识别算法参数设置界面设计2；

图9为本发明识别算法开关设置界面设计；

图10为本发明识别算法开关设置查询界面；

图11为本发明报警信息显示页面；

图12为本发明报警信息查看和处置页面；

图13为本发明报警信息检索页面；

具体实施方式

下面将结合本发明实施例中的附图，对本发明中系统的设计进行完整地描述：

如图1所示，本发明视频监控图像精确识别整体架构示意图，本系统由数据采储层、服务层、功能模块层、交互层四个部分为组成。

如图2所示，本发明人体姿态识别算法总体流程图，包括：视频信息获取；参数初始化；数据约束；空间一致性约束；鲁棒性估计；进程到鲁棒性的转换；鲁棒性到进程的转化；计算光流场；图像对各个身体部位的响应；基于信息传递的综合响应计算；基于回传的人体部分定位；单人姿态识别。

如图3所示，本发明客户端登录界面，在启动视频监控精确识别程序时，首先出现的是登陆界面。在登录界面通过输入用户名和密码并验证成功后可以登录到主程序。

如图4所示，为本发明流媒体配置信息页面，对配置信息进行设计。目前数据库配置信息即Oracle数据库连接登录如下：(1)IP地址：10.67.185.113；(2)端口号(默认1521)：1521；(3)数据库名，或者与第2条合并称为“数据源URL”：orcl；(4)用户：hyjkxt

如图5所示，为本发明摄像头配置信息页面，给出了选择摄像头的界面设计。左侧实现该中心平台对不同采油平台的选择；在选定了采油平台之后，再进行摄像头的选择，其中摄像头可以进行多选。

如图6所示，为本发明视频监控图像精确识别系统主界面，视频监控程序运行在各个中心平台上。每个平台上可以监控不同平台上的摄像头，因此每个平台上的主界面的摄像头列表也不同。主程序控制界面需要针对不同权限的用户进行具体设计。普通用户无法进行设置参数和开关设置，另外，“监控切换时间片”对普通用户设为无法点击。其中，监控切换时间片为分配给每个摄像头的处理时间，当前这批摄像头的处理时间片按照这个参数和当前处理的摄像头个数计算。

如图7所示，为本发明识别算法参数设置界面设计1，由识别参数设置页面主要由平台及其摄像头列表、选定摄像头实时监控画面、参数设置区域和已设置参数显示信息组成。

如图8所示，为本发明识别算法参数设置界面设计2，设置好的参数信息可以通过参数显示界面进行显示。操作(或者双击某行信息)：打开当前摄像头对应设置界面。

如图9所示，为本发明识别算法开关设置界面设计，将摄像头信息列表显示在设置界面左侧；点选摄像头之后，摄像头实时监控画面会在界面的中心部分显示；界面右侧是设置摄像头开关的按钮。

如图10所示，为本发明识别算法开关设置查询界面，图9对识别算法开关进行设置之后，通过图10进行查询开关的状态。

如图11所示，为本发明报警信息显示页面，报警信息显示页面通过网址(http://10.67.184.178:8080/spjk/main.jsp)可以进行访问。

如图12所示，为本发明报警信息查看和处置页面，用户点击报警信息进入报警信息查看界面。界面上包含异常报警图片查看、处理操作记录、处理人员记录、备注等信息。

如图13所示，为本发明报警信息检索页面，通过该界面可以对报警信息按摄像头名称、区域、报警类型等进行分类查询，并查看查询结果。

Claims (9)

1.视频监控图像精确识别系统，其特征在于通过该系统调用摄像头监控画面，通过系统的后台程序对画面进行处理，识别监控画面中的警报信息，如工作人员没有按照要求穿戴相应的防护服，以及违规做出各种操作、遇到相应一定的危险时，后台程序对监控画面进行识别。当结果中有需要的报警信息时，将报警信息记录到该服务器的数据库中，并将报警信息通过web客户端显示给管理员，等待管理员处理。该系统包括：

步骤1：分布在平台各处的摄像头对平台进行监控；

步骤2，中心平台流媒体服务器获取摄像头监控画面；

步骤3，将监控画面进行截屏，存储为临时图像文件；

步骤4，后台服务程序自动处理临时图像文件；

步骤5，将自动处理结果中的报警信息存储到该中心平台流媒体服务器的数据库中；

步骤6，将报警信息与信息中心数据库保持同步；

步骤7，报警信息在系统客户端上进行显示，提醒管理员进行处理；

步骤8，管理员通过web服务队报警信息进行处置。

2.如权利要求1通过监控设备遍布海上工作平台，用来采集监控视频。

3.如权利要求1中心流媒体平台通过调用平台监控设备，获取监控视频。

4.如权利要求1将获取的监控视频进行处理，以截图的形式将视频流信息转换成图像信息，保存为临时文件用以检测。

5.如权利要求1自动处理：步骤1，获取临时图像文件信息；步骤2，对所需参数进行初始化并赋给相应的值；步骤3，获取数据约束和空间一致性约束的子函数，得到总目标函数；步骤4，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；步骤5，对目标函数进行迭代优化；步骤6，设定光流阈值，截取有效的运动区域；步骤7，对每个运动区域进行滑动窗口检测，计算人体部分模型的响应；步骤8，通过消息传递计算图像中各个位置对人体模型的响应值；步骤9，通过回传对检测到的人体进行身体部分定位；步骤10，计算各个运动区域之间的对应关系，实现多人姿态识别、人员数量统计和人员跟踪。

6.如权利要求1将数据处理后得到的报警信息存到该流媒体的数据库中，方便调用查看。

7.如权利要求1将报警信息的数据要时刻与主服务器保持同步。

8.如权利要求1当检测数据中遇见违规操作或特殊情况，在客户端进行提示，方便管理员对情况的事实掌握以及应对。

9.如权利要求1管理员根据Web层中对海上工作平台的监控信息，Web网页可以实现报警信息显示、报警信息检索、报警信息处理等功能。