CN110135317A - 基于协同计算体系的行为监控和管理系统和方法 - Google Patents

Abstract

本发明涉及基于协同计算体系的行为监控和管理系统和方法，包括终端模块、边缘模块以及云端服务器；终端模块包括获取目标的视频信息的监控设备及根据所接收的控制命令执行控制动作的执行设备；边缘模块包括与监控设备和执行设备连接、接收监控设备发送的视频信息、并对视频信息进行处理以获得目标的目标特征数据的边缘控制器；边缘控制器还将目标特征数据上传给云端服务器、将目标特征数据进行转换后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至执行设备；云端服务器接收并存储目标特征数据，以及对目标特征数据进行预处理，构建行为预测模型。本发明可避免数据延迟，减轻云端计算负担，加快响应速度。

Description

基于协同计算体系的行为监控和管理系统和方法

技术领域

本发明涉及人体行为监控的技术领域，更具体地说，涉及一种基于协同计算体系的行为监控和管理系统和方法。

背景技术

物联网系统的发展，使视频监控系统在全社会被广泛使用。这些设备主要应用于交通管理、医疗救护、军事监测、以及家庭娱乐中，在校园、银行、机场等一些人群密集的场所应用中也起到了非常重要的安全防范作用。研究表明，利用这些监控视频，通过自动跟踪人体全局(轮廓、边缘)信息或者局部(表情、手势)信息，来对人体行为进行识别，可以对场景内的异常、危险和违法行为进行快速、自动识别，可以有效地提升内容安全管理的水平。然而，基于云计算模型的视频监控技术会存在以下问题：

(1)海量视频传输到云计算中心对网络带宽要求较高，实时性得不到保证；

(2)视频数据处理任务集中在云平台执行，增加了云计算中心视频服务器的处理负担；

(3)存储和管理大量冗余视频数据，增加了存储节点能耗，而现有的云计算相关技术无法做到高效处理海量边缘视频数据。

另外，若采用在末端就近部署人体行为监控与管理系统，则无法与其他弱电设备和系统打通，不能实现设备联运和资源共享。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于协同计算体系的行为监控和管理系统和方法。

本发明解决其技术问题所采用的技术方案是：提供一种基于协同计算体系的行为监控和管理系统，包括：终端模块、边缘模块以及云端服务器；

所述终端模块包括用于获取目标的视频信息的监控设备以及根据所接收的控制命令执行控制动作的执行设备；

所述边缘模块包括与所述监控设备和所述执行设备连接、接收所述监控设备发送的视频信息、并对所述视频信息进行处理以获得所述目标的目标特征数据的边缘控制器；所述边缘控制器还用于将所述目标特征数据上传给所述云端服务器、以及将所述目标特征数据进行转换后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出所述控制命令至所述执行设备；

所述云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述行为预测模型。

其中，所述边缘控制器包括：数据处理模块、行为识别模块和行为应对预案模块；

所述数据处理模块，用于对所述视频信息进行处理以获得所述目标特征数据、并将所述目标特征数据上传给所述云端服务器，以及将所述目标特征数据进行本地存储；

所述行为识别模块，用于对所述目标特征数据进行转化处理、以将所述目标特征数据转化为结构化数据，并利用所述行为预测模型对目标行为进行分析处理；

所述行为应对预案模块，用于将所述行为识别模块输出的分析处理结果与内置的行为应对预案进行比对，获得与所述分析处理结果匹配的行为应对预案，并基于所述获得的与所述分析处理结果匹配的行为应对预案输出相应的控制命令至所述执行设备。

其中，所述数据处理模块，用于对所述视频信息进行处理以获得所述目标特征数据包括：

所述数据处理模块用于对所述视频信息进行冗余视频帧过滤和动态视频流压缩，剔除视频信息中的视频数据中重复的数据或不影响监控结果判断的数据，以获得所述目标特征数据。

其中，所述行为识别模块内置的行为应对预案包括：

出入口控制预案、不良行为警告预案、危险行为警告或制止预案、非法行为监控预案中的任意一种或多种。

其中，所述云端服务器包括：数据库模块和模型构建模块；

所述数据库模块，用于接收所述目标特征数据，并对所述目标特征数据进行存储；

所述模型构建模块，用于对所述目标特征数据进行结构化处理，获得结构化数据，并基于所述结构化数据构建所述行为预测模型。

其中，所述模型构建模块基于所述结构化数据构建所述行为预测模型包括：

划分子模块，用于将所述结构化数据划分为训练数据和验证数据；

训练子模块，用于基于所述训练数据进行预测模型训练，以获得行为预测模型；

验证子模块，用于采用所述验证数据对预测模块进行验证，以提高所述行为预测模型精度。

其中，所述划分子模块具体用于：基于所述训练数据对目标进行运动目标检测训练、运动目标行为表征训练和运动目标行为分类训练。

本发明还提供一种基于协同计算体系的行为监控和管理方法，应用于以上所述的基于协同计算体系的行为监控和管理系统，所述方法包括：

终端模块获取目标的视频信息；

边缘模块对所述视频信息进行处理以获得所述目标的目标特征数据；

云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述目标的行为预测模型；

所述边缘模块对所述目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至所述终端模块，以控制所述终端模块执行控制动作。

其中，所述边缘模块对所述目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至所述终端模块，以控制所述终端模块执行控制动作包括：

所述边缘模块对所述目标特征数据进行转化处理，以将所述目标特征数据转化为结构化数据；

利用所述行为预测模型对目标行为进行分析处理；

根据分析处理结果与边缘模块内置的行为应对预案进行比对，获得与所述分析处理结果匹配的行为应对预案；

基于所述获得的与所述分析处理结果匹配的行为应对预案输出相应的控制命令至所述终端模块，以控制所述终端模块执行控制动作。

其中，云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述目标的行为预测模型包括：

接收所述目标特征数据，并对所述目标特征数据进行存储；

对所述目标特征数据进行结构化处理，获得结构化数据，并基于所述结构化数据构建所述行为预测模型。

实施本发明的基于协同计算体系的行为监控和管理系统和方法，具有以下有益效果：该基于协同计算体系的行为监控和管理系统，包括终端模块、边缘模块以及云端服务器；终端模块包括获取目标的视频信息的监控设备及根据所接收的控制命令执行控制动作的执行设备；边缘模块包括与监控设备和执行设备连接、接收监控设备发送的视频信息、并对视频信息进行处理以获得目标的目标特征数据的边缘控制器；边缘控制器还将目标特征数据上传给云端服务器、将目标特征数据进行转换后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至执行设备；云端服务器接收并存储目标特征数据，以及对目标特征数据进行预处理，构建行为预测模型。本发明通过在终端模块与云端服务器之间增加边缘模块，可以通过边缘模块实现对目标的行为进行识别，使得目标的行为监控和管理在本地完成，不再依赖于云端服务器，进而达到避免数据延迟，减轻云端计算负担，节省带宽资源的目的，加快了紧急事件的响应速度。

进一步地，本发明通过在本发明实现目标行为的识别、监控和管理，既可以实现与其他弱电设备和系统的联通，也可以实现设备联运和资源共享。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例提供的基于协同计算体系的行为监控和管理系统的结构示意图；

图2是本发明实施例提供的基于协同计算体系的行为监控和管理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，图1为本发明提供的基于协同计算体系的行为监控和管理系统的结构示意图。

如图1所示，该基于协同计算体系的行为监控和管理系统包括：终端模块11、边缘模块12以及云端服务器13。

终端模块11包括用于获取目标的视频信息的监控设备111以及根据所接收的控制命令执行控制动作的执行设备112；边缘模块12包括与监控设备111和执行设备112连接、接收监控设备111发送的视频信息、并对视频信息进行处理以获得目标的目标特征数据的边缘控制器；边缘控制器还用于将目标特征数据上传给云端服务器13、以及将目标特征数据进行转换后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至执行设备112；云端服务器13接收并存储目标特征数据，以及对目标特征数据进行预处理，构建行为预测模型。

该行为监控和管理系统通过在终端模块11与云端服务器13之间增设边缘模块12，由该边缘模块12对目标行为进行识别，其目标的行为监控和管理在本地完成而不再依赖于云端服务器13，达到了避免数据延迟、减少云端计算中心的工作量、节省带宽资源的目的，加快了紧急事件的响应速度。

进一步地，本发明利用云端服务器13建立目标的行为预测模型，利用边缘模块12判别监控设备111的监控数据中目标的行为模式，且边缘模块12可以根据视频信息中的目标的行为模式和内置的行为应对预案，对目标的行为进行管理和控制，从而实现了既可以利用云端平台实现数据共享，以可以达到降低云端中心计算、存储和网络带宽需求，加快紧急事件的响应速度的目的。

具体的，本发明实施例中，目标可以为人体，可以是静止的人体，也可以是运动的人体。视频信息主要包括在监控设备111的监控场景内的目标外形特征和行为特征。

监控设备111可以包括视频监控模块，通过该视频监控模块可以用于捕获人体外形特征和行为特征。

执行设备112包括但不限于自动门禁设备、广播设备等。执行设备112接收边缘模块12下发的控制命令后，根据控制命令执行相关控制动作，以实现对人体行为进行约束和/或管理。

边缘控制器包括：数据处理模块121、行为识别模块122和行为应对预案模块123。

具体的，数据处理模块121，用于对视频信息进行处理以获得目标特征数据、并将目标特征数据上传给云端服务器13，以及将目标特征数据进行本地存储。其中，数据处理模块121，用于对视频信息进行处理以获得目标特征数据具体包括：数据处理模块121用于对视频信息进行冗余视频帧过滤和动态视频流压缩，剔除视频信息中的视频数据中重复的数据或不影响监控结果判断的数据，以获得目标特征数据。

通过数据处理模块121对所捕获的视频信息进行处理，可以在保证视频分辨率和帧率的情况下，减小视频文件体积。进一步地，将处理后的视频存储在本地，可以令相关人员随时随地对视频资源进行访问和提取，同时处理后的视频也会上传到云端服务器13进行存储，实现资源共享。

行为识别模块122，用于对目标特征数据进行转化处理、以将目标特征数据转化为结构化数据，并利用行为预测模型对目标行为进行分析处理。

具体的，行为识别模块122将存在本地数据库的目标特征数据转化为结构化数据，并利用从云端服务器13下载的行为预测模型，不断地对场景内目标的行为模式进行实时、动态的分析和判断，以获得相应的分析处理结果，并将所获得的分析处理结果发送给行为应对预案模块123。

行为应对预案模块123，用于将行为识别模块122输出的分析处理结果与内置的行为应对预案进行比对，获得与分析处理结果匹配的行为应对预案，并基于获得的与分析处理结果匹配的行为应对预案输出相应的控制命令至执行设备112。

可选的，行为应对预案模块123内置的行为应对预案包括：出入口控制预案、不良行为警告预案、危险行为警告或制止预案、非法行为监控预案中的任意一种或多种。

具体的，目标以人体为例。

出入口控制预案：

根据人员身份(基于面部识别)和其行进意图(如走向或远离出入口)判定结果，输出控制命令至执行设备112(如闸机、自动玻璃门等设备)，以控制闸机、自动玻璃门等设备开启和关闭。

不良行为警告预案：

行为应对预案模块123输出控制命令，以联动场景内警告设备，对不良行为进行警告制止(如闪烁警示灯、广播提醒等)，保证行为安全管理。

危险行为警告或制止预案：

行为应对预案模块123输出控制命令，联动场景内警告设备，对危险行为进行警告制止(如闪烁警示灯、广播提醒等)；视频监控设备联动，对危险行为者的行动轨迹进行接力追踪监控。

非法行为监控预案：

视频监控设备联动，对非法行为者的行动轨迹进行接力追踪监控；安防监控中心自动将现场画面切换到指定的监视器上显示，对重要的监控画面录像取证；安防监控中心发出警报命令，供安防监控中心内人员进行确认核实。

本发明实施例中，云端服务器13包括：数据库模块131和模型构建模块132。

数据库模块131，用于接收目标特征数据，并对目标特征数据进行存储。通过该数据库模块131对目标特征数据进行存储，可以实现资源共享。

模型构建模块132，用于对目标特征数据进行结构化处理，获得结构化数据，并基于结构化数据构建行为预测模型。

具体的，模型构建模块132可以包括：划分子模块、训练子模块、验证子模块。

划分子模块，用于将结构化数据划分为训练数据和验证数据。

划分子模块具体用于：基于训练数据对目标进行运动目标检测训练、运动目标行为表征训练和运动目标行为分类训练。

训练子模块，用于基于训练数据进行预测模型训练，以获得行为预测模型。

验证子模块，用于采用验证数据对预测模块进行验证，以提高行为预测模型精度。

通过构建目标的行为预测模型，可以给行为识别模块122提供参考依据，以使得行为识别模块122可以根据参考依据实现对目标的行为的识别。

进一步地，构建好的行为预测模块可以通过定期的方式下载到边缘控制器，也可以通过实时下载的方式下载到边缘控制器。

本发明基于协同计算体系的行为监控和管理系统，依据“云+边+端”的协同计算，利用云端服务器13建立人体行为预测模型，利用边缘控制器实现对人体行为的识别和控制，利用终端设备实现人体特征采集和人体行为管理，使得人体行为监控与管理可以在本地完成，不再依赖于云端服务器13，进而实现降低数据延迟、减少云计算中心的工作量和节省带宽资源的效果，加快了事件响应速度。

进一步地，增设边缘控制器后，形成分布式架构拓展云端边际，把被动监控变为主动分析与预警，解决了需要人工处理海量监控数据的问题即边缘控制器通过对视频信息进行预处理，去除冗余信息，使部分或全部视频分析迁移到边缘处，由此降低对云中心计算、存储和网络带宽需求，提高视频中人体行为判别速度和人体行为管控响应的速度。

参考图2，图2为本发明提供的基于协同计算体系的行为监控和管理方法，该方法可以通过本发明实施例提供的基于协同计算体系的行为监控和管理系统实现。

如图2所示，该方法包括以下步骤：

步骤S101、终端模块11获取目标的视频信息。

步骤S102、边缘模块12对视频信息进行处理以获得目标的目标特征数据。

具体的，边缘模块12对视频信息进行冗余视频帧过滤和动态视频流压缩，剔除视频信息中的视频数据中重复的数据或不影响监控结果判断的数据，以获得目标的目标特征数据。

步骤S103、云端服务器13接收并存储目标特征数据，以及对目标特征数据进行预处理，构建目标的行为预测模型。

步骤S104、边缘模块12对目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至终端模块11，以控制终端模块11执行控制动作。

进一步地，步骤S104、边缘模块12对目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至终端模块11，以控制终端模块11执行控制动作具体包括：

步骤S1041、边缘模块12对目标特征数据进行转化处理，以将目标特征数据转化为结构化数据。

步骤S1042、利用行为预测模型对目标行为进行分析处理。

步骤S1043、根据分析处理结果与边缘模块12内置的行为应对预案进行比对，获得与分析处理结果匹配的行为应对预案。

步骤S1044、基于获得的与分析处理结果匹配的行为应对预案输出相应的控制命令至终端模块11，以控制终端模块11执行控制动作。

进一步地，步骤S103、云端服务器13接收并存储目标特征数据，以及对目标特征数据进行预处理，构建目标的行为预测模型具体包括：

步骤S1031、接收目标特征数据，并对目标特征数据进行存储。

步骤S1032、对目标特征数据进行结构化处理，获得结构化数据，并基于结构化数据构建行为预测模型。

进一步地，步骤S1032包括：

子步骤S103-1、将结构化数据划分为训练数据和验证数据。

子步骤S103-2、基于训练数据进行预测模型训练，获得行为预测模型。

具体的，基于训练数据进行预测模型训练包括：对目标进行运动目标检测训练、运动目标行为表征训练和运动目标行为分类训练。

子步骤S103-3、采用验证数据对预测模块进行验证，以提高行为预测模型精度。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于协同计算体系的行为监控和管理系统，其特征在于，包括：终端模块、边缘模块以及云端服务器；

所述终端模块包括用于获取目标的视频信息的监控设备以及根据所接收的控制命令执行控制动作的执行设备；

所述边缘模块包括与所述监控设备和所述执行设备连接、接收所述监控设备发送的视频信息、并对所述视频信息进行处理以获得所述目标的目标特征数据的边缘控制器；所述边缘控制器还用于将所述目标特征数据上传给所述云端服务器、以及将所述目标特征数据进行转换后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出所述控制命令至所述执行设备；

所述云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述行为预测模型。

2.根据权利要求1所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述边缘控制器包括：数据处理模块、行为识别模块和行为应对预案模块；

所述数据处理模块，用于对所述视频信息进行处理以获得所述目标特征数据、并将所述目标特征数据上传给所述云端服务器，以及将所述目标特征数据进行本地存储；

所述行为识别模块，用于对所述目标特征数据进行转化处理、以将所述目标特征数据转化为结构化数据，并利用所述行为预测模型对目标行为进行分析处理；

所述行为应对预案模块，用于将所述行为识别模块输出的分析处理结果与内置的行为应对预案进行比对，获得与所述分析处理结果匹配的行为应对预案，并基于所述获得的与所述分析处理结果匹配的行为应对预案输出相应的控制命令至所述执行设备。

3.根据权利要求2所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述数据处理模块，用于对所述视频信息进行处理以获得所述目标特征数据包括：

所述数据处理模块用于对所述视频信息进行冗余视频帧过滤和动态视频流压缩，剔除视频信息中的视频数据中重复的数据或不影响监控结果判断的数据，以获得所述目标特征数据。

4.根据权利要求2所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述行为识别模块内置的行为应对预案包括：

出入口控制预案、不良行为警告预案、危险行为警告或制止预案、非法行为监控预案中的任意一种或多种。

5.根据权利要求1所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述云端服务器包括：数据库模块和模型构建模块；

所述数据库模块，用于接收所述目标特征数据，并对所述目标特征数据进行存储；

所述模型构建模块，用于对所述目标特征数据进行结构化处理，获得结构化数据，并基于所述结构化数据构建所述行为预测模型。

6.根据权利要求5所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述模型构建模块基于所述结构化数据构建所述行为预测模型包括：

划分子模块，用于将所述结构化数据划分为训练数据和验证数据；

训练子模块，用于基于所述训练数据进行预测模型训练，以获得行为预测模型；

验证子模块，用于采用所述验证数据对预测模块进行验证，以提高所述行为预测模型精度。

7.根据权利要求6所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述划分子模块具体用于：基于所述训练数据对目标进行运动目标检测训练、运动目标行为表征训练和运动目标行为分类训练。

8.一种基于协同计算体系的行为监控和管理方法，应用于权利要求1-7任一项所述的基于协同计算体系的行为监控和管理系统，其特征在于，所述方法包括：

终端模块获取目标的视频信息；

边缘模块对所述视频信息进行处理以获得所述目标的目标特征数据；

云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述目标的行为预测模型；

所述边缘模块对所述目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至所述终端模块，以控制所述终端模块执行控制动作。

9.根据权利要求8所述的基于协同计算体系的行为监控和管理方法，其特征在于，所述边缘模块对所述目标特征数据进行转换处理后，根据行为预测模型对目标行为进行分析处理，并根据分析处理结果输出控制命令至所述终端模块，以控制所述终端模块执行控制动作包括：

所述边缘模块对所述目标特征数据进行转化处理，以将所述目标特征数据转化为结构化数据；

利用所述行为预测模型对目标行为进行分析处理；

根据分析处理结果与边缘模块内置的行为应对预案进行比对，获得与所述分析处理结果匹配的行为应对预案；

基于所述获得的与所述分析处理结果匹配的行为应对预案输出相应的控制命令至所述终端模块，以控制所述终端模块执行控制动作。

10.根据权利要求8所述的基于协同计算体系的行为监控和管理方法，其特征在于，云端服务器接收并存储所述目标特征数据，以及对所述目标特征数据进行预处理，构建所述目标的行为预测模型包括：

接收所述目标特征数据，并对所述目标特征数据进行存储；

对所述目标特征数据进行结构化处理，获得结构化数据，并基于所述结构化数据构建所述行为预测模型。