CN111784966A - 一种基于机器学习的人员管控的方法及系统 - Google Patents

Abstract

本发明提供了一种基于机器学习的人员管控的方法及系统，该方法包括以下步骤：S1，建立人员档案库，包含必要的人员身份标识和数据采集标识；S2，获取警用内部运营商提供的基站采集实时数据以及前端设备采集的实时数据，并对数据进行清洗、过滤，得到无重复、无异常的人员训练数据；S3，基于所述步骤S1的人员档案数据和步骤S2获取的训练数据，基于无监督的孤立森林方法进行模型训练，获取异常检测模型；S4，基于所述步骤S3的训练模型，通过流计算引擎进行实时预测告警，并通过GIS可视化分层展示预警信息，交由警用民警进行处置反馈；S5，基于所述步骤S4的警用民警处置反馈信息，自动更新和修正模型。本发明判断结果准确，充分发挥警用系统多维海量数据的作用，工作效率较高。

Description

一种基于机器学习的人员管控的方法及系统

技术领域

本发明属于物联网大数据技术领域，具体涉及一种基于机器学习的人员管控的方法及系统。

背景技术

随着现代社会经济和网络的迅速发展，城市的前端感知设备不断完善，多个维度的海量数据汇聚到警用系统，依靠相关数据，可以获取人员位置信息，基于此类侦管控工作存在以下缺点：

1、肉眼识别工作效率低下，工作负担较重；

2、不能完全发挥海量多维数据的作用；

3、不能够充分利用计算机自动分析数据，针对相关行为规律进行实时告警；

因此，有必要基于多维海量数据挖掘出一种新的人员管控的方法。

发明内容

本发明的目的是克服现有技术中警用侦查工作利用多维大数据分析人员活动状态不够准确、效率低下的问题。

为此，本发明提供了一种基于机器学习的人员管控的方法，包括以下步骤：

S1，建立包含人员身份标识和数据采集标识的人员档案库；

S2，获取基站以及前端设备采集的实时数据，并对实时数据进行清洗、过滤，得到无重复、无异常的人员的训练数据；

S3，基于所述步骤S1的人员档案数据和步骤S2获取的训练数据，基于无监督的孤立森林方法进行模型训练，获取异常检测模型；

S4，基于所述步骤S3的训练模型，通过流计算引擎进行实时预测告警，并通过GIS可视化分层展示预警信息；

S5，基于所述步骤S4的预警信息进行处置反馈，并自动更新和修正模型。

优选地，所述步骤S1中建立人员档案库包含人员的基本身份信息和前端采集相关特征标识，包括IMSI、MAC以及手机号。

优选地，所述前端设备包括电子围栏、wifi探针中的一种或多种；

所述实时数据包括人员的经度、纬度、时间戳以及采集标识。

优选地，所述步骤S3具体包括：

步骤1：利用训练数据进行异常活跃点检测模型及异常轨迹检测模型训练；

步骤2：设置模型准确率阈值，评估异常活跃点检测模型及异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则返回步骤1继续训练。

优选地，所述步骤S4具体包括：

步骤a：结合模型及流计算引擎，基于设置的告警阈值及告警策略，生成异常信息及异常概率；

步骤b：通过GIS可视化分层展示系统推送的告警信息、告警地点、告警时间、人员日常轨迹及实时异常轨迹；

步骤c：警用民警对告警信息进行处置和应对。

优选地，所述步骤S5具体包括：

步骤aa：基于历史训练数据及最新训练数据，由用户反馈数据判断模型是否合格，如果合格，则更新模型，如果不合格，则不更新模型；

步骤bb：定时替换部署合格的训练模型。

本发明还提供了一种基于机器学习的人员管控的系统，包括：目标明确模块、数据获取模块、模型训练模块以及可视化告警研判模块；

所述数据获取模块用于获取运营商基站采集数据；前端设备包括电子围栏、wifi探针中的一种或多种，并存入大数据平台；

所述目标明确模块用于明确待分析人员，获取人员档案；

所述模型训练模块用于训练人员异常行为检测模型；

所述可视化告警研判模块用于可视化展示异常行为告警信息及后续处置流程。

优选地，所述告警信息包括异常行为类型、异常概率、告警地点、告警时间、人员日常轨迹及实时异常轨迹。

优选地，所述模型训练模块用于获取大数据平台中的人员的训练数据，利用无监督的孤立森林方法进行训练得到相关异常检测模型，设置模型准确率阈值，评估异常活跃点检测模型、异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则继续训练，将训练合格的模型置于流计算引擎中，进行实时异常告警，并将告警信息推送至警用民警用户，根据用户的反馈信息，判断模型是否合格，如果合格，基于历史训练数据及最新训练数据，更新模型，如果不合格，则不更新模型，定时替换部署合格的训练模型。

优选地，所述训练的具体内容包括：

首先，构建一颗二叉树，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支；

然后，在左右两个分支数据中，重复上述步骤，直到满足数据不可再分以及二叉树达到限定的最大深度的条件。

本发明的有益效果：本发明提供的这种基于机器学习的人员管控的方法及系统，基于大数据平台和机器学习算法支撑，获取警用系统中前端设备采集的实时数据，并基于获取的数据，进行异常检测模型训练，利用流计算引擎和异常检测模型，判断人员异常行为，进行实时告警，判断结果准确，充分发挥警用系统多维海量数据的作用，工作效率较高。借助GIS 地图，可视化分层展示告警信息、告警时间、告警地点、异常概率、人员日常轨迹及实时异常轨迹，从而帮助警用民警判断人员行为是否异常，进而达到人员管控目的，提高管控效率，维护社会稳定。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于机器学习的人员管控的方法及系统的流程图；

图2是本发明实施例提供的一种基于机器学习的人员管控的方法及系统的方框原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

如图1所示，本发明实施例提供一种基于机器学习的人员管控的方法及系统，包括以下步骤：

S1，建立人员档案库，包含必要的人员身份标识和数据采集标识。作为数据比对标准。

S2，获取警用内部运营商提供的基站采集实时数据以及前端设备采集的实时数据，并对数据进行清洗、过滤，得到无重复、无异常的人员训练数据；前端设备包括电子围栏、wifi探针中的一种或多种，数据基本单元包含经度、纬度、时间戳以及采集标识，在进行数据清洗、过滤后，存储到大数据平台。

S3，基于所述步骤S1的人员档案数据和步骤S2获取的训练数据，基于无监督的孤立森林方法进行模型训练，获取异常检测模型。具体步骤如下：

步骤1：利用训练数据进行异常活跃点检测模型及异常轨迹检测模型训练；

步骤2：设置模型准确率阈值，评估异常活跃点检测模型、异常聚集检测模型及异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则返回步骤1继续训练。

S4，基于所述步骤S3的训练模型，通过流计算引擎进行实时预测告警，并通过GIS可视化分层展示预警信息，交由警用民警进行处置反馈；具体步骤如下：

步骤1：结合模型及流计算引擎，基于设置的告警阈值及告警策略，生成异常信息及异常概率；

步骤2：通过GIS可视化分层展示系统推送的告警信息、告警地点、告警时间、人员日常轨迹及实时异常轨迹；

步骤3：警用民警对告警信息进行处置和应对。

S5，基于所述步骤S4的警用民警处置反馈信息，自动更新和修正模型。具体步骤如下：

步骤1：基于历史训练数据及最新训练数据，由用户反馈数据判断模型是否合格，如果合格，则更新模型，如果不合格，则不更新模型；

步骤2：定时替换部署合格的训练模型。

下面对上述各步骤进行详细说明。

建立人员档案库包含人员的基本身份信息和前端采集相关特征标识，如IMSI、MAC以及手机号等，由警用民警用户录入；

获取警用内部运营商提供的基站采集实时数据以及前端设备采集的实时数据；前端设备包括电子围栏、wifi探针中的一种或多种，数据基本单元包含经度、纬度、时间戳以及采集标识，在进行数据清洗、过滤后，存储到大数据平台，基本数据元格式如表1：

表1

人员标识	标识类型	时间戳	经度	纬度
					4655324*****341	IMSI	1581584311607	114.2365	30.5642

然后对训练数据即上面的实时数据进行模型训练，构建一颗二叉树，先从人员A训练数据中抽取样本，然后随机选择一个位置信息(经纬度) 特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支。然后，在左右两个分支数据中，重复上述步骤，直到满足条件：数据不可再分(只包含一条数据，或者全部数据相同)以及二叉树达到限定的最大深度，得到人员A的日常轨迹及活跃点分布，进而通过以下计算方法获得异常检测模型：

计算人员A实时数据x的异常分值时，先要估算它在每棵二叉树中的路径长度(也可以叫深度)。具体的，先沿着一棵二叉树，从根节点开始按不同特征的取值从上往下，直到到达某叶子节点。假设二叉树的训练样本中同样落在x所在叶子节点的样本数为T.size，则数据x在这棵二叉树上的路径长度h(x)，用下面公式计算：

h(x)＝e+C(T.size)

公式中，e表示数据x从二叉树的根节点到叶节点过程中经过的边的数目，C(T.size)可以认为是一个修正值，它表示在一棵用T.size条样本数据构建的二叉树的平均路径长度。C(n)的计算公式如下：

其中，H(n-1)可用ln(n-1)+0.5772156649估算，这里的常数是欧拉常数。数据x最终的异常分值Score(x)综合了多棵二叉树的结果：

公式中，E(h(x))表示数据x在多棵二叉树的路径长度的均值，φ表示单棵二叉树的训练样本的样本数，C(φ)表示用φ条数据构建的二叉树的平均路径长度，它在这里主要用来做归一化。从异常分值的公式看，如果数据x在多棵二叉树中的平均路径长度越短，得分越接近1，表明数据x 异常概率越高；如果数据x在多棵二叉树中的平均路径长度越长，得分越接近0，表示数据x越正常；

在一个实施例中，所述步骤S4中，通过流计算引擎和异常检测模型进行实时预测告警，基于设置的异常概率告警阈值，如果超过阈值，则推送告警信息，通过GIS的可视化分层展示预警信息及预警原因，告警基本信息如表2：

表2

异常对象	张**
		检测标识类型	IMSI
检测标识	422525****1231
		异常概率	95％
告警时间	2020-02-13 15:20:36
		告警地点	重庆市****
告警原因	日常活跃点变化

在一个实例中，所述步骤S5由警用民警处置告警后的反馈信息，判断模型是否合格，如果合格，基于历史训练数据及最新训练数据，更新模型，如果不合格，则不更新模型，定时替换部署合格的训练模型；

1、本发明实施例还提供了一种基于机器学习的人员管控的系统，包括：目标明确模块、数据获取模块、模型训练模块以及可视化告警研判模块；

所述数据获取模块用于获取运营商基站采集数据；前端设备包括电子围栏、wifi探针中的一种或多种，并存入大数据平台；

所述目标明确模块用于明确待分析人员，获取人员档案；

所述模型训练模块用于训练人员异常行为检测模型；

所述可视化告警研判模块用于可视化展示异常行为告警信息及后续处置流程；

进一步地，所述目标明确模块建立人员档案库包含人员的基本身份信息和前端采集相关特征标识，如IMSI、MAC以及手机号等；

进一步地，所述数据获取模块获取包括车辆卡口过车数据、运营商基站采集数据；前端设备包括电子围栏、wifi探针中的一种或多种，在进行数据清洗后，存储到大数据平台；

进一步地，所述模型训练模块用于训练异常活跃点检测模型及异常轨迹检测模型及模型的修正与更新，具体方案如下：

基于获取的训练数据，利用无监督的孤立森林方法，进行相关模型训练，得到相关异常检测模型，设置模型准确率阈值，评估异常活跃点检测模型、异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则继续训练，将训练合格的模型置于流计算引擎中，进行实时异常告警，并将告警信息推送至警用民警用户，根据用户的反馈信息，判断模型是否合格，如果合格，基于历史训练数据及最新训练数据，更新模型，如果不合格，则不更新模型，定时替换部署合格的训练模型；

进一步地，所述训练方法为：

构建一颗二叉树，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支。然后，在左右两个分支数据中，重复上述步骤，直到满足条件：数据不可再分(只包含一条数据，或者全部数据相同)以及二叉树达到限定的最大深度；

进一步地，所述异常预测方法为：

计算数据x的异常分值时，先要估算它在每棵二叉树中的路径长度 (也可以叫深度)。具体的，先沿着一棵二叉树，从根节点开始按不同特征的取值从上往下，直到到达某叶子节点。假设二叉树的训练样本中同样落在x所在叶子节点的样本数为T.size，则数据x在这棵二叉树上的路径长度h(x)，用下面公式计算：

h(x)＝e+C(T.size)

公式中，e表示数据x从二叉树的根节点到叶节点过程中经过的边的数目，C(T.size)可以认为是一个修正值，它表示在一棵用T.size条样本数据构建的二叉树的平均路径长度。C(n)的计算公式如下：

其中，H(n-1)可用ln(n-1)+0.5772156649估算，这里的常数是欧拉常数。数据x最终的异常分值Score(x)综合了多棵二叉树的结果：

公式中，E(h(x))表示数据x在多棵二叉树的路径长度的均值，φ表示单棵二叉树的训练样本的样本数，C(φ)表示用φ条数据构建的二叉树的平均路径长度，它在这里主要用来做归一化。从异常分值的公式看，如果数据x在多棵二叉树中的平均路径长度越短，得分越接近1，表明数据x 异常概率越高；如果数据x在多棵二叉树中的平均路径长度越长，得分越接近0，表示数据x越正常；

进一步地，所述可视化告警研判模块展示实时异常行为告警信息，包含异常行为类型(活跃点变化、日常轨迹偏离)、异常概率、告警地点、告警时间、人员日常轨迹及实时异常轨迹，通过GIS可视化分层展示，供侦查管控。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

与现有技术相比，本发明具有以下有益效果：

本发明提供的这种基于机器学习的人员管控的方法及系统，基于大数据平台和机器学习算法支撑，获取警用系统中前端设备采集的实时数据，并基于获取的数据，进行异常检测模型训练，利用流计算引擎和异常检测模型，判断人员异常行为，进行实时告警，判断结果准确，充分发挥警用系统多维海量数据的作用，工作效率较高。借助GIS地图，可视化分层展示告警信息、告警时间、告警地点、异常概率、人员日常轨迹及实时异常轨迹，从而帮助警用民警判断人员行为是否异常，进而达到人员管控目的，提高管控效率，维护社会稳定。

以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (10)

1.一种基于机器学习的人员管控的方法，其特征在于，包括以下步骤：

S1，建立包含人员身份标识和数据采集标识的人员档案库；

S2，获取基站以及前端设备采集的实时数据，并对实时数据进行清洗、过滤，得到无重复、无异常的人员的训练数据；

S3，基于所述步骤S1的人员档案数据和步骤S2获取的训练数据，基于无监督的孤立森林方法进行模型训练，获取异常检测模型；

S4，基于所述步骤S3的训练模型，通过流计算引擎进行实时预测告警，并通过GIS可视化分层展示预警信息；

S5，基于所述步骤S4的预警信息进行处置反馈，并自动更新和修正模型。

2.根据权利要求1所述的基于机器学习的人员管控的方法，其特征在于：所述步骤S1中建立人员档案库包含人员的基本身份信息和前端采集相关特征标识，包括IMSI、MAC以及手机号。

3.根据权利要求1所述的基于机器学习的人员管控的方法，其特征在于：所述前端设备包括电子围栏、wifi探针中的一种或多种；

所述实时数据包括人员的经度、纬度、时间戳以及采集标识。

4.根据权利要求1所述的基于机器学习的人员管控的方法，其特征在于，所述步骤S3具体包括：

步骤1：利用训练数据进行异常活跃点检测模型及异常轨迹检测模型训练；

步骤2：设置模型准确率阈值，评估异常活跃点检测模型及异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则返回步骤1继续训练。

5.根据权利要求1所述的基于机器学习的人员管控的方法，其特征在于，所述步骤S4具体包括：

步骤a：结合模型及流计算引擎，基于设置的告警阈值及告警策略，生成异常信息及异常概率；

步骤b：通过GIS可视化分层展示系统推送的告警信息、告警地点、告警时间、人员日常轨迹及实时异常轨迹；

步骤c：警用民警对告警信息进行处置和应对。

6.根据权利要求1所述的基于机器学习的人员管控的方法，其特征在于，所述步骤S5具体包括：

步骤aa：基于历史训练数据及最新训练数据，由用户反馈数据判断模型是否合格，如果合格，则更新模型，如果不合格，则不更新模型；

步骤bb：定时替换部署合格的训练模型。

7.一种基于机器学习的人员管控的系统，其特征在于，包括：目标明确模块、数据获取模块、模型训练模块以及可视化告警研判模块；

所述数据获取模块用于获取运营商基站采集数据；前端设备包括电子围栏、wifi探针中的一种或多种，并存入大数据平台；

所述目标明确模块用于明确待分析人员，获取人员档案；

所述模型训练模块用于训练人员异常行为检测模型；

所述可视化告警研判模块用于可视化展示异常行为告警信息及后续处置流程。

8.根据权利要求7所述的基于机器学习的人员管控的系统，其特征在于：所述告警信息包括异常行为类型、异常概率、告警地点、告警时间、人员日常轨迹及实时异常轨迹。

9.根据权利要求7所述的基于机器学习的人员管控的系统，其特征在于：所述模型训练模块用于获取大数据平台中的人员的训练数据，利用无监督的孤立森林方法进行训练得到相关异常检测模型，设置模型准确率阈值，评估异常活跃点检测模型、异常轨迹检测模型的模型准确率，如果超过阈值，则生成对应模型的预测模型标记语言文件，如果低于阈值，则继续训练，将训练合格的模型置于流计算引擎中，进行实时异常告警，并将告警信息推送至警用民警用户，根据用户的反馈信息，判断模型是否合格，如果合格，基于历史训练数据及最新训练数据，更新模型，如果不合格，则不更新模型，定时替换部署合格的训练模型。

10.根据权利要求9所述的基于机器学习的人员管控的系统，其特征在于，所述训练的具体内容包括：

首先，构建一颗二叉树，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支；

然后，在左右两个分支数据中，重复上述步骤，直到满足数据不可再分以及二叉树达到限定的最大深度的条件。

Images