CN111460246B - 基于数据挖掘和密度检测的实时活动异常人员发现方法 - Google Patents

Abstract

本发明所提供的一种基于数据挖掘和密度检测的实时活动异常人员发现方法，包括：收集热点区域人员活动轨迹信息，获取待检测样本人员库，设定目标人员库；通过采集到的待检测样本人员库和目标人员库挖掘出匹配人员库，继而计算出匹配地址库；提取待检测人员在匹配地址库中的地址，设置合适的阈值半径r和阈值密度n，计算匹配地址库中已匹配人员所在位置半径r范围内密度n`，适用密度检测算法的思想，进行异常人员挖掘。本发明方法能有效处理大批量活动轨迹信息，且响应速度快，可同时监控大量活动轨迹信息，通过引入时间片的设计，每次只需监控相应时间片内采集到的活动轨迹信息，达到实时监控的目标。

Description

基于数据挖掘和密度检测的实时活动异常人员发现方法

技术领域

本发明涉及数据挖掘和机器学习领域，更具体地，是一种基于数据挖掘和密度检测的实时活动异常人员发现方法。

背景技术

异常检测是数据挖掘和机器学习领域的研究热点之一，在现实中有着广泛的应用。异常检测广泛应用于医疗告警、环境监测、入侵检测、软件的用户评价等各领域。

查阅相关资料可以发现，异常检测的方法主要有基于统计的方法、基于距离的方法、基于聚类的方法、基于密度的方法等。许多研究者对上述算法的研究更多的是专注于理论层面，较少结合实际业务场景。本发明采用基于数据挖掘和密度检测的方法，从大量的活动轨迹信息中挖掘对公共安全有威胁的人员。在公共安全领域，会有一些需要特别关注的重点人员，称之为目标人员。通过在热点区域布置监控设备，可以收集到大量的活动轨迹信息，通过活动轨迹一般可以对应到某个具体的人以及该人员的轨迹信息。我们期望通过对相关人员的轨迹进行分析能发现其中的异常行为，从而保障公共安全。

但是，如何从大量的活动轨迹信息中发现目标人员的异常行为还存在以下几个方面的问题：(1)对收集到的人员活动轨迹信息进行处理以挖掘异常行为时，如何缓解对系统资源的消耗；(2)如何做到同时监控多个人员并给出异常行为的告警；(3)如何实时的发现异常人员。

发明内容

为了解决上述问题，本发明提供了一种基于数据挖掘和密度检测的实时活动异常人员发现方法。该方法对采集到的大量活动轨迹信息进行数据清洗，然后通过时间分片的手段和密度检测算法实现实时的异常人员判断。

为了实现上述目的，按照本发明的一个方面，提供了一种基于数据挖掘和密度检测的实时活动异常人员发现方法，包括数据采集、数据清洗、异常人员判断等步骤，其步骤包括：

(S1)通过监控设备，采集经过热点区域人员的活动轨迹，活动轨迹信息主要包括该人员的身份特征、地址、地址的经纬度、时间戳等，身份特征可唯一的标识一个人，转入步骤(S2)；

(S2)设置时间片ΔT₁，将ΔT₁时间片内采集到的活动轨迹，作为待检测的样本人员库(sample_peo_repository)，转入步骤(S3)；

(S3)设定目标人员库(aim_peo_repository)，将待检测样本人员库与目标人员库做对比，以得到最终的匹配人员库(match_peo_repository)，转入步骤(S4)；

(S4)根据匹配人员库中的活动轨迹信息，获取每一个人在当前时间之前的一段时间段ΔT₂内的地址，得到匹配地址库(match_addr_repository)，转入步骤(S5)；

(S5)根据待检测样本人员库，获取ΔT₁时间片内待检测人员的身份特征，根据该身份特征到匹配地址库中查找其在时间段ΔT₂内对应的地址，转入步骤(S6)；

(S6)根据匹配人员库中不同的身份特征，得到每个人员在当前ΔT₁时间片内的地址与其在之前的一个时间段ΔT₂内所有的地址，采用密度检测算法，判别出异常位置，从而发现异常人员，转入步骤(S7)；

(S7)重复步骤(S1)～(S6)，可实现异常人员的实时发现。

进一步地，所述步骤(S2)中时间片ΔT₁的选取及待检测样本人员库的处理方法包括：

(S21)时间片ΔT₁的选取，根据多次实验测试结果表明，选取当前最新时间范围内1～3min；

(S22)待检测样本人员库的数据清洗，对ΔT₁时间片内采集到的人员特征信息进行去重，只保留每个人在ΔT₁时间片内最新的活动轨迹信息。

进一步地，所述步骤(S3)中目标人员库、匹配人员库的处理方法包括：

(S31)设置目标人员库，对目标人员库进行去重处理，进一步地获取目标人员库中所有人员相对应的的身份特征；

(S32)将待检测样本人员库与目标人员库做对比，若待检测样本人员库与目标人员库中某个人员的身份特征一致，则将该人员活动轨迹信息加入到匹配人员信息库中。

进一步地，所述步骤(S4)中时间段ΔT₂的选取以及匹配地址库的处理方法包括：

(S41)时间段ΔT₂的选取，应选取当前时间之前较长的一段时间，一般选取1-2个月；

(S42)根据匹配人员库，得到最终需要关注的每个人员的身份特征，根据该身份特征得到其在ΔT₂时间段内的记录，提取出每个人员所有的地址记录，该地址记录不做去重处理，得到匹配地址库。

进一步地，所述步骤(S6)中，密度检测算法的实现方法包括：

(S61)设置合适的阈值半径r和阈值点个数n；

(S62)根据已匹配人员在时间片ΔT₁内的地址p，时间段ΔT₂内的地址集合M，计算其中的点m到p的距离：

其中m∈M，R为地球半径，φ_m，φ_p分别为点m、p的纬度，Δφ为二者之间的纬度之差，Δλ为二者之间的经度之差；

(S63)统计地址集合M内点m到地址p的距离小于等于r的点的个数n`，n`即为当前地址p的密度，若n`≤n，则该位置为异常位置，该位置所对应的身份特征背后所代表的相关人员为异常人员。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)在实际场景中，每天会收集到大量的活动轨迹信息，据实际测试，数量级会达到百万级别，本发明所提供的一种基于数据挖掘和密度检测的实时活动异常人员发现方法，能有效的处理该场景，且响应速度较快，有效节省系统资源；

(2)可根据用户需求灵活设置目标人员库，同时监控大量的活动轨迹信息，经过数据清洗、预处理等手段去除冗余数据，通过密度算法挖掘出异常人员；

(3)引入时间片的设计，每次只需监控相应时间片内采集到的活动轨迹信息，达到实时监控的目标。

附图说明

图1为本发明实施例流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明提供的一种基于数据挖掘和密度检测的实时活动异常人员发现方法的流程图，其具体步骤如下：

(S1)通过监控设备，采集经过热点区域人员的活动轨迹，活动轨迹信息主要包括该人员的身份特征、地址、地址的经纬度、时间戳等；

(S2)设置时间片ΔT₁，将ΔT₁时间片内采集到的活动轨迹，作为待检测的样本人员库(sample_peo_repository)；

关于时间片ΔT₁的选取，根据多次实验测试结果表明，一般选取当前最新时间范围为1～3min。本例中时间片ΔT₁设置为1min，分别采集了同一天3个不同时间片ΔT₁内的样本人员库，其中下午时段的1min内采集到了130673个人员的活动轨迹信息，对人员活动轨迹进行去重处理，并且保留每个人员在当前1min内最新的活动轨迹信息，得到16915条记录。若未特别说明，下文中均以该下午时段采集到的样本作为示例。

(S3)设定目标人员库(aim_peo_repository)，将待检测样本人员库与目标人员库做对比，以得到最终的匹配人员库(match_peo_repository)；

根据用户需求决定需要重点关注哪些人员，灵活设置目标人员库。目标人员库确定后，对目标人员库进行去重处理，进一步地获取目标人员库中所有人员相对应的的活动轨迹。本例中将目标人员库进行去重后，剩余7892个活动轨迹信息。

将待检测样本人员库与目标人员库做对比，若待检测样本人员库与目标人员库中某个人员的身份特征一致，则将该人员活动轨迹信息加入到匹配人员信息库中。本例中最终得到2072条匹配人员活动轨迹信息。表一展示了某日同一天3个不同时间片的数据处理结果。

表一数据处理

(S4)根据匹配人员库中的活动轨迹信息，获取每一个人员在当前时间之前的一段时间段ΔT₂内的地址，得到匹配地址库(match_addr_repository)；

关于时间段ΔT₂的选取，应选取当前时间之前较长的一段时间，一般选取为1-2个月。本例中选取当前时间之前的1个月，即ΔT₂的跨度为1个月；

根据匹配人员库，得到最终需要关注的每个人员的身份特征，根据该身份特征得到其在ΔT₂时间段内的记录，提取出每个人员所有的地址记录，该地址记录不做去重处理，得到匹配地址库。本例中，得到最终的匹配地址库有95491028条活动轨迹信息；

(S5)根据待检测样本人员库，获取ΔT₁时间片内待检测人员的身份特征，根据该身份特征到匹配地址库中查找其在时间段ΔT₂内对应的地址；

(S6)根据匹配人员库中不同的身份特征，得到每个人在当前ΔT₁时间片内的地址以及其在之前的一个时间段ΔT₂内所有的地址，采用密度检测算法，判别出异常位置，从而发现异常人员；

设置合适的阈值半径r和阈值点个数n，本例中分别设置了阈值半径r＝0.5和r＝1，n＝2，但根据实际测试结果，在本例中r设置为0.5是比较合适的。

根据已匹配人员在时间片ΔT₁内的地址p，时间段ΔT₂内的地址集合M，计算其中的点m到p的距离：

其中m∈M，R为地球半径，φ_m，φ_p分别为点m、p的纬度，Δφ为二者之间的纬度之差，Δλ为二者之间的经度之差。

统计地址集合M内点m到地址p的距离小于等于r的点的个数n`，n`即为当前地址p的密度，若n`≤n，则该位置为异常位置，该位置所对应的身份特征背后所代表的相关人员为异常人员。根据上述算法，计算得到的结果如表二所示。

表二异常人员发现结果

(S7)重复步骤(S1)～(S6)，可实现异常人员的实时发现。

需要注意的是，本例中展示的仅仅是1min内的挖掘结果，可以发现异常人员并不是很多，这也是符合预期的，异常人员毕竟是少数。

总体而言，本发明所提供的一种基于数据挖掘和密度检测的实时活动异常人员发现方法，能有效处理大批量人员的活动轨迹信息，且响应速度较快，极大的节省系统资源；其次，可根据用户需求灵活设置目标人员库，同时监控大量的活动轨迹信息，经数据清洗、预处理等手段去除冗余数据，通过密度算法挖掘出异常人员；最后，通过引入时间片的设计，每次只需监控相应时间片内采集到的活动轨迹信息，能达到实时监控的目标。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于数据挖掘和密度检测的实时活动异常人员发现方法，其特征在于，包括以下步骤：

(S1)通过监控设备，采集经过热点区域人员的活动轨迹，活动轨迹信息包括该人员的身份特征、地址、地址的经纬度以及时间戳，身份特征可唯一的标识一个人，转入步骤(S2)；

(S2)设置时间片ΔT₁，将ΔT₁时间片内采集到的活动轨迹，作为待检测的样本人员库(sample_peo_repository)，转入步骤(S3)；

(S3)设定目标人员库(aim_peo_repository)，将待检测样本人员库与目标人员库做对比，以得到最终的匹配人员库(match_peo_repository)，转入步骤(S4)；

(S4)根据匹配人员库中的活动轨迹信息，获取每一个人在当前时间之前的一个时间段ΔT₂内的地址，得到匹配地址库(match_addr_repository)，转入步骤(S5)；

(S5)根据待检测样本人员库，获取ΔT₁时间片内待检测人员的身份特征，根据该身份特征到匹配地址库中查找其在时间段ΔT₂内对应的地址，转入步骤(S6)；

(S6)根据匹配人员库中每一个不同的身份特征，得到每个人在ΔT₁时间片内的地址及之前的一个时间段ΔT₂内所有的地址，采用密度检测算法，判别出异常位置，从而发现异常人员，转入步骤(S7)；所述步骤(S6)中，密度检测算法的实现方法包括：

(S61)设置合适的阈值半径r和阈值密度n；

(S62)根据已匹配人员在时间片ΔT₁内的地址p，时间段ΔT₂内的地址集合M，计算其中的点m到p的距离：

其中m∈M，R为地球半径，φ_m，φ_p分别为点m、p的纬度，Δφ为二者之间的纬度之差，Δλ为二者之间的经度之差；

(S63)统计地址集合M内一点m到地址p的距离小于等于r的点的个数n`，n`即为当前地址p的密度，若n`≤n，则该位置为异常位置，该位置所对应的身份特征背后所代表的相关人员为异常人员；

(S7)重复步骤(S1)～(S6)，实现异常人员的实时发现。

2.如权利要求1所述的基于数据挖掘和密度检测的实时活动异常人员发现方法，其特征在于，步骤(S2)中，时间片ΔT₁的选取及待检测样本人员库的处理方法包括：

(S21)时间片ΔT₁选取当前最新时间范围为1～3min；

(S22)待检测样本人员库的数据清洗，对ΔT₁时间片内采集到的人员特征信息进行去重，只保留每个人在ΔT₁时间片内最新的活动轨迹信息。

3.如权利要求1所述的基于数据挖掘和密度检测的实时活动异常人员发现方法，其特征在于，步骤(S3)中目标人员库、匹配人员库的处理方法包括：

(S31)根据用户需求决定需要重点关注哪些人员，灵活设置目标人员库，目标人员库确定后，对目标人员库进行去重处理，进一步地获取目标人员库中所有人员相对应的身份特征；

(S32)将待检测样本人员库与目标人员库做对比，若待检测样本人员库与目标人员库中某个人的身份特征一致，则将该人员活动轨迹信息加入到匹配人员信息库中。

4.如权利要求1所述的基于数据挖掘和密度检测的实时活动异常人员发现方法，其特征在于，步骤(S4)中时间段ΔT₂的选取以及匹配地址库的处理方法包括：

(S41)时间段ΔT₂的选取，应选取当前时间之前较长的一段时间，选取为1-2个月；

(S42)根据匹配人员库，得到最终需要关注的每个人员的身份特征，根据该身份特征得到其在ΔT₂时间段内的记录，提取出每个人员所有的地址记录，该地址记录不做去重处理，得到匹配地址库。

Images