CN108733818A - 一种基于多场景多数据源校验的大数据扩样方法 - Google Patents

Abstract

本发明涉及一种基于多场景多数据源校验的大数据扩样方法，本发明对于移动终端大数据进行处理和筛选，由个体所持移动终端和固定传感器之间的通信记录构建出个体出行的时空序列数据集；根据不同的场景类型设计判别规则判别在指定时间段内进出指定场景的个体及其出入次数；获得由第三方仪器测定的指定时间内在指定场景的总人数，将由从个体所持移动终端和固定传感器之间的通信记录挖掘出的个体出入指定场景频次数总和与其对比；不断将新的产生的个体所持移动终端和固定传感器之间的通信记录与第三方仪器监测数据导入分析，采用跨期衰减的方法使用新的扩样参数部分替代旧的扩样参数，实现扩样参数的实时更新。

Description

一种基于多场景多数据源校验的大数据扩样方法

技术领域

本发明涉及一种基于多场景多数据源相互校验获得的不同尺度下匿名加密时间序列定位数据(大数据)的扩样方法。根据匿名加密时间序列定位数据，对其进行处理获取个体出行轨迹，在其中抓取指定时间段内在特定区域的样本，统计其中的个体样本数量与频次；统计由其他数据源获得的该时段内在特定区域内的个体的总数量，从而获得指定时间段内由匿名加密定位数据得到的大数据个体样本的扩样参数；对微观区域内的扩样参数进行加权处理，获得宏观区域内的大数据扩样参数。

背景技术

近年来，随着信息技术的发展，数据信息量呈现爆炸式增长，数据来源越来越多，数据量也越来越庞大。其中，由手机、WIFI、物联网等信息传感器记录的数据已经成为大数据分析中最重要的数据来源，其较为完备的个体出行记录为大数据，尤其是交通大数据分析，提供了很好的数据支持。以手机为例，至2015年，手机用户达到13.06亿，占到总人口的96％以上，手机终端设备持续产生的信号信息，形成了记录用户出行的一系列数据集，为分析城市人群出行、滞留等行为活动提供了重要的数据来源。然而，由移动终端设备产生的数据样本具有极大的有偏性和局限性，即终端设备信令的形成并非来自所有个体，由于多个运营商的存在，以及大量存在同网多卡/异网多卡/无卡等现象，使得单一运营商提供的信令数据难以反映全体样本，因此在大数据的实际应用中通常需要进行扩样。

传统的扩样方法仍较为粗糙，即采用社会统计调查的方法给出静态的外部参数，其调查的成本较高，但得到的参数一般非常宏观，其实现的效果不甚理想，因而扩样方法的缺陷极大地限制了大数据方法的广泛应用。而在现实大数据的产生过程中，某些固定场景存在多种大数据设备同时收集数据的情况(如车站闸机、体育馆检票口、机场安检口等)，这就使得大数据扩样参数可以通过多源数据校验来实现。

发明内容

本发明的目的是：采用多数据源交叉验证，以大数据的形式对大数据样本进行动态实时扩样，获得在不同时间空间尺度下的大数据扩样参数。

为了达到上述目的，本发明的技术方案是提供了一种基于多场景多数据源校验的大数据扩样方法，其特征在于，包括以下步骤：

步骤1、从传感器运营商处获取一定时间范围内的匿名加密移动终端传感器数据，为每个用户构建由个体和固定传感器通信记录构成的初步的个体出行时空轨迹，将固定传感器的地理属性赋予个体出行时空轨迹中的每个通信节点，以此构建个体出行时空数据集；

步骤2、指定待分析的时间段PERIOD和待分析的场景FACI，在场景FACI内布置有第三方仪器，依据个体进出场景FACI时是否需要通过第三方仪器与场景FACI内部的固定传感器进行通信，将场景FACI内部的固定传感器分为两组，其中，个体进出场景FACI时不需要通过第三方仪器就可与分组GROUP1内的固定传感器进行通信，个体进出场景FACI时需要通过第三方仪器才能与分组GROUP2内的固定传感器进行通信；

步骤3、遍历所有个体出行时空数据集，筛选出在时间段PERIOD内与分组GROUP2内的固定传感器发生过通信行为的个体，在筛选出的每个个体的个体出行时空数据集为与GROUP1内的固定传感器及GROUP2内的固定传感器发生过通信行为的通信节点做标注，标注时利用GROUP1内的固定传感器及GROUP2内的固定传感器的编号，随后再次遍历所有个体出行时空数据集，将时间上连续且标注有相同固定传感器的编号的通信节点合并；

步骤4、对合并后的通信节点，根据已标注的通信节点前后的通信节点是否有与GROUP1内的固定传感器发生通信行为的记录，判断当前个体出行时空数据集所对应的个体是否出入当前场景FACI；

步骤5、根据步骤4得到的结果，统计所有个体在时间段PERIOD内在场景FACI内出现的次数，从而在时间段PERIOD内出现在场景FACI内的总人数就是乘上单个个体出现频次的样本数量总和；

步骤6、整理来源于第三方仪器的数据，利用第三方数据统计时间段PERIOD内场景FACI的总客流量；

步骤7、将步骤6得到的总客流量与步骤5得到的总人数进行比较，得到时间段PERIOD内在场景FACI的个体出现数据扩样比；

步骤8、采用步骤2至步骤7相同的方法，得到相同时间段PERIOD内不同场景的个体出现数据扩样比，采用总客流量加权的方法获得包含所有场景的目标区域的个体出行样本数据扩样参数；

步骤9、实时更新各个对应时间段个体出行样本数据集和通过第三方仪器获得的第三方统计数据，利用步骤2至步骤7的方法对各级别的个体出现数据扩样比进行更新，同时挖掘个体出现数据扩样比随时间的变化趋势。

优选地，所述步骤1中，将个体出行时空轨迹的所有通信节点按时间顺序排序，将通信节点与地图进行叠置分析，从而将真实地理信息赋予该通信节点。

优选地，所述步骤6中，获得第三方数据的方法包括以下步骤：

步骤6.1、截取时间段PERIOD内通过第三方仪器所获得的数据；

步骤6.2、利用步骤6.1的数据统计在时间段PERIOD内在场景FACI出现过的人的数量作为第三方数据，包括进入指定场景和离开指定场景的人的数量。

优选地，所述步骤7中，个体出现数据扩样比为步骤6得到的总客流量与步骤5得到的总人数的比值。

优选地，所述步骤8中，设所述个体出行样本数据扩样参数为EXT_RGN，则有：

式(1)中，EXT_SS(i)为第i个场景的个体出现数据扩样比，Popu_TP(i)为通过第三方仪器得到的第i个场景在时间段PERIOD内的总客流量。

优选地，所述步骤9中，对各级别的个体出行样本数据扩样参数进行更新的方法包括以下步骤：

步骤9.1、每间隔时间段PERIOD，利用步骤2至步骤8的方法得到当前采样时刻t的个体出现数据扩样比EXT_SS(i，t)，并利用上一采样时刻t-1的个体出现数据扩样比EXT_SS(i，t-1)采用时序跨期衰减规则，以固定的衰减率不断使用新的个体出现数据扩样比迭代更新旧的个体出现数据扩样比：

式(2)中，为跨期衰减参数。

本发明对于移动终端大数据进行处理和筛选，由个体所持移动终端和固定传感器之间的通信记录构建出个体出行的时空序列数据集，将传感器所在的基本地理信息赋予通信节点；通过筛选提取在指定时间段内在指定场景的个体集合，根据不同的场景类型设计判别规则判别在指定时间段内进出指定场景的个体及其出入次数；整理由分布在指定场景的第三方仪器测定的在指定时间段内的进出场景人数，按照先验的扩样比对其人数统计进行扩样，获得由第三方仪器测定的指定时间内在指定场景的总人数，将由从个体所持移动终端和固定传感器之间的通信记录挖掘出的个体出入指定场景频次数总和与其对比，即是运营商大数据对总人数的扩样比；在此基础上采用总人数加权的方法获得大尺度区域范围内的运营商大数据扩样比；不断将新的产生的个体所持移动终端和固定传感器之间的通信记录与第三方仪器监测数据导入分析，采用跨期衰减的方法使用新的扩样参数部分替代旧的扩样参数，实现扩样参数的实时更新。

本发明的优点是：充分依托特定场景内存在的多种可以监测和记录客流量的数据源，即能低成本、便捷地获取指定时间段内在指定场景大致的进出客流量，将其与现有的用户持有的移动终端样本与传感器之间的通信大数据资源进行交叉对比和验证，获取运营商大数据对总客流量的扩样比，从而便捷、高效地进行不同空间时间尺度范围内的大数据扩样工作。

附图说明

图1为本发明的流程图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明的目的是利用移动终端个体在指定时间范围内的空间活动数据集，挖掘大量个体的出行轨迹数据，提取其在指定时间范围内在指定场景的活动信息，通过对指定场景内部的固定传感器分组，判断其是否进出过该指定场景，统计在指定时间段内出入指定场景的总人数；将此统计人数与由第三方仪器监测到的出入指定场景的总人数进行对比，获得运营商大数据在该时间段内在该场景的扩样比；通过总人数加权的方式获得大区域范围内运营商数据总体的扩样参数；采用跨期衰减的方式不断采用新的数据计算新的扩样比，并逐步替换旧的参数。

为了达到上述目的，本发明提供了一种多源数据校验的运营商大数据扩样方法。本发明利用通信网络中已有海量匿名移动终端持续的加密位置信息，即能低成本、自动化、便捷地获取指定时间范围内指定场景的活动信息，以此对海量个体在指定场景的出入情况进行分析和判别；从而利用第三方人数统计数据对由运营商数据获得的人口统计进行校验，得到指定时间段内指定场景的运营商大数据扩样参数，此为基础得到大空间尺度上的总体扩样参数，并进行实时的参数更新，具体包括以下步骤：

步骤1、在指定时间段内(如每小时或每天等)，从传感器运营商处获取匿名加密移动终端传感器数据，提取每个用户(以下称为“个体”)的出行数据，将固定传感器的地理属性赋予时空序列中的每条通信记录，以此构建每个个体的个体出行时空数据集，包括以下步骤：

步骤1.1、从传感器运营商获取匿名后的个体加密移动终端传感器数据，构建由个体和固定传感器通信记录构成的初步的个体出行时空轨迹。个体和固定传感器之间通讯记录的提取公开在申请号为201710535039.7的中国专利中，此处不再赘述。

在本例中，提取得到的用户与传感器的实时信令记录数据如表1所示：

表1：解密后新接收的实时信令记录数据

RECORDID	EPID	TYPE	TIMESTAMP	REGIONCODE	SENSORID
						......	......	......	......	......	......
R1057	E1	T2	2017-07-20 15:11:43	9880	7645
						R1058	E1	T2	2017-07-20 15:26:23	9880	7631
R1059	E1	T2	2017-07-20 15:42:42	9880	2311
						R1060	E1	T1	2017-07-20 15:57:12	9880	6181
R1061	E1	T1	2017-07-20 16:05:23	9880	6181
						R1062	E1	T1	2017-07-20 16:11:11	9880	6181
R1063	E1	T2	2017-07-20 16:24:09	9880	5739
						......	......	......	......	......	......

步骤1.2、根据个体出行时空轨迹，将通信节点按时间顺序排序，并将通信节点与地图进行叠置分析，将真实地理信息赋予该通信节点。在本实施例中，赋予地理信息后的用户出行数据集见表2：

表2赋予地理信息后的用户出行数据集

步骤2、将指定时间段PERIOD内的指定场景FACI内部的固定传感器分组；遍历所有个体出行时空数据集，查找时间段PERIOD内出现在场景FACI的个体，记录其用户编号；遍历每个符合条件的个体，判别其行迹是否符合第三方仪器的统计方式；统计其在指定时间内在指定场景出现的频次，包括如下步骤：

步骤2.1、指定待分析的时间段PERIOD和待分析的场景FACI，提取场景FACI的地理位置和类型，查找在场景FACI内不同区域的固定传感器编号。场景FACI内部布置第三方仪器，将场景FACI内的固定传感器分为2组，其中：分组GROUP1内的固定传感器位于场景FACI内或位于场景FACI附近，但个体与分组GROUP1内的固定传感器发生通信行为时不需要通过第三方仪器，即个体进出场景FACI时第三方仪器监测不到；分组GROUP2内的固定传感器位于场景FACI内部，个体需要经过第三方仪器监测才能进入该区域并与分组GROUP2内的固定传感器发生通信行为。在本例中，火车站内的固定传感器分组见表3：

表3火车站内固定传感器分组

步骤2.2、遍历所有个体出行时空数据集，筛选出在时间段PERIOD内，与场景FACI中的分组GROUP2内的固定传感器发生过通信行为的个体。在本实施例中，将场景FACI假定为火车站，且个体与分组GROUP2内的固定传感器发生通信行为的记录见表4：

表4个体与火车站中GROUP为2的固定传感器发生的通信记录

步骤2.3、在个体出行时空数据集上标注与传感器组SENSOR[](传感器组SENSOR[]包括GROUP1和GROUP2)中的传感器发生通信行为的节点，再次遍历在时间段PERIOD内的个体出行时空数据集，将时间上连续且相对应的固定传感器编号一致的通信节点合并。在本例中，合并后的个体出行记录见表5：

表5合并后的个体出行记录

步骤2.4、对合并后的通信节点，根据已标注的通信节点前后的节点的属性进行判定，判别其是否满足出入指定场景的条件，其规则为个体在出行时空序列上，与分组GROUP1的固定传感器和与分组GROUP2的固定传感器发生通信行为的记录在时间上是否连续，若个体在与分组GROUP1中的传感器通信的前后没有与分组GROUP2中的传感器通信，或与分组GROUP2中的传感器通信的前后没有与分组GROUP1中的传感器通信，则该个体都不可能被第三方仪器检测到。根据场景的不同，具体的判别规则也有所差异，以车站、机场、码头、体育馆为例：

若指定场景为车站(地铁站、火车站、汽车站)，则将与检票闸机内到站台的固定传感器(即分组GROUP2的固定传感器)发生通信行为的通信节点标记出来，而判别规则为个体出行时空数据中与分组GROUP2的固定传感器发生通信的前后是否有与在车站内但是在检票闸机和站台外的传感器(即分组GROUP1的固定传感器)发生过通信的记录。

若指定场景为机场，则将与安检口到登机口的固定传感器(即分组GROUP2的固定传感器)发生通信行为的通信节点标记出来，而判别规则为个体出行时空数据中被标注的通信节点前后是否有与在机场内但是在安检口或下客区外的传感器(即分组GROUP1的固定传感器)发生过通信的记录。

若指定场景为码头，则将与安检口到登船口的固定传感器(即分组GROUP2的固定传感器)发生通信行为的通信节点标记出来，而判别规则为个体出行时空数据中被标注的通信节点前后是否有与在码头内但是在安检口或下客区外的传感器(即分组GROUP1的固定传感器)发生过通信的记录。

若指定场景为体育场，则将与体育场内部的固定传感器(即分组GROUP2的固定传感器)发生通信行为的通信节点标记出来，而判别规则为个体出行时空数据中被标注的通信节点前后是否有与在体育馆外的传感器(即分组GROUP1的固定传感器)发生过通信的记录。

在本实施例中，指定场景为火车站，个体在与火车站内与分组GROUP2的固定传感器发生通信的前后，曾与分组GROUP1的固定传感器发生过通信行为(R1058和R1058)，因此样本个体曾经进出过火车站的GROUP1区和GROUP2区，因而可以与第三方数据相互印证。

步骤2.5、依据规则判别个体的出行记录，统计个体在指定时间段内在指定场景内出现的次数，这样在指定时间段内出现在指定场景的总人数就是乘上单个个体出现频次的样本数量总和。在本例中，判定得到指定时间段内个体进出指定场景的总频次为243985人次。

步骤3、整理来源于第三方仪器的数据，利用第三方数据统计时间段PERIOD内场景FACI的总客流量，总客流量即为从第三方统计数据中获得时间段PERIOD内在场景FACI的真实人数，包括以下步骤：

步骤3.1、从第三方仪器获取详细的记录数据，从记录数据中截取时间段PERIOD内第三方仪器所记录的信息集合。

步骤3.2、根据步骤3.1得到的信息集合统计在时间段PERIOD内在场景FACI内出现过的人的数量，包括进入指定场景和离开指定场景。需要注意的是，也存在时间段PERIOD内始终处在场景FACI没有离开，从而没有被第三方仪器记录的人群，但是如果指定时间段足够长，这部分人群的比例非常低，因此对最终的结果不会有太大的影响。

在本例中，同一时间段内，由火车站进站闸机记录下的进站与出战总人数为303652人次。

步骤4、将步骤3得到的总客流量与步骤2得到总频次进行比较，得到时间段PERIOD内在场景FACI的个体出现数据扩样比。利用第三方数据统计多个场景FACI的扩样参数计算，采用总人口加权的方法获得大区域的个体出行数据扩样参数，包括以下步骤：

步骤4.1、提取同一时间段和同一场景内，由步骤2得到总频次和由步骤3得到的总客流量的总人数，其比值即为该时间段内以该场景为代表的运营商大数据扩样比。在本例中，指定时间段内火车站的运营商大数据扩样比为1.4233。

步骤4.2、统计指定时间段内各个场景由第三方仪器记录下的总人数Popu-TP，以其为权重对步骤4.1中获得的各个场景内的个体所持移动终端和固定传感器之间通信记录的大数据扩样比进行加权处理，得到整个大区域的运营商大数据扩样比EXT_RGN：

式(1)中，EXT_SS(i)为第i个场景的个体出现数据扩样比，Popu_TP(i)为通过第三方仪器得到的第i个场景在时间段PERIOD内的总客流量。在本例中，计算得到的大区域运营商大数据扩样比为1.3745。

步骤5、实时更新个体出行数据集和第三方的统计数据，对各级别的个体出行数据扩样参数进行更新，同时挖掘其随时间的变化趋势。

步骤5.1、每间隔PERIOD时间，提取最新的基于固定传感器记录的个体运营商大数据和来自第三方仪器记录的人数，对其进行整理，形成数据文件；

步骤5.2、依据步骤2至步骤4对最新的数据进行处理，得到新的各指定场景和大区域的个体出现数据扩样比；

步骤5.3、采用时序跨期衰减规则，以固定的衰减率不断使用新的扩样比迭代更新旧的扩样比，其公式为：

式(2)中，EXT_SS(i，t)为当前采样时刻t的个体出现数据扩样比，EXT_SS(i，t-1)为上一采样时刻t-1的个体出现数据扩样比，为跨期衰减参数。在本例中，更新后的火车站运营商大数据扩样比更新为1.4034，而大区域总体的扩样比为更新为1.3856。

Claims (6)

1.一种基于多场景多数据源校验的大数据扩样方法，其特征在于，包括以下步骤：

步骤1、从传感器运营商处获取一定时间范围内的匿名加密移动终端传感器数据，为每个用户构建由个体和固定传感器通信记录构成的初步的个体出行时空轨迹，将固定传感器的地理属性赋予个体出行时空轨迹中的每个通信节点，以此构建个体出行时空数据集；

步骤2、指定待分析的时间段PERIOD和待分析的场景FACI，在场景FACI内布置有第三方仪器，依据个体进出场景FACI时是否需要通过第三方仪器与场景FACI内部的固定传感器进行通信，将场景FACI内部的固定传感器分为两组，其中，个体进出场景FACI时不需要通过第三方仪器就可与分组GROUP1内的固定传感器进行通信，个体进出场景FACI时需要通过第三方仪器才能与分组GROUP2内的固定传感器进行通信；

步骤3、遍历所有个体出行时空数据集，筛选出在时间段PERIOD内与分组GROUP2内的固定传感器发生过通信行为的个体，在筛选出的每个个体的个体出行时空数据集为与GROUP1内的固定传感器及GROUP2内的固定传感器发生过通信行为的通信节点做标注，标注时利用GROUP1内的固定传感器及GROUP2内的固定传感器的编号，随后再次遍历所有个体出行时空数据集，将时间上连续且标注有相同固定传感器的编号的通信节点合并；

步骤4、对合并后的通信节点，根据已标注的通信节点前后的通信节点是否有与GROUP1内的固定传感器发生通信行为的记录，判断当前个体出行时空数据集所对应的个体是否出入当前场景FACI；

步骤5、根据步骤4得到的结果，统计所有个体在时间段PERIOD内在场景FACI内出现的次数，从而在时间段PERIOD内出现在场景FACI内的总人数就是乘上单个个体出现频次的样本数量总和；

步骤6、整理来源于第三方仪器的数据，利用第三方数据统计时间段PERIOD内场景FACI的总客流量；

步骤7、将步骤6得到的总客流量与步骤5得到的总人数进行比较，得到时间段PERIOD内在场景FACI的个体出现数据扩样比；

步骤8、采用步骤2至步骤7相同的方法，得到相同时间段PERIOD内不同场景的个体出现数据扩样比，采用总客流量加权的方法获得包含所有场景的目标区域的个体出行样本数据扩样参数；

步骤9、实时更新各个对应时间段个体出行样本数据集和通过第三方仪器获得的第三方统计数据，利用步骤2至步骤7的方法对各级别的个体出现数据扩样比进行更新，同时挖掘个体出现数据扩样比随时间的变化趋势。

2.如权利要求1所述的一种基于多场景多数据源校验的大数据扩样方法，其特征在于，所述步骤1中，将个体出行时空轨迹的所有通信节点按时间顺序排序，将通信节点与地图进行叠置分析，从而将真实地理信息赋予该通信节点。

3.如权利要求1所述的一种基于多场景多数据源校验的大数据扩样方法，其特征在于，所述步骤6中，获得第三方数据的方法包括以下步骤：

步骤6.1、截取时间段PERIOD内通过第三方仪器所获得的数据；

步骤6.2、利用步骤6.1的数据统计在时间段PERIOD内在场景FACI出现过的人的数量作为第三方数据，包括进入指定场景和离开指定场景的人的数量。

4.如权利要求1所述的一种基于多场景多数据源校验的大数据扩样方法，其特征在于，所述步骤7中，个体出现数据扩样比为步骤6得到的总客流量与步骤5得到的总人数的比值。

5.如权利要求1所述的一种基于多场景多数据源校验的大数据扩样方法，其特征在于，所述步骤8中，设所述个体出行样本数据扩样参数为EXT_RGN，则有：

式(1)中，EXT_SS(i)为第i个场景的个体出现数据扩样比，Popu_TP(i)为通过第三方仪器得到的第i个场景在时间段PERIOD内的总客流量。

6.如权利要求1所述的一种基于多场景多数据源校验的大数据扩样方法，其特征在于，所述步骤9中，对各级别的个体出行样本数据扩样参数进行更新的方法包括以下步骤：

步骤9.1、每间隔时间段PERIOD，利用步骤2至步骤8的方法得到当前采样时刻t的个体出现数据扩样比EXT_SS(i，t)，并利用上一采样时刻t-1的个体出现数据扩样比EXT_SS(i，t-1)采用时序跨期衰减规则，以固定的衰减率不断使用新的个体出现数据扩样比迭代更新旧的个体出现数据扩样比：

式(2)中，为跨期衰减参数。