CN102281498A - 手机通话数据中用户通勤od的挖掘方法 - Google Patents

Abstract

本发明公开了一种手机通话数据中用户通勤OD的挖掘方法，包括1)将手机通话数据处理为包含手机号、通话基站位置和开始通话时间的数据格式；2)统计设定时间段内每个手机号在不同通话基站位置的通话次数；3)合并覆盖范围重叠的邻近通话基站为一个基站区，统计每个手机号在基站区的通话次数；4)根据每个手机号在基站区的通话次数确定所述手机号的用户的居住地和工作地，通话次数高的基站区为用户的居住地或工作地。本发明的方法可以获得大规模人群的通勤OD信息，覆盖范围广；由于使用的数据是手机通话数据，代价低廉；由于以基站为位置单位，而基站的覆盖范围较小，因此获得的数据信息比传统通勤OD调查的方法获得的信息粒度细。

Description

手机通话数据中用户通勤OD的挖掘方法

技术领域

本发明属于计算机技术及移动通信技术领域，涉及利用移动通信数据挖掘用户通勤OD的方法。

背景技术

通勤出行是城市居民最基本和最重要的出行，它是由居住地和工作地的空间分离而产生的出行，是工业化社会的必然现象。相对于其他出行，通勤出行在时间和空间上具有更大的恒定性，其时间安排影响城市居民的其它活动和出行。因此在某种意义上，通勤出行是其它活动的基础。特别是随着城市居民就业范围的扩大，通勤出行呈现出数量规模化，形式复杂化，时间和空间集中化的特点。时空集中化形成的城市早、晚高峰的交通拥堵，已成为城市交通最突出的问题之一，并制约着社会和经济的进一步发展。通勤出行的研究能够对城市交通规划、建设和管理提供理论支持，具有非常重要的意义。

传统上，出行研究主要基于人工调查的数据，如居民出行调查数据。人工调查数据具有获取直接有效，数据属性丰富等优点，但是它的缺点也十分明显：

1.抽样率低，样本量小。城市人口众多，中等规模的城市人口一般都在五百万左右。抽样调查很难全面覆盖城市地区，因此抽样调查通常局限在局部地区和人口上。

2.调查过程繁琐，代价高昂。交通调查需要耗费大量的人力物力财力，即使是部分城市人口，要调查几万人的交通出行数据往往需要耗费几万甚至几十万的资金。而且由于交通调查周期性的问题，大规模的交通调查需要周期性进行，所以此类调查数据需要重复获取，花费的人力物力更加严重。

3.主观性强，数据偏差较大等等。由于调查的结果是被调查者的主观数据，数据中存在由于调查者的失误，被调查者不配合等造成的数据主观误差。另外，由于调查通常局限于城市部分地区，调查结果应用于其他地区时由于发生地区差异性等原因，无法直接应用，或者误差较大。

此外，还有利用新型的GPS数据获取用户通勤OD(居住地与工作地)的方法。此类方案利用GPS装置的强大定位功能，通过GPS装置记录自己的位置点，周期性(1分钟-1小时范围)记录位置点信息。根据位置点信息获取用户在白天和夜晚停留时间较长的位置点，并从中得到用户居住地与工作地信息。这种方案的优点是用户的位置信息较为精确。但它的缺点也是十分明显的，由于GPS装置在市场上的普及率还不是很高，因此用户范围具有局限性。而且由于使用GPS的用户具有自身的特点，该方法只能局限于部分人群，覆盖范围小。另外，GPS装置的价格也是比较高的。

手机通信已成为人们日常沟通交流的最重要方式，特别是在大城市中，手机的普及率已经非常之高，几乎人手一部。手机通话数据是由运营商记录的居民用手机进行通话时产生的数据，它包含了居民活动非常丰富的时空属性，如通话的位置和时间等。随着信息技术的发展，特别是个人移动设备的普及和定位技术的成熟，通过机器自动获取居民出行数据成为一种可能。相比于传统的人工调查，通过机器获取出行数据具有明显的优势，特别是在样本量、客观性、成本、更新周期等方面。

发明内容

本发明的目的是从移动手机运营商由于计费需要而记录的计费数据挖掘出城市大规模人群的通勤OD(居住地与工作地)信息。一方面，由于手机的普及，该发明发现的城市大规模人群的通勤OD信息是覆盖城市绝大部分人群的，覆盖率广；另一方面，由于手机通话数据是移动手机运营商由于计费需要而记录的数据，在此数据集上开展的数据挖掘工作基本没有额外代价，属于手机通话数据的副产品。

本发明的原理是通过移动运营商获取由于计费需要而记录的手机通话数据。由于手机的普及，手机通话数据是海量而且覆盖城市大部分人群的。用户的手机通话数据记录了用户通话的基站号和时间这两个对于发现用户的通勤OD至关重要的属性。用户通话的基站号可以通过每个基站的具体位置对应到位置点中。由于城市中，手机基站范围有限，最后发现的用户通勤OD也是比较精确的。手机通话数据记录了用户的位置和时间信息。另一方面，用户的通话行为也是存在时空规律的。从长期来看，用户在停留时间长的地方接打电话多于停留时间短的地方。因此，可以通过手机用户的通话数据发现用户在日常行为中停留时间较长并具有明显时空规律的位置点，并根据时间区分用户的通勤OD。当然，在其中也会遇到相邻基站的干扰，用户通话行为随机等问题的影响，需要用空间优化和时间优化方法加以解决。

本发明的具体技术方案是：

本发明对手机通话数据的处理主要分为四步：数据预处理，通话位置次数统计，空间合并优化，时间合并优化。

1.将手机通话数据处理为包含手机号，通话基站位置和开始通话时间的数据格式；

数据预处理的目的是将由于计费需要记录的手机通话数据处理成发现城市大规模人群通勤OD所需的数据形式(也可以称为数据预处理)。

原始的手机通话数据集是庞大的，有很多与发现城市大规模人群通勤OD无关的属性。在数据预处理阶段以后，只保留了对发现城市大规模人群通勤OD有关的数据，大大减小了数据冗余，对提高后面工作的效率有很大的帮助。

2.统计设定时间段内每个手机号在不同通话基站位置的通话次数；

通话位置次数统计的目的对预处理完的数据合并较长时间段的用户手机通话数据，统计手机用户在每个不同的位置点(以基站号的形式表示)的通话次数。

在预处理完的数据上，统计每个用户的所有通话数据。由于通话行为较为稀疏，需要合并用户在一定时间段的所有通话数据。在较长时间段的通话数据中，每个用户暴露自己位置的次数大大增加，而且时空行为更加具有规律性。通话数据以通话位置点(基站号)为单位，统计在每个基站的通话次数。

3.合并覆盖范围重叠的邻近通话基站为一个基站区，统计每个手机号在该基站区的通话次数；

空间合并优化的目的是将由于基站覆盖范围重叠而导致的用户在同一个位置点的记录被分布在不同位置，需要将分散记录合并为同一个位置区的记录。

4.根据每个手机号在基站区的通话次数确定所述手机号的用户的居住地和工作地，通话次数高的基站区为用户的居住地或工作地。

通话频率高的位置区显示用户在此地区驻留的时间长，因此可以就此判断用户的居住地和工作地。

进一步，为了使通勤数据更为准确，需要在空间优化的基础上对通话次数进行时间上的优化，优化后的通话次数为：

优化后通话次数＝基站区通话次数*通话频率*通话次数下限

其中，通话频率是所述手机号在一个位置区发生通话的天数占设定时间段天数的比例；通话次数下限是所述手机号在所述位置区发生通话的各天中每天通话次数的最低值。

时间合并优化的目的是利用手机通话用户行为的时间规律对通话次数这一简单的变量进行修正，使通话次数统计更符合用户的时空规律，进而发现的通勤OD也更为准确。

时间合并优化是在空间合并优化后的数据上进行的。时间合并优化提出了两个指标一个是位置区通话频率，也就是一个位置区发生通话的天数占总数据天数的比例。另一个是位置区通话次数下限，定义为在一个位置区每天通话次数的最低值(不包括无通话的天数)。这两个指标相当于通话次数的权重，新的通话频率按照通话次数*通话频率*通话次数下限来表示。时间合并优化以后，可以得到每个用户在每个位置区的通话效率。

所述手机号为加密后的手机号。用户隐私是手机通话数据的一个重要问题。用于计费需要的手机通话数据也是经过加密的，加密后的用户手机号只用于区分用户，无法判断是具体用户的属性，很好的符合了用户隐私的要求。

通过从手机通话数据中提取手机号、通话基站位置和开始通话时间的属性段来处理手机通话数据。数据预处理阶段，首先从原始数据中提取出需要的属性段。需要的属性段包括：手机号，通话基站位置(基站号)，通话时间。

进一步，统计三个月或三个月以上的每个手机号在不同通话基站位置的通话次数。如果统计的时间段过短，可能会导致通话次数较少而缺乏规律性，因此通过大量的数据分析申请人认为三个月为统计的最少时段。

进一步，由于有些手机号在较长时间段内的通话次数非常少，不具有统计学上的意义，需要过滤掉这样的手机号。因此，在统计设定时间段内任意手机号在不同通话基站位置的通话次数后，过滤通话次数少于阈值的手机号。有些用户的通话数据十分稀疏，在几个月中也只有少量通话。这部分通话极少的用户的信息由于不完全，无法准确发现通勤OD，需要被过滤。

所述统计基站区通话次数的方法为：

A、采用VORONOI图的方法判断基站之间的邻接关系；

B、对具有邻接关系的各基站确定其相互间中心位置间的距离；

C、合并中心位置间距离小于阈值的各基站为一基站区；

D、将同一基站区中的各通话基站的通话次数进行累加获得该基站区的通话次数。空间合并优化的主要步骤是先发现相邻的基站，然后对相邻基站的记录作合并。实际中，基站的覆盖位置是很难确定的。通常可以采用VORONOI图的方法判断基站之间的邻接关系。同时，由于合并后基站区的范围会变大，需要控制基站区的范围以免影响精度。因此，本发明加上了距离限制，控制基站区范围。发现相邻基站后，将同一基站区的所有基站的通话次数累加到新的基站区中。

所述通话基站的合并是按照每个基站通话次数的大小从大到小进行合并。

所述通话时间在晚上10点到第二天早上6点，且通话效率高的位置区为所述手机号用户的居住地；所述通话时间早上9点到下午16点，且通话效率高的位置区为所述手机号用户的工作地。按照日常行为规律，将晚上10点到第二天早上6点定义为在家的时间段，统计这个时间段内通话频率最高的位置区作为用户的居住地；将早上9点到下午16点定义为工作的时间段，统计这个时间段内通话频率最高的位置区作为用户的工作地。

本发明的优点和积极效果：

本发明利用手机通话数据发现城市大规模人群的通勤OD信息。它的主要优点有以下几个方面：

1.获得信息的覆盖范围广，使用意义重大。由于手机的普及，使用手机的用户基本上可以覆盖城市中的大部分人群。有研究表明，手机用户对城市人口的普及率已经超过了人均0.9。因此，采用本发明的技术方案得到的城市人群通勤OD的结果比使用交通抽样调查或GPS数据有着重要的优势就是它的覆盖范围广。发现的通勤OD分布结果比其他方法也有更加重要的意义。由于大规模人群信息可以基本上覆盖整个城市，因此不会存在传统通勤OD调查的局域性问题。

2.代价低廉。由于手机通话数据是移动运营商由于计费需要而记录的数据，数据的采集没有额外过程和代价。本发明相当于在已经记录的手机通话数据中进行通勤OD信息发掘工作，是手机通话数据的副产品。所以基本没有代价。如果发现的信息准确可靠，可以节省传统的交通抽样调查带来的人力财力物力消耗。可以节省大笔资金。

3.通勤OD信息粒度细。本发明最后获得的通勤OD基本上是以基站为位置单位的，进行空间合并以后位置区最多也只包含三个基站。在城市中，基站的覆盖范围比较小，覆盖半径大约为50-200米。因此，获得的信息比传统通勤OD调查的方法获得的信息粒度细。

附图说明

图1为本发明实施例中手机通话数据中用户通勤OD的挖掘方法的流程框图；

图2为本发明实施例的方法中的空间合并优化的流程框图；

图3为本发明实施例的方法中的时间合并优化的流程图；

图4是VORONOI示例图。

具体实施方式

如附图1所示，本发明的方法分为四个步骤：分别为数据预处理，通话位置次数统计，空间合并优化，时间合并优化。

1.数据预处理

数据预处理的目的是将由于计费需要记录的手机通话数据处理成发现城市大规模人群通勤OD所需的数据形式(也可以称为数据预处理)。

为了保护用户的隐私，我们得到的原始手机通话记录都是对用户的手机号进行过加密的。原本13位的手机号被表示成20位，该种加密方式加密后的用户手机码只能用于区分用户，不能反向解密用户的真实手机号。所以，所有的用户的信息都受到了保护，用户的隐私不会发生泄漏。数据预处理阶段，初始的手机通话数据中的用户手机号都已进行了加密。因此，以下所有工作都是在加密了的数据上进行操作的。

数据预处理阶段同时也包含数据校验的工作。实际记录的数据可能会存在比如必要字段为空，数据异常等异常。数据校验工作就是发现数据异常，并将异常数据过滤。由于，本方案使用的数据是长期的历史数据，缺失几条异常数据不会对用户的时空行为模式发生重大影响，而相反，异常数据计入可能对时空行为模式的识别产生一定干扰。因此，不使用异常数据是比较合理的方法。

原始的手机通话数据是十分庞大的，包括了通话时间，通话基站等必要属性，以及通话CAUSE值，用户的手机IMEI码等无关信息。通常原始的手机通话数据包括二十多个属性段，实际在用户通勤OD挖掘过程中，只需要使用加密过的手机号，通话时间，通话基站三个主要属性。在数据预处理过程中要做的就是将无关属性过滤，保留这三个主要属性。

加密过的手机号是用于区分用户的标志，每一个加密的字符串标识一个用户。除此以外，加密的手机号不涉及其他用处。通话基站用基站号表示，在城市中基站的覆盖范围大约在半径50-200米的范围内。基站号可以和具体的经纬度坐标对应，就可以确定每个基站的具体位置。通话时间指的是通话开始发生的时间，包含年月日时分秒信息。有了手机号，通话基站和通话时间这三个主要属性，就可以得到每个用户在不同时刻暴露的位置。

数据预处理的结果是只包含手机号，通话基站，通话时间这三个主要属性而且经过数据校验去除数据异常的数据记录集。该数据记录集将供通话位置次数统计使用。

2.通话位置次数统计

通话位置次数统计的目的是针对一个手机用户，统计较长时间段的通话行为，得到用户在每个通话基站接打电话的总次数。

由于手机通话行为是非实时行为，通话数据稀缺。很多用户一天都可能只有一两个通话，所以要发现用户的通勤OD势必要使用长期的通话数据。在较长时间段的通话数据中，每个用户暴露自己位置的次数大大增加，而且时空行为更加具有规律性。使用长期的通话数据可以补足用户通话数据稀缺导致的位置点暴露不频繁的缺点。使用三个月或三个月以上的通话数据，每个人暴露的位置次数大约有接近百次。在这其中寻找用户停留时间较长，并具有明显时间规律的位置点成为可能。

在通话位置次数统计，本方案将通话数据以通话基站为单位，统计在每个基站的通话次数。累加用户在较长时间段中的通话记录。通话位置次数统计得到的是用户在一段时间内不同时间段在每个基站发生通话的次数。

有部分用户在合并了较长时间段的通话数据以后，通话数据仍然十分稀缺，仅仅只有几次或十几次。这部分用户由于通话的随机性的影响太大，可能无法准确识别其通勤OD或者说识别精度较低。因此，需要过滤这部分用户。这类通话十分稀少的用户大约只占全部用户的10％。因此，过滤过滤掉通话次数少于统计天数十分之一的用户。

通话位置次数统计的结果是每个用户在一段历史时间内不同时间段在不同基站发生通话的次数统计。该数据结果供下一阶段空间合并优化使用。

3.空间合并优化

空间合并优化的目的是将由于基站覆盖范围重叠而导致的用户在同一个位置点的记录被分布在不同位置的分散记录合并为同一个位置区的记录。

实际中，基站的覆盖范围受到信号强度，天气，周围干扰等因素时刻在发生变化，不是一个确定值。而且，在同一个位置，手机可以收到来自相邻几个基站的信号。所以，在同一个位置点的通话记录可能会被分散地记录在几个相邻基站中。如果一个用户的工作地同时被三个基站覆盖，那么用户在此发生的通话会随机地分散在三个基站中，这种随机性取决于通话当前各个基站的繁忙程度以及手机与基站之间的信号强弱，因此用户在工作地发生的通话记录会被记录在三个基站中。就单一基站来看，每个基站的通话次数可能都不是那么突出；但由于这三个基站记录的是用户在同一位置点的通话，如果通话次数合并了，那么用户在该位置点的通话就很频繁。因此，本方案对用户的通话次数做了空间上的合并优化，将在相邻位置的通话记录进行合并。

空间合并优化的主要步骤如附图2所示。空间合并的顺序是按照通话位置次数统计得到的用户在各个基站的通话次数大小从大到小进行合并。对于两个基站，判断它是否可以被合并需要满足两方面条件。第一，这两个基站需要满足空间邻近关系。通常用VORONOI图来表示基站的空间位置关系。图4是VORONOI图的一个示例。由VORONOI图可以得到两个基站在空间上是否相邻。第二，这两个基站需要满足距离邻近关系。计算两个基站位置中心的距离，如果小于距离阈值，该阈值可以根据实际数据分析需要的粒度来确定，在此例中可设定为1km，则可以认定两个基站满足距离邻近。对同时满足空间邻近和距离邻近的两个基站，他们的通话次数可以合并，通话次数累加。并用新的基站区ID表示这两个基站。

空间合并优化容易出现的问题是，相邻基站过多，导致新的基站区范围过大，结果粒度变粗。但是，由于基站可以合并需要同时满足空间邻近和距离邻近，条件较为严苛。而且，如果是一个基站要和基站区(已经有两个基站合并成的)合并，需要这个基站同时与基站区中的每个基站满足空间邻近和距离邻近关系。因此，得到的基站区还是限定在一个小范围内的(至少在一个基站半径为距离阈值的范围内)。实际结果中显示，合并的基站区最多只可能包括三个基站。

空间合并优化的结果是每个手机号设定时间段在不同基站区(合并相邻基站后)发生通话的次数。该数据结果供时间合并优化使用。

4.时间合并优化

时间合并优化的目的是利用手机通话用户行为的时间规律对通话次数这一简单的变量进行修正，使通话次数统计更符合用户的时空规律，进而发现的通勤OD也更为准确。

实际中，用户的通话具有随机性。由于一些紧急的事情，用户可能在相邻的时间内在一个位置发生很多次通话，比如聚会，会议等。所以，简单地使用次数作为判断用户在一个位置停留时间或者活动频繁度的标准可能不够准确。

时间合并优化是在空间合并优化后的数据上进行的。时间合并优化的具体过程如图3所示。时间合并优化提出了两个指标。

一个是位置区通话频率，位置区通话频率定义为一个位置区发生通话的天数占总数据天数(即设定时间段的天数)的比例。通话频率用来刻画位置区是否具有明显时间规律。如果通话频率很大，则代表很多天甚至每天都在位置区发生通话，则此位置区具有明显的时间规律，有可能是用户的通勤OD。相反，如果通话频率很低，则代表在此位置点发生通话是随机行为，不具有明显时间规律，因此该位置区不应该是用户的通勤OD。对于大部分用户而言，几乎每天都会在OD发生通话，因此这些位置点的通话频率较大。

另一个是位置区通话次数下限，位置区通话次数下限定义为在一个位置区每天通话次数的最低值(不包括无通话的天数)。通话次数下限用来刻画位置区的停留时间。如果通话次数下限较大，则说明在此位置区每天发生通话的次数都较多，从而代表在此位置区的停留时间较长。相反，如果通话次数下限较低，则说明在此位置区停留时间较短，没有发生很多的通话。通话次数下限必须以通话频率作为前提，通话频率较大时，通话次数下限才有意义，否则一次随机的多次通话也会有较大的通话次数下限。

这两个指标相当于通话次数的权重，优化后的通话次数按照通话次数*通话频率*通话次数下限来表示，优化后的通话次数可以称为通话频繁度。

5、根据通话频繁度就可以确定该手机号对应的用户的居住地和工作地，通话次数高的基站区就是用户的居住地或工作地。

按照一般日常行为规律，将晚上10点到第二天早上6点定义为在家的时间段，统计这个时间段内通话频繁度最大的位置区作为用户的居住地；将早上9点到下午16点定义为工作的时间段，统计这个时间段内通话频繁度最大的位置区作为用户的工作地。在家和工作的时间段是一个时间阈值，可以根据不同的需要进行动态调整，比如可能是上夜班的人的规律就需要重新调整这个时间阈值。

时间合并优化产生的最终结果就是每个用户的通勤OD信息，将它存入数据库中就可以用于以后的进一步分析与应用。

以上就是如何从原始的手机通话数据中发现城市大规模人群的通勤OD方法的具体实施方式。

下面是本发明的具体算法流程：

输入：每个用户的通话数据T，T＝{<手机号，通话基站，通话时间>}

输出：每个用户的居住地和工作地泊点，即OD泊点

时空改进方法：

1.对每个手机号

2.(条件筛选)如果用户通话次数小于统计天数十分之一，该用户被过滤

3.将通话数据分为两个集合，Tday和Tnight，分别代表白天和夜晚的通话数据。

4.分别对Tday和Tnight通话数据进行以下处理

5.将通话数据按照通话基站进行划分，计算每个通话基站在设定时间内的通话次数

6.(空间改进)将基站按通话次数从大到小排列，然后进行空间合并，形成新的通话位置点。

7.(时间改进)根据通话周期性，计算每个位置点的通话频繁度

8.将Tday和Tnight数据中通话频繁度最大的位置点作为D和0，即工作地和居住地。

9.输出每个用户的通勤OD。

Claims (10)

1.一种手机通话数据中用户通勤OD的挖掘方法，包括如下步骤：

1)将手机通话数据处理为包含手机号、通话基站位置和开始通话时间的数据格式；

2)统计设定时间段内每个手机号在不同通话基站位置的通话次数；

3)合并覆盖范围重叠的邻近通话基站为一个基站区，统计每个手机号在基站区的通话次数；

4)根据每个手机号在基站区的通话次数确定所述手机号的用户的居住地和工作地，通话次数高的基站区为用户的居住地或工作地。

2.根据权利要求1所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，进一步优化基站区通话次数的方法为：

优化后通话次数＝基站区通话次数*通话频率*通话次数下限

其中，通话频率是所述手机号在一个位置区发生通话的天数占设定时间段天数的比例；通话次数下限是所述手机号在所述位置区发生通话的各天中每天通话次数的最低值。

3.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，所述手机号为加密后的手机号。

4.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，通过从手机通话数据中提取手机号、通话基站位置和开始通话时间的属性段来处理手机通话数据。

5.根据权利要求4所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，在提取属性段前过滤异常数据，所述异常数据为必要字段显示为空或显示为异常数据的数据。

6.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，所述设定时间段为三个月或三个月以上。

7.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，在统计设定时间段内每个手机号在不同通话基站位置的通话次数后，过滤通话次数少于设定阈值的手机号。

8.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，所述合并邻近通话基站并统计基站区通话次数的方法为：

A、采用VORONOI图的方法判断基站之间的邻接关系；

B、对具有邻接关系的各基站确定其相互间中心位置的距离；

C、合并中心位置距离小于阈值的各基站为一个基站区；

D、将同一基站区中单个手机号在各通话基站发生的通话次数进行累加获得该手机号在该基站区的通话次数。

9.根据权利要求8所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，所述通话基站的合并是按照各通话基站通话次数的大小从大到小进行合并。

10.根据权利要求1或2所述的手机通话数据中用户通勤OD的挖掘方法，其特征在于，所述通话时间在晚上10点到第二天早上6点间，且通话次数高的基站区为所述手机号用户的居住地；所述通话时间在早上9点到下午16点间，且通话次数高的基站区为所述手机号用户的工作地。

Images