CN106372213B

CN106372213B - 一种位置分析方法

Info

Publication number: CN106372213B
Application number: CN201610802541.5A
Authority: CN
Inventors: 李鹏飞; 孙杰; 黄绍平; 陈智也; 薛扬; 陈进
Original assignee: Tianze Information Industry Corp
Current assignee: Jiangsu Tianze Xinglian Information Technology Co ltd
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2019-05-03
Anticipated expiration: 2036-09-05
Also published as: CN106372213A

Abstract

本发明一种位置分析方法涉及LBS分析领域，具体涉及一种大数据下基于MapReduce和GeoHash算法的用户家庭和工作位置分析方法。通过完成两个MapReduce任务来实现位置分析，第一个MapReduce任务将用户当天二维地理位置信息转换为GeoHash编码，统计每个用户当天进入同一个GeoHash编码即位置区域编码的次数，并将GeoHash编码统计信息输出至分布式文件系统HDFS；第二个MapReduce任务读取中间结果，即前一天和当天保存的GeoHash编码统计信息，对过期数据过滤，合并前一天和当天保存的编码统计信息进行位置分析，输出用户的位置信息和新的中间结果。

Description

一种位置分析方法

技术领域

本发明一种位置分析方法涉及LBS分析领域，具体涉及一种大数据下基于MapReduce和GeoHash算法的用户家庭和工作位置分析方法。

背景技术

随着科技的不断发展，人们随身携带的定位工具越来越丰富，这些定位工具包括手机、专业手持定位终端、可穿戴设备和安装定位终端的私人车辆等等。这些定位终端会产生大量的二维地理位置信息，通过对产生的二维地理位置信息进行收集和分析，从而满足降低融资租赁的风险（例如，用户通过融资租赁的方式购买了一辆电动汽车，如果用户断供的话，就可以通过定位的方式来找到用户家庭或者工作的位置，避免损失）或者提高广告推送的精准性等应用需求，位置信息体量越大，位置分析就越精确。

在当前已有的解决方案中，一般是将收集到的地理信息存入类似MySQL等关系型数据库，然后定时的从数据库中读取所有的数据来进行位置分析，这种方法存在下列的缺陷：1. 当数据量很大时，数据访问速度急剧下降，进行位置分析耗时很长，经过大量测试，当数据量达到上亿条时，分析耗时达到2个小时以上；2. 每次位置分析都需要把相关的数据从数据库中读取出来，网络IO负荷很重。

发明内容

本发明的目的是针对上述不足之处提供一种位置分析方法，是一种大数据下基于MapReduce和GeoHash算法的位置分析方法。本方法将用户的二维地理位置信息以文件的形式存储在HDFS，然后使用MapReduce分布式计算框架进行位置分析输出结果，当数据量达到上亿条时，分析耗时只有2分钟左右。

本发明是采取以下技术方案实现的：

一种位置分析方法，通过完成两个MapReduce任务来实现位置分析，第一个MapReduce任务是将用户当天的二维地理位置信息转换为GeoHash编码，即位置区域编码，然后统计每个用户当天进入同一个GeoHash编码即位置区域编码的次数，并将GeoHash编码统计信息输出至分布式文件系统HDFS；第二个MapReduce任务读取中间结果，即前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息，然后对过期数据进行过滤（位置信息的分析是有时效性的），合并前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息进行位置分析，最终输出用户的位置信息和新的中间结果。

第一个MapReduce任务的执行步骤如下：

1）Map任务以<K,V>格式读取用户当天的地理位置信息，其中K为文件的行数，V为用户的地理位置信息；

2）Map任务对每个用户的设定时间段的二维地理位置信息做GeoHash转换，然后调用Partition方法按照用户名字的Hash值进行分片，然后将生成的新的<K,V>格式数据写入环形内存缓冲区；

3）当环形内存缓冲区存满溢出时，Map任务将缓冲区的所有<K,V>格式数据本地化，生成临时文件；当所有数据处理完成后，Map任务对所有的临时文件进行合并，并根据K值进行排序，最后生成一个按分区排序的文件，所述分区的个数和Reduce任务的个数一致；

4）Reduce任务从各个Map任务所在远程机器的磁盘上复制数据，若超过阈值则直接写到本地磁盘；

5）Reduce任务对步骤4）中接收到的数据进行合并；

6）Reduce任务对步骤5）合并后的数据进行排序，将同一用户的数据排序在一起，排序规则是将同一用户具有相同GeoHash值的数据排序在一起；

7）Reduce任务根据步骤6）排序后的数据计算每个用户相同GeoHash编码出现的总次数；

8）Reduce任务将GeoHash编码统计信息写入HDFS（Hadoop 分布式文件系统）。

步骤3）中排序是将同一用户的数据排序在一起，将同一用户具有相同GeoHash值的数据排序在一起。

第二个MapReduce任务的执行步骤如下：

1）Map任务读取当天GeoHash编码统计信息和前一天生成的GeoHash编码统计信息；

2）Map任务根据采用GeoHash编码统计值的有效时间（防止用户搬家），对步骤1）读入的GeoHash编码统计信息进行过滤；

3）Map任务调用Partition方法按照用户名字的Hash值进行分片，然后将结果输出至内存环形缓冲区，如果内存环形缓冲区满溢出，则对缓冲区数据按照key进行排序并持久化到本地，然后对所有的临时文件进行合并，并进行排序，最后生成一个按分区排序的文件，分区的个数和Reduce任务的个数一致；

5）Reduce任务对所有接收到的数据进行合并，并对合并后的数据进行排序，将同一用户的数据排序在一起，排序规则是将同一用户的具有相同GeoHash编码的数据排序在一起；

6）Reduce任务将每个用户的GeoHash编码信息写入HDFS作为中间输出结果，同时对每个用户的GeoHash编码统计值进行统计，统计值最大的那个GeoHash编码即为最终位置信息。

步骤2）中所述有效时间一般设置为3个月。

步骤5）中所述的数据包括Map任务所在远程机器上的内存和磁盘的数据。

发明优点：

本发明位置分析方法效率高，当数据量很大时，对所有用户的位置分析可以在分钟级别内完成；可以在分析过程中使用前一天分析的中间结果，大大的降低系统的网络IO负荷；本发明方法应用在融资租赁领域，可以有效的降低融资租赁商的资金风险。

附图说明

以下将结合附图对本发明作进一步说明：

图1是GeoHash网格划分示意图；

图2是MapReduce的工作流程图；

图3是本发明方法中分析用户当天GeoHash编码统计信息的Map任务流程图；

图4是本发明方法中分析用户当天GeoHash编码统计信息的Reduce任务流程图；

图5是本发明方法分析用户位置信息的Map任务流程图；

图6是本发明方法分析用户位置信息的Reduce任务流程图。

具体实施方式

图1所示，GeoHash是一种地址编码，它能够将二维的经纬度转换为一维的字符串。下面以(39.92324, 116.3906)为例，介绍一下GeoHash的编码算法：首先将纬度范围(-90,90)平分成两个区间(-90, 0)、(0, 90)，如果目标纬度位于前一个区间，则编码为0，否则编码为1。由于39.92324属于(0, 90)，所以取编码为1。然后再将(0, 90)分成 (0, 45),(45, 90)两个区间，而39.92324位于(0, 45)，所以编码为0；以此类推，直到精度符合要求为止，得到纬度编码为1011 1000 1100 0111 1001；

经度也用同样的算法，对(-180, 180)依次细分，得到116.3906的编码为11010010 1100 0100 0100；接下来将经度和纬度的编码合并，奇数位是纬度，偶数位是经度，得到编码 11100 11101 00100 01111 00000 01101 01011 00001；最后，用0-9、b-z（去掉a,i, l, o）这32个字母进行BASE32编码，得到(39.92324, 116.3906)的编码为wx4g0ec1；

将二进制编码的结果填写到空间中，如图1所示，当将空间划分为四块时候，编码的顺序分别是左下角00，左上角01，右下脚10，右上角11，也就是类似于Z的曲线，当我们递归的将各个块分解成更小的子块时，编码的顺序是自相似的（分形），每一个子快也形成Z曲线，我们可以不断的递归直到划分的小块满足我们的精度，此时即可找到编码为wx4g0ec1的小块。

MapReduce是Hadoop最核心的设计之一。它是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统数据仓库和分析技术相比，MapReduce 适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。数据量在 TB 和 PB 级别，在这个量级上，传统方法通常已经无法处理数据。MapReduce 将分析任务分为大量的并行 Map 任务和 Reduce 汇总任务两类。

图2是MapReduce的工作流程图，MapReduce是Hadoop最核心的设计之一，是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理；与传统数据仓库和分析技术相比，MapReduce 适合处理各种类型的数据，包括结构化、半结构化和非结构化数据，数据量在 TB 和 PB 级别，在这个量级上，传统方法通常已经无法处理数据；MapReduce将分析任务分为大量的并行 Map 任务和 Reduce 汇总任务两类。

图3~4为本发明方法中分析用户当天GeoHash编码统计信息流程图，详细流程如下：

1）Map任务读取用户当天的地理位置信息文件；

2）Map任务对每个用户的介于晚上9点到次日3点二维地理位置信息做GeoHash变换得出GeoHash编码；

3）Map任务调用Partition方法按照用户名字的Hash值进行分片，然后将生成的新的<K,V>格式数据写入环形内存缓冲区，其中K值中包含用户ID（用户名字的Hash值）和GeoHash编码，V为：{“uid”:”eirc”,”GeoHash”:”wxdr”,”date”:20160721 }；

4）当缓冲区快要溢出时，Map任务会将数据本地化，生成一个临时文件，在本地化之前，会对环形内存缓冲区的数据按照Key排序；当所有数据处理完成后，Map任务对所有的临时文件进行合并，并进行排序，最后生成一个按分区排序的文件，分区的个数和Reduce程序的个数一致；

5）Reduce任务从各个Map任务所在远程机器上复制数据，若超过一定阈值则直接写到本地磁盘；Reduce任务将所有接收到的数据（内存和磁盘）进行合并，并进行排序，例如，

{“uid”:”eirc”,”GeoHash”:”wxdr1”,”date”: 20160721 }

{“uid”:”eirc”,”GeoHash”:”wxdr2”,”date”: 20160721 }

{“uid”:”kate”,”GeoHash”:”wxdrx”,”date”: 20160721 }

{“uid”:”kate”,”GeoHash”:”wxdr3”,”date”: 20160721 }

{“uid”:”kate”,”GeoHash”:”wxdr3”,”date”: 20160721 }；

6）Reduce任务根据排序后的结果计算每个用户相同GeoHash编码出现的总次数，例如，

{“uid”:”eirc”,”GeoHash”:”wxdr1”,”date”: 20160721,”count”:3}

{“uid”:”eirc”,”GeoHash”:”wxdr2”,”date”: 20160721,”count”:1}

{“uid”:”kate”,”GeoHash”:” wxdrx”,”date”: 20160721,”count”:2}

{“uid”:”kate”,”GeoHash”:” wxdr3”,”date”: 20160721,”count”:2}；

7）Reduce任务将所有当天的GeoHash编码统计结果输出至HDFS（Hadoop 分布式文件系统）中。

图5~6为本发明方法中所述分析用户位置信息流程图，详细流程如下：

1）Map任务读取用户当天的GeoHash编码统计结果和前一天的GeoHash编码统计结果（中间结果）；

2）Map任务根据采用GeoHash编码统计值的有效时间，对读入的GeoHash编码统计信息进行过滤。例如，为了防止用户搬家，采用最近3个月的数据来分析用户家庭位置信息，假设今天是2016年7月21，那么4月21号之前的数据就应该被抛弃，下面示例中，用户eric的2016年4月20号的数据将被丢弃

{“uid”:”eirc”,”GeoHash”:”wxdr2”,”date”: 20160420,”count”:1}；

3）Map任务调用Partition方法按照用户名字的Hash值进行分片，然后将结果输出至内存环形缓冲区，如果溢出，则对缓冲区数据按照key进行排序并持久化到本地。然后对所有的临时文件进行合并，并进行排序，最后生成一个按分区排序的文件，分区的个数和Reduce程序的个数一致；

4）Reduce任务从各个Map任务所在远程机器上复制数据，若超过一定阈值则直接写到本地磁盘；然后对所有接收到的数据（内存和磁盘）进行合并，并对合并后的数据进行排序；

5）Reduce任务将每个用户的GeoHash编码信息写入HDFS作为中间输出结果，同时对每个用户的GeoHash编码统计值进行统计，统计值最大的那个GeoHash编码即为用户的家庭位置信息。

MapReduce输出两个结果：一个是用户GeoHash编码的统计信息，另一个是用户的位置信息（由用户GeoHash编码的统计信息计算得来），其中GeoHash编码的统计信息可以是中间结果，用于分析明天的位置信息，从而避免大量的网络IO负荷。

Claims

1.一种位置分析方法，其特征在于：通过完成两个MapReduce任务来实现位置分析，第一个MapReduce任务是将用户当天的二维地理位置信息转换为GeoHash编码，即位置区域编码，然后统计每个用户当天进入同一个GeoHash编码即位置区域编码的次数，并将GeoHash编码统计信息输出至分布式文件系统HDFS；第二个MapReduce任务读取中间结果，即前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息，然后对过期数据进行过滤，合并前一天保存的GeoHash编码统计信息和当天GeoHash编码统计信息进行位置分析，最终输出用户的位置信息和新的中间结果；

第一个MapReduce任务的执行步骤如下：

5）Reduce任务对步骤4）中接收到的数据进行合并；

8）Reduce任务将GeoHash编码统计信息写入分布式文件系统HDFS。

2.根据权利要求1所述的位置分析方法，其特征在于，步骤3）中排序是将同一用户的数据排序在一起，将同一用户具有相同GeoHash值的数据排序在一起。

3.根据权利要求1所述的位置分析方法，其特征在于，第二个MapReduce任务的执行步骤如下：

2）Map任务根据采用GeoHash编码统计值的有效时间，对步骤1）读入的GeoHash编码统计信息进行过滤；

4.根据权利要求3所述的位置分析方法，其特征在于，步骤2）中所述有效时间设置为3个月。

5.根据权利要求3所述的位置分析方法，其特征在于，步骤5）中所述的数据包括Map任务所在远程机器上的内存和磁盘的数据。